Инструменты ИИ для написания кода замедляют работу опытных программистов. Исследование METR показало, что такие системы увеличивают время выполнения задач.
Фото: unsplash
Некоммерческая группа METR провела исследование, которое показало, что ИИ-инструменты, такие как Cursor и GitHub Copilot, не ускоряют, а замедляют работу опытных программистов. В эксперименте участвовали 16 разработчиков, которые выполняли 246 реальных задач из крупных репозиториев с открытым исходным кодом. Половина задач решалась с использованием ИИ, а другая — без них. Разработчики ожидали, что ИИ сократит время работы на 24%, но вместо этого оно увеличилось на 19%, сообщил TechCrunch.
Причина замедления связана с необходимостью составлять текстовые запросы для ИИ и ждать ответов, что отнимает время. Также ИИ плохо справляется с большими и сложными кодовыми базами. Хотя 94% участников ранее использовали веб-интерфейсы языковых моделей, а перед тестом их обучили работе с Cursor, это не помогло ускорить процесс. Исследователи отметили, что ИИ-технологии быстро развиваются, и результаты могут устареть через несколько месяцев.
Ранее Bzzz.news сообщал, что ученые из 14 университетов в восьми странах, включая Японию и США, добавляют в препринты скрытые инструкции для ИИ, чтобы получить положительные отзывы. Эти подсказки обнаруживают в статьях, размещенных на платформе arXiv.
