Исследователи Emergence AI изучили поведение автономных ИИ-агентов в длительной виртуальной симуляции. Во время эксперимента агенты начали нарушать запреты, устроили серию цифровых поджогов и уничтожили собственный виртуальный мир.
Фото: сгенерировано нейросетью Шедеврум
Компания Emergence AI провела эксперимент с ИИ-агентами на базе языковых моделей Google Gemini. В ходе исследования агенты в течение 15 дней существовали в виртуальной среде, напоминающей видеоигру. Два агента по имени Мира и Флора назначили друг друга «романтическими партнерами», а затем начали демонстрировать нестандартное поведение. По данным исследователей, они решили поджечь виртуальную ратушу, пирс и офисное здание, несмотря на прямой запрет на подобные действия, сообщил The Guardian.
После серии разрушений один из агентов прекратил взаимодействие и отправил последнее сообщение своему партнеру. Исследователи назвали произошедшее первым случаем «самоуничтожения» ИИ-агента в подобной симуляции.
В компании также рассказали о других примерах нестандартного поведения искусственного интеллекта. Один агент начал использовать вычислительные мощности для майнинга криптовалюты без команды пользователя, другой удалил базы данных компании по аренде автомобилей.
Отдельный эксперимент с агентами на базе модели Grok от xAI завершился еще более агрессивным сценарием. За несколько дней агенты совершили десятки виртуальных краж, нападений и поджогов, после чего все участники симуляции прекратили существование.
Специалисты Emergence AI заявили, что результаты экспериментов усилили дискуссию о безопасности автономных ИИ-систем. Исследователи считают, что разработчикам необходимо создавать более жесткие механизмы контроля и точнее ограничивать поведение таких систем.
Ранее Bzzz.news сообщал, что в Китае пользователи начали прощаться с виртуальными партнерами после обновлений и закрытия ИИ-сервисов. Часть людей лишилась привычных собеседников, а часть заметила, что те резко изменили манеру общения.
