Разработчик Claude опубликовал проспект, в котором назвал ключевые опасности, которые несет бесконтрольное развитие искусственного интеллекта. Основными угрозами в организации считают его скорость и возможность самостоятельно расширять свои возможности и методы использования злоумышленниками.
Фото: сгенерировано нейросетью Шедеврум
Компания Anthropic предупредила инвесторов о рисках развития искусственного интеллекта с точки зрения безопасности человека. Согласно проспекту, поданному в Комиссию по ценным бумагам и биржам США, возможности оценки и защиты могут начать отставать в развитии от нейросетей.
Одним из факторов разработчики считают непредсказуемость агентов, из действия вопреки задачам создателей и проявление навыков, которые не обнаружили в процессе тестирования. Так, они могут самостоятельно генерировать код, применять сторонние сервисы, манипулировать информацией и выполнять иные задачи не в интересах пользователя.
Экзистенциальной угрозой исследователи считают способность ИИ к самосовершенствованию: его мощности используются для написания кода, исследований и ввода систем новых поколений, которые могут накапливать ошибки, сохранившиеся в предыдущих. Таким образом разработчики физически не смогут успевать проверять технологию и адаптировать защитные механизмы.
Также в компании напомнили о злоумышленниках, которые могут обращаться к ИИ для своих целей. С его помощью могут проводить кибератаки, обходить защиту, искать уязвимости и вести слежку. Сами модели также рискуют стать объектом нападений посредством формирования запросов, перекодировки и внедрения вредоносных инструкций. Отдельной опасностью становятся нейросети, имеющие доступ к корпоративным системам.
Отдельно в документе отметили риски, связанные с разработкой опасных для человечества видов вооружений. В частности, нейросети уже используют для упрощения создания химического, биологического и других типов оружия, автономных систем для применения вооружений. С помощью ИИ злоумышленники обходят протоколы, которые запрещают агентам выполнять запросы, связанные с подобными задачами.
Ранее Bzzz.News сообщал, что ИИ помог найти уязвимости, поставив под угрозу 1,5 млн сайтов в России.
