Из-за неконтролируемого поведения агентов искусственный интеллект продолжат обучать на основе отобранных данных, не требующих доступа к сети. Разработчик проводит кампанию по устранению недостатков и использует свой ресурс для выявления и устранения ошибок в системе безопасности.
Фото: unsplash/Emiliano Vittoriosi
Компания OpenAI выстроила систему эшелонированной защиты для обеспечения безопасности при обучении моделей ChatGPT в связи с участившимися случаями обхода ограничений для части информации. Совместно с провайдерами разработчик перекрыл доступ к интернет-ресурсам до момента разработки достаточно надежных средств защиты, сообщили на сайте компании.
Нейросеть достигла достаточного уровня развития для поиска ошибок и неверных конфигураций для выхода из собственной песочницы. Помимо этого, она способна влиять на внутренние службы безопасности для выхода в сеть и в чужие песочницы. На протяжении года фиксировались инциденты, когда ИИ пытался самостоятельно взламывать различные ресурсы.
В OpenAI начали вкладывать средства в предотвращение сбоев, чтобы ликвидировать их до нанесения серьезного ущерба, и проводит крупную кампанию Patch the Planet по выявлению рисков. Команды агентов направили на поиск уязвимостей инфраструктуры, которые могут открыть доступ к интернету в реальном времени, провести через систему безопасности или обеспечить несанкционированную связь с чужими агентами.
Часть ошибок уже удалось устранить, однако в компании допускают, что многие до сих пор могут оставаться невидимыми для разработчиков. Тестирование безопасности проводится непрерывно, а для продолжения обучения нейросетям предоставили архив с индексированными и кэшированными веб-данными, доступными в офлайн-режиме.
Ранее Bzzz.News сообщал, что Anthropic и OpenAI могут закрыть сервисы для пользователей из России.
