OpenAI и Anthropic готовятся к тому, что ИИ‑агенты могут повести себя непредсказуемо. Компании разрабатывают механизмы автоматической остановки систем.
Фото: unsplash/Emiliano Vittoriosi
Американские компании лидеры в сфере разработки искусственного интеллекта занимаются созданием многоуровневых систем экстренного реагирования для контроля поведения ИИ‑агентов. Такие механизмы призваны блокировать работу агентов в ситуациях, когда их действия становятся опасными или непредсказуемыми.
Из‑за распределённого характера мощных ИИ‑систем невозможно применить простое централизованное отключение, сообщает Axios. В связи с этим разработчики проектируют комплексные инструменты, они должны не только фиксировать подозрительную активность, но и изолировать отдельных агентов, а также перекрывать им доступ к критически важным ресурсам.
В OpenAI работают над концепцией «полностью автономных процедур отключения» – на случай возникновения серьезных сбоев. В рамках этого подхода планируется задействовать специальный ИИ‑монитор, который будет оповещать персонал о потенциально опасных действиях агентов, а при подтверждении угрозы автоматически останавливать работу системы.
Ранее Bzzz.News сообщал, что эксперт предположил, что обнаруженный в 15 провинциях Китая клещевой вирус ALTNV опасен прежде всего в сочетании с патологией DBV и вирусом Даби. Заболевание представляет угрозу, когда начинает наносить вред почкам и дыхательной системе.
