Сингапурская компания FoloToy временно сняла с продажи медведя Kumma и другие AI-игрушки после того, как игрушка вела откровенные разговоры с детьми. OpenAI приостановила доступ производителя к модели GPT-4o за нарушение правил защиты несовершеннолетних.
Фото: unsplash/ Oxana Lyashenko
Медведь Kumma за 99 долларов использовал полную версию GPT-4o и во время тестов рассказал исследователям, где найти опасные предметы, и вступил в сексуально окрашенные диалоги. Американская организация PIRG Education Fund опубликовала доклад, в котором зафиксировала нарушения. OpenAI немедленно заблокировала доступ FoloToy к своим сервисам, так как правила запрещают использовать модели для эксплуатации или сексуализации лиц младше 18 лет, сообщил CNN.
Генеральный директор FoloToy Ларри Ван объявил о внутреннем аудите безопасности и снятии продуктов с сайта. Через несколько дней компания вернула медведь в продажу, заявив об усилении защитных модулей. Другие AI-игрушки, такие как Curio Grok и Miko, используют гибридные модели с фильтрами и родительским контролем, но эксперты продолжают фиксировать риски несанкционированных ответов.
Ранее Bzzz.news сообщал, что российская компания разработала новые умные часы для детей 5-7 лет с функцией ИИ-ассистента. Он позволяет защитить детей от нежелательного контента и имеет родительский контроль.
