Российские исследователи разработали тест для оценки способности ИИ распознавать мемы и учитывать культурные контексты. Лучшие результаты показали нейросети GPT-4, Claude и LLaMA.
Фото: pxhere
Специалисты из МФТИ создали методику для проверки способности языковых моделей понимать культурные и языковые стереотипы. Исследователи составили набор из 400 тестовых заданий, включая цитаты, мемы и фразы, которые проверяли восприятие культурных особенностей. В испытаниях самые высокие результаты показали модели GPT-4, а также системы Claude и LLaMA, которые справились с задачей значительно лучше, чем другие нейросети, включая Google Gemini и GPT-3.5, сообщает ТАСС.
Результаты исследования помогут оценить, насколько ИИ способны работать с пользователями, принадлежащими к различным культурным группам.
Ранее Bzzz.news сообщал, что в России разработают цифровые метки для защиты от фейков ИИ-контента.
