Исследователи НИУ ВШЭ предложили новый подход для оценки компетентности искусственного интеллекта в образовании. Методика уже была протестирована на модели GPT-4.
Фото: unsplash
Ученые из НИУ ВШЭ разработали методику для оценки готовности ИИ к использованию в образовательных задачах, сообщила пресс-служба НИУ ВШЭ. Новый подход, основанный на психометрических принципах и таксономии Блума, предназначен для создания эффективных тестов для языковых моделей, таких как GPT. Протестированная на более чем 3900 заданиях в 16 профессиональных областях, методика показала, что ИИ хорошо справляется с простыми задачами, но испытывает трудности в более сложных, требующих глубокого анализа и гибкого мышления.
Разработанный подход позволяет не только проверять знания, но и оценивать способность ИИ применять эти знания на практике. Результаты эксперимента показали, что модель GPT-4 может ошибаться даже в простых заданиях. Для надежного использования моделей ИИ в оразовании необходимы улучшения.
Среди возможных применений ИИ в образовании — помощь в создании учебных материалов, автоматизированная оценка работ и разработка адаптивных планов обучения. Однако, как признают исследователи, ИИ еще нуждается в усовершенствовании, прежде чем станет эффективным инструментом для учителей и студентов.
Ранее Bzzz сообщал, что ученые научили ИИ определять загрязнения рек по поведению моллюсков.
