Современные языковые модели (LLM) могут создавать правдоподобные, но неверные ответы. Для решения этой проблемы специалисты из MIT предложили новую методику измерения неуверенности, которая поможет выявлять ошибки ИИ.
Почему это важно?
Уверенность модели в своих ответах может вводить пользователей в заблуждение, особенно в таких сферах, как медицина или финансы, где ошибки могут обернуться серьезными последствиями. Ранее популярные методы анализа уверенности основывались на оценке самоуверенности модели, но даже самые мощные ИИ могут ошибаться.
Новая методика оценки
Исследователи из MIT предложили сравнивать ответы целевой модели с ответами нескольких схожих моделей, чтобы выявить несоответствия. Это позволяет более точно оценивать эпистемическую неуверенность, которая показывает, насколько модель близка к идеалу.
Эффективность нового подхода
Новая методика была протестирована на десяти реальных задачах, таких как ответ на вопросы и математические рассуждения. Она показала более высокую точность в выявлении ненадежных прогнозов по сравнению с традиционными методами.
Важность использования разнообразия
Для достижения лучших результатов исследователи использовали модели, обученные разными компаниями. Это позволило охватить более широкий спектр ответов и улучшить оценку уверенности.
Будущее развитие
В будущем планируется адаптация методики для работы с открытыми задачами и исследование других видов неуверенности. Это позволит еще более улучшить качество прогнозов ИИ.
Работа частично финансируется MIT-IBM Watson AI Lab.
