Введение в проблему избыточной уверенности ИИ
Современные большие языковые модели (LLMs) способны генерировать правдоподобные, но ошибочные ответы. Это создает необходимость в методах оценки точности их предсказаний. Одним из таких методов является количественная оценка неопределенности, которая позволяет пользователям понять, насколько надежен ответ модели.
Основной проблемой, с которой сталкиваются исследователи, является то, что даже самые уверенные LLM могут ошибаться. Это особенно опасно в таких областях, как здравоохранение и финансы, где ошибки могут иметь катастрофические последствия.
Новая методика оценки неопределенности
Исследователи из MIT разработали новый подход к измерению неопределенности, который надежнее идентифицирует уверенные, но неправильные ответы LLM. В этой методике сравнивается ответ целевой модели с ответами группы аналогичных моделей, что позволяет более точно оценивать неопределенность, чем традиционные методы.
Эпистемическая и алеаторическая неопределенность
Традиционные методы оценивания часто опираются на внутреннюю уверенность модели в своих предсказаниях — это называется алеаторической неопределенностью. Однако LLM может быть уверенной в неправильном ответе. Чтобы лучше оценить истинную неопределенность, исследователи из MIT сосредоточились на эпистемической неопределенности, которая отображает, насколько правильно был выбран подходящий алгоритм для данной задачи.
Метод ансамблей для оценки неопределенности
Новая методика включает измерение расхождения между целевой моделью и небольшой группой моделей аналогичного размера и архитектуры. Оценка семантического сходства ответов помогает более точно определить эпистемическую неопределенность.
Практическое применение и результаты
Методика была протестирована на десяти реальных задачах, включая ответы на вопросы, решение математических задач и перевод. Новый подход позволил лучше идентифицировать ненадежные предсказания и снизить вычислительные затраты.
Будущие перспективы и применение
Разработка и внедрение таких методов оценки неопределенности особенно актуальны для приложений, где ошибки могут иметь серьезные последствия. В будущем исследователи могут адаптировать свою технику для улучшения работы с открытыми запросами и изучения других форм неопределенности.
Эта работа финансируется в том числе MIT-IBM Watson AI Lab и может иметь значительное влияние на развитие технологий искусственного интеллекта, повышая их надежность и точность.
