Введение в проблему чрезмерной уверенности LLM
Большие языковые модели (LLM) могут генерировать убедительные, но неверные ответы. Это может вводить пользователей в заблуждение относительно точности предсказаний, что особенно опасно в критических областях, таких как здравоохранение или финансы. Исследователи из MIT предложили новый метод измерения неопределенности, который позволяет надежнее выявлять чрезмерно уверенные, но ошибочные ответы LLM.
Проблема самоуверенности: aleatoric и epistemic неопределенность
Существующие методы часто полагаются на оценку aleatoric неопределенности, измеряя внутреннюю уверенность модели в своих собственных предсказаниях. Однако модели могут быть уверены в своих ответах, даже если они ошибочны. Исследования показывают, что epistemic неопределенность или неопределенность относительно правильности используемой модели может быть более надежным показателем истинной неопределенности.
Кросс-модельное несогласие
Новая методика от MIT предполагает измерение разногласий между ответами целевой модели и группы аналогичных LLM. Это позволяет лучше оценить epistemic неопределенность, чем традиционные подходы.
Метод ансамбля в оценке неопределенности
Исследователи использовали методику сравнения семантического сходства ответов небольшой группы моделей, схожих по размеру и архитектуре. Они обнаружили, что оценка семантического сходства предоставляет более точную оценку epistemic неопределенности.
Выбор моделей для сравнения
Для достижения наилучшего результата требовался набор LLM, который покрывал бы разнообразные ответы, не был слишком похож на целевую модель, и были бы взвешены на основе достоверности. Простое использование моделей, обученных разными компаниями, оказалось наиболее эффективным.
Комбинированная метрика полной неопределенности
Объединив методику оценки epistemic неопределенности с традиционным подходом измерения aleatoric неопределенности, исследователи создали метрику полной неопределенности (TU), которая наиболее точно отражает, насколько доверительным является уровень уверенности модели.
Тестирование TU на 10 реалистичных задачах, таких как вопрос-ответ и математические рассуждения, показало, что эта метрика более эффективно выявляет ненадежные предсказания, чем каждый из методов по отдельности.
Перспективы и будущее развитие
В будущем исследователи могут адаптировать свою методику для улучшения производительности на задачах с открытым ответом, а также расширить изучение других форм aleatoric неопределенности. Это может значительно повысить надежность и доверие к языковым моделям в критически важных приложениях.
