Проблема избыточной уверенности в языковых моделях
Современные крупные языковые модели (LLM) способны генерировать правдоподобные, но неверные ответы. Это может сбивать с толку пользователей, особенно в критически важных областях, таких как здравоохранение или финансы. Традиционные методы измерения неопределенности основаны на проверке уверенности модели в своих предсказаниях, однако даже самые убедительные модели могут быть уверенно ошибочными.
Алгоритмические ограничения
Часто используемые методы оценки неопределенности предполагают многократное обращение к модели с одним и тем же запросом для оценки ее самоуверенности. Однако такая самоуверенность не всегда соотносится с точностью результата. Это делает необходимым разработку новых подходов, учитывающих более сложные аспекты неопределенности.
Новая методика оценки неопределенности
Исследователи MIT предложили новый метод измерения неопределенности, который фокусируется на оценке разногласий между группой моделей. Эта методика позволяет более точно определить случаи, когда модель уверенно ошибается.
Измерение эпистемической неопределенности
Эпистемическая неопределенность связана с пониманием того, насколько выбранная модель соответствует оптимальной модели для определенной задачи. Исследователи MIT предложили измерять расхождения между ответами целевой модели и ответами группы схожих моделей. Это позволяет определить уровень эпистемической неопределенности более точно, чем традиционные методы.
Подход с использованием ансамблей моделей
Для получения более точных результатов исследователи создали ансамбль моделей, обученных разными компаниями. Эта стратегия позволила разнообразить ответы и установить более надежные оценки неопределенности.
Объединение с метрикой самоуверенности
Объединение методов оценки эпистемической и алекторической неопределенности дало возможность создать общую метрику неопределенности. Эта метрика оказалась более эффективной в определении ненадежных предсказаний, чем каждый метод по отдельности.
Практическое применение и перспективы
Метрика общей неопределенности (TU) позволила более эффективно выявлять ситуации, когда модель LLM "галлюцинирует", а также улучшать обучение моделей за счет усиления уверенно правильных ответов. Это может снизить вычислительные затраты и сэкономить энергию.
В будущем исследователи планируют адаптировать методику для повышения эффективности на более открытых задачах и изучить другие формы алекторической неопределенности.
