Введение в проблему
Современные крупные языковые модели (LLM) могут генерировать правдоподобные, но неверные ответы. Это вызывает вопросы о том, как пользователи могут доверять таким моделям. Часто применяемые методы измерения неопределенности проверяют уверенность модели в своих ответах, но даже самые впечатляющие LLM могут быть уверенно ошибочными. Это может привести к катастрофическим последствиям в таких областях, как здравоохранение или финансы.
Новый подход MIT
Чтобы решить эту проблему, исследователи из MIT предложили новый метод для измерения неопределенности, который более надежно выявляет уверенные, но неверные ответы LLM. Этот метод включает в себя сравнение ответа целевой модели с ответами группы аналогичных моделей. Измерение разногласий между моделями более точно отражает неопределенность, чем традиционные подходы.
Совмещение подходов
Исследователи объединили свой подход с мерой самосогласованности LLM, чтобы создать общую метрику неопределенности. Эта метрика показала себя лучше других методов в выявлении ненадежных предсказаний. Это значит, что пользователи могут лучше оценивать, насколько можно доверять выводам модели.
Понимание чрезмерной уверенности
Многие методы квантования неопределенности включают запрос модели на оценку уверенности или проверку согласованности ее ответов на один и тот же запрос. Эти методы оценивают алеторическую неопределенность, то есть, насколько модель уверена в своем предсказании. Однако LLM могут быть уверены, даже если они полностью ошибочны. Эпистемическая неопределенность, или неопределенность относительно того, использована ли правильная модель, может быть более точным способом оценки истинной неопределенности при чрезмерной уверенности модели.
Энсамблевый подход
Метод, разработанный MIT, включает измерение расхождения между целевой моделью и небольшим ансамблем моделей схожего размера и архитектуры. Сравнение семантического сходства, или того, насколько близки значения ответов, может дать более точную оценку эпистемической неопределенности.
Практическое применение и перспективы
Общая метрика неопределенности (TU) может более эффективно выявлять ситуации, когда LLM "галлюцинирует", поскольку эпистемическая неопределенность может указывать на уверенные ошибочные выводы, которые могут быть пропущены при измерении только алеторической неопределенности. Это также может позволить исследователям усиливать уверенно правильные ответы LLM во время обучения, что может улучшить производительность.
Эксперименты показали, что TU требует меньшее количество запросов, чем расчет алеторической неопределенности, что может снизить вычислительные издержки и сэкономить энергию. В будущем исследователи могут адаптировать свою технику для улучшения производительности на открытых запросах и исследовать другие формы алеторической неопределенности.
