Введение в проблему неопределенности в LLM
Большие языковые модели (LLM) способны генерировать правдоподобные, но неточные ответы. Это создает проблему для пользователей, которым важно понимать, насколько можно доверять таким предсказаниям, особенно в критически важных областях, таких как здравоохранение и финансы.
Традиционные методы оценки неопределенности
Одним из популярных методов является многократное использование одного и того же запроса для проверки согласованности ответов модели. Однако данный подход измеряет лишь внутреннюю уверенность модели и не всегда надежен.
В отличие от этого, эпистемическая неопределенность предлагает более точную оценку, так как она касается вопроса, правильна ли модель в принципе. Это становится особенно важным, когда модель демонстрирует уверенность в неправильных ответах.
Проблемы с излишней уверенностью
Проблема излишней уверенности заключается в том, что модель может уверенно давать неверные ответы, вводя пользователей в заблуждение относительно точности своих предсказаний. Это может иметь серьезные последствия в высокорисковых областях.
Новая методика от MIT
Исследователи из MIT предложили новый подход, который включает сравнение ответов целевой модели с ответами группы схожих моделей. Такой подход позволяет более точно измерять эпистемическую неопределенность.
Они объединили этот метод с мерой самосогласованности модели, чтобы создать общую метрику неопределенности, которая лучше выявляет ненадежные предсказания.
Комбинирование подходов
Для повышения точности оценки неопределенности, исследователи сочетали свой метод с традиционными подходами, позволяя получить метрику общей неопределенности (TU). TU показала себя более эффективной в идентификации случаев, когда модель генерирует «галлюцинации».
Использование TU также позволяет сократить количество запросов, необходимых для оценки неопределенности, что снижает вычислительные затраты и экономит энергию.
Тестирование и результаты
На 10 реалистичных задачах, таких как вопросы-ответы, резюмирование и математическое рассуждение, TU показала превосходство над другими методами, эффективно идентифицируя ненадежные предсказания.
Эксперименты показали, что эпистемическая неопределенность наиболее эффективна в задачах с однозначно верными ответами, что открывает возможности для дальнейшего улучшения методики на более открытых задачах.
Перспективы и будущее исследования
В будущем исследователи планируют адаптировать свою технику для улучшения работы с открытыми запросами и изучить другие формы алеторической неопределенности. Это может привести к более точным и надежным моделям, что важно для дальнейшего развития искусственного интеллекта.
