Проблема завышенной уверенности в больших языковых моделях
Современные большие языковые модели (LLM) могут генерировать убедительные, но некорректные ответы. Это особенно важно в областях, где ошибки могут иметь серьезные последствия, таких как здравоохранение и финансы. Для оценки надежности этих моделей исследователи разрабатывают методы количественной оценки неопределенности.
Одним из популярных методов является многократное обращение к модели с одним и тем же запросом. Однако этот подход оценивает только уверенность самой модели, что не всегда отражает ее реальную точность.
Новый метод оценки неопределенности
Исследователи из MIT предложили новый метод, который измеряет другой тип неопределенности, позволяя более точно выявлять случаи, когда модель уверена в неправильных ответах. Этот метод включает сравнение ответа целевой модели с ответами группы схожих LLM.
В отличие от традиционных подходов, новый метод учитывает межмодельное расхождение, что позволяет лучше оценить эпистемическую неопределенность — неопределенность относительно выбора самой модели.
Понимание эпистемической неопределенности
Эпистемическая неопределенность измеряет, насколько далеко целевая модель отклоняется от идеальной модели для данной задачи. Однако создание идеальной модели невозможно, поэтому исследователи используют приблизительные модели.
Для улучшения оценки неопределенности MIT предложили метод измерения расхождения между целевой и небольшой группой моделей схожей архитектуры. Это позволяет более точно оценить эпистемическую неопределенность.
Подход ансамбля
Разработанный метод включает измерение семантического сходства ответов, что позволяет лучше оценивать эпистемическую неопределенность. Для достижения наиболее точной оценки необходим набор LLM, которые обеспечивают разнообразные и не слишком схожие с целевой моделью ответы.
Они обнаружили, что модели, обученные разными компаниями, лучше всего удовлетворяют этим требованиям. Это простой, но эффективный подход.
Общая метрика неопределенности
Новаторский метод MIT сочетает в себе стандартный подход измерения алеаторической неопределенности с оценкой эпистемической неопределенности для создания общей метрики неопределенности (TU). Это позволяет более точно оценивать надежность моделей.
Общая метрика неопределенности помогает выявлять случаи «галлюцинаций» модели, когда она уверена в неверных ответах. Это также позволяет улучшать тренировки моделей, усиливая уверенно правильные ответы.
Исследователи протестировали TU с использованием нескольких LLM на 10 распространенных задачах, таких как ответ на вопросы, суммаризация, перевод и математическое рассуждение. Их метод более эффективно выявлял ненадежные предсказания, чем каждый из измерителей по отдельности.
Эти эксперименты также показали, что эпистемическая неопределенность наиболее эффективна для задач с уникально правильным ответом, таких как фактические вопросы, но может не справляться с более открытыми задачами.
В будущем исследователи планируют адаптировать свою технику для улучшения ее производительности на открытых запросах и изучения других форм алеаторической неопределенности.
Работа финансируется, в том числе, MIT-IBM Watson AI Lab.
