Введение в проблему галлюцинаций в языковых моделях
Современные большие языковые модели (LLM) демонстрируют впечатляющие результаты в различных задачах обработки естественного языка. Однако они также склонны к галлюцинациям, выдавая уверенные, но ошибочные ответы. Это явление не связано с качеством данных или недостатками в обучении, а является структурной особенностью, определяемой целями оптимизации этих систем.
Что происходит внутри модели при галлюцинации?
Чтобы понять, как и почему возникают галлюцинации, нужно заглянуть внутрь модели и проследить траекторию ее внутренних представлений. Представьте себе, что внутреннее состояние модели на каждом слое — это точка в многомерном пространстве. По мере обработки запроса эта точка перемещается, следуя определенной траектории. Исследования показывают, что при правильной и ошибочной обработке траектории имеют одинаковую длину, но указывают в разные направления, что свидетельствует о структурных особенностях модели.
Геометрия этих траекторий важна. Например, когда модель дает правильный ответ, она постепенно наращивает коэффициент приверженности κ к правильному токену. В случае галлюцинации, κ быстро падает, показывая, что модель активно отклоняет вероятность от правильного ответа.
Роль коэффициента приверженности
Коэффициент приверженности κ отражает, насколько вероятностная масса модели направляется к правильному токену на каждом слое. При корректной обработке κ монотонно растет, что ожидаемо для системы, извлекающей выученные ассоциации. Однако при галлюцинации κ резко падает, достигая минимума, прежде чем немного восстановиться на выходных слоях.
Три режима поведения моделей
Исследования показывают, что модели распределяются по трем кластерам в зависимости от их поведения при галлюцинациях. Модели с меньшим числом параметров начинают перераспределять внимание, но подавление не полное. Средние модели демонстрируют промежуточное подавление, в то время как более сложные модели, такие как LLaMA-2 13B, Mistral 7B, показывают глубокое подавление, несмотря на разное количество параметров. Это говорит о том, что архитектурные решения, а не только масштаб, играют ключевую роль.
Практическое значение и будущее развитие
Геометрические сигнатуры можно использовать для создания детекторов галлюцинаций, которые идентифицируют события подавления до их вывода. Однако такие детекторы должны быть специфичны для каждой доменной области, учитывая, что геометрия меняется в зависимости от контекста. Это подчеркивает важность разработки специализированных мониторинговых систем для различных приложений.
Пока мы не можем исправить галлюцинации в рамках текущих архитектурных парадигм. Для решения проблемы необходимы новые подходы, такие как активация патчей в масштабе, анализ на уровне цепей и эксперименты по причинному вмешательству.
Заключение
Понимание структурных особенностей LLM и их влияния на галлюцинации необходимо для перехода к более совершенным моделям. Исследования геометрии внутреннего представления открывают новые возможности для улучшения точности и надежности языковых моделей в будущем.
