Введение в проблему уверенности ИИ
Большие языковые модели (LLM) способны генерировать правдоподобные, но иногда ошибочные ответы. Это создает необходимость в методах оценки надежности их предсказаний. Традиционные методы проверки уверенности часто не учитывают, что модель может быть уверенно неправа, что может привести к катастрофическим последствиям в таких областях, как здравоохранение или финансы.
Недостатки традиционных методов
Часто для оценки уверенности используются методы, которые запрашивают модель несколько раз с одним и тем же вопросом. Если модель выдает одинаковый ответ, это считается признаком уверенности. Однако такая самоуверенность может быть обманчивой. Важно различать алетическую и эпистемическую неопределенности. Первая относится к внутренней уверенности модели в своем предсказании, а вторая — к неуверенности в выборе правильной модели для задачи.
Подход MIT: кросс-модельное несогласие
Исследователи из MIT предложили метод измерения эпистемической неопределенности путем оценки несогласия между группой схожих языковых моделей. Например, если одна модель выдает один и тот же ответ, а другие модели — разные, это указывает на высокую эпистемическую неопределенность.
Ансамблевый подход
Новый метод включает измерение расхождения между целевой моделью и небольшим ансамблем моделей схожего размера и архитектуры. Это позволяет более точно оценивать эпистемическую неопределенность. Наиболее эффективным оказалось использование моделей, обученных разными компаниями.
Общая метрика неопределенности
Комбинируя подход MIT с традиционными методами, исследователи создали общую метрику неопределенности, которая более точно отражает, можно ли доверять уровню уверенности модели. Эта метрика позволяет лучше выявлять ситуации, когда модель выдает уверенно ошибочные ответы.
Практическое применение и перспективы
Тестирование на 10 распространенных задачах, таких как вопросы и ответы, суммирование и перевод, показало, что новая методика более эффективно выявляет ненадежные предсказания. Это может снизить вычислительные затраты и сэкономить энергию.
В будущем исследователи планируют адаптировать методику для улучшения ее работы на открытых задачах и изучать другие формы алетической неопределенности.
Заключение
Введение более точных методов оценки уверенности в больших языковых моделях открывает новые горизонты для их применения. Это особенно важно в областях, требующих высокой надежности, таких как медицина и финансы, где ошибка может иметь серьезные последствия.
