Зачем оценивать неопределенность в языковых моделях?
Большие языковые модели (LLM) обладают способностью генерировать убедительные, но потенциально неверные ответы. Это может привести к серьезным последствиям в таких областях, как здравоохранение и финансы, где на кону стоит точность и надежность. Одним из популярных методов оценки предсказаний является измерение самоуверенности модели, однако даже самые продвинутые LLM могут ошибаться с высокой уверенностью.
Новый метод от MIT: кросс-модельное несогласие
Исследователи из MIT предложили метод, который измеряет эпистемическую неопределенность — это неопределенность, связанная с тем, насколько правильно выбранная модель соответствует задаче. Для этого они сравнивают ответы целевой модели с ответами группы схожих моделей. Такой подход позволяет более точно оценить, когда модель уверена, но ошибочна.
Энсамблевый подход
Разработанный метод включает измерение расхождений между целевой моделью и небольшим ансамблем моделей аналогичного размера и архитектуры. Исследователи обнаружили, что сравнение семантического сходства, то есть насколько близко значения ответов, может дать более точную оценку эпистемической неопределенности.
Комбинация с алаторической неопределенностью
Для получения наиболее точной оценки неопределенности, исследователи объединили свой подход с измерением алаторической неопределенности, которая отражает внутреннюю уверенность модели в собственном предсказании. В результате получилась метрика общей неопределенности (TU), которая позволяет лучше определять надежность предсказаний модели.
Практическое применение и результаты
Метрика TU показала высокую эффективность при тестировании на 10 различных задачах, таких как вопросы-ответы и математическое рассуждение. Она смогла более эффективно выявлять ненадежные предсказания, чем традиционные методы, и при этом требовала меньшего количества запросов, что снижает вычислительные затраты и экономит энергию.
Перспективы и будущее развитие
В будущем исследователи планируют адаптировать свою технику для улучшения производительности на более открытых задачах и продолжать изучение других форм алаторической неопределенности. Такой подход открывает новые возможности для повышения надежности и точности языковых моделей, что существенно важно в быстро развивающемся мире ИИ.
