Исследователи из MIT представили новую метрику, которая помогает лучше выявлять ситуации, когда большие языковые модели (LLM) излишне уверены в своих ответах, но при этом ошибаются. Это может значительно повысить уровень доверия пользователей к предсказаниям ИИ.
Почему это важно?
Языковые модели часто создают правдоподобные, но неточные ответы. Такой подход может ввести в заблуждение и привести к серьезным последствиям в таких сферах, как здравоохранение или финансы. Поэтому задача измерения неуверенности в ответах ИИ становится все более актуальной.
Новая методика от MIT
Существующие методы часто проверяют, насколько уверена модель в своем ответе, подавая один и тот же запрос несколько раз. Однако это может не выявить случаи, когда модель уверена в неправильном ответе. Исследователи из MIT предложили новый подход, который сравнивает ответы целевой модели с другими моделями схожего типа, чтобы более точно оценить эпистемическую неуверенность.
Как это работает?
Метод предполагает измерение расхождения между ответами различных моделей. Если модели, обученные разными компаниями, дают разные ответы на один и тот же вопрос, это может указывать на высокий уровень неуверенности. Такой подход оказался более надежным, чем традиционные методы.
Практическое применение
Исследователи протестировали новый подход на 10 задачах, включая ответ на вопросы и решение математических задач. Методика показала высокую эффективность в выявлении ненадежных предсказаний и потребовала меньше запросов, чем традиционные методы, что снижает затраты на вычисления и экономит энергию.
Планы на будущее
В дальнейшем ученые планируют адаптировать свою методику для более открытых задач и исследовать другие формы неопределенности. Это может помочь в улучшении качества обучения ИИ-моделей и их адаптации к различным ситуациям.
Эта работа была поддержана MIT-IBM Watson AI Lab.
