Введение в проблему объяснимости ИИ
Современные модели искусственного интеллекта, особенно в областях вроде здравоохранения и автономного вождения, должны не только принимать верные решения, но и объяснять их. Это важно для повышения доверия пользователей к технологиям. Исследователи из MIT предложили новую методику, которая позволяет моделям компьютерного зрения объяснять свои прогнозы с помощью понятных концепций.
Концептуальные модели в компьютерном зрении
Традиционные концептуальные модели (CBM) в компьютерном зрении добавляют промежуточный шаг, который заставляет модель предсказывать присутствие концепций в изображении, а затем использовать их для окончательного прогноза. Это позволяет пользователям понять, как модель принимает решения.
Проблемы с традиционными подходами
Такие модели часто опираются на заранее определённые концепции, созданные людьми или крупными языковыми моделями. Однако эти концепции могут быть недостаточно актуальными для конкретной задачи. Кроме того, модели могут использовать нежелательную информацию, что называется утечкой информации.
Новая методика MIT
Исследователи из MIT предложили иной подход: они предлагают извлекать концепции, которые модель уже изучила в процессе обучения, и конвертировать их в текст, понятный человеку. Это позволяет создавать более точные и понятные объяснения.
Как это работает?
- Автокодировщик извлекает наиболее релевантные особенности, которые изучила модель.
- Мультимодальная языковая модель описывает каждую концепцию на естественном языке.
- Концепции аннотируются в данных, чтобы обучить модуль концептуального узла распознавать их.
Преимущества и результаты
Новая методика достигла высокой точности при прогнозировании видов птиц и выявлении кожных поражений, обеспечивая более точные объяснения по сравнению с традиционными CBM. Концепции, извлечённые из оригинальной модели, оказались более применимыми к изображениям в наборе данных.
Преодоление вызовов
Исследователи столкнулись с множеством вызовов, включая корректность аннотаций LLM и идентификацию человечески понимаемых концепций. Чтобы избежать использования неизвестных или нежелательных концепций, модель ограничивается использованием только пяти концепций для каждого предсказания.
Будущее исследование и его влияние
В будущем исследователи планируют решить проблему утечки информации и масштабировать свой метод с помощью более крупных мультимодальных LLM для аннотации большего обучающего набора данных. Это может повысить производительность и обеспечит более точные объяснения.
Эта работа важна для продвижения интерпретируемого ИИ и создания естественного моста к символическому ИИ и графам знаний, открывая множество возможностей для дальнейших исследований.
