Введение в проблему объяснимости ИИ
С каждым днем искусственный интеллект (ИИ) все больше интегрируется в нашу жизнь, находя применение в таких критически важных областях, как здравоохранение и автономное вождение. Однако, чтобы пользователи могли доверять моделям ИИ, необходимо, чтобы те могли объяснить свои предсказания. Это особенно важно, когда речь идет о решении задач, связанных с безопасностью, таких как медицинская диагностика или управление автотранспортом.
Что такое концепт-бутылочные модели?
Концепт-бутылочные модели (CBM) — это подход, который позволяет ИИ-системам объяснять процесс принятия решений. Эти модели добавляют промежуточный этап, заставляя модель предсказывать концепции, присутствующие в изображении, а затем использовать эти концепции для вынесения окончательного предсказания.
- Промежуточный этап (бутылочное горлышко): помогает пользователям понять, почему модель сделала конкретное предсказание.
- Проблемы с предварительно заданными концепциями: заранее определенные концепции могут не подходить для конкретной задачи, что снижает точность модели.
Новый подход MIT: концепции из внутренних механизмов модели
Исследователи из MIT предложили новый метод, который извлекает концепции, уже изученные моделью в процессе обучения, и преобразует их в понятные человеку термины. Это позволяет улучшить точность и объяснимость моделей, избежав использования заранее заданных концепций.
Как это работает?
Метод включает в себя использование двух специализированных моделей машинного обучения:
- Разреженный автоэнкодер: выбирает наиболее релевантные функции, которые модель изучила, и реконструирует их в виде концептов.
- Мультимодальный LLM: описывает каждый концепт на понятном языке и аннотирует изображения в наборе данных, определяя, какие концепции присутствуют в каждом изображении.
Затем эти аннотированные данные используются для обучения модуля концепт-бутылочного горлышка, который распознает концепции и заставляет модель делать предсказания, используя только извлеченные концепции.
Преимущества и вызовы нового метода
Метод MIT имеет несколько преимуществ:
- Улучшенная точность: модель достигает более высокой точности, чем традиционные CBM.
- Универсальность: возможность применения к любым предобученным моделям компьютерного зрения.
Однако остаются вызовы:
- Пропуск информации: необходимо предотвратить утечку информации, которую модель может использовать незаметно для нас.
- Торговля между интерпретируемостью и точностью: несмотря на улучшения, черные ящики продолжают превосходить интерпретируемые модели.
Перспективы и выводы
Исследователи планируют дальше развивать метод, возможно, добавляя дополнительные модули концепт-бутылочного горлышка для предотвращения утечки нежелательных концепций. Кроме того, они планируют масштабировать метод, используя более крупные мультимодальные модели для аннотирования больших наборов данных, что может повысить производительность.
Это исследование открывает новые возможности для дальнейших разработок в области объяснимого ИИ и создает мост к символическому ИИ и графам знаний.
