Введение: важность объяснимости ИИ
В последнее время искусственный интеллект (ИИ) играет всё более значительную роль в различных сферах, от здравоохранения до автономного вождения. В таких критически важных областях пользователи хотят понимать, почему модели делают те или иные предсказания, чтобы определить, насколько можно доверять их результатам. Объяснимость ИИ становится ключевым фактором в повышении доверия к технологиям.
Концептуальное моделирование узких мест (CBM)
Концептуальное моделирование узких мест (CBM) — это метод, который помогает ИИ-системам объяснять процесс принятия решений. Он добавляет промежуточный шаг, где модель предсказывает концепции, которые затем используются для окончательного предсказания. Этот подход позволяет пользователям лучше понимать логику модели.
Примером может служить модель, идентифицирующая виды птиц: она сначала выберет концепции, такие как "жёлтые лапки" и "синие крылья", прежде чем предсказать ласточку-береговушку. Однако заранее определённые концепции могут быть не всегда релевантны для конкретной задачи, что снижает точность модели.
Новая методика MIT
Исследователи из MIT предложили новый подход, который извлекает концепции, уже выученные моделью во время обучения, и преобразует их в понятные человеку термины. Это позволяет получать более точные предсказания и понятные объяснения.
Как это работает: извлечение и описание концепций
Метод включает в себя использование пары специализированных моделей машинного обучения. Первая модель, разреженный автоэнкодер, выбирает наиболее релевантные функции, которые модель выучила, и преобразует их в концепции. Затем мультимодальная языковая модель описывает каждую концепцию простым языком.
Эта мультимодальная модель также аннотирует изображения в наборе данных, определяя, какие концепции присутствуют или отсутствуют в каждом из них. Аннотированный набор данных используется для обучения модуля CBM, который распознаёт концепции.
Преодоление вызовов и ограничения
При разработке этой методики исследователи столкнулись с рядом вызовов, таких как правильная аннотация концепций и идентификация понятных человеку концепций. Чтобы предотвратить использование неизвестных или нежелательных концепций, модель ограничивается использованием пяти концепций для каждого предсказания. Это заставляет её выбирать наиболее релевантные концепции и делает объяснения более понятными.
Перспективы и будущее развитие
Несмотря на достигнутые успехи, существует компромисс между интерпретируемостью и точностью, который необходимо решать. Исследователи планируют изучить потенциальные решения проблемы утечки информации, возможно, добавив дополнительные модули CBM. Также они намерены масштабировать метод, используя более крупные модели и наборы данных.
Работа в этом направлении открывает множество возможностей для дальнейших исследований, соединяя интерпретируемый ИИ с символическим ИИ и графами знаний.
