В эпоху, когда искусственный интеллект всё чаще применяется в критически важных областях, таких как здравоохранение и автономное вождение, способность моделей объяснять свои решения становится крайне важной. Теперь исследователи из MIT предложили новый подход, который позволяет моделям ИИ объяснять свои прогнозы с помощью понятий, понятных человеку.
Понятия для объяснения решений ИИ
Методика, которую разработали учёные, основывается на так называемом моделировании с узкими местами понятий (Concept Bottleneck Modeling). Этот подход заставляет модели использовать определённые понятия для принятия решений, что делает их более прозрачными для пользователей.
Например, в медицинской диагностике модель может использовать такие понятия, как "скопления коричневых точек" или "неравномерная пигментация", чтобы предсказать наличие меланомы. Однако заранее определённые понятия могут не всегда быть релевантны или детализированы для конкретной задачи.
Как работает новая методика
Исследователи из MIT предложили использовать знания, которые модель уже приобрела в процессе обучения, для создания более понятных объяснений. Для этого они разработали специальную модель, которая извлекает эти концепции и переводит их на понятный язык.
В их методе используется пара специализированных моделей машинного обучения: одна извлекает наиболее значимые черты из данных, а другая описывает их простыми словами. Эти понятия затем используются для обучения модуля, который интегрируется в целевую модель, заставляя её делать прогнозы только с помощью этих понятий.
Преимущества и вызовы
Одной из сложностей было обеспечение корректного аннотирования понятий и их интерпретация в понятных терминах. Чтобы избежать использования нежелательных понятий, модель ограничивают пятью понятиями на каждое предсказание, что улучшает точность и понятность объяснений.
В тестах на определение видов птиц и кожных заболеваний новый метод показал более высокую точность по сравнению с традиционными моделями. "Наша работа открывает новые возможности для создания объяснительного ИИ, который может работать в симбиозе с символическими системами и графами знаний", — отмечает один из авторов исследования.
Будущее исследования
Учёные планируют расширить свой метод, используя более крупные модели и наборы данных, что может значительно повысить производительность. Также они намерены решить проблему утечки информации, чтобы ещё больше улучшить объяснительную способность моделей ИИ.
Эта работа поддержана рядом международных организаций и фондов, что подчёркивает её значимость для развития технологий объяснительного ИИ.
