Введение в проблему объяснимости AI
Применение искусственного интеллекта в таких критически важных областях, как здравоохранение и автономное вождение, требует высокой степени доверия к прогнозам моделей. **Объяснимость AI** позволяет пользователям понять, почему модель пришла к тому или иному выводу, что особенно важно в ситуациях, где на карту поставлены жизни людей.
Концептуальные модели узкого места: основа объяснимости
Одним из подходов к достижению объяснимости является использование концептуальных моделей узкого места (Concept Bottleneck Models, CBM). Эти модели вставляют промежуточный шаг, где компьютерная модель сначала определяет концепции, присутствующие на изображении, а затем использует их для финального прогноза.
Проблемы традиционных подходов
Традиционные CBM зависят от заранее определённых людьми концепций, что может не всегда подходить для конкретной задачи. Более того, существует риск информационной утечки, когда модель использует нежелательные концепции для улучшения производительности.
Новая методика от MIT: извлечение скрытых знаний
Исследователи из MIT предложили инновационный подход, который позволяет извлекать уже выученные моделью концепции. Это не только увеличивает точность, но и предоставляет более точные объяснения.
Технология на основе автоэнкодеров и мультимодальных LLM
Методология включает использование специального глубокого обучения, называемого разреженным автоэнкодером, который извлекает наиболее релевантные характеристики из обученной модели и преобразует их в понятные человеку концепции. Затем мультимодальная LLM описывает эти концепции на естественном языке.
Этот подход позволяет превратить любую предварительно обученную модель компьютерного зрения в систему, которая объясняет свои прогнозы, используя концепции, понятные человеку.
Контроль концепций и улучшение точности
Чтобы предотвратить использование неизвестных или нежелательных концепций, исследователи ограничили модель использованием только пяти концепций для каждого прогноза. Это оказалось эффективным способом улучшения объяснимости без потери точности.
Перспективы и вызовы
Несмотря на успехи, перед учеными все еще стоят задачи, такие как разрешение проблемы информационной утечки и масштабирование метода. Исследователи планируют использовать более крупные мультимодальные LLM для аннотирования больших наборов данных, что может повысить производительность.
Работа MIT открывает новые горизонты в области объяснимого AI и создает мост к символическому AI и графам знаний. Это может значительно изменить подход к разработке и применению AI в критически важных областях.
