Введение в проблему объясняемости AI
С развитием искусственного интеллекта (AI) растет и потребность в его объясняемости. Особенно это важно в критически важных областях, таких как здравоохранение и автономное вождение, где ошибка может стоить жизни. Исследователи из MIT предложили новый метод, который может помочь пользователям понять, стоит ли доверять предсказаниям модели.
Проблема "бутылочного горлышка концептов" в AI
Концептуальные модели "бутылочного горлышка" (Concept Bottleneck Models, CBM) представляют собой подход, который позволяет AI моделям объяснять процесс принятия решений. Эти модели используют набор концептов, понятных человеку, чтобы сделать предсказание. Однако проблема в том, что заранее заданные человеком концепты могут быть нерелевантны или недостаточно детализированы для конкретной задачи, что снижает точность модели.
Как работает новая методика
Исследователи из MIT нашли способ извлечь концепты, которые модель уже выучила во время обучения, и использовать их для объяснения своих решений. Это позволяет улучшить точность и объясняемость по сравнению с традиционными CBM.
Как это работает: шаг за шагом
Методика включает в себя использование пары специализированных моделей машинного обучения. Сначала разреженный автоэнкодер выбирает наиболее релевантные особенности, которые модель выучила, и превращает их в несколько концептов. Затем мультимодальная языковая модель описывает каждый концепт на простом языке и аннотирует изображения в наборе данных, определяя, какие концепты присутствуют в каждом изображении.
Ограничение концептов и повышение точности
Чтобы модель не использовала неизвестные или нежелательные концепты, исследователи ограничивают ее использование только пятью концептами для каждого предсказания. Это заставляет модель выбирать наиболее релевантные концепты и делает объяснения более понятными.
Результаты и перспективы
Методика была протестирована на задачах, таких как предсказание видов птиц и идентификация кожных поражений на медицинских изображениях, и показала наивысшую точность при более точных объяснениях по сравнению с современными CBM. Однако все еще остается компромисс между интерпретируемостью и точностью, который требует решения.
Будущее развитие
Исследователи планируют изучить потенциальные решения проблемы информационной утечки и масштабировать свой метод, используя более крупные мультимодальные LLM для аннотации крупных тренировочных наборов данных, что может повысить производительность.
Эта работа открывает новые возможности для интерпретируемого AI и создает естественный мост к символическому AI и графам знаний, что может существенно изменить будущее AI-индустрии.
