В наше время искусственный интеллект (ИИ) играет важную роль в таких критически важных областях, как здравоохранение и автономное вождение. Однако часто возникает вопрос: как мы можем быть уверены в предсказаниях ИИ и доверять им?
Преобразование моделей компьютерного зрения
Недавно исследователи из Массачусетского технологического института (MIT) предложили новый метод, который позволяет любой модели компьютерного зрения объяснять свои предсказания с использованием понятий, понятных человеку. Это важный шаг к повышению прозрачности и доверия к ИИ.
Концептуальные модели — это подход, который позволяет моделям объяснять процесс принятия решений через понятия, определенные людьми. Однако ранее используемые понятия могли быть недостаточно подробными или не подходить для конкретной задачи. Новая методика решает эту проблему, извлекая понятия, которые модель уже выучила во время обучения, и заставляя модель использовать их.
Как это работает
Метод основан на использовании пары специализированных моделей машинного обучения, которые автоматически извлекают знания из целевой модели и переводят их в понятные концепции. Это позволяет преобразовать любую предварительно обученную модель компьютерного зрения в систему, которая может объяснять свои решения.
Ключевым элементом является концептуальная бутылочная модель (CBM), которая добавляет промежуточный шаг, заставляя модель сначала предсказывать понятия, а затем использовать их для окончательного предсказания. Это помогает пользователям понять, как модель пришла к своему выводу.
Достижения и вызовы
Исследователи столкнулись с рядом вызовов, таких как проверка правильности аннотирования понятий и определение, понимает ли модель концепции, доступные человеку. Они ограничили модель в использовании только пяти понятий для каждой предсказания, чтобы сделать объяснения более понятными.
Сравнив их подход с существующими CBM, они достигли высокой точности и более точных объяснений при решении задач, таких как определение видов птиц и диагностика кожных заболеваний. Однако остается проблема информационной утечки, когда модель может использовать нежелательные понятия.
Будущее объясняемого ИИ
Исследователи планируют продолжать работу над решением проблемы утечки информации и масштабировать методику для улучшения результатов. Этот проект поддержан различными международными организациями и открывает новые возможности для изучения символического ИИ и графов знаний.
Работа MIT в области объясняемого ИИ показывает большое значение этой области для повышения доверия к технологиям и их применимости в реальных условиях.
