Введение в концептное моделирование AI
В последние годы искусственный интеллект (AI) стал неотъемлемой частью многих критически важных приложений, таких как здравоохранение и автономное вождение. Однако одной из главных проблем остается доверие к предсказаниям AI-моделей. Пользователи хотят понимать, почему модель приняла то или иное решение, и это особенно важно, когда речь идет о жизни и здоровье людей.
Для решения этой задачи исследователи из MIT разработали новую технику, которая превращает модели компьютерного зрения в объяснимые модели, используя набор концептов, понятных человеку. Это позволяет пользователям лучше оценивать надежность предсказаний AI и принимать обоснованные решения.
Что такое концептное моделирование?
Концептное моделирование — это метод, который позволяет AI-системам объяснять процесс принятия решений с помощью понятных людям концептов. Такие модели, известные как Concept Bottleneck Models (CBMs), вводят промежуточный этап, на котором модель предсказывает присутствие тех или иных концептов в изображении, прежде чем сделать окончательное предсказание.
Например, при диагностировании заболеваний по изображениям кожи модель может использовать концепты такие как "коричневые пятна" и "разнообразная пигментация" для предсказания меланомы. Однако заранее заданные концепты могут быть нерелевантными или недостаточно подробными для конкретной задачи, что снижает точность модели.
Преимущества и ограничения концептного моделирования
Традиционные CBM полагаются на заранее определенные концепты, которые могут не подходить для конкретной задачи. Более того, модели могут использовать нежелательную информацию, что приводит к утечке информации. Это происходит, когда модель использует скрытые концепты, о которых пользователи не знают.
Новая методика от MIT
Новая методика от MIT решает эти проблемы, извлекая знания, которые модель уже приобрела в процессе обучения, и трансформируя их в понятные человеку концепты. Это достигается с помощью пары специализированных моделей машинного обучения, которые автоматически извлекают знания из целевой модели и переводят их на обычный язык.
Как работает новая методика?
- На первом этапе специализированная модель глубокого обучения, называемая разреженным автоэнкодером, выбирает наиболее релевантные особенности, которые модель выучила, и реконструирует их в виде нескольких концептов.
- Затем мультимодальная модель на основе больших языковых моделей (LLM) описывает каждый концепт на обычном языке и аннотирует изображения в наборе данных, определяя, какие концепты присутствуют или отсутствуют.
- Этот аннотированный набор данных используется для обучения модуля концептного узкого места, который встраивается в целевую модель, заставляя её делать предсказания, используя только выученные концепты.
Контроль и интерпретируемость
Чтобы избежать использования неизвестных или нежелательных концептов, модель ограничивается использованием только пяти концептов для каждого предсказания. Это также позволяет сделать объяснения более понятными.
Сравнивая свою методику с современными CBM, команда MIT добилась наивысшей точности и более точных объяснений, что открывает новые возможности для улучшения интерпретируемости AI-моделей.
Будущее интерпретируемого AI
Несмотря на успехи, остается проблема балансирования между интерпретируемостью и точностью. Исследователи продолжают работать над решением проблемы утечки информации и планируют расширить методику, используя более крупные мультимодальные LLM для аннотирования больших наборов данных, что может улучшить производительность.
Развитие интерпретируемого AI открывает путь к более надежному использованию технологий в критически важных приложениях, предоставляя пользователям уверенность в сделанных предсказаниях и их объяснимости.
