Введение в концептуальные модели AI
В высокорисковых областях, таких как медицинская диагностика и автономное вождение, крайне важно понимать, почему модель искусственного интеллекта делает те или иные предсказания. Это позволяет пользователям оценивать, стоит ли доверять результатам модели. Один из методов, помогающих объяснить работу AI, — это концептуальное моделирование узких мест (Concept Bottleneck Modeling, CBM).
Эти методы заставляют модель использовать набор концепций, понятных человеку, для формирования предсказаний. Однако заранее определенные концепции могут быть не всегда релевантными для конкретной задачи, что снижает точность модели. Исследователи из MIT предложили новый подход, который извлекает концепции, уже изученные моделью в процессе обучения, и использует их для объяснения предсказаний.
Как работает новый метод
Модель концептуального узкого места
Концептуальные модели узких мест добавляют промежуточный шаг, заставляя модель сначала предсказывать концепции, а затем использовать их для формирования конечного прогноза. Например, модель, идентифицирующая виды птиц, может сначала выбрать концепции, такие как "желтые ноги" и "синие крылья", прежде чем предсказать, что это деревенская ласточка.
Новая методика MIT использует специализированные модели машинного обучения, которые автоматически извлекают знания из целевой модели и переводят их в понятные человеку концепции. Это позволяет преобразовывать любую предварительно обученную модель компьютерного зрения в модель, способную объяснять свои предсказания.
Преимущества нового подхода
Основное преимущество нового метода заключается в использовании более точных и понятных концепций, что может улучшить точность и ответственность "черных ящиков" AI. Исследователи из MIT применили свою методику к задачам, таким как предсказание видов птиц и определение кожных поражений на медицинских изображениях, добившись более высокой точности и улучшенных объяснений.
Контроль над концепциями
Чтобы избежать использования неизвестных или нежелательных концепций, модель ограничивается использованием только пяти концепций для каждого предсказания. Это принуждает модель выбирать наиболее релевантные концепции и делает объяснения более понятными.
Исследования показали, что извлечение концепций из оригинальной модели может превзойти другие CBM, однако остаётся компромисс между интерпретируемостью и точностью. В будущем планируется изучение потенциальных решений проблемы утечки информации, возможно, путём добавления дополнительных модулей концептуальных узких мест.
Перспективы и значение для индустрии
Этот подход открывает новые возможности для создания более прозрачных и доверительных AI-систем, что особенно важно в критически важных приложениях. Возможность объяснять предсказания AI может повысить доверие пользователей и ускорить внедрение AI в различных отраслях, таких как здравоохранение и автономные технологии.
Кроме того, данный метод может способствовать развитию символического AI и графов знаний, создавая мост между интерпретируемыми AI и структурированными знаниями.
