Проблема объясняемости в AI
С развитием технологий искусственного интеллекта и машинного обучения все большее внимание уделяется объясняемости решений, принимаемых AI-моделями. Это особенно важно в критически значимых областях, таких как здравоохранение и автономное вождение, где от точности и прозрачности предсказаний зависят жизни людей.
Концептуальные узкие места (Concept Bottleneck Models)
Одним из подходов к улучшению объясняемости AI-моделей является использование концептуальных узких мест или CBM (Concept Bottleneck Models). Эти модели добавляют промежуточный шаг, в котором модель предсказывает наличие определенных концептов в данных и только потом делает итоговое предсказание.
Для примера, модель, определяющая виды птиц, может сначала выявить такие концепты, как "желтые лапы" и "синие крылья", прежде чем сделать окончательное предсказание о виде птицы.
Новый подход MIT
Исследователи из MIT предложили улучшенный метод для создания объясняемых AI-моделей. Ключевая идея заключается в извлечении концептов, которые модель уже выучила в процессе обучения, и преобразовании их в понятную для человека форму.
Первый шаг этого метода включает использование специализированной модели глубокого обучения — разреженного автоэнкодера, который выбирает наиболее релевантные признаки и реконструирует их в виде небольшого набора концептов. Затем мультимодальная языковая модель (LLM) описывает каждый из этих концептов на простом языке.
Контроль концептов
Чтобы предотвратить использование неизвестных или нежелательных концептов, модель ограничивается использованием только пяти концептов для каждого предсказания. Это заставляет модель выбирать наиболее значимые концепты, делая объяснения более понятными.
Перспективы и вызовы
Хотя предложенный метод показал высокую точность и более четкие объяснения по сравнению с существующими CBM, остается вопрос баланса между интерпретируемостью и точностью. Неинтерпретируемые черные ящики все еще превосходят по точности.
В будущем исследователи планируют решить проблему утечки информации, возможно, добавив дополнительные модули узких мест, и масштабировать метод, используя более крупные языковые модели для аннотирования больших наборов данных.
Этот подход открывает новые возможности для интеграции объясняемого AI с символическим ИИ и графами знаний, что может привести к созданию более надежных и прозрачных систем.
