В эпоху стремительного развития искусственного интеллекта (ИИ), вопрос объяснимости моделей становится как никогда актуальным. Особенно это важно в сферах с высоким уровнем ответственности, таких как здравоохранение и автономное вождение, где на кону стоит человеческая жизнь и здоровье. В таких ситуациях пользователи хотят знать, на основании чего модель делает свои предсказания, чтобы можно было доверять ее выводам.
Концептуальные бутылочные модели: что это и зачем они нужны?
Одним из решений проблемы объяснимости стали концептуальные бутылочные модели (CBM). Эти модели добавляют промежуточный шаг в процессе предсказания, заставляя компьютерное зрение сначала идентифицировать концепции, присутствующие на изображении, а затем использовать их для окончательного прогноза.
Например, модель, которая определяет виды птиц, может сначала выбрать такие концепты, как «желтые ноги» и «синие крылья», прежде чем предсказать, что это деревенская ласточка. Этот «бутылочный» шаг помогает пользователям лучше понять логику модели.
Проблемы с традиционными CBM
Традиционные CBM часто полагаются на заранее созданные человеком концепты, что может не всегда подходить для специфической задачи. Более того, модели иногда используют нежелательную информацию, что создает проблему, известную как утечка информации.
Новый подход от MIT: извлечение знаний из модели
Исследователи из MIT предложили иной подход: вместо использования заранее определенных концептов, они извлекают знания, которые модель уже усвоила во время обучения. Это позволяет моделям использовать более точные и релевантные концепции для объяснения своих предсказаний.
Как это работает?
Первоначально специальная глубокая модель, называемая разреженным автоэнкодером, выбирает наиболее значимые особенности, которые модель усвоила, и преобразует их в набор концептов. Затем мультимодальная языковая модель (LLM) описывает каждый концепт на простом языке.
В результате, полученная модель может делать предсказания, используя только извлеченные концепты, что значительно повышает ее объяснимость и точность. Это решение позволяет любому предварительно обученному компьютерному зрению использовать концепты для объяснения своей логики.
Перспективы и будущее развитие
Эта инновация открывает множество возможностей для дальнейших исследований, включая изучение проблемы утечки информации и расширение метода с помощью более крупных мультимодальных моделей. В будущем такие подходы могут стать мостом к символьному ИИ и графам знаний, обеспечивая модели, которые объясняют свои действия не только точнее, но и более доступно для понимания человеком.
