Исследователи из Массачусетского технологического института (MIT) предложили инновационный подход, который поможет сделать предсказания моделей искусственного интеллекта более понятными. Это особенно важно для областей, где на кону стоит безопасность, таких как здравоохранение и автономное вождение.
Как работает новая методика?
Основой подхода стала концепция бутылочного горлышка. Это метод, который заставляет модели использовать понятные человеку концепции для объяснения своих решений. Например, в медицинской диагностике это могут быть такие признаки, как "скопление коричневых точек" или "разнообразная пигментация" для выявления меланомы.
Однако ранние версии этого метода страдали от недостатка точности, так как заранее определённые концепции не всегда подходили к конкретной задаче. Новая методика решает эту проблему, извлекая концепции из уже обученной модели, что позволяет ей лучше объяснять свои решения.
Преимущества для индустрии ИИ
Используя пару специализированных машинных моделей, исследователи извлекают знания из целевой модели и переводят их в понятные человеку концепции. Это позволяет любой модели компьютерного зрения объяснять свои предсказания, делая их более надёжными и понятными для пользователей.
По словам Антонио Де Сантиса, ведущего автора исследования, "мы стремимся читать мысли моделей компьютерного зрения, чтобы понимать, почему они делают определённые предсказания". Это повышает точность и улучшает подотчётность "чёрных ящиков" ИИ.
Преодоление трудностей
Разработчики столкнулись с множеством вызовов, создавая эту методику. Чтобы избежать использования неизвестных или нежелательных концепций, они ограничили модель всего пятью концепциями на каждое предсказание.
В сравнении с традиционными моделями бутылочного горлышка, их подход показал наивысшую точность и более точные объяснения. Исследователи также планируют масштабировать методику, аннотируя более крупные наборы данных с помощью более мощных языковых моделей.
Взгляд в будущее
Профессор Андреас Хотхо из Университета Вюрцбурга отмечает, что эта работа открывает новые возможности для последующих исследований, соединяя интерпретируемый ИИ с символическим интеллектом и графами знаний.
Финансирование исследования было обеспечено несколькими организациями, включая Европейский Союз и итальянское Министерство университетов и исследований.
