Цена ошибки: когда предвзятость ИИ стоит жизни
В современных больницах и клиниках дерматологи все чаще обращаются к моделям искусственного интеллекта для классификации поражений кожи. ИИ помогает врачу определить, является ли новообразование доброкачественным или несет риск развития рака. Но что, если алгоритм обучен преимущественно на фотографиях светлой кожи? В этом случае модель становится предвзятой (biased) по отношению к определенным оттенкам кожи, что может привести к фатальной ошибке — ИИ просто не распознает пациента из группы высокого риска.
Проблема предвзятости — один из самых известных и стойких вызовов, с которыми сегодня сталкиваются исследователи ИИ. Обычно ее связывают с несбалансированными наборами обучающих данных. Однако архитектура самой модели также способна скрывать и даже усиливать эти искажения, катастрофически снижая эффективность алгоритмов в реальных условиях. В медицине, где ставки максимально высоки, предвзятость ИИ давно перешла из разряда этических дискуссий в фундаментальную проблему безопасности.
Дилемма «Ударь крота» (Whac-A-Mole): почему старые методы не работают
До недавнего времени основным способом борьбы с предвзятостью в визуально-языковых моделях (Vision Language Models, VLMs), таких как OpenCLIP от OpenAI, было так называемое проекционное устранение предвзятости (projection debiasing).
VLMs — это мультимодальные нейросети, способные одновременно понимать и интерпретировать различные типы данных: текст, изображения и видео. Проекционное устранение работает как пост-обработка. Алгоритм находит в многомерном векторном пространстве (эмбеддингах) «вредную» информацию и буквально «вырезает» или «сплющивает» это подпространство, удаляя искажение.
Но у этого метода есть критический недостаток, который в 2023 году получил официальное название в ИИ-исследованиях — дилемма «Ударь крота» (Whac-A-Mole dilemma), по аналогии с популярной аркадной игрой, где удар по одному кроту заставляет другого выскочить из соседней норы.
«Когда вы применяете проекцию, вы непреднамеренно сплющиваете всё вокруг, — объясняет Уолтер Герич, ведущий автор исследования, проводивший эту работу в MIT. — Все остальные связи, которые выучила модель, искажаются».
Простая аналогия: Представьте, что векторное пространство модели — это туго надутый воздушный шар. Предвзятость — это некрасивая выпуклость на одной его стороне. Проекционное устранение пытается вдавить эту выпуклость внутрь (удалить расовую предвзятость). Но из-за давления воздуха шар неизбежно выпятится в другом месте (например, внезапно усилится гендерная предвзятость при поиске изображений медицинского персонала).
Встречайте WRING: Взвешенное ротационное устранение предвзятости
В новой статье, принятой на престижную Международную конференцию по обучению представлениям (ICLR) 2026 года, исследователи из MIT, Вустерского политехнического института (WPI) и Google предложили элегантное решение этой проблемы. Новый подход получил название WRING (Weighted Rotational DebiasING).
Вместо того чтобы «вырезать» или «сплющивать» проблемные участки, WRING вращает определенные координаты внутри многомерного пространства модели. Алгоритм находит те координаты, которые отвечают за предвзятость, и смещает их под другим углом. В результате модель теряет способность различать группы внутри определенного концепта (например, перестает связывать профессию с полом), но все остальные связи и знания модели остаются абсолютно нетронутыми.
Сравнение подходов к дебиасингу
| Характеристика | Проекционное устранение (Projection) | WRING (Ротационное устранение) |
|---|---|---|
| Механика | Удаление/сплющивание подпространства | Вращение координат под новым углом |
| Побочные эффекты | Высокие (Дилемма «Ударь крота») | Минимальные (связи сохраняются) |
| Этап применения | Пост-обработка (Post-processing) | Пост-обработка (Post-processing) |
| Влияние на другие метрики | Может снизить общую точность модели | Сохраняет исходную производительность |
Почему пост-обработка — это Святой Грааль для индустрии
Важнейшая особенность WRING заключается в том, что это метод пост-обработки. Его можно применить «на лету» к уже обученной модели VLM. Это имеет колоссальное экономическое значение для всей AI-индустрии.
Обучение современных фундаментальных моделей (Foundation Models) требует огромных вычислительных мощностей и стоит десятки миллионов долларов. Если в готовой модели обнаруживается предвзятость, переобучать ее с нуля — непозволительная роскошь.
«Люди уже потратили массу ресурсов и денег на обучение этих огромных моделей, и мы совершенно не хотим вмешиваться и менять что-то в процессе обучения, потому что тогда придется начинать всё сначала, — отмечает Герич. — WRING очень эффективен. Он не требует дополнительного обучения модели и является минимально инвазивным».
Что это значит для будущего ИИ?
Результаты тестов показали, что WRING значительно снижает предвзятость для целевого концепта (например, ассоциации «дорогой предмет» исключительно с черно-белыми изображениями или «верная собака» только с породой корги, как это было в ранних версиях CLIP), не увеличивая при этом предвзятость в других областях.
На данный момент подход протестирован преимущественно на моделях типа CLIP (Contrastive Language-Image Pre-training) — архитектурах, которые связывают изображения с текстом для поиска или классификации. Однако амбиции исследователей идут гораздо дальше.
Перспективы и анализ IntellectNews
По мнению нашей редакции, внедрение подобных ротационных методов может стать индустриальным стандартом в ближайшие 2-3 года. Вот почему:
- Регулирование: С вступлением в силу законов вроде AI Act в Европе, разработчикам придется доказывать отсутствие дискриминации в их алгоритмах. WRING дает дешевый и быстрый инструмент для комплаенса.
- Медицина и HR: В сферах, где алгоритмы принимают решения о судьбах людей (найм сотрудников, постановка диагнозов), устранение эффекта «Ударь крота» жизненно необходимо. Мы не можем исправлять дискриминацию по возрасту за счет ущемления прав по гендерному признаку.
- Генеративный ИИ: Как заявил сам Герич: «Расширение этого метода для генеративных языковых моделей в стиле ChatGPT — это разумный следующий шаг для нас». Если WRING удастся адаптировать для LLM, мы получим гораздо более безопасные, объективные и адекватные чат-боты без необходимости фильтровать каждый их ответ через громоздкие системы цензуры.
Исследование, поддержанное Национальным научным фондом США (NSF) и грантами от Google и MIT, доказывает: мы переходим от эпохи «грубой силы» в машинном обучении к эпохе ювелирной, математически выверенной настройки нейросетей. И алгоритм WRING — ярчайший тому пример.
