Введение в проблему ИИ и неравенства
Искусственный интеллект (ИИ) обещал стать инструментом демократизации доступа к информации, позволяя каждому человеку — независимо от его происхождения — получать знания через удобный интерфейс. Однако новое исследование Центра конструктивной коммуникации (CCC) Массачусетского технологического института (MIT) показывает, что эти системы могут демонстрировать худшую производительность именно для тех пользователей, которые наиболее нуждаются в них.
Как исследователи тестировали ИИ-модели
В рамках исследования команда CCC проверила, как современные языковые модели, такие как GPT-4 от OpenAI и Claude 3 Opus от Anthropic, отвечают на вопросы из двух наборов данных: TruthfulQA и SciQ. Эти наборы данных были выбраны для оценки правдивости и фактической точности моделей. Исследователи предваряли каждый вопрос краткими биографиями пользователей, изменяя три признака: уровень образования, владение английским языком и страна происхождения.
Результаты тестирования
Основные выводы исследования показывают значительное снижение точности ответов для пользователей с низким уровнем образования и не являющихся носителями английского языка. Эти эффекты были наиболее выражены у пользователей, которые одновременно обладали обоими этими признаками.
Отказы в ответах и снисходительный язык
Одним из самых заметных аспектов стало то, как часто модели отказывались отвечать на вопросы. Например, модель Claude 3 Opus отказалась отвечать почти на 11% вопросов от пользователей с низким уровнем образования и плохим знанием английского, тогда как для контрольной группы без биографий этот показатель составил всего 3,6%.
Почему это важно?
Такие отказы сопровождались снисходительным или насмешливым языком в 43,7% случаев для менее образованных пользователей, при этом для высокообразованных пользователей этот показатель был менее 1%.
Отражение человеческих предубеждений
Исследование напоминает о задокументированных моделях человеческих социокогнитивных предубеждений. Исследования в области социальных наук показывают, что носители английского языка часто воспринимают не носителей языка как менее образованных и компетентных, независимо от их реальной экспертизы.
Перспективы и вызовы для индустрии ИИ
Эти выводы подчеркивают необходимость тщательной оценки систематических предвзятостей, которые могут незаметно проникать в ИИ-системы и причинять несправедливый вред определённым группам. Это особенно актуально в свете роста персонализированных функций, таких как память ChatGPT, отслеживающая информацию о пользователе в ходе диалогов.
Что это значит для индустрии
Стремление индустрии к более равноправному доступу к информации может быть подорвано, если не будут предприняты меры по устранению предвзятостей. Технологические компании должны активно работать над тем, чтобы их модели не только предоставляли доступ к информации, но и делали это справедливо по отношению ко всем пользователям.
