Rаспределение успеха модели по всей выборке зачастую вводит в заблуждение. Модель, которая хорошо показывает средний результат, может при этом проваливаться в целых 75 процентах случаев в новых условиях. Объявлять победу по средним метрикам — значит пропустить важнейшие пробелы в надёжности.
Команда MIT под руководством профессора Марзие Гасеми выявила, что спурии — невзначай связанные признаки, например, фоновый рисунок или случайные отметки, — продолжают мешать модели делать верные диагнозы даже при улучшении общих метрик. Например, модель может связывать наличие особых пометок с болезнью, и не заметить её, если этих пометок нет.
Более того, исследования показывают, что модели, обученные на возрастных группах или демографических данных, могут ошибаться в случаях, выходящих за рамки привычной статистики, что ведёт к искаженному восприятию их эффективности.
Чтобы бороться с этим, авторы представили алгоритм OODSelect, который выявляет зоны слабой производительности модели в новых данных. Он основан на большом числе моделей, обученных на исходных данных, и последующем тестировании их в новых условиях для поиска проблемных подмассивов.
Этот инструмент помогает не только понять, где модель ошибается, но и скорректировать её работу, сфокусировавшись на конкретных случаях. Авторы планируют внедрять OODSelect в стандартные процедуры оценки моделей, чтобы повысить их экологичность и надежность—особенно в медицине, где точной оценки недостаточно.
Исследование показывает, что гранулярный анализ и проверка моделей по конкретным подтаблицам — ключ к созданию более справедливых и устойчивых систем. В будущем ожидается расширение методов, позволяющих повысить доверие к ИИ в критичных сферах.
