Обнаружение мошенничества с кредитными картами — это задача, которая ставит перед исследователями множество вызовов. Одним из основных является дисбаланс данных: в типичных наборах данных процент мошеннических транзакций составляет менее 0,2%. В таких условиях стандартные нейронные сети, обученные с использованием взвешенной бинарной кросс-энтропии, часто демонстрируют высокие значения ROC-AUC, но испытывают трудности при определении подозрительных транзакций по метрикам, чувствительным к порогам.
В этой статье мы подробно рассмотрим гибридный нейро-символический (HNS) подход, который предлагает интеграцию знаний о предметной области непосредственно в цель обучения в виде дифференцируемой функции потерь. Это позволяет модели присваивать высокую вероятность мошенничества транзакциям с необычно большими суммами и нетипичными характеристиками, полученными с помощью анализа главных компонент (PCA).
Проблема: Когда ROC-AUC вводит в заблуждение
В случае с набором данных для обнаружения мошенничества процент положительных случаев составляет всего 0,17%. Обученная сеть с использованием взвешенной BCE продемонстрировала ROC-AUC 0,96, что на первый взгляд кажется хорошим результатом. Однако при анализе распределения баллов и метрик, зависящих от порогов, выяснилось, что модель предпочитала предсказывать «не мошенничество» для всех случаев, вызывающих сомнение.
Проблема заключалась в том, что модель не имела представления о том, что такое мошенничество. Аналитик-новичок на первом же дне работы мог бы сказать, что крупные транзакции вызывают подозрение, транзакции с необычными характеристиками PCA вызывают подозрение, и если оба признака присутствуют, на это следует обратить внимание. Эти знания никогда не доходят до цикла обучения модели.
Гибридный нейро-символический подход
Чтобы решить эту проблему, автор предложил эксперимент: что если закодировать интуицию аналитика как мягкое ограничение непосредственно в функции потерь, что-то, что сеть должна соблюдать, одновременно подстраиваясь под метки? Результатом стал гибридный нейро-символический (HNS) подход.
Гибридный подход включает в себя те же трехслойные мультислойные перцептроны, но с добавлением дифференцируемого штрафа за нарушение правил в функции потерь. Это позволяет учитывать знания эксперта о мошенничестве при обучении модели.
Описание эксперимента и результаты
Для эксперимента использовался набор данных Kaggle Credit Card Fraud, содержащий 284,807 транзакций, из которых только 492 являются мошенническими. Особенности V1–V28 представляют собой компоненты PCA, полученные из анонимных исходных данных. Цель эксперимента — продемонстрировать эффективность гибридной модели по сравнению с чисто нейронной базовой линией.
Настройка модели
Для обучения использовались различные модели: Isolation Forest, One-Class SVM, чисто нейронная сеть и гибридная нейро-символическая модель. Чисто нейронная модель представляла собой трехслойный мультислойный перцептрон с взвешенной бинарной кросс-энтропией и без знаний о предметной области. Гибридная модель добавляла к функции потерь штраф за нарушение правил, основанных на знаниях аналитика.
Результаты и анализ
Результаты показали, что гибридная модель достигает ROC-AUC 0.970 ± 0.005, по сравнению с 0.967 ± 0.003 для чисто нейронной модели. Важно отметить, что выбор порога на сильно несбалансированных данных влияет на F1 так же, как и архитектура модели. Оба подхода необходимо оценивать с использованием одинаковой стратегии выбора порога для получения значимых результатов.
Анализ результатов показал, что гибридная модель обеспечивает более высокую точность и чувствительность, особенно в условиях низкого числа ложных срабатываний. Это подтверждает, что интеграция экспертных знаний позволяет существенно улучшить качество модели в реальных условиях.
Перспективы и значение для индустрии
Гибридный нейро-символический подход открывает новые возможности для повышения эффективности систем обнаружения мошенничества и других задач, где требуется высокая точность при наличии малого количества положительных примеров. Это особенно актуально в финансовой индустрии, где точность и скорость реакции на мошенничество имеют критическое значение.
Внедрение такого подхода может привести к созданию более надежных систем безопасности, которые будут не только учитывать текущие данные, но и использовать накопленные знания и интуицию экспертов. Это позволит значительно снизить количество ложных срабатываний и улучшить качество обслуживания клиентов.
