Введение в нейро-символическое обнаружение мошенничества
Современные системы обнаружения мошенничества сталкиваются с множеством вызовов, одним из которых является концептуальный дрейф. Это явление происходит, когда изменяются условия или контексты, на которые обучалась модель, и старые правила уже не применимы. В таких случаях модели могут начать ошибаться, даже если их метрики кажутся идеальными. 
Что такое концептуальный дрейф и почему он важен?
Концептуальный дрейф — это изменение в значении связей, которые модель обучилась распознавать. Например, если показатель V14, используемый для определения мошенничества, начинает вести себя иначе, это может привести к значительным ошибкам в предсказаниях модели. В отличие от других типов дрейфа, таких как ковариантный или прайорный дрейф, концептуальный дрейф не оставляет видимых следов в данных, таких как изменение распределения входных характеристик или частоты мошенничества.
Три типа дрейфа в данных
- Ковариантный дрейф: изменение распределения входных характеристик.
- Прайорный дрейф: изменение частоты мошенничества.
- Концептуальный дрейф: изменение значений связей, на которые модель обучилась.
Как работает нейро-символическое обнаружение дрейфа?
Нейро-символическое обнаружение мошенничества использует два параллельных пути: нейронную сеть для детекции и символический путь, который обучается правилам вида "ЕСЛИ-ТО" на основе тех же данных. Эти правила могут служить индикатором изменений в данных, если их активация начинает изменяться.
Ключевые метрики для мониторинга дрейфа
- RWSS (Rule Weight Stability Score): косинусное сходство между базовым и текущим векторами активации правил.
- FIDI (Feature Importance Drift Index): насколько изменилось значение каждой характеристики для активации правил.
- RFR (Rule Firing Rate): доля транзакций, на которых срабатывает каждое правило.
Новые подходы к обнаружению концептуального дрейфа
Для улучшения обнаружения концептуального дрейфа были предложены несколько новых метрик. Одной из них является FIDI Z-Score, который использует нормализацию Z-оценки относительно собственной истории окна. Это позволяет выявлять аномальные изменения в данных без необходимости в метках.
Примеры и результаты
В эксперименте на основе данных о кредитных картах из Kaggle, FIDI Z-Score смог выявить концептуальный дрейф во всех тестовых запусках, зачастую до падения показателя F1. Это доказывает, что данный подход может быть эффективным инструментом для раннего обнаружения дрейфа в производственных системах.
Перспективы и значение для индустрии
Использование нейро-символических систем для обнаружения дрейфа открывает новые возможности для повышения надежности и точности систем обнаружения мошенничества. Такие подходы могут значительно снизить количество ложных срабатываний и повысить устойчивость моделей к изменениям в данных.
Для компаний, использующих модели машинного обучения в критически важных задачах, это может означать более эффективное управление рисками и уменьшение затрат на поддержку и настройку моделей.
