Введение: проблема забывания моделей
Современные ML модели в производственной среде не деградируют постепенно — они сталкиваются с резкими и непредсказуемыми изменениями. Исследование на основе 555,000 транзакций показало, что традиционная экспоненциальная кривая забывания имеет R² = −0.31, что хуже, чем предсказание среднего значения.
Перед тем как устанавливать график переобучения, стоит выполнить простую трехстрочную диагностику, чтобы понять, как ведет себя ваша модель:
report = tracker.report()
print(report.forgetting_regime) # "smooth" or "episodic"
print(report.fit_r_squared) # < 0.4 → abandon schedule assumptionsЕсли ваш R² меньше 0.4, модель не "забывает", и все предположения о полураспаде могут оказаться ошибочными.
Как всё началось: неделя номер семь
В седьмую неделю показатель Recall упал с 0.9375 до 0.7500 всего за семь дней. Это стирание трёх недель улучшений модели произошло без предупреждения, хотя общие ежемесячные показатели остались в пределах нормы.
Этот случай заставил пересмотреть предположения о графиках переобучения, которые основывались на экспоненциальной модели забывания, предложенной Германом Эббингхаусом в XIX веке.
Модель забывания: от психологии к машинному обучению
Историческая перспектива
В 1885 году Герман Эббингхаус изучал человеческую память и обнаружил экспоненциальную зависимость: память угасает постепенно и предсказуемо. Это открытие стало основой для многих исследований в когнитивной психологии.
Эксперимент с мошенническими транзакциями
Для проверки применимости этой модели в машинном обучении был использован набор данных о мошеннических транзакциях с кредитными картами. Модель, использующая LightGBM, не переобучалась в течение тестового периода, а качество оценивалось на основе еженедельных данных.
Результаты и выводы эксперимента
За 26 недель наблюдений были выявлены резкие изменения в показателях. Наиболее драматическим был случай на 7-й неделе. Модель потеряла способность обнаруживать мошенничество, когда количество мошеннических транзакций внезапно возросло более чем в 2 раза.
| Неделя | Дата | Транзакции | Мошенничество | Recall |
|---|---|---|---|---|
| 6 | 2020-07-26 | 19,733 | 64 | 0.9375 |
| 7 | 2020-08-02 | 20,023 | 152 | 0.7500 |
Эти изменения сложно предсказать с помощью традиционных графиков переобучения.
Два режима забывания моделей
Анализ данных выявил два режима забывания моделей: плавный и эпизодический. Плавный режим соответствует постепенному изменению данных, тогда как эпизодический режим характеризуется резкими скачками.
Эпизодический режим требует использования методов обнаружения шоков, а не регулярных графиков переобучения.
Как применять на практике
Метод диагностики позволяет определить, в каком режиме работает ваша модель, и выбрать подходящую стратегию управления:
- Если R² ≥ 0.4 — используйте плановое переобучение.
- Если R² < 0.4 — применяйте обнаружение шоков.
Такой подход позволяет быстро адаптироваться к изменяющимся условиям и поддерживать высокую производительность моделей.
