Хабр-колонка ML-инженера билайна описывает, как автоматизировать контроль деградации скоринговых моделей из-за feature/concept drift. В основе — перевод метрик стабильности и качества в временные ряды по партициям (месяц/квартал) и их единая автооценка. Помимо PSI автор использует пул метрик распределений: KS, KL, Jensen–Shannon, Wasserstein; метрики качества (Gini, F1, ROC AUC; для регрессии — MAE/MSE/RMSE/MAPE) и калибровку по ECE/Calibration curve.

Далее строится «оценщик графиков»: для каждой метрики обучаются две простые модели — классификатор стабильности (0/1) и регрессор (балл 1–5). Итоговый скор — взвешенная комбинация двух оценок. Фичи для оценщика извлекаются из ряда: стационарность (ADF), тренд (линейная регрессия), волатильность/выбросы, экстремумы и технические индикаторы (например, «golden cross» пересечения скользящих средних). Для Precision Macro применяют экспоненциально взвешенную оценку монотонности вместо ML.

В проде система подсвечивает «уехавшие» признаки и помогает ранжировать модели близкого качества; её можно включать в отбор фич и тюнинг гиперпараметров с учётом стабильности. Ограничения: шум разметки, риск «переобучения на стабильность», поэтому нужен баланс между качеством и устойчивостью и пороговые политики алертов.