Дрейф данных

Материал из MachineLearning.

Версия от 12:41, 19 июля 2026; Oleg Batsiev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM GPT-5.6 Terra High и проверена участником Oleg Batsiev 18:20, 11 июля 2026 (MSD).

Промпты для текущей редакции и описание проверки приведены в Обсуждение:Дрейф данных.

Дрейф данных (англ. data drift) — изменение статистических свойств данных, поступающих в модель после её обучения и внедрения. В узком смысле под ним понимают изменение распределения входных признаков $P(X)$ . Более общий термин сдвиг распределения (англ. distribution shift, dataset shift) обозначает любое различие между совместными распределениями данных при разработке и эксплуатации модели, включая изменение распределения целевой переменной и зависимости цели от признаков.

В прикладной литературе термин «дрейф данных» нередко используют расширительно, охватывая все эти случаи. Поэтому при сообщении о дрейфе важно указывать, что именно изменилось: входные данные, доли классов, выходы модели или её качество на новых размеченных объектах.

Проблема особенно существенна для потоковых и регулярно обновляемых систем: рекомендательных систем, кредитного скоринга, обнаружения мошенничества, медицинской диагностики и промышленного мониторинга. Дрейф не обязательно приводит к деградации модели, а отсутствие заметного дрейфа входов не гарантирует сохранения качества.

Постановка задачи

Пусть при разработке данные описывались совместным распределением

$P_{mathrm{src}}(X,Y),$

а в целевой среде или в момент времени $t$ — распределением

$P_t(X,Y).$

Сдвиг распределения имеет место, если

$P_t(X,Y)\ne P_{mathrm{src}}(X,Y).$

Совместное распределение можно разложить двумя способами:

$P(X,Y)=P(Y\mid X)P(X)=P(X\mid Y)P(Y).$

Эти разложения позволяют описать несколько идеализированных видов сдвига. Они основаны на предположениях о том, какая часть распределения сохраняется; по одним только неразмеченным целевым данным в общем случае невозможно однозначно установить тип сдвига.

Статистически обнаружимый сдвиг не равен практически значимой деградации. Изменение неиспользуемого признака может не повлиять на решения модели, тогда как небольшой сдвиг важного признака или зависимости $P(Y\mid X)$ способен существенно увеличить риск.

Основные виды сдвига

Ковариатный сдвиг

Ковариатный сдвиг (англ. covariate shift) задаётся условиями

$P_t(X)\ne P_{mathrm{src}}(X),$

$P_t(Y\mid X)=P_{mathrm{src}}(Y\mid X).$

Например, после запуска сервиса в новом регионе меняется состав пользователей, но зависимость целевого события от характеристик пользователя внутри каждой области пространства признаков остаётся прежней.

При ковариатном сдвиге целевой риск модели $f$ можно представить через исходное распределение с весами важности:

$R_t(f)=\mathbb{E}_{(X,Y)\sim P_{mathrm{src}}}\left[w(X)\,\ell(f(X),Y)\right],$

где

$w(x)=\frac{p_t(x)}{p_{mathrm{src}}(x)}.$

Такое взвешивание требует возможности оценить отношение плотностей и условия покрытия: для областей, вероятных в целевой среде, исходная плотность не должна быть нулевой. Большие веса увеличивают дисперсию оценки, поэтому на практике веса ограничивают или регуляризуют.^[1]

Сдвиг априорных вероятностей классов

Сдвиг меток или сдвиг априорных вероятностей (англ. label shift, prior probability shift) описывается условиями

$P_t(Y)\ne P_{mathrm{src}}(Y),$

$P_t(X\mid Y)=P_{mathrm{src}}(X\mid Y).$

Например, может измениться доля мошеннических операций, тогда как распределения признаков внутри классов «мошенничество» и «нормальная операция» остаются прежними. При выполнении предположения label shift априорные вероятности можно оценить по неразмеченным целевым данным и скорректировать вероятностные предсказания или порог. Однако это не универсальное средство: метод Black Box Shift Estimation, например, требует невырожденной матрицы ошибок вспомогательного классификатора.^[1]

Если вместе с долей классов меняется $P(X\mid Y)$ , простая перенастройка априорных вероятностей уже не обоснована.

Дрейф концепта

Дрейф концепта (англ. concept drift) в задачах обучения с учителем означает изменение зависимости целевой переменной от признаков:

$P_t(Y\mid X)\ne P_{mathrm{src}}(Y\mid X).$

После изменения кредитной политики одинаковые признаки заёмщика могут соответствовать иному риску; после замены оборудования прежняя связь между показаниями датчиков и неисправностью может перестать выполняться. Этот вид сдвига нельзя надёжно обнаружить только сравнением маргинальных распределений входов: необходимы новые метки либо дополнительные предположения.

В исследованиях потокового обучения словом «концепт» иногда называют всё совместное распределение $P(X,Y)$ , а дрейф входов без изменения $P(Y\mid X)$ — виртуальным дрейфом. Терминология неоднородна, поэтому формальные условия важнее названия.^[1]

Характер изменения во времени

По динамике обычно различают:

резкий дрейф — один режим быстро сменяется другим;
постепенный дрейф — старый и новый режим некоторое время сосуществуют, причём вероятность нового режима увеличивается;
инкрементальный дрейф — параметры распределения или концепта непрерывно изменяются небольшими шагами;
повторяющийся дрейф — ранее наблюдавшийся режим возвращается, например из-за сезонности;
кратковременное отклонение — временная аномалия, после которой прежний режим восстанавливается.

Последний случай не всегда следует считать дрейфом. Автоматическое переобучение на кратковременной неисправности или разовом событии может ухудшить систему.

Источники изменений

Дрейф может отражать реальное изменение среды или техническое изменение процесса получения данных:

меняются поведение пользователей, рынок, ассортимент или состав аудитории;
изменяются правила принятия решений, интерфейс продукта либо политика сбора наблюдений;
появляются новые категории, устройства или каналы взаимодействия;
заменяются датчики, единицы измерения, кодировки или алгоритмы предобработки;
нарушается конвейер: пропадают значения, сдвигаются поля или изменяется схема таблицы;
модель воздействует на будущие данные, например рекомендации определяют, какие объекты пользователь вообще увидит.

Изменение схемы или поломка конвейера — прежде всего проблема качества данных, а не естественный статистический дрейф. Переобучение на повреждённых данных закрепляет ошибку вместо её устранения.

Уровни мониторинга

Схема и качество данных

До статистических тестов проверяют типы и диапазоны значений, обязательные поля, доли пропусков, уникальность идентификаторов, единицы измерения, категории и версии преобразований. Такие проверки быстрее и однозначнее выявляют многие технические неисправности.

Распределения признаков

Для числовых признаков отслеживают квантили, среднее, дисперсию, гистограммы и доли значений вне эталонного диапазона. Для категориальных — частоты, новые и исчезнувшие категории. Эталоном может быть обучающая выборка, предыдущий период или сезонно сопоставимое окно.

Одномерный мониторинг не видит изменения зависимостей между признаками. Для многомерных данных применяют двухвыборочные тесты в исходном или пониженном пространстве, максимальное среднее расхождение (MMD) и классификатор, обучаемый отличать исходные объекты от новых. Если такой классификатор устойчиво различает два периода на независимой проверке, это свидетельствует о сдвиге совместного распределения признаков.^[1]

Выходы модели

При отсутствии меток можно контролировать распределение предсказаний $P_t(\hat Y)$ , долю решений выше порога, неопределённость и частоту отказа модели. Это ранние индикаторы, но не прямые измерения качества. Неизменное распределение выходов может скрывать перестановку ошибок между объектами или подгруппами.

Качество при наличии меток

Наиболее прямой сигнал деградации — изменение целевой метрики на новых размеченных объектах. Для окна $W_t$ средняя потеря равна

$\bar\ell_t=\frac{1}{|W_t|}\sum_{i\in W_t}\ell(f(x_i),y_i).$

В зависимости от задачи отслеживают точность, полноту, ROC-AUC, логарифмическую потерю, ошибку прогноза и калибровку. Общую метрику дополняют показателями по значимым сегментам.

Разметка часто задерживается, является неполной или зависит от прежних решений модели. Например, исход кредита наблюдается через месяцы, а метка для отклонённой заявки может никогда не появиться. Такие задержанные и селективные метки необходимо учитывать при интерпретации мониторинга.

Методы обнаружения

Двухвыборочные проверки

Проверяется нулевая гипотеза

$H_0:P_{mathrm{src}}(X)=P_t(X)$

против альтернативы различия распределений. Для непрерывного одномерного признака может применяться критерий Колмогорова—Смирнова, для категориальных частот — критерий хи-квадрат. Population Stability Index часто используется как эвристическая мера по бинам, но не является универсальным статистическим тестом: его значение зависит от способа разбиения и объёма данных.

На больших выборках тест обнаруживает и практически ничтожные различия. При одновременной проверке множества признаков растёт вероятность ложных тревог. Поэтому пороги калибруют на исторически стабильных периодах, учитывают множественные сравнения и дополняют статистическую значимость размером эффекта и влиянием на модель.

Фиксированные и адаптивные окна

Фиксированное окно сравнивают с эталоном или с предыдущим окном. Короткое окно быстрее реагирует, но даёт более шумную оценку; длинное устойчивее, но увеличивает задержку обнаружения.

ADWIN (Adaptive Windowing) поддерживает окно переменной длины для числового потока. Алгоритм проверяет разбиения окна на старую и новую части и при статистически значимом различии их средних удаляет старую часть. ADWIN можно применять, например, к последовательности ошибок модели; сам по себе детектор не определяет причину изменения и не обязан автоматически переобучать модель.^[1]

Контроль ошибки

Если метки поступают достаточно быстро, детектор строят по последовательности потерь или ошибок. Такой сигнал ближе к практическому риску, чем любое изменение входа. Однако рост ошибки может быть вызван не дрейфом концепта, а поломкой признаков, изменением разметки или ошибкой вычислительного конвейера.

Реакция на дрейф

Сигнал мониторинга должен запускать диагностику, а не безусловное переобучение. Сначала проверяют качество и происхождение данных, изменения продукта, сегменты с наибольшим вкладом и наличие реальной деградации.

Возможные меры зависят от подтверждённого типа изменения:

при ковариатном сдвиге — взвешивание, сбор данных в непокрытых областях или переобучение;
при label shift — переоценка долей классов и порога, если выполняется предположение $P(X\mid Y)=\mathrm{const}$ ;
при дрейфе концепта — обновление данных и модели либо изменение набора признаков и постановки задачи;
при технической неисправности — исправление и, при возможности, повторная обработка данных без обучения на ошибочном периоде.

Периодическое переобучение

Обновление по расписанию просто в эксплуатации, но может быть запоздалым при резком дрейфе и избыточным в стабильные периоды. Частота должна учитывать скорость накопления разметки, стоимость обучения и риск устаревания.

Скользящее окно и забывание

Модель можно обучать только на последних $k$ наблюдениях или уменьшать вес старых объектов:

$w_i=\lambda^{t-i},\qquad 0<\lambda<1.$

Малое окно или быстрое забывание ускоряет адаптацию, но повышает дисперсию и стирает редкие либо сезонные режимы.

Онлайн-обучение и ансамбли

Онлайн-алгоритмы обновляют параметры по мере поступления объектов. Ансамбли могут добавлять модели, обученные на свежих данных, и уменьшать вес устаревших. Эти методы быстрее реагируют, но требуют контроля версий, воспроизводимости и защиты от накопления ошибок обратной связи.

Новую модель проверяют на временно более позднем периоде, затем запускают в теневом режиме или на ограниченной доле трафика с возможностью отката. В задачах высокого риска рандомизированный A/B-тест не всегда допустим; способ внедрения должен соответствовать предметной области.

Оценивание системы при дрейфе

Систему мониторинга оценивают не только по качеству модели после адаптации. Важны доля ложных тревог, вероятность пропуска, задержка обнаружения, стоимость разметки и вычислений, время восстановления и устойчивость к сезонности.

Для потоковых алгоритмов применяют последовательную оценку (prequential evaluation): очередной размеченный объект сначала используется для проверки текущей модели, а затем — для её обновления. Для пакетных систем используют разбиение по времени: обучение всегда предшествует валидации и тесту. Случайное перемешивание периодов может скрыть реальный дрейф и допустить утечку будущей информации.

Практический контур мониторинга

До внедрения фиксируют версии данных, преобразований, модели, эталонные распределения и целевые метрики.
Для критичных полей задают проверки схемы, диапазонов, пропусков и новых категорий.
Определяют сопоставимые окна, сезонные эталоны, минимальный объём выборки и правила множественных проверок.
Раздельно контролируют признаки, выходы модели и качество после поступления меток.
Сигнал связывают с сегментами, важностью признаков и практическим размером эффекта.
До адаптации исключают поломку конвейера, изменение определения метки и селективность наблюдений.
Новую модель проверяют на будущем временном периоде, сравнивают с действующей и сохраняют возможность отката.
После обновления продолжают мониторинг: исчезновение одного сигнала не доказывает устранение причины.

Ограничения

Детектор сдвига не устанавливает его причину и не выбирает автоматически правильную реакцию. Без меток обычно нельзя доказать, что изменилась именно зависимость $P(Y\mid X)$ . Также невозможно гарантировать обнаружение произвольного сдвига конечной выборкой: чувствительность зависит от вида изменения, размерности, объёма окна и выбранного представления.

Частые тревоги создают усталость операторов, а частое переобучение может сделать систему нестабильной. Обучение на данных, сформированных прошлыми решениями модели, способно усиливать обратную связь. В кредитовании, найме и рекомендациях среднее качество может оставаться стабильным при одновременном ухудшении для отдельной группы, поэтому мониторинг дополняют анализом сегментов и последствий решений.

Философский аспект

Дрейф показывает, что модель описывает не неизменный мир, а закономерности исторических наблюдений, собранных при конкретных условиях. Изменение среды может сделать прежние статистические связи непригодными даже без изменения кода модели.

Способность обнаруживать пределы применимости является частью надёжности интеллектуальной системы. При этом мониторинг не превращает модель в автономного наблюдателя: человек по-прежнему определяет эталон, допустимый риск, смысл тревоги и условия, при которых систему разрешено обновлять.

См. также

Примечания

Литература

Gama J., Žliobaitė I., Bifet A., Pechenizkiy M., Bouchachia A. A Survey on Concept Drift Adaptation // ACM Computing Surveys. — 2014. — Т. 46. — № 4. — С. 44:1–44:37.
Sugiyama M., Krauledat M., Müller K.-R. Covariate Shift Adaptation by Importance Weighted Cross Validation // Journal of Machine Learning Research. — 2007. — Т. 8. — № 35. — С. 985–1005.
Bifet A., Gavaldà R. Learning from Time-Changing Data with Adaptive Windowing // Proceedings of the 7th SIAM International Conference on Data Mining. — 2007. — С. 443–448.
Lipton Z. C., Wang Y.-X., Smola A. Detecting and Correcting for Label Shift with Black Box Predictors // Proceedings of the 35th International Conference on Machine Learning. — 2018. — Т. 80. — С. 3122–3130.
Rabanser S., Günnemann S., Lipton Z. C. Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift // Advances in Neural Information Processing Systems. — 2019. — Т. 32. — С. 1394–1406.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%94%D1%80%D0%B5%D0%B9%D1%84_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85»

Категории: Машинное обучение | Энциклопедия анализа данных