Дрейф данных

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
{{well|Статья написана с использованием LLM '''GPT-5.6 Terra High''' и проверена участником [[Участник:Oleg Batsiev|Oleg Batsiev]] 18:20, 11 июля 2026 (MSD).
{{well|Статья написана с использованием LLM '''GPT-5.6 Terra High''' и проверена участником [[Участник:Oleg Batsiev|Oleg Batsiev]] 18:20, 11 июля 2026 (MSD).
-
Промпты для текущей редакции и описание проверки приведены в [[Обсуждение:Дрейф данных]].
+
Промпты и описание редакторской проверки приведены в [[Обсуждение:Дрейф данных]].
}}
}}
{{TOCright}}
{{TOCright}}
-
'''Дрейф данных''' (англ. ''data drift'') — изменение статистических свойств данных, поступающих в модель после её обучения и внедрения. В узком смысле под ним понимают изменение распределения входных признаков <tex>P(X)</tex>. Более общий термин '''сдвиг распределения''' (англ. ''distribution shift'', ''dataset shift'') обозначает любое различие между совместными распределениями данных при разработке и эксплуатации модели, включая изменение распределения целевой переменной и зависимости цели от признаков.
+
'''Дрейф данных''' (англ. ''data drift'') — изменение статистических свойств данных, поступающих в модель после её обучения и внедрения. В эксплуатационной практике этим выражением нередко называют широкий класс изменений распределения (''distribution shift''), хотя в более узком смысле ''data drift'' означает изменение распределения входных признаков <tex>P(X)</tex>. Изменение зависимости целевой переменной от признаков <tex>P(Y\mid X)</tex> обычно называют '''дрейфом концепта''' (''concept drift'').
-
В прикладной литературе термин «дрейф данных» нередко используют расширительно, охватывая все эти случаи. Поэтому при сообщении о дрейфе важно указывать, что именно изменилось: входные данные, доли классов, выходы модели или её качество на новых размеченных объектах.
+
Дрейф важен для рекомендательных систем, кредитного скоринга, обнаружения мошенничества, медицинской диагностики и промышленного мониторинга. Модель может оставаться неизменной, но работать хуже, если изменились пользователи, бизнес-процесс, оборудование или способ получения признаков. Вместе с тем обнаруженное различие распределений ещё не доказывает деградацию качества и не является автоматическим основанием для переобучения.
-
 
+
-
Проблема особенно существенна для потоковых и регулярно обновляемых систем: [[Рекомендательные системы|рекомендательных систем]], кредитного скоринга, обнаружения мошенничества, медицинской диагностики и промышленного мониторинга. Дрейф не обязательно приводит к деградации модели, а отсутствие заметного дрейфа входов не гарантирует сохранения качества.
+
== Постановка задачи ==
== Постановка задачи ==
-
Пусть при разработке данные описывались совместным распределением
+
Пусть при обучении совместное распределение признаков <tex>X</tex> и целевой переменной <tex>Y</tex> имело вид
-
::<tex>P_{mathrm{src}}(X,Y),</tex>
+
::<tex>P_{\mathrm{train}}(X,Y),</tex>
-
а в целевой среде или в момент времени <tex>t</tex> — распределением
+
а в момент эксплуатации <tex>t</tex> оно равно
::<tex>P_t(X,Y).</tex>
::<tex>P_t(X,Y).</tex>
-
Сдвиг распределения имеет место, если
+
Распределительный сдвиг имеет место, если
-
::<tex>P_t(X,Y)\ne P_{mathrm{src}}(X,Y).</tex>
+
::<tex>P_t(X,Y)\ne P_{\mathrm{train}}(X,Y).</tex>
Совместное распределение можно разложить двумя способами:
Совместное распределение можно разложить двумя способами:
Строка 28: Строка 26:
::<tex>P(X,Y)=P(Y\mid X)P(X)=P(X\mid Y)P(Y).</tex>
::<tex>P(X,Y)=P(Y\mid X)P(X)=P(X\mid Y)P(Y).</tex>
-
Эти разложения позволяют описать несколько идеализированных видов сдвига. Они основаны на предположениях о том, какая часть распределения сохраняется; по одним только неразмеченным целевым данным в общем случае невозможно однозначно установить тип сдвига.
+
Эти разложения позволяют формально различить несколько идеализированных случаев. В реальной системе могут одновременно изменяться несколько множителей, поэтому однозначно отнести наблюдаемое изменение к одному типу удаётся не всегда.<ref name="gama">{{статья |автор=Gama J., Žliobaitė I., Bifet A., Pechenizkiy M., Bouchachia A. |заглавие=A Survey on Concept Drift Adaptation |издание=ACM Computing Surveys |год=2014 |том=46 |номер=4 |страницы=44:1–44:37 |doi=10.1145/2523813 |ссылка=https://doi.org/10.1145/2523813}}</ref>
-
Статистически обнаружимый сдвиг не равен практически значимой деградации. Изменение неиспользуемого признака может не повлиять на решения модели, тогда как небольшой сдвиг важного признака или зависимости <tex>P(Y\mid X)</tex> способен существенно увеличить риск.
+
Важно разделять три наблюдения:
-
== Основные виды сдвига ==
+
* изменение распределения входов <tex>P(X)</tex>;
 +
* изменение распределения предсказаний модели;
 +
* изменение качества предсказаний относительно истинных ответов.
 +
 
 +
Ни одно из них в общем случае не следует автоматически из другого.
 +
 
 +
== Типы распределительного сдвига ==
=== Ковариатный сдвиг ===
=== Ковариатный сдвиг ===
-
'''Ковариатный сдвиг''' (англ. ''covariate shift'') задаётся условиями
+
'''Ковариатный сдвиг''' (''covariate shift'') — случай, когда распределение признаков изменилось,
-
::<tex>P_t(X)\ne P_{mathrm{src}}(X),</tex>
+
::<tex>P_t(X)\ne P_{\mathrm{train}}(X),</tex>
-
::<tex>P_t(Y\mid X)=P_{mathrm{src}}(Y\mid X).</tex>
+
но условное распределение цели при фиксированных признаках осталось прежним:
-
Например, после запуска сервиса в новом регионе меняется состав пользователей, но зависимость целевого события от характеристик пользователя внутри каждой области пространства признаков остаётся прежней.
+
::<tex>P_t(Y\mid X)=P_{\mathrm{train}}(Y\mid X).</tex>
-
При ковариатном сдвиге целевой риск модели <tex>f</tex> можно представить через исходное распределение с весами важности:
+
Например, после запуска продукта в новом регионе может измениться состав пользователей, хотя связь между наблюдаемыми характеристиками пользователя и целевым действием внутри каждой области признакового пространства сохраняется.
-
::<tex>R_t(f)=\mathbb{E}_{(X,Y)\sim P_{mathrm{src}}}\left[w(X)\,\ell(f(X),Y)\right],</tex>
+
При выполнении этого предположения риск на новом распределении можно оценивать с помощью весов важности
-
где
+
::<tex>w(x)=\frac{p_t(x)}{p_{\mathrm{train}}(x)}.</tex>
-
::<tex>w(x)=\frac{p_t(x)}{p_{mathrm{src}}(x)}.</tex>
+
Такое взвешивание требует, чтобы области, существенные для нового распределения, были достаточно представлены в обучающих данных. Если <tex>p_{\mathrm{train}}(x)</tex> близка к нулю там, где <tex>p_t(x)</tex> велика, оценка отношения плотностей становится неустойчивой, а недостающую информацию невозможно получить одним перевзвешиванием.
-
Такое взвешивание требует возможности оценить отношение плотностей и условия покрытия: для областей, вероятных в целевой среде, исходная плотность не должна быть нулевой. Большие веса увеличивают дисперсию оценки, поэтому на практике веса ограничивают или регуляризуют.<ref name="sugiyama">{{статья |автор=Sugiyama M., Krauledat M., Müller K.-R. |заглавие=Covariate Shift Adaptation by Importance Weighted Cross Validation |издание=Journal of Machine Learning Research |год=2007 |том=8 |номер=35 |страницы=985–1005 |ссылка=https://www.jmlr.org/papers/v8/sugiyama07a.html}}</ref>
+
Заметный ковариатный сдвиг может почти не влиять на качество, если изменились неиспользуемые или малоинформативные признаки. И наоборот, отсутствие заметного изменения в отдельных маргинальных распределениях не исключает изменения совместной структуры признаков или зависимости <tex>P(Y\mid X)</tex>.
=== Сдвиг априорных вероятностей классов ===
=== Сдвиг априорных вероятностей классов ===
-
'''Сдвиг меток''' или '''сдвиг априорных вероятностей''' (англ. ''label shift'', ''prior probability shift'') описывается условиями
+
'''Сдвиг априорных вероятностей классов''' (''label shift'', ''prior probability shift'') задаётся условиями
-
::<tex>P_t(Y)\ne P_{mathrm{src}}(Y),</tex>
+
::<tex>P_t(Y)\ne P_{\mathrm{train}}(Y),</tex>
-
::<tex>P_t(X\mid Y)=P_{mathrm{src}}(X\mid Y).</tex>
+
::<tex>P_t(X\mid Y)=P_{\mathrm{train}}(X\mid Y).</tex>
-
Например, может измениться доля мошеннических операций, тогда как распределения признаков внутри классов «мошенничество» и «нормальная операция» остаются прежними. При выполнении предположения label shift априорные вероятности можно оценить по неразмеченным целевым данным и скорректировать вероятностные предсказания или порог. Однако это не универсальное средство: метод Black Box Shift Estimation, например, требует невырожденной матрицы ошибок вспомогательного классификатора.<ref name="lipton">{{статья |автор=Lipton Z. C., Wang Y.-X., Smola A. |заглавие=Detecting and Correcting for Label Shift with Black Box Predictors |издание=Proceedings of the 35th International Conference on Machine Learning |год=2018 |том=80 |страницы=3122–3130 |ссылка=https://proceedings.mlr.press/v80/lipton18a.html}}</ref>
+
Например, доля мошеннических операций может измениться, тогда как распределения признаков внутри классов «мошенничество» и «обычная операция» остаются прежними. В этом случае обычно меняются и <tex>P(X)</tex>, и апостериорные вероятности <tex>P(Y\mid X)</tex>; поэтому label shift нельзя определять как неизменность <tex>P(Y\mid X)</tex>.
-
Если вместе с долей классов меняется <tex>P(X\mid Y)</tex>, простая перенастройка априорных вероятностей уже не обоснована.
+
При подтверждённых предпосылках можно оценить новые доли классов и скорректировать вероятности или порог решения. Простая перенастройка порога недостаточна, если изменилось также <tex>P(X\mid Y)</tex> или само содержательное значение классов.
=== Дрейф концепта ===
=== Дрейф концепта ===
-
'''Дрейф концепта''' (англ. ''concept drift'') в задачах обучения с учителем означает изменение зависимости целевой переменной от признаков:
+
'''Дрейф концепта''' — изменение зависимости целевой переменной от признаков:
-
::<tex>P_t(Y\mid X)\ne P_{mathrm{src}}(Y\mid X).</tex>
+
::<tex>P_t(Y\mid X)\ne P_{\mathrm{train}}(Y\mid X).</tex>
-
После изменения кредитной политики одинаковые признаки заёмщика могут соответствовать иному риску; после замены оборудования прежняя связь между показаниями датчиков и неисправностью может перестать выполняться. Этот вид сдвига нельзя надёжно обнаружить только сравнением маргинальных распределений входов: необходимы новые метки либо дополнительные предположения.
+
Например, после изменения кредитной политики одинаковые наблюдаемые характеристики заёмщика могут соответствовать иному риску, а после модернизации оборудования прежние показания датчиков — иной вероятности неисправности. Распределение <tex>P(X)</tex> при этом может как измениться, так и остаться прежним.
-
В исследованиях потокового обучения словом «концепт» иногда называют всё совместное распределение <tex>P(X,Y)</tex>, а дрейф входов без изменения <tex>P(Y\mid X)</tex> — виртуальным дрейфом. Терминология неоднородна, поэтому формальные условия важнее названия.<ref name="gama">{{статья |автор=Gama J., Žliobaitė I., Bifet A., Pechenizkiy M., Bouchachia A. |заглавие=A Survey on Concept Drift Adaptation |издание=ACM Computing Surveys |год=2014 |том=46 |номер=4 |страницы=44:1–44:37 |doi=10.1145/2523813}}</ref>
+
Изменение <tex>P(Y\mid X)</tex> также называют ''real concept drift''; распределение <tex>P(X)</tex> при нём может измениться или остаться прежним. Если <tex>P(X)</tex> стабильно, такой дрейф принципиально не обнаруживается только сравнением неразмеченных входных данных: для его подтверждения нужны целевые метки, надёжные косвенные сигналы или дополнительные предположения.
-
== Характер изменения во времени ==
+
== Как изменение развивается во времени ==
-
По динамике обычно различают:
+
В литературе различают несколько форм изменения концепта:<ref name="lu">{{статья |автор=Lu J., Liu A., Dong F., Gu F., Gama J., Zhang G. |заглавие=Learning under Concept Drift: A Review |издание=IEEE Transactions on Knowledge and Data Engineering |год=2019 |том=31 |номер=12 |страницы=2346–2363 |doi=10.1109/TKDE.2018.2876857 |ссылка=https://doi.org/10.1109/TKDE.2018.2876857}}</ref>
-
* '''резкий дрейф''' — один режим быстро сменяется другим;
+
* '''резкое изменение''' (''abrupt drift'') — один режим быстро сменяется другим;
-
* '''постепенный дрейф''' — старый и новый режим некоторое время сосуществуют, причём вероятность нового режима увеличивается;
+
* '''постепенное изменение''' (''gradual drift'') — старый и новый режимы некоторое время встречаются одновременно, а вероятность нового растёт;
-
* '''инкрементальный дрейф''' — параметры распределения или концепта непрерывно изменяются небольшими шагами;
+
* '''инкрементальное изменение''' (''incremental drift'') — концепт последовательно проходит через промежуточные состояния;
-
* '''повторяющийся дрейф''' — ранее наблюдавшийся режим возвращается, например из-за сезонности;
+
* '''повторяющееся изменение''' (''recurring drift'') — ранее наблюдавшийся режим возвращается, например из-за сезонности.
-
* '''кратковременное отклонение''' — временная аномалия, после которой прежний режим восстанавливается.
+
-
Последний случай не всегда следует считать дрейфом. Автоматическое переобучение на кратковременной неисправности или разовом событии может ухудшить систему.
+
Кратковременный выброс или единичная аномалия не обязательно являются дрейфом. Для резкого изменения может быть полезно быстро уменьшить влияние старых данных, тогда как при повторяющихся режимах полное забывание истории способно ухудшить модель.
-
== Источники изменений ==
+
== Причины ==
-
Дрейф может отражать реальное изменение среды или техническое изменение процесса получения данных:
+
Изменение данных может отражать реальный процесс:
-
* меняются поведение пользователей, рынок, ассортимент или состав аудитории;
+
* изменение поведения пользователей, рынка или состава аудитории;
-
* изменяются правила принятия решений, интерфейс продукта либо политика сбора наблюдений;
+
* появление новых товаров, устройств, категорий или каналов взаимодействия;
-
* появляются новые категории, устройства или каналы взаимодействия;
+
* изменение правил принятия решений, законодательства или внешней среды;
-
* заменяются датчики, единицы измерения, кодировки или алгоритмы предобработки;
+
* старение или замена оборудования;
-
* нарушается конвейер: пропадают значения, сдвигаются поля или изменяется схема таблицы;
+
* влияние решений самой модели на будущие наблюдения.
-
* модель воздействует на будущие данные, например рекомендации определяют, какие объекты пользователь вообще увидит.
+
-
Изменение схемы или поломка конвейера — прежде всего проблема качества данных, а не естественный статистический дрейф. Переобучение на повреждённых данных закрепляет ошибку вместо её устранения.
+
Похожий статистический сигнал возникает и при технической неисправности:
-
== Уровни мониторинга ==
+
* изменилась схема таблицы, единица измерения или кодировка категории;
 +
* нарушился порядок вычисления признаков;
 +
* выросла доля пропусков или дубликатов;
 +
* при обучении и эксплуатации используются разные версии преобразований;
 +
* метки стали поступать с ошибкой или по изменившемуся правилу.
-
=== Схема и качество данных ===
+
Во втором случае переобучение на повреждённых данных не адаптирует систему, а закрепляет ошибку. Поэтому проверка конвейера должна предшествовать содержательной интерпретации дрейфа.
-
До статистических тестов проверяют типы и диапазоны значений, обязательные поля, доли пропусков, уникальность идентификаторов, единицы измерения, категории и версии преобразований. Такие проверки быстрее и однозначнее выявляют многие технические неисправности.
+
== Мониторинг ==
-
=== Распределения признаков ===
+
=== Качество и схема данных ===
-
Для числовых признаков отслеживают квантили, среднее, дисперсию, гистограммы и доли значений вне эталонного диапазона. Для категориальных — частоты, новые и исчезнувшие категории. Эталоном может быть обучающая выборка, предыдущий период или сезонно сопоставимое окно.
+
Сначала контролируют свойства, нарушение которых само по себе является ошибкой: типы и диапазоны значений, обязательные поля, уникальность ключей, долю пропусков, свежесть данных, версии справочников и преобразований. Такие проверки не заменяют статистический мониторинг, но позволяют быстрее отделить неисправность от естественного изменения среды.
-
Одномерный мониторинг не видит изменения зависимостей между признаками. Для многомерных данных применяют двухвыборочные тесты в исходном или пониженном пространстве, максимальное среднее расхождение (MMD) и классификатор, обучаемый отличать исходные объекты от новых. Если такой классификатор устойчиво различает два периода на независимой проверке, это свидетельствует о сдвиге совместного распределения признаков.<ref name="rabanser">{{статья |автор=Rabanser S., Günnemann S., Lipton Z. C. |заглавие=Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift |издание=Advances in Neural Information Processing Systems |год=2019 |том=32 |страницы=1394–1406 |ссылка=https://proceedings.neurips.cc/paper/2019/hash/846c260d715e5b854ffad5f70a516c88-Abstract.html}}</ref>
+
=== Входные признаки ===
-
=== Выходы модели ===
+
Для числовых признаков сравнивают квантили, гистограммы и долю пропусков; для категориальных — частоты, новые и исчезнувшие значения. Применяют двухвыборочные статистические критерии и расстояния между распределениями. Полезно оценивать не только отдельные признаки, но и их совместную структуру: стабильные маргинальные распределения могут скрывать изменение зависимостей между признаками.
-
При отсутствии меток можно контролировать распределение предсказаний <tex>P_t(\hat Y)</tex>, долю решений выше порога, неопределённость и частоту отказа модели. Это ранние индикаторы, но не прямые измерения качества. Неизменное распределение выходов может скрывать перестановку ошибок между объектами или подгруппами.
+
Порог сигнала должен учитывать размер выборки и практическую значимость. На большом потоке статистический тест способен обнаружить очень малое различие, не влияющее на решения модели. При одновременной проверке множества признаков растёт число ложных тревог. Кроме того, эталонное окно должно учитывать известную сезонность и изменения объёма трафика.
-
=== Качество при наличии меток ===
+
=== Предсказания ===
-
Наиболее прямой сигнал деградации — изменение целевой метрики на новых размеченных объектах. Для окна <tex>W_t</tex> средняя потеря равна
+
Без меток можно отслеживать распределение прогнозов
-
::<tex>\bar\ell_t=\frac{1}{|W_t|}\sum_{i\in W_t}\ell(f(x_i),y_i).</tex>
+
::<tex>P_t(\hat Y),</tex>
-
В зависимости от задачи отслеживают точность, полноту, ROC-AUC, логарифмическую потерю, ошибку прогноза и калибровку. Общую метрику дополняют показателями по значимым сегментам.
+
доли решений выше порога, неопределённость модели и выход объектов за область, представленную при обучении. Эти показатели дают ранний сигнал, но не измеряют точность. Распределение предсказаний может измениться при полностью корректной модели из-за label shift; оно может и остаться прежним, хотя ошибки перераспределились между объектами.
-
Разметка часто задерживается, является неполной или зависит от прежних решений модели. Например, исход кредита наблюдается через месяцы, а метка для отклонённой заявки может никогда не появиться. Такие задержанные и селективные метки необходимо учитывать при интерпретации мониторинга.
+
=== Качество по поступившим меткам ===
-
== Методы обнаружения ==
+
Когда истинные ответы доступны, отслеживают целевую функцию потерь, метрики классификации или регрессии, калибровку и бизнес-показатели. Для последовательности ошибок <tex>e_i</tex> можно вычислять среднее на недавнем окне <tex>W_t</tex>:
-
=== Двухвыборочные проверки ===
+
::<tex>\bar e_t=\frac{1}{|W_t|}\sum_{i\in W_t}e_i.</tex>
-
Проверяется нулевая гипотеза
+
При задержке разметки метрики следует группировать по времени получения прогноза, а не только по времени появления метки. Необходимо учитывать зрелость исхода: неполные когорты, для которых положительные или отрицательные события ещё не успели проявиться, дают смещённую оценку.
-
::<tex>H_0:P_{mathrm{src}}(X)=P_t(X)</tex>
+
Средняя метрика может скрывать деградацию в важной подгруппе. Поэтому качество проверяют по регионам, типам устройств, категориям объектов и другим заранее определённым сегментам, контролируя достаточность размера каждой выборки.
-
против альтернативы различия распределений. Для непрерывного одномерного признака может применяться критерий Колмогорова—Смирнова, для категориальных частот — критерий хи-квадрат. Population Stability Index часто используется как эвристическая мера по бинам, но не является универсальным статистическим тестом: его значение зависит от способа разбиения и объёма данных.
+
== Методы обнаружения ==
-
На больших выборках тест обнаруживает и практически ничтожные различия. При одновременной проверке множества признаков растёт вероятность ложных тревог. Поэтому пороги калибруют на исторически стабильных периодах, учитывают множественные сравнения и дополняют статистическую значимость размером эффекта и влиянием на модель.
+
=== Фиксированные окна ===
-
=== Фиксированные и адаптивные окна ===
+
Простейшая схема сравнивает недавнее окно с эталонным периодом либо два соседних окна. Короткое окно быстрее реагирует, но даёт шумные оценки; длинное устойчивее, но обнаруживает изменение с задержкой. Размер окна и пороги следует выбирать на временно упорядоченных исторических данных, а не по тестовой выборке итоговой модели.
-
Фиксированное окно сравнивают с эталоном или с предыдущим окном. Короткое окно быстрее реагирует, но даёт более шумную оценку; длинное устойчивее, но увеличивает задержку обнаружения.
+
=== ADWIN ===
-
ADWIN (''Adaptive Windowing'') поддерживает окно переменной длины для числового потока. Алгоритм проверяет разбиения окна на старую и новую части и при статистически значимом различии их средних удаляет старую часть. ADWIN можно применять, например, к последовательности ошибок модели; сам по себе детектор не определяет причину изменения и не обязан автоматически переобучать модель.<ref name="adwin">{{статья |автор=Bifet A., Gavaldà R. |заглавие=Learning from Time-Changing Data with Adaptive Windowing |издание=Proceedings of the 7th SIAM International Conference on Data Mining |год=2007 |страницы=443–448 |doi=10.1137/1.9781611972771.42 |ссылка=https://epubs.siam.org/doi/abs/10.1137/1.9781611972771.42}}</ref>
+
ADWIN (''Adaptive Windowing'') предназначен для последовательности ограниченных скалярных наблюдений, например ошибок классификатора или выбранной статистики. Алгоритм поддерживает окно переменной длины и проверяет возможные разбиения на старую и новую части. Если различие их средних превышает порог, связанный с допустимой вероятностью ложной тревоги, устаревшая часть отбрасывается.<ref name="adwin">{{статья |автор=Bifet A., Gavaldà R. |заглавие=Learning from Time-Changing Data with Adaptive Windowing |издание=Proceedings of the 7th SIAM International Conference on Data Mining |год=2007 |страницы=443–448 |doi=10.1137/1.9781611972771.42 |ссылка=https://doi.org/10.1137/1.9781611972771.42}}</ref>
-
=== Контроль ошибки ===
+
В стабильный период окно может расти и использовать больше наблюдений; после изменения оно сокращается. ADWIN не устанавливает причину сигнала и сам по себе не является универсальным детектором произвольного многомерного сдвига. Результат зависит от того, какая скалярная величина подана на вход, и от наличия задержки меток, если контролируется ошибка модели.
-
Если метки поступают достаточно быстро, детектор строят по последовательности потерь или ошибок. Такой сигнал ближе к практическому риску, чем любое изменение входа. Однако рост ошибки может быть вызван не дрейфом концепта, а поломкой признаков, изменением разметки или ошибкой вычислительного конвейера.
+
== Адаптация модели ==
-
== Реакция на дрейф ==
+
Сигнал детектора должен запускать диагностику, а не безусловное переобучение. После подтверждения изменения применяют одну или несколько стратегий.
-
Сигнал мониторинга должен запускать диагностику, а не безусловное переобучение. Сначала проверяют качество и происхождение данных, изменения продукта, сегменты с наибольшим вкладом и наличие реальной деградации.
+
=== Периодическое переобучение ===
-
Возможные меры зависят от подтверждённого типа изменения:
+
Переобучение по расписанию предсказуемо с точки зрения эксплуатации и аудита. Однако оно расходует ресурсы в стабильные периоды и может опоздать после резкого изменения. Без проверки качества свежих данных расписание способно регулярно выпускать модель хуже предыдущей.
-
* при ковариатном сдвиге — взвешивание, сбор данных в непокрытых областях или переобучение;
+
=== Скользящее окно ===
-
* при label shift — переоценка долей классов и порога, если выполняется предположение <tex>P(X\mid Y)=\mathrm{const}</tex>;
+
-
* при дрейфе концепта — обновление данных и модели либо изменение набора признаков и постановки задачи;
+
-
* при технической неисправности — исправление и, при возможности, повторная обработка данных без обучения на ошибочном периоде.
+
-
 
+
-
=== Периодическое переобучение ===
+
-
Обновление по расписанию просто в эксплуатации, но может быть запоздалым при резком дрейфе и избыточным в стабильные периоды. Частота должна учитывать скорость накопления разметки, стоимость обучения и риск устаревания.
+
Обучение только на последних <tex>k</tex> наблюдениях быстро забывает устаревший режим. Цена этого — меньший эффективный объём выборки и потеря редких либо сезонных случаев. Размер окна задаёт компромисс между скоростью адаптации и дисперсией оценки.
-
=== Скользящее окно и забывание ===
+
=== Взвешивание по давности ===
-
Модель можно обучать только на последних <tex>k</tex> наблюдениях или уменьшать вес старых объектов:
+
Старые наблюдения можно не удалять, а постепенно уменьшать их вес, например
::<tex>w_i=\lambda^{t-i},\qquad 0<\lambda<1.</tex>
::<tex>w_i=\lambda^{t-i},\qquad 0<\lambda<1.</tex>
-
Малое окно или быстрое забывание ускоряет адаптацию, но повышает дисперсию и стирает редкие либо сезонные режимы.
+
Такое затухание даёт плавную адаптацию, но не гарантирует соответствия реальной скорости дрейфа. Параметр <tex>\lambda</tex> выбирают на прошлых временных периодах с имитацией доступности данных и меток.
-
=== Онлайн-обучение и ансамбли ===
+
=== Онлайн-обучение ===
-
Онлайн-алгоритмы обновляют параметры по мере поступления объектов. Ансамбли могут добавлять модели, обученные на свежих данных, и уменьшать вес устаревших. Эти методы быстрее реагируют, но требуют контроля версий, воспроизводимости и защиты от накопления ошибок обратной связи.
+
Онлайн-алгоритм обновляется по мере поступления новых примеров и может быстро реагировать на изменение. Одновременно возрастают риски обучения на временной аномалии, повреждённых данных или обратной связи от собственных решений. Нужны ограничения на обновление, журналирование версий и возможность отката.
-
Новую модель проверяют на временно более позднем периоде, затем запускают в теневом режиме или на ограниченной доле трафика с возможностью отката. В задачах высокого риска рандомизированный A/B-тест не всегда допустим; способ внедрения должен соответствовать предметной области.
+
=== Ансамбли ===
-
== Оценивание системы при дрейфе ==
+
Ансамбль может добавлять модели, обученные на свежих данных, уменьшать вес устаревших моделей и сохранять специалистов для повторяющихся режимов. Это повышает гибкость, но усложняет интерпретацию, калибровку и контроль вычислительной стоимости.
-
Систему мониторинга оценивают не только по качеству модели после адаптации. Важны доля ложных тревог, вероятность пропуска, задержка обнаружения, стоимость разметки и вычислений, время восстановления и устойчивость к сезонности.
+
Выбор стратегии зависит от типа изменения. При чистом label shift иногда достаточно коррекции вероятностей и порога; при изменении <tex>P(Y\mid X)</tex> может потребоваться новое обучение, новые признаки или пересмотр постановки задачи.
-
Для потоковых алгоритмов применяют последовательную оценку (''prequential evaluation''): очередной размеченный объект сначала используется для проверки текущей модели, а затем — для её обновления. Для пакетных систем используют разбиение по времени: обучение всегда предшествует валидации и тесту. Случайное перемешивание периодов может скрыть реальный дрейф и допустить утечку будущей информации.
+
== Практический порядок действий ==
-
== Практический контур мониторинга ==
+
# До внедрения фиксируют версии данных и преобразований, эталонные распределения, целевые метрики и допустимые задержки меток.
 +
# В эксплуатации отдельно контролируют схему данных, входные признаки, предсказания и качество по созревшим меткам.
 +
# После сигнала определяют затронутые признаки, интервалы и подгруппы; проверяют журналы поставщиков данных и недавние изменения продукта.
 +
# Исключают поломку конвейера, изменение единиц измерения, неполную когорту меток и ошибку расчёта метрики.
 +
# Проверяют, связано ли наблюдаемое изменение с деградацией модели и имеет ли оно практическую величину.
 +
# Кандидатную стратегию адаптации оценивают на последующих временных интервалах без перемешивания будущих наблюдений в прошлое.
 +
# Новую модель сравнивают со старой по общей метрике, подгруппам, калибровке и эксплуатационным ограничениям; сохраняют возможность отката.
-
# До внедрения фиксируют версии данных, преобразований, модели, эталонные распределения и целевые метрики.
+
Если решения модели влияют на то, какие данные будут наблюдаться далее, мониторинг отражает одновременно изменение среды и изменение политики сбора. Например, рекомендательная система получает отклики преимущественно на показанные ею объекты. Такое замыкание обратной связи требует анализа процесса принятия решений, а не только сравнения таблиц.
-
# Для критичных полей задают проверки схемы, диапазонов, пропусков и новых категорий.
+
-
# Определяют сопоставимые окна, сезонные эталоны, минимальный объём выборки и правила множественных проверок.
+
-
# Раздельно контролируют признаки, выходы модели и качество после поступления меток.
+
-
# Сигнал связывают с сегментами, важностью признаков и практическим размером эффекта.
+
-
# До адаптации исключают поломку конвейера, изменение определения метки и селективность наблюдений.
+
-
# Новую модель проверяют на будущем временном периоде, сравнивают с действующей и сохраняют возможность отката.
+
-
# После обновления продолжают мониторинг: исчезновение одного сигнала не доказывает устранение причины.
+
-
== Ограничения ==
+
== Ограничения мониторинга ==
-
Детектор сдвига не устанавливает его причину и не выбирает автоматически правильную реакцию. Без меток обычно нельзя доказать, что изменилась именно зависимость <tex>P(Y\mid X)</tex>. Также невозможно гарантировать обнаружение произвольного сдвига конечной выборкой: чувствительность зависит от вида изменения, размерности, объёма окна и выбранного представления.
+
Детектор сдвига не доказывает его причину и не выбирает правильное действие. Мониторинг без разметки способен обнаружить изменения наблюдаемых входов и выходов, но не измеряет непосредственно ошибку и не гарантирует обнаружение изменения <tex>P(Y\mid X)</tex>.
-
Частые тревоги создают усталость операторов, а частое переобучение может сделать систему нестабильной. Обучение на данных, сформированных прошлыми решениями модели, способно усиливать обратную связь. В кредитовании, найме и рекомендациях среднее качество может оставаться стабильным при одновременном ухудшении для отдельной группы, поэтому мониторинг дополняют анализом сегментов и последствий решений.
+
Отсутствие тревоги также не является доказательством стабильности: детектор может не видеть совместный сдвиг, редкую подгруппу или новый тип объекта. Напротив, тревога может быть вызвана ожидаемой сезонностью, маркетинговой кампанией либо безвредным изменением малоинформативного признака.
-
== Философский аспект ==
+
Адаптация создаёт собственные риски. Частое переобучение увеличивает вариативность системы, может усиливать исторические смещения и затрудняет аудит. Поэтому правила обнаружения, диагностики, выпуска и отката должны проектироваться как единый эксплуатационный процесс.
-
Дрейф показывает, что модель описывает не неизменный мир, а закономерности исторических наблюдений, собранных при конкретных условиях. Изменение среды может сделать прежние статистические связи непригодными даже без изменения кода модели.
+
== Связь с философией искусственного интеллекта ==
-
Способность обнаруживать пределы применимости является частью надёжности интеллектуальной системы. При этом мониторинг не превращает модель в автономного наблюдателя: человек по-прежнему определяет эталон, допустимый риск, смысл тревоги и условия, при которых систему разрешено обновлять.
+
Дрейф показывает ограниченность представления модели о мире: закономерность, найденная в исторических данных, действует лишь при определённых условиях сбора и применения. Модель не знает автоматически, сохранились ли эти условия после внедрения.
 +
 
 +
Поэтому надёжность системы определяется не только качеством исходного обучения, но и способностью обнаруживать изменение области применимости, получать обратную связь и пересматривать решения. При этом сам сигнал дрейфа не заменяет содержательного объяснения того, что именно изменилось.
== См. также ==
== См. также ==
Строка 211: Строка 213:
* [[Машинное обучение]]
* [[Машинное обучение]]
* [[Онлайн-обучение]]
* [[Онлайн-обучение]]
-
* [[Скользящий контроль]]
 
* [[Рекомендательные системы]]
* [[Рекомендательные системы]]
* [[A/B-тестирование]]
* [[A/B-тестирование]]
* [[Причинное машинное обучение]]
* [[Причинное машинное обучение]]
-
== Примечания ==
+
== Литература ==
<references />
<references />
-
 
-
== Литература ==
 
-
 
-
* {{статья |автор=Gama J., Žliobaitė I., Bifet A., Pechenizkiy M., Bouchachia A. |заглавие=A Survey on Concept Drift Adaptation |издание=ACM Computing Surveys |год=2014 |том=46 |номер=4 |страницы=44:1–44:37 |doi=10.1145/2523813}}
 
-
* {{статья |автор=Sugiyama M., Krauledat M., Müller K.-R. |заглавие=Covariate Shift Adaptation by Importance Weighted Cross Validation |издание=Journal of Machine Learning Research |год=2007 |том=8 |номер=35 |страницы=985–1005 |ссылка=https://www.jmlr.org/papers/v8/sugiyama07a.html}}
 
-
* {{статья |автор=Bifet A., Gavaldà R. |заглавие=Learning from Time-Changing Data with Adaptive Windowing |издание=Proceedings of the 7th SIAM International Conference on Data Mining |год=2007 |страницы=443–448 |doi=10.1137/1.9781611972771.42 |ссылка=https://epubs.siam.org/doi/abs/10.1137/1.9781611972771.42}}
 
-
* {{статья |автор=Lipton Z. C., Wang Y.-X., Smola A. |заглавие=Detecting and Correcting for Label Shift with Black Box Predictors |издание=Proceedings of the 35th International Conference on Machine Learning |год=2018 |том=80 |страницы=3122–3130 |ссылка=https://proceedings.mlr.press/v80/lipton18a.html}}
 
-
* {{статья |автор=Rabanser S., Günnemann S., Lipton Z. C. |заглавие=Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift |издание=Advances in Neural Information Processing Systems |год=2019 |том=32 |страницы=1394–1406 |ссылка=https://proceedings.neurips.cc/paper/2019/hash/846c260d715e5b854ffad5f70a516c88-Abstract.html}}
 
{{DEFAULTSORT:Дрейф данных}}
{{DEFAULTSORT:Дрейф данных}}
[[Категория:Машинное обучение]]
[[Категория:Машинное обучение]]
-
[[Категория:Энциклопедия анализа данных]]
 

Версия 12:46, 19 июля 2026

Статья написана с использованием LLM GPT-5.6 Terra High и проверена участником Oleg Batsiev 18:20, 11 июля 2026 (MSD).

Промпты и описание редакторской проверки приведены в Обсуждение:Дрейф данных.


Содержание

Дрейф данных (англ. data drift) — изменение статистических свойств данных, поступающих в модель после её обучения и внедрения. В эксплуатационной практике этим выражением нередко называют широкий класс изменений распределения (distribution shift), хотя в более узком смысле data drift означает изменение распределения входных признаков P(X). Изменение зависимости целевой переменной от признаков P(Y\mid X) обычно называют дрейфом концепта (concept drift).

Дрейф важен для рекомендательных систем, кредитного скоринга, обнаружения мошенничества, медицинской диагностики и промышленного мониторинга. Модель может оставаться неизменной, но работать хуже, если изменились пользователи, бизнес-процесс, оборудование или способ получения признаков. Вместе с тем обнаруженное различие распределений ещё не доказывает деградацию качества и не является автоматическим основанием для переобучения.

Постановка задачи

Пусть при обучении совместное распределение признаков X и целевой переменной Y имело вид

P_{\mathrm{train}}(X,Y),

а в момент эксплуатации t оно равно

P_t(X,Y).

Распределительный сдвиг имеет место, если

P_t(X,Y)\ne P_{\mathrm{train}}(X,Y).

Совместное распределение можно разложить двумя способами:

P(X,Y)=P(Y\mid X)P(X)=P(X\mid Y)P(Y).

Эти разложения позволяют формально различить несколько идеализированных случаев. В реальной системе могут одновременно изменяться несколько множителей, поэтому однозначно отнести наблюдаемое изменение к одному типу удаётся не всегда.[1]

Важно разделять три наблюдения:

  • изменение распределения входов P(X);
  • изменение распределения предсказаний модели;
  • изменение качества предсказаний относительно истинных ответов.

Ни одно из них в общем случае не следует автоматически из другого.

Типы распределительного сдвига

Ковариатный сдвиг

Ковариатный сдвиг (covariate shift) — случай, когда распределение признаков изменилось,

P_t(X)\ne P_{\mathrm{train}}(X),

но условное распределение цели при фиксированных признаках осталось прежним:

P_t(Y\mid X)=P_{\mathrm{train}}(Y\mid X).

Например, после запуска продукта в новом регионе может измениться состав пользователей, хотя связь между наблюдаемыми характеристиками пользователя и целевым действием внутри каждой области признакового пространства сохраняется.

При выполнении этого предположения риск на новом распределении можно оценивать с помощью весов важности

w(x)=\frac{p_t(x)}{p_{\mathrm{train}}(x)}.

Такое взвешивание требует, чтобы области, существенные для нового распределения, были достаточно представлены в обучающих данных. Если p_{\mathrm{train}}(x) близка к нулю там, где p_t(x) велика, оценка отношения плотностей становится неустойчивой, а недостающую информацию невозможно получить одним перевзвешиванием.

Заметный ковариатный сдвиг может почти не влиять на качество, если изменились неиспользуемые или малоинформативные признаки. И наоборот, отсутствие заметного изменения в отдельных маргинальных распределениях не исключает изменения совместной структуры признаков или зависимости P(Y\mid X).

Сдвиг априорных вероятностей классов

Сдвиг априорных вероятностей классов (label shift, prior probability shift) задаётся условиями

P_t(Y)\ne P_{\mathrm{train}}(Y),
P_t(X\mid Y)=P_{\mathrm{train}}(X\mid Y).

Например, доля мошеннических операций может измениться, тогда как распределения признаков внутри классов «мошенничество» и «обычная операция» остаются прежними. В этом случае обычно меняются и P(X), и апостериорные вероятности P(Y\mid X); поэтому label shift нельзя определять как неизменность P(Y\mid X).

При подтверждённых предпосылках можно оценить новые доли классов и скорректировать вероятности или порог решения. Простая перенастройка порога недостаточна, если изменилось также P(X\mid Y) или само содержательное значение классов.

Дрейф концепта

Дрейф концепта — изменение зависимости целевой переменной от признаков:

P_t(Y\mid X)\ne P_{\mathrm{train}}(Y\mid X).

Например, после изменения кредитной политики одинаковые наблюдаемые характеристики заёмщика могут соответствовать иному риску, а после модернизации оборудования прежние показания датчиков — иной вероятности неисправности. Распределение P(X) при этом может как измениться, так и остаться прежним.

Изменение P(Y\mid X) также называют real concept drift; распределение P(X) при нём может измениться или остаться прежним. Если P(X) стабильно, такой дрейф принципиально не обнаруживается только сравнением неразмеченных входных данных: для его подтверждения нужны целевые метки, надёжные косвенные сигналы или дополнительные предположения.

Как изменение развивается во времени

В литературе различают несколько форм изменения концепта:[1]

  • резкое изменение (abrupt drift) — один режим быстро сменяется другим;
  • постепенное изменение (gradual drift) — старый и новый режимы некоторое время встречаются одновременно, а вероятность нового растёт;
  • инкрементальное изменение (incremental drift) — концепт последовательно проходит через промежуточные состояния;
  • повторяющееся изменение (recurring drift) — ранее наблюдавшийся режим возвращается, например из-за сезонности.

Кратковременный выброс или единичная аномалия не обязательно являются дрейфом. Для резкого изменения может быть полезно быстро уменьшить влияние старых данных, тогда как при повторяющихся режимах полное забывание истории способно ухудшить модель.

Причины

Изменение данных может отражать реальный процесс:

  • изменение поведения пользователей, рынка или состава аудитории;
  • появление новых товаров, устройств, категорий или каналов взаимодействия;
  • изменение правил принятия решений, законодательства или внешней среды;
  • старение или замена оборудования;
  • влияние решений самой модели на будущие наблюдения.

Похожий статистический сигнал возникает и при технической неисправности:

  • изменилась схема таблицы, единица измерения или кодировка категории;
  • нарушился порядок вычисления признаков;
  • выросла доля пропусков или дубликатов;
  • при обучении и эксплуатации используются разные версии преобразований;
  • метки стали поступать с ошибкой или по изменившемуся правилу.

Во втором случае переобучение на повреждённых данных не адаптирует систему, а закрепляет ошибку. Поэтому проверка конвейера должна предшествовать содержательной интерпретации дрейфа.

Мониторинг

Качество и схема данных

Сначала контролируют свойства, нарушение которых само по себе является ошибкой: типы и диапазоны значений, обязательные поля, уникальность ключей, долю пропусков, свежесть данных, версии справочников и преобразований. Такие проверки не заменяют статистический мониторинг, но позволяют быстрее отделить неисправность от естественного изменения среды.

Входные признаки

Для числовых признаков сравнивают квантили, гистограммы и долю пропусков; для категориальных — частоты, новые и исчезнувшие значения. Применяют двухвыборочные статистические критерии и расстояния между распределениями. Полезно оценивать не только отдельные признаки, но и их совместную структуру: стабильные маргинальные распределения могут скрывать изменение зависимостей между признаками.

Порог сигнала должен учитывать размер выборки и практическую значимость. На большом потоке статистический тест способен обнаружить очень малое различие, не влияющее на решения модели. При одновременной проверке множества признаков растёт число ложных тревог. Кроме того, эталонное окно должно учитывать известную сезонность и изменения объёма трафика.

Предсказания

Без меток можно отслеживать распределение прогнозов

P_t(\hat Y),

доли решений выше порога, неопределённость модели и выход объектов за область, представленную при обучении. Эти показатели дают ранний сигнал, но не измеряют точность. Распределение предсказаний может измениться при полностью корректной модели из-за label shift; оно может и остаться прежним, хотя ошибки перераспределились между объектами.

Качество по поступившим меткам

Когда истинные ответы доступны, отслеживают целевую функцию потерь, метрики классификации или регрессии, калибровку и бизнес-показатели. Для последовательности ошибок e_i можно вычислять среднее на недавнем окне W_t:

\bar e_t=\frac{1}{|W_t|}\sum_{i\in W_t}e_i.

При задержке разметки метрики следует группировать по времени получения прогноза, а не только по времени появления метки. Необходимо учитывать зрелость исхода: неполные когорты, для которых положительные или отрицательные события ещё не успели проявиться, дают смещённую оценку.

Средняя метрика может скрывать деградацию в важной подгруппе. Поэтому качество проверяют по регионам, типам устройств, категориям объектов и другим заранее определённым сегментам, контролируя достаточность размера каждой выборки.

Методы обнаружения

Фиксированные окна

Простейшая схема сравнивает недавнее окно с эталонным периодом либо два соседних окна. Короткое окно быстрее реагирует, но даёт шумные оценки; длинное устойчивее, но обнаруживает изменение с задержкой. Размер окна и пороги следует выбирать на временно упорядоченных исторических данных, а не по тестовой выборке итоговой модели.

ADWIN

ADWIN (Adaptive Windowing) предназначен для последовательности ограниченных скалярных наблюдений, например ошибок классификатора или выбранной статистики. Алгоритм поддерживает окно переменной длины и проверяет возможные разбиения на старую и новую части. Если различие их средних превышает порог, связанный с допустимой вероятностью ложной тревоги, устаревшая часть отбрасывается.[1]

В стабильный период окно может расти и использовать больше наблюдений; после изменения оно сокращается. ADWIN не устанавливает причину сигнала и сам по себе не является универсальным детектором произвольного многомерного сдвига. Результат зависит от того, какая скалярная величина подана на вход, и от наличия задержки меток, если контролируется ошибка модели.

Адаптация модели

Сигнал детектора должен запускать диагностику, а не безусловное переобучение. После подтверждения изменения применяют одну или несколько стратегий.

Периодическое переобучение

Переобучение по расписанию предсказуемо с точки зрения эксплуатации и аудита. Однако оно расходует ресурсы в стабильные периоды и может опоздать после резкого изменения. Без проверки качества свежих данных расписание способно регулярно выпускать модель хуже предыдущей.

Скользящее окно

Обучение только на последних k наблюдениях быстро забывает устаревший режим. Цена этого — меньший эффективный объём выборки и потеря редких либо сезонных случаев. Размер окна задаёт компромисс между скоростью адаптации и дисперсией оценки.

Взвешивание по давности

Старые наблюдения можно не удалять, а постепенно уменьшать их вес, например

w_i=\lambda^{t-i},\qquad 0<\lambda<1.

Такое затухание даёт плавную адаптацию, но не гарантирует соответствия реальной скорости дрейфа. Параметр \lambda выбирают на прошлых временных периодах с имитацией доступности данных и меток.

Онлайн-обучение

Онлайн-алгоритм обновляется по мере поступления новых примеров и может быстро реагировать на изменение. Одновременно возрастают риски обучения на временной аномалии, повреждённых данных или обратной связи от собственных решений. Нужны ограничения на обновление, журналирование версий и возможность отката.

Ансамбли

Ансамбль может добавлять модели, обученные на свежих данных, уменьшать вес устаревших моделей и сохранять специалистов для повторяющихся режимов. Это повышает гибкость, но усложняет интерпретацию, калибровку и контроль вычислительной стоимости.

Выбор стратегии зависит от типа изменения. При чистом label shift иногда достаточно коррекции вероятностей и порога; при изменении P(Y\mid X) может потребоваться новое обучение, новые признаки или пересмотр постановки задачи.

Практический порядок действий

  1. До внедрения фиксируют версии данных и преобразований, эталонные распределения, целевые метрики и допустимые задержки меток.
  2. В эксплуатации отдельно контролируют схему данных, входные признаки, предсказания и качество по созревшим меткам.
  3. После сигнала определяют затронутые признаки, интервалы и подгруппы; проверяют журналы поставщиков данных и недавние изменения продукта.
  4. Исключают поломку конвейера, изменение единиц измерения, неполную когорту меток и ошибку расчёта метрики.
  5. Проверяют, связано ли наблюдаемое изменение с деградацией модели и имеет ли оно практическую величину.
  6. Кандидатную стратегию адаптации оценивают на последующих временных интервалах без перемешивания будущих наблюдений в прошлое.
  7. Новую модель сравнивают со старой по общей метрике, подгруппам, калибровке и эксплуатационным ограничениям; сохраняют возможность отката.

Если решения модели влияют на то, какие данные будут наблюдаться далее, мониторинг отражает одновременно изменение среды и изменение политики сбора. Например, рекомендательная система получает отклики преимущественно на показанные ею объекты. Такое замыкание обратной связи требует анализа процесса принятия решений, а не только сравнения таблиц.

Ограничения мониторинга

Детектор сдвига не доказывает его причину и не выбирает правильное действие. Мониторинг без разметки способен обнаружить изменения наблюдаемых входов и выходов, но не измеряет непосредственно ошибку и не гарантирует обнаружение изменения P(Y\mid X).

Отсутствие тревоги также не является доказательством стабильности: детектор может не видеть совместный сдвиг, редкую подгруппу или новый тип объекта. Напротив, тревога может быть вызвана ожидаемой сезонностью, маркетинговой кампанией либо безвредным изменением малоинформативного признака.

Адаптация создаёт собственные риски. Частое переобучение увеличивает вариативность системы, может усиливать исторические смещения и затрудняет аудит. Поэтому правила обнаружения, диагностики, выпуска и отката должны проектироваться как единый эксплуатационный процесс.

Связь с философией искусственного интеллекта

Дрейф показывает ограниченность представления модели о мире: закономерность, найденная в исторических данных, действует лишь при определённых условиях сбора и применения. Модель не знает автоматически, сохранились ли эти условия после внедрения.

Поэтому надёжность системы определяется не только качеством исходного обучения, но и способностью обнаруживать изменение области применимости, получать обратную связь и пересматривать решения. При этом сам сигнал дрейфа не заменяет содержательного объяснения того, что именно изменилось.

См. также

Литература

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%94%D1%80%D0%B5%D0%B9%D1%84_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85»
Личные инструменты