Критерий Чоу

Материал из MachineLearning.

Статья существенно переработана с использованием LLM GPT-5.6 Thinking и проверена участником Kseniia Karpeeva.

Промпт приводится полностью в обсуждении статьи.

Критерий Чоу (также тест Чоу, англ. Chow test) — статистический критерий, предназначенный для проверки равенства коэффициентов двух линейных регрессионных моделей, построенных по разным частям выборки. В анализе временных рядов он обычно применяется для обнаружения структурного сдвига (англ. structural break) в заранее заданный момент времени.

Критерий сравнивает одну общую регрессионную модель с двумя моделями, отдельно построенными до и после предполагаемого изменения. Если раздельные модели статистически значимо уменьшают остаточную ошибку, гипотеза о постоянстве коэффициентов отвергается.

Критерий Чоу является частным случаем F-критерия Фишера для сравнения вложенных моделей (англ. nested models).^[1]

Содержание

1 Мотивация
2 История
3 Постановка задачи
- 3.1 Объединённая модель
- 3.2 Раздельная модель
4 Проверяемые гипотезы
5 Остаточные суммы квадратов
6 Статистика критерия
- 6.1 Общая форма F-критерия
7 Критическая область и p-значение
8 Представление с помощью фиктивных переменных
9 Условный пример
10 Предположения критерия
11 Неизвестная точка структурного сдвига
12 Несколько структурных сдвигов
13 Интерпретация результатов
14 Применение в машинном обучении
15 Практическая процедура
16 Ограничения
17 См. также
18 Литература

Мотивация

При построении регрессионной модели обычно предполагается, что зависимость между признаками и целевой переменной остаётся неизменной для всех наблюдений. Например, модель

$y_t=\beta_0+\beta_1x_{1t}+\ldots+\beta_{p-1}x_{p-1,t}+\varepsilon_t$

предполагает, что коэффициенты $\beta_0,\ldots,\beta_{p-1}$ одинаковы на всём рассматриваемом интервале.

На практике это предположение может нарушаться. После изменения законодательства может измениться зависимость между ценой и спросом; после ремонта оборудования — связь между параметрами технологического процесса и качеством продукции; после обновления программной системы — зависимость между входными признаками и результатами работы модели.

Изменение одного или нескольких параметров модели называют структурным сдвигом или структурным изменением (англ. structural change). Момент изменения называется точкой изменения (англ. change point) или датой структурного сдвига (англ. break date).

Пусть предполагаемый момент изменения известен и равен $\tau$ . Данные можно описать двумя способами:

построить одну модель на всей выборке;
построить отдельные модели на наблюдениях до и после $\tau$ .

Раздельные модели содержат больше параметров, поэтому их ошибка на обучающей выборке не может быть больше ошибки общей модели. Однако уменьшение ошибки может быть вызвано не реальным изменением зависимости, а увеличением сложности модели и переобучением. Критерий Чоу определяет, достаточно ли велико улучшение, чтобы считать его статистически значимым.

История

Критерий был предложен американским экономистом Грегори Чоу и систематически описан в статье «Tests of Equality Between Sets of Coefficients in Two Linear Regressions», опубликованной в журнале Econometrica в 1960 году.^[1]

Работа была связана с исследованиями спроса на автомобили в США. Чоу проверял, сохраняются ли параметры модели, построенной по данным за 1921—1953 годы, на наблюдениях за 1954—1957 годы.^[1]

Методы анализа структурных сдвигов с неизвестной точкой изменения позднее развивались Ричардом Квандтом, Дональдом Эндрюсом, Юшаном Баем, Пьером Перроном и другими исследователями.^[1]^[1]

Постановка задачи

Рассмотрим выборку из $n$ наблюдений

$\mathcal{D}=\{(x_i,y_i)\}_{i=1}^{n},$

где $y_i\in\mathbb{R}$ — целевая переменная, а $x_i\in\mathbb{R}^{p}$ — вектор признаков. Если в модели есть свободный член, вектор $x_i$ содержит единичную компоненту, поэтому $p$ обозначает полное число оцениваемых коэффициентов.

Предполагаемый момент структурного сдвига $\tau$ разделяет выборку на две части:

$\mathcal{D}_1=\{1,\ldots,\tau\},\qquad \mathcal{D}_2=\{\tau+1,\ldots,n\}.$

Размеры частей равны

$n_1=\tau,\qquad n_2=n-\tau,\qquad n=n_1+n_2.$

Разбиение может быть временным или групповым: например, наблюдения могут относиться к разным периодам, регионам, типам оборудования или источникам данных.

Объединённая модель

При отсутствии структурного сдвига все наблюдения описываются одной линейной моделью:

$y_i=x_i^{\mathsf T}\beta+\varepsilon_i,\qquad i=1,\ldots,n.$

Вектор коэффициентов $\beta$ оценивается по всей выборке с помощью метода наименьших квадратов. Эта модель называется объединённой (англ. pooled model) или ограниченной (англ. restricted model).

Раздельная модель

При наличии структурного сдвига коэффициенты до и после момента $\tau$ могут различаться:

$y_i=\begin{cases}x_i^{\mathsf T}\beta_1+\varepsilon_i,&i\leq\tau,\\x_i^{\mathsf T}\beta_2+\varepsilon_i,&i>\tau.\end{cases}$

Векторы $\beta_1$ и $\beta_2$ оцениваются независимо. Такая модель называется раздельной или неограниченной (англ. unrestricted model). В стандартной постановке объединённая модель содержит $p$ параметров, а раздельная — $2p$ параметров.

Проверяемые гипотезы

Нулевая гипотеза утверждает, что коэффициенты не изменяются:

$H_0:\quad\beta_1=\beta_2.$

Альтернативная гипотеза состоит в том, что хотя бы один коэффициент различается:

$H_1:\quad\beta_1\neq\beta_2.$

Отвержение $H_0$ означает, что одна общая модель описывает две части выборки статистически значимо хуже, чем две отдельные модели. Критерий не показывает, какой именно коэффициент изменился, в какую сторону произошло изменение и чем оно вызвано. Для этого необходимо сравнивать оценки коэффициентов, их доверительные интервалы и практическую величину различий.

Остаточные суммы квадратов

Пусть $\widehat\beta$ — оценка коэффициентов объединённой модели. Её остатки регрессии имеют вид

$e_i=y_i-x_i^{\mathsf T}\widehat\beta.$

Остаточная сумма квадратов (англ. residual sum of squares, RSS) объединённой модели равна

$RSS_0=\sum_{i=1}^{n}\left(y_i-x_i^{\mathsf T}\widehat\beta\right)^2.$

Для раздельных моделей определим

$RSS_1=\sum_{i=1}^{n_1}\left(y_i-x_i^{\mathsf T}\widehat\beta_1\right)^2$

$RSS_2=\sum_{i=n_1+1}^{n}\left(y_i-x_i^{\mathsf T}\widehat\beta_2\right)^2.$

Суммарная остаточная ошибка неограниченной модели равна

$RSS_U=RSS_1+RSS_2.$

Поскольку объединённая модель является частным случаем раздельной модели,

$RSS_0\geq RSS_1+RSS_2.$

Раздельная модель содержит больше свободных параметров, поэтому для проверки структурного сдвига недостаточно сравнить только остаточные суммы квадратов: необходимо учесть увеличение числа параметров.

Статистика критерия

В стандартном случае обе части выборки описываются одним набором из $p$ коэффициентов. Статистика Чоу имеет вид

$F=\frac{\left(RSS_0-RSS_1-RSS_2\right)/p}{\left(RSS_1+RSS_2\right)/(n_1+n_2-2p)}.$

Числитель показывает уменьшение остаточной суммы квадратов после снятия ограничения $\beta_1=\beta_2$ , рассчитанное на один дополнительный параметр. Знаменатель является оценкой дисперсии случайной ошибки по остаткам двух отдельных регрессий.

При выполнении предположений классической линейной модели и справедливости нулевой гипотезы

$F\sim F_{p,\;n_1+n_2-2p}.$

Здесь $p$ — число степеней свободы числителя, а $n_1+n_2-2p$ — число степеней свободы знаменателя.

Общая форма F-критерия

Пусть $RSS_R$ и $RSS_U$ — остаточные суммы квадратов ограниченной и неограниченной моделей, $k_R$ и $k_U$ — числа их параметров, а $q=k_U-k_R$ — число проверяемых ограничений. Тогда

$F=\frac{(RSS_R-RSS_U)/q}{RSS_U/(n-k_U)}.$

При нулевой гипотезе

$F\sim F_{q,\;n-k_U}.$

В стандартной постановке критерия Чоу

$k_R=p,\qquad k_U=2p,\qquad q=p.$

Общая формула применима только тогда, когда ограниченная модель действительно является частным случаем неограниченной.

Критическая область и p-значение

При уровне значимости $\alpha$ нулевая гипотеза отвергается, если

$F_{\mathrm{obs}}>F_{q,\;n-k_U}(1-\alpha),$

где $F_{q,\;n-k_U}(1-\alpha)$ — квантиль распределения Фишера порядка $1-\alpha$ .

Эквивалентное правило использует p-значение (англ. p-value):

$p_{\mathrm{value}}=\Pr\left(F_{q,\;n-k_U}\geq F_{\mathrm{obs}}\right).$

Если $p_{\mathrm{value}}<\alpha$ , гипотеза о стабильности коэффициентов отвергается. Неотвержение $H_0$ не доказывает отсутствие сдвига: причиной может быть малая выборка, высокая дисперсия ошибок, небольшая величина изменения или низкая мощность критерия.

Представление с помощью фиктивных переменных

Критерий Чоу можно реализовать в одной регрессии с помощью фиктивной переменной (англ. dummy variable) и взаимодействий признаков (англ. interaction terms).

Введём индикатор принадлежности наблюдения ко второй части выборки:

$D_i=\begin{cases}0,&i\leq\tau,\\1,&i>\tau.\end{cases}$

Рассмотрим модель

$y_i=x_i^{\mathsf T}\beta+D_i x_i^{\mathsf T}\delta+\varepsilon_i.$

До точки изменения модель использует коэффициенты $\beta$ , а после неё — коэффициенты $\beta+\delta$ . Гипотеза стабильности принимает вид

$H_0:\quad\delta=0.$

Совместная проверка всех компонент $\delta$ приводит к той же F-статистике, что и сравнение остаточных сумм квадратов.

Такое представление позволяет проверять частичный структурный сдвиг (англ. partial structural change). Например,

$y_i=\beta_0+\beta_1x_i+\delta_0D_i+\varepsilon_i$

допускает изменение только свободного члена, а модель

$y_i=\beta_0+\beta_1x_i+\delta_0D_i+\delta_1D_ix_i+\varepsilon_i$

допускает изменение и свободного члена, и наклона регрессионной прямой.

Условный пример

Пусть имеется $100$ наблюдений, разделённых на две равные части:

$n_1=50,\qquad n_2=50.$

Модель содержит свободный член и один признак, поэтому $p=2$ . Пусть

$RSS_0=180,\qquad RSS_1=60,\qquad RSS_2=70.$

Тогда

$F=\frac{(180-60-70)/2}{(60+70)/(100-4)}=\frac{25}{130/96}\approx18{,}46.$

Число степеней свободы знаменателя равно

$n_1+n_2-2p=100-4=96.$

При уровне значимости $0{,}05$ критическое значение распределения $F_{2,96}$ приблизительно равно $3{,}09$ . Поскольку $18{,}46>3{,}09$ , нулевая гипотеза отвергается.

Этот вывод не означает, что отдельные модели обязательно будут лучше работать на новых данных. Критерий Чоу проверяет равенство коэффициентов, а не непосредственно обобщающую способность или ошибку на отложенной выборке (англ. hold-out error).

Предположения критерия

Точное конечновыборочное распределение статистики Чоу основано на предположениях классической нормальной линейной модели.

Линейность модели

Внутри каждой части выборки условное математическое ожидание целевой переменной должно описываться линейной функцией признаков:

$\mathbb{E}(y_i\mid x_i)=x_i^{\mathsf T}\beta_j.$

Нелинейная зависимость, ошибочно выбранная функциональная форма или отсутствие важных признаков могут быть ошибочно интерпретированы как изменение коэффициентов.

Экзогенность

Предполагается экзогенность (англ. exogeneity) признаков:

$\mathbb{E}(\varepsilon_i\mid X)=0.$

Это условие означает, что случайная ошибка не должна систематически зависеть от используемых признаков. Нарушение экзогенности может быть связано с пропущенными переменными, ошибками измерения, одновременной причинной зависимостью или неправильной спецификацией модели.

Постоянство дисперсии ошибок

Классический критерий предполагает гомоскедастичность (англ. homoskedasticity):

$\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2.$

Если присутствует гетероскедастичность (англ. heteroskedasticity), стандартная F-статистика может иметь неправильный фактический уровень значимости. В таких случаях используют робастные варианты критерия Вальда (англ. Wald test) с оценками ковариационной матрицы, устойчивыми к гетероскедастичности.^[1]

Независимость ошибок

В стандартной постановке ошибки различных наблюдений считаются независимыми. Для временных рядов это предположение часто нарушается из-за автокорреляции (англ. autocorrelation или serial correlation):

$\operatorname{Cov}(\varepsilon_t,\varepsilon_{t-h})\neq0.$

При автокорреляции могут применяться HAC-оценки ковариационной матрицы (англ. heteroskedasticity and autocorrelation consistent covariance estimates) или специализированные методы для динамических моделей.

Нормальность ошибок

Для точного F-распределения статистики в выборках конечного объёма обычно предполагается

$\varepsilon_i\sim\mathcal{N}(0,\sigma^2).$

При больших выборках некоторые обобщения критерия могут основываться на асимптотических результатах. Однако тяжёлые хвосты распределения и большое число выбросов способны существенно влиять на оценки метода наименьших квадратов.

Полный ранг матриц признаков

Для оценивания отдельных моделей матрицы признаков обеих частей должны иметь полный столбцовый ранг. В частности, обычно требуется

$n_1>p,\qquad n_2>p.$

Если одна из частей слишком мала или признаки линейно зависимы, отдельная регрессия не может быть однозначно оценена. Даже при выполнении формального условия малые подвыборки приводят к нестабильным оценкам и низкой мощности критерия.

Заранее заданная точка сдвига

Классический критерий Чоу предполагает, что точка $\tau$ задана до анализа зависимой переменной. Она может соответствовать изменению законодательства, экономическому кризису, ремонту оборудования, обновлению программной системы или изменению методики измерения.

Если точка выбирается после просмотра данных как значение, при котором статистика Чоу максимальна, стандартное распределение Фишера использовать нельзя.

Неизвестная точка структурного сдвига

Если положение сдвига неизвестно, статистику можно вычислить для каждой допустимой точки $\tau$ . Естественная оценка положения изменения имеет вид

$\widehat\tau=\arg\max_{\tau\in\mathcal{T}}F(\tau),$

где $\mathcal{T}$ — множество допустимых точек разбиения.

Однако статистика

$\sup_{\tau\in\mathcal{T}}F(\tau)$

не имеет стандартного распределения Фишера. Выбор максимального значения эквивалентен проведению большого числа взаимосвязанных проверок и без специальной поправки увеличивает вероятность ошибки первого рода.

Для неизвестной точки изменения применяются:

критерий Квандта (англ. Quandt test);
QLR-критерий (англ. Quandt likelihood ratio test);
sup-F-критерий;
sup-Wald-критерий;
sup-LM-критерий.

Их асимптотические распределения исследованы, в частности, в работе Эндрюса.^[1]^[1]

Точки, расположенные слишком близко к границам выборки, обычно исключают. Такая процедура называется усечением области поиска (англ. trimming). Например, рассматривают только точки

$\tau\in[\lambda n,(1-\lambda)n],$

где $\lambda$ — заранее выбранная доля. Усечение обеспечивает достаточное число наблюдений с обеих сторон возможного сдвига.

Несколько структурных сдвигов

Классический критерий Чоу предназначен прежде всего для проверки одного заранее заданного сдвига. Если число и положение изменений неизвестны, последовательное применение обычного критерия может привести к накоплению ошибки первого рода, зависимости результата от порядка разбиения и пропуску близко расположенных изменений.

Для обнаружения нескольких сдвигов применяются методы Бая — Перрона (англ. Bai—Perron multiple break procedure). Они позволяют совместно оценивать число точек изменения и их положение в линейной регрессионной модели.^[1]

Для поиска оптимального разбиения выборки в этих методах применяется динамическое программирование. Обзор методов обнаружения и датирования структурных изменений приведён в работе Брюса Хансена.^[1]

Интерпретация результатов

Отвержение нулевой гипотезы означает, что данные свидетельствуют против равенства проверяемых коэффициентов. Оно не означает автоматически, что:

изменение вызвано событием, совпавшим с выбранной датой;
изменились все коэффициенты;
обнаруженный эффект имеет большое практическое значение;
раздельные модели будут точнее прогнозировать новые наблюдения;
внутри каждого сегмента отсутствуют другие изменения;
модель описывает причинную зависимость.

После отвержения нулевой гипотезы рекомендуется:

сравнить оценки $\widehat\beta_1$ и $\widehat\beta_2$ ;
построить доверительные интервалы коэффициентов;
оценить практическую величину различий;
исследовать остатки регрессии;
проверить гетероскедастичность и автокорреляцию;
повторить анализ для соседних точек разбиения;
проверить качество моделей на отложенных данных;
рассмотреть альтернативные спецификации модели.

Если анализируется большое число точек, групп или целевых переменных, необходимо учитывать множественную проверку гипотез (англ. multiple hypothesis testing).

Применение в машинном обучении

В машинном обучении критерий Чоу может использоваться как инструмент диагностики стабильности параметрических моделей.

Временная стабильность модели

Модель может быть обучена на данных одного периода и использоваться в другом. Критерий Чоу позволяет проверить, сохраняются ли коэффициенты линейной модели после заданного события.

Такой анализ связан с обнаружением концептуального дрейфа (англ. concept drift), но не совпадает с ним. Концептуальный дрейф в общем случае означает изменение условного распределения

$P(y\mid x).$

Критерий Чоу обнаруживает только изменения, выражающиеся через коэффициенты выбранной линейной модели. Он может не обнаружить нелинейное изменение зависимости, изменение формы распределения ошибок, появление новых кластеров или изменение только распределения признаков $P(x)$ .

Сравнение групп объектов

Выборку можно разделять не только по времени, но и по принадлежности объектов к группам. Например, можно проверить, одинакова ли зависимость между признаками и целевой переменной для разных регионов, типов оборудования, платформ, датчиков или источников данных.

В такой постановке критерий проверяет, допустимо ли использовать одну общую регрессию для всех групп. Представление через фиктивные переменные позволяет определить, изменяется ли только свободный член, отдельные коэффициенты или вся регрессионная зависимость.

Мониторинг инженерных систем

В инженерных задачах предполагаемая точка изменения может соответствовать замене датчика, калибровке оборудования, изменению сырья, ремонту станка или установке новой версии управляющего программного обеспечения.

Критерий позволяет проверить, изменилась ли связь между входными параметрами процесса и измеряемым результатом. При этом изменение только дисперсии шума или частоты выбросов не обязательно приводит к изменению коэффициентов, поэтому критерий следует применять совместно с анализом распределений и диагностикой остатков.

Отличие от оценки прогнозного качества

Критерий Чоу отвечает на вопрос: одинаковы ли коэффициенты выбранной линейной модели в двух частях выборки?

Скользящий контроль и отложенная выборка отвечают на другой вопрос: насколько хорошо модель предсказывает новые данные?

Коэффициенты могут статистически значимо различаться, хотя разница в прогнозной ошибке мала. Возможна и обратная ситуация: коэффициенты статистически не различаются, но обе модели обладают низким качеством из-за неправильного выбора признаков или функциональной формы. Поэтому критерий Чоу не заменяет оценивание качества модели на независимых данных.

Практическая процедура

Классический критерий Чоу применяется следующим образом:

Заранее задаётся предполагаемая точка структурного сдвига $\tau$ .
Выбирается одна спецификация линейной модели для обеих частей выборки.
Проверяется, что в каждой части достаточно наблюдений.
По всем наблюдениям оценивается объединённая модель и вычисляется $RSS_0$ .
По первой части оценивается отдельная модель и вычисляется $RSS_1$ .
По второй части оценивается отдельная модель и вычисляется $RSS_2$ .
Рассчитывается F-статистика и её p-значение.
Проверяются предположения о дисперсии и зависимости ошибок.
При отвержении гипотезы сравниваются коэффициенты и их доверительные интервалы.

Альтернативная реализация состоит в построении одной модели с фиктивной переменной группы и взаимодействиями признаков. Затем проводится совместный F-тест коэффициентов взаимодействия.

Методы анализа структурных изменений реализованы, в частности, в пакете strucchange для языка R.^[1]

Ограничения

Основные ограничения критерия Чоу:

классическая версия предполагает линейную регрессионную модель;
точка возможного сдвига должна быть задана заранее;
стандартная статистика чувствительна к гетероскедастичности;
для временных рядов необходимо учитывать автокорреляцию;
каждая часть выборки должна содержать достаточно наблюдений;
результат зависит от выбранных признаков и спецификации модели;
критерий обнаруживает изменение коэффициентов, но не все изменения распределения данных;
статистическая значимость не гарантирует практической значимости;
критерий не оценивает непосредственно качество прогнозирования;
классическая формула неприменима без модификаций к высокоразмерным данным;
выбор точки сдвига по максимальной статистике требует специальных критических значений;
для нескольких неизвестных сдвигов необходимы более общие методы.

Для нелинейных моделей, неизвестной точки изменения, нескольких сдвигов и сложной зависимости ошибок используются робастные критерии Вальда, критерии отношения правдоподобия и методы обнаружения точек изменения.^[1]^[1]

См. также

Литература

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%A7%D0%BE%D1%83»

Категории: Статистические критерии | Регрессионный анализ | Анализ временных рядов | Эконометрика | Энциклопедия анализа данных