Квантильная регрессия

Материал из MachineLearning.

Версия от 22:48, 16 июля 2026; Aleksandr Pochtarev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Статья написана с использованием LLM ChatGPT 5.6 Terra и проверена участником А.Ю.Почтарев 17 июля 2026

Промпт приводится полностью в Обсуждение:Квантильная регрессия

Квантильная регрессия (англ. quantile regression) — метод регрессионного анализа, оценивающий заданный условный квантиль отклика, а не его условное среднее. Она позволяет описывать, как признаки связаны не только с «типичным» значением целевой переменной, но и с её нижней, верхней или медианной частью распределения.^[1]

Метод особенно полезен при гетероскедастичности, асимметричном распределении ошибок и задачах, где важна оценка риска: например, верхней границы времени доставки или нижнего квантиля выручки. При уровне $\tau=0.5$ квантильная регрессия оценивает условную медиану и связана с регрессией наименьших абсолютных отклонений.

Определение

Пусть $Y$ — вещественный отклик, а $X$ — вектор признаков. Условный квантиль уровня $\tau$ , где $0<\tau<1$ , определяется как

$Q_Y(\tau\mid X=x)=\inf\{y:F_{Y\mid X}(y\mid x)\geq\tau\},$

где $F_{Y\mid X}$ — условная функция распределения. Например, $Q_Y(0.9\mid X=x)$ — значение, которое условный отклик не превышает с вероятностью около 0.9.

В линейной квантильной регрессии предполагают, что для выбранного уровня $\tau$

$Q_Y(\tau\mid X=x)=x\cdot\beta_\tau,$

где коэффициенты $\beta_\tau$ могут зависеть от $\tau$ . Если один и тот же признак имеет разные коэффициенты на уровнях $0.1$ , $0.5$ и $0.9$ , его связь с нижней, центральной и верхней частями распределения отклика различается. Это свойство недоступно обычной линейной регрессии, которая моделирует только условное среднее $\mathbb{E}[Y\mid X=x]$ .

Функция потерь

Квантиль уровня $\tau$ является решением задачи минимизации ожидаемой асимметричной абсолютной ошибки. Для остатка $u=y-q$ используют функцию потерь проверки, или пинбольную потерю (англ. check loss, pinball loss):

$\rho_\tau(u)=\tau u,\qquad u\geq0,$

Тогда

$Q_Y(\tau\mid X=x)\in\arg\min_q\mathbb{E}\left[\rho_\tau(Y-q)\mid X=x\right].$

Если прогноз $q$ занижен, то $u>0$ и штраф равен $\tau u$ ; если завышен, штраф равен $(1-\tau)|u|$ . Поэтому при $\tau=0.9$ недооценка наказывается в девять раз сильнее, чем сопоставимая переоценка. При $\tau=0.5$ потеря пропорциональна $|u|$ , а решение соответствует условной медиане.^[1]

Оценивание линейной модели

По выборке $\{(x_i,y_i)\}_{i=1}^{n}$ коэффициенты оценивают как

$\widehat\beta_\tau=\arg\min_{\beta}\sum_{i=1}^{n}\rho_\tau\left(y_i-x_i\cdot\beta\right).$

В отличие от метода наименьших квадратов, эта задача не сводится к одному решению нормальных уравнений. Однако её можно записать как задачу линейного программирования. Если $u_i,v_i\geq0$ и

$y_i-x_i\cdot\beta=u_i-v_i,$

то минимизируют линейную функцию

$\sum_{i=1}^{n}\left(\tau u_i+(1-\tau)v_i\right).$

Для линейной модели применяют симплекс-метод, методы внутренней точки и специализированные алгоритмы параметрического линейного программирования.^[1] В нелинейных моделях — например, в нейронных сетях или градиентном бустинге — минимизируют ту же пинбольную потерю методами первого порядка; в точке $u=0$ используют субградиент.

Интерпретация коэффициентов

В линейной модели коэффициент $\beta_{\tau,j}$ описывает изменение условного квантиля уровня $\tau$ при изменении признака $x_j$ на единицу при прочих равных. Это не то же самое, что изменение среднего значения отклика и не обязательно причинный эффект: причинная интерпретация требует дизайна исследования и дополнительных предположений.

Сравнение коэффициентов по разным $\tau$ помогает обнаружить неоднородность связи. Например, признак может почти не менять медиану, но заметно повышать верхний квантиль. Такая картина может указывать на разные механизмы в разных частях распределения, на неодинаковый разброс ошибок или на пропущенные взаимодействия признаков.

Связь с другими методами

Средняя, медиана и робастность

Обычная регрессия с квадратичной потерей оценивает условное среднее. Квантильная регрессия при $\tau=0.5$ минимизирует сумму абсолютных остатков, то есть является регрессией наименьших абсолютных отклонений. Поэтому медианная регрессия менее чувствительна к большим выбросам по отклику, чем МНК.

Однако квантильная регрессия не является универсальным методом борьбы с выбросами. Точки с необычными значениями признаков могут оставаться влиятельными, а выбор экстремального квантили при малой выборке статистически неустойчив. Для устойчивости к загрязнениям данных требуются отдельная диагностика и, при необходимости, методы робастной статистики.

Квантильная регрессия и интервальный прогноз

Если оценены нижний и верхний условные квантили $\widehat Q_Y(\alpha/2\mid x)$ и $\widehat Q_Y(1-\alpha/2\mid x)$ , то они задают прогнозный интервал

$\left[\widehat Q_Y(\alpha/2\mid x),\widehat Q_Y(1-\alpha/2\mid x)\right].$

Например, уровни $0.05$ и $0.95$ дают номинальный 90-процентный интервал. Его фактическое покрытие не гарантировано автоматически: оно зависит от качества модели, репрезентативности тестовых данных и калибровки. Для проверки оценивают долю наблюдений, лежащих ниже каждого предсказанного квантили, на независимой или отложенной выборке (англ. hold-out validation). Современная литература различает безусловную калибровку по всей популяции и более сильную условную калибровку для подгрупп с заданными признаками.^[1]

Квантильное пересечение

Квантили одной и той же условной функции должны быть упорядочены: при $\tau_1<\tau_2$ должно выполняться $Q_Y(\tau_1\mid x)\leq Q_Y(\tau_2\mid x)$ . Если модели для разных уровней обучаются независимо, это условие может нарушиться; явление называют квантильным пересечением (англ. quantile crossing).

Проблему решают совместным обучением с ограничением монотонности или последующей монотонной перестановкой (англ. monotone rearrangement) предсказанных кривых. Последний подход был теоретически исследован Черножуковым, Фернандесом-Валем и Галичоном.^[1]

Применение в машинном обучении

Квантильная регрессия применяется, когда точечный прогноз недостаточен и необходимо выразить асимметричный риск или диапазон возможных исходов. В отличие от модели, предсказывающей только среднее, она позволяет выдавать несколько квантилей и тем самым описывать неопределённость, зависящую от признаков.

Для инженера по данным ключевыми являются следующие практические правила:

уровень $\tau$ выбирают из прикладной стоимости ошибок: высокий квантиль нужен, когда недооценка дороже переоценки;
при прогнозировании интервала обучают как минимум две модели или одну многоквантильную модель и проверяют покрытие на отложенной выборке;
качество отдельного квантили оценивают средней пинбольной потерей, а не только RMSE или MAE;
для редких хвостовых квантилей нужны существенно большие объёмы данных; в противном случае оценки имеют высокую вариативность;
следует проверять упорядоченность квантилей и поведение модели в важных подгруппах данных.

Метод не оценивает полное условное распределение, если обучено лишь несколько уровней $\tau$ . Для такой цели могут понадобиться оценка условной плотности, вероятностная модель либо большое число согласованно оценённых квантилей.

Ограничения

Линейная спецификация $x\cdot\beta_\tau$ может быть неверной даже при правильной идее моделировать квантили. Нелинейные признаки, базисные разложения, деревья решений и нейронные сети расширяют класс функций, но повышают риск переобучения и усложняют интерпретацию.

Квантильная регрессия также не отменяет проблемы пропусков, сдвига распределения и ошибок измерения. Прогнозный интервал из двух квантилей является оценочным результатом, а не гарантией заданного покрытия в новых условиях. Для оценки согласия модели с данными используют специализированные процедуры проверки качества и калибровки, включая аналоги коэффициента детерминации для квантильной регрессии.^[1]

История

Современную формулировку квантильной регрессии предложили Роджер Кёнкер и Гилберт Бассетт в статье «Regression Quantiles» 1978 года. Они представили оценивание условных квантилей как обобщение линейной регрессии, основанное на асимметричной абсолютной потере.^[1]

Дальнейшее развитие охватило вычислительные алгоритмы, статистический вывод, нелинейные и высокоразмерные модели. Монография Кёнкера 2005 года систематизировала теорию и практику метода.^[1]

См. также

Примечания

Литература

Koenker R. Quantile Regression. Cambridge University Press, 2005. ISBN 978-0-521-84573-1. DOI: 10.1017/CBO9780511754098.
Koenker R., Bassett G. Regression Quantiles // Econometrica. 1978. Vol. 46, no. 1. P. 33—50. DOI: 10.2307/1913643.
Koenker R., d’Orey V. Computing Regression Quantiles // Journal of the Royal Statistical Society: Series C (Applied Statistics). 1987. Vol. 36, no. 3. P. 383—393. DOI: 10.2307/2347802.
Koenker R., Machado J. A. F. Goodness of Fit and Related Inference Processes for Quantile Regression // Journal of the American Statistical Association. 1999. Vol. 94, no. 448. P. 1296—1310. DOI: 10.1080/01621459.1999.10473882.
Chernozhukov V., Fernández-Val I., Galichon A. Quantile and Probability Curves Without Crossing // Econometrica. 2010. Vol. 78, no. 3. P. 1093—1125. DOI: 10.3982/ECTA7880.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%B2%D0%B0%D0%BD%D1%82%D0%B8%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»