Параметрический бутстреп

Материал из MachineLearning.

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 03:34, 18 июля 2026 (MSD)

Содержание

1 Введение
2 Математическая концепция и параметры модели
3 Теоретическое обоснование состоятельности
4 Алгоритм параметрической симуляции
5 Построение доверительных интервалов
- 5.1 Метод квантилей (Percentile Method)
- 5.2 Коррекция смещения (Bias-Correction)
6 Вопросы корректности модели
7 См. также
8 Литература

Введение

Параметрический бутстреп представляет собой компьютерно-интенсивный метод математической статистики, используемый для оценки свойств распределения статистик в рамках заданной параметрической модели. В отличие от общих методов, параметрический бутстреп в явном виде использует информацию о семействе распределений, к которому принадлежит генеральная совокупность. Основная задача метода заключается в получении надежных оценок смещения, дисперсии и построении доверительных интервалов для оцениваемого параметра $\tau$ в условиях, когда аналитическое вычисление их точного распределения затруднительно. Метод является мощным инструментом статистического вывода, опирающимся на вычислительные ресурсы для аппроксимации теоретических характеристик.

Математическая концепция и параметры модели

Пусть задана выборка $\mathbf{X} = (X_1, \dots, X_n)$ , состоящая из независимых одинаково распределённых случайных величин (н.о.р.с.в.). Предполагается, что данные порождаются плотностью вероятности $f(x \mid \theta_0)$ , где $\theta_0 \in \Theta$ — истинный вектор параметров, принадлежащий компактному подмножеству $\Theta \subset \mathbb{R}^k$ .

Оценка параметра $\theta_0$ , обозначаемая как $\hat{\theta}_n = \hat{\theta}(\mathbf{X})$ , обычно строится методом максимального правдоподобия (ММП). Целью статистического исследования является изучение распределения функционала $\tau = g(\theta_0)$ , для чего используется статистика $\hat{\tau}_n = h(\hat{\theta}_n)$ .

Фундаментальная идея параметрического бутстрепа заключается в создании искусственной (имитационной) вероятностной модели, параметризованной оценкой $\hat{\theta}_n$ , которая максимально близка к истинной модели с параметром $\theta_0$ .

Теоретическое обоснование состоятельности

Метод опирается на принцип подстановки, согласно которому при $n \to \infty$ эмпирическая модель $F_{\hat{\theta}_n}$ сходится к истинной функции распределения $F_{\theta_0}$ .

При выполнении условий регулярности (гладкость функции правдоподобия, существование информации Фишера) оценка $\hat{\theta}_n$ является состоятельной и асимптотически нормальной. Распределение статистики $\hat{\tau}_n^*$ , генерируемой на основе имитационной модели $F_{\hat{\theta}_n}$ , аппроксимирует истинное распределение статистики $\hat{\tau}_n$ с точностью порядка $O(n^{-1/2})$ или выше (при использовании стьюдентизированных статистик).

Таким образом, теоретический поиск распределения величины $\hat{\tau}_n - \tau$ заменяется на изучение условного распределения величины $\hat{\tau}_n^* - \hat{\tau}_n$ при условии $\mathbf{X} = \mathbf{x}$ .

Алгоритм параметрической симуляции

Процедура параметрического бутстрепа реализуется посредством метода Монте-Карло и включает следующие этапы:

1. Оценивание параметров: На основе наблюдаемой выборки $\mathbf{X}$ рассчитывается оценка $\hat{\theta}_n$ . 2. Имитационное моделирование: Генерируются $B$ независимых бутстреп-выборок $\mathbf{X}^{*1}, \dots, \mathbf{X}^{*B}$ , где каждая выборка $\mathbf{X}^{*b}$ имеет объём $n$ и состоит из величин, распределенных согласно $F_{\hat{\theta}_n}$ . 3. Расчёт статистик: Для каждой сгенерированной выборки вычисляется соответствующее значение оценки:

$\hat{\tau}^{*b} = h(\hat{\theta}(\mathbf{X}^{*b}))$

4. Эмпирическая аппроксимация: Полученная последовательность $\{ \hat{\tau}^{*1}, \dots, \hat{\tau}^{*B} \}$ формирует эмпирическое распределение, которое служит аппроксимацией истинного распределения статистики $\hat{\tau}_n$ .

Оценка дисперсии статистики $\hat{\tau}_n$ вычисляется как выборочная дисперсия симулированных значений:

$\widehat{\mathrm{Var}}_*(\hat{\tau}^*) = \frac{1}{B-1} \sum_{b=1}^B (\hat{\tau}^{*b} - \bar{\tau}^*)^2$

где $\bar{\tau}^* = \frac{1}{B} \sum_{b=1}^B \hat{\tau}^{*b}$ .

Построение доверительных интервалов

Параметрический бутстреп позволяет реализовать методы построения доверительных интервалов, обладающие высокой точностью покрытия.

Метод квантилей (Percentile Method)

Интервал с уровнем доверия $1 - \alpha$ строится с использованием квантилей эмпирического распределения:

$\left( \hat{\tau}^*_{(\alpha/2)}, \hat{\tau}^*_{(1-\alpha/2)} \right)$

где $\hat{\tau}^*_{(\gamma)}$ — квантиль уровня $\gamma$ вариационного ряда бутстреп-оценок. Данный подход инвариантен относительно монотонных преобразований параметра.

Коррекция смещения (Bias-Correction)

Если точечная оценка $\hat{\tau}_n$ смещена, стандартный метод квантилей может приводить к ошибкам покрытия. Используется модификация:

$\left( \hat{\tau}^*_{(\Phi(2z_0 + z_{\alpha/2})}, \hat{\tau}^*_{(\Phi(2z_0 + z_{1-\alpha/2})}) \right)$

где $z_0 = \Phi^{-1} (\mathbb{P}_*(\hat{\tau}^* \le \hat{\tau}_n))$ — параметр коррекции смещения, а $z_{\gamma}$ — квантиль стандартного нормального распределения. Это позволяет скомпенсировать систематическую ошибку оценивания при малых выборках.

Вопросы корректности модели

Эффективность параметрического бутстрепа критически зависит от правильности выбора семейства распределений $\{F_\theta\}$ . При наличии мисспенсификации (несоответствии истинной природы данных выбранному семейству) оценки, полученные методом, могут демонстрировать высокую стабильность (малую дисперсию), но при этом обладать значительным систематическим смещением. В таких случаях метод не является состоятельным в отношении истинного параметра $\tau$ генеральной совокупности, так как он лишь описывает свойства выбранной «суррогатной» модели, а не реальных данных.

См. также

Литература

Efron B., Tibshirani R. J. An Introduction to the Bootstrap. — CRC Press, 1994. — 436 p. — ISBN 978-0412042317.
Davison A. C., Hinkley D. V. Bootstrap Methods and Their Application. — Cambridge University Press, 1997. — 582 p. — ISBN 978-0521574709.
Ван дер Варт А. Асимптотическая статистика. — М.: МЦНМО, 2013. — 488 с. — ISBN 978-5-4439-0268-5.
Леман Э. Л. Теория точечного оценивания. — М.: Наука, 1991. — 448 с.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9F%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B1%D1%83%D1%82%D1%81%D1%82%D1%80%D0%B5%D0%BF»