Параметрический бутстреп

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 03:34, 18 июля 2026 (MSD)

Содержание

1 Введение
2 Математическая концепция и параметры модели
3 Теоретическое обоснование состоятельности
4 Алгоритм параметрической симуляции
5 Построение доверительных интервалов
- 5.1 Метод квантилей (Percentile Method)
- 5.2 Коррекция смещения (Bias-Correction)
6 Вопросы корректности модели
7 См. также
8 Литература

Введение

Параметрический бутстреп представляет собой компьютерно-интенсивный метод математической статистики, используемый для оценки свойств распределения статистик в рамках заданной параметрической модели. В отличие от общих методов, параметрический бутстреп в явном виде использует информацию о семействе распределений, к которому принадлежит генеральная совокупность. Основная задача метода заключается в получении надежных оценок смещения, дисперсии и построении доверительных интервалов для оцениваемого параметра $\tau$ в условиях, когда аналитическое вычисление их точного распределения затруднительно. Метод является мощным инструментом статистического вывода, опирающимся на вычислительные ресурсы для аппроксимации теоретических характеристик.

Математическая концепция и параметры модели

Пусть задана выборка $\mathbf{X} = (X_1, \dots, X_n)$ , состоящая из независимых одинаково распределённых случайных величин (н.о.р.с.в.). Предполагается, что данные порождаются плотностью вероятности $f(x \mid \theta_0)$ , где $\theta_0 \in \Theta$ — истинный вектор параметров, принадлежащий компактному подмножеству $\Theta \subset \mathbb{R}^k$ .

Оценка параметра $\theta_0$ , обозначаемая как $\hat{\theta}_n = \hat{\theta}(\mathbf{X})$ , обычно строится методом максимального правдоподобия (ММП). Целью статистического исследования является изучение распределения функционала $\tau = g(\theta_0)$ , для чего используется статистика $\hat{\tau}_n = h(\hat{\theta}_n)$ .

Фундаментальная идея параметрического бутстрепа заключается в создании искусственной (имитационной) вероятностной модели, параметризованной оценкой $\hat{\theta}_n$ , которая максимально близка к истинной модели с параметром $\theta_0$ .

Теоретическое обоснование состоятельности

Метод опирается на принцип подстановки, согласно которому при $n \to \infty$ эмпирическая модель $F_{\hat{\theta}_n}$ сходится к истинной функции распределения $F_{\theta_0}$ .

При выполнении условий регулярности (гладкость функции правдоподобия, существование информации Фишера) оценка $\hat{\theta}_n$ является состоятельной и асимптотически нормальной. Распределение статистики $\hat{\tau}_n^*$ , генерируемой на основе имитационной модели $F_{\hat{\theta}_n}$ , аппроксимирует истинное распределение статистики $\hat{\tau}_n$ с точностью порядка $O(n^{-1/2})$ или выше (при использовании стьюдентизированных статистик).

Таким образом, теоретический поиск распределения величины $\hat{\tau}_n - \tau$ заменяется на изучение условного распределения величины $\hat{\tau}_n^* - \hat{\tau}_n$ при условии $\mathbf{X} = \mathbf{x}$ .

Алгоритм параметрической симуляции

Процедура параметрического бутстрепа реализуется посредством метода Монте-Карло и включает следующие этапы:

1. Оценивание параметров: На основе наблюдаемой выборки $\mathbf{X}$ рассчитывается оценка $\hat{\theta}_n$ . 2. Имитационное моделирование: Генерируются $B$ независимых бутстреп-выборок $\mathbf{X}^{*1}, \dots, \mathbf{X}^{*B}$ , где каждая выборка $\mathbf{X}^{*b}$ имеет объём $n$ и состоит из величин, распределенных согласно $F_{\hat{\theta}_n}$ . 3. Расчёт статистик: Для каждой сгенерированной выборки вычисляется соответствующее значение оценки:

$\hat{\tau}^{*b} = h(\hat{\theta}(\mathbf{X}^{*b}))$

4. Эмпирическая аппроксимация: Полученная последовательность $\{ \hat{\tau}^{*1}, \dots, \hat{\tau}^{*B} \}$ формирует эмпирическое распределение, которое служит аппроксимацией истинного распределения статистики $\hat{\tau}_n$ .

Оценка дисперсии статистики $\hat{\tau}_n$ вычисляется как выборочная дисперсия симулированных значений:

$\widehat{\mathrm{Var}}_*(\hat{\tau}^*) = \frac{1}{B-1} \sum_{b=1}^B (\hat{\tau}^{*b} - \bar{\tau}^*)^2$

где $\bar{\tau}^* = \frac{1}{B} \sum_{b=1}^B \hat{\tau}^{*b}$ .

Построение доверительных интервалов

Параметрический бутстреп позволяет реализовать методы построения доверительных интервалов, обладающие высокой точностью покрытия.

Метод квантилей (Percentile Method)

Интервал с уровнем доверия $1 - \alpha$ строится с использованием квантилей эмпирического распределения:

$\left( \hat{\tau}^*_{(\alpha/2)}, \hat{\tau}^*_{(1-\alpha/2)} \right)$

где $\hat{\tau}^*_{(\gamma)}$ — квантиль уровня $\gamma$ вариационного ряда бутстреп-оценок. Данный подход инвариантен относительно монотонных преобразований параметра.

Коррекция смещения (Bias-Correction)

Если точечная оценка $\hat{\tau}_n$ смещена, стандартный метод квантилей может приводить к ошибкам покрытия. Используется модификация:

$\left( \hat{\tau}^*_{(\Phi(2z_0 + z_{\alpha/2})}, \hat{\tau}^*_{(\Phi(2z_0 + z_{1-\alpha/2})}) \right)$

где $z_0 = \Phi^{-1} (\mathbb{P}_*(\hat{\tau}^* \le \hat{\tau}_n))$ — параметр коррекции смещения, а $z_{\gamma}$ — квантиль стандартного нормального распределения. Это позволяет скомпенсировать систематическую ошибку оценивания при малых выборках.

Вопросы корректности модели

Эффективность параметрического бутстрепа критически зависит от правильности выбора семейства распределений $\{F_\theta\}$ . При наличии мисспенсификации (несоответствии истинной природы данных выбранному семейству) оценки, полученные методом, могут демонстрировать высокую стабильность (малую дисперсию), но при этом обладать значительным систематическим смещением. В таких случаях метод не является состоятельным в отношении истинного параметра $\tau$ генеральной совокупности, так как он лишь описывает свойства выбранной «суррогатной» модели, а не реальных данных.

См. также

Литература

Efron B., Tibshirani R. J. An Introduction to the Bootstrap. — CRC Press, 1994. — 436 p. — ISBN 978-0412042317.
Davison A. C., Hinkley D. V. Bootstrap Methods and Their Application. — Cambridge University Press, 1997. — 582 p. — ISBN 978-0521574709.
Ван дер Варт А. Асимптотическая статистика. — М.: МЦНМО, 2013. — 488 с. — ISBN 978-5-4439-0268-5.
Леман Э. Л. Теория точечного оценивания. — М.: Наука, 1991. — 448 с.

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9F%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B1%D1%83%D1%82%D1%81%D1%82%D1%80%D0%B5%D0%BF»

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 03:30, 18 июля 2026 (MSD)}}
+{{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником [[Участник:Nikita Zinoviсh|Nikita Zinoviсh]] 03:34, 18 июля 2026 (MSD)}}
 == Введение ==
-Параметрический бутстреп — это компьютерно-интенсивный метод [[Математическая статистика|математической статистики]], предназначенный для аппроксимации распределения статистики в условиях, когда вид [[Функция распределения|функции распределения]] генеральной совокупности известен с точностью до конечного вектора параметров. В отличие от общих методов статистического вывода, параметрический бутстреп использует структурную информацию о данных, заложенную в параметрическую модель, что позволяет с высокой точностью оценивать [[Дисперсия случайной величины|дисперсию]], [[Смещение оценки|смещение]] и [[Доверительный интервал|доверительные интервалы]] для сложных оценок, аналитический вывод которых затруднителен или невозможен.
+Параметрический бутстреп представляет собой компьютерно-интенсивный метод [[Математическая статистика|математической статистики]], используемый для оценки свойств распределения статистик в рамках заданной параметрической модели. В отличие от общих методов, параметрический бутстреп в явном виде использует информацию о семействе распределений, к которому принадлежит генеральная совокупность. Основная задача метода заключается в получении надежных оценок [[Смещение оценки|смещения]], [[Дисперсия случайной величины|дисперсии]] и построении [[Доверительный интервал|доверительных интервалов]] для оцениваемого параметра <tex> \tau </tex> в условиях, когда аналитическое вычисление их точного распределения затруднительно. Метод является мощным инструментом статистического вывода, опирающимся на вычислительные ресурсы для аппроксимации теоретических характеристик.
-== Математическая постановка задачи ==
+== Математическая концепция и параметры модели ==
-Пусть имеется случайная выборка <tex> \mathbf{X} = (X_1, \dots, X_n) </tex>, состоящая из [[Независимые случайные величины|независимых одинаково распределённых случайных величин]] (н.о.р.с.в.), имеющих функцию распределения <tex> F_{\theta_0} </tex>, где <tex> \theta_0 \in \Theta \subset \mathbb{R}^k </tex> — истинное, но неизвестное значение параметра.
+Пусть задана выборка <tex> \mathbf{X} = (X_1, \dots, X_n) </tex>, состоящая из [[Независимые случайные величины|независимых одинаково распределённых случайных величин]] (н.о.р.с.в.). Предполагается, что данные порождаются плотностью вероятности <tex> f(x \mid \theta_0) </tex>, где <tex> \theta_0 \in \Theta </tex> — истинный вектор параметров, принадлежащий компактному подмножеству <tex> \Theta \subset \mathbb{R}^k </tex>.
-Задача состоит в оценивании некоторого функционала <tex> \tau = g(\theta_0) </tex>. Для этого используется статистика <tex> \hat{\tau}_n = h(\mathbf{X}) </tex>, которая является [[Точечная оценка|точечной оценкой]] параметра <tex> \tau </tex>.
+Оценка параметра <tex> \theta_0 </tex>, обозначаемая как <tex> \hat{\theta}_n = \hat{\theta}(\mathbf{X}) </tex>, обычно строится методом [[Метод максимального правдоподобия|максимального правдоподобия]] (ММП). Целью статистического исследования является изучение распределения функционала <tex> \tau = g(\theta_0) </tex>, для чего используется статистика <tex> \hat{\tau}_n = h(\hat{\theta}_n) </tex>.
-Фундаментальная проблема заключается в определении распределения величины <tex> \hat{\tau}_n - \tau </tex>, которое необходимо для построения доверительных областей. В условиях параметрической модели мы располагаем оценкой параметра <tex> \hat{\theta}_n = \hat{\theta}(\mathbf{X}) </tex>, полученной, например, методом [[Метод максимального правдоподобия|максимального правдоподобия]].
-== Теоретическое обоснование метода ==
+Фундаментальная идея параметрического бутстрепа заключается в создании искусственной (имитационной) вероятностной модели, параметризованной оценкой <tex> \hat{\theta}_n </tex>, которая максимально близка к истинной модели с параметром <tex> \theta_0 </tex>.
-Метод параметрического бутстрепа базируется на принципе [[Принцип подстановки|подстановки]] и свойствах сходимости оценок. Если <tex> \hat{\theta}_n </tex> является [[Состоятельная оценка|состоятельной оценкой]] параметра <tex> \theta_0 </tex>, то при <tex> n \to \infty </tex> эмпирическая модель <tex> F_{\hat{\theta}_n} </tex> сходится к истинной модели <tex> F_{\theta_0} </tex>.
-Логика метода заключается в следующем:
+== Теоретическое обоснование состоятельности ==
-. Истинное распределение статистики <tex> \hat{\tau}_n </tex> определяется распределением <tex> F_{\theta_0} </tex>.
+Метод опирается на принцип подстановки, согласно которому при <tex> n \to \infty </tex> эмпирическая модель <tex> F_{\hat{\theta}_n} </tex> сходится к истинной функции распределения <tex> F_{\theta_0} </tex>.
-. Поскольку <tex> \theta_0 </tex> неизвестно, мы аппроксимируем его оценкой <tex> \hat{\theta}_n </tex>.
-. Распределение статистики <tex> \hat{\tau}_n^* </tex>, вычисленной по выборке из распределения <tex> F_{\hat{\theta}_n} </tex>, асимптотически совпадает с распределением <tex> \hat{\tau}_n </tex> из <tex> F_{\theta_0} </tex>.
-Таким образом, мы заменяем теоретический поиск распределения на вычислительную процедуру: многократное моделирование данных из «подогнанной» модели <tex> F_{\hat{\theta}_n} </tex>.
+При выполнении условий регулярности (гладкость функции правдоподобия, существование информации Фишера) оценка <tex> \hat{\theta}_n </tex> является [[Состоятельная оценка|состоятельной]] и [[Асимптотическая нормальность|асимптотически нормальной]]. Распределение статистики <tex> \hat{\tau}_n^* </tex>, генерируемой на основе имитационной модели <tex> F_{\hat{\theta}_n} </tex>, аппроксимирует истинное распределение статистики <tex> \hat{\tau}_n </tex> с точностью порядка <tex> O(n^{-1/2}) </tex> или выше (при использовании стьюдентизированных статистик).
-== Алгоритм параметрического бутстрепа ==
+Таким образом, теоретический поиск распределения величины <tex> \hat{\tau}_n - \tau </tex> заменяется на изучение условного распределения величины <tex> \hat{\tau}_n^* - \hat{\tau}_n </tex> при условии <tex> \mathbf{X} = \mathbf{x} </tex>.
-Процедура реализуется посредством [[Метод Монте-Карло|метода Монте-Карло]] и состоит из следующих шагов:
-. '''Оценивание параметра:''' По исходной выборке <tex> \mathbf{X} </tex> вычисляется оценка параметра <tex> \hat{\theta}_n </tex>.
+== Алгоритм параметрической симуляции ==
-. '''Генерация бутстреп-выборок:''' Формируются <tex> B </tex> независимых выборок <tex> \mathbf{X}^{*1}, \dots, \mathbf{X}^{*B} </tex> объёма <tex> n </tex>, где каждое наблюдение <tex> X_{i}^{*b} </tex> генерируется из распределения <tex> F_{\hat{\theta}_n} </tex> (используется генератор псевдослучайных чисел для заданного семейства).
+Процедура параметрического бутстрепа реализуется посредством [[Метод Монте-Карло|метода Монте-Карло]] и включает следующие этапы:
-. '''Вычисление оценок:''' Для каждой бутстреп-выборки <tex> \mathbf{X}^{*b} </tex> вычисляется значение целевой статистики:
-:<tex> \hat{\tau}^{*b} = h(\mathbf{X}^{*b}) </tex>
-. '''Аппроксимация распределения:''' Полученный набор значений <tex> \{ \hat{\tau}^{*1}, \dots, \hat{\tau}^{*B} \} </tex> используется как эмпирическое распределение, которое аппроксимирует истинное распределение оценки <tex> \hat{\tau}_n </tex>.
-Бутстреп-оценка дисперсии <tex> \mathrm{Var}_*(\hat{\tau}^*) </tex> рассчитывается по формуле:
+. '''Оценивание параметров:''' На основе наблюдаемой выборки <tex> \mathbf{X} </tex> рассчитывается оценка <tex> \hat{\theta}_n </tex>.
+. '''Имитационное моделирование:''' Генерируются <tex> B </tex> независимых бутстреп-выборок <tex> \mathbf{X}^{*1}, \dots, \mathbf{X}^{*B} </tex>, где каждая выборка <tex> \mathbf{X}^{*b} </tex> имеет объём <tex> n </tex> и состоит из величин, распределенных согласно <tex> F_{\hat{\theta}_n} </tex>.
+. '''Расчёт статистик:''' Для каждой сгенерированной выборки вычисляется соответствующее значение оценки:
+:<tex> \hat{\tau}^{*b} = h(\hat{\theta}(\mathbf{X}^{*b})) </tex>
+. '''Эмпирическая аппроксимация:''' Полученная последовательность <tex> \{ \hat{\tau}^{*1}, \dots, \hat{\tau}^{*B} \} </tex> формирует эмпирическое распределение, которое служит аппроксимацией истинного распределения статистики <tex> \hat{\tau}_n </tex>.
+Оценка дисперсии статистики <tex> \hat{\tau}_n </tex> вычисляется как выборочная дисперсия симулированных значений:
 :<tex> \widehat{\mathrm{Var}}_*(\hat{\tau}^*) = \frac{1}{B-1} \sum_{b=1}^B (\hat{\tau}^{*b} - \bar{\tau}^*)^2 </tex>
 где <tex> \bar{\tau}^* = \frac{1}{B} \sum_{b=1}^B \hat{\tau}^{*b} </tex>.
-== Применение: построение доверительных интервалов ==
+== Построение доверительных интервалов ==
-Параметрический бутстреп позволяет строить доверительные интервалы для параметров <tex> \tau </tex>. Наиболее распространенный способ — использование квантилей бутстреп-распределения.
+Параметрический бутстреп позволяет реализовать методы построения доверительных интервалов, обладающие высокой точностью покрытия.
-Для уровня доверия <tex> 1 - \alpha </tex> двусторонний доверительный интервал определяется как:
+=== Метод квантилей (Percentile Method) ===
+Интервал с уровнем доверия <tex> 1 - \alpha </tex> строится с использованием квантилей эмпирического распределения:
 :<tex> \left( \hat{\tau}^*_{(\alpha/2)}, \hat{\tau}^*_{(1-\alpha/2)} \right) </tex>
-где <tex> \hat{\tau}^*_{(\gamma)} </tex> — квантиль уровня <tex> \gamma </tex> эмпирического распределения <tex> \{ \hat{\tau}^{*b} \} </tex>. При корректной спецификации параметрической модели данный подход обеспечивает асимптотически верное покрытие параметра <tex> \tau </tex> с высокой эффективностью, так как использует всю имеющуюся априорную информацию о семействе распределений.
+где <tex> \hat{\tau}^*_{(\gamma)} </tex> — квантиль уровня <tex> \gamma </tex> вариационного ряда бутстреп-оценок. Данный подход инвариантен относительно монотонных преобразований параметра.
+=== Коррекция смещения (Bias-Correction) ===
+Если точечная оценка <tex> \hat{\tau}_n </tex> смещена, стандартный метод квантилей может приводить к ошибкам покрытия. Используется модификация:
+:<tex> \left( \hat{\tau}^*_{(\Phi(2z_0 + z_{\alpha/2})}, \hat{\tau}^*_{(\Phi(2z_0 + z_{1-\alpha/2})}) \right) </tex>
+где <tex> z_0 = \Phi^{-1} (\mathbb{P}_*(\hat{\tau}^* \le \hat{\tau}_n)) </tex> — параметр коррекции смещения, а <tex> z_{\gamma} </tex> — квантиль стандартного нормального распределения. Это позволяет скомпенсировать систематическую ошибку оценивания при малых выборках.
+== Вопросы корректности модели ==
+Эффективность параметрического бутстрепа критически зависит от правильности выбора семейства распределений <tex> \{F_\theta\} </tex>. При наличии [[Мисспенсификация модели|мисспенсификации]] (несоответствии истинной природы данных выбранному семейству) оценки, полученные методом, могут демонстрировать высокую стабильность (малую дисперсию), но при этом обладать значительным систематическим смещением. В таких случаях метод не является состоятельным в отношении истинного параметра <tex> \tau </tex> генеральной совокупности, так как он лишь описывает свойства выбранной «суррогатной» модели, а не реальных данных.
 == См. также ==
@@ Строка 42: / Строка 50: @@
 * [[Метод максимального правдоподобия]]
 * [[Эффективность оценки]]
-* [[Моделирование Монте-Карло]]
+* [[Асимптотическая нормальность]]
-* [[Асимптотическая статистика]]
+* [[Метод Монте-Карло]]
 == Литература ==