Параметрический бутстреп

Материал из MachineLearning.

Версия от 23:30, 17 июля 2026; Nikita Zinoviсh (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 03:30, 18 июля 2026 (MSD)


Содержание

Введение

Параметрический бутстреп — это компьютерно-интенсивный метод математической статистики, предназначенный для аппроксимации распределения статистики в условиях, когда вид функции распределения генеральной совокупности известен с точностью до конечного вектора параметров. В отличие от общих методов статистического вывода, параметрический бутстреп использует структурную информацию о данных, заложенную в параметрическую модель, что позволяет с высокой точностью оценивать дисперсию, смещение и доверительные интервалы для сложных оценок, аналитический вывод которых затруднителен или невозможен.

Математическая постановка задачи

Пусть имеется случайная выборка \mathbf{X} = (X_1, \dots, X_n) , состоящая из независимых одинаково распределённых случайных величин (н.о.р.с.в.), имеющих функцию распределения F_{\theta_0} , где \theta_0 \in \Theta \subset \mathbb{R}^k — истинное, но неизвестное значение параметра.

Задача состоит в оценивании некоторого функционала \tau = g(\theta_0) . Для этого используется статистика \hat{\tau}_n = h(\mathbf{X}) , которая является точечной оценкой параметра \tau . Фундаментальная проблема заключается в определении распределения величины \hat{\tau}_n - \tau , которое необходимо для построения доверительных областей. В условиях параметрической модели мы располагаем оценкой параметра \hat{\theta}_n = \hat{\theta}(\mathbf{X}) , полученной, например, методом максимального правдоподобия.

Теоретическое обоснование метода

Метод параметрического бутстрепа базируется на принципе подстановки и свойствах сходимости оценок. Если \hat{\theta}_n является состоятельной оценкой параметра \theta_0 , то при n \to \infty эмпирическая модель F_{\hat{\theta}_n} сходится к истинной модели F_{\theta_0} .

Логика метода заключается в следующем: 1. Истинное распределение статистики \hat{\tau}_n определяется распределением F_{\theta_0} . 2. Поскольку \theta_0 неизвестно, мы аппроксимируем его оценкой \hat{\theta}_n . 3. Распределение статистики \hat{\tau}_n^* , вычисленной по выборке из распределения F_{\hat{\theta}_n} , асимптотически совпадает с распределением \hat{\tau}_n из F_{\theta_0} .

Таким образом, мы заменяем теоретический поиск распределения на вычислительную процедуру: многократное моделирование данных из «подогнанной» модели F_{\hat{\theta}_n} .

Алгоритм параметрического бутстрепа

Процедура реализуется посредством метода Монте-Карло и состоит из следующих шагов:

1. Оценивание параметра: По исходной выборке \mathbf{X} вычисляется оценка параметра \hat{\theta}_n . 2. Генерация бутстреп-выборок: Формируются B независимых выборок \mathbf{X}^{*1}, \dots, \mathbf{X}^{*B} объёма n , где каждое наблюдение X_{i}^{*b} генерируется из распределения F_{\hat{\theta}_n} (используется генератор псевдослучайных чисел для заданного семейства). 3. Вычисление оценок: Для каждой бутстреп-выборки \mathbf{X}^{*b} вычисляется значение целевой статистики:

\hat{\tau}^{*b} = h(\mathbf{X}^{*b})

4. Аппроксимация распределения: Полученный набор значений \{ \hat{\tau}^{*1}, \dots, \hat{\tau}^{*B} \} используется как эмпирическое распределение, которое аппроксимирует истинное распределение оценки \hat{\tau}_n .

Бутстреп-оценка дисперсии \mathrm{Var}_*(\hat{\tau}^*) рассчитывается по формуле:

\widehat{\mathrm{Var}}_*(\hat{\tau}^*) = \frac{1}{B-1} \sum_{b=1}^B (\hat{\tau}^{*b} - \bar{\tau}^*)^2

где \bar{\tau}^* = \frac{1}{B} \sum_{b=1}^B \hat{\tau}^{*b} .

Применение: построение доверительных интервалов

Параметрический бутстреп позволяет строить доверительные интервалы для параметров \tau . Наиболее распространенный способ — использование квантилей бутстреп-распределения. Для уровня доверия 1 - \alpha двусторонний доверительный интервал определяется как:

\left( \hat{\tau}^*_{(\alpha/2)}, \hat{\tau}^*_{(1-\alpha/2)} \right)

где \hat{\tau}^*_{(\gamma)} — квантиль уровня \gamma эмпирического распределения \{ \hat{\tau}^{*b} \} . При корректной спецификации параметрической модели данный подход обеспечивает асимптотически верное покрытие параметра \tau с высокой эффективностью, так как использует всю имеющуюся априорную информацию о семействе распределений.

См. также

Литература

  • Efron B., Tibshirani R. J. An Introduction to the Bootstrap. — CRC Press, 1994. — 436 p. — ISBN 978-0412042317.
  • Davison A. C., Hinkley D. V. Bootstrap Methods and Their Application. — Cambridge University Press, 1997. — 582 p. — ISBN 978-0521574709.
  • Ван дер Варт А. Асимптотическая статистика. — М.: МЦНМО, 2013. — 488 с. — ISBN 978-5-4439-0268-5.
  • Леман Э. Л. Теория точечного оценивания. — М.: Наука, 1991. — 448 с.
Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9F%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B1%D1%83%D1%82%D1%81%D1%82%D1%80%D0%B5%D0%BF»
Личные инструменты