Статистический анализ данных (курс лекций, К.В.Воронцов)/2009

Материал из MachineLearning.

(Различия между версиями)

Версия 16:25, 24 сентября 2009

Содержание

1 Задание 1
- 1.1 Пример выполнения задания
- 1.2 Индивидуальные параметры задания
  - 1.2.1 Одновыборочный критерий Стьюдента
    - 1.2.1.1 Безродный Богдан
    - 1.2.1.2 Двойнев Александр
  - 1.2.2 Двухвыборочный критерий Стьюдента для независимых выборок

Задание 1

Необходимо провести исследование одного из классических критериев проверки статистических гипотез. Интерес представляет поведение достигаемого уровня значимости (p-value) как функции размера выборок и параметров распределения. В соответствии с индивидуальными параметрами задания необходимо сгенерировать одну или несколько выборок из указанного распределения, выполнить проверку гипотезы при помощи соответствующего критерия, а затем многократно повторить эту процедуру для различных значений параметров. При этом, в зависимости от индивидуальных особенностей задания, выборки могут как генерироваться заново для каждого значения объёма выборки $n$ , так и образовываться путём добавления одного элемента к уже имеющейся выборке объёма $n-1$ . По результатам расчётов необходимо построить следующие графики:

график зависимости достигаемого уровня значимости от значений параметров при однократном проведении эксперимента (1 балл);
график зависимости достигаемого уровня значимости от значений параметров, усреднённого по нескольким десяткам экспериментов (+1 балл);
график с эмпирическими оценками мощности критерия для разных значений параметров (+1 балл).

В качестве оценки мощности принимается доля отвержений нулевой гипотезы среди всех проверок. То есть, если эксперимент повторялся $k$ раз для каждого набора значений параметра, и в $m$ из $k$ случаев гипотеза была отвергнута на некотором фиксированном уровне значимости $\alpha$ (примем $\alpha=0.5$ ), оценкой мощности будет отношение $m/k$ .

Пример выполнения задания

Исследуем поведение классического двухвыборочного критерия Стьюдента для проверки гипотезы однородности против альтернативы сдвига. $x^n = (x_1,\ldots,x_n)\sim N(\mu_1,\sigma),\;\; y^n = (y_1,\ldots,y_n)\sim N(\mu_2,\sigma);$

$H_0\,:\; \mu_1=\mu_2,$

$H_1\,:\; \mu_1\neq\mu_2.$

Параметры задачи принимают следующие значения:

$\sigma = 1; \;\;\; \mu_1=0; \;\;\; \mu_2=0\,:\,0,05\,:\,3; \;\;\; n=5\,:\,1\,:\,50.$

При каждом значении $\mu_2$ выборки для разных значений $n$ генерируются независимо.

График значений достигаемого уровня значимости при однократной генерации выборок:

График значений достигаемого уровня значимости, усрёднённых по 100 экспериментам:

График значений эмпирических оценок мощности критерия при проведении 100 экспериментов:

Индивидуальные параметры задания

Одновыборочный критерий Стьюдента

$x^n \sim N(\mu,1),$

$H_0\,:\; \mu=0, \;\; H_1\,:\; \mu\neq 0.$

$\mu=0\,:\,0,05\,:\,3; \;\;\; n=5\,:\,1\,:\,50.$

Безродный Богдан

При каждом значении $\mu$ выборки для разных значений $n$ генерируются независимо.

Двойнев Александр

При каждом значении $\mu$ выборка $x^n$ получается из $x^{n-1}$ добавлением одного случайного элемента.

Двухвыборочный критерий Стьюдента для независимых выборок

$x^n \sim N(0,1),\;\; y^n \sim N(\mu_2,1);$

$H_0\,:\; \mu_1=\mu_2, \;\; H_1\,:\; \mu_1\neq\mu_2.$

$\mu_2=0\,:\,0,05\,:\,3; \;\;\; n=5\,:\,1\,:\,50.$

Коликова Екатерина

При каждом значении $\mu_2$ выборки $x^n, y^n$ получаются из $x^{n-1}, y^{n-1}$ добавлением одного случайного элемента.

Алимбаев Данияр

Аманжолов Рустем

Ахламченкова Ольга

Вишняков Святослав

Гикал Александр

Голодов Валентин

Гордеев Дмитрий

Гуков Алексей

Дерябин Василий

Джумабекова Айнагуль

Дзыба Дмитрий

Задонский Дмитрий

Задонский Максим

Карпинская Алина

Ломакин Василий

Ломакина-Румянцева Екатерина

Мягков Артем

Найденов Никита

Нарышкин Андрей

Одинокова Евгения

Осокин Антон

Пасконова Ольга

Решетняк Илья

Толстихин Илья

Янгиров Ильдар

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2009»

@@ Строка 37: / Строка 37: @@
 == Индивидуальные параметры задания ==
-Алимбаев Данияр
+===Одновыборочный критерий Стьюдента===
+<tex>x^n \sim N(\mu,1),</tex>
-Аманжолов Рустем
+<tex>H_0\,:\; \mu=0, \;\; H_1\,:\; \mu\neq 0.</tex>
-Ахламченкова Ольга
+<tex>\mu=0\,:\,0,05\,:\,3; \;\;\;  n=5\,:\,1\,:\,50.</tex>
-Безродный Богдан
+=====Безродный Богдан=====
+При каждом значении <tex>\mu</tex> выборки для разных значений <tex>n</tex> генерируются независимо.
-Вишняков Святослав
+=====Двойнев Александр=====
+При каждом значении <tex>\mu</tex> выборка <tex>x^n</tex> получается из <tex>x^{n-1}</tex> добавлением одного случайного элемента.
-Гикал Александр
-Голодов Валентин
+===Двухвыборочный критерий Стьюдента для независимых выборок===
+<tex>x^n \sim N(0,1),\;\; y^n \sim N(\mu_2,1);</tex>
-Гордеев Дмитрий
+<tex>H_0\,:\; \mu_1=\mu_2, \;\; H_1\,:\; \mu_1\neq\mu_2.</tex>
-Гуков Алексей
+<tex>\mu_2=0\,:\,0,05\,:\,3; \;\;\;  n=5\,:\,1\,:\,50.</tex>
-Двойнев Александр
+=====Коликова Екатерина=====
+При каждом значении <tex>\mu_2</tex> выборки <tex>x^n, y^n</tex> получаются из <tex>x^{n-1}, y^{n-1}</tex> добавлением одного случайного элемента.
-Дерябин Василий
-Джумабекова Айнагуль
+=====Алимбаев Данияр=====
-Дзыба Дмитрий
+=====Аманжолов Рустем=====
-Задонский Дмитрий
+=====Ахламченкова Ольга=====
-Задонский Максим
+=====Вишняков Святослав=====
-Карпинская Алина
+=====Гикал Александр=====
-Коликова Екатерина
+=====Голодов Валентин=====
-Ломакин Василий
+=====Гордеев Дмитрий=====
-Ломакина-Румянцева Екатерина
+=====Гуков Алексей=====
-Мягков Артем
+=====Дерябин Василий=====
-Найденов Никита
+=====Джумабекова Айнагуль=====
-Нарышкин Андрей
+=====Дзыба Дмитрий=====
-Одинокова Евгения
+=====Задонский Дмитрий=====
-Осокин Антон
+=====Задонский Максим=====
-Пасконова Ольга
+=====Карпинская Алина=====
-Решетняк Илья
+=====Ломакин Василий=====
-Толстихин Илья
+=====Ломакина-Румянцева Екатерина=====
-Янгиров Ильдар
+=====Мягков Артем=====
+=====Найденов Никита=====
+=====Нарышкин Андрей=====
+=====Одинокова Евгения=====
+=====Осокин Антон=====
+=====Пасконова Ольга=====
+=====Решетняк Илья=====
+=====Толстихин Илья=====
+=====Янгиров Ильдар=====