Уровень значимости
Материал из MachineLearning.
м (уточнение) |
|||
| Строка 30: | Строка 30: | ||
== Вычисление пи-величины == | == Вычисление пи-величины == | ||
| - | ''' | + | '''[[Достигаемый уровень значимости]]''' или '''[[пи-величина]]''' (p-value) — это наименьшая величина уровня значимости, |
при которой нулевая гипотеза отвергается для данного значения статистики критерия <tex>T</tex>. | при которой нулевая гипотеза отвергается для данного значения статистики критерия <tex>T</tex>. | ||
::<tex>\pi(T) = \min \{ \alpha:\: T\in\Omega_\alpha \},</tex> | ::<tex>\pi(T) = \min \{ \alpha:\: T\in\Omega_\alpha \},</tex> | ||
| Строка 37: | Строка 37: | ||
Другая интерпретация: | Другая интерпретация: | ||
| - | ''пи-величина'' <tex>\pi(T)</tex> — это вероятность, с которой (при условии истинности нулевой гипотезы) могла бы реализоваться наблюдаемая выборка, или любая другая выборка с ещё менее вероятным значением статистики <tex>T</tex>. | + | [[достигаемый уровень значимости]] или ''пи-величина'' <tex>\pi(T)</tex> — это вероятность, с которой (при условии истинности нулевой гипотезы) могла бы реализоваться наблюдаемая выборка, или любая другая выборка с ещё менее вероятным значением статистики <tex>T</tex>. |
Случайная величина <tex>\pi(T(x^m))</tex> имеет равномерное распределение. | Случайная величина <tex>\pi(T(x^m))</tex> имеет равномерное распределение. | ||
| Строка 62: | Строка 62: | ||
# ''Алимов Ю. И.'' Альтернатива методу математической статистики. — М.: Знание, 1980. | # ''Алимов Ю. И.'' Альтернатива методу математической статистики. — М.: Знание, 1980. | ||
| - | == | + | == См. также == |
* [[Проверка статистических гипотез]] — о стандартной методике проверки статистических гипотез. | * [[Проверка статистических гипотез]] — о стандартной методике проверки статистических гипотез. | ||
| - | * [[ | + | * [[Достигаемый уровень значимости]], синонимы: [[пи-величина]], [[p-Value]]. |
| + | |||
| + | == Ссылки == | ||
* [http://en.wikipedia.org/wiki/P-value P-value] — статья в англоязычной Википедии. | * [http://en.wikipedia.org/wiki/P-value P-value] — статья в англоязычной Википедии. | ||
* [http://en.wikipedia.org/wiki/ROC_curve ROC curve] — статья в англоязычной Википедии. | * [http://en.wikipedia.org/wiki/ROC_curve ROC curve] — статья в англоязычной Википедии. | ||
[[Категория:Прикладная статистика]] | [[Категория:Прикладная статистика]] | ||
Версия 20:23, 2 января 2009
|
Уровень значимости статистического теста — допустимая для данной задачи вероятность ошибки первого рода (ложноположительного решения, false positive), то есть вероятность отклонить нулевую гипотезу, когда на самом деле она верна.
Другая интерпретация: уровень значимости — это такое (достаточно малое) значение вероятности события, при котором событие уже можно считать неслучайным.
Уровень значимости обычно обозначают греческой буквой (альфа).
Стандартная методика проверки статистических гипотез
В стандартной методике проверки статистических гипотез уровень значимости фиксируется заранее, до того, как становится известной выборка
.
Чрезмерное уменьшение уровня значимости (вероятности ошибки первого рода) может привести к увеличению вероятности ошибки второго рода, то есть вероятности принять нулевую гипотезу, когда на самом деле она не верна (это называется ложноотрицательным решением, false negative).
Вероятность ошибки второго рода
связана с мощностью критерия
простым соотношением
.
Выбор уровня значимости требует компромисса между значимостью и мощностью или
(что то же самое, но другими словами)
между вероятностями ошибок первого и второго рода.
Обычно рекомендуется выбирать уровень значимости из априорных соображений.
Однако на практике не вполне ясно, какими именно соображениями надо руководствоваться,
и выбор часто сводится к назначению одного из популярных вариантов
.
В докомпьютерную эпоху эта стандартизация позволяла сократить объём справочных статистических таблиц.
Теперь нет никаких специальных причин для выбора именно этих значений.
Существует две альтернативные методики, не требующие априорного назначения .
Вычисление пи-величины
Достигаемый уровень значимости или пи-величина (p-value) — это наименьшая величина уровня значимости,
при которой нулевая гипотеза отвергается для данного значения статистики критерия .
где
— критическая область критерия.
Другая интерпретация:
достигаемый уровень значимости или пи-величина — это вероятность, с которой (при условии истинности нулевой гипотезы) могла бы реализоваться наблюдаемая выборка, или любая другая выборка с ещё менее вероятным значением статистики
.
Случайная величина имеет равномерное распределение.
Фактически, функция
приводит значение статистики критерия
к шкале вероятности.
Маловероятным значениям (хвостам распределения) статистики
соотвествуют значения
, близкие к нулю или к единице.
Вычислив значение на заданной выборке
,
статистик имеет возможность решить,
является ли это значение достаточно малым, чтобы отвергнуть нулевую гипотезу.
Данная методика является более гибкой, чем стандартная.
В частности, она допускает «нестандартное решение» — продолжить наблюдения, увеличивая объём выборки, если оценка вероятности ошибки первого рода попадает в зону неуверенности, скажем, в отрезок
.
Вычисление ROC-кривой
ROC-кривая (receiver operating characteristic) — это зависимость мощности от уровня значимости
.
Методика предполагает, что статистик укажет подходящую точку на ROC-кривой, которая соответствует компромиссу между вероятностями ошибок I и II рода.
Литература
- Кобзарь А. И. Прикладная математическая статистика. Справочник для инженеров и научных работников. — М.: Физматлит, 2006.
- Цейтлин Н. А. Из опыта аналитического статистика. — М.: Солар, 2006. — 905 с.
- Алимов Ю. И. Альтернатива методу математической статистики. — М.: Знание, 1980.
См. также
- Проверка статистических гипотез — о стандартной методике проверки статистических гипотез.
- Достигаемый уровень значимости, синонимы: пи-величина, p-Value.
