Обсуждение участника:Riabenko

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
Строка 2: Строка 2:
-
М-оценки – широкий класс статистических оценок, доставляющих минимум суммы каких-либо функций от данных. М-оценками являются, в частности, оценки [[Метод наименьших квадратов|наименьших квадратов]], а также многие оценки [[Метод наибольшего правдоподобия|максимального правдоподобия]].
+
М-оценки — широкий класс статистических оценок, доставляющих минимум суммы каких-либо функций от данных:
 +
::<tex>\hat{\theta}=\arg\min_{\displaystyle\theta}\left(\sum_{i=1}^N\rho(x_i, \theta)\right) \,\!</tex>
 +
М-оценками являются, в частности, оценки [[Метод наименьших квадратов|наименьших квадратов]], а также многие оценки [[Метод наибольшего правдоподобия|максимального правдоподобия]].
 +
 
 +
Функция <tex>\rho</tex> выбирается таким образом, чтобы обеспечить желаемые свойства оценки (несмещённость и эффективность) в условиях, когда данные взяты из известного распределения, и достаточную устойчивость к отклонениям от этого распределения.
 +
 
 +
== M-оценки положения распределения ==
 +
Для положения распределения М-оценки задаются следующим образом:
 +
::<tex>\hat{\theta}=\arg\min_{\displaystyle\theta}\left(\sum_{i=1}^N\rho(x_i - \theta)\right), \,\!</tex>
 +
<tex>\rho(0)=0, \;\; \rho(x)\geq 0 \forall x, \;\; \rho(-x)=\rho(x), \;\; \rho(x_1)\geq\rho(x_2)</tex> при <tex>|x_1|>|x_2|.</tex>
 +
 
 +
Задача минимизации приводит к уравнению
 +
::<tex>\sum_{i=1}^N \psi(x_i-\theta)=0,</tex>
 +
где <tex>\psi</tex> – производная <tex>\rho</tex>.
 +
 
 +
 
 +
 
 +
{| class="wikitable"
 +
|-
 +
! М-оценка
 +
! <tex>\rho(x)</tex>
 +
! <tex>\psi(x)</tex>
 +
! <tex>w(x)</tex>
 +
|-
 +
! Huber <tex>\left\{ \begin{array}{l} \text{при} |x|\leq k \\ \text{при} |x|>k \end{array} \rignt.</tex>
 +
|
 +
|
 +
|
 +
|-
 +
! "Fair"
 +
| <tex>c^2\left(\frac{|x|}{c}-\log\left(1+\frac{|x|}{c}\right)\right)</tex>
 +
| <tex>\frac{x}{1+\frac{|x|}{c}}</tex>
 +
| <tex>\frac{1}{1+\frac{|x|}{c}}</tex>
 +
|-
 +
! Cauchy
 +
| <tex>\frac{c}{2}\log\left(1+\left(x/c\right)^2\right</tex>
 +
| <tex>\frac{x}{1+\left(x/c\right)^2}</tex>
 +
| <tex>\frac{1}{1+\left(x/c\right)^2}</tex>
 +
|-
 +
! Geman-McClure
 +
| <tex>\frac{x^2/2}{1+x^2}</tex>
 +
| <tex>\frac{x}{\left(1+x^2\right)^2}</tex>
 +
| <tex>\frac{1}{\left(1+x^2\right)^2}</tex>
 +
|-
 +
! Welsch
 +
|
 +
|
 +
|
 +
|-
 +
! Тьюки
 +
|
 +
|
 +
|
 +
|-
 +
! Andrews
 +
|
 +
|
 +
|
 +
|}
 +
 
 +
 
 +
== Ссылки ==
 +
* [http://en.wikipedia.org/wiki/M-estimator M-estimator] - статья из английской Википедии
 +
[[Категория:Прикладная статистика]]
 +
 

Версия 17:22, 21 октября 2011

Глоссарий статистических терминов ISI


М-оценки — широкий класс статистических оценок, доставляющих минимум суммы каких-либо функций от данных:

\hat{\theta}=\arg\min_{\displaystyle\theta}\left(\sum_{i=1}^N\rho(x_i, \theta)\right) \,\!

М-оценками являются, в частности, оценки наименьших квадратов, а также многие оценки максимального правдоподобия.

Функция \rho выбирается таким образом, чтобы обеспечить желаемые свойства оценки (несмещённость и эффективность) в условиях, когда данные взяты из известного распределения, и достаточную устойчивость к отклонениям от этого распределения.

M-оценки положения распределения

Для положения распределения М-оценки задаются следующим образом:

\hat{\theta}=\arg\min_{\displaystyle\theta}\left(\sum_{i=1}^N\rho(x_i - \theta)\right), \,\!

\rho(0)=0, \;\; \rho(x)\geq 0 \forall x, \;\; \rho(-x)=\rho(x), \;\; \rho(x_1)\geq\rho(x_2) при |x_1|>|x_2|.

Задача минимизации приводит к уравнению

\sum_{i=1}^N \psi(x_i-\theta)=0,

где \psi – производная \rho.


М-оценка \rho(x) \psi(x) w(x)
Huber \left\{ \begin{array}{l} \text{при} |x|\leq k \\ \text{при} |x|>k \end{array} \rignt.
"Fair" c^2\left(\frac{|x|}{c}-\log\left(1+\frac{|x|}{c}\right)\right) \frac{x}{1+\frac{|x|}{c}} \frac{1}{1+\frac{|x|}{c}}
Cauchy \frac{c}{2}\log\left(1+\left(x/c\right)^2\right \frac{x}{1+\left(x/c\right)^2} \frac{1}{1+\left(x/c\right)^2}
Geman-McClure \frac{x^2/2}{1+x^2} \frac{x}{\left(1+x^2\right)^2} \frac{1}{\left(1+x^2\right)^2}
Welsch
Тьюки
Andrews


Ссылки

  • M-estimator - статья из английской Википедии



Категоризация статей

Женя, я вижу, ты активно работаешь над улучшением статей по статистике. Старайся уделять внимание категоризации статей, которые правишь. Необходимым является наличие хотя бы одной категории в статье, но их может быть и несколько. Подробнее о категоризации можно прочитать здесь: MachineLearning:Категоризация. И вообше, не стесняйся спрашивать, если нужна помощь или что-то не понятно. :) --Yury Chekhovich 22:17, 17 мая 2010 (MSD)

Хорошо, спасибо! --Riabenko 11:03, 25 мая 2010 (MSD)
Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:Riabenko»