Ридж-регрессия

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: скоро здесь будет статья)
(первый вариант)
Строка 1: Строка 1:
-
скоро здесь будет статья
+
{{UnderConstruction|[[Участник:Ekaterina Mikhaylova|Ekaterina Mikhaylova]] 06:17, 10 января 2009 (MSK)}}
 +
 
 +
'''Ридж-регрессия или гребневая регрессия''' (англ. ridge regression) - это один из методов понижения размерности. Часто его применяют для борьбы с переизбыточностью данных, когда независимые переменные коррелируют друг с другом (т.е. имеет место [[Проблема мультиколлинеарность|мультиколлинеарность]]). Следствием этого является плохая обусловленность матрицы <tex>X^T X</tex> и неустойчивость оценок коэффициентов регрессии. Оценки, например, могут иметь неправильный знак или значения, которые намного превосходят те, которые приемлемы из физических или практических соображений.
 +
 
 +
Метод стоит использовать, если:
 +
* сильная обусловленность;
 +
* сильно различаются собственные значения или некоторые из них близки к нулю;
 +
* в матрице <tex>X</tex> есть пости линено зависимые столбцы.
 +
 
 +
 
 +
==Пример задачи==
 +
Предположим признаки в задаче были плохо отбранны экспертами в <tex>X</tex> присутствуют данные о длине, выраженные с сантиметрах и дюймах. Легко видеть, что эти данные линейно зависимы.
 +
 
 +
==Описание метода==
 +
 
 +
===Число обусловленности===
 +
Пусть <tex>\Sigma=X^T X</tex>.
 +
 
 +
'''Число обусловленности''' равно
 +
<tex>\mu(\Sigma)=||\Sigma||\cdot||\Sigma^{-1}||=\frac{\max_{u:||u||=1} ||\Sigma_u ||}{\min_{u:||u||=1} ||\Sigma_u ||}=\frac{\lambda_{max}}{\lambda_{min}}</tex>,
 +
 
 +
где <tex>\lambda_{max},\ \lambda_{min}</tex> собственные значения <tex>\Sigma</tex>.
 +
 
 +
===Гребневая регрессия===
 +
Вводится модифицированный функционал
 +
 
 +
<tex>Q_{\tau}=|| y -X\theta||^2+\tau||\theta||^2\to min_{\theta}</tex>
 +
 
 +
где <tex>\tau</tex> - коэффициент регуляризации.
 +
 
 +
МНК (регуляризованное) решение:
 +
 
 +
<tex>\hat{Q}_\tau=(X^T X+\tau I_k)^{-1}X^T y</tex>
 +
 
 +
Для любого собственного значения <tex>\lambda</tex> и собственного вектора <tex>v</tex> матрицы <tex>X^T X</tex> верно:
 +
 
 +
<tex>X^T Xv=\lambda v</tex>.
 +
 
 +
Для <tex>(X^X+\tau I_k)</tex> <tex>v</tex> остаётся собственным вектором, но с другим собственным значением <tex>\lambda'</tex>
 +
 
 +
<tex>X^T Xv+\tau v=\lambda ' v</tex>
 +
 
 +
<tex>\lambda'=\lambda+\tau</tex>
 +
 
 +
Тогда число обусловленности для матрицы <tex>X^T X+\tau I</tex> равно
 +
 
 +
<tex>\mu(X^T X+\tau I)=\frac{\lambda_{max}+\tau}{\lambda_{min}+\tau}</tex>.
 +
 
 +
Получается, что чем больше <tex>\tau</tex>, тем меньше число обусловленности. С ростом <tex>\tau</tex> возрастает устойчивость задачи.
 +
 
 +
 
 +
== Литература ==
 +
* {{книга
 +
|автор = Норман Дрейпер, Гарри Смит
 +
|заглавие = Прикладной регрессионный анализ. Множественная регрессия
 +
|оригинал = Applied Regression Analysis
 +
|ссылка =
 +
|издание = 3-е изд
 +
|место = М.
 +
|издательство = [[Диалектика (издательство)|«Диалектика»]]
 +
|год = 2007
 +
|страницы = 912
 +
|isbn = 0-471-17082-8
 +
}}
 +
 
 +
 
 +
== См. также ==
 +
* [[Проблема мультиколлинеарности]]
 +
* [[Анализ структуры линейной регрессионной модели]]
 +
 
 +
== Ссылки ==
 +
 
 +
 
 +
[[Категория: Прикладная статистика]][[Категория:Регрессионные модели]]

Версия 03:18, 10 января 2009

Статья в настоящий момент дорабатывается.
Ekaterina Mikhaylova 06:17, 10 января 2009 (MSK)


Ридж-регрессия или гребневая регрессия (англ. ridge regression) - это один из методов понижения размерности. Часто его применяют для борьбы с переизбыточностью данных, когда независимые переменные коррелируют друг с другом (т.е. имеет место мультиколлинеарность). Следствием этого является плохая обусловленность матрицы X^T X и неустойчивость оценок коэффициентов регрессии. Оценки, например, могут иметь неправильный знак или значения, которые намного превосходят те, которые приемлемы из физических или практических соображений.

Метод стоит использовать, если:

  • сильная обусловленность;
  • сильно различаются собственные значения или некоторые из них близки к нулю;
  • в матрице X есть пости линено зависимые столбцы.


Содержание

Пример задачи

Предположим признаки в задаче были плохо отбранны экспертами в X присутствуют данные о длине, выраженные с сантиметрах и дюймах. Легко видеть, что эти данные линейно зависимы.

Описание метода

Число обусловленности

Пусть \Sigma=X^T X.

Число обусловленности равно \mu(\Sigma)=||\Sigma||\cdot||\Sigma^{-1}||=\frac{\max_{u:||u||=1} ||\Sigma_u ||}{\min_{u:||u||=1} ||\Sigma_u ||}=\frac{\lambda_{max}}{\lambda_{min}},

где \lambda_{max},\ \lambda_{min} собственные значения \Sigma.

Гребневая регрессия

Вводится модифицированный функционал

Q_{\tau}=|| y -X\theta||^2+\tau||\theta||^2\to min_{\theta}

где \tau - коэффициент регуляризации.

МНК (регуляризованное) решение:

\hat{Q}_\tau=(X^T X+\tau I_k)^{-1}X^T y

Для любого собственного значения \lambda и собственного вектора v матрицы X^T X верно:

X^T Xv=\lambda v.

Для (X^X+\tau I_k) v остаётся собственным вектором, но с другим собственным значением \lambda'

X^T Xv+\tau v=\lambda ' v

\lambda'=\lambda+\tau

Тогда число обусловленности для матрицы X^T X+\tau I равно

\mu(X^T X+\tau I)=\frac{\lambda_{max}+\tau}{\lambda_{min}+\tau}.

Получается, что чем больше \tau, тем меньше число обусловленности. С ростом \tau возрастает устойчивость задачи.


Литература

  • Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. — 3-е изд. — М.: «Диалектика», 2007. — С. 912. — ISBN 0-471-17082-8


См. также

Ссылки

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B8%D0%B4%D0%B6-%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»
Личные инструменты