Многомерная линейная регрессия

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Многомерная линейная регрессия)
Строка 1: Строка 1:
{{UnderConstruction|[[Участник:SL|SL]] 20:42, 10 января 2009 (MSK)}}
{{UnderConstruction|[[Участник:SL|SL]] 20:42, 10 января 2009 (MSK)}}
-
== Многомерная линейная регрессия ==
+
'''Многомерная линейная регрессия''' по сути есть [[Линейная регрессия (пример)|линейная регрессия]], в которой объекты <tex>x</tex> и ответы <tex>y</tex> являются векторами.
-
Пусть имеется набор <tex>n</tex> вещественнозначных признаков <tex>f_j(x), j=1,...,n</tex>. Задача минимизации функционала качества [[Метод наименьших квадратов| метода наименьших квадратов]]
+
 
 +
==Примеры задач==
 +
Многомерная линейная регрессия широко применяется в задачах прогнозирования [[Временной ряд|временных рядов]], где объекты и ответы являются рядами. В частности, в методе [http://en.wikipedia.org/wiki/Echo_state_network рукуррентной нейросети с откликом].
 +
 
 +
== Обозначения ==
 +
Пусть имеется набор <tex>n</tex> вещественнозначных признаков <tex>f_j(x), j=1,...,n</tex>. Введём матричные обозначения: матрицу информации <tex>F</tex>, целевой вектор <tex>y</tex>, вектор параметров <tex>\alpha</tex> и диагональную матрицу весов <tex>W</tex>:
 +
::<tex>F=\(f_1(x_1)\ \ \ldots\ \ f_n(x_1)<br>\ \vdots\ \ \ \ \ \ \ \ \ \ \ddots\ \ \ \ \vdots<br>f_1(x_l)\ \ \ldots\ \ f_n(x_l)\)\;, \ \ \ y=\(y_1<br>\ \vdots<br>y_l\)\;, \ \ \ \alpha=\(\alpha_1<br>\ \vdots<br>\alpha_n\)\;, \ \ \ W=\(\sqrt{w_1}\ \ \ \ \ \ \ \ 0\ <br>\ \ \ \ \ \ \ddots<br>\ 0\ \ \ \ \ \ \ \ \sqrt{w_l}\)\;.</tex>
 +
 
 +
== Метод наименьших квадратов как функционал качества ==
 +
Задача минимизации функционала качества [[Метод наименьших квадратов| метода наименьших квадратов]]
::<tex>Q(\alpha, X^l) = \sum_{i=1}^l\mathbf{w}_i(f(x_i, \alpha)-y_i)^2\longrightarrow\min</tex>
::<tex>Q(\alpha, X^l) = \sum_{i=1}^l\mathbf{w}_i(f(x_i, \alpha)-y_i)^2\longrightarrow\min</tex>
существенно упрощается, если модель алгоритмов линейна по параметрам <tex>\alpha \in \mathbb{R}^n</tex>:
существенно упрощается, если модель алгоритмов линейна по параметрам <tex>\alpha \in \mathbb{R}^n</tex>:
::<tex>f(x,\alpha) = \sum_{j=1}^n\alpha_jf_j(x)</tex>.
::<tex>f(x,\alpha) = \sum_{j=1}^n\alpha_jf_j(x)</tex>.
-
Введём матричные обозначения: матрицу информации <tex>F</tex>, целевой вектор <tex>y</tex>, вектор параметров <tex>\alpha</tex> и диагональную матрицу весов <tex>W</tex>:
+
 
-
::<tex>F=\(f_1(x_1)\ \ \ldots\ \ f_n(x_1)<br>\ \vdots\ \ \ \ \ \ \ \ \ \ \ddots\ \ \ \ \vdots<br>f_1(x_l)\ \ \ldots\ \ f_n(x_l)\)\;, \ \ \ y=\(y_1<br>\ \vdots<br>y_l\)\;, \ \ \ \alpha=\(\alpha_1<br>\ \vdots<br>\alpha_n\)\;, \ \ \ W=\(\sqrt{w_1}\ \ \ \ \ \ \ \ 0\ <br>\ \ \ \ \ \ \ddots<br>\ 0\ \ \ \ \ \ \ \ \sqrt{w_l}\)\;.</tex>
+
В матричных обозначениях функционал среднего квадрата ощибки принимает вид
В матричных обозначениях функционал среднего квадрата ощибки принимает вид
::<tex>Q(\alpha)\ =\ \parallel W(F\alpha\ -\ y)\parallel^2</tex>.
::<tex>Q(\alpha)\ =\ \parallel W(F\alpha\ -\ y)\parallel^2</tex>.
Функционал с произвольными весами легко преводится к функционалу с единичными весами путём несложной предванительной обработки данных <tex>F' = WF\ ,\ y' = Wy\ </tex>:
Функционал с произвольными весами легко преводится к функционалу с единичными весами путём несложной предванительной обработки данных <tex>F' = WF\ ,\ y' = Wy\ </tex>:
::<tex>Q(\alpha)\ =\ \parallel F'\alpha\ -\ y'\parallel^2\ =\ (F'\alpha\ -\ y')^\top(F'\alpha\ -\ y')</tex>
::<tex>Q(\alpha)\ =\ \parallel F'\alpha\ -\ y'\parallel^2\ =\ (F'\alpha\ -\ y')^\top(F'\alpha\ -\ y')</tex>
 +
 +
==Литература==
 +
#''Воронцов К. В.'' Лекции по алгоритмам восстановления регрессии
 +
 +
==См. также==
 +
* [[Метод наименьших квадратов]]
 +
* [[Регрессионный анализ]]
 +
 +
[[Категория:Регрессионный анализ]]

Версия 12:05, 11 января 2009

Статья в настоящий момент дорабатывается.
SL 20:42, 10 января 2009 (MSK)


Многомерная линейная регрессия по сути есть линейная регрессия, в которой объекты x и ответы y являются векторами.

Содержание

Примеры задач

Многомерная линейная регрессия широко применяется в задачах прогнозирования временных рядов, где объекты и ответы являются рядами. В частности, в методе рукуррентной нейросети с откликом.

Обозначения

Пусть имеется набор n вещественнозначных признаков f_j(x), j=1,...,n. Введём матричные обозначения: матрицу информации F, целевой вектор y, вектор параметров \alpha и диагональную матрицу весов W:

F=\(f_1(x_1)\ \ \ldots\ \ f_n(x_1)<br>\ \vdots\ \ \ \ \ \ \ \ \ \ \ddots\ \ \ \ \vdots<br>f_1(x_l)\ \ \ldots\ \ f_n(x_l)\)\;, \ \ \ y=\(y_1<br>\ \vdots<br>y_l\)\;, \ \ \ \alpha=\(\alpha_1<br>\ \vdots<br>\alpha_n\)\;, \ \ \ W=\(\sqrt{w_1}\ \ \ \ \ \ \ \ 0\ <br>\ \ \ \ \ \ \ddots<br>\ 0\ \ \ \ \ \ \ \ \sqrt{w_l}\)\;.

Метод наименьших квадратов как функционал качества

Задача минимизации функционала качества метода наименьших квадратов

Q(\alpha, X^l) = \sum_{i=1}^l\mathbf{w}_i(f(x_i, \alpha)-y_i)^2\longrightarrow\min

существенно упрощается, если модель алгоритмов линейна по параметрам \alpha \in \mathbb{R}^n:

f(x,\alpha) = \sum_{j=1}^n\alpha_jf_j(x).

В матричных обозначениях функционал среднего квадрата ощибки принимает вид

Q(\alpha)\ =\ \parallel W(F\alpha\ -\ y)\parallel^2.

Функционал с произвольными весами легко преводится к функционалу с единичными весами путём несложной предванительной обработки данных F' = WF\ ,\ y' = Wy\ :

Q(\alpha)\ =\ \parallel F'\alpha\ -\ y'\parallel^2\ =\ (F'\alpha\ -\ y')^\top(F'\alpha\ -\ y')

Литература

  1. Воронцов К. В. Лекции по алгоритмам восстановления регрессии

См. также

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BD%D0%BE%D0%B3%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%B0%D1%8F_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»
Личные инструменты