Нелинейная регрессия

Материал из MachineLearning.

Содержание

1 Постановка задачи
2 Литература
3 Примечания
4 Смотри также

Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.

Постановка задачи

Задана выборка из $m$ пар $(\mathbf{x}_i,y_i)$ . Задана регрессионная модель $f(\mathbf{w},\mathbf{x})$ , которая зависит от параметров $\mathbf{w}=(w_1,...,w_W)$ и свободной переменной $x$ . Требуется найти такие значения параметров, которые доставляли бы минимум сумме квадратов регрессионных остатков

$S=\sum_{i=1}^mr_i^2,$

где остатки $r_i=y_i-f(\mathbf{w},\mathbf{x}_i)$ для $i=1,\ldots,m$ .

Для нахождения минимума функции $S$ , приравняем к нулю её первые частные производные параметрам $\mathbf{w}$ :

$\frac{\partial S}{\partial w_j}=2\sum_i r_i\frac{\partial r_i}{\partial w_j}=0 \ (j=1,\ldots,n). (*)$

Так как функция $S$ в общем случае не имеет единственного минимума^[1], то предлагается назначить начальное значение вектора параметров $w_0$ и приближаться к оптимальному вектору по шагам:

$w_j \approx w_j^{k+1} =w^k_j+\Delta w_j.$

Здесь $k$ - номер итерации, $\Delta w_j$ - вектор шага.

На каждом шаге итерации линеаризуем модель с помощью приближения рядом Тейлора относительно параметров $\mathbf{w}^k$

$f(x_i,\mathbf{w})\approx f(x_i,\mathbf{w}^k) +\sum_j \frac{\partial f(x_i,\mathbf{w}^k)}{\partial w_j} \left(w_j -w^{k}_j \right) \approx f(x_i,\mathbf{w}^k) +\sum_j J_{ij} \Delta w_j.$

Здесь элемент матрицы Якоби $J_{ij}$ - функция параметра $w_j$ ; значение свободной переменной $\mathbf{x}_i$ фиксировано. В терминах линеаризованной модели