Участник:Ruzik/Песочница
Материал из MachineLearning.
Строка 40: | Строка 40: | ||
## Вычислить выходное значение алгоритма <tex>a(x_i, w)</tex> и ошибку: | ## Вычислить выходное значение алгоритма <tex>a(x_i, w)</tex> и ошибку: | ||
##:: <tex>\varepsilon_i \, {:=} \, L(a(x_i, w), \, y_i)</tex>; | ##:: <tex>\varepsilon_i \, {:=} \, L(a(x_i, w), \, y_i)</tex>; | ||
- | ## | + | ## Сделать шаг градиентного спуска: |
+ | ##:: <tex>w \, {:=} \, w \, - \, \eta \sum_{i=1}^l L_a^\prime (a(x_i, w), \, y_i) \varphi^\prime (<w, x_i>)x_i</tex>; | ||
## | ## | ||
#Пока | #Пока |
Версия 12:38, 3 января 2010
Метод стохастического градиента (Stochastic Gradient)
Градиентные методы - это широкий класс оптимизационных алгоритмов, используемых не только в машинном обучении.
Здесь градиентный подход будет рассмотрен в качестве способа подбора вектора синаптических весов в линейном классификаторе (ссылка).
Пусть
- целевая зависимость, известная только на объектах обучающей выборки:
.
Найдём алгоритм , аппроксимирующий зависимость
.
Согласно принципу минимизации эмпирического риска для этого достаточно решить оптимизационную задачу:
,
где
- заданная функция потерь.
Для минимизации применим метод градиентного спуска. Это пошаговый алгоритм, на каждой итерации которого вектор изменяется в направлении наибольшего убывания функционала
(то есть в направлении антиградиента):
,
где - положительный параметр, называемый темпом обучения (learning rate).
Возможно 2 основных подхода к реализации градиентного спуска:
- Пакетный (batch), когда на каждой итерации обучающая выборка просматривается целиком, и только после этого изменяется
. Это требует больших вычислительных затрат.
- Стохастический (stochastic/online), когда на каждой итерации алгоритма из обучающей выборки каким-то (случайным) образом выбирается только один объект. Таким образом вектор w настраивается на каждый вновь выбираемый объект.
Алгоритм Stochastic Gradient (SG)
Вход:
-
- обучающая выборка
-
- темп обучения
-
- параметр сглаживания функционала
Выход:
- Вектор весов
Тело:
- Инициализировать веса
;
- Инициализировать текущую оценку функционала:
-
;
-
- Повторять
- Выбрать объект
из
(например, случайным образом);
- Вычислить выходное значение алгоритма
и ошибку:
-
;
-
- Сделать шаг градиентного спуска:
-
;
-
- Выбрать объект
- Пока