Материал из MachineLearning.
Радиальные функции - это функции )
, зависящие только от расстояния между x и фиксированной точ-
кой пространства X.
Гауссиан  = N(x; \mu _j ,\Sigma _j))
с диагональной матрицей 
можно записать в виде
 = N_j exp(-1/2 \rho ^2 _j (x, \mu _j))
где ^ {-n/2)(\sigma _{j1} ... \sigma _{jn})^{-1})
- нормировочный множитель,
)
- взвешенная евклидова метрика в n-мерном пространстве X:
 = \Sigma ^n _{d = 1} \sigma ^{-2} _{jd} |\xi _d - \xi _d '| ^2)
,
, x' = (\xi _1 ', . . . , \xi _n'))
.
Чем меньше расстояние )
, тем выше значение плотности в точке x. По-
этому плотность )
можно рассматривать как функцию близости вектора x к фик-
сированному центру 
.
Сеть радиальных базисных функций
Пусть теперь 
, каждый класс 
имеет свою плотность
распределения )
и представлен частью выборки  \in X ^l | y_i = y \})
.
Гипотеза
Функции правдоподобия классов , y \in Y)
, представимы в виде
смесей 
компонент. Каждая компонента имеет n-мерную гауссовскую плотность
с параметрами
, \Sigma _{yj} = diag(\sigma ^2 _{yj1}, \dots , \sigma ^2 _{yjn}))
:
 = \sum ^{k _y} _{j = 1} \omega _{yj} p _{yj}(x), )
 = N(x; \mu _{yj} ,\Sigma _{yj}), )
Алгоритм классификации
Запишем байесовское решающее правило, выразив плотность каждой компоненты )
через взвешенное евклидово расстояние от объекта x до центра компоненты 
:
 = argmax _{y \in Y} \lambda _y P _y \sum ^{k_y} _{j = 1} N _{yj} exp(-1/2 \rho ^2 _{yj} (x, \mu _{yj})))
где ^{-n/2} (\sigma _{yj1},\dots , \sigma _{yjn})^{-1})
- нормировочные множители. Алгоритм имеет вид
суперпозиции, состоящей из трёх уровней или слоёв (см рисунок).
Первый слой образован 
гауссианами , y \in Y , j = 1, \dots, k_y)
.
На входе они принимают описание объекта x, на выходе выдают оценки близости
объекта x к центрам , равные значениям плотностей компонент в точке x.
Второй слой состоит из M сумматоров, вычисляющих взвешенные средние этих
оценок с весами 
. На выходе второго слоя появляются оценки принадлежности
объекта x каждому из классов, равные значениям плотностей классов .
Третий слой образуется единственным блоком argmax, принимающим окончательное решение об отнесении объекта x к одному из классов.
Таким образом, при классификации объекта x оценивается его близость к каж-
дому из центров по метрике , j = 1, \dots, k_y)
. Объект относится к тому
классу, к чьим центрам он располагается ближе.
Описанный трёхуровневый алгоритм классификации называется сетью c радиальными базисными функциями или RBF-сетью (radial basis function network). Это одна из разновидностей нейронных сетей.
Обучение RBF-сети
Обучение сводится к восстановлению плотности каждого из классов
с помощью EM-алгоритма. Результатом обучения являются центры и дис-
персии 
компонент . Интересно отметить, что, оценивая дисперсии,
мы фактически подбираем метрики 
, с помощью которых будут вычисляться рас-стояния до центров . При использовании Алгоритма 1.4 для каждого класса определяется оптимальное число компонент смеси.
