Правила Хэбба

Материал из MachineLearning.

Перейти к: навигация, поиск

В 1949 физиолог Дональд Олдингс Хебб написал книгу "Организация сознания". В этой книге он попытался объяснить, как нейроны человеческого мозга могут обучаться. Его теория получила впоследствии название "Обучение Хебба". В основе правил обучения для сети Хопфилда легли именно исследования Дональда Хэбба.

Содержание

История

Перcептрон Розенблатта в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля. Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации. Нейрон также выдавал сигнал логического нуля, либо логической единицы. Возможен вариант использования вместо {0,1} сигналов {-1,1}.

Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае. Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложенные Хеббом имеют следующий смысл:

  • Первое правило Хебба — Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.
  • Второе правило Хебба — Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.

Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает теорема сходимости персептрона.

Математическая формулировка

Будем полагать, что классы помечены числами 0 и 1:

a(x)=\bigl[ \langle\omega, x\rangle > 0 \bigr]

где ω - вектор синаптических весов, xi = (xi, …, xin) объект из обучающей выборки прецентдентов XL = {x1, …, xn}, для которого известен правильный ответ yi.

Персептрон обучают по правилу Хебба. Предъявляем на вход один объект. Если выходной сигнал персептрона совпадает с правильным ответом, то никаких действий предпринимать не надо. В случае ошибки необходимо обучить персептрон правильно решать данный пример.

Ошибки могут быть двух типов. Рассмотрим каждый из них.

Первый тип ошибки: на выходе персептрона a(xi) = 0, правильный ответ yi=1.

Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов. Однако нет смысла увеличивать веса при переменных , которые равны нулю. Увеличиваем веса только при тех, которые равны 1. Для закрепления единичных сигналов с ω, следует провести ту же процедуру и на всех остальных слоях.

В этом и заключается первое правило Хэбба.

Второй тип ошибки: a(xi) =1, yi=0.

Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев.

Отсюда следует второе правило Хэбба.

См. также

Литература

  1. Машинное обучение (курс лекций, К.В.Воронцов)
  2. Hebb D.O. — The Organization of Behavior. John Wiley & Sons, New York, 1949
  3. Л. Н. Ясницкий — Введение в искусственный интеллект. — с.30-32
  4. Ю.А.Брюхомицкий Нейросетевые модели для систем информационной безопасности

Ссылки


Данная статья является непроверенным учебным заданием.
Студент: Участник:Platonova.Elena
Преподаватель: Участник:Константин Воронцов
Срок: 8 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0_%D0%A5%D1%8D%D0%B1%D0%B1%D0%B0»
Личные инструменты