Правила Хэбба

Материал из MachineLearning.

Перейти к: навигация, поиск

В 1949 физиолог Дональд Олдингс Хебб написал книгу "Организация сознания". В этой книге он попытался объяснить, как нейроны человеческого мозга могут обучаться. Его теория получила впоследствии название "Обучение Хебба". В основе правил обучения для сети Хопфилда легли именно исследования Дональда Хэбба.

Содержание

История

Перcептрон Розенблатта в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля. Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации. Нейрон также выдавал сигнал логического нуля, либо логической единицы. Возможен вариант использования вместо {0,1} сигналов {-1,1}.

Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае. Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложенные Хеббом имеют следующий смысл:

  • Первое правило Хебба — Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.
  • Второе правило Хебба — Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.

Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает теорема сходимости персептрона.

Математическая формулировка

Будем полагать, что классы помечены числами 0 и 1:

a(x)=\bigl[ \langle\omega, x\rangle > 0 \bigr]

где ω - вектор синаптических весов, xi = (xi, …, xin) объект из обучающей выборки прецентдентов XL = {x1, …, xn}, для которого известен правильный ответ yi.

Персептрон обучают по правилу Хебба. Предъявляем на вход один объект. Если выходной сигнал персептрона совпадает с правильным ответом, то никаких действий предпринимать не надо. В случае ошибки необходимо обучить персептрон правильно решать данный пример.

Ошибки могут быть двух типов. Рассмотрим каждый из них.

Первый тип ошибки: на выходе персептрона a(xi) = 0, правильный ответ yi=1.

Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов. Однако нет смысла увеличивать веса при переменных , которые равны нулю. Увеличиваем веса только при тех, которые равны 1. Для закрепления единичных сигналов с ω, следует провести ту же процедуру и на всех остальных слоях.

В этом и заключается первое правило Хэбба.

Второй тип ошибки: a(xi) =1, yi=0.

Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев.

Отсюда второе правило Хэбба.

См. также

Литература

  1. Машинное обучение (курс лекций, К.В.Воронцов)
  2. Hebb D.O. — The Organization of Behavior. John Wiley & Sons, New York, 1949
  3. Л. Н. Ясницкий — Введение в искусственный интеллект. — с.30-32
  4. Ю.А.Брюхомицкий Нейросетевые модели для систем информационной безопасности

Ссылки


Данная статья является непроверенным учебным заданием.
Студент: Участник:Platonova.Elena
Преподаватель: Участник:Константин Воронцов
Срок: 8 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0_%D0%A5%D1%8D%D0%B1%D0%B1%D0%B0»
Личные инструменты