Модель МакКаллока-Питтса
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
- | Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её | + | Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её «нейронным фундаментом». Но при этом она содержит существенные возможности своего расширения за счет максимального использования параметрических и пороговых свойств нейрона. |
=Устройство модели= | =Устройство модели= | ||
Строка 11: | Строка 11: | ||
Таким образом, нейрон вычисляет n-арную булеву функцию | Таким образом, нейрон вычисляет n-арную булеву функцию | ||
- | <center><tex>a(x) = \varphi(\ | + | <center><tex>a(x) = \varphi(\sum_{j=1}^m \omega_jx^j - \omega_0)</tex></center> |
где <tex>\varphi(z) = [z \ge 0]</tex> - ступенчатая функция Хевисайда. | где <tex>\varphi(z) = [z \ge 0]</tex> - ступенчатая функция Хевисайда. | ||
В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации. | В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации. | ||
Строка 19: | Строка 19: | ||
=Достижения модели= | =Достижения модели= | ||
Теоретические основы нейроматематики были заложены в начале 40-х годов. | Теоретические основы нейроматематики были заложены в начале 40-х годов. | ||
- | В 1943 году У. | + | |
+ | В 1943 году У. МакКалок и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга. | ||
Ими были получены следующие результаты: | Ими были получены следующие результаты: | ||
- | *разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного | + | *разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов; |
*предложена конструкция сети таких элементов для выполнения логических и арифметических операций; | *предложена конструкция сети таких элементов для выполнения логических и арифметических операций; | ||
*сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию. | *сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию. | ||
=Недостатки модели= | =Недостатки модели= | ||
- | + | Недостатком данной модели является сама модель нейрона «пороговой» вид переходной функции. В формализме У. Маккалока-Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. | |
+ | |||
+ | Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон «не срабатывает». Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов. | ||
+ | |||
- | + | ---- | |
+ | Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения МакКалока остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный МакКалоком и Питтсом, остается неизменным. | ||
+ | =Литература= | ||
{{Задание|Platonova.Elena|Константин Воронцов|8 января 2010}} | {{Задание|Platonova.Elena|Константин Воронцов|8 января 2010}} |
Версия 01:37, 6 января 2010
Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её «нейронным фундаментом». Но при этом она содержит существенные возможности своего расширения за счет максимального использования параметрических и пороговых свойств нейрона.
Содержание |
Устройство модели
Пусть имеется входных величин x1,…,xn бинарных признаков, описывающих объект
.
Значения этих признаков будем трактовать как величины импульсов, поступающих на вход нейрона через
входных синапсов.
Будем считать, что, попадая в нейрон, импульсы складываются с весами ω1,…,ωn.
Если вес положительный, то соответствующий синапс возбуждающий, если отрицательный, то тормозящий. Если суммарный импульс превышает заданный порог активации ω0, то нейрон возбуждается и выдаёт на выходе 1, иначе выдаётся 0.
Таким образом, нейрон вычисляет n-арную булеву функцию
где - ступенчатая функция Хевисайда.
В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации.
Таким образом, модель МакКаллока-Питтса эквивалентна линейному пороговому
классификатору.
Достижения модели
Теоретические основы нейроматематики были заложены в начале 40-х годов.
В 1943 году У. МакКалок и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга.
Ими были получены следующие результаты:
- разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов;
- предложена конструкция сети таких элементов для выполнения логических и арифметических операций;
- сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.
Недостатки модели
Недостатком данной модели является сама модель нейрона «пороговой» вид переходной функции. В формализме У. Маккалока-Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.
Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон «не срабатывает». Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов.
Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения МакКалока остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный МакКалоком и Питтсом, остается неизменным.
Литература
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |