Искусственная нейронная сеть
Материал из MachineLearning.
(Различия между версиями)
(викификация) |
|||
| Строка 6: | Строка 6: | ||
== История метода == | == История метода == | ||
Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор. | Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор. | ||
| + | |||
=== Хронология === | === Хронология === | ||
| - | * 1943 год — [[Винер, Норберт|Норберт Винер]] вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями. | + | * 1943 год — [[Винер, Норберт|Норберт Винер]] вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями. |
| - | * 1943 год — [[Маккалок, Уоррен|Маккалок]] и [[Питтс, Уолтер|Питтс]] формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности. | + | * 1943 год — [[Маккалок, Уоррен|Маккалок]] и [[Питтс, Уолтер|Питтс]] формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности. |
| - | * 1949 год — [[Хебб, Дональд|Хебб]] предлагает первый алгоритм обучения. | + | * 1949 год — [[Хебб, Дональд|Хебб]] предлагает первый алгоритм обучения. |
| - | * В 1958 году [[Розенблатт, Фрэнк|Розенблаттом]] изобретен [[перцептрон]]. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного [[искусственный интеллект|искусственного интеллекта]] уже не за горами. | + | * В 1958 году [[Розенблатт, Фрэнк|Розенблаттом]] изобретен [[перцептрон]]. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного [[искусственный интеллект|искусственного интеллекта]] уже не за горами. |
* В 1960 году Уидроу совместно со своим студентом Хоффом на основе [[Дельта-правило|дельта-правила]] (''формулы Уидроу'') разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (''адаптивный сумматор'') является стандартным элементом многих систем обработки сигналов. | * В 1960 году Уидроу совместно со своим студентом Хоффом на основе [[Дельта-правило|дельта-правила]] (''формулы Уидроу'') разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (''адаптивный сумматор'') является стандартным элементом многих систем обработки сигналов. | ||
| - | * В 1961 году под руководством [[Бонгард, Михаил Моисеевич|М. М. Бонгарда]] разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов. | + | * В 1961 году под руководством [[Бонгард, Михаил Моисеевич|М. М. Бонгарда]] разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов. |
| - | * В 1969 году [[Минский, Марвин Ли|Минский]] публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает. | + | * В 1969 году [[Минский, Марвин Ли|Минский]] публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает. |
| - | * 1974 год — Пол Дж. Вербос, | + | * 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают [[Метод обратного распространения ошибки|алгоритм обратного распространения ошибки]] для обучения [[многослойный перцептрон|многослойных перцептронов]]. Изобретение не привлекло особого внимания. |
| - | * 1975 год — Фукушима представляет [[Когнитрон]] — самоорганизующуюся сеть, предназначенную для инвариантного [[Распознавание образов|распознавания образов]], но это достигается только при помощи запоминания практически всех состояний образа. | + | * 1975 год — Фукушима представляет [[Когнитрон]] — самоорганизующуюся сеть, предназначенную для инвариантного [[Распознавание образов|распознавания образов]], но это достигается только при помощи запоминания практически всех состояний образа. |
| - | * 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. [[Хопфилд, Джон|Хопфилд]] показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая [[нейронная сеть Хопфилда|сеть Хопфилда]]). Кохоненом представлены модели сети, обучающейся без учителя ([[Нейронная сеть Кохонена]]), решающей задачи [[Кластеризация|кластеризации]], визуализации данных ([[самоорганизующаяся карта Кохонена]]) и другие задачи предварительного анализа данных. | + | * 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. [[Хопфилд, Джон|Хопфилд]] показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая [[нейронная сеть Хопфилда|сеть Хопфилда]]). Кохоненом представлены модели сети, обучающейся без учителя ([[Нейронная сеть Кохонена]]), решающей задачи [[Кластеризация|кластеризации]], визуализации данных ([[самоорганизующаяся карта Кохонена]]) и другие задачи предварительного анализа данных. |
* 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям. | * 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям. | ||
== Математическое описание == | == Математическое описание == | ||
| + | |||
=== Персептрон === | === Персептрон === | ||
{{Main|Персептрон}} | {{Main|Персептрон}} | ||
| + | |||
=== Однослойные сети === | === Однослойные сети === | ||
| + | |||
=== Многослойные сети === | === Многослойные сети === | ||
| + | |||
=== Сети Кохонена === | === Сети Кохонена === | ||
{{Main|Нейронная сеть Кохонена}} | {{Main|Нейронная сеть Кохонена}} | ||
| + | |||
== Проблемы метода == | == Проблемы метода == | ||
| + | |||
== Пример == | == Пример == | ||
| + | |||
== Литература == | == Литература == | ||
# [[Машинное обучение (курс лекций, К.В.Воронцов)]] | # [[Машинное обучение (курс лекций, К.В.Воронцов)]] | ||
| - | # C. Минский, М. Пейперт — Персептроны, Москва, | + | # C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971. |
== Ссылки == | == Ссылки == | ||
Версия 22:40, 7 января 2010
Иску́сственные нейро́нная се́ть (artificial neural network, ANN), или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма.
Нейронные сети — один из наиболее известных и старых методов машинного обучения.
Содержание |
История метода
Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.
Хронология
- 1943 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
- 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.
- 1949 год — Хебб предлагает первый алгоритм обучения.
- В 1958 году Розенблаттом изобретен перцептрон. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
- В 1960 году Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.
- В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
- В 1969 году Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
- 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. Изобретение не привлекло особого внимания.
- 1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
- 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.
- 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.
Математическое описание
Персептрон
Однослойные сети
Многослойные сети
Сети Кохонена
Проблемы метода
Пример
Литература
- Машинное обучение (курс лекций, К.В.Воронцов)
- C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971.
Ссылки
См. также
| Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
