Обсуждение:Модель МакКаллока-Питтса

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 36: Строка 36:
С уважением, [[Участник:Osman Osmanov|Osman Osmanov]] 16:46, 6 июля 2026 (MSD)
С уважением, [[Участник:Osman Osmanov|Osman Osmanov]] 16:46, 6 июля 2026 (MSD)
 +
 +
== Исправление ==
 +
 +
Работа была достаточно сложной и долгой, так как пришлось подробно изучать оригинальную статью. Использовался всего один промпт, который задал ориентировочное направление. Остальные мелкие правки делал самостоятельно либо с помощью маленьких промптов (характера "напиши более понятно этот кусок текста") к более лёгким моделям (вроде Режима ИИ в Google).
 +
 +
=== Промпт ===
 +
 +
Ты специалист в машинном обучении, а также в статье Мак-Каллока--Питтса 1943 года.
 +
Ты владеешь карнаповской нотацией, а также логической системой Уайтхеда и Рассела.
 +
 +
Напиши статью для сайта machinelearning.ru про нейрон Мак-Каллока--Питтса.
 +
Примерный план (ориентировочный, ты можешь его немного подправить):
 +
 +
1. Введение (что такое, чем мотивирован). Рассказать о статье 1943 года и необычном
 +
математическом языке, на котором написана статья. Сказать, что нейрон Мак-Каллока--Питтса
 +
является формализацией биологического нейрона на языке математической логики.
 +
2. Термины. Ввести базовые термины: "функтор S", "действие нейрона", "рецепторы",
 +
"решение сети", "реализуемость" (в узком и широком смысле), немного про циклические
 +
сети и про порядок циклических сетей, "петля". Стоит отметить, что порядок указывает
 +
на сложность, а также, что нулевой порядок -- это сеть без петель. Разумеется подкрепить
 +
каждый термин небольшим комментарием для прояснения. Старайся сохранять точность
 +
определений, чтобы они были такими же, как и в статье. Также в конце скажи про
 +
эквивалентность. В статье об этом написано так: "We shall say of two laws of nervous
 +
excitation which are such that every S which is realizable in either sense upon one
 +
supposition is also realizable, perhaps by a different net, upon the other, that
 +
they are equivalent assumptions, in that sense.".
 +
3. Теорема "Every net of order 0 can be solved in terms of temporal propositional
 +
expressions.". Подробный разбор оригинальной формулы из статьи.
 +
4. Объяснение теоремы. Считать, что переменные не булевы, а числа. Таким образом упростить
 +
формулу.
 +
5. Влияние идеи Мак-Каллока и Питтса на архитектуру фон Неймана.
 +
6. Попытки усовершенствования: немного про Розенблатта.
 +
7. Проблема, затронутая Минским и начало зимы ИИ.
 +
 +
Выполни работу и оцени ее потом от 0 до 100 с полным отчетом. Дай мне этот же текст в
 +
каком нибудь блоке сырого кода. Я должен сырой код скопировать и вставить в редактор.
 +
 +
Модель, разумеется, оценила себя на максимум. Текст получился не очень. Термины подменялись неправильными определениями (то есть модель сама не знает некоторых определений, например оператор временного сдвига – "функтор <tex>S</tex>"). Некоторые абзацы претерпевали существенные изменения, а некоторые писались полностью с нуля.
 +
 +
Всё старое содержимое статьи было беспощадно удалено. Я старался понятным языком донести оригинальный посыл (и думаю, что на 80 из 100 мне это удалось), который мне самому дался с большим трудом. Думал ещё написать про Розенблатта, но удалил, потому что всё-таки основная тема статьи – работа Мак-Каллока и Питтса. По этой же причине подробнее не раскрыта проблема XOR.
 +
 +
Было довольно интересно, но больше я столько времени тратить на статьи не буду:))
 +
 +
 +
С уважением, —&nbsp;''[[Участник:Osman Osmanov|Osman Osmanov]] 15:53, 16 июля 2026 (MSD)''

Текущая версия

Неправильное определение

В представленной статье приведена модель нейрона Мак-Каллока–Питтса следующим образом:

a(x) = \varphi(\sum_{j=1}^n \omega_jx^j - \omega_0),

что не соответствует действительности.

Во-первых, Мак-Каллок и Питтс изучали известные на тот момент сведения об устройстве головного мозга и его нейронов. Было известно о двух типах связей между нейронами – возбуждающих (excitatory, которые еще в свою очередь делились на наборы) и тормозящих (inhibitory). Если на вход по тормозящей связи поступает импульс, нейрон не подает импульс, то есть создается некоторое торможение. Если же нет тормозящих факторов, в роль вступают наборы возбуждающих нейронов. Их импульсы (то есть конъюнкция всех элементов набора) суммируются. Затем классическая проверка на порог.

Во-вторых, цель Мак-Каллока и Питтса заключалась в формализации искусственного нейрона на языке математической логики. У них не было цели создать ИИ и прочее. Никаких весов в их модели не было, все переменные – это булевы значения, а не числа.

Посмотрите, как выглядит модель в оригинальной статье Мак-Каллока и Питтса 1943 года, в которой они анонсировали свое изобретение:

N_i(z_1) \equiv S \left{ \prod_{m=1}^{q} \sim N_{j_m}(z_1) \cdot \sum_{\alpha \in \kappa_i} \prod_{s \in \alpha} N_{i_s}(z_1) \right},

где N_i(z_1) — состояние нейрона c_i в момент времени z_1, \equiv — знак логической эквивалентности, S — временной оператор, \prod_{m=1}^{q} — конъюнкция тормозных влияний, \sim — отрицание, N_{j_m}(z_1) — состояние тормозящего нейрона c_{j_m}, \cdot — логическое «И», \sum_{\alpha \in \kappa_i} — дизъюнкция по комбинациям возбуждающих синапсов, \kappa_i — наборы синапсов, чей суммарный вес превышает порог \theta_i, \prod_{s \in \alpha} — конъюнкция внутри активного набора, а N_{i_s}(z_1) — состояние возбуждающего нейрона c_{i_s}.

Никаких весов и никаких чисел. Если упрощать (убрать идею с наборами возбуждающих нейронов, сделать каждый нейрон числом 0 или 1 и сделать прочие изменения, связанные с этим), то только так:

N_i = \varphi \left( \left( \sum_{s=1}^{p} N_{i_s} \right) \left( \prod_{m=1}^{q} (1 - N_{j_m}) \right) - \theta_i \right).

Здесь у нас числа, а не логические элементы.

В-третьих, представленная автором модель больше похожа на модель Фрэнка Розенблатта 1958 (или 1957, смотря как считать) года:

R = \varphi \left( \sum_{i=1}^{N} w_i A_i - \theta \right).

Он обобщил модель для вещественных чисел и добавил веса. Правда были сложности с обучением такой модели, но это уже не относится к теме нейрона Мак-Каллока–Питтса.


Таким образом, указывать достижения Фрэнка Розенблатта под именем Мак-Каллока–Питтса, а также совсем упустить саму модель Мак-Каллока–Питтса я считаю исторической несправедливостью и проявлением неуважения как к Розенблатту, так и к Мак-Каллоку и Питтсу и умалением их результатов.


Буду рад услышать отзыв на мою критику, а также подискутировать на эту тему.


С уважением, Osman Osmanov 16:46, 6 июля 2026 (MSD)

Исправление

Работа была достаточно сложной и долгой, так как пришлось подробно изучать оригинальную статью. Использовался всего один промпт, который задал ориентировочное направление. Остальные мелкие правки делал самостоятельно либо с помощью маленьких промптов (характера "напиши более понятно этот кусок текста") к более лёгким моделям (вроде Режима ИИ в Google).

Промпт 

Ты специалист в машинном обучении, а также в статье Мак-Каллока--Питтса 1943 года. 
Ты владеешь карнаповской нотацией, а также логической системой Уайтхеда и Рассела.

Напиши статью для сайта machinelearning.ru про нейрон Мак-Каллока--Питтса.
Примерный план (ориентировочный, ты можешь его немного подправить):

1. Введение (что такое, чем мотивирован). Рассказать о статье 1943 года и необычном 
математическом языке, на котором написана статья. Сказать, что нейрон Мак-Каллока--Питтса
является формализацией биологического нейрона на языке математической логики.
2. Термины. Ввести базовые термины: "функтор S", "действие нейрона", "рецепторы", 
"решение сети", "реализуемость" (в узком и широком смысле), немного про циклические
сети и про порядок циклических сетей, "петля". Стоит отметить, что порядок указывает
 на сложность, а также, что нулевой порядок -- это сеть без петель. Разумеется подкрепить
  каждый термин небольшим комментарием для прояснения. Старайся сохранять точность 
  определений, чтобы они были такими же, как и в статье. Также в конце скажи про 
  эквивалентность. В статье об этом написано так: "We shall say of two laws of nervous
   excitation which are such that every S which is realizable in either sense upon one
    supposition is also realizable, perhaps by a different net, upon the other, that 
    they are equivalent assumptions, in that sense.".
3. Теорема "Every net of order 0 can be solved in terms of temporal propositional 
expressions.". Подробный разбор оригинальной формулы из статьи.
4. Объяснение теоремы. Считать, что переменные не булевы, а числа. Таким образом упростить
формулу.
5. Влияние идеи Мак-Каллока и Питтса на архитектуру фон Неймана.
6. Попытки усовершенствования: немного про Розенблатта.
7. Проблема, затронутая Минским и начало зимы ИИ.

Выполни работу и оцени ее потом от 0 до 100 с полным отчетом. Дай мне этот же текст в 
каком нибудь блоке сырого кода. Я должен сырой код скопировать и вставить в редактор.

Модель, разумеется, оценила себя на максимум. Текст получился не очень. Термины подменялись неправильными определениями (то есть модель сама не знает некоторых определений, например оператор временного сдвига – "функтор S"). Некоторые абзацы претерпевали существенные изменения, а некоторые писались полностью с нуля.

Всё старое содержимое статьи было беспощадно удалено. Я старался понятным языком донести оригинальный посыл (и думаю, что на 80 из 100 мне это удалось), который мне самому дался с большим трудом. Думал ещё написать про Розенблатта, но удалил, потому что всё-таки основная тема статьи – работа Мак-Каллока и Питтса. По этой же причине подробнее не раскрыта проблема XOR.

Было довольно интересно, но больше я столько времени тратить на статьи не буду:))


С уважением, — Osman Osmanov 15:53, 16 июля 2026 (MSD)

Источник — «http://poligon.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%9C%D0%B0%D0%BA%D0%9A%D0%B0%D0%BB%D0%BB%D0%BE%D0%BA%D0%B0-%D0%9F%D0%B8%D1%82%D1%82%D1%81%D0%B0»