Обсуждение:Модель МакКаллока-Питтса
Материал из MachineLearning.
| (2 промежуточные версии не показаны) | |||
| Строка 1: | Строка 1: | ||
| - | + | == Неправильное определение == | |
| + | |||
| + | В представленной статье приведена модель нейрона Мак-Каллока–Питтса следующим образом: | ||
| + | |||
| + | ::<tex>a(x) = \varphi(\sum_{j=1}^n \omega_jx^j - \omega_0),</tex> | ||
| + | что не соответствует действительности. | ||
| + | |||
| + | Во-первых, Мак-Каллок и Питтс изучали известные на тот момент сведения об устройстве головного мозга и его нейронов. Было известно о двух типах связей между нейронами – '''возбуждающих''' (excitatory, которые еще в свою очередь делились на наборы) и '''тормозящих''' (inhibitory). Если на вход по тормозящей связи поступает импульс, нейрон '''не подает импульс''', то есть создается некоторое торможение. Если же нет тормозящих факторов, в роль вступают наборы возбуждающих нейронов. Их импульсы (то есть конъюнкция всех элементов набора) '''суммируются'''. Затем классическая проверка на порог. | ||
| + | |||
| + | Во-вторых, цель Мак-Каллока и Питтса заключалась в формализации искусственного нейрона '''на языке математической логики'''. У них не было цели создать ИИ и прочее. '''Никаких весов в их модели не было''', все переменные – это '''булевы значения''', а не числа. | ||
| + | |||
| + | Посмотрите, как выглядит модель в [https://www.cs.cmu.edu/~epxing/Class/10715/reading/McCulloch.and.Pitts.pdf оригинальной статье Мак-Каллока и Питтса 1943 года], в которой они анонсировали свое изобретение: | ||
| + | |||
| + | ::<tex>N_i(z_1) \equiv S \left{ \prod_{m=1}^{q} \sim N_{j_m}(z_1) \cdot \sum_{\alpha \in \kappa_i} \prod_{s \in \alpha} N_{i_s}(z_1) \right},</tex> | ||
| + | где <tex>N_i(z_1)</tex> — состояние нейрона <tex>c_i</tex> в момент времени <tex>z_1</tex>, <tex>\equiv</tex> — знак логической эквивалентности, <tex>S</tex> — временной оператор, <tex>\prod_{m=1}^{q}</tex> — конъюнкция тормозных влияний, <tex>\sim</tex> — отрицание, <tex>N_{j_m}(z_1)</tex> — состояние тормозящего нейрона <tex>c_{j_m}</tex>, <tex>\cdot</tex> — логическое «И», <tex>\sum_{\alpha \in \kappa_i}</tex> — дизъюнкция по комбинациям возбуждающих синапсов, <tex>\kappa_i</tex> — наборы синапсов, чей суммарный вес превышает порог <tex>\theta_i</tex>, <tex>\prod_{s \in \alpha}</tex> — конъюнкция внутри активного набора, а <tex>N_{i_s}(z_1)</tex> — состояние возбуждающего нейрона <tex>c_{i_s}</tex>. | ||
| + | |||
| + | Никаких весов и никаких чисел. Если упрощать (убрать идею с наборами возбуждающих нейронов, сделать каждый нейрон числом 0 или 1 и сделать прочие изменения, связанные с этим), то только так: | ||
| + | |||
| + | ::<tex>N_i = \varphi \left( \left( \sum_{s=1}^{p} N_{i_s} \right) \left( \prod_{m=1}^{q} (1 - N_{j_m}) \right) - \theta_i \right).</tex> | ||
| + | |||
| + | Здесь у нас числа, а не логические элементы. | ||
| + | |||
| + | В-третьих, представленная автором модель больше похожа на модель Фрэнка Розенблатта 1958 (или 1957, смотря как считать) года: | ||
| + | |||
| + | <tex>R = \varphi \left( \sum_{i=1}^{N} w_i A_i - \theta \right).</tex> | ||
| + | |||
| + | Он обобщил модель для вещественных чисел и добавил веса. Правда были сложности с обучением такой модели, но это уже не относится к теме нейрона Мак-Каллока–Питтса. | ||
| + | |||
| + | |||
| + | Таким образом, указывать достижения Фрэнка Розенблатта под именем Мак-Каллока–Питтса, а также совсем упустить саму модель Мак-Каллока–Питтса я считаю исторической несправедливостью и проявлением неуважения как к Розенблатту, так и к Мак-Каллоку и Питтсу и умалением их результатов. | ||
| + | |||
| + | |||
| + | Буду рад услышать отзыв на мою критику, а также подискутировать на эту тему. | ||
| + | |||
| + | |||
| + | |||
| + | С уважением, [[Участник:Osman Osmanov|Osman Osmanov]] 16:46, 6 июля 2026 (MSD) | ||
| + | |||
| + | == Исправление == | ||
| + | |||
| + | Работа была достаточно сложной и долгой, так как пришлось подробно изучать оригинальную статью. Использовался всего один промпт, который задал ориентировочное направление. Остальные мелкие правки делал самостоятельно либо с помощью маленьких промптов (характера "напиши более понятно этот кусок текста") к более лёгким моделям (вроде Режима ИИ в Google). | ||
| + | |||
| + | === Промпт === | ||
| + | |||
| + | Ты специалист в машинном обучении, а также в статье Мак-Каллока--Питтса 1943 года. | ||
| + | Ты владеешь карнаповской нотацией, а также логической системой Уайтхеда и Рассела. | ||
| + | |||
| + | Напиши статью для сайта machinelearning.ru про нейрон Мак-Каллока--Питтса. | ||
| + | Примерный план (ориентировочный, ты можешь его немного подправить): | ||
| + | |||
| + | 1. Введение (что такое, чем мотивирован). Рассказать о статье 1943 года и необычном | ||
| + | математическом языке, на котором написана статья. Сказать, что нейрон Мак-Каллока--Питтса | ||
| + | является формализацией биологического нейрона на языке математической логики. | ||
| + | 2. Термины. Ввести базовые термины: "функтор S", "действие нейрона", "рецепторы", | ||
| + | "решение сети", "реализуемость" (в узком и широком смысле), немного про циклические | ||
| + | сети и про порядок циклических сетей, "петля". Стоит отметить, что порядок указывает | ||
| + | на сложность, а также, что нулевой порядок -- это сеть без петель. Разумеется подкрепить | ||
| + | каждый термин небольшим комментарием для прояснения. Старайся сохранять точность | ||
| + | определений, чтобы они были такими же, как и в статье. Также в конце скажи про | ||
| + | эквивалентность. В статье об этом написано так: "We shall say of two laws of nervous | ||
| + | excitation which are such that every S which is realizable in either sense upon one | ||
| + | supposition is also realizable, perhaps by a different net, upon the other, that | ||
| + | they are equivalent assumptions, in that sense.". | ||
| + | 3. Теорема "Every net of order 0 can be solved in terms of temporal propositional | ||
| + | expressions.". Подробный разбор оригинальной формулы из статьи. | ||
| + | 4. Объяснение теоремы. Считать, что переменные не булевы, а числа. Таким образом упростить | ||
| + | формулу. | ||
| + | 5. Влияние идеи Мак-Каллока и Питтса на архитектуру фон Неймана. | ||
| + | 6. Попытки усовершенствования: немного про Розенблатта. | ||
| + | 7. Проблема, затронутая Минским и начало зимы ИИ. | ||
| + | |||
| + | Выполни работу и оцени ее потом от 0 до 100 с полным отчетом. Дай мне этот же текст в | ||
| + | каком нибудь блоке сырого кода. Я должен сырой код скопировать и вставить в редактор. | ||
| + | |||
| + | Модель, разумеется, оценила себя на максимум. Текст получился не очень. Термины подменялись неправильными определениями (то есть модель сама не знает некоторых определений, например оператор временного сдвига – "функтор <tex>S</tex>"). Некоторые абзацы претерпевали существенные изменения, а некоторые писались полностью с нуля. | ||
| + | |||
| + | Всё старое содержимое статьи было беспощадно удалено. Я старался понятным языком донести оригинальный посыл (и думаю, что на 80 из 100 мне это удалось), который мне самому дался с большим трудом. Думал ещё написать про Розенблатта, но удалил, потому что всё-таки основная тема статьи – работа Мак-Каллока и Питтса. По этой же причине подробнее не раскрыта проблема XOR. | ||
| + | |||
| + | Было довольно интересно, но больше я столько времени тратить на статьи не буду:)) | ||
| + | |||
| + | |||
| + | С уважением, — ''[[Участник:Osman Osmanov|Osman Osmanov]] 15:53, 16 июля 2026 (MSD)'' | ||
Текущая версия
Неправильное определение
В представленной статье приведена модель нейрона Мак-Каллока–Питтса следующим образом:
что не соответствует действительности.
Во-первых, Мак-Каллок и Питтс изучали известные на тот момент сведения об устройстве головного мозга и его нейронов. Было известно о двух типах связей между нейронами – возбуждающих (excitatory, которые еще в свою очередь делились на наборы) и тормозящих (inhibitory). Если на вход по тормозящей связи поступает импульс, нейрон не подает импульс, то есть создается некоторое торможение. Если же нет тормозящих факторов, в роль вступают наборы возбуждающих нейронов. Их импульсы (то есть конъюнкция всех элементов набора) суммируются. Затем классическая проверка на порог.
Во-вторых, цель Мак-Каллока и Питтса заключалась в формализации искусственного нейрона на языке математической логики. У них не было цели создать ИИ и прочее. Никаких весов в их модели не было, все переменные – это булевы значения, а не числа.
Посмотрите, как выглядит модель в оригинальной статье Мак-Каллока и Питтса 1943 года, в которой они анонсировали свое изобретение:
где — состояние нейрона
в момент времени
,
— знак логической эквивалентности,
— временной оператор,
— конъюнкция тормозных влияний,
— отрицание,
— состояние тормозящего нейрона
,
— логическое «И»,
— дизъюнкция по комбинациям возбуждающих синапсов,
— наборы синапсов, чей суммарный вес превышает порог
,
— конъюнкция внутри активного набора, а
— состояние возбуждающего нейрона
.
Никаких весов и никаких чисел. Если упрощать (убрать идею с наборами возбуждающих нейронов, сделать каждый нейрон числом 0 или 1 и сделать прочие изменения, связанные с этим), то только так:
Здесь у нас числа, а не логические элементы.
В-третьих, представленная автором модель больше похожа на модель Фрэнка Розенблатта 1958 (или 1957, смотря как считать) года:
Он обобщил модель для вещественных чисел и добавил веса. Правда были сложности с обучением такой модели, но это уже не относится к теме нейрона Мак-Каллока–Питтса.
Таким образом, указывать достижения Фрэнка Розенблатта под именем Мак-Каллока–Питтса, а также совсем упустить саму модель Мак-Каллока–Питтса я считаю исторической несправедливостью и проявлением неуважения как к Розенблатту, так и к Мак-Каллоку и Питтсу и умалением их результатов.
Буду рад услышать отзыв на мою критику, а также подискутировать на эту тему.
С уважением, Osman Osmanov 16:46, 6 июля 2026 (MSD)
Исправление
Работа была достаточно сложной и долгой, так как пришлось подробно изучать оригинальную статью. Использовался всего один промпт, который задал ориентировочное направление. Остальные мелкие правки делал самостоятельно либо с помощью маленьких промптов (характера "напиши более понятно этот кусок текста") к более лёгким моделям (вроде Режима ИИ в Google).
Промпт
Ты специалист в машинном обучении, а также в статье Мак-Каллока--Питтса 1943 года.
Ты владеешь карнаповской нотацией, а также логической системой Уайтхеда и Рассела.
Напиши статью для сайта machinelearning.ru про нейрон Мак-Каллока--Питтса.
Примерный план (ориентировочный, ты можешь его немного подправить):
1. Введение (что такое, чем мотивирован). Рассказать о статье 1943 года и необычном
математическом языке, на котором написана статья. Сказать, что нейрон Мак-Каллока--Питтса
является формализацией биологического нейрона на языке математической логики.
2. Термины. Ввести базовые термины: "функтор S", "действие нейрона", "рецепторы",
"решение сети", "реализуемость" (в узком и широком смысле), немного про циклические
сети и про порядок циклических сетей, "петля". Стоит отметить, что порядок указывает
на сложность, а также, что нулевой порядок -- это сеть без петель. Разумеется подкрепить
каждый термин небольшим комментарием для прояснения. Старайся сохранять точность
определений, чтобы они были такими же, как и в статье. Также в конце скажи про
эквивалентность. В статье об этом написано так: "We shall say of two laws of nervous
excitation which are such that every S which is realizable in either sense upon one
supposition is also realizable, perhaps by a different net, upon the other, that
they are equivalent assumptions, in that sense.".
3. Теорема "Every net of order 0 can be solved in terms of temporal propositional
expressions.". Подробный разбор оригинальной формулы из статьи.
4. Объяснение теоремы. Считать, что переменные не булевы, а числа. Таким образом упростить
формулу.
5. Влияние идеи Мак-Каллока и Питтса на архитектуру фон Неймана.
6. Попытки усовершенствования: немного про Розенблатта.
7. Проблема, затронутая Минским и начало зимы ИИ.
Выполни работу и оцени ее потом от 0 до 100 с полным отчетом. Дай мне этот же текст в
каком нибудь блоке сырого кода. Я должен сырой код скопировать и вставить в редактор.
Модель, разумеется, оценила себя на максимум. Текст получился не очень. Термины подменялись неправильными определениями (то есть модель сама не знает некоторых определений, например оператор временного сдвига – "функтор "). Некоторые абзацы претерпевали существенные изменения, а некоторые писались полностью с нуля.
Всё старое содержимое статьи было беспощадно удалено. Я старался понятным языком донести оригинальный посыл (и думаю, что на 80 из 100 мне это удалось), который мне самому дался с большим трудом. Думал ещё написать про Розенблатта, но удалил, потому что всё-таки основная тема статьи – работа Мак-Каллока и Питтса. По этой же причине подробнее не раскрыта проблема XOR.
Было довольно интересно, но больше я столько времени тратить на статьи не буду:))
С уважением, — Osman Osmanov 15:53, 16 июля 2026 (MSD)
