人工智能梦开始的地方：M-P 模型
文章目录
1. 摘要
追溯人工神经网络的源头，是由神经生理学家麦卡洛克（Warren S. McCulloch）与自学成才的数学家皮茨（Walter Pitts）提出的神经网络逻辑演算模型。
1943年，McCulloch 和 Pitts 一同发表论文《神经活动内在思想的逻辑演算》（A logical calculus of the ideas immanent in nervous activity）（以下简称 M-P 论文），首次提出通过逻辑演算来解释神经机制如何实现心理功能。
人们将这篇论文中提出的神经网络模型，以作者姓氏首字母命名为“ M-P 模型”。M-P 模型不但是人工神经元网络的源头，而且也启发了计算机、控制论和人工智能等多个学科的开创，打开了现代信息科学殿堂的大门。
2. 人脑中的神经元
M-P 模型是麦卡洛克和皮茨参考生物神经元的结构，总结的抽象的神经元模型。让我们先回到高中生物课本，简单了解一下人脑中的神经元。
- 一个神经元可以被大致分为两个部分：细胞体和突起。而突起又可以被分为树突和轴突。
- 一个神经元通常具有多个树突，主要用于接收传入信息。
- 大部分的神经元只有一个轴突，轴突末端分支出许多轴突末梢，这些末梢能够向其他多个神经元传递信息。
- 轴突末梢与其他神经元产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。
3. M-P 模型
3.1. 结构
M-P 模型是一个包含输入，输出与计算功能的模型。
- 计算功能可以类比为细胞核，
- 输入可以类比为神经元的树突，
- 输出可以类比为神经元的轴突。
上图是一个经典的 M-P 模型：包含有3个输入，1个输出，以及2个计算功能。
3.2. 连接
在上图的 M-P 模型中，我们用有向箭头来表示“连接”。每个“连接”上都有一个“权值”，图中的每个有向箭头表示的都是值的加权传递。
参考上图，有向箭头可以这样理解：初端传递的信号大小为 a，经过端中间的加权 w 后，末端信号的大小就变成了 a * w。
经常被提到的神经网络的训练算法，核心就是让连接中权重的值调整到最佳，以使得整个网络实现好的预测效果。
3.3. 神经元计算
如果我们将上图 M-P 模型转换成计算公式的话，会发现输出 z 就是在输入和权值的线性加权值叠加了一个函数 g 的值。
在 M-P 模型中，这个函数 g 为 sgn 函数。
sgn 函数，全称为符号函数（Sign function）
在 M-P 模型中的 sgn 函数，当所有输入与对应的连接权重的乘积之和 s 大于阈值 h，则输出 y=1，否则输出 y=0
- 如果输入 s > h，那么 g(s) = 1
- 如果输入 s < h，那么 g(s) = 0
3.4. M-P 模型的拓展
- 将 sum 函数与 sgn 函数合并到一个圆圈里，代表神经元的内部计算
- 一个神经元可以引出多个代表输出的有向箭头，但值都是一样的
5. M-P 模型的影响
1943年发布的 M-P 模型，虽然简单，但已经建立了神经网络大厦的地基。但是，M-P 模型中，权重的值都是预先设置的，因此不能学习。
1949年心理学家 Hebb 提出了 Hebb 学习率，认为人脑神经细胞的突触（也就是连接）上的强度上可以变化的。于是计算科学家们开始考虑用调整权值的方法来让机器学习。这为后面的学习算法奠定了基础。
参考：
- McCulloch-Pitts人工神经元模型80周年纪念：思想、方法与意义 - 缪青海，王雨桐，吕宜生，那晓翔 ，王飞跃
- 神经网络简史（上）——从“极高的期待”到“极度的怀疑” - 知乎 - 人民邮电出版社
- 神经网络浅讲：从神经元到深度学习 - 博客园 - 计算机中的潜意识
- 全网最新！| 深度学习发展史（1943-2024编年体）（The History of Deep Learning）- CSDN - Hefin_H
- 神经网络学习之一——M-P模型 - CSDN - Vechin-Huang