1、神经元其实并不神奇，神奇的是它以某种相互联系的方式，可以在训练得到答案并核对答案后，立即对所走的路径上的权重进行更新（反向传播），更新的依据是答案误差大小，误差大则更新也大，误差小则更新就小。
所走路径：所有单次训练被激活的神经元的组合。
2、根据1，我们完全可以重新设计更好的神经元和神经网络，其目标是能使这个过程更简单，更高效，更适合批量化计算。
因此我认为，神经网络存在很多形态，目前的形态很可能不是最优的，我提醒研究者，应该往这方面去创新，只要实现神经网络+神经网络组织方式+反向传播更新神经元，即是神经网络，至于好坏要经过测试对比。
3、目前为什么会出现那么多不同的神经网络模型？
神经网络有一个特点，如果是普通的nxn的矩形神经网络，他只能根据输入调整使用网络上的权重，他自身无法识别输入数据的潜在特点，为了帮助神经网络识别潜在特点，人类设计了很多不同的网络。
比如，当cnn网络中，不对rgb3通道进行分离对比时，神经网络本身很难发现颜色的特别作用，如果不对图像进行缩小采样时，他不能适应于不同比例放缩后的物体，比如RNN算法，如不对比前后时间的数据，他就不知道变化信息。
很多神经网络model，特别是面向不同领域的模型，做的最多的就是这个思考，他能帮助神经网络，把人类认为必须提取和注意的信息，通过网络结构的安排进行后效提取。
对于，我认为随着通用智能的需求被提出，一定有普适的神经网络结构出现，但专有网络可能效率和能耗上会继续占据优势。
想明白了这些，我们研究者应该能更好驾驭下一代更好的神经网络的设计。
标签：误差,人工智能,神经网络,更新,网络,算法,思考,神经元 From： https://www.cnblogs.com/johnsen/p/17857534.html