神经网络

1. 概念
   人工神经网络（简称神经网络），是一种模仿生物神经网络的结构和功能的数学模型，用于对函数进行估计或近似。
   和其它的机器学习方法一样，神经网络已经被用于解决各种各样的问题。
2. 神经元
   在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某个神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。
   一个简单的神经元如下图所示：
   
   其中：

• a1,a2,...,an为各个输入的分量
• w1,w2,...,wn为各个输入分量对应的权重参数
• b为偏置
• f为激活函数，常见的激活函数有tanh，sigmolid，relu
• t为神经元的输出
  使用数学公式表达为：
  
  可见，一个神经元的功能是求得输入向量与权向量的内积后，经过一个非线性传递函数得到一个标量结果