神经网络中各名词解释
-
激活函数：
就是对输入特征进性前向传播计算的函数。
主要分线性回归问题和分类问题，线性回归问题可以用线性函数来计算出对应的标签，而更多的问题不是线性回归问题，无法对输入的特征进行线性计算再预测对应的标，而且不论多少层此时最终的结果都是线形结果、不能分化为更多维度，这时此问题就是分类问题了。对于分类问题更多的是采用如sigmoid、tanh、Relu等函数来预测标签。
-
损失函数：
反向传播时候需要计算预测的值与实际标签的误差，通常线性问题用均方误差MSE表示，分类问题用交叉熵来表示。
-
优化器：
如果只有损失函数情况下，可能需要暴力求解各个参数的值，而有了优化器，就可以进行反向传播来更好的求出更优的参数值，如SGD等就是优化器里的函数。
-
正则化：
优化器更新参数时候，可能出现过过拟合、欠拟合现象，需要正则化来防止这两现象的出现。
-
BN:
批标准化、批归一化。
标准化：使数据符合0均值，1为标准差的分布。（因为神经网络对0附近的数据更敏感）
批标准化：对一小批数据（batch），做标准化处理。常用在卷积操作和激活操作（卷积提取特征然后输入激活函数中）之间。
跟归一化不同的是：归一化处理是在一开始输入数据时候的操作，而批标准化是网络中的各层输出进行的操作。
BN操作使得原本偏移的特征数据，重新拉回到0均值，使进入激活函数的数据分布在激活函数线性区，使得输入数据的微小变化，更明显的体现到激活函数的输出，提升了激活函数对输入数据的区分力。
卷积后面接一个激活的原因：
卷积操作等于说是限定了解的空间（提取图片的特征），不加激活函数的话，实际上还是等价于全连接层。局部滑动没有引入非线性，当然由于限定了解的空间，在利用反向传递优化网络的时候，收敛的结果可能和全连接网络不同。所以要在这之间添加非线性的激活函数，把函数拟合成更复杂的形式，如果不添加就是个线性函数，没办法拟合高维数据。
参考资料：
http://t.zoukankan.com/GumpYan-p-13557687.html