卷积神经网络各层次的作用

卷积神经网络各层次的作用

卷积就是特征提取器

卷积

通常一张照片是有RGB三维度的，而每一维度的像素点也是很多的，假设为10000，而10000个像素点如果全部进入全连接层，则总共需要训练的参数有 3*10000*10000+10000个参数，这无疑是庞大的计算量。所以人们在此基础上引入了卷积神经网络，从而减少这类的计算量。

卷积层的是对输入的原始数据进行特征提取，在这里是用卷积核对数据进行线性计算，同时进行平滑移动，并且卷积核的权重是可以学习的。

批标准化

批标准化也叫批归一化。是对一小批数据（batch），做标准化处理， 使数据符合0均值，1为标准差的分布。（因为神经网络对0附近的数据更敏感） 。常用在卷积操作和激活操作之间。

跟归一化不同的是：归一化处理是在一开始输入数据时候的操作，而批标准化是网络中的各层输出进行的操作。

批标准化操作使得原本偏移的特征数据，重新拉回到0均值，使进入激活函数的数据分布在激活函数线性区，使得输入数据的微小变化，更明显的体现到激活函数的输出，提升了激活函数对输入数据的区分力。

激活

卷积操作等于说是限定了解的空间（提取图片的特征），不加激活函数的话，实际上还是等价于全连接层。所以要在这之间添加非线性的激活函数，把函数拟合成更复杂的形式，如果不添加就是个线性函数，没办法拟合高维数据。
卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则将学到的“分布式特征表示”映射到样本标记空间的作用。

池化

池化是对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。 其实也就是通过最大池化或均值池化方法来删掉某些参数。卷积其实是提取特征（通过卷积核计算将图像的边缘特征提取出来，参数并没有删除掉，而是“卷积计算”出来了）；池化则是再压缩特征图，提取主要特征。

丢弃

为了缓解神经网络过拟合，常把隐藏层的部分神经元按照一定比例从神经网络中临时舍弃，在使用神经网络时，再把所有神经元恢复到神经网络中。即训练时，一部分神经元不参与神经网络训练。

参考资料：

http://t.zoukankan.com/GumpYan-p-13557687.html

https://zhuanlan.zhihu.com/p/58835433

http://www-quic.zhihu.com/question/454175686