卷积神经网络各层次的作用
卷积就是特征提取器
卷积
通常一张照片是有RGB三维度的,而每一维度的像素点也是很多的,假设为10000,而10000个像素点如果全部进入全连接层,则总共需要训练的参数有 3*10000*10000+10000个参数,这无疑是庞大的计算量。所以人们在此基础上引入了卷积神经网络,从而减少这类的计算量。
卷积层的是对输入的原始数据进行特征提取,在这里是用卷积核对数据进行线性计算,同时进行平滑移动,并且卷积核的权重是可以学习的。
批标准化
批标准化也叫批归一化。是对一小批数据(batch),做标准化处理, 使数据符合0均值,1为标准差的分布。(因为神经网络对0附近的数据更敏感) 。常用在卷积操作和激活操作之间。
跟归一化不同的是:归一化处理是在一开始输入数据时候的操作,而批标准化是网络中的各层输出进行的操作。
批标准化操作使得原本偏移的特征数据,重新拉回到0均值,使进入激活函数的数据分布在激活函数线性区,使得输入数据的微小变化,更明显的体现到激活函数的输出,提升了激活函数对输入数据的区分力。
激活
卷积操作等于说是限定了解的空间(提取图片的特征),不加激活函数的话,实际上还是等价于全连接层。所以要在这之间添加非线性的激活函数,把函数拟合成更复杂的形式,如果不添加就是个线性函数,没办法拟合高维数据。
卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则将学到的“分布式特征表示”映射到样本标记空间的作用。
池化
池化是对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。 其实也就是通过最大池化或均值池化方法来删掉某些参数。卷积其实是提取特征(通过卷积核计算将图像的边缘特征提取出来,参数并没有删除掉,而是“卷积计算”出来了);池化则是再压缩特征图,提取主要特征。
丢弃
为了缓解神经网络过拟合,常把隐藏层的部分神经元按照一定比例从神经网络中临时舍弃,在使用神经网络时,再把所有神经元恢复到神经网络中。即训练时,一部分神经元不参与神经网络训练。
参考资料:
http://t.zoukankan.com/GumpYan-p-13557687.html
https://zhuanlan.zhihu.com/p/58835433
http://www-quic.zhihu.com/question/454175686
标签:函数,卷积,各层次,神经网络,特征,池化,激活 From: https://www.cnblogs.com/zwl-/p/16770470.html