卷积神经网络基础

卷积神经网络(CNN)
应用领域: 图像识别、自然语言处理、语音识别等。多用与图像识别和计算机视觉领域
与全连接神经网络相比，卷积神经网络进步的地方在于引入了卷积层结构和池化层结构
这两层是 CNN 卷积网络中重要的部分,具有局部连接、权值共享等特点的深层前馈神经网络。
卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求，并被大量应用于计算机视觉、自然语言处理等领域

CNN 的基本特征

（1）局部感知（Local Connectivity）

    卷积层解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制：每个隐含单元仅仅只能连接输入单元的一部分。例如，每个隐含单元仅仅连接输入图像的一小片相邻区域。

（2）参数共享(Parameter Sharing)

    在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，比如边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合。
    权值共享使得我们能更有效的进行特征抽取，因为它极大的减少了需要学习的自由变量的个数。通过控制模型的规模，卷积网络对视觉问题可以具有很好的泛化能力。

卷积神经网络的基本结构

左为神经网络全连接结构，右为卷积神经网络

一个卷积神经网络主要包含 5 层:输入层、卷积层、池化层、全连接层和输出层。

输入层

输入图像，假设输入图像为［1, 32, 32] 的灰度图，每一个像素值的范围是0~255（由纯黑色到纯白色），表示其颜色强弱程度，当然也可以输入彩色图。灰色图的通道数为 1，彩色的通道数量为 3

卷积层

对输入卷积层的图像或者特征图进行卷积操作， 输出卷积后的特征图。
卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。 其中卷积层的每一层都是一个卷积核，它也是一个二维矩阵，当然这个二维矩阵要比输入图像的二维矩阵要小或相等，卷积核通过在输入图像的二维矩阵上不停的移动，每一次移动都进行一次乘积的求和，作为此位置的值，最后输出一个特征图

每次卷积核移动的时候中间位置都被计算了，而输入图像二维矩阵的边缘却只计算了一次，会不会导致计算的结果不准确呢？
如果每次计算的时候，边缘只被计算一次，而中间被多次计算，那么得到的特征图也会丢失边缘特征，最终会导致特征提取不准确，那为了解决这个问题，我们可以在原始的输入图像的二维矩阵周围再拓展一圈或者几圈，这样每个位置都可以被公平的计算到了，也就不会丢失任何特征，此过程可见下面

卷积层中还有两个重要的参数，分别是偏置和激活（独立层，但一般将激活层和卷积层放在一块）。
激活函数:最常用的激活函数目前有Relu、tanh、sigmoid，着重介绍一下Relu函数（即线性整流层（Rectified Linear Units layer, 简称ReLU layer）），Relu函数是一个线性函数，它对负数取0，正数则为y=x（即输入等于输出），即f(x)=max(0,x)，它的特点是收敛快，求梯度简单，但较脆弱。

偏置向量的作用是对卷积后的数据进行简单线性的加法，就是卷积后的数据加上偏置向量中的数据，然后为了增加网络的一个非线性能力，需要对数据进行激活操作，在神经元中，就是将没有的数据率除掉，而有用的数据则可以输入神经元，让人做出反应。这里可能有读者会注意到Bias，其实它就是偏置项，最后计算的结果加上它就可以了
由于经过Relu函数激活后的数据0值一下都变成0，而这部分数据难免有一些我们需要的数据被强制取消，所以为了尽可能的降低损失，我们就在激活层的前面，卷积层的后面加上一个偏置向量，对数据进行一次简单的线性加法，使得数据的值产生一个横向的偏移，避免被激活函数过滤掉更多的信息。

Pooling 层

Pooling层对传入的图像在空间维度上进行下采样操作，能够在宽度和高度方向缩小上一层的矩阵的大小，但是深度并不会比上一层更深，并且池化层能够达到减少网络中参数的目的
池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。通常有两种方法
最大池化
顾名思义，最大池化就是每次取正方形中所有值的最大值，这个最大值也就相当于当前位置最具有代表性的特征，这个过程如下所示：

平均池化

平均池化就是取此正方形区域中所有值的平均值，考虑到每个位置的值对于此处特征的影响，平均池化计算也比较简单，整个过程如下图所示：

池化层的具体作用：

• 平移不变性，也就是我们在图像处理中经常提到的特征的尺度不变性，池化操作就是图像的resize，平时一张狗的图像被缩小了一倍我们还能认出这是一张狗的照片，这说明这张图像中仍保留着狗最重要的特征，我们一看就能判断图像中画的是一只狗，图像压缩时去掉的信息只是一些无关紧要的信息，而留下的信息则是具有尺度不变性的特征，是最能表达图像的特征。
• 特征降维，我们知道一幅图像含有的信息是很大的，特征也很多，但是有些信息对于我们做图像任务时没有太多用途或者有重复，我们可以把这类冗余信息去除，把最重要的特征抽取出来，这也是池化操作的一大作用。
• 在一定程度上防止过拟合，更方便优化。

全连接层

把所有局部特征结合变成全局特征，用来计算最后每一类的得分。

输出层

输出层有时也被称为分类层，因为在最后输出时，将会计算每一类别的分类预测值

CNN 的训练过程

前向传播阶段：

    选取训练样本（x,y），将x输入网络中。随机初始化权值（一般情况下选取小数），信息从输入层经过一层一层的特征提取和转换，最后到达输出层，得到输出结果。

反向传播阶段：

    输出结果与理想结果对比，计算全局性误差（即Loss）。得到的误差反向传递给不同层的神经元，按照“迭代法”调整权值和偏重，寻找全局性最优的结果。