深度学习阅读笔记（四）之卷积网络CNN

卷积神经网络

  17.《基于卷积神经网络的木材缺陷识别》（具体应用）

（1）主要内容：采用卷积神经网络（CNN）来建立木材缺陷识别系统。详细介绍了CNN网络的基本结构和技术特点。详细介绍了实验CNN网络模型的构件。

（2）采用方法：卷积神经网络（CNN）

（3）特点：权值共享，下采样，局部感受野

（4）优点：卷积神经网络在处理二维图像时有多个独特优点，如无需复杂的特征提取，可以将二维图像直接输入到神经网络中，大大减少了预处理的难度; 局部野和权值共享技术减少了参数空间，大幅度降低了算法的复杂度; 次抽样技术增强了网络鲁棒性，能容忍图像一定程度的畸变   缺点：

（5）实验：详细叙述了模型建立的过程，值得参考。

（6）下一步工作：

（7）值得注意的地方：渐进式学习算法：为减少训练时间，设计一个渐近式学习方法，根据输出的错误样本类别来决定添加该类的样本，降低了算法消耗的时间，获得较高的精度。

  18.《基于卷积神经网络的叶片分类识别》（具体应用）

（1）主要内容：简述了CNN发展历史；简要介绍了CNN基本概念和基本结构；详细叙述了基于CNN构件的识别系统。

（2）CNN发展历史：1）1959年，Hubel和Wiese发现了猫的视觉系统是分级的，后来学者们提出“深度学习模型”来描述这种结构。  2）1980年，Kunihiko Fukushima提出的Neocognitron首次引进了CNN 的概念，这也是首个深度学习模型。 3）1988年，LeCun等人将BP算法引入CNN。 4）2003年，Behnke 写了一本关于CNN的著作，对CNN进行了总结。同年，Simard等人对CNN 进行了简化。 5）2011 年，Ciresan等人进一步对CNN 进行了改进，并实现了它的GPU 版本。

（3）采用方法：卷积神经网络。

（4）特点：

（5）优点：使叶片分类操作变得简单，而且提高了分类的精度。   缺点：

（6）实验：详细叙述了实验模型建立过程。

（7）下一步工作：并行化实现CNN网络。获取更多的数据来训练CNN网络，将该模型进行推广应用。

 类似文章：《Flexible, High Performance Convolutional Neural Networks for Image Classification》 不同之处在于：本文基于GPU具体实现了CNN网络，并且实际进行了分类实验和数字字符识别实验，验证CNN的分类效果。

  19.《Notes on Convolutional Neural Networks》（公式推导）

（1）主要内容：简述了卷积神经网络（CNN）起源，详细叙述了CNN卷积，下采样，特征组合和具体计算公式和梯度计算公式的推导。简述了部分常规训练方法。

（2）采用方法：

（3）结果：

（4）下一步工作：

（5）值得注意的地方：卷积网络计算的关键在于：1）前向传播时，下采样卷积网络的输出特征图。2）后向传播时，上采样上一层的残差（），以使其与下一层卷积网络的输出特征图大小相匹配。3）计算sigmoid函数及其导数。

  19.《Tiled convolutional neural networks》

（1）主要内容：对卷积神经网络改进，提出平铺卷积神经网路（Tiled CNN），目的是为了增强网络转移不变性的能力。基于地形学独立分析算法，给出了训练TCNN的学习算法，并给出了两个例子证明。

（2）改进方式：不要求相邻的隐含层节点拥有相同的权重，而是要求K步以外的节点相互之间拥有相同的权重，目的是为了增强网络转移不变性的能力。池化和下采样方式与传统CNN一样。

（3）特点：

（4）优点：1）从无标记数据中学习到更多复杂的不便特性，使网络结构具有更强的转移不变性。2）只需要无标记样本进行训练，是训练流程更为简单。3）增强了抗过拟合的能力。   缺点：增加了需要训练参数个数；需要大量的样本进行网络参数训练和调整。

（5）结果：k=2时，通过实验证明分类效果优于传统的CNN网络，TiledCNN比传统的CNN具有更强的抗畸变的能力。

（6）下一步工作：探索把Tiled-CNN应用与其他领域。

（7）值得注意的地方：

  20.《Exploring Convolutional Neural Network Structures and Optimization Techniques for Speech Recognition》

（1）主要内容：通过实验分析比较了CNN的卷积权值共享结构与深度神经网络（DNN）没有卷积层的差别；并从时域和频域两个角度来比较卷积的效果。提出了权值缓冲池技术，用于自动调整缓冲池的大小，并通过实验验证。通过比较预训练玻尔兹曼机（RBN）和卷积玻尔兹曼机（CRBM），分析预训练对于卷积网络的影响。

（2）采用方法：同（1）

（3）结果：1）含有卷积层的CNN网络分类效果高于不含卷积层的深度神经网络。原因：CNN网络对于声音的小的频率扰动存在不变形，抗扰动和畸变能力优于DBN网络。2）有限权值共享分类效果高于整体权值共享结构。 原因：局部权值共享在各个特征图里面采样到不同的离散的的特征；相反，整体权值共享只能所有的特征图里面采集到相同的连续的特征。 3）随时域卷积的效果明显高于随频域卷积的效果。启发：实际应用时注意考虑频域声音信号的干扰。4）权重最大池技术使得识别效果得到提升。启发：识别和分类时考虑不同特征，自动调整缓冲池大小和结构，提升算法效率和分类准确率。 5）考虑用采用CRBM预训练CNN的卷积层，提高分类精度。

（6）下一步工作：对池化层进行改进，使其能够自动的根据采样到特征不同，自动变换池的结构和大小。

（7）值得注意的地方：1）卷积层和局部权值共享能有效地提高深度网络特征提取的能力，进而提高分类精度或者识别率。2）随时域进行卷积运算。3）采用CRBM预训练CNN卷积层，能有效提高卷积网络分类精度。

  21.《Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis》

（1）主要内容：从两个方面，即增大训练样本集和改进CNN结构，来提高用于视觉分析的CNN网络的识别准确率。并且通过实验论证。

（2）采用方法：弹性扭曲来扩大样本集，“do-it-yourself”方法来简化CNN网络结构。

（3）特点：增大训练样本集，结构简化，但分类准确率提高。

（4）优点：增加输入样本集，可以是网络得到充分训练，避免过拟合。简化的CNN结构，使其训练和结构更加简单，不需要复杂的权值衰减，精调整，向量，结构相关的学习速率等参数；同时简化CNN结构具有更为普遍的适用性，更高的准确率。   缺点：

（5）结果：MNIST数据集数字分类实验中，取得了有史以来最好的效果。

（6）下一步工作：

（7）值得注意的地方：卷积网络与一般向量网络（SVM）比较：优点：比一般的向量网络更适合提取输入信号的特征，它不需要知道输入信号。 缺点：获得的只是来源于网络的空间结构关系，而不是输入样本元素之间的关系。

  22《3D Convolutional Neural Networks for Human Action Recognition》

（1）主要内容：1）提出通过3D卷积操作核去提取视频数据的时间和空间特征。这些3D特征提取器在空间和时间维度上操作，因此可以捕捉视频流的运动信息。 2）基于3D卷积特征提取器构造了一个3D卷积神经网络。这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作。最后将所有通道的信息组合起来得到最终的特征描述。 3）提出通过计算高层运动特征得到的辅助输出来增强模型。为了应对不同环境的使用，还综合多个不同的CNN架构去综合判断识别结果。 4）通过实验实验证明3DCNN网络超过了2DCNN网络及其他网络。

（2）采用方法：同（1）

（3）特点：3D卷积：通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积。传统CNN网络是2维的。

（4）优点：提取到更多的特征，提高分类的准确度   缺点：节点和参数增多，网络结构更为复杂，对于网络学习和训练提出更高的要求。

（5）结果：3DCNN网络超过了2DCNN网络及其他网络。

（6）下一步工作：

（7）值得注意的地方：1）一个CNN设计的通用规则就是：在离输出越近的特征图的个数应该越多，这样可以从低级特征图中组合产生更多类型的特征；也可以采用多种