深度学习阅读笔记（二）之自动编码器SAD

一、自动编码器（DAE）

   7. 《深度自动编码器的研究与展望》

   主要内容：讲述了自动编码器的发展由来。阐述了DAE的基本概念和原理；网络模型的构建和训练方法。并对DAE进行了分类，指出了DAE存在的问题和对DAE未来发展的展望。

  （1）自动编码器比传统BP网络的优势：免去了人工提取数据特征的巨大工作量，提高了特征提取的效率，降低了原始输入的维数。

了自动编码器的发展由来：

1986 年Ｒumelhart 提出自动编码器的概念，并将其用于高维复杂数据处。

2006 年，Hinton 对原型自动编码器结构进行改进，进而产生了DAE。

2007 年，Benjio 提出稀疏自动编码器的概念。

2008 年，Vincent提出降噪自动编码器。

2009 年，Benjio 阐述利用堆叠自动编码器构建深度学习神经网络。

2010 年，Salah 提出收缩自动编码器。

2011 年， Jonathan 提出卷积自动编码器，用于构建卷积神经网络。

DAE定义和组成：DAE 是一种利用经过无监督逐层贪心预训练和系统性参数优化的多层非线性网络，从无类标数据中提取高维复杂输入数据的分层特征，并得到原始数据的分布式特征表示的深度学习神经网络结构。DAE 由编码器、解码器和隐含层组成。

  （4）DAE构建：1、改进原编码器结构；2、选择合适的代价函数和优化策略。

  （5）DAE网络参数训练：1、预训练；2、精调。

稀疏理论的DAE，基于统计理论的DAE，基于鲁棒理论的DAE，基于卷积理论的DAE。

  （7）DAE存在问题与展望：深度理论方面问题（3个）；建模策略方面问题（3个）；工程实践方面问题（3个）。

分类中的应用研究》

SD算法：单层稀疏编码器（SAE）用于提取文本特征，然后用两层深度置信网络用于特征分类。最后与用支持向量机（SVM）分类效果比较。

  （2）采用方法：

  （3）特点：

  （4） 优点：适合于处理高维数据，样本数较多的情况下，分类效果明显高于传统分类方法（SVM）      

       缺点：训练集较少情况下，分类效果不如SVM。

  （5）结果：

  （6）下一步工作：

  （7）值得注意的地方：

分类（对东西的偏好）研究》

   （1）主要内容：提出DEA算法：采用单层降噪编码器用于特征提取，然后采用k-means算法对提取到的特征进行分类，并将结果与S传统的SVM对比。

   （2）优点：在不平衡率（少数与多数值之比）较高的前提下，DAE 算法分类的效果要优于传统的支持向量机算法。

   （3）缺点：在不平衡率较低时，分类效果不如传统SVM。

   （4）值得注意的地方：

  10.《EXTRACTING DEEP BOTTLENECK FEATURES USING STACKED AUTO-ENCODERS》

（1）主要内容：提出了一种新的网络结构来获得深度神经网络的瓶颈特性（隐含层节点的激活程度）。采用堆叠编码器进行特征提取首先对堆叠的编码器进行逐层的非监督训练，然后加入一个瓶颈层和一个隐含层用于分类，然后对整个系统进行微调；训练完成后把整个网络用于预测语音分类。同过采用更大的数据集和在不同的系统环境中进行试验，证明了该方法具有一般适用性。

（2）采用方法：同（1）。

（3）特点：采用堆叠自动编码器来进行特征提取而不是限制玻尔兹曼机（RBM），因为限制玻尔兹曼机不适合于对无关联数据建模。

（4）优点：适合于对无关联数据（图片，语音信号）进行建模和特征提取  

（5）结果：采用更多的无标记数据预训练自动编码器能达到更好的提取效果，特别是在用于有监督微调和系统训练的标记样本很少的时候。降噪编码器是用于初始化深度网络和声学建模。预训练非常有用也非常关键在数据量不足的时候。

（6）下一步工作：寻找更好的输入特征向量（需要提取的特征）和更好的系统组合结构；比较降噪编码器和RBM在预训练和微调时预测独立变量的能力。

（7）值得注意的地方：1）增加自动编码器的数量可以提取出更多有用的特征，但是必须要采用无标记样本进行预训练，尤其是在数据及较少的时候。当隐含层数大于5层之后，识别效果不会有更大的提高。2）堆叠自动编码器与深度信念网络的区别：DBNs有关的研究包括堆叠自动编码器，它是通过用堆叠自动编码器来替换传统DBNs里面的RBMs。1）堆叠自动编码器缺少层的参数化的严格要求。2）与DBNs不同，自动编码器使用判别模型，这样这个结构就很难采样输入采样空间，这就使得网络更难捕捉它的内部表达。但是，降噪自动编码器却能很好的避免这个问题，并且比传统的DBNs更优。3）训练单一的降噪自动编码器的过程和RBMs训练生成模型的过程一样。

  11.《Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion》

（1）主要内容：深度探究采用降噪编码器来建立深度网络。通过实验证明，堆叠降噪编码器用于分类实验时得到更小的分类误差，效果超过了深度信念网络（DBN）；无监督学习提取到更好的特征，提升了下一步SVM的分类效果。量化实验证明，与普通自动编码器不一样，降噪编码器可以学习图像块的Gabor状边缘特性和字符图像的大笔画特性。通过这些实验证明降噪标准对进行无监督训练以获得对于输入的更好的重构非常有价值。

（2）采用方法：

（3）特点：

（4）优点：   缺点：

（5）结果：

（6）下一步工作：

（7）值得注意的地方：