1、 INTRODUCTION

为了提高机器学习系统的准确率，我们就需要将输入信息转换为有效的特征，或者更一般性地称为表示（Representation）。从原始输入数据中自动地学习出有效的特征，并提高最终机器学习模型的性能的方法叫表示学习（Representation Learning）．
传统的特征学习一般是通过人为地设计一些准则，然后根据这些准则来选取有效的特征。特征的学习是和最终预测模型的学习分开进行的，因此学习到的特征不一定可以提升最终模型的性能。
如果直接用数据的原始特征来进行预测，对机器学习模型的能力要求比较高。这些原始特征可能存在以下几种不足：1）特征比较单一，需要进行（非线性的）组合才能发挥其作用；2）特征之间冗余度比较高；3）并不是所有的特征都对预测有用；4）很多特征通常是易变的；5）特征中往往存在一些噪声。
一个成功的机器学习系统通常需要尝试大量的特征，称为特征工程（Feature Engineering）。但即使这样，人工设计的特征在很多任务上也不能满足需要。因此，如何让机器自动地学习出有效的特征也成为机器学习中的一项重要研究内容，称为特征学习也叫表示学习。特征学习在一定程度上也可以减少模型复杂性、缩短训练时间、提高模型泛化能力、避免过拟合等。
传统的特征学习一般是通过人为地设计一些准则，然后根据这些准则来选取有效的特征，具体又可以分为两种：特征选择和特征抽取。
特征提取的方法主要是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间。如PCA。
特征选择的方法是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间(如Filter, Wrapper, Embedded)。
在各种学习表示的方法中，本文主要关注深度学习方法：那些由多个非线性变换组成的方法，目的是产生更抽象的、最终更有用的表示。在这里，我们调查了这个快速发展的领域，特别强调了最近的进展。我们考虑了推动这一领域研究的一些基本问题

2、表示学习应用领域

（1） 语音识别和信号处理（2）目标识别（3）自然语言处理（4）多任务和转移学习，领域适应（寻找不同特征间的共性）