深度学习概述
1.深度学习定义
深度学习(Deep learning)起源于人工神经网络,它的定义:通过组合低层特征形成更加抽象的高层特征或类别,从而从大量的输入数据中学习有效特征表示,并把这些特征用于分类、回归和信息检索的一种技术。
何谓为深度:网络学习得到的函数中,非线性运算组合水平的数量。
2深度学习与浅层学习的优势:
(1)具有多层非线性映射的深层结构,可以实现复杂函数逼近。
(2)可以通过非监督预训练实现分布式表示,多层映射提取输入的主要结构信息;而单层计算能力有限,则难以实现。
(3)它是对人类大脑皮层的最好模拟。
3.深度学习网络结构主要分为2大类:
第一类是区分型深度网络结构,这类型的深度网络采用有监督的训练,获得给定目标样本下输入的分布情况,经过有监督的训练以实现区分输入类型的目的。典型的网络结构深度神经网络DNN(例如:多层感知器)和卷积网络(CNN)。
第二类是生成型深度网络结构,这类深度网络采用无监督预训练提取数据的高阶相关特性,而无监督预训练的过程可以看作是一个生成模型的过程。典型的网络结构是深度信念网络(DNN)和堆叠自动编码器(SAE)。
还有一些以上两类的混合类:卷积网络和自动编码器结合成卷积自动编码器,限制玻尔兹曼机和卷积网络结合构成卷积深度信念网络。