Datawhale
作者：邱锡鹏，复旦大学教授
寄语：本文梳理了深度学习知识体系，分为机器学习、神经网络和概率图模型，同时对机器学习算法类型、深度学习原理框架等进行了梳理，帮助大家更好地学习和入手深度学习。
深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理等多个领域都取得了卓越的成果，可见其重要性，本文将通过梳理知识体系脉络帮助大家深入浅出了解深度学习。
深度学习知识体系
下图梳理了神经网络和深度学习所涉及的知识体系。该知识体系可以分为三大块：机器学习、神经网络和概率图模型。
1. 机器学习
机器学习可以分为监督学习、无监督学习和强化学习。机器学习的基本概念以及三要素为：模型、学习准则和优化算法。深度学习是机器学习的分支，机器学习分为监督学习、无监督学习及强化学习三个方向，具体内容在下文中会详细介绍。
2. 神经网络
神经网络作为一类非线性的机器学习模型，可以更好地实现输入和输出之间的映射。关于神经网络，需要掌握其优化和正则化方向，注意力机制和外部记忆。神经网络包含三种主要的神经网络模型：
- 前馈神经网络；
- 卷积神经网络；
- 循环神经网络。目前，越来越多人也投入到图神经网络中的研究中来。
3. 概率图模型
概率图模型为机器学习提供了一个更加便捷的描述框架. 其基本概念包括模型表示、学习和推断. 目前深度学习和概率图模型的融合已经十分流行. 其中，比较重要的图模型有：
- 两种概率图模型：玻尔兹曼机和深度信念网络；
- 两种概率生成模型：深度生成模型和序列生成模型。
机器学习算法类型
机器学习算法可以按照不同的标准来进行分类：