神经网络与深度学习（邱锡鹏）

第一部分 机器学习基础

第1章 绪论

深度学习是机器学习的一个分支，指从有限样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上。

一种可以比较好解决贡献度分配问题的模型是人工神经网络（Artificial Neural Network，ANN），也简称神经网络。

贡献度分配问题（Credit Assignment Problem，CAP）：即一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响。可用偏导数解决此问题。

如果我们把神经网络看作由一组参数控制的复杂函数，并用来处理一些模式识别任务（比如语音识别、人脸识别等），神经网络的参数可以通过机器学习的方式来从数据中学习。

目前，人工智能的主要领域大体上可以分为以下几个方面 ：

（1） 感知：模拟人的感知能力，对外部刺激信息（视觉和语音等）进行感知和加工．主要研究领域包括语音信息处理和计算机视觉等。

（2） 学习：模拟人的学习能力，主要研究如何从样例或从与环境的交互中进行学习。主要研究领域包括监督学习、无监督学习和强化学习等。

（3） 认知：模拟人的认知能力，主要研究领域包括知识表示、自然语言理解、推理、规划、决策等。

机器学习（Machine Learning，ML）是人工智能的一个重要分支，指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。机器学习的主要目的是设计和分析一些学习算法，让计算机可以从数据（经验）中自动分析并获得规律，之后利用学习到的规律对未知数据进行预测，从而帮助人们完成一些特定任务，提高开发效率。

表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习（Representation Learning）

在机器学习中，我们经常使用两种方式来表示特征：局部表示（Local Representation）和分布式表示（Distributed Representation）

嵌入（Embedding）通常指将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系。

需要将输入信息转换为有效的特征，或者更一般性地称为表示（Representation）。深度学习的主要目的就是从数据中自动学习到有效的特征表示。

人工神经网络可以用作一个通用的函数逼近器（一个两层的神经网络可以逼近任意的函数）。