机器学习方法李航1.31.3 统计学习三要素

统计学习方法都是由模型、策略和算法构成的，即统计学习方法由三要素构成，可以

简单地表示为

方法＝模型＋策略＋算法

下面论述监督学习中的统计学习三要素。非监督学习、强化学习也同样拥有这三要

素。可以说构建一种统计学习方法就是确定具体的统计学习三要素。

1.3.1 模型

统计学习首要考虑的问题是学习什么样的模型。在监督学习过程中，模型就是所要学

习的条件概率分布或决策函数。模型的假设空间（hypothesis space）包含所有可能的条件

概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间

就是所有这些线性函数构成的函数集合。假设空间中的模型一般有无穷多个。

假设空间用 表示。假设空间可以定义为决策函数的集合

其中，X和Y是定义在输入空间x和输出空间 上的变量。这时 通常是由一个参数向量决

定的函数族：

参数向量 取值于n维欧氏空间R n，称为参数空间（parameter space）。假设空间也可以定

义为条件概率的集合

其中，X和Y是定义在输入空间x和输出空间 上的随机变量。这时 通常是由一个参数向

量决定的条件概率分布族：

参数向量 取值于n维欧氏空间R n，也称为参数空间。

本书中称由决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。

为了简便起见，当论及模型时，有时只用其中一种模型。

1.3.2 策略

有了模型的假设空间，统计学习接着需要考虑的是按照什么样的准则学习或选择最优

的模型。统计学习的目标在于从假设空间中选取最优模型。首先引入损失函数与风险函数的概念。损失函数度量模型一次预测的好坏，风险函数

度量平均意义下模型预测的好坏。

1．损失函数和风险函数

监督学习问题是在假设空间

中选取模型f作为决策函数，对于给定的输入X，由f(X)

给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损

失函数（loss function）或代价函数（cost function）来度量预测错误的程度。损失函数是

f(X)和Y的非负实值函数，记作L(Y,f(X))。

统计学习常用的损失函数有以下几种：

（1）0-1损失函数（0-1 loss function）

（2）平方损失函数（quadratic loss function）

（3）绝对损失函数（absolute loss function）

（4）对数损失函数（logarithmic loss function）或对数似然损失函数（loglikelihood

loss function）

损失函数值越小，模型就越好。由于模型的输入、输出（X,Y）是随机变量，遵循联

合分布P(X,Y)，所以损失函数的期望是

这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数（risk

function）或期望损失（expected loss）。

学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的，Rexp(f)不

能直接计算。实际上，如果知道联合分布P(X,Y)，可以从联合分布直接求出条件概率分布

P(Y|X)，也就不需要学习了。正因为不知道联合概率分布，所以才需要进行学习。这样一

来，一方面根据期望风险最小学习模型要用到联合分布，另一方面联合分布又是未知的，

所以监督学习就成为一个病态问题（ill-formed problem）。

给定一个训练数据集

模型f(X)关于训练数据集的平均损失称为经验风险（empirical

risk）或经验损失

（empirical loss），记作Remp：

期望风险Rexp(f)是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样

本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险Remp(f)趋于期望风

险Rexp(f)。所以一个很自然的想法是用经验风险估计期望风险。但是，由于现实中训练样

本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行

一定的矫正。这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。2．经验风险最小化与结构风险最小化

在假设空间、损失函数以及训练数据集确定的情况下，经验风险函数式（1.10）就可

以确定。经验风险最小化（empirical risk minimization，ERM）的策略认为，经验风险最

小的模型是最优的模型。根据这一策略，按照经验风险最小化求最优模型就是求解最优化

问题：其中， 是假设空间。当样本容量足够大时，经验风险最小化能保证有很好的学习效果，在现实中被广泛采

用。比如，极大似然估计（maximum likelihood estimation）就是经验风险最小化的一个例

子。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大

似然估计。但是，当样本容量很小时，经验风险最小化学习的效果就未必很好，会产生后面将要

叙述的“过拟合(over-fitting)”现象。

结构风险最小化（structural risk minimization，SRM）是为了防止过拟合而提出来的

策略。结构风险最小化等价于正则化（regularization）。结构风险在经验风险上加上表示

模型复杂度的正则化项（regularizer）或罚项（penalty term）。在假设空间、损失函数以

及训练数据集确定的情况下，结构风险的定义是

其中J(f)为模型的复杂度，是定义在假设空间 上的泛函。模型f越复杂，复杂度J(f)就越

大；反之，模型f越简单，复杂度J(f)就越小。也就是说，复杂度表示了对复杂模型的惩

罚。 ≥0是系数，用以权衡经验风险和模型复杂度。结构风险小需要经验风险与模型复杂

度同时小。结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。

比如，贝叶斯估计中的最大后验概率估计（maximum posterior probability estimation，

MAP）就是结构风险最小化的一个例子。当模型是条件概率分布、损失函数是对数损失

函数、模型复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估

计。

结构风险最小化的策略认为结构风险最小的模型是最优的模型。所以求最优模型，就

是求解最优化问题：

这样，监督学习问题就变成了经验风险或结构风险函数的最优化问题（1.11）和

（1.13）。这时经验或结构风险函数是最优化的目标函数。

1.3.3 算法

算法是指学习模型的具体计算方法。统计学习基于训练数据集，根据学习策略，从假

设空间中选择最优模型，最后需要考虑用什么样的计算方法求解最优模型。

这时，统计学习问题归结为最优化问题，统计学习的算法成为求解最优化问题的算

法。如果最优化问题有显式的解析解，这个最优化问题就比较简单。但通常解析解不存

在，这就需要用数值计算的方法求解。如何保证找到全局最优解，并使求解的过程非常高

效，就成为一个重要问题。统计学习可以利用已有的最优化算法，有时也需要开发独自的最优化算法。

统计学习方法之间的不同，主要来自其模型、策略、算法的不同。确定了模型、策

略、算法，统计学习的方法也就确定了。这也就是将其称为统计学习三要素的原因。

1.3.3 算法

算法是指学习模型的具体计算方法。统计学习基于训练数据集，根据学习策略，从假

设空间中选择最优模型，最后需要考虑用什么样的计算方法求解最优模型。

这时，统计学习问题归结为最优化问题，统计学习的算法成为求解最优化问题的算

法。如果最优化问题有显式的解析解，这个最优化问题就比较简单。但通常解析解不存

在，这就需要用数值计算的方法求解。如何保证找到全局最优解，并使求解的过程非常高

效，就成为一个重要问题。统计学习可以利用已有的最优化算法，有时也需要开发独自的最优化算法。

统计学习方法之间的不同，主要来自其模型、策略、算法的不同。确定了模型、策

略、算法，统计学习的方法也就确定了。这也就是将其称为统计学习三要素的原因。