什么是Jensen不等式

Jensen不等式是一个非常重要的数学不等式，特别是在概率论、统计学和优化领域中，它常常用来证明一些关于期望的结论。简单来说，Jensen不等式描述了凸函数和期望之间的关系。

1. Jensen不等式的定义

假设我们有一个凸函数 f ( x ) f(x) f(x)，并且 X X X 是一个随机变量（可能是离散的，也可能是连续的），那么Jensen不等式的基本形式为：

f ( E [ X ] ) ≤ E [ f ( X ) ] f(E[X]) \leq E[f(X)] f(E[X])≤E[f(X)]

解释：

• E [ X ] E[X] E[X] 是随机变量 X X X 的期望。
• E [ f ( X ) ] E[f(X)] E[f(X)] 是随机变量 X X X 经过函数 f f f 变换后的期望。
• 如果函数 f ( x ) f(x) f(x) 是凸函数，则不等式成立。

2. 凸函数

在数学中，凸函数是指在其定义域内，对于任意两个点，函数图像上这两个点之间的连线都在函数图像的下方。简单来说，凸函数的图形是向上的弯曲。

常见的凸函数包括：

• 指数函数：如 f ( x ) = e x f(x) = e^x f(x)=ex。
• 对数函数：如 f ( x ) = log ⁡ ( x ) f(x) = \log(x) f(x)=log(x)。
• 平方函数：如 f ( x ) = x 2 f(x) = x^2 f(x)=x2（对于 x ≥ 0 x \geq 0 x≥0）。

3. Jensen不等式的直观理解

Jensen不等式告诉我们，对期望值应用一个凸函数，其结果总是小于或等于应用该凸函数后再取期望的结果。

通俗地说，Jensen不等式说明了先取期望再应用函数和先应用函数再取期望这两者之间的关系。在凸函数的情况下，前者的结果总是小于或等于后者。

举个例子：

假设你有一个随机变量 X X X，并且你知道它的期望值 E [ X ] E[X] E[X]。如果你现在应用一个凸函数 f ( x ) f(x) f(x)，Jensen不等式告诉我们：
f ( E [ X ] ) ≤ E [ f ( X ) ] f(E[X]) \leq E[f(X)] f(E[X])≤E[f(X)]
这意味着如果你先对 X X X 求期望 E [ X ] E[X] E[X]，然后应用函数 f f f，结果会比你先对 X X X 应用函数 f f f，然后再求期望 E [ f ( X ) ] E[f(X)] E[f(X)] 小。

4. Jensen不等式的证明（简要）

为了理解Jensen不等式是如何成立的，我们来简单看一下它的证明思路。证明的关键在于凸函数的定义。

假设 f ( x ) f(x) f(x) 是一个凸函数，且 X X X 是一个随机变量， λ \lambda λ 是一个权重（如离散情况下的概率质量函数中的权重）。由于 f ( x ) f(x) f(x) 是凸的，根据凸函数的定义：
f ( ∑ i λ i x i ) ≤ ∑ i λ i f ( x i ) f\left( \sum_i \lambda_i x_i \right) \leq \sum_i \lambda_i f(x_i) f(i∑​λi​xi​)≤i∑​λi​f(xi​)
如果你将 x i x_i xi​ 设为样本值，并且 λ i \lambda_i λi​ 是这些样本点的概率权重（即每个样本点的概率），就能得到：
f ( E [ X ] ) ≤ E [ f ( X ) ] f(E[X]) \leq E[f(X)] f(E[X])≤E[f(X)]
这个不等式成立的原因就是函数 f f f 是凸的，因此对于样本值的加权平均（期望），应用函数后的值不小于应用函数后再加权平均的结果。

5. Jensen不等式的应用

Jensen不等式在很多领域都有广泛的应用，特别是在概率论、统计学和机器学习中，它被用来处理带有不等式约束的问题。下面是一些常见的应用场景：

a) 在信息论中的应用

在信息论中，Jensen不等式用于证明熵的某些性质。例如：
H ( X ) = − E [ log ⁡ P ( X ) ] H(X) = -E[\log P(X)] H(X)=−E[logP(X)]
这里 H ( X ) H(X) H(X) 表示随机变量 X X X 的熵，表示信息的不确定性。Jensen不等式告诉我们，在某些条件下，信息的期望总是大于等于信息的对数。

b) 在优化问题中的应用

在一些优化算法中，Jensen不等式用于推导下界，例如在凸优化问题中，它可以用来推导某些目标函数的下界，从而帮助我们找到最优解。

c) 在机器学习中的应用

Jensen不等式在变分推断、变分贝叶斯方法等机器学习方法中起着核心作用。它被用来推导近似推断方法，通过最大化一个期望对数似然（或最小化一个变分下界）来近似真实的后验分布。

6. Jensen不等式的逆不等式（凹函数）

如果函数 f ( x ) f(x) f(x) 是凹函数（也就是函数的图像是向下弯曲的），那么Jensen不等式的方向会反过来。对于凹函数，我们有：

f ( E [ X ] ) ≥ E [ f ( X ) ] f(E[X]) \geq E[f(X)] f(E[X])≥E[f(X)]

凹函数的例子包括：

• f ( x ) = − x 2 f(x) = -x^2 f(x)=−x2
• f ( x ) = log ⁡ ( x ) f(x) = \log(x) f(x)=log(x)（对于 x > 0 x > 0 x>0）

7. 总结

Jensen不等式是一个非常有用的不等式，它描述了凸函数和期望之间的关系。其核心内容是：

• 对期望应用凸函数的结果总是小于或等于应用该函数后再取期望的结果。
• 如果函数是凹的，则两者的关系是反过来的。

Jensen不等式在概率论、统计学、优化和机器学习中有广泛的应用，尤其是在处理隐变量和变分推断时。