- 参考:
- 《数值最优化方法》—— 高立
- Jensen不等式初步理解及证明
- Jensen不等式讲解与证明
文章目录
- 1. 凸集与凸函数
- 1.1 凸集
- 1.2 凸函数
- 2. Jensen不等式
- 2.1 Jensen不等式
- 2.2 证明
- 2.3 扩展
1. 凸集与凸函数
1.1 凸集
- 定义:设集合
,若对
,有
则称为
凸集
- 几何意义:若
属于凸集
则
与
连线上的所有点都属于凸集
- 性质:凸集关于加法、数乘和交运算都是封闭的。对于凸集
,
,则
1.2 凸函数
- 定义:设集合
为非空凸集,函数
。若对
,有
则称为
上
凸函数
。若不等式对严格成立,则称
为
上的
严格凸函数
- 几何意义:凸函数曲线上任意两点连线都在函数曲线之上
- 判定方法
- 一阶判定条件
- 二阶判定条件
2. Jensen不等式
2.1 Jensen不等式
- 根据凸函数性质,凸集
上的凸函数
上的两点
满足
- 把上式推广到
个点的情况,即得 Jensen 不等式:对于凸函数
,其所在凸集
中的任意点集
,若
且
,则有
2.2 证明
- 可以使用数学归纳法证明,参见:Jensen不等式讲解与证明
2.3 扩展
在概率论中,如果把
看作离散型随机变量
取值
的概率,则根据Jensen不等式
把Jensen不等式拓展到连续情况,有
这里是凸函数,
当随机变量X是常数时,Jensen不等式中等号成立。从几何角度容易理解(此时凸函数
是一条直线)