Jensen 不等式

• 参考：

1. 《数值最优化方法》—— 高立
2. ​​Jensen不等式初步理解及证明​​
3. ​​Jensen不等式讲解与证明​​

文章目录

• ​​1. 凸集与凸函数​​

• ​​1.1 凸集​​
• ​​1.2 凸函数​​

• ​​2. Jensen不等式​​

• ​​2.1 Jensen不等式​​
• ​​2.2 证明​​
• ​​2.3 扩展​​

1. 凸集与凸函数

1.1 凸集

1. 定义：设集合 ，若对 ，有
   
   则称 为 ​​​凸集​​
3. 几何意义：若 属于凸集 则 与 连线上的所有点都属于凸集



4. 性质：凸集关于加法、数乘和交运算都是封闭的。对于凸集 ，，则

1.2 凸函数

1. 定义：设集合 为非空凸集，函数 。若对 ，有
   
   则称 为 上 ​​​凸函数​​​。若不等式对 严格成立，则称 为 上的 ​​​严格凸函数​​
3. 几何意义：凸函数曲线上任意两点连线都在函数曲线之上



4. 判定方法

1. 一阶判定条件
2. 二阶判定条件

2. Jensen不等式

2.1 Jensen不等式

• 根据凸函数性质，凸集 上的凸函数 上的两点 满足
  
• 把上式推广到 个点的情况，即得 Jensen 不等式：对于凸函数 ，其所在凸集 中的任意点集 ，若 且 ，则有
  

2.2 证明

• 可以使用数学归纳法证明，参见：Jensen不等式讲解与证明

2.3 扩展

1. 在概率论中，如果把 看作离散型随机变量 取值 的概率，则根据Jensen不等式
   

2. 把Jensen不等式拓展到连续情况，有
   
   这里 是凸函数，

3. 当随机变量X是常数时，Jensen不等式中等号成立。从几何角度容易理解（此时凸函数 是一条直线）