一、鞍点的定义
一个不是局部最小值的驻点(一阶导数为0的点)称为鞍点。数学含义是: 目标函数在此点上的梯度(一阶导数)值为 0, 但从改点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。
二、判断鞍点的充分条件
那么对于一个驻点如何判断它是否为鞍点呢?这里给出它的充分条件:
判断鞍点的一个充分条件是:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵。
这里有两个概念:
黑塞矩阵:在数学中,黑塞矩阵(Hessian matrix 或 Hessian)是一个多变量实值函数的二阶偏导数组成的方阵(类似于多元函数的二阶导数),假设有一实数函数 ,如果 所有的二阶偏导数都存在,那么黑塞矩阵表示如下:
不定矩阵:
半正定矩阵: 所有特征值为非负。
半负定矩阵:所有特征值为非正。
不定矩阵:特征值有正有负。
三、鞍点例子
下面对函数 的驻点(0,0)判断是否为鞍点。函数图像如下:
我们根据定义来判断(0,0)点的黑塞矩阵:
我们容易求得二元函数 在驻点 (0,0) 处的 Hessian 矩阵形式为:
容易解出特征值一个为2,一个为-2(有正有负),显然是不定矩阵,所以该点是鞍点!
注意:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵只是判断该点是否为鞍点的充分条件,也就是说函数在一阶导数为零处(驻点)的黑塞矩阵不满足不定矩阵的定义,也不一定能够说明它不是鞍点。
在学习最优化课程时,不时听到“鞍点”这个名词。老师很快提了这个词,但没有详细介绍鞍点的含义。
鞍点 (saddle point)的数学含义是: 目标函数在此点上的梯度(一阶导数)值为 0, 但从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。
鞍点 (saddle point)的数学含义是: 目标函数在此点上的梯度(一阶导数)值为 0, 但从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。
判断鞍点的一个充分条件是:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵。判断鞍点的一个充分条件是:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵。
画图表示两个图形的鞍点: