首页 > 其他分享 >最优化中的鞍点介绍

最优化中的鞍点介绍

时间:2023-10-28 17:12:51浏览次数:25  
标签:函数 导数 驻点 矩阵 介绍 黑塞 鞍点 最优化

一、鞍点的定义

一个不是局部最小值的驻点(一阶导数为0的点)称为鞍点。数学含义是: 目标函数在此点上的梯度(一阶导数)值为 0, 但从改点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

二、判断鞍点的充分条件

那么对于一个驻点如何判断它是否为鞍点呢?这里给出它的充分条件:
判断鞍点的一个充分条件是:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵。
这里有两个概念:
黑塞矩阵:在数学中,黑塞矩阵(Hessian matrix 或 Hessian)是一个多变量实值函数的二阶偏导数组成的方阵(类似于多元函数的二阶导数),假设有一实数函数 ,如果 所有的二阶偏导数都存在,那么黑塞矩阵表示如下:
image

不定矩阵:
半正定矩阵: 所有特征值为非负。
半负定矩阵:所有特征值为非正。
不定矩阵:特征值有正有负。

三、鞍点例子

下面对函数 的驻点(0,0)判断是否为鞍点。函数图像如下:
image

我们根据定义来判断(0,0)点的黑塞矩阵:
我们容易求得二元函数 在驻点 (0,0) 处的 Hessian 矩阵形式为:
image

容易解出特征值一个为2,一个为-2(有正有负),显然是不定矩阵,所以该点是鞍点!
注意:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵只是判断该点是否为鞍点的充分条件,也就是说函数在一阶导数为零处(驻点)的黑塞矩阵不满足不定矩阵的定义,也不一定能够说明它不是鞍点。

在学习最优化课程时,不时听到“鞍点”这个名词。老师很快提了这个词,但没有详细介绍鞍点的含义。

鞍点 (saddle point)的数学含义是: 目标函数在此点上的梯度(一阶导数)值为 0, 但从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

鞍点 (saddle point)的数学含义是: 目标函数在此点上的梯度(一阶导数)值为 0, 但从该点出发的一个方向是函数的极大值点,而在另一个方向是函数的极小值点。

判断鞍点的一个充分条件是:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵。判断鞍点的一个充分条件是:函数在一阶导数为零处(驻点)的黑塞矩阵为不定矩阵。

画图表示两个图形的鞍点:
image
image

标签:函数,导数,驻点,矩阵,介绍,黑塞,鞍点,最优化
From: https://www.cnblogs.com/xia19/p/17794291.html

相关文章

  • 801-806 Helm 工具介绍 8.1-8.6
    一、Helm工具介绍1.1了解HelmHelm是Kubernetes中查找、分享、构建应用的最佳方式。Helms是一个Kubernetes应用的包管理工具,用来管理chart(一种预先配置的安装包资源)。官网地址:官网地址:https://helm.sh/github地址:https://github.com/helm/helm/releases1.2Helm核心概念......
  • UI自动化概念 + Web自动化测试框架介绍
    1.UI自动化测试概念:我们先明确什么是UIUI,即(UserInterface简称UI用户界面)是系统和用户之间进行交互和信息交换的媒介UI自动化测试:Web自动化测试和移动自动化测试都属于UI自动化测试,UI自动化测试就是借助自动化工具对程序UI层进行自动化的测试2.为什么对UI采用自动化测试?......
  • (一)模型/视图介绍
    模型/视图介绍Qt包含了一组itemview类,它们使用模型/视图架构来管理数据之间的关系以及呈现给用户的方式。该体系结构引入的功能分离,为开发人员提供了更大的灵活性来定制项目的表示,并提供了一个标准的模型接口,以允许广泛的数据源与现有项目视图一起使用。模型/视图结构模型-视图-控......
  • OpenCV介绍与GUI特征(一)
    @TOC编辑者:廿瓶鲸(和鲸社区Siby团队成员)IT科程FREE0.1OpenCV-Python教程简介OpenCVOpenCV于1999年由GaryBradsky在英特尔创建,第一个版本于2000年问世。VadimPisarevsky加入GaryBradsky,管理英特尔的俄罗斯软件OpenCV团队。2005年,OpenCV被用在Stanley上,该车赢得了2005年的DARPA大......
  • Angular 动态导入和懒加载的深入介绍
    动态导入,这是一种用于实现懒加载和代码分割的技术,但需要注意的是,它只能在主应用程序中使用。在现代的前端开发中,性能和用户体验一直是至关重要的考虑因素。随着应用程序变得越来越复杂,加载时间的优化变得尤为关键。动态导入是一项强大的技术,可以帮助我们在Angular应用程序中实现......
  • Python时间序列分析库介绍:statsmodels、tslearn、tssearch、tsfresh
    时间序列分析在金融和医疗保健等领域至关重要,在这些领域,理解随时间变化的数据模式至关重要。在本文中,我们将介绍四个主要的Python库——statmodels、tslearn、tssearch和tsfresh——每个库都针对时间序列分析的不同方面进行了定制。这些库为从预测到模式识别的任务提供了强大的工......
  • Python中的equals用法介绍
      一、使用场景在Python中,equals(等于)经常用于比较两个对象是否相等。在Python中,使用==可以判断两个对象的值是否相等,使用is可以判断两个变量是否引用同一个对象。但是对于不同类型的对象,使用==方法可能会出现意想不到的结果。因此,在使用==判断两个对象是否相等时,需要注意以......
  • SVM支持向量机算法介绍
        如果你是一名模式识别专业的研究生,又或者你是机器学习爱好者,SVM是一个你避不开的问题。如果你只是有一堆数据需要SVM帮你处理一下,那么无论是Matlab的SVM工具箱,LIBSVM还是python框架下的SciKitLearn都可以提供方便快捷的解决方案。但如果你要追求的不仅仅是会用,还希望挑......
  • 介绍LiteCVR平安校园安防视频监控系统方案设计
    随着校园信息化建设的不断发展,信息服务在校园管理中的作用也越来越强。在保障学生安全与校园高效管理上,人工智能做出了极大贡献,安防监控系统LiteCVR基于互联网、大数据、云计算的智慧管理,为提高校园监管标准,推进学校信息化建设,打造数字化校园、智慧校园。1、视频监控系统高清视......
  • 循序渐进介绍基于CommunityToolkit.Mvvm 和HandyControl的WPF应用端开发(6) -- 窗口控
    在我们窗口新增、编辑状态下的时候,我们往往会根据是否修改过的痕迹-也就是脏数据状态进行跟踪,如果用户发生了数据修改,我们在用户退出窗口的时候,提供用户是否丢弃修改还是继续编辑,这样在一些重要录入时的时候,可以避免用户不小心关掉窗口,导致窗口的数据要重新录入的尴尬场景。本篇随......