首页 > 其他分享 >深度学习基础

深度学习基础

时间:2024-08-24 12:47:47浏览次数:13  
标签:partial THv 局部 基础 学习 深度 theta 极小值 鞍点

深度学习基础

一、临界点及其种类

1.鞍点

2.局部极小值

3.局部极大值

临界点特点:当参数对损失微分为零的时候,梯度下降不会再更新参数,训练停止,损失不再下降。

二、判断临界值种类的方法

判断一个临界点是什么种类需要知道损失函数的形状

损失函数\(L(\theta)\)可以近似为

\[L(\theta) \approx L(\theta^{'}) +(\theta-\theta^{'} )^T g+\frac{1}{2}(\theta-\theta^{'} )^T H (\theta-\theta^{'} ) \]

其中\(g\)表示梯度,\(H\)表示海森矩阵

\[g_i=\frac{\partial L(\theta^{'})}{\partial \theta_i} , H_{ij}=\frac{\partial^2}{\partial\theta_i\partial\theta_j}L(\theta^{'}) \]

我们用向量\(v\)表示\(\theta - \theta^{'},(\theta-\theta^{'})^T H (\theta-\theta^{'})\)可改写为$ v^THv $

1.局部极小值:如果对所有\(v,v^THv>0\),这意味着对任意\(\theta,L(\theta)>L(\theta^{'})\),只要\(\theta\)在\(\theta^{'}\)附近,\(L(\theta)\)都大于\(L(\theta^{'})\),这代表\(L(\theta^{'})\)是附近的一个最低点,所以它是局部极小值

2.局部极大值:如果对所有\(v,v^THv<0\),这意味着对任意\(\theta,L(\theta)<L(\theta^{'})\),只要\(\theta\)在\(\theta^{'}\)附近,\(L(\theta)\)都小于\(L(\theta^{'})\),这代表\(L(\theta^{'})\)是附近的一个最高点,所以它是局部极大值

3.鞍点:如果对于\(v,v^THv\)有时候大于零,有时候小于零,这意味着在\(\theta^{'}\)附近,有时候\(L(\theta)>L(\theta^{'})\),有时候\(L(\theta)<L(\theta^{'})\),因此在\(\theta^{'}\)附近,\(L(\theta^{'})\)既不是局部极大值,也不是局部极小值,而是鞍点

三、逃离鞍点方法

从经验上看起来,局部极小值并没有那么常见。多数的时候,我们训练到一个梯度很小的地方,参数不再更新,往往遇到了鞍点。为解决参数不更新,训练停止的问题,所以我们需要有逃离鞍点的办法措施。

核心是找到有效的优化方向。

参考:《LeeDL Tutorial》 版本:1.1.8 第三章 深度学习基础 3.1 局部极小值与鞍点

标签:partial,THv,局部,基础,学习,深度,theta,极小值,鞍点
From: https://www.cnblogs.com/vigormn/p/18377643

相关文章

  • 051、Vue3+TypeScript基础,页面通讯之v-model在组件中手写实现
    01、main.js代码如下://引入createApp用于创建Vue实例import{createApp}from'vue'//引入App.vue根组件importAppfrom'./App.vue'//引入emitter用于全局事件总线//importemitterfrom'@/utils/emitter'constapp=createApp(App);//App.vue的根元素id为......
  • 【网络安全】基础知识详解(非常详细)零基础入门到精通,收藏这一篇就够了
    一、什么是网络安全?百度上对“网络安全”是这么介绍的:“网络安全是指网络系统的硬件、软件及其系统中的数据受到保护,不因偶然的或者恶意的原因而遭受到破坏、更改、泄露、系统连续可靠正常地运行,网络服务不中断。”嗯…是不是感觉有点抽象。那么我们再换一种表述:网......
  • CTF学习路线(非常详细)零基础入门到精通,收藏这一篇就够了
    **CTF概述:**CTF(夺旗赛)是一种网络安全竞赛,通过解决一系列安全问题来测试参赛者的技能和经验。对于网络安全爱好者和从业者来说,学习CTF是一个不错的选择。下面是从零开始学习CTF的详细规划和路线:1基础知识要开始学习CTF,首先需要掌握一些基础知识:编程语言:CTF题目中大多......
  • 机器视觉学习笔记和过程记录:下载安装OpenCv
    下载安装opencv1、本机已经安装了anaconda,打开对应的环境下的命令行窗口,输入python后回车,会显示python版本,本机是3.8.3:2、打开链接:Linksforopencv-python ,在网页中查找与python版本和操作系统对应的opencv版本: 本机python是3.8,系统是64位win10,所以选择opencv_python-3......
  • YSP_refs_cn_2016_适应症外及基础研究
    rhTNFR-Fc中文文献-2016-适应症外和基础研究 探索适应症外 随机对照试验[1][1] 杨雪阳,陈欢欢,郏文亭,等.重组人Ⅱ型肿瘤坏死因子受体-抗体融合蛋白治疗甲状腺相关性眼病的疗效.江苏医药,2016,42(9):1004-1006.浏览文摘 单臂观察[2][2] 李忱,刘晋河,郝......
  • Python小白自用学习日记 | print和input函数(参考“Python_子木”的教程)&pandas的下载
            写论文要分析气象数据,下载后发现是txt格式,看来要学学python做数据处理。真是“书到用时方恨少”。我看的是B站“Python_子木”的教程。电脑里以前装过了VScode,就暂时不下载pycharm了。        仅作为一个超级小白的养成系学习日记吧。大佬们请不用点......
  • 文件基础
    HEX签名ISO8859-1偏移扩展名描述2321#!0用于传递给紧随其后的shebang(#!)之后的程序的脚本或数据0000020006040600080000000000..............0wk1Lotus1-2-3电子表格(版本1)文件00001A000010040000000000..............0......
  • (保姆级)自学网络安全超详细学习路线,从青铜到王者的进阶之路_网络安全工程师自学
    算上从学校开始学习,已经在网安这条路上走了10年了,无论是以前在学校做安全研究,还是毕业后在百度、360从事内核安全产品和二进制漏洞攻防对抗,我都深知学习方法的重要性。没有一条好的学习路径和好的学习方法,往往只会事倍功半。回头看来自己踩过不少坑,走过不少冤枉路,希望我的......
  • 【2024最新】Android Debug Bridge【下载安装】零基础到大神【附下载链接】_android d
    一、ADB简介1、什么是adbADB全称为AndroidDebugBridge,起到调试桥的作用,是一个客户端-服务器端程序。其中客户端是用来操作的电脑,服务端是Android设备。ADB也是AndroidSDK中的一个工具,可以直接操作管理Android模拟器或者真实的Android设备。2、为什么要用......
  • 【Java 基础篇】Java Stream 流详解
    原文地址:https://blog.51cto.com/techfanyi/7716839JavaStream(流)是Java8引入的一个强大的新特性,用于处理集合数据。它提供了一种更简洁、更灵活的方式来操作数据,可以大大提高代码的可读性和可维护性。本文将详细介绍JavaStream流的概念、用法和一些常见操作。什么是Stream流?......