首页 > 其他分享 >吴恩达2022机器学习专项课程(一) 4.1 梯度下降

吴恩达2022机器学习专项课程(一) 4.1 梯度下降

时间:2024-03-27 13:30:50浏览次数:27  
标签:吴恩达 4.1 函数 梯度 算法 下降 最小值 2022 成本

问题预览

1.梯度下降算法的作用是?
2.梯度下降如何计算线性回归的成本函数?
3.所有的成本函数都是一个形状吗?
4.在非凸形状中,梯度下降的更新过程是?
5.在非凸形状中,不同的初值对最小化成本函数的影响是?
6.什么是局部最小值?

笔记

1.梯度下降算法的作用

梯度下降算法可以计算大多数函数的最小值。

2.计算线性回归的成本函数

梯度下降可以用于最小化线性回归的成本函数。先给w,b设置初始值,一般为0,梯度下降算法不断更新w,b,如果有多个w,则不断更新每个w,直至成本函数接近或达到最小值。

3.不同成本函数的形状

不同的成本函数形状也不同,例如神经网络模型可能用到的某个成本函数,呈现多曲面非凸状。

在这里插入图片描述

4.梯度下降的更新过程

梯度下降算法不断更新成本函数的值,每次更新都尽量让成本函数的值下降的最快,直至局部或全局最低点。

在这里插入图片描述

5.不同的w,b对梯度下降的影响

在非凸形状中,w,b的初始值不同,梯度下降的起点也不同,最终计算的成本函数最小值也不同。

在这里插入图片描述

6.局部最小值

如上图示例,不同的w,b起始位置,会计算出不同的成本函数最小值,两个不同的最小值被称为局部最小值。

总结

梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值,借此得到最优的w,b,因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时,不断更新w,b,尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值,而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值,这取决于成本函数的具体形状。

标签:吴恩达,4.1,函数,梯度,算法,下降,最小值,2022,成本
From: https://blog.csdn.net/AIGC_xuexishe/article/details/137071841

相关文章

  • VS2022软件打包 生成和事后事件处理
    VS2022软件打包生成和事后事件处理 示例目标:将编译后的文件拷贝到新的文件,并重命名方便软件打包 生成前:删除目标目录:rd/s/q"$(SolutionDir)..\setup\$(ConfigurationName)\"生成后-拷贝重命名:copy"$(TargetPath)"$(TargetDir)JCZX-2024.exe"copy"$(TargetPat......
  • SDUT JAVAlab4.1
    7-1sdut-JAVA-SumOfNumbers分数8全屏浏览切换布局作者 马新娟单位 山东理工大学YouarerequiredtowriteaJavaapplicationprogramthatusesalooptoaccepttennumbersfromtheenduser.Yourprogramshoulddisplaythesumofthe10numbersent......
  • P8819 [CSP-S 2022] 星战 (很厉害的随机化想法)
    简化下题意有n个点m条单向边每条边有激活和失活两种状态,一共有4中操作1.失活一条u->v的边2.失活终点是v的边3.激活u->v的边4.激活终点是v的边问你每次修改后每个点的出度是否都为1.50分的做法就是暴力修改,对于1操作和3操作都是可以o(1)解决,对于2操作和4......
  • macOS Sonoma 14.4.1 (23E224) 正式版发布,ISO、IPSW、PKG 下载
    macOSSonoma14.4.1(23E224)正式版发布,ISO、IPSW、PKG下载2024年3月26日凌晨,macOSSonoma14.4.1更新修复了一个可能导致连接到外部显示器的USB集线器无法被识别的问题。它还解决了可能导致Java应用程序意外退出的问题,并修复了可能导致专业音乐应用程序的音频单元......
  • macOS Sonoma 14.4.1 (23E224) 正式版 Boot ISO 原版可引导镜像下载
    macOSSonoma14.4.1(23E224)正式版BootISO原版可引导镜像下载2024年3月26日凌晨,macOSSonoma14.4.1更新修复了一个可能导致连接到外部显示器的USB集线器无法被识别的问题。它还解决了可能导致Java应用程序意外退出的问题,并修复了可能导致专业音乐应用程序的音频......
  • 4.1 内核
    相关参考资料:技术参考手册和数据手册(要知道技术文档的作用哦)技术参考手册是有关如何使用该产品的具体信息,包含各个功能模块的内部结构、所有可能的功能描述、各种工作模式的使用和寄存器配置等详细信息。技术参考手册不包含有关产品技术特征的说明,这些内容在数据手册中。//......
  • 肖sir__python之判断语句4.1
    python中的语句 一、if语句(1)单分支:格式:if判断条件  执行语句块1else:  执行语句块2备注:判断条件if中可以使用比较运算符>,<,!=,==,>=,<=在学习自动化中可以用if语句断言,案例1:a=10ifa!=10:print("你中奖了")else:print("谢谢惠顾")案例2:name=inpu......
  • 吴恩达机器学习笔记第六章逻辑回归分析以及代码实现
    第六章对线性代数和导数的要求比之前几章是要高一些的,对于对应的数学知识点我会在下方顺便仔细地指出来并在能力范围内给予一定的推导,尽量保证各位能明白不用再查来查去的,不用重蹈我的覆辙......
  • 吴恩达机器学习实践笔记,第四章的多元梯度下降的实现
    https://blog.csdn.net/out_look520/article/details/107695529这个链接里面有需要的数据集,有需要的兄弟姐妹们自己解决哟,我下面的数据就是从那个博主那里拿的今天实践了一下多元梯度下降哈,其实道理和原来二元的一样,也是采用下面这个式子只是θ的数量多了一些而已,废话不多......
  • Windows Server 2022 上启用显卡的 D3D 加速功能可以通过以下步骤来实现
    WindowsServer2022上启用显卡的D3D加速功能可以通过以下步骤来实现:确保你的服务器上已安装了最新的显卡驱动程序,确保显卡支持Direct3D功能。在开始菜单中搜索并打开"PowerShell"。在PowerShell中,输入以下命令以安装WindowsServer的图形工具:powershellCopy......