首页 > 其他分享 >梯度及梯度下降

梯度及梯度下降

时间:2023-05-25 18:45:49浏览次数:22  
标签:函数 梯度 更新 参数 下降 方向

梯度下降

我们的目的是找到使预测值最接近真实值的参数,也就是使损失函数最小的参数,即求解损失函数的极值点。于是引入梯度下降的方法,这是被使用最广泛的优化算法。

梯度下降算法是通过一次次的去调整参数,使得损失函数下降到极小值。

什么叫梯度?

梯度就是下降的方向,它的值为损失函数的偏导数。学习率是下降的步伐大小。

梯度是一个向量,体现函数的变化趋势,既有方向又有大小。方向代表着函数增长的方向,大小代表函数增长的速率。

image-20230512145734070

随机选择一个位置(随机初始化参数)开始梯度下降,每走一步就计算一次梯度,这是为了选择下降最快的方向,同时更新参数。

image-20230506184623110 image-20230506184635006

批量梯度下降

参数更新:

image-20230506184729854

image-20230506184800366

为什么参数的更新是用参数减去梯度?

image-20230506185304192 image-20230506185408178

批量梯度下降容易得到最优解,但由于每次考虑所有样本,速度很慢。

随机梯度下降

参数更新:image-20230506185616115

每次找一个样本,速度快,但是不一定朝收敛方向。

小批量梯度下降

参数更新:

image-20230506185806109

每次选择一部分数据计算,称为一个batch,例如10个。

标签:函数,梯度,更新,参数,下降,方向
From: https://www.cnblogs.com/dxmstudy/p/17432556.html

相关文章

  • 单层感知机的梯度推导
    单层感知机的梯度推导w10表示前一层的第1节点和这一层的第0节点相连。......
  • 多层感知机的梯度推导
    多层感知机的梯度推导pytorch实现注:torch.randn(m,n)生成m行n列的随机数......
  • rt下降40%?程序并行优化六步法
    1背景性能优化是我们日常工作中很重要的一部分,主要有以下原因:降低服务器和带宽等硬件成本:用更少的资源处理更多的请求提高现实世界的运行效率:人机处理效率存在数量级的偏差,同样机器世界的效率提升能带来现实世界效率提升的方法效果提高用户的体验:解决响应缓慢、宕机等问题......
  • 基于MATLAB的圆形检测算法:在MATLAB中实现的,利用图像边缘的梯度信息 进行圆形检测的算
    基于MATLAB的圆形检测算法:在MATLAB中实现的,利用图像边缘的梯度信息进行圆形检测的算法m文件可直接运行相比于传统的霍夫变换检测圆的算法速度有极大提升ID:33200670970755383......
  • 计算梯度jax
    #%%importjaximportjax.numpyasjnpimportnumpyasnpdefloss(params,r):lambda_a,lambda_s=paramsreturnjnp.maximum(r-lambda_a+lambda_s,0).max()loss_grad=jax.grad(loss)grad_a,grad_s=loss_grad(params,r)print(g......
  • 「模板」最长不下降子序列 LIS
    最长不下降子序列LIS在一个数字序列中,找到一个最长的子序列(可以不连续),使得这个子序列是不下降(非递减)的。例如,现有序列A={1,2,3,-1,-2,7,9}(下标从1开始),它的最长不下降子序列是{1,2,3,7,9},长度为5。另外,还有一些子序列是不下降子序列,比如{1,2,3},{-2,7,9}等,但都不是最长的......
  • 台达PLC-EH3.铆压机,3轴,Z轴(SMC)电缸下降的距离用的是位置加扭矩模式,台达PLC MODBUS通
    台达PLC-EH3.铆压机,3轴,Z轴(SMC)电缸下降的距离用的是位置加扭矩模式,台达PLCMODBUS通讯控制台达A2伺服扭矩,自动上下料,每个点位可跳点,可设位置和扭矩,PLC程序有完整的注释,触摸屏程序,伺服参数设定程序.电气BOM.电气CAD图纸。ID:6620665415434852......
  • 台达PLC-EH3.铆压机,3轴,Z轴(SMC)电缸下降的距离用的是位置加扭矩模式,台达PLC MODBUS通
    台达PLC-EH3.铆压机,3轴,Z轴(SMC)电缸下降的距离用的是位置加扭矩模式,台达PLCMODBUS通讯控制台达A2伺服扭矩,自动上下料,每个点位可跳点,可设位置和扭矩,PLC程序有完整的注释,触摸屏程序,伺服参数设定程序.电气BOM.电气CAD图纸。ID:3618670233899230......
  • Delta/台达PLC-EH3铆压机程序。 3轴,Z轴(SMC)电缸下降的距离用的
    Delta/台达PLC-EH3铆压机程序。3轴,Z轴(SMC)电缸下降的距离用的是位置加扭矩模式,台达PLCMODBUS通讯控制台达A2伺服扭矩,自动上下料,每个点位可跳点,可设位置和扭矩,PLC程序有完整的注释,触摸屏程序,伺服参数设定程序.电气BOM.电气CAD图纸。ID:7913668623547852......
  • 工程数学--上机实验四:共轭梯度法程序设计
    首先,根据目标函数,我们计算其梯度和海森矩阵:symsx1x2;f=100*(x2-x1^2)^2+(1-x1)^2;grad_f=gradient(f,[x1,x2]);grad_f_fun=matlabFunction(grad_f);hes_f=hessian(f,[x1,x2]);hes_f_fun=matlabFunction(hes_f);其中,grad_f_fun和hes_f_fun是把符号......