【mechine learning-十-梯度下降-学习率】

时间：2024-09-17 18:54:09浏览次数：3

标签：导致导数梯度 mechine 学习变化很大 learning 收敛

学习率

学习率
- 不同的学习率

在梯度下降算法中，学习率的选择很重要，不恰当的选择，甚至可能导致损失发散，而非收敛，下面就看一下学习率的影响。

学习率

学习率是下图中的红框圈出来的部分，
在这里插入图片描述
学习率是模型的超参数，输入模型用来更新权重，那么它的大小意味着什么呢？

不同的学习率

小的学习率，意味着公式中学习率和偏导数的乘积值变得很小，那梯度下降就会很慢，收敛的时间就会很长。
大的学习率，导致公式中学习率和偏导数的乘积值变化很大，虽然某一步可能损失变化很大，但很可能会错过局部极小值，导致一直在极值附近打转，损失不仅不会收敛反而会导致发散的结果，就像下图中下面那个图片显示的一样。
92f5e378b9bf.png)
虽然学习率固定，但是当合适的学习率，导数项会有变化，就以上图中导数刚开始的变化很大，到局部最小值的时候，导数为0

标签：导致,导数,梯度,mechine,学习,变化很大,learning,收敛
From： https://blog.csdn.net/zishuijing_dd/article/details/142303820

Zero-Shot，One-Shot，Few-Shot，In-Context Learning
Zero-Shot，One-Shot，Few-Shot，In-ContextLearninghttps://blog.csdn.net/weixin_44212848/article/details/139902394In-ContextLearning定义：In-contextlearning是一种在不显式微调模型权重的情况下，通过给模型提供相关的上下文信息（例如提示或样本）来实现模型性能提升的方法。GPT......
FVFL: A Flexible and Verifiable Privacy-Preserving Federated Learning Scheme--FV
FVFL:AFlexibleandVerifiablePrivacy-PreservingFederatedLearningScheme--FVFL:一种灵活且可验证的隐私保护联邦学习方案来源导读AbstractIntroductionProblemStatementA.ProblemDefinitionB.ThreatModelandGoalsPreliminariesA.FederatedLearning(......
Python实现梯度下降法
博客：Python实现梯度下降法目录引言什么是梯度下降法？梯度下降法的应用场景梯度下降法的基本思想梯度下降法的原理梯度的定义学习率的选择损失函数与优化问题梯度下降法的收敛条件Python实现梯度下降法面向对象的设计思路代码实现示例与解释梯度下降法应用实例：线......
时序预测 | MATLAB实现BKA-XGBoost(黑翅鸢优化算法优化极限梯度提升树)时间序列预测
时序预测|MATLAB实现BKA-XGBoost(黑翅鸢优化算法优化极限梯度提升树)时间序列预测目录时序预测|MATLAB实现BKA-XGBoost(黑翅鸢优化算法优化极限梯度提升树)时间序列预测预测效果基本介绍模型描述程序设计参考资料预测效果基本介绍Matlab实现BKA-XGBoost时间序列预测，黑翅鸢优......
【Preference Learning】Chain of Preference Optimization: Improving Chain-of-Thou
问题背景在推理过程中使用TOT方式可以增加推理性能，但由于增加了推理次数，导致耗时过大。目前待解决的问题是如何能在推理时既保持很好的推理能力，又保持推理耗时不会过大。本文方法文章提出CPO（ChainofPreferenceOptimization）方式。该方法使用TOT方式来探索推理路径得到......
DECL: 针对噪声时间序列的去噪感知对比学习《Denoising-Aware Contrastive Learning f
今天是2024年9月12日，组会摸鱼，很久没看论文了，在摸鱼看代码，最近IJCAI2024出来了，找了几篇论文看，首先这是第一篇。论文：Denoising-AwareContrastiveLearningforNoisyTimeSeries或者是：Denoising-AwareContrastiveLearningforNoisyTimeSeriesGitHub：https://github.com/be......
梯度下降法求最小值
梯度：是一个向量例如：图1 给定一个初始值x=5，这是一个一元函数，自变量有两个运动方向，向左和向右。向右边运动，越走越高，函数值在增加，这个方向被称为梯度方向；向左边运动，越走越低，函数值在减小这个方向为梯度的反方向。 ......
终身学习（LifeLong Learning，LLL）
终身学习也称为持续学习（continouslearning）、无止尽学习（never-endinglearning）、增量学习（incrementallearning）。终身学习本质上基于人类对于人工智能的想象，期待人工智能可以像人类一样能够持续不断地学习。如图1所示，我们先训练机器做任务......
《MaPLe: Multi-modal Prompt Learning》论文解读
系列文章目录文章目录系列文章目录论文细节理解1、研究背景2、论文贡献3、方法框架4、研究思路5、实验6、限制论文细节理解预训练的视觉语言（V-L）模型，如CLIP，已经显示出对下游任务的出色泛化能力。然而，它们对输入文本提示的选择很敏感，需要仔细选择提示模板才能良好......
论文阅读翻译之Deep reinforcement learning from human preferences
论文阅读翻译之Deepreinforcementlearningfromhumanpreferences关于首次发表日期：2024-09-11论文原文链接：https://arxiv.org/abs/1706.03741论文arxiv首次提交日期：12Jun2017使用KIMI，豆包和ChatGPT等机翻，然后人工润色如有错误，请不吝指出Deepreinforcementlearning......

【mechine learning-十-梯度下降-学习率】

学习率

学习率

不同的学习率

相关文章

赞助商

阅读排行