问题
深度学习中有很多优化函数，常见的那些你还记得它的定义以及优缺点吗？
背景知识
深度学习网络训练中，有很多可供选择的优化函数如SGD、Adam等等，到底用哪个好呢？其实这个问题没有确切的答案，优化函数是需要配合损失函数使用的，说白了，优化函数也是一种超参数，是需要尝试的，哪个效果好就用哪个……
这些优化函数其实差别不大，都是基于一个基本框架来演进的，所以下面先介绍下优化算法的基本框架：
１、优化算法基本框架
（记住这个框架！！！）
假设当前时刻待优化的参数为 θ t \theta_t
标签：面试题,函数,框架,2025,算法,哪个,深度,秋招,优化 From： https://blog.csdn.net/weixin_41496173/article/details/142055888