举一个直观的例子来说明SGD和Momentum的区别的话——
SGD是一个轻球（无惯性）做梯度下降寻找loss极小值，而Momentum则是一个重球（有惯性）做梯度下降寻找loss极小值。
我们在原始SGD上引入了一个Momentum（又叫Heavy Ball）的改进。
标签：loss,梯度,理解,momentum,极小值,SGD,Momentum From： https://www.cnblogs.com/a155-/p/16937577.html
举一个直观的例子来说明SGD和Momentum的区别的话——
SGD是一个轻球（无惯性）做梯度下降寻找loss极小值，而Momentum则是一个重球（有惯性）做梯度下降寻找loss极小值。
我们在原始SGD上引入了一个Momentum（又叫Heavy Ball）的改进。
标签：loss,梯度,理解,momentum,极小值,SGD,Momentum From： https://www.cnblogs.com/a155-/p/16937577.html