书接上文，想要用算法解决问题，就不可避免的涉及构造函数L（后面称之为损失函数Loss）求导，和对Loss函数求极小值。而对导函数求极小值就不得不提梯度下降算法，那边本期就来介绍什么是梯度下降算法，以及为什么梯度下降算法能求Loss函数的极小值。什么是梯度？梯度是偏导数组成的向量，，w是

传统的梯度下降优化算法中，可能会碰到以下情况：碰到平缓区域，梯度值较小，参数优化变慢碰到“鞍点”，梯度为0，参数无法优化碰到局部最小值对于这些问题,出现了一些对梯度下降算法的优化方法，例如：Momentum、AdaGrad、RMSprop、Adam等.1.指数加权平均我们最常见的算数平均指