传统的梯度下降优化算法中，可能会碰到以下情况：碰到平缓区域，梯度值较小，参数优化变慢碰到“鞍点”，梯度为0，参数无法优化碰到局部最小值对于这些问题,出现了一些对梯度下降算法的优化方法，例如：Momentum、AdaGrad、RMSprop、Adam等.1.指数加权平均我们最常见的算数平均指