局部最小值于鞍点

训练模型的参数时，随着参数不断地更新，loss函数不会再继续下降，但是仍然对这个loss不满意 ，或者有时候发现一开始model就训练不起来，不论怎么更新参数loss函数都不会掉下去。我们认为在某个地方参数对loss的微分是0，于是梯度下降就失去了作用，这个时候训练就停止了，这个现象称为梯度消失，对于这个微分为0的地方，首先想到的会是局部最小值。但是不是只有局部最小值处的梯度为0，还有鞍点（saddle point）可能梯度也是0

于是我们便想知道，究竟是卡在了局部最优解处还是卡在了鞍点

• 特征值全大于零，局部最小值

• 小于零，局部最大值

• 有正有负，鞍点

但是有亿点麻烦。有个线性代数的方法，可以很快的判断。这涉及到正定矩阵（positive definite），还有特征值（eigen values）。只要知道特征值的情况，求可以得到H是什么矩阵，继而推出第三项的正负情况。