梯度下降法
迭代条件：
梯度下降法的缺点：
- 初值的确定影响着迭代的快慢。
- 步长过小可能要好多步才能到达极小值
- 步长过大或则算法多次迭代后，可能导致在两个值之间反复振荡，收敛速度较慢
可以迭代的前期使用梯度下降法
牛顿法
迭代条件
证明：
牛顿法相对于梯度下降法
函数在较陡的地方梯度变化就会比较快，这样二阶导数（海森矩阵）就会较大，而
中的负号导致步长较小，因此x会更新的慢一些不至于跨过极小值。但海森矩阵求解过于复杂计算量较大。
为了解决海森矩阵计算较为复杂的问题采用高斯牛顿法：
高斯牛顿法
迭代条件
我们先来看高斯牛顿法的推导：
式31采用在x处进行泰勒展开来近似f(x+Δx)，然后对泰勒展开使用最小二乘法，目的是不产生海森矩阵这同样也会带来一些问题，如果x+Δx超出了x的邻域范围，泰勒展开将无法近似。
为解决上述问题采用LM算法
标签：迭代,梯度,非线性,牛顿,步长,矩阵,极小值,优化 From： https://www.cnblogs.com/Sandals-little/p/17289016.html