对于牛顿法的理解，从泰勒展开入手
为什么牛顿法在学习率选取适当的时候，优化效率会优于梯度下降：
蓝色线是目标函数
灰色线是从某点开始的最优下降路线
橙色线是使用梯度下降法
绿色线是使用牛顿法
在a0点对目标函数做泰勒展开，可以直观发现，梯度下降相当于一阶泰勒展开，牛顿法相当于二阶泰勒展开，相对来说，牛顿法的曲线会更加贴合目标函数的曲线。
标签：泰勒,函数,入手,梯度,牛顿,展开 From： https://www.cnblogs.com/tourbillon/p/17467746.html
为什么牛顿法在学习率选取适当的时候，优化效率会优于梯度下降：
蓝色线是目标函数
灰色线是从某点开始的最优下降路线
橙色线是使用梯度下降法
绿色线是使用牛顿法
在a0点对目标函数做泰勒展开，可以直观发现，梯度下降相当于一阶泰勒展开，牛顿法相当于二阶泰勒展开，相对来说，牛顿法的曲线会更加贴合目标函数的曲线。
标签：泰勒,函数,入手,梯度,牛顿,展开 From： https://www.cnblogs.com/tourbillon/p/17467746.html