大家好，我是gdut本科生一枚，本文是我的学习笔记，内容来自目前正在学习的章云教授的高等数学课程，视频来源于b站，如有侵权请联系我删除，谢谢。内容写的一般，希望这个博客能帮助大家学到东西，共同进步。本文的主要内容：优化问题、拉格朗日乘子、迭代算法、牛顿法、梯度下降法、BP神经网络
优化问题
1、线性优化
可行域：由各种等式和不等式约束形成的可行空间称为可行域
在工程实际中，容易提出优化问题，例如：线性优化
2、非线性优化
最优定价问题：
3、数据建模、数据拟合、数据挖掘等问题
以上这些问题，均可归结于调整参数的优化问题，优化变量往往受到约束，不等式约束往往化成等式约束去解决。
二、有约束优化转无约束优化：
只要约束变量不超出可行域，则求改函数的最小值和求原问题的最小值等效。
所有问题都能改成无约束的优化问题！！所有这是我们的研究重点！！
一阶偏导为梯度
二阶偏导为海森阵
无约束优化问题解存在的条件：J为严格的凸函数，即海森阵正定即可。
如果偏导数很多呢？
或者非常难求呢？
不能直接求！
三、迭代
找出一种修正，使下一个解一定优于目前的解。
迭代问题非常适合计算机求解。
通过梯度取负值达到第一个条件，通过h取很小达到第二个条件
多个变量呢？轮回迭代
但是这样有一个大问题！计算量庞大
四、多变量梯度下降法
以梯度下降法为例：
五、多变量牛顿法
只要cosθ< 0即可，修改的方向进行改良。梯度下降法使一阶泰勒，现在使用二阶泰勒。
使用海森阵的逆对梯度方向进行旋转，牛顿法。
六、BP学习算法
