梯度（Gradient） 是多变量函数中表示变化率和方向的一个基本概念，在优化问题和深度学习中非常重要。它描述了函数在某一点的变化趋势，指向该点函数值增长最快的方向。
梯度和导数的关系
梯度和导数的应用场景
梯度与导数的区别
| 特性 | 导数 | 梯度 |
|---|---|---|
| 适用范围 | 一元函数 | 多元函数 |
| 表示形式 | 标量（一个值） | 向量（包含多个值） |
| 描述的内容 | 函数在某点的变化率 | 函数在某点沿不同方向的变化率 |
| 几何意义 | 函数图像在某点的切线斜率 | 等值面的法向量 |
| 应用场景 | 一维优化、物理学 | 高维优化、深度学习、物理学 |
梯度下降的实例
分析梯度下降过程
-
梯度逐步变小：
- 每次迭代后，梯度 ∇J(x)的绝对值在减小，说明我们逐渐接近最优解。
- 第一次迭代：∇J(x0)=−6；
- 第二次迭代：∇J(x1)=−4.8，依次递减。
-
函数值逐步下降：
- 每次迭代后，函数值 J(x)都在减小。
- 初始时 J(0)=9，到 t=4 时，已经下降到 J(2.01696)=0.9663。
-
逐步收敛到最优解：
- 理论上，当 t→∞ 时，xt→3。
- 梯度 是函数变化的方向和速率。
- 一元函数：梯度是导数，本质是标量。
- 多元函数：梯度是向量，每个分量是对应自变量的偏导数。
- 梯度下降 的公式对一元和多元情况通用：
- 一元情况下：标量更新；
- 多元情况下：向量更新。
- 在机器学习优化中，使用“梯度”描述优化过程能够统一处理各种维度的目标函数。