问题预览
1.梯度下降算法的作用是?
2.梯度下降如何计算线性回归的成本函数?
3.所有的成本函数都是一个形状吗?
4.在非凸形状中,梯度下降的更新过程是?
5.在非凸形状中,不同的初值对最小化成本函数的影响是?
6.什么是局部最小值?
笔记
1.梯度下降算法的作用
梯度下降算法可以计算大多数函数的最小值。
2.计算线性回归的成本函数
梯度下降可以用于最小化线性回归的成本函数。先给w,b设置初始值,一般为0,梯度下降算法不断更新w,b,如果有多个w,则不断更新每个w,直至成本函数接近或达到最小值。
3.不同成本函数的形状
不同的成本函数形状也不同,例如神经网络模型可能用到的某个成本函数,呈现多曲面非凸状。
4.梯度下降的更新过程
梯度下降算法不断更新成本函数的值,每次更新都尽量让成本函数的值下降的最快,直至局部或全局最低点。
5.不同的w,b对梯度下降的影响
在非凸形状中,w,b的初始值不同,梯度下降的起点也不同,最终计算的成本函数最小值也不同。
6.局部最小值
如上图示例,不同的w,b起始位置,会计算出不同的成本函数最小值,两个不同的最小值被称为局部最小值。
总结
梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值,借此得到最优的w,b,因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时,不断更新w,b,尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值,而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值,这取决于成本函数的具体形状。
标签:吴恩达,4.1,函数,梯度,算法,下降,最小值,2022,成本 From: https://blog.csdn.net/AIGC_xuexishe/article/details/137071841