七月在线公开课笔记（二十四）

人工智能—机器学习中的数学（七月在线出品） - P18：随机梯度下降法的困难与变种 - 七月在线-julyedu - BV1Vo4y1o7t1

我们稍微再简介一下我后面这个部分的内容，这部分当然可能更深入一些。大家我们去年有一个公开公开课，就专门讲这个大家也可以找一找叫做这个。呃，机器学习中的优化算法，那么那么一个课。一个论文班论文班的公开课。

啊。说是什么事情呢？就我们前面讲的这个梯度加政法。我们说牛顿法就不算了啊，就主要是用提步相也法。那个旧香法呢，它还是在具体的工程问题中还是有很多困。只有两个。第一个困难就梯度计算。

当你的这个通常你在积学习中啊，那个函数并不是一个写出来的一个呃。就是可以求导的这么一个公式啊，去求导。它实际上呢啊通常都是一个。有好多样本，每个样本给你一个函数，你把这个函数加起来。

再对这个整个这个函数是。啊，算这东西。当你样本量很大的时候，这件事儿就变得非常的耗时耗力。就是说那这样这函数它并不是一个那么简单的写出来的一个函，它是一大一大堆函数的求和，每一个函数里都有这个随塔。

但是通用的C塔的都是随塔。那后你要对这个东西求导，你想你要每一个函数求导一遍。在不同的位置都得这个都得求求一遍。然后呢，你把它们加起来，这样才得到整个函数的导数。这样呢计算就非常复杂，就是比较慢。

当你这个样本上打出来。还有一个问题呢，就是我们在讲这个学习率的选这个选取。选了小了手法收敛太慢，就着急角趾找太慢。选大了呢。他可能不收敛。比如说你就我们这个函数吧，你在这点出发，你知道要往右走。

如果你选那学习率非常大，砰跑这来了，你现在就要往左走，砰跑这来了，你再往右走又跑这来，来回震荡，它总远不收敛，对吧？选小了呢？你再往右走走一点，我还要往右走，再走一点，还要走，你再走一点。

走了一年也没走到地方，对吧？就是说这个学习率怎么选，具体问题还得具体分析。这是很恶心，你给你个新问题怎么办呢？