七月在线公开课笔记(二十四)
人工智能—机器学习中的数学(七月在线出品) - P18:随机梯度下降法的困难与变种 - 七月在线-julyedu - BV1Vo4y1o7t1
我们稍微再简介一下我后面这个部分的内容,这部分当然可能更深入一些。大家我们去年有一个公开公开课,就专门讲这个大家也可以找一找叫做这个。呃,机器学习中的优化算法,那么那么一个课。一个论文班论文班的公开课。
啊。说是什么事情呢?就我们前面讲的这个梯度加政法。我们说牛顿法就不算了啊,就主要是用提步相也法。那个旧香法呢,它还是在具体的工程问题中还是有很多困。只有两个。第一个困难就梯度计算。
当你的这个通常你在积学习中啊,那个函数并不是一个写出来的一个呃。就是可以求导的这么一个公式啊,去求导。它实际上呢啊通常都是一个。有好多样本,每个样本给你一个函数,你把这个函数加起来。
再对这个整个这个函数是。啊,算这东西。当你样本量很大的时候,这件事儿就变得非常的耗时耗力。就是说那这样这函数它并不是一个那么简单的写出来的一个函,它是一大一大堆函数的求和,每一个函数里都有这个随塔。
但是通用的C塔的都是随塔。那后你要对这个东西求导,你想你要每一个函数求导一遍。在不同的位置都得这个都得求求一遍。然后呢,你把它们加起来,这样才得到整个函数的导数。这样呢计算就非常复杂,就是比较慢。
当你这个样本上打出来。还有一个问题呢,就是我们在讲这个学习率的选这个选取。选了小了手法收敛太慢,就着急角趾找太慢。选大了呢。他可能不收敛。比如说你就我们这个函数吧,你在这点出发,你知道要往右走。
如果你选那学习率非常大,砰跑这来了,你现在就要往左走,砰跑这来了,你再往右走又跑这来,来回震荡,它总远不收敛,对吧?选小了呢?你再往右走走一点,我还要往右走,再走一点,还要走,你再走一点。
走了一年也没走到地方,对吧?就是说这个学习率怎么选,具体问题还得具体分析。这是很恶心,你给你个新问题怎么办呢?
标签:大家,这个,所以,一个,笔记,公开课,二十四,我们,就是 From: https://www.cnblogs.com/apachecn/p/18498009