写今天的学习笔记之前,我要好好表达对Datawhale的感谢。
记不清这是第几次跟着组织学习了。虽然也只是从懵懂小白0.1到萌萌小白0.2,虽然很多词汇还都不懂,但没有Datawhale的学习氛围和小伙伴的积极表现,我的这一点点进步也可能不会有。
正文开始:
各种词汇定义:
模型(model)== 带有未知的参数(parameter)的函数, 比如y = b + w ∗ x
特征(feature)== 函数里面已知x
权重 (weight)== x乘以的参数w (对x的直接影响力/关联度?)
偏置(bias)== 函数里面附加的b (对关联度的修正)
损失(loss)== 也是一个函数 L(b, w),其输入是模型参数 b跟w ( 把每一个误差通通加起来取得平均,得到损失L)
标签(label)== 真实的值
助力理解的概念:
机器学习就是让机器具备找一个函数的能力。
机器学习包括回归regression,分类classification,和结构化学习structured learning。
回归:要找的函数的输出是一个数值,一个标量(scalar)
分类:要找的函数的输出就是从设定好的选项(class)里面选择一个当作输出
结构化学习:机器不只是要做选择题或输出一个数字,而是产生一个有结构的物体。这种叫机器产生有结构的东西的学习
其他知识点:
估测的值跟实际的值之间的差距,其实有不同的计算方法,包括平均绝对误差(Mean Absolute Error,MAE),均方误差(Mean SquaredError,MSE),交叉熵(cross entropy)(y 和 yˆ 都是概率分布的时候)。
试验不同的参数,计算它的损失,画出来的等高线图称为误差表面(error surface)。
w*,b* == 使得loss的值最小
“算微分就是左右环视,它会知道左边比较高还是右边比较高,看哪边比较低,它就往比较低的地方跨出一步。“
斜率:大,就是步伐跨大一点;小,就是步伐跨小一点;正:就是右边比左边大;负,就是左边比右边大。
学习率(learning rate)η 也会影响步伐大小。学习率是自己设定的,如果 η 设大一点,每次参数更新就会量大,学习可能就比较快。如果 η 设小一点,参数更新就很慢,每次只会改变一点点参数的数值。
这种在做机器学习,需要人设定,不是机器自己找出来的参数,称为超参数(hyperparameter)。更新次数是一个超参数,因为是人定的。
梯度下降有一个很大的问题:没有找到真正最好的解,没有找到可以让损失最小的 w。取决于起始点。它最后只能找到一个 全局最小值(global minima)。无法真的找到全局最小值。
标签:机器,函数,第一篇,Datawhale,学习,献给,参数,一个 From: https://blog.csdn.net/V6T1Z4/article/details/141615598