首页 > 其他分享 >第一篇献给Datawhale

第一篇献给Datawhale

时间:2024-09-03 22:22:10浏览次数:4  
标签:机器 函数 第一篇 Datawhale 学习 献给 参数 一个

写今天的学习笔记之前,我要好好表达对Datawhale的感谢。

记不清这是第几次跟着组织学习了。虽然也只是从懵懂小白0.1到萌萌小白0.2,虽然很多词汇还都不懂,但没有Datawhale的学习氛围和小伙伴的积极表现,我的这一点点进步也可能不会有。

正文开始:

各种词汇定义

模型(model)== 带有未知的参数(parameter)的函数, 比如y = b + w ∗ x

特征(feature)== 函数里面已知x

权重 (weight)== x乘以的参数w (对x的直接影响力/关联度?)

偏置(bias)== 函数里面附加的b (对关联度的修正)

损失(loss)== 也是一个函数 L(b, w),其输入是模型参数 b跟w ( 把每一个误差通通加起来取得平均,得到损失L)

标签(label)== 真实的值

助力理解的概念

机器学习就是让机器具备找一个函数的能力。

机器学习包括回归regression,分类classification,和结构化学习structured learning。

回归:要找的函数的输出是一个数值,一个标量(scalar)

分类:要找的函数的输出就是从设定好的选项(class)里面选择一个当作输出

结构化学习:机器不只是要做选择题或输出一个数字,而是产生一个有结构的物体。这种叫机器产生有结构的东西的学习

其他知识点:

估测的值跟实际的值之间的差距,其实有不同的计算方法,包括平均绝对误差(Mean Absolute Error,MAE),均方误差(Mean SquaredError,MSE),交叉熵(cross entropy)(y 和 yˆ 都是概率分布的时候)。

试验不同的参数,计算它的损失,画出来的等高线图称为误差表面(error surface)。

w*,b* == 使得loss的值最小

“算微分就是左右环视,它会知道左边比较高还是右边比较高,看哪边比较低,它就往比较低的地方跨出一步。“

斜率:大,就是步伐跨大一点;小,就是步伐跨小一点;正:就是右边比左边大;负,就是左边比右边大。

学习率(learning rate)η 也会影响步伐大小。学习率是自己设定的,如果 η 设大一点,每次参数更新就会量大,学习可能就比较快。如果 η 设小一点,参数更新就很慢,每次只会改变一点点参数的数值。

这种在做机器学习,需要设定,不是机器自己找出来的参数,称为超参数(hyperparameter)。更新次数是一个超参数,因为是人定的

梯度下降有一个很大的问题:没有找到真正最好的解,没有找到可以让损失最小的 w。取决于起始点。它最后只能找到一个 全局最小值(global minima)。无法真的找到全局最小值。

标签:机器,函数,第一篇,Datawhale,学习,献给,参数,一个
From: https://blog.csdn.net/V6T1Z4/article/details/141615598

相关文章

  • 2、实践方法论(Datawhale X 李宏毅苹果书 AI 夏令营)
    2、实践方法论(DatawhaleX李宏毅苹果书AI夏令营)在应用机器学习算法时,实践方法论能够帮助我们更好地训练模型。如果在Kaggle上的结果不太好,虽然Kaggle上呈现的是测试数据的结果,但要先检查训练数据的损失。2.1模型偏差有时候把模型设置的太过简单,使得函数的集合太小了,没......
  • Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门班-task3-机器学习实践方法论
    引入在简单了解到机器学习的过程,以及模型函数的优化升级之后,我们需要根据一些方法论,解决模型实践过程中会遇到的问题,学会分析模型数据,按照正确的路径优化模型,减少测试误差(TestingLoss)。实践方法论整体框架下图是实践方法论的整体框架,下文会根据逻辑顺序一一介绍。step......
  • Datawhale X 李宏毅苹果书 AI夏令营 Task3-机器学习实践方法论
    在上一章介绍完机器学习模型后,我们接着讨论模型中可能存在的一些问题。首先我们需要明确一件事,就是Kaggle上的测试结果不好,可能有多个原因。第一,如果模型在运行训练模型时,所产生的损失就很大,那么有可能是模型偏差(modelbias)或优化(optimization)问题。第二,如果模型在运行训......
  • Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门篇-Task3《深度学习详解》- 实践方法
     核心学习目标:通过《深度学习详解》和李宏毅老师21年的机器学习课程视频,入门机器学习,并尝试学习深度学习,展开代码实践(选修)。该书保留了李宏毅老师公开课中大量生动有趣的例子,帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节,包括卷积神经网络、Transform......
  • Datawhale X 李宏毅苹果书AI夏令营深度学习入门(三)
    一.实践方法论(一)模型偏差模型偏差可能会影响模型训练。若模型过于简单,一个有未知参数的函数代θ1得到一个函数fθ1(x),同理可得到另一个函数fθ2(x),把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了,没有包含任何一个函数,可以让损失变低的函数不在模型可以描......
  • 深度学习入门篇Task3#Datawhale X 李宏毅苹果书 AI夏令营
    第二章实践方法论2.1模型偏差模型过于简单导致未拟合重新设计模型增加特征2.2优化问题梯度下降优化的不够,没找到最优参数针在海里,大海捞针,但是方法不给力建议:先使用简单的线性模型或者是SVR测试一下,一般这些模型不会优化不到位训练数据损失突然不再降低或者......
  • Datawhale X 李宏毅苹果书AI夏令营深度学习进阶(三)
    一.批量归一化继续上一篇文章的批量归一化,如果是固定的学习率,可能很难得到好的结果,所以我们才需要自适应的学习率、Adam等比较进阶的优化的方法,才能够得到好的结果。如果我们可以给不同的维度,同样的数值范围的话,那我们可能就可以制造比较好的误差表面,让训练变得比较容易一点其实......
  • #Datawhale X 李宏毅苹果书 AI夏令营#3.1&3.2局部极小值与鞍点&批量和动量
    本章介绍深度学习常见的概念,主要包括3.1局部极小值与鞍点;3.2批量和动量。知识点讲解:3.1局部极小值和鞍点我们在做优化的时候,有时候会发现随着参数不断更新,函数的损失值却不再下降的现象,但这个优化结果离我们想要的理想值还差距很大。这是什么原因呢?接下来我们就研究这个问......
  • Datawhale X 李宏毅苹果书 AI夏令营-跟李宏毅学深度学习(入门)Task3笔记
    目录一、机器学习框架&实践攻略1.总览2.训练误差较大时:    1.模型偏差    2. 优化问题3.训练误差较小时:    1.测试误差较小:    2.测试误差较大:            1.过拟合    2.不匹配一、机器学习框架&实......
  • Datawhale X 李宏毅苹果书 AI夏令营 深度学习入门笔记02
    目录一、学习资料二、学习笔记(一)线性模型1、考虑周期性2、修改模型(二)模型变形之分段线性曲线1、分段线性直线2、分段线性曲线的图像和表达式(机器学习第一步:写出带有未知数的函数)(1)如何构成(2)如何表达(3)如何改进3、分段线性曲线的损失(机器学习第二步:定义损失)4、分段......