首页 > 其他分享 >Datawhale X 李宏毅苹果书 AI夏令营task1笔记

Datawhale X 李宏毅苹果书 AI夏令营task1笔记

时间:2024-08-24 18:49:58浏览次数:5  
标签:task1 函数 AI 梯度 模型 拟合 学习 参数 李宏毅

一、什么是机器学习
机器学习:通过从经验中学习,使计算机能够从数据中提取出规律、模式和知识,并利用这些知识来做出预测、做出决策或执行任务,而无需明确地编程规则。

二、机器学习常见概念
1.监督学习和无监督学习
1.1 监督学习
定义:提供输入数据和其对应的标签数据,然后搭建一个模型,模型经过训练后准确的找到输入数据和标签数据之间的最优映射关系,从而对新的未标记数据进行预测或分类。
  定义看懵逼了吧?接下来说人话!!!

  假如有一群草泥马和牛马组成的马群,这时候需要一个机器对马群进行分类,但是这个机器不知道草泥马和牛马长什么样儿,所以我们首先拿一堆草泥马和牛马的照片给机器看,告诉机器草泥马和牛马长什么样儿。机器经过反复的看,形成肌肉记忆,可以对草泥妈和牛马形成自己的定义,然后机器就可以准确的对马群进行分类。在这个过程中,草泥马和牛马的照片就叫做标签,反复的看理解为训练,形成的肌肉记忆叫做模型,这就是监督学习的过程。

监督学习主要包括:线性回归、逻辑回归、决策树、随机森林、支持向量机、朴素贝叶斯、k近邻算法。
1.2 无监督学习
定义:训练数据只包含输入样本,没有相应的标签或目标。
包装一下:我们没有拿草泥马和牛马的照片对机器进行系统的训练,机器也不知道这两个马儿长什么样,而是直接让机器对这两个马儿进行分类。这就是无监督学习。

  如图1所示,左图是无监督学习的过程,虽然数据被分成了两类,但是没有对应的数据标签,统一用蓝色的圆点表示,这更像是把具有相同的特征的数据聚集在一起,所以无监督学习实现分类的算法又叫做聚类。右图是监督学习中二分类的过程,标签在图中体现为三角和圆。

无监督学习主要包括:聚类、PCA、关联规则挖掘。

2.半监督学习、弱监督学习、强化学习
半监督学习:利用同时包含标记样本和未标记样本的数据进行训练。
弱监督学习:标签信息不完整或不准确的监督学习问题。
强化学习:通过与环境的交互学习来做出决策和执行动作,以最大化累积奖励。

3.欠拟合和过拟合
3.1 欠拟合:机器学习模型对训练数据的拟合程度不足或不够好的情况。

  如图所示是房屋的大小和价格的关系,左图是正常的数据对应关系。右图就是一个欠拟合模型,这个模型虽然捕获了部分的数据对应关系,但是对新的数据不能很好的预测,如果输入的新数据的真实价格在改模型上下抖动,那么相同面积房屋的预测价格和真实价格会有较大的误差。

解决办法:

增加模型的复杂度:可以尝试增加模型的层数、增加神经元的数量或增加模型的参数量。
收集更多的训练数据:增加训练数据量可以提供更多的信息。
特征工程:通过特征选择、特征变换等方法,提取更有效的特征,有助于提高模型的表达能力。
正则化:通过添加正则化项(如L1正则化、L2正则化)来限制模型的复杂度。
模型集成:使用多个模型进行集成,如Bagging、Boosting等方法,可以提高模型的预测能力。
3.2 过拟合:模型过度学习了训练数据中的噪声和细节,导致对训练样本的拟合过于精确;

  如图所示是房屋的大小和价格的关系,左图是正常的数据对应关系。右图就是一个过拟合模型,我们通俗易懂的理解一下,就是群众当中有坏人,有一些大大的显眼包,那就是噪声数据。噪声数据严重偏离既定的数据轨道,拟合出来的模型会发生巨大的改变,一颗老鼠屎坏了一锅汤。

解决办法:

增加训练数据:增加更多的训练样本可以提供更多的信息。
使用正则化:通过添加正则化项(如L1正则化、L2正则化)来限制模型的复杂度。
提前停止(Early Stopping):在训练过程中监控模型在验证集上的性能,当性能不再提升时停止训练,避免过拟合。
4.损失和优化
4.1 损失:模型得到的预测值和真实值的差距。

常见损失函数:

均方误差函数(MSE):计算预测值与真实值之间差异的平方,并求取这些平方差的平均值。

均方根误差函数(RMSE):均方误差的平方根。

平均绝对误差函数(MAE):计算预测值与真实值之间差异的绝对值,并求取这些绝对值的平均值

4.2 优化:尽可能在不过拟合的情况下降低损失值。
  机器学习中最常用的是一阶优化函数,典型的包括GD、SGD、Momentum、Adagrad、Adam等。一阶优化函数在优化过程中求解的是参数的一阶导数值。

常见优化函数:

梯度:多元函数的各个参数求得的偏导数以向量的形式展现出来,这就是多元函数的梯度。

梯度下降:通过迭代更新参数,沿着负梯度方向(即损失函数对参数的偏导数)逐步降低损失函数的值,直到达到局部最优或全局最优。

梯度下降算法的步骤如下:

初始化模型参数:根据具体问题,初始化模型的参数,如权重和偏置。
计算损失函数:使用当前参数值计算损失函数的值,衡量模型预测结果与真实值之间的差异。
计算梯度:计算损失函数对每个参数的偏导数,得到参数的梯度。梯度表示了损失函数在当前参数值处的变化率和方向。
更新参数:根据学习率(learning rate)和梯度的方向,更新模型的参数。学习率控制了每次参数更新的步长,一般取一个较小的正数。
重复步骤2至4:反复迭代执行步骤2至4,直到达到停止条件,如达到最大迭代次数或损失函数的变化不再显著
常见梯度下降算法:

批量梯度下降(Batch Gradient Descent):在每次迭代中,使用所有训练样本计算损失函数和梯度,并更新参数。

随机梯度下降(Stochastic Gradient Descent):在每次迭代中,随机选择一个训练样本计算损失函数和梯度,并更新参数。相比批量梯度下降,随机梯度下降的计算效率更高,但可能导致参数更新的方向不稳定。

小批量梯度下降(Mini-batch Gradient Descent):在每次迭代中,随机选择一小批训练样本计算损失函数和梯度,并更新参数。小批量梯度下降综合了批量梯度下降和随机梯度下降的优点,既能保持较稳定的参数更新方向,又能提高计算效率。

5.激活函数
激活函数:将线性模型转化为非线性模型。
为什么要用激活函数? 举例说明:
  假如有一个单层神经网络模型:
  如果搭建二层神经网络,加入激活函数的二层神经网络表达式如下:
  如果是一个多层次的神经网络模型,比如一个三层神经网络模型,并且每层的神经输出都使用相同的激活函数,表达式如下
  可以看出,无论我们加深多少层,它仍旧是一个线性模型,如果不引入激活函数,线性模型在应对非线性问题会存在很大的局限性,所以要引入激活函数得到复杂多变的深度神经网络,从而解决更复杂的问题。

以下是几个常见的激活函数:

1.Sigmoid函数:常用于二分类问题或需要将输出限制在0到1之间的场景。
  公式
  图像

 

  范围:Sigmoid函数的输出范围在0到1之间,可以将其视为概率值。

2.双曲正切函数(Tanh函数):常用于二分类问题或需要将输出限制在-1到1之间的场景。
  公式
  图像


  范围:Tanh函数的输出范围在-1到1之间,相对于Sigmoid函数,Tanh函数曲线更加对称。

3.ReLU函数(Rectified Linear Unit):深度神经网络主流激活函数。
  公式
  图像
  范围:ReLU函数在输入大于0时输出等于输入值,而在输入小于等于0时输出为0。它的主要优点是计算简单,不会引入梯度消失问题。

4.Leaky ReLU函数:对ReLU函数的改进,用于解决ReLU函数在输入小于等于0时输出为0的问题。
  公式

  图像


5.Softmax函数:常用于多分类问题,可以将神经网络的输出转化为概率分布。
  公式
  范围:Softmax函数对每个输入进行指数运算,然后将结果归一化,使得所有输出值的和为1。

 

标签:task1,函数,AI,梯度,模型,拟合,学习,参数,李宏毅
From: https://www.cnblogs.com/a1b2c3d4e5f6/p/18378071

相关文章

  • Datawhale X 李宏毅苹果书 AI夏令营 task2
    1线性模型的基本形式线性模型要做的有两类任务:分类任务、回归任务分类的核心就是求出一条直线w的参数,使得直线上方和直线下方分别属于两类不同的样本回归就是用来拟合尽可能多的点的分布的方法,我们可以通过拟合的直线知道一个新样本的相关数值线性模型:试图学得一个通过属性的......
  • 【AI绘画基础入门】如何体验AI绘画工具Stable Diffusion,附SD安装教程
    大家好,我是SD教程菌。专注于AI绘画技术干货分享。需要AI绘画学习资料的可以文章底部可扫码免费领取。期待与你一路同行,共同成长。关于如何使用StableDiffusion工具,一直是很多小伙伴经常咨询的问题之一。今天就和大家一起聊聊关于如何本地安装部署StableDiffusion。本......
  • MURF860AC-ASEMI智能AI专用MURF860AC
    编辑:llMURF860AC-ASEMI智能AI专用MURF860AC型号:MURF860AC品牌:ASEMI封装:TO-220AC批号:最新恢复时间:35ns最大平均正向电流(IF):8A最大循环峰值反向电压(VRRM):600V最大正向电压(VF):0.95V~1.90V工作温度:-65°C~175°C芯片个数:2芯片尺寸:mil正向浪涌电流(IFMS):125AMURF860AC特性:低......
  • 【AI绘画】StableDiffusion保姆级入门到进阶教程
    大家好,我是设计师子衿。最近子衿在刷抖音时候,发现现在很多账号都在用AI人物进行直播和带货,不知各位有没有留意到,很多小伙伴在看到时跑来问过,关于现在那些AI主播之类都是什么工具做的,其实这类大部分都是这款软件StableDiffusion做的,你只需要描述一段文字,它就能帮你生成一张......
  • 【AI+框架】人工智能计算平台安全框架应用参考
    原创网络安全等保测评如图B.1所示,各参与方通过服务接口调用AI计算平台提供的相关机制保护其AI核心资产。各参与方如何调用安全机制解决相应安全威胁可具体参考表B.1:a)AI应用运行方:基于本文件中定义的服务接口和安全模块实现的功能,保护AI应用安全运行,抵御针对运行态模型......
  • 使用baidu加速镜像来加速pip安装的时候报错
    系统默认配置了百度的python加速镜像,地址是:https://mirror.baidu.com/pypi/simple发现在使用的时候报错:python3-mpipinstallpip-U--userLookinginindexes:https://mirror.baidu.com/pypi/simpleRequirementalreadysatisfied:pipin/usr/local/lib/python3.1......
  • AI工具 GPT 学术优化 (GPT Academic) 安装实践
     GPT学术优化(GPTAcademic)是一个综合的AIGPT工具包,可以完成各种gpt辅助的工作,比如代码解读、翻译、读论文等功能。官网:GitHub-binary-husky/gpt_academic:为GPT/GLM等LLM大语言模型提供实用化交互接口,特别优化论文阅读/润色/写作体验,模块化设计,支持自定义快捷按钮&函......
  • 2024年国内版AI写作对话工具推荐
    以下排名随意编排,无先后。 提高工作效率的AI神器......
  • wsl损坏,WSLRegisterDistribution Failed with Error 0x8007019e
    背景之前由于关机中断还是什么原因,导致wsl不能用了,今天心血来潮想要用一下wsl,于是找办法修了一下。过程根据下面这个文章进行修复的。https://thegeekpage.com/wslregisterdistribution-failed-with-error-0x8007019e/我执行了以下操作:关闭linux子系统,重启;开启子系统,重启......
  • Google 免费 AI课程
    Google免费AI课程1.生成式人工智能45分钟的课程,解释什么是生成式AI、如何使用它,以及GoogleToolsforGenAI应用程序。完成课程即可获得徽章并展示您的技能!课程链接:https://cloudskillsboost.google/course_templates/5362.大型语言模型简介完成本课程后,您将:-获得对L......