- 2024-10-16Datawhale 组队学习 文生图 Prompt攻防 task03随笔
这期我们从不同角度切入探讨赛题的进阶思路思路1:对比不同大模型首先我们可以选择尝试不同的大模型,使用更复杂的大模型可以提高文本改写的质量和效果。随着模型大小的增加,其表示能力也随之增强,能够捕捉更细微的语言特征和语义信息。这意味着大型模型在理解和生成文本时可以更
- 2024-10-12datawhale-大模型攻防比赛实践-第一次行动
最近刚好是在写智能信息安全的教程,最后一章准备讲内容安全,里面有一节探讨大模型安全的内容,刚好可以拿比赛的内容当案例。首先,可以通过modelscope平台获得GPU使用权限。然后你就可以跑baseline了我这里试着跑了一下,如果是GPU版本就比较流畅,CPU会被卡死。但是呢,一天就只能提交一次
- 2024-09-21Datawhale Leecode基础算法篇 task02:递归算法and分治算法
官方学习文档:datawhalechina往期task01:枚举算法链接:DatawhaleLeecode基础算法篇task01:枚举算法递归算法递归简介递归(Recursion):指的是一种通过重复将原问题分解为同类的子问题而解决的方法。在绝大数编程语言中,可以通过在函数中再次调用函数自身的方式来实现递归。举
- 2024-09-03第二天学习笔记:Datawhale X 李宏毅苹果书 AI夏令营
今天学的有些小兴奋,终于解锁了很多熟悉但不明就里的术语。天呢,原来ReLU是“修正线性单元”的意思!RectifiedLinearUnit!但是呢,也有不大对付的地方:好几个地方前言不搭后语。容我一一道来。今天就顺序边读边记:线性模型(linearmodel)==把模型输入的特征x乘上一个权重,再加
- 2024-09-03第一篇献给Datawhale
写今天的学习笔记之前,我要好好表达对Datawhale的感谢。记不清这是第几次跟着组织学习了。虽然也只是从懵懂小白0.1到萌萌小白0.2,虽然很多词汇还都不懂,但没有Datawhale的学习氛围和小伙伴的积极表现,我的这一点点进步也可能不会有。正文开始:各种词汇定义:模型(model)== 带有未
- 2024-09-032、实践方法论(Datawhale X 李宏毅苹果书 AI 夏令营)
2、实践方法论(DatawhaleX李宏毅苹果书AI夏令营)在应用机器学习算法时,实践方法论能够帮助我们更好地训练模型。如果在Kaggle上的结果不太好,虽然Kaggle上呈现的是测试数据的结果,但要先检查训练数据的损失。2.1模型偏差有时候把模型设置的太过简单,使得函数的集合太小了,没
- 2024-09-03Datawhale X 李宏毅苹果书AI夏令营深度学习入门(三)
一.实践方法论(一)模型偏差模型偏差可能会影响模型训练。若模型过于简单,一个有未知参数的函数代θ1得到一个函数fθ1(x),同理可得到另一个函数fθ2(x),把所有的函数集合起来得到一个函数的集合。但是该函数的集合太小了,没有包含任何一个函数,可以让损失变低的函数不在模型可以描
- 2024-09-01#Datawhale X 李宏毅苹果书 AI夏令营#3.1&3.2局部极小值与鞍点&批量和动量
本章介绍深度学习常见的概念,主要包括3.1局部极小值与鞍点;3.2批量和动量。知识点讲解:3.1局部极小值和鞍点我们在做优化的时候,有时候会发现随着参数不断更新,函数的损失值却不再下降的现象,但这个优化结果离我们想要的理想值还差距很大。这是什么原因呢?接下来我们就研究这个问
- 2024-08-31Datawhale -- cv方向 task 3 笔记
cv方向的task3结束了,对其进行了一些简单的梳理并进行相应的一些扩展教程:DatawhaleTask 3 1. 数据集增强1.数据增强的目的 对现有数据集进行扩充和变换,从现有数据集中生成新的训练样本,增加数据的多样性和丰富性,从而提高模型的泛化能力和鲁棒性。
- 2024-08-31Datawhale X 李宏毅苹果书AI夏令营深度学习入门(二)
一.深度学习继续上一篇文章的深度学习的定义把w跟b更新的方向结合起来,就是一个向量,就是红色的箭头,再计算一次微分,再决定要走什么样的方向,把这个微分的值乘上学习率,再乘上负号,我们就知道红色的箭头要指向那里,就知道如何移动w跟b的位置,一直移动,期待最后可以找出一组不错的
- 2024-08-29Datawhale X 李宏毅苹果书(入门) AI夏令营 task02笔记
官方学习文档:https://linklearner.com/activity/16/14/55往期task01链接:https://mp.csdn.net/mp_blog/creation/editor/141535616李宏毅老师对应视频课程可供食用:https://www.bilibili.com/video/BV1JA411c7VT/?p=3机器学习基础线性模型 w跟b的值上期ta
- 2024-08-29Datawhale X 李宏毅苹果书(入门) AI夏令营 task01笔记
官方学习链接:https://linklearner.com/activity/16/14/42机器学习基础导读 通俗来讲,机器学习就是让机器具备找一个函数的能力。这里指的“找一个函数”,指的是找一个能够描述一个场景数学规律的函数模型,具体方法大致是:让机器运行算法,通过输入的数据,确定合适的
- 2024-08-29【Datawhale AI 夏令营2024--CV】Task2 阅读小结与尝试
一、阅读小结 yolo不仅要识别物体的种类还要识别物体的位置1.1、物体检测介绍:1.输入:照片可以利用opencv来提取照片的每一帧,在循环下对视频中每一帧的照片进行处理cap=cv2.VideoCapture(video_path)whileTrue:ret,frame=cap.read()
- 2024-08-29Datawhale AI 夏令营-CV 方向-Task 2
一、baseline上分思路1.数据集划分1.1原划分代码pyimportosimportcv2importpandasaspdimportglobdefsetup_directories():base_dir="yolo-dataset"subdirs=["train","val"]forsubdirinsubdirs:dir_path=os.pa
- 2024-08-29Datawhale AI 夏令营 CV方向 Task 1
一、赛事背景 城市治理赛道——随着城市化进程的加快,城市管理面临着前所未有的挑战。占道经营、垃圾堆放和无照经营游商等问题对城市管理提出了更高的要求。本赛道聚焦城市违规行为的智能检测,要求选手研究开发高效可靠的计算机视觉算法,提升违规行为检测识别的
- 2024-08-29Datawhale AI 夏令营 CV方向 Task 2
一、YOLO模型简介 YOLO模型是在图像和视频中识别感兴趣物体对象,通常通过边界框形式来识别物体。以下是物体检测的一些关键概念和步骤:输入:物体检测算法的输入通常是一张图像或视频帧。特征提取:算法使用深度学习模型(如卷积神经网络CNN)来提取图像的特征。这些
- 2024-08-27datawhale深度学习入门:task1学习笔记
机器学习是一种人工智能的分支,它主要涉及通过经验和数据来训练计算机模型以自动处理任务或进行预测。这些模型可以利用算法和数学模型来分析和学习数据,然后使用这些知识来执行特定的任务,如图像识别、语音识别、自然语言处理、数据分类、趋势预测等。深度学习是人工智能(AI)中的
- 2024-08-27Datawhale X 李宏毅苹果书 AI夏令营 Task1.2 笔记
《深度学习详解》3.2节中关于批量和动量的主要内容总结: 批量的概念:在深度学习训练过程中,数据不是一次性全部用于计算梯度,而是被分成多个小批量(batch),每个批量包含一定数量的数据。每个批量的损失函数用于计算梯度并更新模型参数。批量大小对梯度下降法的影响:两种极端情况:
- 2024-08-27Datawhale AI+X 深度学习入门(一)
一.机器学习的定义和核心1.机器学习就是让机器具备找一个函数的能力。机器具备找函数的能力以后,它可以做很多事。2.在机器学习领域里面,除了回归跟分类以外,还有结构化学习(structuredlearning)。机器不只是要做选择题或输出一个数字,而是产生一个有结构的物体,比如让机器画一张图,写
- 2024-08-26Datawhale AI 夏令营 第五期 CV方向 01
yolo方案baselinestep1:赛事报名Datawhale(linklearner.com)飞书文档step2:跑通baseline首先在服务器下载代码aptinstallgit-lfsgitlfsinstallgitclonehttps://www.modelscope.cn/datasets/Datawhale/AI_Camp5_baseline_CV.git学习下baseline的代码#读取训
- 2024-08-262024 Datawhale X 李宏毅苹果书 AI 夏令营第5期——跟李宏毅学深度学习(入门)
本方向学习目标本方向的核心学习目标是——通过《深度学习详解》和李宏毅老师21年的机器学习课程视频,入门机器学习,并尝试学习深度学习,展开代码实践(选修)。相关学习链接
- 2024-08-25机器学习详解-第二章-实践方法论-学习笔记-[DataWhale X 李宏毅苹果书 X AI夏令营]
在调整模型的过程中可能会遇到许多问题,这里为了处理这些问题(前期初学情况),从而给出了一个章节用于学习相关的技巧。1.模型偏差模型偏差可能会影响模型训练,我们在训练的时候,将所有的函数集合在一起得到一个函数的集合,但是这个函数的集合大小是我们不确定的,可能会因为太小,其中的
- 2024-08-21Datawhale X 魔搭 AI夏令营-大模型应用(三)
一.部署到服务器上1.将搭建好的知识问答AI助手(知心智医)搭建到服务器,并且配置了一个域名http://cardiorag.top:8502/2.在这过程中有远程登陆,服务器映射问题,好在都解决了,就是gpu算力时时刻刻在烧钱二.使用ragas框架进行测评1.遇到的主要问题是,测试数据集,评分数据集的产生,测评
- 2024-08-20Datawhale AI夏令营第五期(最后一期啦)开始报名(友好型方向)
- 2024-08-17DataWhale AI夏令营-大模型微调-学习笔记3
Task1:从零入门大模型微调一、问题概述从零入门大模型微调是Datawhale2024年AI夏令营第四期的学习活动(“大模型技术”方向),基于讯飞开放平台“星火大模型驱动阅读理解题库构建挑战赛”开展的实践学习。学习内容:基于讯飞大模型定制训练平台和spark-13b微调模型,生成高考