首页 > 其他分享 >大模型训练数据统计+探索如何创建自己的数据集

大模型训练数据统计+探索如何创建自己的数据集

时间:2023-05-09 20:22:54浏览次数:34  
标签:探索 训练 创建 模型 生成 https 数据

羊驼数据集52k,基于llama模型训练

此数据集是是使用llama模型自己生成数据,然后对这些生成进行过滤,以删除低质量或类似的生成,并将生成的数据添加回任务池。这个过程可以重复多次,从而产生大量的教学数据,这些数据可以用来微调语言模型,以更有效地遵循指令。此创建数据集的方法其实和目标检测任务创建高质量训练数据相似,也是用模型去审核训练数据

数据集地址: https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json

以上数据的创建方法: https://github.com/yizhongw/self-instruct(如果需要的话重点看下这个)

创建方法的论文: https://arxiv.org/abs/2212.10560

 

标签:探索,训练,创建,模型,生成,https,数据
From: https://www.cnblogs.com/chentiao/p/17386131.html

相关文章

  • KingbaseES数据库运维案例之---permission denied to create "sys_catalog.xxx"
    ​KingbaseES数据库运维案例之---permissiondeniedtocreate"sys_catalog.bdsj_bdgl_test"案例说明:在KingbaseES数据库kingbase.conf修改了search_path='"$user",sys_catalog'后,在数据库下执行创建对象操作,出现以下故障。适用版本:KingbaseESV8R6一、问题现象如下所示......
  • 解决Failed to configure a DataSource: ‘url‘ attribute is not specified and no
    <groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.13</version></dependency>开始没有制定版本报错换成了8.0版本,依旧报错 看了下配置文件没有问题查了下应该是版本冲突的问题<d......
  • windows用户改名与创建管理员
    改名示例,结果失败:wmicuseraccountwherename='Administrator'rename'Admin'创建管理员账户#查看用户netuser#添加用户netusernamepassword/add#将用户设置为管理员netlocalgroupadministratorstian/add ......
  • H2 数据库使用教程
    启动方式启动数据库1.命令行启动java-cph2*jarorg.h2.tools.Server如果在控制台无法创建数据库可以采用如下启动方式java-cph2*.jarorg.h2.tools.Server-ifNotExists2.应用程序内启动JAVA项目中使用H2数据库为什么要使用H2数据库H2数据库是可以嵌入到JAVA项......
  • uniapp微信小程序,上传图片和表单数据一起提交
    弄表单上传,请求一直400错误,然后寻找其它方法uni.uploadFile({url:'http://localhost:6109/api/My/warrantyCard',//上传服务器的URLfilePath:this.ImgUrl,//本地图片的路径或临时文件路径......
  • idea进入和创建web项目
    我真的服了,以往一直Add添加项目,但是今天突然失败了我搞了好久都没搞出来,服了之后去问了我nb的舍友,他帮我搞好了!!!#记录,如何创建web项目第一步,创建项目在pom.xml文件里面使用web打包,并且转一下第二步,打开这个界面双击红色文字,点击ok第三步,点击上个图片上面的AddAppli......
  • delphi 初识内存流: 从设置用户头像到从数据库存取图片到的过程
    所谓"流",就是一段数据或是一块内存;在进行流操作时,我们不必关心流中的数据到底是什么;只需要知道流的大小和当前的指针位置.所以流只有两个属性: Size、Position.对流的操作,不过就是读取和写入.所以流最主要的方法就是Read和Write.在很多控件的使用中,读取主要用Lo......
  • 数据库连接池
     (解决每次数据库连接的卡顿)优点~~~~1.资源重用避免了频繁的创建2.更快的系统反应速度提前创建了若干数据库连接3.新的资源分配手段实现一个应用最大可用数据库连接数的限制4.同意连接管理避免数据连接泄露强制回收被占用连接从而避免了常规数据库连接操作中出现的资源泄露......
  • 常见算法和数据结构存在的坑(updating)
    数组:c++数组下标都+5会稳。\(5000*5000\)的别开\(6000*6000\)。二分:实数二分可能因为神马精度问题出现了不满足二分序的情况,要小心。注意二分完后,不能直接用当前数组里存的值,要pd(ans),值才是正确的。边集数组:无向图边的范围要开2倍。多组数据要清空的有tot,final当用到反向边的时候......
  • C#使用词嵌入向量与向量数据库为大语言模型(LLM)赋能长期记忆实现私域问答机器人落地
     本文将探讨如何使用c#开发基于大语言模型的私域聊天机器人落地。大语言模型(LargeLanguageModel,LLM这里主要以chatgpt为代表的的文本生成式人工智能)是一种利用深度学习方法训练的能够生成人类语言的模型。这种模型可以处理大量的文本数据,并学习从中获得的模式,以预测在给定的......