首页 > 其他分享 >全赞GPT - 全赞工程师的知乎问答训练的GPT大模型

全赞GPT - 全赞工程师的知乎问答训练的GPT大模型

时间:2024-01-21 16:12:10浏览次数:26  
标签:知乎 全赞 训练 模型 GPT 问答

之前在知乎问答上吹水说我训练了我国第81个大模型,想想该兑现了。

第一步,准备问答数据,分为训练集和测试集两个部分,刚开始我准备用自己的知乎问答作为数据集,发现有困难,一是我的问答数量太少,还不够一千条,第二知乎不让导出,爬虫啥的我已经戒了,所以决定干脆找一个开源的中文问答数据集,这个百度知道的算是不错的了,虽然质量跟知乎问答没法比,好在生活气息比较浓厚。

第二步,挑选训练平台,对比了国内国外一大圈,阿里云的PAI最便宜也最容易上手,果断采用。

2.1 申请一个性能强劲的GPU,推荐先买个PAI的资源包,应该能便宜不少,不然每个小时都是30元RMB。

2.2 选择一个大模型进行微调,不同的模型微调的时间也不一样,我选择了相对比较小的通义千问的大模型。

2.3 然后就是一步一步执行, 注意要把训练数据替换成你自己准备的数据

2.4 等待一下微调的过程,应该几十分钟就完事了。

第三步,train结束了,简单的测试一下。看起来效果还可以,说了很多有用的信息。

第五步,就是把训练的这个模型上线到App里面啦,看一下最终效果。

标签:知乎,全赞,训练,模型,GPT,问答
From: https://www.cnblogs.com/72jueji/p/17977959

相关文章

  • MetaGPT day02: MetaGPT Role源码分析
    MetaGPT源码分析思维导图MetaGPT版本为v0.4.0,如下是frommetagpt.rolesimportRole,Role类执行Role.run时的思维导图:概述其中最重要的部分是_react,里面包含了一个循环,在循环中交替执行_think和_act,也就是让llm先思考再行动。_think中决定了llm下一个执行的动作是什么,这个动作......
  • ChartGPT以流返回结果node怎么实现
    ChartGPT以流返回结果node怎么实现1.ChartGPT以流返回结果node怎么实现?2.我们前端应该怎么处理接收返回结果?3.怎样实现打字机式将结果回显在我们页面上?❓:1.ChartGPT以流返回结果node怎么实现?......
  • 文心一言 VS 讯飞星火 VS chatgpt (182)-- 算法导论13.4 6题
    六、用go语言,Skelton和Baron教授担心在RB-DELETE-FIXUP的情况1开始时,结点x.p可能不是黑色的。如果这两位教授是对的,则第5~6行就是错的。证明:x.p在情况1开始时必是黑色的,从而说明这两位教授没有担心的必要。文心一言:首先,我们需要理解RB-DELETE-FIXUP的情况1开始时,节点x.p......
  • 如何查看油管视频?有这个就足够了,NoteGPT亲测有效
    YouTube是全球最大的视频分享平台之一,拥有丰富的视频内容。无论你是想学习知识、欣赏音乐、观看游戏直播还是享受创意短片,YouTube油管都是一个绝佳的选择。下面是一个简单的指南,NoteGPT教你如何查看YouTube油管视频。NoteGPTSummary会自动抓取最新热门的油管视频,并帮忙总结生成......
  • 【langchain】在单个文档知识源的上下文中使用langchain对GPT4All运行查询
    Inthepreviouspost, RunningGPT4AllOnaMacUsingPythonlangchaininaJupyter Notebook,我发布了一个简单的演练,让GPT4All使用langchain在2015年年中的16GBMacbookPro上本地运行。在这篇文章中,我将提供一个简单的食谱,展示我们如何运行一个查询,该查询通过从单个基于......
  • 观看<liuliancao>大佬博客和知乎有感
    知乎:https://www.zhihu.com/people/yibai-ci-hui-yi博客:https://blog.liuliancao.com/收集的要点,运维转运维开发尝试做个工单系统或者cmdb或者二开k8s工作怎么抓住重点看下SMART原则推荐比ide好用的编辑器,比较原生,需要使用插件,自己折腾emacs确实是看习惯的问题,见仁见......
  • 使用ChatGPT解决在Spring AOP中@Pointcut中的execution如何指定Controller的所有方法
    背景使用ChatGPT解决工作中遇到的问题,https://xinghuo.xfyun.cn/desk切指定类在SpringAOP中,@Pointcut注解用于定义切点表达式,而execution属性用于指定切点表达式的具体匹配规则。要指定Controller的所有方法,可以使用以下方法:使用类名和方法名进行精确匹配。例如,如果要匹配名......
  • ChatGPT 商业提示词攻略书
    原文:ChatGPTBusinessPromptPlaybook译者:飞龙协议:CCBY-NC-SA4.0一、书系介绍人工智能发展迅速。非常迅速。所以我希望你做两件事:(1)在Twitter上关注我:@iamkylebalmer(2)订阅我的免费电子邮件通讯:PromptEntrepreneur无论选择哪个选项,都将使你在人工智能方面保持......
  • Chat GPT解决工作问题
    要使用Python提取一个文件夹下所有.ogg文件的文件名,并将这些文件名输出到一个文本文件中,你可以使用以下代码: importos#设置文件夹路径directory='/path/to/your/directory'#设置输出文件的路径output_file='/path/to/your/output.txt'#创建一个空列表来存储文......
  • 163邮箱登陆GPT:解锁智能交流的全新体验
    在当今数字化的社会中,电子邮件已经成为人们沟通、工作和信息传递的不可或缺的工具。其中,163邮箱作为中国最受欢迎的邮件服务提供商之一,一直以来都在为用户提供稳定、安全的电子邮件服务。近年来,随着人工智能技术的迅猛发展,有人开始思考,能否将163邮箱与GPT(GenerativePre-trainedTr......