首页 > 其他分享 >书生·共学大模型实战营L1G6000 XTuner微调

书生·共学大模型实战营L1G6000 XTuner微调

时间:2024-11-17 18:19:09浏览次数:1  
标签:部署 模型 微调 XTuner 共学大 L1G6000

任务描述:使用XTuner微调InternLM2-Chat-7B实现自己的小助手认知
该任务分为数据集处理、微调训练、合并部署三个环节。

  1. 数据处理:主要是将目标json文件中的字段替换为和自己用户名相关的字段,这里我们将“尖米”替换为“科研狗1031”:
  2. 微调训练:采用教程中的XTuner框架,在InternStudio的30% A100开发机上大约需要1.5h,实际中,大部分情况下,我们只需修改配置文件即可:

  3. 合并:由于我们采用的是仅微调部分层(Adapter),所以需要按照教程将微调好的适配器和基座模型进行拼接:
  4. 部署:采用streamlit通过端口映射部署到网页端并进行模拟对话,以查看效果:

标签:部署,模型,微调,XTuner,共学大,L1G6000
From: https://www.cnblogs.com/404unknown/p/18550860

相关文章

  • 书生·共学大模型实战营第4期 L1G4000任务提交
    基于LlamaIndex构建自己的RAG知识库,寻找一个问题A在使用LlamaIndex之前浦语API不会回答,借助LlamaIndex后浦语API具备回答A的能力我们选择了一个名为wereader的Github小众项目,这是一个Chrome/Firefox扩展,主要用于微信读书做笔记,对常使用Markdown做笔记的读者比较有帮助。可以发现......
  • 书生·共学大模型训练营第4期 L1G200任务提交
    MindSearch搜索引擎示例书生·浦语对话模型调用示例书生·万象开源视觉语言模型调用实例进阶任务:MindSearch话题挑战https://www.zhihu.com/people/zhang-shu-yang-92-96......
  • 书生大模型第四期打卡 | 第五关 大模型微调之Xtuner
    什么是Xtuner?一种高效的微调框架,适合多种生态和硬件功能。集成了多种任务类型,支持很多开源生态。大模型的两种微调范式:1、增量预训练:通过文章、书籍、代码等,让基座模型学到一些新的知识,如某个垂类领域的常识2、指令跟随微调:通过高质量的对话、问答数据,让模型学会对话模版,......
  • 书生大模型实战营第四期 L1G6000 OpenCompass 评测书生大模型实践
    评测书生大模型实践文章目录评测书生大模型实践前言评测API模型前言OpenCompass提供了API模式评测和本地直接评测两种方式。其中API模式评测针对那些以API服务形式部署的模型,而本地直接评测则面向那些可以获取到模型权重文件的情况。参考:https://github.......
  • 书生大模型实战营第4期——2.5 XTuner 微调个人小助手认知
    文章目录1学习内容及任务2环境配置和数据准备2.1创建虚拟环境2.2安装XTuner2.3验证安装XTuner3修改提供的数据3.1创建文件夹存放微调数据3.2创建修改脚本3.3执行脚本并查看数据4训练启动4.1复制模型4.2修改Config4.3启动微调4.4权重转换4.5模型合并5......
  • 书生大模型实战营第四期 L1G5000 XTuner 微调实践微调
    XTuner微调实践微调文章目录XTuner微调实践微调前言一、环境配置与数据准备修改提供的数据训练启动模型WebUI对话前言针对业务场景(如特殊自我认知的机器人)的微调能力一个属于自己的语言聊天机器人一、环境配置与数据准备本节中,我们将演示如何安装XTuner。......
  • day7[XTuner 微调个人小助手认知任务]
    微调前用internlm2-chat-1_8b模型,通过QLoRA的方式来微调一个自己的小助手认知作为案例来进行演示......
  • Xtuner微调个人小助手
    task:使用Xtuner微调InternLM2-Chat-1.8B实现自己的小助手认知。1安装环境!pipinstalltransformers==4.39.3!pipinstallstreamlit==1.36.02安装xtunergitclonehttps://gitclone.com/github.com/InternLM/XTuner./XTunercdXTunerpipinstall-e'.[deepspeed]'-ihttp......
  • XTuner 微调个人小助手
    基础任务使用XTuner微调InternLM2-Chat-1.8B实现自己的小助手认知记录复现过程并截图。一、环境准备mkdir-p/root/InternLM/Tutorialgitclone-bcamp3https://github.com/InternLM/Tutorial/root/InternLM/Tutorial#创建虚拟环境condacreate-nxtuner012......
  • XTuner微调个人小助手认知
    基础任务:使用XTuner微调InternLM2-Chat-1.8B实现自己的小助手认知,如下图所示(图中的伍鲜同志需替换成自己的昵称),记录复现过程并截图。1微调前置基础本节主要重点是带领大家实现个人小助手微调,如果想了解微调相关的基本概念,可以访问XTuner微调前置基础。2准备工作环境......