首页 > 其他分享 >微调Qwen2:7B模型,加入未知信息语料

微调Qwen2:7B模型,加入未知信息语料

时间:2024-08-25 14:22:02浏览次数:6  
标签:7B 包含 Qwen2 模型 token 格式 ChatML 语料

对于QWen2这样的模型,在微调的时候,语料的投喂格式满足ChatML这样的格式!!!

OpenAI - ChatML

下面是ChatML格式的介绍:

https://github.com/openai/openai-python/blob/release-v0.28.1/chatml.md

传统上,GPT模型使用非结构化文本。
ChatGPT 模型需要一种结构化格式,称为 Chat Markup Language 聊天标记语言(简称 ChatML)。
ChatML 文档由一系列消息组成。每条消息都包含一个 header(现在由说这句话的人组成,但将来将包含其他元数据)和 内容(现在是文本有效负载,但将来将包含其他数据类型)。

我们仍在不断发展 ChatML,但当前版本 (ChatML v0) 可以用我们即将推出的“字典列表”JSON 格式表示,如下所示:

[
 {"token": "<|im_start|>"},
 "system\nYou are ChatGPT, a large language model trained by OpenAI. Answer as concisely as possible.\nKnowledge cutoff: 2021-09-01\nCurrent date: 2023-03-01",
 {"token": "<|im_end|>"}, "\n", {"token": "<|im_start|>"},
 "user\nHow are you",
 {"token": "<|im_end|>"}, "\n", {"token": "<|im_start|>"},
 "assistant\nI am doing well!",
 {"token": "<|im_end|>"}, "\n", {"token": "<|im_start|>"},
 "user\nHow are you now?",
 {"token": "<|im_end|>"}, "\n"
]

您还可以用经典的“不安全原始字符串”格式表示它。
然而,这种格式本质上允许从包含特殊令

标签:7B,包含,Qwen2,模型,token,格式,ChatML,语料
From: https://blog.csdn.net/wtl1992/article/details/141527220

相关文章

  • [AGC067B] Modifications
    MyBlogs[AGC067B]Modifications谔谔,做过类似的题还是不会啊啊啊。首先考虑给定一个\(a\)序列如何进行判定。倒着做这个覆盖的过程,每次可以看成是,如果\([l_i,r_i]\)剩下的点的颜色都相同,则可以把\([l_i,r_i]\)删掉。如果最后能删空就是合法的。区间DP判定这个过程:\(f......
  • Qwen2-72B的vLLM部署
    今天尝试本地部署了Qwen2-72B-Instruct-GPTQ-Int4模型,这里记录一下操作的过程。参考:https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.htmlhttps://docs.vllm.ai/en/stable/serving/openai_compatible_server.htmlhttps://techdiylife.github.io/blog/blog.html?......
  • [CF1447B]Numbers Box
    [CF1447B]NumbersBox题目传送门一道思路十分好想的水题贪心题。题目大意:有\(t\)次提问,每次提问输入两个数\(m,n\)表示行和列,输入\(a_{ij}\)表示第\(i\)行\(j\)列中的数,每次可将两个相邻的数乘\({-1}\)使最终矩阵中所有数相加的和最大。思路:要使矩阵中所有......
  • 开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100(八)
    一、前言  本篇文章将使用LLaMA-Factory去高效微调(命令和界面方式)QWen2系列模型,通过阅读本文,您将能够更好地掌握这些关键技术,理解其中的关键技术要点,并应用于自己的项目中。二、术语介绍2.1.LoRA微调  LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。......
  • YC327B [ 20240821 CQYC NOIP 模拟赛 T2 ] 括号串(bracket)
    题意给定\(S\in\{(,),?\}\)。定义深度为括号嵌套的子序列的最大长度除以\(2\)。求出将\(?\)替换为括号的所有括号串的深度之和,对\(998244353\)取模。\(n\le10^6\)。Sol考虑如何把每次贡献只计算一次。不难想到在括号的中心点计算。可以发现,若当前左右括号......
  • [ARC177B] Puzzle of Lamps
    [ARC177B]PuzzleofLamps思路首先可以发现这题并没有限制最少操作步骤,于是逆序遍历序列,若要将位置$i$的数字变成$1$(下标从$0$开始),则先执行$i+1$次操作$A$,再执行$i$次操作$B$,这样可以保证只将位置$i$的数字变成$1$。由于是逆序遍历,所以不会影响后面的数字。......
  • Qwen2-Math,新一代数学模型
    原文链接:https://qwenlm.github.io/zh/blog/qwen2-math/友情链接Github:https://github.com/QwenLM/Qwen2-MathHuggingFace:https://huggingface.co/QwenModelScope:https://modelscope.cn/organization/qwenDiscord:https://discord.gg/yPEP2vHTu4......
  • 解决启动redis:应用程序无法正常启动(0xc000007b)。请单击“确定”关闭应用程序。
    解决处理方法如下目录方法一......
  • Qwen2-Math 开源 AI 模型发布;阿里云推出首个域名 AI 大模型应用丨 RTE 开发者日报
       开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(Real-TimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但......
  • QWen2-72B-Instruct模型安装部署过程
    最近在给我们的客户私有化部署我们的TorchV系统,客户给的资源足够充裕,借此机会记录下部署千问72B模型的过程,分享给大家!一、基础信息操作系统:Ubuntu22.04.3LTSGPU:A800(80GB)*8内存:1TB二、软件信息Python:3.10Pytorch:2.3.0Transformers:4.43.0vLLM:0.5.0cuda:......