标签：冬令营 AI 模型 微调 Datawhale 学习 任务 定制 数据
学习目标：
学习内容：
- 如何定制大模型
- 构建数据集
- 微调模型
- 评价模型效果
学习时间：
- 12月10日–跑通demo
- 12月11日–学习数据集构建，如何定制大模型
学习总结：
- 定制专属大模型：通过投喂特定语料，改造大模型，让模型在某些专业领域或特定任务中表现得更为出色
- 模型定制，一般可指微调开发（往往是使用 LoRA微调技术），构建 垂直领域的大模型（与通用大模型对应）
- 通用大模型通常是大模型厂商根据自己的 优势数据 配比，训练出的一个大模型
- 微调数据集是定制大模型的关键：清洗数据、处理、生成数据、归类数据–》影响最后效果
- Alpaca格式数据集
- 特点与应用：结构简单清晰，易于理解和处理。它明确地将任务指令和输入内容分离开来，能够很好地适用于各种自然语言处理任务，像文本生成、翻译、总结等任务，尤其适合单轮的、以任务为导向的指令微调任务.
- 字段说明
- instruction：任务的指令，模型需要完成的具体操作，一般可以对应到用户输入的 Prompt 。
- input：任务所需的输入内容。若任务是开放式的，或者不需要明确输入，可以为空字符串。
- output：在给定指令和输入的情况下，模型需要生成的期望输出，也就是对应的正确结果或参考答案
{
"instruction": "小姐，别的秀女都在求中选，唯有咱们小姐想被撂牌子，菩萨一定记得真真儿的——",
"input": "",
"output": "嘘——都说许愿说破是不灵的。"
}
课后问题：
- 如何 定制大模型 ？用到的 技术 主要是什么？
专属大模型最方便的步骤 ≈ 指定数据集 + 开源大模型 + 微调平台（如讯飞星辰Maas）
微调技术（Lora） - 什么是 微调 ？ 为什么 要微调？
- 微调得到的是什么？ 微调得到的模型 可以用来做什么？怎么用？
- 微调的 关键步骤 是什么？
- 什么样的 数据 可以用来微调？从哪里可以找到？
- 如何构建自己的 微调数据集 ？
- 如何评价自己的 模型效果 ？并且有较为客观的数据支撑？
- 我要如何基于自己的想法 定制一个效果优秀的大模型？
标签：冬令营,
AI,
模型,
微调,
Datawhale,
学习,
任务,
定制,
数据
From： https://blog.csdn.net/weixin_42331581/article/details/144410981