书生大模型实训营第4期基础岛第五关：XTuner 微调个人小助手认知
1. 环境配置与数据准备
1.1 创建 conda 环境
cd ~
#git clone 本repo
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env
1.2 安装 Xtuner
git clone https://github.com/InternLM/xtuner.git
cd /root/finetune/xtuner
pip install -e '.[all]'
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.39.0
该说不说这一步是真的慢，只能说耐心等吧
安装完成后可以使用下面这条命令检查安装是否成功：
xtuner list-cfg
如果看到这样的输出则说明安装没有问题：
2. 修改提供的数据
2.1 创建新文件夹用于存储微调数据
mkdir -p /root/finetune/data && cd /root/finetune/data
cp -r /root/Tutorial/data/assistant_Tuner.jsonl /root/finetune/data
2.1 创建修改脚本
touch /root/finetune/data/change_script.py
创建完成后打开 change_script.py 并粘入如下内容：
import json
import argparse
from tqdm import tqdm
def process_line(line, old_text, new_text):
# 解析 JSON 行
data = json.loads(line)
# 递归函数来处理嵌套的字典和列表
def replace_text(obj):
if isinstance(obj, dict):
return {k: replace_text(v) for k, v in obj.items()}
elif isinstance(obj, list):
return [replace_text(item) for item in obj]
elif isinstance(obj, str):
return obj.replace(old_text, new_text)
else:
return obj
# 处理整个 JSON 对象
processed_data = replace_text(data)
# 将处理后的对象转回 JSON 字符串
return json.dumps(processed_data, ensure_ascii=False)
def main(input_file, output_file, old_text, new_text):
with open(input_file, 'r', encoding='utf-8') as infile, \
open(output_file, 'w', encoding='utf-8') as outfile:
# 计算总行数用于进度条
total_lines = sum(1 for _ in infile)
infile.seek(0) # 重置文件指针到开头
# 使用 tqdm 创建进度条
for line in tqdm(infile, total=total_lines, desc="Processing"):
processed_line = process_line(line.strip(), old_text, new_text)
outfile.write(processed_line + '\n')
if __name__ == "__main__":
parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
parser.add_argument("input_file", help="Input JSONL file to process")
parser.add_argument("output_file", help="Output file for processed JSONL")
parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
parser.add_argument("--new_text", default="你的名字", help="Text to replace with")
args = parser.parse_args()
main(args.input_file, args.output_file, args.old_text, args.new_text)
这里记得把 parser.add_argument("--new_text", default="你的名字", help="Text to replace with") 中 “你的名字” 改成自己的昵称。
然后执行脚本，将修改后符合 XTuner 格式的训练数据放到 data 文件夹下的 assistant_Tuner_change.jsonl 文件中：
cd ~/finetune/data
python change_script.py ./assistant_Tuner.jsonl ./assistant_Tuner_change.jsonl
此时 data 文件夹的目录结构应该长这样：
可以通过
cat assistant_Tuner_change.jsonl | head -n 3这条命令查看一下数据，检查一下自己的昵称是否出现在数据中，比如是否有类似 “我是xx的智能助手” 这种字眼，如果看到默认文档中给的机智流或者你的名字，说明你没有修改代码中的默认昵称。
3. 模型训练
3.1 复制模型
开发机在 share 文件夹中已经为我们提供了微调模型，我们在 finetune 文件夹下创建一个 model 文件夹，将位于 /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat 路径下的模型文件直接软链接出来即可：
mkdir /root/finetune/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat
3.2 修改 Config 文件
运行下面命令获取官方写好的 config：
# cd {path/to/finetune}
cd /root/finetune
mkdir ./config
cd config
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./
如果你不想手动修改配置文件，那么直接使用教程自带的即可，文件路径：~/Tutorial/configs/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py
原始的配置文件中需要进行以下修改：
#######################################################################
# PART 1 Settings #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2_5-7b-chat'
+ pretrained_model_name_or_path = '/root/finetune/models/internlm2_5-7b-chat'
- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = '/root/finetune/data/assistant_Tuner_change.jsonl'
evaluation_inputs = [
- '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+ '请介绍一下你自己', 'Please introduce yourself'
]
#######################################################################
# PART 3 Dataset & Dataloader #
#######################################################################
alpaca_en = dict(
type=process_hf_dataset,
- dataset=dict(type=load_dataset, path=alpaca_en_path),
+ dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
tokenizer=tokenizer,
max_length=max_length,
- dataset_map_fn=alpaca_map_fn,
+ dataset_map_fn=None,
template_map_fn=dict(
type=template_map_fn_factory, template=prompt_template),
remove_unused_columns=True,
shuffle_before_pack=True,
pack_to_max_length=pack_to_max_length,
use_varlen_attn=use_varlen_attn)
- 表示需要修改的代码，+ 表示修改后的代码。除了上面这些文件路径的修改，我们还可以对模型的超参数进行调整，比如学习率和训练轮数等。下面表格展示的是一些常见的参数：
| 参数名 | 解释 |
|---|---|
| data_path | 数据路径或 HuggingFace 仓库名 |
| max_length | 单条数据最大 Token 数，超过则截断 |
| pack_to_max_length | 是否将多条短数据拼接到 max_length，提高 GPU 利用率 |
| accumulative_counts | 梯度累积，每多少次 backward 更新一次参数 |
| sequence_parallel_size | 并行序列处理的大小，用于模型训练时的序列并行 |
| batch_size | 每个设备上的批量大小 |
| dataloader_num_workers | 数据加载器中工作进程的数量 |
| max_epochs | 训练的最大轮数 |
| optim_type | 优化器类型，例如 AdamW |
| lr | 学习率 |
| betas | 优化器中的 beta 参数，控制动量和平方梯度的移动平均 |
| weight_decay | 权重减系数，用于正则化和避免过拟合 |
| max_norm | 梯度裁剪的最大范数，用于防止梯度爆炸 |
| warmup_ratio | 预热的比例，学习率在这个比例的训练过程中线性增加到初始学习率 |
| save_steps | 保存模型的步数间隔 |
| save_total_limit | 保存的模型总数限制，超过限制时删除旧的模型文件 |
| prompt_template | 模板提示，用于定义生成文本的格式或结构 |
3.3 使用 Xtuner 进行模型微调
运行下面命令即可开始微调：
cd /root/finetune
conda activate xtuner-env
xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner
xtuner train 命令用于启动模型微调进程。该命令需要一个参数 CONFIG 用于指定微调配置文件。这里我们使用修改好的配置文件 internlm2_5_chat_7b_qlora_alpaca_e3_copy.py。训练过程中产生的所有文件，包括日志、配置文件、检查点文件、微调后的模型等，默认保存在 work_dirs 目录下，我们也可以通过添加 --work-dir 指定特定的文件保存位置。–deepspeed 则为使用 deepspeed，可以节约显存。
3.4 模型权重转换
模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件。我们可以用 Xtuner 中提供的 xtuner convert pth_to_hf 命令来进行模型格式转换。该命令需要三个参数：CONFIG 表示微调的配置文件， PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重， SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。
除此之外，我们其实还可以在转换的命令中添加几个额外的参数，比如：
| 参数名 | 解释 |
|---|---|
| –fp32 | 代表以fp32的精度开启，假如不输入则默认为fp16。 |
| –max-shard-size | 代表每个权重文件最大的大小（默认为2GB）。 |
执行下面的命令即可开始模型的权重转换：
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env
# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1 | sed 's/:$//'`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf
模型格式转换完成后，我们的目录结构应该是这样子的：
转换完成后，可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件，这就代表着文件成功被转化为 HuggingFace 格式了。
此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”。
3.5 模型合并
用 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常使用。而全参数微调因为是直接修改原模型的权重，所以没有合并这一步。
在 XTuner 中提供了一键合并的命令 xtuner convert merge，该命令需要三个参数：原模型路径， Adapter 层路径以及合并后模型最终的保存路径。在模型合并这一步还有其他很多的可选参数，比如：
| 参数名 | 解释 |
|---|---|
| –max-shard-size {GB} | 代表每个权重文件最大的大小（默认为 2GB） |
| –device {device_name} | 设备名称，可选择的有 cuda、cpu 和 auto ，默认为 cuda 即使用 gpu 进行运算 |
| –is-clip | 这个参数主要用于确定模型是不是 CLIP 模型，假如是的话就要加上，否则不需要添加 |
执行下面的命令，开始模型合并：
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB
这里我们把合并后的模型放在了 work_dirs/assistTuner/merged 文件夹下，合并完成后 merged 文件夹的目录结构应该如下图所示：
4. Web 部署
微调完成后，我们就可以通过 Streamlit 脚本在浏览器中观察微调后的效果了。
在运行之前，我们需要先执行下面的命令，将脚本中的模型路径修改为微调后的模型路径：
cd ~/Tutorial/tools/L1_XTuner_code
# 直接修改脚本文件第18行
- model_name_or_path = "Shanghai_AI_Laboratory/internlm2_5-7b-chat"
+ model_name_or_path = "/root/finetune/work_dirs/assistTuner/merged"
然后运行脚本启动应用：
conda activate xtuner-env
streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py
通过浏览器访问：http://127.0.0.1:8501 我们就能跟微调后的模型进行对话了：
5. 部署微调后的模型到 ModelScope 平台
因为上一篇文章已经在 HuggingFace 上部署了一次模型，所以这次选择在魔搭上部署。关于魔搭社区的介绍和简单使用可以看我的这篇文章：书生大模型实训营第4期—入门岛第4关：玩转HF/魔搭/魔乐社区。
进入魔搭社区后，点击右上角个人头像，选择 创建创空间 ：
这里有两种可选的创建方式，由于我们的部署基于 Stremlit，因此选择左侧的编程式创建即可：
然后就会进入跟 HuggingFace 类似的配置界面，名称什么的大家随便填，关键在于硬件资源配置的选择，这里建议大家选我这个：
因为我们的模型比较大，所以最好在 GPU 上跑，xtuner_streamlit_demo.py 脚本文件中也是把模型加载到 GPU 上运行的，虽然理论上 CPU 也可以，但是为了不改动代码，还是直接选 GPU 资源比较省事。我选这个 24G 显存、188G 内存的 A10 是因为我们 30% A100 开发机的内存是 72G，显存是 24G 的，不过感觉 60G 内存的那个 A10 资源应该也够用了，大家可以试一下。选完配置点击创建，系统会引导你绑定阿里云账号并开通 PAI，弄完之后才算正式创建成功。（开通完后记得往阿里云账户里充点钱，这里的资源都是由阿里云 PAI-EAS 提供的，扣费直接扣的阿里云的钱）
这里还需要说一下就是，如果你不嫌麻烦真的把脚本文件重构成了 CPU 版本，很遗憾你的模型很可能还是无法部署成功，我试过免费的 16G CPU 和付费的 32G CPU，都爆内存了。
配置好环境之后我们在开发机终端里将创空间的项目克隆下来，然后把上文中的 merged 文件夹和xtuner_streamlit_demo.py 脚本文件复制到我们克隆的项目中。这里复制完成后还需要把 xtuner_streamlit_demo.py 重命名成 app.py。
然后我们还需要上传 requirements.txt。下面是我这个文件的内容：
requirements.txt：
torch==2.4.1
torchvision==0.19.1
torchaudio==2.4.1
transformers==4.39.0
这些文件准备好后你的文件结构就是这样的：
最后执行下面命令把我们的修改 push 到远程仓库就行了：
git add .
git commit -m "model weight and configuration files"
git push
因为模型文件比较大，所以这些命令可能会执行的比较久，建议一条条执行，耐心等待。
push 成功后创空间会自动根据我们的配置文件下载依赖并运行 app.py 文件，在设置中将创空间上线后即可在空间内容中看到我们最终的部署效果：
跟微调后的模型稍微聊了两句，感觉还不错~
最后注意：我们选的是付费 GPU 资源，虽然前面设置了休眠时间，但是这里的资源还是有点贵的，不用了记得手动下线，防止持续扣费。
至此，书生大模型实训营第4期基础岛第五关任务完成~
标签：实训营,text,finetune,xtuner,书生,XTuner,data,root,模型 From： https://blog.csdn.net/weixin_54052852/article/details/143963223