基于SWIFT和Qwen1.5-14B-Chat进行大模型全参微调测试

环境准备

基础环境

• 操作系统：Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64)
• Anaconda3：Anaconda3-2023.03-1-Linux-x86_64
• 根据服务器网络情况配置好conda源和pip源，此处使用的是超算山河源
• 服务器硬件配置：CPU 96核；GPU 8×NVIDIA A100 40GB

环境安装

通过源代码安装SWIFT:

创建一个新的conda环境：

conda create --name swift python=3.8

激活刚刚创建的conda环境：

conda activate swift

下载SWIFT源码：

git clone https://github.com/modelscope/swift.git

切换到SWIFT路径：

cd /yldm0226/swift

安装SWIFT：

pip install -e .[llm]

非必要步骤：检查服务器cuda版本是否与当前安装的pytorch对应，详见：搭建一个大模型API服务

数据集准备

对于数据集，我们均采用json或jsonl的格式。

在做大模型SFT（Supervised Fine-Tuning）时，可以准备两种数据：

1. 单轮问答
2. 多轮对话

对于单轮问答数据，其格式可以为：

{"query": "11111", "response": "22222"}

对于多轮对话数据，其格式可以为：

{"query": "eeeee", "response": "fffff", "history": []}
{"query": "EEEEE", "response": "FFFFF", "history": [["AAAAA", "BBBBB"], ["CCCCC", "DDDDD"]]}

同时，也可以用以下两种格式的数据：

{"conversations": [{"from": "user", "value": "11111"}, {"from": "assistant", "value": "22222"}]}
{"conversations": [{"from": "user", "value": "aaaaa"}, {"from": "assistant", "value": "bbbbb"}, {"from": "user", "value": "ccccc"}, {"from": "assistant", "value": "ddddd"}]}
{"conversations": [{"from": "user", "value": "AAAAA"}, {"from": "assistant", "value": "BBBBB"}, {"from": "user", "value": "CCCCC"}, {"from": "assistant", "value": "DDDDD"}]}

{"messages": [{"role": "user", "content": "11111"}, {"role": "assistant", "content": "22222"}]}
{"messages": [{"role": "user", "content": "aaaaa"}, {"role": "assistant", "content": "bbbbb"}, {"role": "user", "content": "ccccc"}, {"role": "assistant", "content": "ddddd"}]}
{"messages": [{"role": "user", "content": "AAAAA"}, {"role": "assistant", "content": "BBBBB"}, {"role": "user", "content": "CCCCC"}, {"role": "assistant", "content": "DDDDD"}]}

在本文中，共使用了9个数据集，数据集的详细信息如下：

以下是加载后的数据集信息：

[INFO:swift] train_dataset: Dataset({
    features: ['query', 'response', 'history'],
    num_rows: 2223540
})
[INFO:swift] val_dataset: Dataset({
    features: ['query', 'response', 'history'],
    num_rows: 22460
})

数据总量为2,246,000，从中抽取出约1%作为验证集，其余的作为训练集。

编写微调脚本

SWIFT框架提供了部分大模型的微调脚本，可以在我们下载的源码中的swift/examples/pytorch/llm/scripts路径中找到这些脚本。如果这些脚本能够满足我们大部分的微调需求，我们可以选择直接对这些脚本进行修改。如果找不到我们需要的脚本，需要我们根据swift/docs/source/LLM中的命令行参数文档自行编写训练脚本。

以下是对Qwen1.5-14B-Chat进行全参微调的一个训练脚本：

# Experimental environment: 8 * A100 40GB
nproc_per_node=1
NPROC_PER_NODE=$nproc_per_node \
MASTER_PORT=29500 \
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
swift sft \
    --model_type qwen1half-14b-chat \
    --model_id_or_path /yldm0226/models/Qwen1.5-14B-Chat \
    --model_revision master \
    --sft_type full \
    --tuner_backend swift \
    --template_type AUTO \
    --dtype AUTO \
    --output_dir /yldm0226/llm_sft_output \
    --ddp_backend nccl \
    --custom_train_dataset_path /yldm0226/data/1-Chinese_medical_dialogue_six_department.jsonl /yldm0226/data/2-HuatuoGPT2_sft_instruct_GPT4.jsonl /yldm0226/data/3-ChatMed_Consult-v0.3.jsonl /yldm0226/data/4-ChatMed_TCM-v0.2.jsonl /yldm0226/data/5-QiZhen_sft_20k.jsonl /yldm0226/data/6-Huatuo_Lite.jsonl /yldm0226/data/7-ZhongJing_CMtMedQA.jsonl /yldm0226/data/8-DISC-Med-SFT_released.jsonl /yldm0226/data/9-SZY_TCM_QA.jsonl \
    --train_dataset_sample -1 \
    --num_train_epochs 1 \
    --max_length 4096 \
    --check_dataset_strategy warning \
    --gradient_checkpointing true \
    --batch_size 1 \
    --weight_decay 0.01 \
    --learning_rate 1e-4 \
    --gradient_accumulation_steps $(expr 8 / $nproc_per_node) \
    --max_grad_norm 0.5 \
    --warmup_ratio 0.03 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 3 \
    --logging_steps 10 \
    --use_flash_attn false \
    --save_only_model true \

下面对该脚本中的一些重要参数作出解释：

• nproc_per_node：在多机分布式训练中，每个主机被当做一个node；nproc_per_node代表的是每个node中有几个线程；以该脚本为例，该脚本运行在单机环境中，因此nproc_per_node就代表着我们使用的单台服务器有几个线程去同时训练模型；假如nproc_per_node设置为8，那么将有8个线程同时训练模型，速度会提高很多，但是这样每块GPU都要负责存储完整的模型权重，显存会受到很大的挑战；假如nproc_per_node设置为4，那么将有4个线程同时训练模型，每个线程中有两块GPU，这两块GPU共同负责存储模型权重，这样虽然速度降低了，但是能够得到更宽裕的GPU显存；但此时我们的显存还是不足以训练14B的Qwen1.5-Chat，我们只能舍弃时间以换取空间，所以将nproc_per_node设置为1，此时该服务器只有1个线程去训练模型，模型被切分到8块GPU卡上。请注意，模型被切分到8块GPU卡上时，并不代表着这8块GPU只需要承担模型部分权重的显存，还需要承担优化器中各种梯度的存储，这也是相当大的一部分显存开销。所以如果显存允许，我们应该尽可能的提高nproc_per_node的值，提高显卡的利用率。
• CUDA_VISIBLE_DEVICES：服务器中如果有多张显卡，可以通过该参数指定使用哪几张显卡。显卡的序号可以通过nvidia-smi查看。
• model_type：model_type指定我们要微调的大模型的类型，这些类型必须是SWIFT框架所支持大模型类型的一种，具体有哪些支持的模型可以在swift源码的swift/docs/source/LLM路径中的支持的模型和数据集文档中查看。
• model_id_or_path：model_id_or_path用于指定大模型权重的本地路径。
• sft_type: sft_type表示微调的方式, 默认是lora。可以选择的值包括: 'lora', 'full', 'longlora', 'qalora'。此处使用的是full，即全参微调。
• output_dir：output_dir用于指定大模型微调过程中输出日志的存储路径。
• custom_train_dataset_path：用于指定我们数据集的存放路径，每个数据集之间用空格分隔。
• train_dataset_sample：对训练集进行采样, 默认是20000, 用于加快训练的速度。 该参数是为了避免数据集过大, 单个epoch训练时间过长的问题。 如果你指定为-1, 则使用完整的训练集进行训练。
• max_length：token的最大长度, 默认为2048。该参数可以避免个别过长的数据样本造成OOM的问题。当指定--truncation_strategy delete时, 如果某数据样本长度超过max_length, 我们会删除该数据样本。如果指定--truncation_strategy truncation_left时, 我们会切除最前面的token: input_ids[-max_length:]。如果设置为-1, 则无限制。该参数很重要，要根据显存情况选择合适的max_length，不然在训练中会出现OOM的情况，导致训练终止。

对于其他参数，这里不做过多讲解。此外，这个脚本只涉及到了部分参数，如果需要进一步的定制化，需根据文档自行修改。

测试

运行脚本，可以得到以下信息：

数据集预处理所需要的时间大概30分钟：

703283/2223540 [09:23<20:31, 1234.07it/s] 

max_length设置为2048的情况下，估算训练时间：

100/277856 [05:38<255:02:02,  3.31s/it]

8596/22452 [10:15<17:42, 13.04it/s]

训练一个epoch大约需要255小时；进行一次验证大约需要27分钟，我们设置每100步进行一次验证，总步数为277856，需要进行2778次验证，预计用时为1250小时；当然，设置100步进行一次验证有些太频繁了，在实际进行训练时可以设置为10000步进行一次验证，预计用时为12.6小时。(这里的时间只是一个大概值，在训练时，不同数据的处理速度不同，花费的总时间会一直变化)

max_length设置为4096的情况下，训练所需的大概时间如下：

100/277926 [05:50<259:11:42,  3.36s/it]

1512/22459 [01:43<24:31, 14.24it/s]

情况与max_length设置为2048的情况差距不大。

max_length设置为8192的情况下，显存不够了，出现溢出：

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 9.95 GiB (GPU 0; 39.45 GiB total capacity; 26.79 GiB already allocated; 8.68 GiB free; 29.46 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF