介绍

目前大模型微调主要方案是 LLaMA-Factory 

LLaMA-Factory中，提供了两种多卡框架：Accelerate、DeepSpeed

Accelerate

依赖

accelerate==0.24.1
transformers==4.34.1
datasets==2.14.7
tiktoken==0.5.1
peft==0.6.2
trl==0.7.1

这里只列出可能冲突版本

注意

使用最新版本0.24.1，尝试使用0.21.0，发现gpu_ids不生效

其中trl需要降级到0.7.1，最新的0.7.4训练会报错。默认第一步安装是0.7.4

配置

　　yaml配置如下：

compute_environment: LOCAL_MACHINE
distributed_type: MULTI_GPU
downcast_bf16: 'no'
machine_rank: 0
main_training_function: main
mixed_precision: fp16
gpu_ids: 1,3
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: false

　　最终命令：

accelerate launch --config_file /root/default_config.yaml src/train_bash.py [llama-factory参数]

　　注意：

gpu_ids数量跟num_processes必须要一致

训练速度

从结果来看，训练速度基本与显卡数量成线性关系。且显存大小几乎一样

DeepSpeed

依赖

deepspeed==0.12.3
transformers==4.34.1
datasets==2.14.7
tiktoken==0.5.1
peft==0.6.2
trl==0.7.1

配置

deepspeed --include="localhost:0" src/train_bash.py [llama-factory参数] --deepspeed /root/ds_config.json

注意

单机训练不需要配置hostfile，但是需要配置localhost

速度

未完待续