用命令即可：
python3 -m torch.distributed.launch --nproc_per_node 8 train.py
或者
使用Accelerator： https://huggingface.co/docs/transformers/v4.21.2/en/accelerate
标签：en,训练,模型,torch,多卡,GPU From： https://www.cnblogs.com/aaronhoo/p/16647438.html
用命令即可：
python3 -m torch.distributed.launch --nproc_per_node 8 train.py
或者
使用Accelerator： https://huggingface.co/docs/transformers/v4.21.2/en/accelerate
标签：en,训练,模型,torch,多卡,GPU From： https://www.cnblogs.com/aaronhoo/p/16647438.html