LLaMA-Factory 训练 Llama3-Chinese-8B-Instruct 相关报错问题解决

模型路径
up主为 llama中文社区 模型地址 https://www.modelscope.cn/models/FlagAlpha/Llama3-Chinese-8B-Instruct/summary
sys info
v100 32g
nvcc --version
cuda 11.8
python
import torch
print(torch.version)
13.1

1 pip install flash_attn timeout

2 下载whl

报这个错是因为版本没有对应上容器的环境参数

nvcc --version
cuda 11.8
python
import torch
print(torch.version)
13.1

https://github.com/Dao-AILab/flash-attention/releases?page=1

3 transformers 版本不对

pip uninstall transformers
pip install transformers