其实这个环境的搭建比较容易，但是其中出现在AutoDL上访问WebUI界面是无法访问的，对该问题查阅了一些资料并记录.
1. 环境的配置及其校验
Step 1. 使用Conda 创建LLaMA-Factory的python虚拟环境
conda create -n llama_factory python==3.11
创建完成后，通过如下命令进入该虚拟环境，执行后续的操作
conda activate llama_factory
Step2. 根据CUDA版本要求安装Pytorch
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia
Step 3. 验证GPU版本的Pytorch是否成功
python -c "import torch; print(torch.cuda.is_available())"
若输出是True，则表示GPU版本的Pytorch已经安装承购并且可以使用CUDA，如果输出是False，则表明没有安装GPU版本的Pytorch，或者CUDA环境没有正确配置。
Step 4. 下载LLaMA-Factory的项目文件
进入LLaMA-Factroy的官方Github，地址为：https://github.com/hiyouga/LLaMA-Factory，在Github上将项目文件下载下来：可以通过clone或者下载zip压缩包两种方式。
首先，安装git软件包：
sudo apt install git
然后clone命令，将LLaMA-Factroy github上的项目下载下来
git clone https://github.com/hiyouga/LLaMA-Factory.git
接下来，解压缩LLaMA-Factory-main.zip文件
unzip LLaMA-Factory-main.zip
重命名LLaMA-Factory-main为LLaMA-Factory
mv LLaMA-Factory-main LLaMA-Factory
Step 5. 升级pip版本
python -m pip install --upgrade pip
Step 6. 使用pip安装LLaMA-Facory项目代码运行的项目依赖
# 进入文件夹 cd LLaMA-Factory #找到requirements.txt文件 pip install -e '.[torch,metrics]' -i https://pypi.tuna.tsinghua.edu.cn/simple/
接下来对环境进行整体校验
整体校验1 import torch torch.cuda.current_device() torch.cuda.get_device_name(0) torch.__version__'torch.cuda.current_device()': 返回当前选定的 CUDA 设备索引。
'''
'torch.cuda.get_device_name(0)': 返回索引为 0 的 CUDA 设备名称。'torch.__version__: 返回当前安装的 PyTorch 版本。
''' 整体校验2 lamafactory-cli train -h
2. 使用LLaMA Board微调Qwen2.5模型
Step1. 下载模型（以Qwen2.5 1.5B为例）：
modelscope download --model Qwen/Qwen2.5-1.5B-Instruct
若出现以下问题：
-bash: modelscope: command not found
则执行以下命令安装modelscope库即可：
pip install modelscope
如果在当前目录下找不到，去指定默认路径寻找：/root/.cache/modelscope/hub/
然后将文件移动到指定目录下：
mv /root/.cache/modelscope/hub/Qwen /home/zx/zxmodel
Step2. 启动对话窗口验证模型是否完整
CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat --model_name_or_path /home/zx/zxmodel/Qwen/Qwen2___5-1___5B-Instruct --template qwen
上述命令中，CUDA_VISIBLE_DEVICES指定当前程序使用的是第0张卡；model_name_path参数为huggingface或者modelscope上的标准定义，如“meta-llama/Meta-Llama-3-8B-Instruct”或者本地下载模型的绝对路径；template 模型问答时所使用的prompt模板，不同模型不同，参考 https://github.com/hiyouga/LLaMA-Factory?tab=readme-ov-file#supported-models 获取不同模型的模板定义，否则会回答结果会很奇怪或导致重复生成等现象的出现。
通过上述命令启动成功后访问指定端口
但是在autodl中，会出现以下情况：
原因为：
AutoDL 不支持创建 share 链接，需要映射端口到 6006 并且在控制台开启外部访问
解决办法：
1.修改LLaMA-Factory/src/llamafactory/webui/interface.py文件中的run_web_ui函数为share=True
2.运行llamafactory-cli webui命令，在运行lamafactory-cli webui命令时出现以下情况：
对于该问题，接下来根据如上图所示指示下载对应的文件，对该文件重命名，然后放在相应的文件夹下，对此文件执行chmod +x frpc_linux_amd64_v0.2命令赋予权限
最后，重新执行llamafactory-cli webui命令，如下图所示会生成两个链接
使用第二个public URL，即可访问页面：
标签：AutoDL,torch,Llama,modelscope,Factory,CUDA,LLaMA,cuda From： https://www.cnblogs.com/white-the-Alan/p/18679858