微调大语言模型——LLaMa-Factory平台搭建（非常详细）

我们采用 LLaMA-Factory平台进行微调语言模型，详细信息可以访问github主页（https://github.com/hiyouga/LLaMA-Factory）浏览。

租赁显卡

采用AutoDL作为云平台进行微调训练。Win系统采用终端命令行操作的过程差不多。

选择合适的显卡，点击租赁

LLaMa-Factory 所需要的设备软硬件环境要求如下：

训练各类模型所需的显存大小：

在弹出页面内镜像一栏选择基础镜像，下拉菜单内依据以上要求选择合适的pytorch框架版本、Python版本和Cuda版本。之后点击立即创建。

选择配置

本地平台配置

克隆项目

创建成功后，点击JupyterLab进入终端页面。

进入终端

终端页面如下，点击终端进入命令行页面。

点击终端

再命令行输入以下代码-回车，进行学术资源加速：

source /etc/network_turbo  

再输入以下代码回车，克隆LLaMA-Factory项目：

git clone https://github.com/hiyouga/LLaMA-Factory.git  

稍等一段时间，克隆完成结束后出现以下界面：

完成界面

新建虚拟环境

输入以下代码，创建新环境：

conda create -n llama_factory python=3.10  

中间有过程需要输入y进行确认。

输入以下代码初始化conda：

source /root/miniconda3/etc/profile.d/conda.sh  

输入以下代码激活该环境：

conda activate llama_factory  

如图所示，已经成功激活：

❝

「虚拟环境」

虚拟环境为项目提供了一个隔离的空间，可以避免不同项目依赖的包版本冲突。每个虚拟环境都有自己的依赖包副本，不会影响到其他环境。

之后每次运行都需要激活虚拟环境。

❞

安装依赖库

输入以下代码，进入平台目录：

cd LLaMA-Factory  

输入以下代码，安装所需的库文件

pip install -r requirements.txt  

再安装modelscope库

pip install modelscope -U  

启动前端页面

首先下载访问以下链接，下载并解压压缩包：AutoDL-SSH-Tools.zip

https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip  

在命令行输入以下代码：

CUDA_VISIBLE_DEVICES=0 python src/train_web.py  

出现如下页面即启动成功，注意端口号为7860

回到解压后的压缩包，打开第一个文件：

回到AutoDL控制台页面，按照下图填入相关信息后，点击开始代理：

点击此网址，即可进入训练平台的前端页面：

前端页面

下载大模型

其他方法见往期推送，现补充一个新的方法：

新建py文件，命名为download.py，代码如下：

from modelscope import snapshot_download  
model_path="qwen/Qwen1.5-7B-Chat"  
cache_path="/root/autodl-tmp"#云平台建议下载到这个目录，是数据盘，可以扩增  
snapshot_download(model_path, cache_dir=cache_path)  

model_path可以更换为huggingface或者modelscope上的模型目录，运行该py文件即可下载

终端运行py文件方法，命令行该文件目录下输入：

python download.py  

模型目录位置

模型下载网站：ModelScope

https://modelscope.cn/  

Huggingface

https://huggingface.co/  

GitHub

https://github.com/  

Gittee

https://gitee.com/  

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版CSDN大礼包：《AGI大模型学习资源包》免费分享

更多内容为防止和谐，可以扫描获取哦~

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

本文转自 https://blog.csdn.net/Javachichi/article/details/140877888?spm=1001.2014.3001.5502，如有侵权，请联系删除。