基于Linux系统的Llama2模型部署与运行

一、安装Linux系统（Ubuntu20.04）

略。

二、安装Nvidia-docker

参考：nvidia-docker安装

三、环境配置

3.1 拉取镜像

在终端通过docker拉取一个Python版本为3.10的镜像。

sudo docker pull python:3.10

3.2 在容器中的操作

1、运行容器

sudo docker run it --name 容器名 python:3.10

2、查看容器

sudo docker ps -a

3、启动容器

sudo docker start 容器名

4、进入容器

sudo docker exec -it 容器名 bash

5、 配置pytorch环境

pip install -i https://pupi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio

6、 退出容器

sudo docker exec 容器名 ls 

四、 Ubuntu访问github

4.1 访问DNS网站，修改主机文件

网址：“github.com”A记录/cname检测结果--Dns查询|dns查询--站长工具 (chinaz.com)

1、终端运行以下命令来编辑hosts文件：

sudo vim /etc/hosts

2、输入密码获取权限。

3、在文件新的一行输入格式为 IP地址 域名 的内容（TTL的值最小）。如：

20.205.243.166 github.com

4、Esc 退出编辑模式，输入 :wq 保存文件并退出Vim编辑器。

4.2 刷新DNS（可选）

sudo /etc/init.d/networking restart

五、Llama2部署

5.1 克隆模型

1、安装git-ifs

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

sudo apt-get install git-lfs

2、克隆仓库到本地

git clone https://huggingface.co/RicardoLee/Llama2-chat-13B-Chinese-50W

如果访问huggingface出错，可选择到镜像网站手动下载模型，或通过网盘文件下载到本地。

Huggingface镜像网站

如果可以访问huggingface但不能下载模型文件（3个），则需要进入本地克隆的模型目录手动下载。

wget https://huggingface.co/RicardoLee/Llama2-chat-13B-Chinese-50W/resolve/main/pytorch_model-00001-of-00003.bin

wget https://huggingface.co/RicardoLee/Llama2-chat-13B-Chinese-50W/resolve/main/pytorch_model-00002-of-00003.bin

wget https://huggingface.co/RicardoLee/Llama2-chat-13B-Chinese-50W/resolve/main/pytorch_model-00003-of-00003.bin

5.2 部署Gradio

1、从git.hub上下载 gradio_demo.py 和 requirements.txt 两个文件。

无法访问或下载失败可直接下载文章资源文件。

2、修改文件requrement.txt里的torch版本为2.0.0，并安装。

pip install -r requirements.txt

3、注释gradio.py里59、60、61行。

4、安装相关包

pip install gradio -i http://pypi.douban.com/simple/  --trusted-host pypi.douban.com

使用其他源有概率报错。

pip install bitsandbytes

pip install accelerate

pip install scipy

5.3 运行模型

使用cd命令进入llama2目录或在llama2目录右键终端运行。

python gradio_demo.py --base_model /root/autodl-tmp/Llama2-chat-13B-Chinese-50W --tokenizer_path /root/autodl-tmp/Llama2-chat-13B-Chinese-50W --gpus 0

有多个gpu的，可调整gpu的值。

运行成功跳转网页：