ChatGLM2 部署全过程每一步超详细

打开autodl，创建实例Tesla T4 * 1卡使用miniconda镜像。

方法一：从huggingface下载

这个步骤不稳定我们换种下载方式

apt-get update
apt install git-lfs
git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b

方法二：去清华云下载模型

这个链接只能下载所有的模型，包括chatglm和visualglm，我还没有找到只下载chatglm2的连接。

git clone https://github.com/chenyifanthu/THU-Cloud-Downloader.git
cd THU-Cloud-Downloader

pip install argparse requests tqdm

python main.py \
 --link https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/\
 --save ../autodl-tmp

这个下载过程要花一个小时，可以开个新的终端下载这个库并安装依赖

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt

最后都下载好了，看哪个盘比较充裕就整合起来放在哪个盘

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b

我们来测试一下：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)