ChatGLM 模型部署

ChatGLM 模型部署

1. 模型地址：
2. huggingface：https://huggingface.co/THUDM/chatglm3-6b
3. modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary

搭建环境

# 下载代码
$ git clone https://github.com/THUDM/ChatGLM3
$ cd ChatGLM3

# 创建环境
$ conda create -n py310_chat python=3.10       # 创建新环境
$ source activate py310_chat                   # 激活环境

# 安装依赖
$ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    
# 下载模型
# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('THUDM/chatglm3-6b', cache_dir='./model', revision='master')

模型推理

可以通过如下代码调用 ChatGLM 模型来生成对话：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
>>>
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:

你好

标签：tokenizer,部署,模型,id,ChatGLM,model,True,response,history	

From： https://www.cnblogs.com/idazhi/p/17881177.html