ChatGLM3

一、安装 anaconda
cd /data/src
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh
bash Anaconda3-2021.05-Linux-x86_64.sh -p /opt/anaconda3
vim /etc/profile
文件末添加下面一行 export PATH=/opt/anaconda3/bin:$PATH
source /etc/profile
conda --version
conda info
python --version

二、部署 ChatGLM3
cd /data/ai
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

# conda 创建虚拟环境
conda create -n torch python=3.10

# 激活环境 # 退出环境 conda deactivate
conda activate torch

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

dnf install git git-lfs
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

把下载好的 THUDM/chatglm3-6b 预训练模型文件，确认是放到 ChatGLM3 仓库目录下

三、启动

ChatGLM3 提供了三种使用方式：命令行 Demo，网页版 Demo 和 API 部署；
如果已经在本地下载了模型，可以通过 export MODEL_PATH=/path/to/model 来指定从本地加载模型。
如果需要自定义 Jupyter 内核，可以通过 export IPYKERNEL=<kernel_name> 来指定。

在启动模型之前，需要找到对应启动方式的 python 源码文件 cli_demo.py，web_demo.py，openai_api.py 中修改下面这一行代码
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).cuda()

修改两个地方：
（1）本地模型的存放路径 THUDM/chatglm3-6b；
（2）根据自己的硬件环境参考 DEPLOYMENT.md 选择模型加载方式，float() CPU 部署，cuda() GPU 部署

1、命令行版
export MODEL_PATH=/data/ai/ChatGLM3/chatglm3-6b
python ./basic_demo/cli_demo.py 启动服务

2、网页版 gradio
pip install peft
python basic_demo/web_demo_gradio.py

3、网页版 streamlit
streamlit run basic_demo/web_demo_streamlit.py

4、API 部署 openai_api.py
根据自己需要修改最后一行代码中定义的 Host 和 Port
python openai_api_demo/openai_api_request.py