一、硬件要求
量化等级 | 最低 GPU 显存(推理) | 最低 GPU 显存(高效参数微调) |
---|---|---|
FP16(无量化) | 13 GB | 14 GB |
INT8 | 8 GB | 9 GB |
INT4 | 6 GB | 7 GB |
二、环境要求
需先安装git、python
三、下载源码
1 mkdir /gpt 2 cd gpt 3 git clone https://github.com/THUDM/ChatGLM-6B.git
四、安装依赖
pip install -r requirements.txt
五、下载模型
git clone https://huggingface.co/THUDM/chatglm-6b cd chatglm-6b
六、启动
pip install gradio
python web_demo.py
访问对应的地址。
标签:显存,6B,git,本地化,clone,GB,ChatGLM From: https://www.cnblogs.com/hillman01/p/17382483.html