chatGPT带火了整个AI，本来想让子弹飞会，但上上下下都在谈论，感觉很焦虑。那就试试吧。
1、选型，只有开源的才可能私有化部署，最终从最容易入手的（资料做多）：清华开源的chatGLM2-6B，毕竟现在是练手
2、项目：github上有，huggingface上也有，但不一样。完整的模型实现在huggingface，带着模型参数。
3、模型：模型可以通过安装git LFS后下载。也可以在clone huggingface上的工程后，用迅雷去huggingface上下载7个bin文件（11.6G），以及ice_text.model文件。这几个文件普通的git clone下来的是一个链接。huggingface上标注为LFS的都需要另外下，否则后面加载模型时会报错。另外，还可以从清华大学云盘上去下：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/
4、依赖：根据github上的requirements.txt：protobuf transformers==4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate sse-starlette。除非你非常清楚依赖之间的版本关系，否则请按要求的去做
5、完成部署：clone完huggingface项目，下载完模型参数，安装完依赖，就完成部署了。如果后面跑脚本报错，大概率是下载的文件不全或依赖没装全。
6、代码调用：假设项目部署在/home/app/chatglm-6b目录下，下面的代码将从本地加载模型，如果使用路径"THUDM/chatglm-6b"，将需要从huggingface加载模型，很可能因为网络问题而下载不了模型（11.6G的bin文件）。
>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("/home/app/chatglm-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("/home/app/chatglm-6b", trust_remote_code=True).half().cuda()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好
标签：睡眠,部署,模型,私有化,huggingface,chatglm,response,history
From： https://www.cnblogs.com/badwood316/p/17527148.html