ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
安装
git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B
python -m venv _env
#进入虚拟环境
.\_env\Scripts\activate
#设置国内镜像
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
#安装依赖
pip install -r requirements.txt
#设置镜像站
set HF_ENDPOINT=https://hf-mirror.com执行命令行demo
注释掉无用的import readline这一行
python cli_demo.py
如果需要改为使用CPU执行：
model = AutoModel.from_pretrained(“THUDM/chatglm-6b”, trust_remote_code=True).float()
欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序
用户：晚上睡不着应该怎么办
ChatGLM-6B：晚上睡不着可能会让人感到不舒服和焦虑，以下是一些可能有用的建议：
1. 保持规律的睡眠时间：尽量保持每天相同的睡眠时间，并尽量在每晚相同的时间上床睡觉。
2. 放松身体和思维：在睡觉前放松身体和思维可能是有助于入睡的重要步骤。可以尝试深呼吸、渐进性肌肉松弛、冥想或瑜伽等方法来 放松身体和思维。
3. 避免刺激性物质：在睡觉前避免饮用咖啡、茶、可乐等含有咖啡因的饮料，以及饮酒和吸烟等刺激性物质。
4. 创造一个舒适的睡眠环境：确保卧室安静、黑暗、凉爽和舒适，并使用舒适的床垫和枕头。
5. 避免使用电子设备：在睡觉前尽量避免使用电子设备，如手机、电脑和平板等，这些设备会发出蓝光，可能会干扰身体分泌褪黑素， 从而影响睡眠。
6. 尝试一些助眠方法：可以尝试使用一些助眠方法，如睡前放松、阅读、听轻柔的音乐等，这些可能会帮助放松身体和思维，从而更容 易入睡。
如果这些方法不能解决你的问题，你可能需要咨询医生或睡眠专家的意见。
用户：写小说：穿越到明代
ChatGLM-6B：小明(笔名)突然穿越到了明代，他感到有些奇怪，但很快就适应了这个时代。小明发现，这个时代和他所熟悉的现代生活有很大的不同。
明朝时期，人们的生活非常朴素，价值观也更加传统。小明发现，这个时代的人们非常注重家庭和亲情，人们经常为了家庭而牺牲个人利益。此外，小明还注意到，这个时代的科技水平相对较低，人们的日常生活主要是基于传统的农业和手工业。
尽管如此，小明并没有感到绝望。他意识到，自己可以利用自己的知识和技能，为这个时代做出贡献。于是，他开始努力学习，提高自己的文化水平。他也开始探索这个时代，了解这个时代人们的生活和价值观。
随着时间的推移，小明逐渐适应了这个时代，并开始了自己的职业生涯。他成为了一名商人，经营着一家小商店。他的生意非常成功，他赚取了大量的财富，为家人和朋友们购买了先进的设备和物质。
尽管小明在这个时代取得了很大的成功，但他仍然保持着对传统文化的热爱。他经常会到博物馆和历史遗迹参观，了解这个时代的历史和文化。他也知道，尽管时代不同，但人们的情感和价值观是相通的。
最终，小明在这个时代度过了一生，他成为了一个传奇人物。他的事业和贡献，为这个时代留下了深远的影响。
CPU运行需要内存32GB，如果内存有限可以加载量化后的模型：
THUDM/chatglm-6b改为：THUDM/chatglm-6b-int4或THUDM/chatglm-6b-int8
THUDM/chatglm-6b-int4效果：
用户：写小说：穿越到明代
ChatGLM-6B：穿越到明代，你将面对许多文化和历史方面的挑战，以下是一些可能有用的提示：
1. 学习明代的文化和历史
在明朝时期，你需要了解当时社会的许多方面，包括文化、宗教、法律、政治、科技、经济等等。你可以通过阅读相关的书籍、文章、纪录片等来学习明朝时期的文化和历史。
2. 寻找自己的定位
在明朝时期，你的身份和职业可能会因你的穿越而有所不同。你可以考虑寻找自己的定位，并在这个新的社会中建立联系和关系。这可能需要一些时间和精力，但可以帮助你更好地融入这个新的社会。
3. 建立人际关系
在明朝时期，人际关系是非常重要的。你可以通过参加社交活动、加入宗教组织、参加科举考试等方式来建立人际关系。这可以帮助你获得更多的信息和资源，并在这个新的社会中建立自己的地位。
4. 学习当地的语言和文化
在明朝时期，你可能需要使用当地的语言和文化来与当地人交流。你可以通过学习当地的语言和文化来提高自己的沟通能力，这将有助于你更好地融入这个新的社会。
5. 探索明代的社会和自然环境
在明朝时期，你可以通过探索社会和自然环境来了解当时的文化和历史。你可以通过参观博物馆、寺庙、公园、河流等来了解明代的社会和自然环境。
希望这些提示可以帮助你在明朝时期找到你的定位和融入新的社会。单独预测
chatglm.py
使用GPU执行
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b",trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b",trust_remote_code=True).half().cuda()
model = model.eval（)
response, history = model.chat(tokenizer, "你好", history=[])
print(response)改为使用CPU执行
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()安装openmp对CPU计算进行加速
https://jmeubank.github.io/tdm-gcc/ https://jmeubank.github.io/tdm-gcc/articles/2021-05/10.3.0-release
选择tdm64-gcc-10.3.0-2.exe
下载安装时要勾选openmp