目录
概述
本文主要介绍如何在Ubuntu上安装ChatGLM3-6b模型。只有6B 模型支持function call，32k 128k都没有支持，所以选择6b这个模型。
安装分为2个大的步骤：
- 安装程序运行的环境，安装Anaconda3
- 下载chatGLM3-6b的模型文件
- 下载chatGLM3-6b的模型文件，下载地址：https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base/summary
- 下载chatGLM3运行的壳子，便于用户访问，下载地址：https://github.com/THUDM/ChatGLM3
安装Anaconda3
Anaconda 是 Python 的一个出色的集成开发工具集，包括了Python解释器、conda包管理器、以及众多集成好的数学科学库（numpy/pandas/matplotlib/scipy/sk-learn 等等）因此非常适合于对 python 有数据处理需求的工程师与学生使用，可以减少因包依赖导致的库下载失败而浪费时间。
原文链接
https://blog.csdn.net/qq_29225913/article/details/105347317
下载 Anaconda 3
国内用户可以从清华大学开源软件镜像站里面获取 Anaconda 3
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
根据日期排序，下载最新的版本，选择 Linux 64 位版本下载。
安装 Anaconda 3
执行 bash 安装
去到下载的文件夹内，执行命令：bash Anaconda3-2020.02-Linux-x86_64.sh
输入 yes
敲入回车
继续输入 yes
查看conda版本 ：conda -V
查看python 版本：python -V
提示 “conda:未找到命令” 的解决办法
往 /.bashrc 文件末尾追加 anaconda 的路径（/home/yourname/anaconda3/）
echo 'export PATH="/home/majianwei/anaconda3/bin:$PATH"' >> ~/.bashrc
更新source
source ~/.bashrc
重新执行下下面指令，能够正常打印版本号，就代表安装成功。
查看conda版本 ：conda -V
查看python 版本：python -V
anaconda 3 常用命令
| 序号 | 功能 | 命令 | 备注 |
|---|---|---|---|
| 1 | 查看 conda 版本 | conda --version, conda -V | |
| 2 | 更新 conda | conda update conda | |
| 3 | 查看 conda 帮助(对初学者很有用的命令) | conda --help, conda -h | |
| 4 | 新建虚拟环境 | conda create --name <env_name> <package_names> | 多个包名用空格分开 |
| 5 | 切换 conda 环境 | conda activate env_name | |
| 6 | 退出虚拟环境 | conda deactivate | |
| 7 | 列出所有虚拟环境 | conda info --envs, conda info -e, conda env list | |
| 8 | 复制环境 | conda create --name new_env_name --clone copied_env_name | |
| 9 | 删除环境 | conda remove --name env_name --all | |
| 10 | 精确查找包 | conda search --full-name <package_name> | |
| 11 | 模糊查找包 | conda search |
|
| 12 | 获取当前环境中已安装的包信息 | conda list | |
| 13 | 指定环境安装包 | conda install --name <env_name> <package_names> | 指定版本: conda install --name <env_name> <package_name=version> |
| 14 | 在当前环境中安装包 | conda install <package_names> | |
| 15 | pip 安装 | pip install <package_names> | conda 装不了的（或没有的）可用 pip 来安装 |
添加/更换 conda 清华源
conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/' #必需
conda config --add channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/' #必需
conda config --set show_channel_urls yes
这是配置好的 .condarc 文件，查看命令 vim ~/.condarc
下载chatglm3-6b模型
推荐使用modescope 下载模型文件，国内的源，下在速度快。
下载链接：https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base/files
Git下载命令：
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-base.git
SDK下载命令：
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/chatglm3-6b-base')
下载chatglm3壳子
首先需要下载本仓库：
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
然后使用pip清华源安装依赖：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
为了保证 torch 的版本正确，请严格按照 官方文档 的说明安装。
运行网页版本的壳子
streamlit run web_demo_streamlit.py
运行命令行版本的壳子
python cli_demo.py
使用那个壳子就打开壳子对应的文件，修改为调用本地模型，/home/i/chatglm3/chatglm3-6b 就是下载的模型文件路径：
MODEL_PATH = os.environ.get('MODEL_PATH', '/home/i/chatglm3/chatglm3-6b')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", '/home/ai/chatglm3/chatglm3-6b')