从零学习大模型——使用GLM-4-9B + BGE-M3 + langchain + chroma建立的本地RAG应用（一）——环境准备

本项目基于DataWhaleChina的self-llm教程与llm-universe及Langchain官方文档等资料开发，旨在实现全部本地化的RAG应用。

本项目使用AutoDL的云服务器进行开发。在 AutoDL 平台中租一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1。

接下来打开刚刚租用服务器的 JupyterLab，并且打开其中的终端。进行环境配置与依赖安装，注意要依次执行每一行pip install语句。

# 升级pip
python -m pip install --upgrade pip
# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install fastapi==0.104.1
pip install uvicorn==0.24.0.post1
pip install requests==2.25.1
pip install modelscope==1.9.5
pip install transformers==4.41.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
pip install tiktoken==0.7.0

项目中下载的模型建议使用魔搭社区的源，较为稳定快速。在/root/autodl-tmp路径下新建一个python文件download.py内容如下：

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('ZhipuAI/glm-4-9b-chat', cache_dir='/root/autodl-tmp', revision='master')

然后在终端执行命令：

cd /root/auto-tmp
python download.py

终端出现下图结果表示下载成功。

然后运行pip install langchain==0.2.1，为后续接入langchain做准备。