零基础在Windows电脑用代码跑一个自己的本地大模型

零基础在Windows电脑用代码跑一个自己的本地大模型

• 环境
• • 1.1下载Windows版本的Anaconda
  • 1.2在微软商店中下载python(打开微软商店，搜索python下载3.10版本即可)
  • 1.3在pycharm中下载
  • 模型下载
  • 运行大模型

环境

确保当前电脑有python3环境
如果没有可以选择
下载Windows版本的Anaconda
在微软商店中下载python(打开微软商店，搜索python下载3.10版本即可)
在pycharm中下载
以下方法三选一即可

1.1下载Windows版本的Anaconda

https://www.anaconda.com/download/success
下载安装即可
在CMD中输入

conda create -n hhxy python=3.10

即可自动创建一个名为hhxy的python3.10版本的python解析器

conda activate hhxy

即可在CMD中切换python解析器环境

1.2在微软商店中下载python(打开微软商店，搜索python下载3.10版本即可)

https://apps.microsoft.com/detail/9PJPW5LDXLZ5?hl=neutral&gl=CN&ocid=pdpshare

自动下载安装即可
在CMD中输入python即可查看当前环境
输入

exit()

即可推出python编辑

1.3在pycharm中下载

下载pycharm
https://www.jetbrains.com.cn/en-us/pycharm/download/?section=windows

如果有conda环境即可自动创建一个conda环境

也可以选择环境

模型下载

1.下载ChatGLM-6b和环境准备
下载地址：https://github.com/THUDM/chatglm-6B

从 Github 下载 ChatGLM-6B 仓库，然后进入仓库目录使用 pip 安装依赖，

其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。

git clone https://github.com/THUDM/ChatGLM-6B

（2）切换到chatGLM-6B目录

cd ChatGLM-6B

（3）下载依赖包

pip install -r requirements.txt

2.下载预训练模型

pip install -U huggingface_hub
$env:HF_ENDPOINT = "https://hf-mirror.com"
huggingface-cli download --resume-download THUDM/chatglm-6b --local-dir chatglm-6b

使用国内镜像站下载模型

运行大模型

python cli_demo.py

具体参考https://blog.csdn.net/m0_52985087/article/details/136539237添加链接描述