https://www.cnblogs.com/yubaolee/p/18390767
在接触AI应用开发的这段时间，我以为会像以前学.net，学java，学vue一样。先整个hello world，再一步一步学搭功能，学搭框架直到搭一个系统出来。然而，理想总是很丰满，现实很骨感。在实践的过程中各种千奇百怪的问题：- 概念太多。你以为就GPT、LLM？太年轻了，huggingface、transformers、torch、tokenizers、langchain、modelscope、fastapi、CUDA、cuDNN、Conda、vLLM、ResNet-50、top_p等等等等....它们有些是工具，有些只是个库，有些甚至就是个参数名以及还有些我到现在都不知道是个啥。
- 运行代码时，经常莫名奇妙地各种报错。以前学vue的时候，我以为前端的包已经够混乱了，直到开始接触AI，没有最混只有更混。
- 运行时间太长，且结果不确定。没有云上足够的算力和显卡，一个简单的代码运行少则10分钟，多则几小时，一般人是忍受不了的。就算当你历经千辛万苦程序跑完了，你会发现不太容易验证运行结果的正确性，不知道改了某个参数到底是起没起作用。
工具准备
- MiniConda 首先装这个，这个玩意有点像docker，可以隔离多个项目的python环境，并且默认带有vc++等库。为什么我把它放第一？作为一个程序员，我还是有点洁癖的，开始的时候我非常不想装这玩意，直接装个python 3.12，手动pip install霹雳巴拉下各种包多潇洒。直到运行一个最简单的代码缺各种依赖环境时，不但缺python的包，竟然还缺各种dll，还缺vc++运行时，当时心里各种NMBD....然后老老实实把它装上了，一切都顺了。安装它会默认会集成python，所以不用单独装python。我装的版本：MiniConda3 py312_24.7.1
- PyCharm 开发python的第一选择。开始我用的vs code，调试运行各种手动命令敲烦了，还是pycharm按钮好使。
环境准备
电脑cmd命令提示符。设置清华的镜像,用于后面下载各种python的包。默认国外的镜像和.net nuget包、java maven库及前端npm包一个尿性卡的要死，只能用国内的。python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple新建项目
直接pycharm新建一个项目，名字随便起。毕竟我们是整大模型的，不是学python入门的。叫llmTest吧！如图1：
（图1）
这里注意：
- interpreter type：就是运行环境，选custom environment。基于conda新建的环境名（想象成docker的一个实例，这个环境只对我们这个项目有效）。界面上提供了project venv，这种方式也可以控制项目的运行环境，想了解地自行搜索，新手不能太多选择，我就喜欢用顺手的，哈哈哈！！
- path to conda：就是工具准备里面miniconda3的安装路径。
模型下载
目前国内外的通用大模型可以用密密麻麻来形容，gitee上面已经收录了1万多个了：https://ai.gitee.com/models 。模型下载方式很多，有直接用git lfs下载的、有直接下文件的，还有不直接下载运行时才加载的写代码方式。关键是这种方案还挺好使。本着新手不能太多选择，直接推最顺手的原则。我用的阿里魔塔modelscope（注意它不是模型，不是！它只是个下载工具）。直接在pycharm命令终端里面执行pip install modelscope，如图2：
（图2）
注意图上红框的部分。这里没有用windows的命令终端执行，就是保证一直用的是我们刚刚创建的conda环境llmTest。防止安装包的时候，装到其他找不到的位置了。也可以看出下载的源用的是我们刚刚设置的清华镜像。
新建一个app.py。编写下载代码：
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='D:\Transformers')
（图3）
总共有15个G左右，需要等一段时间。至此一个大模型顺利下载完毕，它的结构如下图所示，别问我里面是啥，我也看不懂：
（图4）
模型使用
以上算是完成了全部的准备工作，作为一个有效率的打工人，马上迫不及待地想看效果了。立马码字：from modelscope import AutoTokenizer, AutoModel, snapshot_download
model_dir = snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='D:\Transformers')
# model_dir ='D:\Transformers\ZhipuAI\chatglm3-6b';
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cpu() # 权重和计算从 32 位浮点数转换为16位
model = model.eval()
response, history = model.chat(tokenizer, '你好', history=[])
print(response)