环境： 操作系统：windows11
RAM：16.0 GB
处理器：AMD Ryzen 3700X
显卡：NVIDIA GeForce GTX 1060 3GB
1、从上面github下载window版本的一键安装部署的zip。
地址：https://github.com/oobabooga/text-generation-webui/
2、根据github上步骤，一键安装。
3、等待安装完之后，配置python的环境。建议使用一键安装之后自带的python环境配置。
4、开始运行webui.py。
5、很快出现了第一个问题如下图：
这个问题是环境变量没有配置好，于是重新配置了一次环境变量：
然后：
6、重新配置好环境变量之后，再次运行webui.py，开始让选择电脑的GPU
根据电脑的配置，我选择了的A，之后开始下载对应的依赖数据。碰到黄色字体，说明有警告，可以先暂时不用理会。
7、不久，出现了一个新错误，看图如下：
大概意思是从github上来取数据，https连接超时。有可能是自己网的问题，也可能是因为https证书验证。保险起见，我加把git的证书验证暂时关掉。
执行关闭命令：git config --global http.sslVerify false
8、继续启动webui.py，不再出现同样的问题，但新问题紧接着到来了，python缺少模块依赖包。
下载缺少的模块命令：
python -m pip install gradio
之所以只用这个命令下载，是因为环境变量中没有配置pip命令，如果小伙伴配置了，可以把 python -m 去掉。记住pip环境变量配置，一定要和你的python环境一致，别配错了。
9、模块下载之后，继续运行webui.py，有可能会报出同样的问题，依然缺少依赖的模块，继续使用命令下载即可。
10、缺少的模块问题搞定后，继续运行webui.py，不久开始让我选择LLM模型：
根据自己电脑的配置，选择了OPT1.3B的模型，先试试。之后开始下载对应的模型数据，这里需要耐心等待了。当然如果朋友您的网速非常快，5G超牛网速，那....
11、下载完之后，很可能还会出现缺少模块的报错，根据上面的命令继续下载即可。最后前前后后我大概下载了五六缺少的模块，才OK。
这个时候，想着应该都没问题了，迫不及待的心澎湃了起来，再次运行webui.py，走你！ 然后新的问题接踵而至：
模型需要的GPU内存，分配不足。看报错需要32M，电脑配置的显卡是3G，按理说这容量运行起来应该是完全ojbk的。但仔细一看，实际能分配的显存只有12.3M。只有12.3M是空闲的，其他的都别占用了。
我立即打开电脑的任务管理器，发现GPU使用率不到3%，那怎么可能还剩下12.3M的显存，不合理。但我重新启动了一次，盯着任务管理器看，最后发现了问题。
从图上可以看出，在模型启动的时候，GPU直接给打满了，之后就出现了上面的错误。到这里，我意识到电脑配置的显卡应该是无法运行opt-1.3B模型，带不动！
于是，我换了一个更小的模型opt-350m，重新启动，这次成功了！
启动成功之后，会给出一个url，web界面的链接，复制放在浏览器上打开，是这个样子：
简单询问了几句，发现回答的不是很理想。模型太小，里面的训练数据不多，回答的也就不尽人意。 如果想体验更好的效果，需要运行更大的模型，或者自己进行微调预训练，不过前提是电脑的硬件配置要跟上。
模型需要的显存部分如下：
opt-350m，需要显存3G
opt-1.3B，需要显存4G~6G
其他模型目前还没有试，后面会不定时更新。
~~~~~~~~~~可以忽略~~~~~~~~~~~~~
发现一个不错的chatGPT网站，方便易用。
我的这篇文章有介绍，有兴趣的小伙伴，可以了解一下：
https://www.cnblogs.com/zhizhixiaoxia/p/17388727.html
标签：OPT,显存,generation,text,模型,py,python,webui,下载 From： https://www.cnblogs.com/zhizhixiaoxia/p/17414798.html