学习一下GPT项目的相关使用和部署
一、GPT4ALL模型
Github:https://github.com/nomic-ai/gpt4all
GPT4ALL项目部署简易,但是在运行体验上一般,并且是只调用CPU来进行运算,看官方文档介绍在嵌入式上有比较大的优势,但是目前个人对嵌入式方向接触不深,仅在本机部署使用。
本机配置(CPU:i5-8400、显卡:1060、内存:8)
1、模型下载
链接:https://gpt4all.io/index.html
可以自行选择不同的model类型,都有相对应的介绍,然后直接下载即可。
model使用相关文档链接:https://docs.gpt4all.io/index.html
下述是本机使用过程:
1、安装第三方库:pip install gpt4all
2、
1 from gpt4all import GPT4All 2 model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False) 3 while True: 4 str = input('Loading Done! Please input: ') 5 if str == '0': 6 break 7 output = model.generate(str) 8 print(output)
使用上述代码,既可在命令行和模型连续沟通,但是体验感不佳(可能是因为我自己电脑配置的原因。。)
也可以安装界面版,相关信息github自行获取。
将陆续更新其他的模型本地部署(问就是GPT4ALL不是很好用...)
标签:https,Python,部署,本地,GPT4ALL,gpt4all,ChatGPT,model From: https://www.cnblogs.com/vangoghpeng/p/17785174.html