Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。
Ollama的优势
提供类似OpenAI的简单内容生成接口,极易上手使用类似ChatGPT的的聊天界面,无需开发直接与模型聊天支持热切换模型,灵活多变
搭建步骤
1.打开https://ollama.com/官网,点击“Download”按钮打开下载页面,选择适合自己系统的版本下载。
2.找到下载的Ollama安装包,一键安装。
如果你想把Ollama下载的模型放到其它磁盘(默认是在C盘),打开系统环境变量设置,
添加变量名:OLLAMA_MODELS,变量值:“你存放Ollama模型的路径”。
设置保持后需要重启电脑,下载的模型就会存放到你设置的目录里了。
Linux可以使用提供的安装脚本一键安装Ollama,
curl -fsSL https://ollama.com/install.sh | sh
3.下载模型
打开cmd窗口,输入指令
ollama run llama2-cinese:latest
下载一个支持中文的模型,模型下载完成后,就可以在CMD窗口进行聊天了。
4.若是觉得命令行的形式不够易用,Ollama 有一系列的周边工具可供使用,包含了网页、桌面、终端等交互界面及诸多插件和拓展。
之所以 Ollama 能快速形成如此丰富的生态,是因为它自立项之初就有清晰的定位:让更多人以最简单快速的方式在本地把大模型跑起来。同时将繁多的参数与对应的模型打包放入;Ollama 因此约等于一个简洁的命令行工具和一个稳定的服务端 API。这为下游应用和拓展提供了极大便利。
我选择一个最简单的方式:Chatbox
Chatbox是开源的 ChatGPT API (OpenAI API) 桌面客户端,Prompt 的调试与管理工具,支持 Windows、Mac 和 Linux。
github地址:https://github.com/Bin-Huang/chatbox
官网地址:Chatbox官网 - 办公学习的AI好助手,官方免费下载
下载Chatbox,一路下一步安装完成。
先启动Ollama服务器模式,
ollama sreve
如果启动失败,关闭ollama,退出ollama进程,重新启动即可。
然后打开Chatbox,点击左侧的设置,在模型选项卡,选择AI模型提供方:Ollama,API域名:http://localhost:11434,模型:选择你喜欢的模型,其它默认,确定保存即可开始使用
4.如果Ollama提供的模型没有你需要的,你可以从huggingface.co或modelscope.cn下载GGUF格式的模型,导入到Ollama。
导入方法:在你下载好的GGUF模型目录,新建一个Modelfile文件,写入:FROM ./vicuna-33b.Q4_0.gguf(FROM后面为GGUF模型的路径)
在当前目录进入cmd窗口,输入:ollama create example -f Modelfile(example为你重新命名的模型名称)
导入完成后,就可以使用了,
ollama run 你刚才导入的模型名称