今天我们介绍一种部署本地知识库的方案:Ollama+MaxKB
废话不多说,直接开始吧
安装MaxKB
首先我们通过 Docker 安装 MaxKB (maxKB可以安装在本地,也可以安装在云服务器上)
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
安装成功后访问:http://localhost:8080/ 登录,初始账号为:
用户名: admin 密码: MaxKB@123..
进入系统后,是这样的
搭建模型
接下来我们进行最重要的模型搭建,模型搭建我们选择直接租赁GPU,以在GPUEZ平台(https://gpuez.com)为例
登录智算云算力平台,租赁实例
最近智算云平台一直在做活动,新用户注册即送5元体验金,平台所有商品一律8折,这波羊毛值得薅一薅。
选择要安装的基础镜像后,点击创建,就可以在控制台看到自己的实例啦。当然我们也可以将自己正在使用的实例保存为镜像,后面创建实例时点击"我的镜像",然后选择自己的镜像就可以了。
好的,现在实例已创建完成,现在我们进入实例里面,开始部署吧。
点击JupyterLab,进入JupyterLab控制面板
点击Terminal,进入实例命令行界面
好了,现在我们正式开始部署服务
安装Ollama
curl -fsSL https://ollama.com/install.sh | sh
运行ollama
export OLLAMA_HOST=0.0.0.0 ; ollama serve # 设置OLLAMA_HOST是为了让远程访问
运行大模型
再打开一个窗口,执行下面的命令
ollama run qwen:7b #这里我们运行千问大模型,7亿参数,run命令会自动拉取模型文件,并启动
现在大模型已启动,服务启动后,使用的默认端口是11434,我们可以直接根据ip和端口访问即可,由于我这里是用的平台的实例,所以需要设置一下代理
实例列表页点击查看代理,添加11434端口,点击确定后,系统开始设置端口代理转发,再次打开查看代理,当出现复制和链接小图标时,说明代理已生效,可以直接访问了
配置模型
设置模型
依次点击系统设置、模型设置,点击添加模型,选择Ollama
接下来填写模型相关信息
模型名称随便填
模型类型选择大语言模型
基础模型我这里选择的是qwen:7b,大家根据实际情况选择刚才创建的模型。
API域名填我们刚才创建端口代理是生成的代理链接,我这里是https://83d-10oh.proxy.hz.gpuez.com,大家根据实际情况填写,如果你是本地部署的话,这里应该是http://127.0.0.1:11434
API Key如果在没有设置的话这里随便填即可
设置完毕,点击添加,到这里我们已经在MaxKB里设置好了大语言模型
创建知识库
点击知识库,依次输入基本信息
设置完成后,点击创建并导入,我这里选择的是web站点,然后直接输入网址即可,你也可以选择通用型然后上次知识库文件。
设置后,系统自动抓取知识库内容,
创建应用
依次点击应用、创建应用,并填写应用相关信息,关联知识库这里,点击添加,选择我们刚刚创建的知识库
点击创建,应用创建成功
点击演示,即可访问知识库
如何学习AI大模型 ?
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】
标签:AI,手把手,模型,知识库,学习,点击,CSDN,MaxKB,Ollama From: https://blog.csdn.net/bagell/article/details/143877167