首页 > 其他分享 >手把手教你实现Ollama+MaxKB 创建本地知识库

手把手教你实现Ollama+MaxKB 创建本地知识库

时间:2024-11-22 11:14:50浏览次数:3  
标签:AI 手把手 模型 知识库 学习 点击 CSDN MaxKB Ollama

今天我们介绍一种部署本地知识库的方案:Ollama+MaxKB

废话不多说,直接开始吧

安装MaxKB

首先我们通过 Docker 安装 MaxKB (maxKB可以安装在本地,也可以安装在云服务器上)

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb   

安装成功后访问:http://localhost:8080/ 登录,初始账号为:

用户名: admin   密码: MaxKB@123..   

进入系统后,是这样的

搭建模型

接下来我们进行最重要的模型搭建,模型搭建我们选择直接租赁GPU,以在GPUEZ平台(https://gpuez.com)为例

登录智算云算力平台,租赁实例

最近智算云平台一直在做活动,新用户注册即送5元体验金,平台所有商品一律8折,这波羊毛值得薅一薅。

选择要安装的基础镜像后,点击创建,就可以在控制台看到自己的实例啦。当然我们也可以将自己正在使用的实例保存为镜像,后面创建实例时点击"我的镜像",然后选择自己的镜像就可以了。

好的,现在实例已创建完成,现在我们进入实例里面,开始部署吧。

点击JupyterLab,进入JupyterLab控制面板

点击Terminal,进入实例命令行界面

好了,现在我们正式开始部署服务

安装Ollama

curl -fsSL https://ollama.com/install.sh | sh   

运行ollama

export OLLAMA_HOST=0.0.0.0 ; ollama serve # 设置OLLAMA_HOST是为了让远程访问   

运行大模型

再打开一个窗口,执行下面的命令

ollama run qwen:7b #这里我们运行千问大模型,7亿参数,run命令会自动拉取模型文件,并启动   

现在大模型已启动,服务启动后,使用的默认端口是11434,我们可以直接根据ip和端口访问即可,由于我这里是用的平台的实例,所以需要设置一下代理

实例列表页点击查看代理,添加11434端口,点击确定后,系统开始设置端口代理转发,再次打开查看代理,当出现复制和链接小图标时,说明代理已生效,可以直接访问了

配置模型

设置模型

依次点击系统设置、模型设置,点击添加模型,选择Ollama

接下来填写模型相关信息

模型名称随便填

模型类型选择大语言模型

基础模型我这里选择的是qwen:7b,大家根据实际情况选择刚才创建的模型。

API域名填我们刚才创建端口代理是生成的代理链接,我这里是https://83d-10oh.proxy.hz.gpuez.com,大家根据实际情况填写,如果你是本地部署的话,这里应该是http://127.0.0.1:11434

API Key如果在没有设置的话这里随便填即可

设置完毕,点击添加,到这里我们已经在MaxKB里设置好了大语言模型

创建知识库

点击知识库,依次输入基本信息

设置完成后,点击创建并导入,我这里选择的是web站点,然后直接输入网址即可,你也可以选择通用型然后上次知识库文件。

设置后,系统自动抓取知识库内容,

创建应用

依次点击应用、创建应用,并填写应用相关信息,关联知识库这里,点击添加,选择我们刚刚创建的知识库

点击创建,应用创建成功

点击演示,即可访问知识库

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】

标签:AI,手把手,模型,知识库,学习,点击,CSDN,MaxKB,Ollama
From: https://blog.csdn.net/bagell/article/details/143877167

相关文章

  • 手把手教你从头编写 PDF – 第 1 部分:PDF 对象和数据类型
    本系列文章旨在带您实际了解PDF文档的工作原理。我将首先简要介绍编写PDF所需的元素。本系列最终将带您使用文本编辑器和十六进制编辑器来创建自己的低级HelloWorldPDF文件。在我开始使用PDF文件之前,我以为它们只是某种花哨的文本文档,其中嵌入了用于呈现图形的脚本......
  • 搭建个人知识库 | 手把手教你本地部署大模型
    一、引言今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库读完本文,你会学习到如何使用Ollama一键部署本地大模型通过搭建本地的聊天工具,了解ChatGPT的信息是如何流转的RAG的概念以及所用到的一些核心技术如何通过AnythingLLM这款软件搭建完全本......
  • 游戏/软件提示msvcp140_1.dll错误无法继续运行怎么办?手把手修复msvcp140_1.dll错误
    遇到msvcp140_1.dll错误通常意味着你的系统缺少了运行某些应用程序所需的MicrosoftVisualC++Redistributable库文件。这个DLL文件是MicrosoftVisualC++的一部分,许多应用程序和游戏依赖于这些库来正确运行。以下是一些步骤,可以帮助你解决这个问题:重新安装Micros......
  • 使用Ollama和Open WebUI管理本地开源大模型
    OpenWebUI和Ollama介绍OpenWebUI是一个功能丰富且用户友好的自托管Web用户界面(WebUI),它被设计用于与大型语言模型(LLMs)进行交互,特别是那些由Ollama或与OpenAIAPI兼容的服务所支持的模型。OpenWebUI提供了完全离线运行的能力,这意味着用户可以在没有互联网连接的情况下与......
  • Ollama、轻量级AI 模型,Windows本地部署
    Windows下载部署Ollama什么是OllamaOllama是一个轻量级的本地推理工具,主要用于运行AI模型。它允许用户在本地设备上运行和交互基于大语言模型(LLM)的应用,而无需依赖云服务。这种工具的主要优势是隐私保护和低延迟,尤其适合那些需要处理敏感数据或希望脱离互联网的场景。......
  • (分享源码)计算机毕业设计必看必学 上万套实战教程手把手教学JAVA、PHP,node.js,C++、pyth
     摘 要21世纪的今天,随着社会的不断发展与进步,人们对于信息科学化的认识,已由低层次向高层次发展,由原来的感性认知向理性认知提高,管理工作的重要性已逐渐被人们所认识,科学化的管理,使信息存储达到准确、快速、完善,并能提高工作管理效率,促进其发展。论文主要是对医疗门诊管理......
  • (分享源码)计算机毕业设计必看必学 上万套实战教程手把手教学JAVA、PHP,node.js,C++、pyth
     摘 要随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱,校园跳蚤市场管理系统被用户普遍使用,为方便用户能够可以随时进行校园跳蚤市场管理系统的数据信息管理,特开发了基于spri......
  • Ollama:实现本地AI大语言模型命令行启动的专业部署方案
    一、Ollama是什么?Ollama是一个强大的开源框架,专为在本地机器上便捷地部署和运行大型语言模型(LLM)而设计。以下是对Ollama的详细介绍:一、主要功能特点简化部署:Ollama通过优化的Docker容器化技术,将复杂的模型部署过程简化,使得非专业用户也能方便地管理和运行这些大型语言模型。......
  • 手把手教你搭建OpenScenario交通场景(下)
        在《手把手教你搭建OpenScenario交通场景(上)》中,我们已经介绍,在动力学仿真软件ModelBase中对车辆、行人、物体和RSU四类实体进行创建后,实体的名称将根据各自类型出现在编辑器左上位置的实体列表中进行显示,并可用于通过点击在编辑器中实现快速查找。模型库    ......
  • 大模型实战(二):langchain+Ollama调用本地大模型实现RAG(保姆级)
    文章目录一、任务描述1.环境2.功能二、代码拆解1.导入包2.配置本地模型3.实例化embedding模型4.导入向量化知识库5.加入提示词6.定义查询方法7.问答三、总体代码一、任务描述由于显卡仍然较为昂贵,个人笔记本的硬件条件很难带动大模型,因此我们可以调用一......