首页 > 其他分享 >从零开始:腾讯云轻量应用服务器上部署MaxKB项目(基于LLM大语言模型的知识库问答系统)

从零开始:腾讯云轻量应用服务器上部署MaxKB项目(基于LLM大语言模型的知识库问答系统)

时间:2024-06-03 14:21:16浏览次数:19  
标签:问答 模型 LLM MaxKB 服务器 控制台 轻量

使用腾讯云轻量应用服务器部署和使用MaxKB项目

前言

一,MaxKB介绍

MaxKB是基于LLM大语言模型的知识库问答系统,旨在成为企业的最强大脑。它支持开箱即用,无缝嵌入到第三方业务系统,并提供多模型支持,包括主流大模型和本地私有大模型,为用户提供智能问答交互体验和灵活性。

二,效果展示

 

三,部署教程

1.第一步先准备一台服务器,配置尽量高一点,不过也可以低配例如1H1G也行,用低配的服务器的话就得接入第三方的模型了,高配的话就可以直接部署一个大模型作为使用。本次项目我还是依然推荐极具现价比的轻量云服务器,而且本次618活动已经开展了,价格比以往更低。高配可以购买8H16G,低配就买2H2G就行。

618活动地址:https://curl.qcloud.com/wLnjrmd7

2.购买了服务器后,尽量选择Linux环境,我一般用centos,然后这块选择CentOS 7.6就行。

3.购买完成后,我们进入轻量云的控制台,一般等待个3到5分钟后就可以看到服务器部署完成。

控制台地址:https://console.cloud.tencent.com/lighthouse

 

4.进入控制台后,找到我们购买的服务器,然后点击登录

5.点击登录后,我们就进入到了OrcaTerm页面,这里输入站内信里的密码,如果不知道密码的话,可以在控制台点击登录旁边的三个点,进行重置密码。

 

6.密码输入成功后我们就成功进入了服务器,然后复制下面的代码到命令台然后回车运行

curl -sSL https://resource.fit2cloud.com/1panel/package/quick_start.sh -o quick_start.sh && sudo bash quick_start.sh

 

   

7.运行完成后,就记得到了面板的登录后台和账号密码

8.进入后台后输入账号密码,然后点击左边栏得应用商店,然后选择ai大模型分类,点击maxkb的安装

 

9.如果不改变端口的话,默认安装即可

 

10.地址是你的服务器ip+8080端口号。也就是ip:8080(一般来说8080端口是没有开启的,所以你得到轻量云的控制台去设置防火墙的端口)

 

最后入门教程地址

https://github.com/1Panel-dev/MaxKB/wiki/2-%E5%BF%AB%E9%80%9F%E5%85%A5%E9%97%A8

  

 

四,注意事项

1. 防火墙一定要开启对应端口,例如8080端口。

2.项目虽然是开源项目,但是如果商业用途还是要联系作者是否能商用。

 

五,结语

MaxKB,作为基于LLM大语言模型的知识库问答系统,提供了无与伦比的便利和智能化体验。通过其多模型支持,你可以轻松接入各种主流大模型,包括本地私有大模型(如 Llama 2)、OpenAI、通义千问、Kimi、Azure OpenAI 和百度千帆大模型等,为你的系统赋予更强大的智能能力。开箱即用的特性让您可以快速上传文档、自动爬取在线文档,享受智能问答交互体验。而MaxKB的无缝嵌入能力更是让您能够零编码快速将其整合到第三方业务系统中,提供更便捷、高效的解决方案。可以给你的工作带来更多便利与效率。

标签:问答,模型,LLM,MaxKB,服务器,控制台,轻量
From: https://www.cnblogs.com/ypyz/p/18228823

相关文章

  • 2024年5月第四周LLM重要论文总结
    本文总结了2024年5月第四周发表的一些最重要的LLM论文。这些论文的主题包括模型优化和缩放到推理、基准测试和增强性能。LLM发展与基准1、TowardsModularLLMsbyBuildingandReusingaLibraryofLoRAs基本大型语言模型(LLM)的参数越来越对,这就要求我们研究出更高效的微......
  • 如何实现倾斜摄影三维模型OSGB格式轻量化
    如何实现倾斜摄影三维模型OSGB格式轻量化   倾斜摄影三维模型以其高精度和真实感受在城市规划、建筑设计和虚拟漫游等领域发挥着重要作用。然而,由于其庞大的数据量和复杂的几何结构,给数据存储、传输和可视化带来了挑战。为了解决这个问题,倾斜摄影三维模型OSGB格式的轻量化......
  • 城市之旅:使用 LLM 和 Elasticsearch 简化地理空间搜索(二)
    我们在之前的文章“城市之旅:使用LLM和Elasticsearch简化地理空间搜索(一)”,在今天的练习中,我将使用本地部署来做那里面的Jupyternotebook。安装Elasticsearch及Kibana如果你还没有安装好自己的Elasticsearch及Kibana,请参考如下的链接来进行安装:如何在Linux,Mac......
  • 给vllm添加热添加lora的功能
    写在前面原生vllm并不支持热添加lora,但是考虑到微调机微调后,需要在不停机的情况下传递lora,于是我们需要增加一个逻辑修改VLLM包中的vllm/entrypoints/openai/api_server.py文件,添加下方的代码:1frompydanticimportBaseModel23classAddLoraRequest(BaseModel):4......
  • Unlearn What You Want to Forget Efficient Unlearning for LLMs
    目录概符号说明UnlearningLayersFusingUnlearningLayers代码ChenJ.andYangD.Unlearnwhatyouwanttoforget:efficientunlearningforllms.2024.概本文提出一种Unlearninglayer去帮助LLMs'遗忘'一些数据.符号说明\(F(\cdot)\),largelanguagemodel......
  • LangChain学习圣经:从0到1精通LLM大模型应用开发的基础框架
    文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》,帮你实现技术自由,完成职业升级,薪......
  • ProgGen: Generating Named Entity Recognition Datasets Step by step with Self Ref
    本文是LLM系列文章,针对《ProgGen:GeneratingNamedEntityRecognitionDatasetsStepbystepwithSelfReflexiveLargeLanguageModels》的翻译。ProgGen:使用自反射大型语言模型逐步生成命名实体识别数据集摘要1引言2相关工作3方法4实验5结论6局限性......
  • CLLM4Rec论文阅读笔记
    CollaborativeLargeLanguageModelforRecommenderSystems论文阅读笔记Abstract提出存在的问题:​ 自然语言和推荐任务之间的语义差距仍然没有得到很好的解决,导致了多个问题,如用户/项目描述符的虚假相关、对用户/项目数据进行的语言建模无效、通过自动回归的低效推荐。解决......
  • LLM Fine-Tuning技术笺疏
    LLM训练阶段训练大模型的三个阶段Pre-trainingstage,也就是预训练阶段,其主要目的是「提高对下一个Token的预测能力」。预训练也就是从零开始创建训练大模型的意思,是基于海量文本、几万亿Token进行的,需要上万张GPU。如果你不理解什么是Token,你就把它理解成每个token就是一个英......
  • 全球首个多语种手语视频生成模型诞生:SignLLM
    近日,一项名为SignLLM的新型AI技术取得了突破性进展,或将彻底改变听障人士的沟通方式。作为全球首个多语种手语生成模型,SignLLM能够将输入的文本或语音指令,实时转化为对应的手语手势视频,为打破语言障碍、促进信息无障碍传播带来了革命性希望。全球首个文本转多语种手......