首页 > 其他分享 >FastGPT(知识库)+One-API(统一接口管理)+ChatGLM3(本地大模型)+M3E(向量模型)

FastGPT(知识库)+One-API(统一接口管理)+ChatGLM3(本地大模型)+M3E(向量模型)

时间:2024-12-24 10:34:27浏览次数:8  
标签:FastGPT 知识库 模型 ChatGLM3 API M3E

本文技术路线为:利用ChatGLM3-6b作为基座大模型,M3E作为向量模型,基于FastGPT建立用户知识库,One-API做统一API接口管理。 其中ChatGLM3和M3E模型都是在windows下部署的,FastGPT和One-API是在Linux下部署。
在私有化和客制化大模型庞大需求推动下,除了从大模型的全量训练和微调这两个模型改动层面上,在大模型外添加一个知识库也是一种解决思路。因为,一方面重新训练模型需要相当多的资源和专业知识,另一方面大模型本身具有知识延迟问题和幻想问题。

知识延迟问题是训练大模型需要一定的时间,从而训练数据就不可能具有实时性,而且相当耗费资源。
幻想问题问题则由于LLM采用的概率模型,即预测生成下一个字符概率是多少,所有或多或少的它在生成结果的时候都有定的可能出现错误。

简单介绍:
https://blog.csdn.net/Bowen_Ding_/article/details/137515750
安装教程:
https://juejin.cn/post/7413931157454651444#heading-25
WSL安装的Ubuntu与docker desktop集成
https://blog.csdn.net/rightkk/article/details/139803540

标签:FastGPT,知识库,模型,ChatGLM3,API,M3E
From: https://www.cnblogs.com/alex-oos/p/18626793

相关文章

  • 今年读过最绝的一本书!仅仅449页,学透大模型技术—《自然语言处理:大模型理论与实践》NLP
    《自然语言处理:大模型理论与实践》是一本由赵宇教授和任福继教授主编的书籍,专注于自然语言处理(NLP)技术,尤其是在大模型技术方面的理论与实践。这本书详细介绍了大模型技术在自然语言处理中的应用,包括语言模型的基础知识、大模型的关键技术,以及如何在实际中应用这些模型。......
  • 2024数据智能|大模型时代的数据管理策略和趋势(附实践资料下载)
    在大模型时代,数据管理面临着新的挑战和机遇。以下是一些关键的数据管理策略和趋势:数据治理:数据治理是确保数据安全、完整、可靠和合规性的关键。它包括数据管理、数据质量控制、数据流程管理等。企业需要建立数据治理框架,明确数据所有权、责任、质量标准及监控机制。数据......
  • 大语言模型驱动的Agent:定义、工作原理与应用
    文章目录引言什么是大语言模型?Agent的概念LLMAgent的工作原理Dify平台上的AgentLLMAgent的应用场景挑战与展望结论引言随着人工智能(AI)技术的发展,特别是自然语言处理(NLP)领域的进步,大语言模型(LLM,LargeLanguageModels)已经成为AI领域的一颗璀璨明星。这些模......
  • 文本嵌入模型必知 - 如何根据输入文本的长度设置最合适的嵌入维度?
    在自然语言处理(NLP)领域,文本嵌入模型(TextEmbeddingModels)通过将文本转换为高维向量表示,以捕捉其语义和语法特征。这些向量表示在下游任务(如分类、聚类、检索等)中起关键作用。嵌入维度(EmbeddingDimension)是文本嵌入模型的重要参数之一,决定向量表示的大小和表达能力。合理......
  • 《LLM入门教程》大模型教程笔记1:环境配置(安装Anaconda、获取配置并测试OpenAI API key
    项目地址:llm-cookbook教程在线阅读:面向开发者的LLM入门教程文章目录环境配置一、安装Anaconda二、安装本书需要用到的python库三、获取并配置OpenAIAPIkey示例目录结构.envconfig.py运行结果解释`find_dotenv()`的查找机制示例说明配置`find_dotenv()`的参数`loa......
  • 【电商搜索】CRM: 具有可控条件的检索模型
    【电商搜索】CRM:具有可控条件的检索模型目录文章目录【电商搜索】CRM:具有可控条件的检索模型目录文章信息摘要研究背景问题与挑战如何解决核心创新点算法模型实验效果(包含重要数据与结论)相关工作后续优化方向后记https://arxiv.org/pdf/2412.13844文章信息......
  • 在VS2022中,“根据模型生成数据库”时报错:已添加了具有相同键的项(或:An item with the s
      解决方法:关闭解决方案,打开解决方案所在文件夹,打开以下文件夹:.vs\ConsoleApp7\FileContentIndex,然后删除里面的所有文件,再重新在VS中打开解决方案重新生成即可 ......
  • 一种基于 M/G/1 排队论模型
    M/G/1排队论模型是一种重要的排队系统模型,广泛应用于各种服务场景中。以下是对该模型的详细解析:一、定义与特点定义:M/G/1排队论模型指的是顾客到达过程服从泊松分布(M),服务时间服从一般分布(G),且只有一个服务台(1)的排队系统。特点:顾客到达是随机的,且相互独立,服从泊松分布。服......
  • 基于覆盖选址理论的两阶段随机规划模型
    基于覆盖选址理论的两阶段随机规划模型是一种结合了覆盖选址理论与随机规划方法的选址决策模型。以下是对该模型的详细解析:一、覆盖选址理论覆盖选址问题主要分为集覆盖问题和最大覆盖问题两类:集覆盖问题:研究在满足覆盖所有需求点的条件下,寻求所建设施个数或建设成本最小化的......
  • 基于场景的随机规划模型
    基于场景的随机规划模型是一种重要的决策分析工具,它结合了随机规划和场景分析的优势,用于处理包含不确定性的复杂决策问题。以下是对该模型的详细解析:一、定义与特点定义:基于场景的随机规划模型是一种通过构建多个离散场景来描述不确定性的随机规划方法。每个场景代表一种可能......