首页 > 其他分享 >大模型工具_QUIVR

大模型工具_QUIVR

时间:2024-01-02 13:34:18浏览次数:28  
标签:RAG QUIVR 大脑 模型 Supabase 使用 工具 上传 前端


https://github.com/StanGirard/quivr/ 24.5K Star

大模型工具_QUIVR_技术栈

1 功能

  • 整体功能,想解决什么问题
  • 实现了前后端结合的 RAG 方案。构建能直接使用的应用。
  • 提出了“第二大脑”,具体实现也是RAG,但针对不同用户不同场景支持多个“大脑”并存,每个“大脑里”存储一个或多个文件,用户可使用指定的大脑提供搜索增强生成。
  • 当前解决了什么问题,哪些问题解决不了
  • QUIVR整体看是个很产品化的工具,但是过于复杂,在其中做修改和定制开发也很困难(运行时启动5个docker镜像)。
  • 整体技术栈相对新,对于一般人有一定学习成本
  • 一些细节略差,比如没有说明引用数据的具体内容,只有来自哪个文件(有时显示)。例如在一个大脑中上传多篇论文,问着问着内容就串了。
  • 提供哪些功能点,其中哪些是刚需
  • 核心是针对多组文档聊天的 RAG 功能
  • 可爬取网站,构建知识库
  • 提供一些 ollama 的本地部署方案
  • 可连接 telegram 通讯工具使用
  • 用户使用难度,操作逻辑是否过于复杂
  • 我测试时的版本,没有针对 linux 系统的脚本,需要手动修改调整,但整体还比较易用。

2 技术栈

  • 技术栈是什么
  • 分成:前端 +CMS+ 后端 + 数据库,略有点重
  • 前端:Next.js/React
  • 后端:fastapi/SupaBase
  • CMS:Strapi
  • 数据库:PGSQL/SupaBase
  • 现有底层工具消化了哪些常用功能
  • Supabase 存储数据库,文件、向量
  • 虽然使用了 langchain,但在代码中也自行实现了很多RAG加强功能
  • 代码分析(使用cloc工具统计)
  • TypeScript:17392 行 实现前端和cms
  • Python:6912 行 实现后端

3 商业模式

  • QUIVR使用 Supabase 存储数据,Supabase 网站提供一定免费额度,用量大时,按规则收费;如果不想付费,也可以自己搭一下Supabase。(我理解是一种 Saas 方案)

4 使用

4.1 安装

见 README.md

docker-compose up --build

运行之后启动了 四个后端服务,一个前端服务,一个redis,共5个docker 容器。
通过前端服务端口 3000 进行访问

4.2 注意事项
  • 如果需要使用代理,请修改frontend/.env加入HTTP_PROXY, HTTPS_PROXY环境变量;在docker-compose.yml中也要在build args中加代理
  • 配置文件中内容很多,至少要设置 OPEN API KEY,Supabase相关项,其它可以先不动。
  • 在Supabase控制台的数据中的vectors中可以看到文档内容已经入库。
4.3 使用
  • 打开 3000 端口:http://localhost:3000/
  • 用邮箱注册了一个用户,注册后可以在 supabase 用户管理界面看到。
  • 上传了一个论文 pdf 文件,约21页,20000单词,上传时间1分钟以内,大概是生成向量比聊天快很多。
  • 上传文件时,还可以聊天。
  • 在后台log可以看到其工作过程。
4.4 用后感

从用户注册,邮箱激活,服务部署到 supabase 访问 chatgpt。

5 参考

Quivr 基于Supabase构建本地知识库

如何用 ChatGPT 和你的卡片笔记对话?开源应用 Quivr 尝试

文档


标签:RAG,QUIVR,大脑,模型,Supabase,使用,工具,上传,前端
From: https://blog.51cto.com/u_15794627/9068298

相关文章

  • 【大语言模型】Transformer原理以及运行机制
    目录参考资料Transformer是一种序列到序列(Sequence-to-Sequence)的模型,用于处理自然语言处理任务。它是由谷歌公司提出的一种基于注意力机制的神经网络模型,被广泛应用于机器翻译、问答系统、文本摘要、对话生成等任务。Transformer模型由编码器和解码器两部分组成。编码器将输入序......
  • 【每日随笔】情绪操控术 ① ( 三层大脑模型 - 爬行脑 / 情绪脑 / 理性脑 | 情绪脑负面
    文章目录一、三层大脑模型1、三层大脑的进化2、三层大脑的分层包裹关系二、情绪脑的负面效果1、情绪脑VS理性脑2、情绪脑功能3、情绪脑负面效果一、三层大脑模型1、三层大脑的进化人的大脑是几亿年来逐步进化出来的,不同的脑区产生的时间是不同的;爬行脑进化了3亿年......
  • 亚信安慧AntDB数据并行加载工具的实现(一)
    1.概述数据加载速度是评判数据库性能的重要指标,能否提高数据加载速度,对文件数据进行并行解析,直接影响数据库运维管理效率。基于此,AntDB分布式数据库提供了两种数据加载方式:一是类似于PostgreSQL的Copy命令,二是通过AntDB提供的并行加载工具。Copy命令是大家都比较熟悉的,但Copy命令导......
  • 亚信安慧AntDB数据并行加载工具的实现(二)
    3.功能性说明本节对并行加载工具的部分支持的功能进行简要说明。1)支持表类型并行加载工具支持普通表、分区表。2)支持指定导入字段文件中并不是必须包含表中所有的字段,用户可以指定导入某些字段,但是指定的字段数要和文件中的字段数保持一致。3)支持导入部分记录并行加载工具支......
  • 大模型训练中的断点继续训练问题
    在深度学习中,模型训练通常需要大量的时间和计算资源。因此,为了提高训练效率,我们通常会在训练过程中设置断点,以便在训练一段时间后停止训练,然后继续训练之前保存的模型参数。然而,有时候在断点继续训练时,我们会发现损失函数值开始恶化,或者与断点处的值差异较大。这可能是由于一些原因......
  • 高斯混合模型
    高斯混合模型假设有k个簇,每一个簇服从高斯分布,以概率随机选择一个簇k,从其分布中采样出一个样本点,如此得到观测数据其中模型参数为:若样本关联K维的隐含变量为,其对应的随机向量用大写字母Z表示若属于第簇,则采用EM算法求解Е步:基于当前参数值,推断隐含变量的信息(后验概率/期望)......
  • 【积微成著】性能测试调优实战与探索(存储模型优化+调用链路分析)| 京东物流技术团队
    一、前言性能测试之于软件系统,是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线,系统能力设计工作与性能测试工作,既有先后之顺序,亦有相互之影响。以上,在性能测试的场景决策,架构分析、流量分析、压测实施和剖解调优等主要环节中,引发对于系统能力底盘夯实和测试策......
  • 浏览器文档对象模型是如何生成的
    从网络传给渲染引擎的HTML文件字节流是无法直接被渲染引擎理解的,所以要将其转化为渲染引擎能够理解的内部结构,这个结构就是DOM。DOM提供了对HTML文档结构化的表述。在渲染引擎中,DOM有三个层面的作用。从页面的视角来看,DOM是生成页面的基础数据结构。从JavaScript脚本视角......
  • 多开工具与语音识别技术的融合与创新
    多开工具与语音识别技术的融合与创新摘要:随着科技的不断进步,多开工具和语音识别技术的融合与创新正在为我们的日常生活带来更加便利和高效的体验。本文将探讨多开工具和语音识别技术的结合,以及这种融合与创新对于各行业的影响和发展。引言:在数字化时代,多开工具和语音识别技术是......
  • 【小沐学CAD】虚拟仿真开发工具:GL Studio(行业)
    1、简介https://disti.com/gl-studio/https://ww2.mathworks.cn/products/connections/product_detail/gl-studio.htmlDiSTI是HMI软件、虚拟驾驶舱、仪表、信息娱乐、集群显示器和嵌入式UI解决方案的领先提供商。GLStudio是HMI&UI/UXDesignSoftware。2、应用行业......