首页 > 其他分享 >从数据洞察到智能决策:合合信息&infiniflow RAG技术的实战案例分享

从数据洞察到智能决策:合合信息&infiniflow RAG技术的实战案例分享

时间:2024-09-11 10:51:17浏览次数:11  
标签:检索 RAG 效果 合合 文档 解析 infiniflow

从数据洞察到智能决策:合合信息&infiniflow RAG技术的实战案例分享

标题取自 LLamaIndex,这个内容最早提出于今年 2 月份 LlamaIndex 官方博客。从 22 年 chatGpt 爆火,23 年大模型尝鲜,到 24 年真正用 AI 落地业务场景,业界普遍都发现了从 MVP 到 PMF 不是那么容易的,具体的原因有非常多,在 RAG 场景下,最主要的表现是企业的数据 “垃圾进,垃圾出”,如何利用好企业数据是提升 RAG 效果的关键

看一下各个公司都是怎么做的

1. 合合信息

官方网站:https://www.textin.com/

一周快速出 Demo,半年产品不好用

RAG 范式从直观上理解起来落地是比较容易的,通过自然语言的语意匹配度找到相关的内容,再让模型进行回答,可是在实际落地过程中发现效果比预期差很多,总结起来会有以下一些问题

1.1 LLM RAG 产品如何快速达到可用、好用,开始增长?

如何解决 RAG 落地过程中遇到问题,提升 RAG 的整体效果,达到线上生产可用的目标,首先落地的关键点在于

再回归本质,影响 RAG 落地效果的最本质问题在于

1.2 提升 RAG 效果核心的优化方向:高质量文档解析 + 高质量检索

  • RAG 优化目标一: 快速、稳定、精准解析文档

原始的文档是各种各样的格式,各种各样的模态,如何快速、精确解析出高质量的内容对提升最终检索效果非常重要

  • RAG 优化目标二: 高精度、高效率向量检索

从海量的内容中提取出最相关的内容,对提升 LLM 输出效果准确率、相关性非常重要

  • TextIn 通用文本解析技术 + Acge 向量化模型

合合信息自研了 TextIn 通用文本解析技术,对丰富的文档格式和内容能快速,精准解析为 MD 格式,另外自研的 acge_text_embedding 向量化模型在检索准确率,精度等方面表现也非常突出

  • TextIn 技术的一些介绍和效果展示 (示例,详见附录 PPT)








  • acge_text_embedding 向量化模型的效果展示

  • 线上产品效果展示

  • 总结

2.infiniflow(英飞流)

官网:https://infiniflow.org/
infiniflow 自研了 AI-Native Database Infinity,在 RAG 检索方面表现非常突出

  • 下一代 RAG 引擎



同样对于 RAG 效果的提升,英飞流的核心研究方向也是高质量的内容解析 + 高质量的检索

  • 内容解析

  • 效果展示

  • 表格识别模型

  • 文档识别模型

  • 多模态识别

这里演讲人描述了和月之暗面创始人关于多模态识别的讨论,在大模型厂商看来,目前英飞流做的内容识别的工作都是雕花,因为大模型的上下文会越来越长,但演讲人还是更坚定于解决当前内容识别效果提升的问题,这里没有对错,只是看什么方案更适合

  • 混合检索

英飞流提供的 AI Native 数据库是个亮点,由于当前向量化检索的一些限制 (数据量、延迟、精度等),各种数据库在混合检索方面支持的效果参差不齐,英飞流致力于提供高性能、高精度、支持海量数据、支持混合检索的 AI

  • Native 数据库

Infinity 支持稠密向量、稀疏向量、张量、全文检索、结构化检索等丰富检索方式,了解 cross-encoder 的同学应该知道,cross-encoder 在检索效果方面比双编码器要好很多,但随着数据量提升,延迟不断升高,通常是不能接受的。随着 colbert 延迟交互的提出,目前业界针对检索效果和检索性能方面有了更让人惊喜的方案,但 colbert 也有一些工程问题,比如上下文限制,无法端到端使用等,Infinity 数据库支持 Tensor 数据类型,原生支持了 colbert 端到端方案,保障效果的前提下并解决海量数据检索延迟的问题,还是非常惊喜的


性能方面的表现非常突出

Intinity 在检索效率和效果上做到了兼顾

  • 延迟交互是 RAG 的未来

2.1高级 RAG

另外一个分享的主体是在复杂查询下如何提升检索效果

  • Agentic RAG

这里通常的思路都是进行问题预处理,人机协同反馈调优,没什么大的差异

  • 知识图谱

知识图谱是一个很优秀的技术,对检索结果效果优化是非常好的补充

小结

3.LlamaIndex

博客:https://www.llamaindex.ai/blog
llamaIndex 提到的优化方向和上边提到方向是一致的,这说明在企业落地 RAG 项目中,重点应该关注的是内容的解析效果和内容检索的效果

关于 llamaIndex 的分享内容这里不详细罗列,感兴趣可以看下附录的 PPT,这里主要看下 llamaIndex 做了哪些工作

3.1 LlamaParse

LlamaIndex 提供了 LlamaParse 可以解析复杂的多格式、多模态的文档,并以 AI Friendly(MD) 的格式输出

这里可以简单说 AI Friendly,其实业界提出 MD 格式是对 AI Friendly 的格式,在我们日常和业务合作过程中,也发现了 MD 的效果是最好的

另外,chunk 一般建议最好一个 chunk 是一篇文档,保障最完整的语意,这给了我们一个组织文档的经验建议

3.2 LlamaExtract

LlamaExtract 在 llamaIndex 分享的 ppt 没有提及,但在官方博客中提了,主要是以结构化的方式提取出文档的信息,有点类似图谱,是对文档检索内容的一个非常好的补充,感兴趣可以看下官方博客

标签:检索,RAG,效果,合合,文档,解析,infiniflow
From: https://www.cnblogs.com/ting1/p/18407860

相关文章

  • uniapp 将数据存储在本地缓存setStorage及从本地缓存中异步获取getStorage
    一、uni.setStorage(OBJECT)将数据存储在本地缓存中指定的key中,会覆盖掉原来该key对应的内容,这是一个异步接口。HarmonyOSNext兼容性HarmonyOSNextHBuilderX4.23OBJECT参数说明参数名类型必填说明keyString是本地缓存中的指定的keydat......
  • 利用投影技术增强RAG文档检索的多样性
    介绍检索增强生成(RAG)已成为语言模型中生成更准确和上下文相关输出的流行方法。通常,RAG中的检索步骤依赖于余弦相似度来识别top-n相关文档。然而,这种方法的一个缺点是它可以返回高度相似的文档,从而导致冗余和较少的响应多样性。这里提出了一种通过迭代调整所选文档向量来......
  • RAG与LLM原理及实践(17)---Docker Redis & Python Usage
    目录背景Redis环境download修改镜像RunRedisCodingpythonredisdownload基本使用描述完整代码运行结果高阶用法序列化的方式 Snapshot与AOF快照(RDB)AOF(Append-OnlyFile)代码总结发布与订阅描述     代码运行结果注意事项解释Transanction......
  • Excel--统计类函数,COUNT函数、COUNTA函数、COUNTBLANK函数、COUNTIF函数、COUNTIFS函
    目录 COUNT函数COUNTA函数COUNTBLANK函数COUNTIF函数COUNTIFS函数SUM函数SUMIF函数SUMIFS函数AVERAGE函数AVERAGEIFS函数COUNT函数计算指定区域内中含数据的单元格的个数,结果返回包含数字单元格的数目!只能计算包含数字的单元格COUNTA函数计算指定区域内所......
  • 【大模型-RAG】RAG最佳实践论文及项目解读
    文章目录论文概述RAG工作流程核心代码解读软件架构查询引擎构建数据加载与索引创建微调嵌入模型项目应用结论在人工智能领域,大型语言模型(LLMs)因其强大的文本生成能力而备受关注。然而,这些模型在生成信息时可能会产生过时的信息或编造事实。为了解决这一问题,检索增强生成(Retrieva......
  • RAG重磅升级:DSF带来特定领域精准提升的全新方案!
    检索增强生成(Retrieval-AugmentedGeneration,RAG)是一种结合了检索(Retrieval)和生成(Generation)能力的框架,通过从背景数据中检索相关信息来增强模型的生成输出。在当前的大型语言模型(LLM)技术中,一个显著的限制是模型无法即时更新其训练数据集,这引发了两个主要问题:一是如何获取最新知......
  • 一文梳理RAG(检索增强生成)的现状与挑战
    一RAG简介大模型相较于过去的语言模型具备更加强大的能力,但在实际应用中,例如在准确性、知识更新速度和答案透明度方面,仍存在不少问题,比如典型的幻觉现象。因此,检索增强生成(Retrieval-AugmentedGeneration,RAG)被当作于大模型应用开发的一种新范式。RAG是指在利用大语言模型......
  • AIGC技术打造扫描“黑科技” 合合信息扫描全能王实现在扫描中“博物致知”
    在2024年世界人工智能大会(WAIC)上,合合信息旗下的扫描全能王携手华南理工大学团队展示了他们利用AIGC技术进行的古籍数字化修复成果,为传统文化的传承与保护树立了新的里程碑。现场,《汉书•刑法志》节选章节的修复效果令人叹为观止。这部珍贵的文献,作为研究汉代司法制度的重要......
  • 生成式 AI 和 RAG 代理及应用程序:已准备好迎接黄金时段还是仍处于原型阶段
    高盛发布了一份题为《GENAI:花费太多,收益太少?》的报告,对生成式AI的前景表示担忧。该报告总结了领先行业在一年多的时间内花费大量资金将GenAI投入生产但收效甚微的观察结果。很明显,GenAI与传统AI一样,在从原型和演示扩展到可能直接影响实际业务成果的生产系统时面临着重......
  • 基于Pinia和Compute的持久化localStorage登录态管理Vuejs 源码教学
    piniaPinia是一个专为Vue3设计的状态管理库,它借鉴了Vuex的一些概念,但更加轻量灵活,使得状态管理变得更加简单直观。Pinia通过提供一种基于Vue3响应式API的状态管理机制,让我们可以更加优雅地管理应用程序的状态。computedVue的computed属性是一种特殊的数据属性,它们根据组......