Rag
  • 2024-09-19全网最火的AI技术:Rag详解
    “Rag”是机器学习中的术语,通常指的是“RaggedTensors”(不规则张量)。RaggedTensors是一种特殊类型的张量,允许不同的维度中的子张量有不同的长度或形状。这在处理诸如文本、序列数据等不定长的数据时特别有用。例如,在自然语言处理任务中,不同句子长度的序列很难直接放入普通的张量
  • 2024-09-19半天玩转大模型技术之RAG
    引言当前大模型在金融行业最广泛的应用之一就是知识问答,而支撑该应用的技术正是当下火热的检索增强生成(RetrievalAugmentedGeneration)技术,简称RAG。因企业具体的业务往往需要注入特定的知识,比如ChatBI中企业数据库的相关知识、客服助手中客服FAQ等,所以RAG不仅可以应用
  • 2024-09-18深度|基于大模型的RAG应用中的四个常见问题及方案探讨【中】
    在上篇中,我们探讨了构建RAG应用中常面临的两个问题:如何提高语义检索的精度以及实现多轮对话中上下文理解的检索。本文接着探讨另一个常见的也是比较复杂的问题:如何对多模态文档,特别是其中的图片内容进行嵌入、检索与引用?我们将基于Google最新的Gemini多模态模型作简单实现与测试。0
  • 2024-09-18深度|基于大模型的RAG应用中的四个常见问题及方案探讨【上】
    前言RAG(检索增强生成)是构建大模型企业应用的一种常见解决方案。其基本思想是通过语义搜索,在大模型输入时携带企业私有知识库中相关的上下文,从而让大模型在理解企业私有知识的基础上输出结果。目的是解决以下问题:弥补通用模型在企业私有知识上的不足降低大模型存在的幻觉问题,减少胡
  • 2024-09-18大模型 | 一个全面、先进、公平且模块化的开源RAG框架
    两个关键问题限制了RAG的发展:新型RAG算法之间缺乏全面和公平的比较。像LlamaIndex和LangChain这样的开源工具使用了高级抽象,这导致了透明度的缺失,并限制了开发新算法和评估指标的能力。RAGLAB:是一个模块化的开源库。RAGLAB复现了6种先进的算法,并为研究RAG算法提供了
  • 2024-09-18大模型企业级RAG应用优化(二):检索与生成阶段的8个必知技巧
    一、使用查询重写提高检索的精确性查询重写(也称为查询转换或查询分析等)已经成为RAG工作流的常见环节。当用户的查询不够明确或具体时,可以通过查询重写来分解或者细化问题,以提升检索与生成的准确性。因此,查询转换是一种“检索前”的处理步骤。一个常见的重写方案是HyDE(假设性文档嵌
  • 2024-09-18大模型企业级RAG应用优化(一):数据索引阶段的8个必知技巧
    基于大模型的RAG应用,一个普遍的认识是:做原型很简单,投入生产很难为什么我的RAG应用很难按预期工作?在之前的文章中我们曾经陆续的对RAG应用优化做过零星与局部的探讨,如融合检索、查询转换、多模态处理、AgenticRAG等。接下来我们将结合之前的方法与实践,总结形成更完整的企业级RAG应
  • 2024-09-18大模型RAG优化策略总结(二):利用向量数据库实现高效的 RAG、针对 RAG 的微调语言模型、实施高效的 RAG 管道
    五、利用向量数据库实现高效的RAG向量数据库专门用于存储和高效查询数据的高维向量表示,使其成为RAG检索组件的理想选择。以下是向量数据库如此重要的原因以及如何有效利用它们:a)可扩展性和性能:向量数据库针对处理大规模相似性搜索进行了优化,这对于具有广泛知识库的RAG系统至关
  • 2024-09-18240908-结合DBGPT与Ollama实现RAG本地知识检索增强
    A.最终效果B.背景说明DBGPT在0.5.6版本中开始支持Ollama:v0.5.6版本更新网友对其Web端及界面端的设置进行了分享:feat(model):supportollamaasanoptionalllm&embeddingproxybyGITHUBear·PullRequest#1475·eosphoros-ai/DB-GPTDB-GPT+Ollama构建本地智能数据平
  • 2024-09-18LLM应用实战: 文档问答系统Kotaemon-1. 简介及部署实践
    1.背景本qiang~这两周关注到一个很火的开源文档问答系统Kotaemon,从8月28日至今短短两周时间,github星标迅猛增长10K,因此计划深挖一下其中的原理及奥秘。本篇主要是Kotaemon的简介信息,涉及到主要特点,与传统文档RAG的区别,如何部署、以及效果演示。后续内容会针对核心模块进行拆解
  • 2024-09-15基于AI知识库RAG的综合窗口系统
    背景     电子政务网上大厅统一接件系统是为各市、区(市)县所有行政权力事项(行政许可、行政处罚、行政强制、行政征收、其他行政权力等)实现在线统一接件、办理调度、办件过程信息查询、结果查询及公开、服务评价、办件统计等功能的应用系统,它通过标准数据接口、基于政务信
  • 2024-09-14ragflow
    ragflowhttps://github.com/infiniflow/ragflowRAGFlowisanopen-sourceRAG(Retrieval-AugmentedGeneration)enginebasedondeepdocumentunderstanding.ItoffersastreamlinedRAGworkflowforbusinessesofanyscale,combiningLLM(LargeLanguageMode
  • 2024-09-13RAG 幻觉检测方法
    RAG幻觉检测方法未经检查的幻觉在今天的检索增强生成应用中仍然是一个大问题。本研究评估了4个公共RAG数据集中流行的幻觉检测器。使用AUROC和精度/召回率,我们报告了G-eval、Ragas和可信语言模型等方法如何能够自动标记不正确的 LLM响应。利用各种幻觉检测方法识别
  • 2024-09-13[NLP/AIGC/GPT] RAG : 检索增强型生成技术,智能体的外挂知识库
    1概述:RAGRAG技术的概念、起源大家每天都会看到各种RAG框架、论文和开源项目,也都知道RAG(Retrieval-AugmentedGeneration)是检索增强型生成。但大家还记得RAG这个概念源自哪里吗?RAG概念来自FacebookAIResearch在2020年的一篇论文:《**Retrieval-Augmented
  • 2024-09-13大模型入门书籍,零基础入门大模型(非常详细)收藏这一篇就够了!
    前言在人工智能的浪潮中,大模型已经成为技术创新和应用突破的核心。它们在语音识别、自动驾驶、个性化推荐等多个领域展现出巨大的潜力。但对于初学者来说,如何快速入门并掌握大模型的知识与技能,成为了一个迫切需要解决的问题。本文将为初学者提供一份精心挑选的大模型学习
  • 2024-09-13RAG+大模型在电商客服领域-商品推荐的应用
    本文是我们项目小组的技术负责人史蒂夫-彭贡献的重点在介绍基于大模型做商品推荐,这个一直是难点,我们到现在还在持续优化方案近年来,随着大型模型的发展,检索增强生成(RetrievalAugmentedGeneration)技术,简称RAG,再次引起了广泛关注。在客服管理领域,RAG被视为目前最具潜力的
  • 2024-09-13AI大语言模型LLM学习-RAG技术及代码实现
    系列文章1.AI大语言模型LLM学习-入门篇2.AI大语言模型LLM学习-Token及流式响应3.AI大语言模型LLM学习-WebAPI搭建4.AI大语言模型LLM学习-基于Vue3的AI问答页面5.AI大语言模型LLM学习-语义检索(RAG前导篇)前言大语言模型(LLM)已经取得了显著的成功,尽管它们仍然面
  • 2024-09-12Langchain.js如何实现RAG
    前面介绍了Langchain的基本使用方法。仅仅是对GPT方法的封装还不足以让它赢得那么多的Start,以及获得融资。它还有另一个强大的功能-RAG(检索增强生成)。RAG是大模型跟企业内部业务落地的基石。是大模型的北斗导航,可以让大模型的结果更加精准。一、RAG的基本概念与实现流程基于大
  • 2024-09-12多维度智能体验:引领未来的RAG型知识图谱数字人
    随着人工智能技术的发展,传统的数字人已逐渐普及,但大多数仍然局限于简单的文本回复或预设答案,缺乏深入的语义理解和个性化互动能力,难以应对复杂、多维度的问题交互。不同于传统的数字人,英智知识图谱RAG型数字人提供的不仅是文本回复,而是能够通过知识图谱生成更为精准、上下文相关
  • 2024-09-12多维度智能体验:引领未来的RAG型知识图谱数字人
    随着人工智能技术的发展,传统的数字人已逐渐普及,但大多数仍然局限于简单的文本回复或预设答案,缺乏深入的语义理解和个性化互动能力,难以应对复杂、多维度的问题交互。不同于传统的数字人,英智知识图谱RAG型数字人提供的不仅是文本回复,而是能够通过知识图谱生成更为精准、上下文相关的
  • 2024-09-11MemoRAG:迈向下一代基于记忆的知识发现
    在当今信息化快速发展的时代,如何有效地从庞大的数据中提取有用的信息,已经成为一个亟待解决的挑战。传统的检索增强生成(RAG)系统在处理复杂查询时往往面临诸多限制。为了解决这些问题,研究者们提出了MemoRAG,一个基于长期记忆的创新框架。本文将深入探讨MemoRAG的架构、功能及
  • 2024-09-11教育行业AI应用Cerebrium创建实时RAG语音智能体
    背景    Cerebrium平台是一个集AI助手、LLMAPI访问、AI应用构建、低延迟语音AI机器人以及实时机器学习模型训练与部署于一体的综合性平台。它以其先进的技术和广泛的应用场景,为开发者和用户提供了高效、智能的AI解决方案。如今,教育资源非常容易获取。只要有网络连接,任何人在
  • 2024-09-11RAG系统的7个检索指标:信息检索任务准确性评估指南
    大型语言模型(LLMs)作为一种生成式AI技术,在近两年内获得了显著的关注和应用。但是在实际部署中,LLMs的知识局限性和幻觉问题仍然是一个挑战。检索增强生成(RetrievalAugmentedGeneration,RAG)通过为LLM提供额外的外部知识和上下文,有效地解决了这些问题。截至2024年RAG已经成为应用生成
  • 2024-09-11FastGPT一站式解决方案[1-部署篇]:轻松实现RAG-智能问答系统(含sealos云端部署、docker部署、OneAPI&Xinference模型接入)
    FastGPT一站式解决方案[1-部署篇]:轻松实现RAG-智能问答系统(含sealos云端部署、docker部署、OneAPI&Xinference模型接入)FastGPT是一个功能强大的平台,专注于知识库训练和自动化工作流程的编排。它提供了一个简单易用的可视化界面,支持自动数据预处理和基于Flow模块的工作流编排。Fas
  • 2024-09-11【拥抱AI】RAG数据清洗工具MinerU
    MinerU是做什么的?MinerU是一款开源的数据提取工具,由上海人工智能实验室(上海AI实验室)的OpenDataLab团队开发。它主要用于将复杂的PDF文档、网页和电子书转换为易于分析的Markdown格式,同时支持多种语言的识别和处理。MinerU的功能包括布局检测、公式识别、光学字符识别(OCR)以