RAG
  • 2024-11-21构建医学文献智能助手:基于 LangChain 的专业领域 RAG 系统实践
    前言在当今医疗科技快速发展的时代,每天都有数以千计的医学研究成果在全球范围内发表。从临床试验报告到基础研究论文,从流行病学调查到药物研发数据,这些专业文献承载着推动医学进步的重要知识。然而,面对如此海量且专业性极强的文献资料,医疗从业者往往感到力不从心。如何在有限的时
  • 2024-11-21【RAG 项目实战 02】 Chainlit 持久化对话历史
    【RAG项目实战02】Chainlit持久化对话历史NLPGithub项目:NLP项目实践:fasterai/nlp-project-practice介绍:该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用,分享大模型算法工程师的日常工作和实战经验AI藏经阁:https://gitee.com/fasterai/ai-e-book介绍:该
  • 2024-11-21构建企业级金融数据分析助手:基于 LangChain 的多源数据 RAG 系统实践
    前言随着金融市场的数字化转型不断深入,每天都有海量的金融数据在全球市场中产生。从财报数据到市场新闻,从实时行情到研究报告,这些数据承载着巨大的价值,但同时也给金融从业者带来了前所未有的挑战。如何在这个信息爆炸的时代,快速而准确地从繁杂的数据中获取有价值的洞察?这个
  • 2024-11-21Open-RAG:将开源LLM模型集成为高效RAG模型 | ENMLP'24
    本文是对公开论文的核心提炼,旨在进行学术交流。如有任何侵权问题,请及时联系号主以便删除。来源:晓飞的算法工程笔记公众号,转载请注明出处论文:Open-RAG:EnhancedRetrieval-AugmentedReasoningwithOpen-SourceLargeLanguageModels论文地址:https://arxiv.org/abs/24
  • 2024-11-20漫话RAG
    兜兜转转,RAG依旧是绕不开的话题。RAG,检索增强生成。给大语言模型一个大型图书馆。大语言模型在回答问题前,不要急于回答。先去图书馆里查阅一番,再根据所获取的知识进行回答。大语言模型,由闭卷考试,变成了开卷考试。第一:减轻了大模型的幻觉。大模型在不知道答案时,往往
  • 2024-11-20【RAG 项目实战 01】在 LangChain 中集成 Chainlit
    【RAG项目实战01】在LangChain中集成ChainlitNLPGithub项目:NLP项目实践:fasterai/nlp-project-practice介绍:该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用,分享大模型算法工程师的日常工作和实战经验AI藏经阁:https://gitee.com/fasterai/ai-e-boo
  • 2024-11-20RAG中late chunking的实验效果测试(续)
    前文使用了jinaaiv2的模型,接下来我们看看v3版本latechunking的实际效果,为了快速,我直接使用官方的api! #importrequests#url='https://api.jina.ai/v1/embeddings'headers={'Content-Type':'application/json','Authorization':'Bear
  • 2024-11-20RAG中late chunking的实验效果测试(续2)
    针对前面RAG测试的长文本问题,我又增加了长文本测试(代码同前):context_test_documents=[#文档1:AI发展史(约2500tokens)"""人工智能的发展历程可以追溯到20世纪50年代。1950年,图灵提出著名的"图灵测试",这被认为是人工智能研究的开端。在接下来的几十年里
  • 2024-11-20RAG中late chunking的实验效果测试
    代码:importosimportjsonimporttorchimportnumpyasnpimportspacyfromspacy.tokensimportDocfromspacy.languageimportLanguageimporttransformersfromtransformersimportAutoModelfromtransformersimportAutoTokenizerdefsentence_chunker
  • 2024-11-19检索增强生成(RAG)应用构建的最佳实践
    RAG,也就是检索增强生成,已经证明是个挺管用的招儿,能让大型语言模型(LLM)的回答更靠谱,还能搞定它们有时候会“幻觉”的问题。简单来说,RAG就是给LLM们提供了一些上下文,帮它们生成更准确、更符合上下文的回答。这些上下文可以来自各种地方,比如你的内部文件、向量数据库、CSV文件、JS
  • 2024-11-18PGML:向量数据库内一体化的RAG框架
    架构总览特性:●支持数据库中进行的ai和ml分析●支持gpu加速●集成多种开源llm和rag框架●支持传统的机器学习模型使用方法云端试用官方提供了云服务试用,根据要求注册账号即可:注册地址本地部署官方提供了docker镜像,执行如下命令即可安装dockerrun\-it\
  • 2024-11-18大模型实战(二):langchain+Ollama调用本地大模型实现RAG(保姆级)
    文章目录一、任务描述1.环境2.功能二、代码拆解1.导入包2.配置本地模型3.实例化embedding模型4.导入向量化知识库5.加入提示词6.定义查询方法7.问答三、总体代码一、任务描述由于显卡仍然较为昂贵,个人笔记本的硬件条件很难带动大模型,因此我们可以调用一
  • 2024-11-18大模型应用开发 RAG 入门与实战:开启智能文档处理新时代
    在当今的人工智能领域,大模型应用开发成为了热门话题,而RAG(检索增强生成)技术更是备受关注。与其他相关技术书籍相比,《大模型应用开发:RAG入门与实战》有着独特的优势。比如说《深度学习基础教程》,它主要侧重于深度学习的基础理论讲解,对于RAG这种特定的应用开发涉及较少;而《
  • 2024-11-18企业级知识库为什么要用GraphRAG - 硅谷企业级ChatGPT独角兽Glean系列之二
    ArvindJain阿尔温德·贾恩CEO发布时间:2024年5月15日。最后更新日期2024年11月6日。自从生成式AI和LLM在世界舞台上占据中心位置以来,员工们一直在思考如何最好地将这些变革性的新工具应用于他们的工作流程。然而,他们中的许多人在尝试将生成式AI集成到
  • 2024-11-17书生大模型实训营第4期基础岛第四关:InternLM + LlamaIndex RAG 实践
    书生大模型实训营第4期基础岛第四关:InternLM+LlamaIndexRAG实践1.什么是RAG?2.LlamaIndex+InternLMAPI实践2.1LlamaIndex的简单介绍2.2LlamaIndex+InternLMAPI实践2.2.1开发机环境配置2.2.2下载SentenceTransformer模型2.2.3下载NLTK相关资源2.3是
  • 2024-11-17RAG 系统高效检索提升秘籍:如何精准选择 BGE 智源、GTE 阿里与 Jina 等的嵌入与精排模型的完美搭配
    RAG系统高效检索提升秘籍:如何精准选择BGE智源、GTE阿里与Jina等的嵌入与精排模型的完美搭配TextEmbedding榜单:MTEB、C-MTEB《MTEB:MassiveTextEmbeddingBenchmark(海量文本嵌入基准)》判断哪些文本嵌入模型效果较好,通常需要一个评估指标来进行比较,《MTEB:Massive
  • 2024-11-17RAG (Retrieval-Augmented Generation) 与 iRAG (image based Retrieval-Augmented Generation)
    RAG{Retrieval-AugmentedGeneration}与iRAG{imagebasedRetrieval-AugmentedGeneration}1.RAG(Retrieval-AugmentedGeneration,检索增强生成)1.1.LLM存在的问题1.2.RAG带来的好处1.3.RAG的工作原理1.4.检索增强生成和语义搜索2.iRAG(image
  • 2024-11-1725 个值得关注的检索增强生成 (RAG) 模型和框架
    大型语言模型(LLM)如GPT-4彻底革新了自然语言处理(NLP)领域,在生成类人文本、回答问题和执行各种语言相关任务方面展现出卓越的能力。然而,这些模型也存在一些固有的局限性:知识截止:LLM的训练数据通常截止于特定时间点,使其无法获取训练后发生的事件或信息。静态知识库:LLM
  • 2024-11-16RAG原理、应用与开发实战指南
    RAG概述为了更好的解决大模型幻觉的问题,业界提出了基于知识检索与大模型生成相结合的技术:RAG(Retrieval-AugmentedGeneration)即检索增强生成。在当前大模型应用开发中,RAG为解决通用大模型知识有限和知识更新不及时等问题提供了有效方案,也得到了广泛的应用。RAG的工作原
  • 2024-11-16书生·共学大模型实战营第4期 L1G4000任务提交
    基于LlamaIndex构建自己的RAG知识库,寻找一个问题A在使用LlamaIndex之前浦语API不会回答,借助LlamaIndex后浦语API具备回答A的能力我们选择了一个名为wereader的Github小众项目,这是一个Chrome/Firefox扩展,主要用于微信读书做笔记,对常使用Markdown做笔记的读者比较有帮助。可以发现
  • 2024-11-16通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制
    目录通过MongoDBAtlas实现语义搜索与RAG——迈向AI的搜索机制一、引言二、语义搜索与MongoDBAtlas的背景三、MongoDBAtlas的向量搜索功能1.向量搜索的实现方式2.典型操作示例四、RAG在MongoDBAtlas的应用1、RAG是什么2、RAG的实现过程3、RAG的实际应
  • 2024-11-15Mastering RAG Chatbots: Semantic Router — RAG gateway
    MasteringRAGChatbots:SemanticRouter—RAGgatewayhttps://medium.com/@talon8080/mastering-rag-chatbots-semantic-router-rag-gateway-part-1-0773cf4e70adWelcometothesecondpostinthe“MasteringRAGChatbots”series,wherewedelveintothepowerful
  • 2024-11-14RAG_SemanticRouting of langchain langgraph llmrouter
    RAG_SemanticRoutinghttps://github.com/UribeAlejandro/RAG_SemanticRouting/tree/main ChatAgentwithsemanticrouting.Thequestionisevaluatedandroutedtotwopossiblepaths:websearchorRAG.ThisagentleveragesOllama,LangChain,LangGraph,Lang
  • 2024-11-14九析带你轻松完爆AI大模型(九)---RAG介绍
    申明:九析唯一授权【超级网红系列课程——AI大模全栈型架构师】系列课程邀约    诚挚邀请您关注公众号,通过公众号加入群聊和我们一起完爆世界,有任何问题在群里我们一起探讨......期待与您的见面!​ 一、RAG简介    众所周知,我们在使用大语言模型做应用
  • 2024-11-12【大语言模型】ACL2024论文-09 无监督信息精细化训练用于增强大型语言模型的检索增强生成
    【大语言模型】ACL2024论文-09无监督信息精细化训练用于增强大型语言模型的检索增强生成目录文章目录【大语言模型】ACL2024论文-09无监督信息精细化训练用于增强大型语言模型的检索增强生成目录1.论文信息2.摘要3.研究背景4.问题与挑战5.如何解决6.创新点7.