• 2024-11-20开源模型应用落地-LangChain实用小技巧-检索器-集成多种检索器(十八)
    一、前言   在LangChain中,检索器是一个重要模块,主要用于从数据源中检索与查询相关的文档或片段。它能高效进行信息检索,通过快速筛选和语义理解从大规模文本数据中找到相关内容,支持复杂应用场景如检索增强生成和多源数据整合,还具有可定制性和灵活性,可选择不同嵌入模型和索
  • 2024-11-12深入理解RAG查询转换优化:多查询、问题分解与回答回退
    引言在RAG(检索增强生成)系统中,查询转换是影响检索质量的关键环节。本文将深入探讨三种先进的查询转换优化策略:多查询重写、问题分解以及回答回退(Step-Back)。这些策略不仅能显著提升检索准确性,还能有效处理复杂查询场景。多查询重写策略原理与优势多查询重写策略的核心思想是通
  • 2024-11-12RAG检索性能提升实践:混合检索与自查询技术详解
    引言在RAG(检索增强生成)系统中,检索性能直接影响着最终的生成质量。本文将深入探讨两种先进的检索优化技术:混合检索和自查询检索。这些技术能显著提升检索的准确性和灵活性,为RAG系统带来实质性的性能提升。混合检索技术详解混合检索的核心原理混合检索通过集成多种检索算法,充分
  • 2024-07-23Denser Retriever: 企业级AI检索器,轻松构建RAG应用和聊天机器人
    DenserRetriever是一个企业级AI检索器,将多种搜索技术整合到一个平台中。在MTEB数据集上的实验表明,可以显著提升向量搜索(VS)的基线(snowflake-arctic-embed-m模型,在MTEB/BEIR排行榜达到了最先进的性能)。DenserRetriever官网Readourcollectionofblogsabouttipsandtric
  • 2024-07-17LangChain补充四:Agent知识点和案例补充
    https://www.alang.ai/langchain/101/lc07一:基本流程和概念(一)概念LangChainAgent的核心思想是,使用大语言模型选择一系列要执行的动作。在Chain中,一系列动作是硬编码在代码中的。在Agent中,大语言模型被用作推理引擎,以确定要采取的动作及其顺序。它包括3个组件:规划:将任
  • 2024-07-08RAG知识库之多表示索引
          在朴素RAG中通常会对文档、文本进行分块后进行文档嵌入,对所有文件、文本都没有经过采用Chunk方法可能有时候效果不是和好,尽管有着各种分块策略有针对大文件的、针对小文件的策略,但都难免可能会造成上下文语义丢失。      分块通常有两个非常重要的参数chunk_si
  • 2024-04-15RAG知识库优化之Rerank应用
          前面几篇文章介绍了最基本的RAG实现,也了解了RAG的基本原理。最基本的RAG流程为用户Query问题,RAG应用在向量库查询出Context,然后将Query与Context喂到LLM,LLM生成满足Query的Response答案。      从这里可以存在三元组:Query、Context和Response,如要想进一步
  • 2023-08-05golang 接口的概念
    先上代码定义一个接口Retriever两个接口的实现infra.gopackagemainimport( "fmt" "robot.com/Robot/learngo/testing" //"robot.com/Robot/learngo/infra")//?:Somethingthatcan"Get"typeretrieverinterface{ Get(string)s
  • 2023-08-03基于GPT搭建私有知识库聊天机器人(四)问答实现
    前文链接:基于GPT搭建私有知识库聊天机器人(一)实现原理基于GPT搭建私有知识库聊天机器人(二)环境安装基于GPT搭建私有知识库聊天机器人(三)向量数据训练在前面的文章中,我们介绍了如何使用GPT模型搭建私有知识库聊天机器人的基本原理、环境安装、数据向量化。本文将进一步介绍如何使用lang
  • 2023-07-13基于GPT搭建私有知识库聊天机器人(四)问答实现
    前文链接:基于GPT搭建私有知识库聊天机器人(一)实现原理基于GPT搭建私有知识库聊天机器人(二)环境安装基于GPT搭建私有知识库聊天机器人(三)向量数据训练在前面的文章中,我们介绍了如何使用GPT模型搭建私有知识库聊天机器人的基本原理、环境安装、数据向量化。本文将进一步介绍如何使
  • 2022-10-30springboot源码剖析(二) 事件发布
    概念      springboot在启动流程中会发布一些事件通知依赖组件进行主动更新。      原理是springboot使用到的一种设计模式:观察者模式。优