首页 > 其他分享 >微调(Fine-Tuning)和检索增强生成(RAG)

微调(Fine-Tuning)和检索增强生成(RAG)

时间:2024-07-16 23:19:09浏览次数:14  
标签:RAG 知识库 Tuning 模型 微调 Fine

微调(Fine-Tuning)和检索增强生成(RAG)

https://www.toutiao.com/article/7386094597421810186/?log_from=21b91ee0752_1721118518195

2024-06-30 09:05·架构笔记

 

 

微调(Fine-Tuning)过程的核心,是在新的任务和数据集上对预训练模型的参数进行微小的调整,使其能精准契合目标场景的需求。不同于完全从头训练一个全新模型,Fine-Tuning (微调)巧妙地利用了 PLM 在大规模语料上学习到的通用语义表征,在此基础上进行"权重调校",从而大幅提高了模型收敛的速度和效率, 微调本质是将特定领域知识记忆纳入到模型的参数中, 经过微调后,模型可以为你提供更准确、更接近你特定领域的答案。

 

检索增强生成(RAG,Retrieval-Augmented Generation)本质是利用外挂的知识库作为模型的记忆扩充,RAG 无需重新训练模型,便能扩展 LLM 已有的强大能力,让其能够适用于新的领域或组织的内部知识库。这是一种经济高效的方式,能够提升 LLM 输出的准确性、相关性和实用性,使其在各种环境中依然保持出色表现。

 

 

知识库是使用向量数据库(或者其他数据库)存储数据,可以外挂,作为LLM的行业信息提供方。

 

简单理解, 微调相当于让大模型去学习了新的一门学科,在回答的时候完成闭卷考试。知识库相当于为大模型提供了新学科的课本,回答的时候为开卷考试。 知识库和微调并不是冲突的,它们是两种相辅相成的行业解决方案。

标签:RAG,知识库,Tuning,模型,微调,Fine
From: https://www.cnblogs.com/lightsong/p/18306319

相关文章

  • 自定义localStorage监听事件
    一、问题在项目开发过程中,发现有很多时候进行localStorage.setItem()操作设置本地存储后,页面必须刷新才能够获取到存储数据,而有些时候本地缓存更新后,页面无法通过再次刷新以获取本地缓存,这就导致依赖本地缓存的数据无法进行更新。为了解决这个问题,就必须要用到自定义localStorage......
  • Vue3新特性defineOptions和defineModel 面试总结
    在Vue3中,defineOptions和defineModel是两个重要的新特性,它们分别在组件定义和v-model双向绑定方面提供了更为便捷和高效的解决方案。defineOptions定义与用途:defineOptions是Vue3.3+版本中引入的一个宏(macro),用于在<scriptsetup>语法糖中定义组件的选项,如组件名(name)、透传属......
  • TaD+RAG-缓解大模型“幻觉”的组合新疗法
    TaD:任务感知解码技术(Task-awareDecoding,简称TaD),京东联合清华大学针对大语言模型幻觉问题提出的一项技术,成果收录于IJCAI2024。RAG:检索增强生成技术(Retrieval-augmentedGeneration,简称RAG),是业内解决LLM幻觉问题最有效的系统性方案。1.背景介绍近来,以ChatGPT为代表的生成式大......
  • ragflow本地部署的问题(文本解析不了)
    本文章主要介绍我在部署一个名叫ragflow的开源项目时所遇见的问题以及解决办法。对于这个其实对我的感触很大,因为我花费了一个星期的时间来寻找这个问题的办法,但是却不敬人意,于是我决定换一个思路来解决这个问题。下面就是我对这个问题的详细描述。在本地部署完ragflow后,并且......
  • JavaScript全解析——本地存储✔(localStorage~sessionStorage~cookie)
    ●就是浏览器给我们提供的可以让我们在浏览器上保存一些数据●常用的本地存储(localStorage~sessionStorage~cookie)1-localStorage=>特点:->长期存储,除非手动删除否则会一直保存在浏览器中清除缓存或者卸载浏览器也就没有了->可以跨页面通讯,也就是说在一个页面写下......
  • Vue 3 中 defineExpose() 函数的使用
    什么是defineExpose()?defineExpose()是Vue3提供的一个CompositionAPI函数,用于明确指定哪些内部响应式状态或函数可以被外部访问。如何使用defineExpose()?在子组件中定义:import{ref,defineExpose}from'vue'exportdefault{setup(){constcount=......
  • 探索GraphRAG:构建高效的知识图谱索引与查询引擎
    GraphRAG系统简介GraphRAG是一个基于图的检索增强生成系统,它通过索引文本数据,然后使用这些索引数据来回答有关文档的问题。系统的核心在于其索引管道和查询引擎,它们共同工作,以提供快速且准确的信息检索服务。环境准备在开始之前,请确保你的开发环境中已安装Python3.10至3......
  • 探索 GraphRAG:图结构与生成式模型的融合
    在当今数据驱动的时代,处理和理解复杂的图结构数据成为了一项重要的任务。GraphRAG(GraphRetrieval-AugmentedGeneration)作为一种新兴的技术,为解决图相关的问题提供了创新的思路和方法。一、GraphRAG简介GraphRAG是一种结合了图结构数据和生成式模型的技术框架。它旨在......
  • yarn更新依赖报错:Extracting tar content of undefined failed, the file appears to
    今天从一个git库里更新代码,用yarn安装依赖一直报错。提示如下:Extractingtarcontentofundefinedfailed,thefileappearstobecorrupt,百思不得其解,查了资料说淘宝的镜像源不能用了。用yarninstall--registryhttps://mirrors.huaweicloud.com/repository/npm/,这样解决了......
  • springboot使用logback日志出现LOG_PATH_IS_UNDEFINED文件夹的问题
    logback现在基本上已经成为springboot日志框架中使用最多的日志实现,在使用中与各中间件集成的一些注意事项记录如下 一SpringBoot中logback读取application.properties(application.yml)中的属性其中使用的时候发现了一个问题,就是如果使用的lobback配置文件的名称是logb......