首页 > 其他分享 >Enhancing Question Answering for Enterprise Knowledge Bases using Large Language Models

Enhancing Question Answering for Enterprise Knowledge Bases using Large Language Models

时间:2024-08-03 10:52:52浏览次数:14  
标签:检索 知识库 Knowledge Enhancing Models 知识 生成 文档 LLM

本文是LLM系列文章,针对《Enhancing Question Answering for Enterprise Knowledge Bases using Large Language Models》的翻译。

使用大型语言模型增强企业知识库的问答能力

摘要

高效的知识管理在提高企业和组织的运营效率和创新能力方面发挥着关键作用。通过矢量化对知识进行索引,出现了各种知识检索方法,显著提高了知识管理系统的效率。最近,生成性自然语言处理技术的快速发展为在检索针对用户查询量身定制的相关文档后生成精确和连贯的答案铺平了道路。然而,对于企业知识库来说,由于私人数据的隐私和安全政策,从头开始组装大量的训练数据用于知识检索和生成是一项艰巨的挑战,这通常会带来巨大的成本。为了应对上述挑战,在本文中,我们提出了EKRG,这是一种基于大型语言模型(LLM)的新型检索生成框架,专门设计用于以有限的注释成本为企业知识库进行问答。具体来说,对于检索过程,我们首先介绍了一种使用LLM的指令调优方法,以生成足够的文档问题对来训练知识检索器。这种方法通过精心设计的指令,有效地为企业知识库生成各种问题,包括面向事实和面向解决方案的知识。此外,我们开发了一种具有相关性意识的师生学习策略,以进一步提高训练过程的效率。对于生成过程,我们提出了一种新的基于思想链(CoT)的微调方法,使基于LLM的生成器能够使用检索到的文档熟练地响应用户问题。最后,对真实世界数据集的广泛实验证明了我们提出的框架的有效性。

1 引言

2 相关工作

3 前言

4 方法

标签:检索,知识库,Knowledge,Enhancing,Models,知识,生成,文档,LLM
From: https://blog.csdn.net/c_cpp_csharp/article/details/140887002

相关文章

  • Large Language Models meet Collaborative Filtering
    本文是LLM系列文章,针对《LargeLanguageModelsmeetCollaborativeFiltering:AnEfficientAll大型语言模型与协同过滤:一个高效的基于LLM的全方位推荐系统摘要1引言2相关工作3问题定义4提出的方法5实验6结论摘要协同过滤推荐系统(CFRecSys)在增强社......
  • [paper阅读笔记][2023]CorpusLM: Towards a Unified Language Model on Corpusfor Kno
    文章链接:https://arxiv.org/pdf/2402.01176v2Paper的任务处理各种知识密集型任务任务的科学问题本文任务虽然是:提出一个统一的语言模型来处理各种知识密集型任务,但其实其本质科学问题是:如何提高LLMs在知识密集型任务中的检索效率。原因是:LLMs在生成文本时容易出现错误信......
  • GitHub Models服务允许开发人员免费查找和试用AI模型
    今天,GitHub宣布推出一项新服务–GitHubModels,允许开发人员免费查找和试用人工智能模型。它将领先的大型和小型语言模型的强大功能直接带给GitHub的1亿多用户。GitHub模型将提供对领先模型的访问,包括OpenAI的GPT-4o和GPT-4omini、微软的Phi3、Meta的Llama3.......
  • Pixel Aligned Language Models论文阅读笔记
    Motivation&Abs近年来,大语言模型在视觉方面取得了极大的进步,但其如何完成定位任务(如wordgrounding等)仍然不清楚。本文旨在设计一种模型能够将一系列点/边界框作为输入或者输出。当模型接受定位信息作为输入时,可以进行以定位为condition的captioning。当生成位置作为输出时,模型......
  • Modelsim仿真实现Verilog HDL序列检测器
    检测接收到的数字序列中出现“10011”的次数。例如输入序列为40位:1100_1001_1100_1001_0100_1100_1011_0010_1100_1011从最高位开始检测,出现了2次:1100_1001_1100_1001_0100_1100_1011_0010_1100_1011所以,序列检测器的计数结果应该是2。状态机如下:当前状态current_stat......
  • 3.校验,格式化,ModelSerializer使用
    【一】反序列化校验1)三层校验字段自己校验直接写在字段类的属性上局部钩子在序列化中写validata_字段名全局钩子#serializers.pyclassBookSerializer(serializers.Serializer):#1)name字段的要大于1小于10name=serializers.CharField(min_length=......
  • 一文详解Denoising Diffusion Implicit Models(DDIM)
    目录0前言1DDIM2总结0前言  上一篇博文我们介绍了目前流行的扩散模型基石DDPM,并且给出了代码讲解,有不了解的小伙伴可以跳转到前面先学习一下。今天我们再来介绍下DDPM的改进版本。DDPM虽然对生成任务带来了新得启发,但是他有一个致命的缺点,就是推理速度比较慢,......
  • 论文阅读:End to End Chinese Lexical Fusion Recognition with Sememe Knowledge
    模型论文中提出的模型旨在联合处理提及词汇和共指关系。该模型由一个编码器、一个用于提及识别的CRF解码器和一个用于共指识别的BiAffine解码器组成。此外,利用HowNet的sememe知识增强了编码器。基础模型编码器:利用BERT作为基本编码器:\[h_1...h_n=BERT(c_1,...,c_......
  • 论文阅读:Borrowing wisdom from world: modeling rich external knowledge for Chines
    问题定义由于词级中文NER存在第三方解析器分割的边界错误,因此考虑将字符级NER作为默认设置。使用'BMES'标记方案进行字符级NER,将标记表述为序列标记问题。即,对于句子\(s={c_1,...,c_n}\)中的每个字符\(c_i\),使用标签集中的标签进行标记\(L={B,M,E,S,O}\)。O:非实体元素B:实......
  • AI论文阅读笔记 | Timer: Generative Pre-trained Transformers Are Large Time Serie
    一、基本信息题目:Timer:GenerativePre-trainedTransformersAreLargeTimeSeriesModels会议:ICML2024原文:https://arxiv.org/abs/2402.02368源码:​​​​​​​https://github.com/thuml/Timer二、基本内容 1、解决什么问题虽然深度学习对时间序列的分析做出了显著......