文章目录～
- 1.A Study on Effect of Reference Knowledge Choice in Generating Technical Content Relevant to SAPPhIRE Model Using Large Language Model
- 2.From RAG to RICHES: Retrieval Interlaced with Sequence Generation
- 3.SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
- 4.Development and Evaluation of a Retrieval-Augmented Generation Tool for Creating SAPPhIRE Models of Artificial Systems
- 5.AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation
- 6.SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation
- 7.RAVEN: Multitask Retrieval Augmented Vision-Language Learning
- 8.Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation
- 9.AI-native Memory: A Pathway from LLMs Towards AGI
- 10.Assessing "Implicit" Retrieval Robustness of Large Language Models
- 11.Evaluating Quality of Answers for Retrieval-Augmented Generation: A Strong LLM Is All You Need
- 12.LumberChunker: Long-Form Narrative Document Segmentation
- 13.FS-RAG: A Frame Semantics Based Approach for Improved Factual Accuracy in Large Language Models
- 14.LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
- 15.Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation
- 16.A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systems
- 17.Towards Retrieval Augmented Generation over Large Video Libraries
- 18.Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering
- 19.TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems
- 20.Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks
- 21.Augmenting Query and Passage for Retrieval-Augmented Generation using LLMs for Open-Domain Question Answering
1.A Study on Effect of Reference Knowledge Choice in Generating Technical Content Relevant to SAPPhIRE Model Using Large Language Model
标题:利用大语言模型生成与 SAPPhIRE 模型相关的技术内容时参考知识选择的效果研究
author:Kausik Bhattacharya, Anubhab Majumder, Amaresh Chakrabarti
date Time:2024-06-29
paper pdf:http://arxiv.org/pdf/2407.00396v1
摘要：
使用 SAPPhIRE 因果关系模型表示系统可以激发设计灵感。然而，创建技术系统或自然系统的 SAPPhIRE 模型需要从多个技术文档中获取有关系统工作原理的技术知识。本研究探讨了如何使用大型语言模型（也称 LLM）生成与 SAPPhIRE 因果关系模型相关的准确技术内容。本文是两部分研究的第一部分，介绍了一种利用 LLM 的检索增强生成技术抑制幻觉的方法，以生成与 SAPPhIRE 结构相关的科学信息支持的技术内容。研究结果表明，选择用于为 LLM 生成技术内容提供上下文的参考知识非常重要。这项研究的成果被用于构建一个软件支持工具，以生成给定技术系统的 SAPPhIRE 模型。
2.From RAG to RICHES: Retrieval Interlaced with Sequence Generation
标题:从 RAG 到 RICHES：检索与序列生成交错进行
author:Palak Jain, Livio Baldini Soares, Tom Kwiatkowski
publish:18 pages, 3 figures, Preprint
date Time:2024-06-29
paper pdf:http://arxiv.org/pdf/2407.00361v1
摘要：
我们提出的 RICHES 是一种将检索与序列生成任务交织在一起的新方法。RICHES 不需要单独的检索器和生成器，是传统 RAG 系统的替代方案。它通过直接解码文档内容来检索文档，并受限于语料库。将检索与生成统一起来，使我们能够仅通过提示就适应各种新任务。RICHES 可以与任何指令调整模型一起工作，无需额外的训练。它提供归因证据，支持多跳检索，并交错思考以计划下一步检索内容，所有这些都在 LLM 的一次解码过程中完成。我们展示了 RICHES 在 ODQA 任务（包括归因和多跳 QA）中的强大性能。
3.SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
标题:SK-VQA：规模化合成知识生成，用于训练情境增强型多模态 LLM
author:Xin Su, Man Luo, Kris W Pan, Tien Pei Chou, Vasudev Lal, Phillip Howard
date Time:2024-06-28
paper pdf:http://arxiv.org/pdf/2406.19593v1
摘要：
最近，合成数据生成因其在训练大型视觉和语言模型方面的实用性而备受关注。然而，合成数据在多模态情境增强生成系统训练中的应用却相对较少。现有工作中的这一空白非常重要，因为现有的视觉和语言模型（VLM）并不是专门为语境增强生成而训练的。因此，在检索增强生成（RAG）环境中，使用检索器收集相关信息，然后通过上下文增强提供给生成模型，用于调整这些模型的资源至关重要。为了解决这个具有挑战性的问题，我们生成了 SK-VQA：一个大型合成多模态数据集，其中包含 200 多万个需要外部知识才能确定最终答案的问答对。与现有的同类资源相比，我们的数据集规模更大、种类更多，比以前提出的数据集多出 11 倍以上的独特问题，包含的图像来源也更加广泛。通过广泛的实验，我们证明了我们的合成数据集不仅可以作为一个具有挑战性的基准，而且对于调整现有的生成式多模态模型以进行上下文增强生成非常有效。
4.Development and Evaluation of a Retrieval-Augmented Generation Tool for Creating SAPPhIRE Models of Artificial Systems
标题:开发和评估用于创建人工系统 SAPPhIRE 模型的检索增强生成工具
author:Anubhab Majumder, Kausik Bhattacharya, Amaresh Chakrabarti
date Time:2024-06-27
paper pdf:http://arxiv.org/pdf/2406.19493v1
摘要：
使用 SAPPhIRE 因果关系模型表示系统被认为有助于支持类比设计。然而，创建人工或生物系统的 SAPPhIRE 模型是一个耗费大量精力的过程，需要人类专家从多个技术文档中获取有关系统工作原理的技术知识。本研究探讨了如何利用大型语言模型（LLM），使用 SAPPhIRE 因果关系模型创建系统的结构化描述。本文是这项由两部分组成的研究的第二部分，介绍了一种新的检索-增强生成（RAG）工具，用于生成与人工系统的 SAPPhIRE 结构相关的信息，并报告了对该工具成功与否的初步评估结果–重点是结果的事实准确性和可靠性。
5.AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation
标题:AutoRAG-HP：检索增强生成的自动在线超参数调整
author:Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang
date Time:2024-06-27
paper pdf:http://arxiv.org/pdf/2406.19251v1
摘要：
大型语言模型的最新进展改变了 ML/AI 的发展，因此有必要重新评估用于检索增强生成（RAG）系统的 AutoML 原理。为了应对 RAG 中超参数优化和在线适应的挑战，我们提出了 AutoRAG-HP 框架，该框架将超参数调整表述为一个在线多臂匪徒（MAB）问题，并引入了一种新颖的两级分层 MAB（Hier-MAB）方法，用于高效探索大型搜索空间。我们利用 ALCE-ASQA 和 Natural Questions 数据集，对 top-k 检索文档、提示压缩率和嵌入方法等超参数的调整进行了广泛的实验。我们通过联合优化所有三个超参数得出的评估结果表明，基于MAB的在线学习方法可以在搜索空间梯度突出的情况下实现Recall@5
≈
0.8
\approx 0.8
≈0.8，而使用网格搜索方法所需的LLM API调用次数仅为
∼
20
%
\sim20\%
∼20%。此外，在更具挑战性的优化场景中，拟议的 Hier-MAB 方法优于其他基线方法。代码将公布在 https://aka.ms/autorag 网站上。
6.SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation
标题:SeaKR：用于自适应检索增强生成的自感知知识检索
author:Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li
date Time:2024-06-27
paper pdf:http://arxiv.org/pdf/2406.19215v1
摘要：
本文介绍了自感知知识检索（SeaKR），这是一种新型自适应 RAG 模型，可从 LLM 的内部状态中提取 LLM 的自感知不确定性。当 LLMs 在生成过程中呈现出较高的自我感知不确定性时，SeaKR 会激活检索。为了有效整合检索到的知识片段，SeaKR 会根据 LLM 的自我认知不确定性对其重新排序，以保留能最大程度降低其不确定性的片段。为了便于解决需要多次检索的复杂任务，SeaKR 利用其自我感知的不确定性在不同的推理策略中进行选择。我们在复杂和简单的问题解答数据集上进行的实验表明，SeaKR 优于现有的自适应 RAG 方法。我们在 https://github.com/THU-KEG/SeaKR 上发布了我们的代码。
7.RAVEN: Multitask Retrieval Augmented Vision-Language Learning
标题:RAVEN：多任务检索增强视觉语言学习
author:Varun Nagaraj Rao, Siddharth Choudhary, Aditya Deshpande, Ravi Kumar Satzoda, Srikar Appalaraju
date Time:2024-06-27
paper pdf:http://arxiv.org/pdf/2406.19150v1
摘要：
用模型参数编码世界上所有知识的大型语言模型的规模是不可持续的，而且加剧了资源障碍。检索增强生成（RAG）是一种潜在的解决方案，但其在视觉语言模型（VLMs）中的应用仍有待探索。现有的方法侧重于为单一任务设计的模型。此外，这些方法还受到资源密集型预训练需求、额外参数要求、未解决模式优先级问题以及与非检索基线相比缺乏明显优势等因素的限制。本文介绍的 RAVEN 是一种多任务检索增强 VLM 框架，它通过高效的特定任务微调来增强基础 VLM。通过整合检索增强样本而无需额外的检索特定参数，我们证明该模型可以获得在多个任务中都有效的检索特性。我们的结果和对图像字幕和 VQA 任务检索模式的广泛消减表明，与未检索基线相比，MSCOCO 的性能有了显著提高：+1 CIDEr；NoCaps 的性能提高了 +4 CIDEr；特定 VQA 问题类型的准确率提高了近 +3%。这强调了将 RAG 方法应用于 VLM 的有效性，标志着向更高效、更易用的多模态学习迈出了一大步。
8.Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation
标题:了解 LLM 的需求：检索增强生成的双重偏好对齐
author:Guanting Dong, Yutao Zhu, Chenghao Zhang, Zechen Wang, Zhicheng Dou, Ji-Rong Wen
publish:Work in progress
date Time:2024-06-26
paper pdf:http://arxiv.org/pdf/2406.18676v1
摘要：
检索增强生成（RAG）在缓解大型语言模型（LLMs）的幻觉问题方面已经证明了其有效性。然而，在开发可靠的 RAG 系统过程中，很难将检索器与不同 LLMs 的知识偏好相匹配，这不可避免地给我们带来了挑战。为解决这一问题，我们提出了 DPA-RAG 这一通用框架，旨在调整 RAG 系统中的各种知识偏好。具体来说，我们首先引入了一个偏好知识构建管道，并结合了五种新颖的查询增强策略，以缓解偏好数据稀缺的问题。基于偏好数据，DPA-RAG 完成了外部和内部偏好对齐：1) 它将成对偏好配准、点偏好配准和对比偏好配准能力联合集成到重排器中，实现了 RAG 组件之间的外部偏好配准。2）在香草监督微调（SFT）之前进一步引入预对齐阶段，使 LLMs 能够隐式地捕获与其推理偏好对齐的知识，实现 LLMs 的内部对齐。四个知识密集型质量保证数据集的实验结果表明，DPA-RAG 的性能优于所有基线，并能无缝集成黑盒和开源 LLM 阅读器。进一步的定性分析和讨论还为实现可靠的 RAG 系统提供了经验指导。我们的代码可在 https://github.com/dongguanting/DPA-RAG 公开获取。
9.AI-native Memory: A Pathway from LLMs Towards AGI
标题:人工智能原生记忆：从 LLM 迈向 AGI 的途径
author:Jingbo Shang, Zai Zheng, Xiang Ying, Felix Tao, Mindverse Team
date Time:2024-06-26
paper pdf:http://arxiv.org/pdf/2406.18312v1
摘要：
大型语言模型（LLM）向世界展示了人工通用智能（AGI）的火花。有一种观点，尤其是一些研究 LLM 的初创公司认为，拥有近乎无限语境长度的 LLM 可以实现 AGI。然而，他们可能对（现有）LLM 的长上下文能力过于乐观了–（1）最近的文献表明，LLM 的有效上下文长度远远小于其宣称的上下文长度；（2）我们的 "草垛推理 "实验进一步证明，同时从长上下文中找到相关信息并进行（简单）推理几乎是不可能的。在本文中，我们设想了一条通过整合 \emph{memory} 从 LLM 到 AGI 的途径。我们认为，AGI 应该是一个由 LLMs 作为核心处理器的系统。除了原始数据，该系统的内存还将存储大量从推理过程中得出的重要结论。与仅处理原始数据的检索增强生成（RAG）相比，这种方法不仅能更紧密地连接语义相关的信息，还能在查询时简化复杂的推理。作为中间阶段，记忆可能会采用自然语言描述的形式，用户也可以直接使用。最终，每个代理/个人都应该拥有自己的大型个人模型，即一个深度神经网络模型（因此是 \emph{AI-native}），它可以对所有类型的记忆进行参数化和压缩，即使是那些无法用自然语言描述的记忆。最后，我们讨论了人工智能原生记忆作为 AGI 时代（主动）参与、个性化、分发和社交的变革性基础设施的巨大潜力，以及由此带来的隐私和安全挑战，并提出了初步的解决方案。
10.Assessing “Implicit” Retrieval Robustness of Large Language Models
标题:评估大型语言模型的 "隐含 "检索稳健性
author:Xiaoyu Shen, Rexhina Blloshmi, Dawei Zhu, Jiahuan Pei, Wei Zhang
date Time:2024-06-26
paper pdf:http://arxiv.org/pdf/2406.18134v1
摘要：
检索增强生成作为一种利用外部知识增强大型语言模型的框架，已经越来越受欢迎。然而，其有效性取决于模型的检索鲁棒性。如果模型缺乏检索鲁棒性，其性能就会受到检索器准确性的限制，从而在检索到的上下文不相关时造成重大损失。在本文中，我们评估了各种大型语言模型的 "隐式 "检索鲁棒性，指示它们直接输出最终答案，而不明确判断检索上下文的相关性。我们的研究结果表明，对黄金语境和干扰语境的混合进行微调可显著增强模型对检索不准确的鲁棒性，同时在检索准确时仍能保持提取正确答案的能力。这表明，大型语言模型可以通过端到端的方式，仅从最终答案的监督中学习，从而隐式地处理相关或不相关的检索上下文。为显式相关性判断引入一个额外的过程可能是不必要的，而且会破坏端到端方法。
11.Evaluating Quality of Answers for Retrieval-Augmented Generation: A Strong LLM Is All You Need
标题:评估检索增强生成答案的质量：强大的法学硕士就够了
author:Yang Wang, Alberto Garcia Hernandez, Roman Kyslyi, Nicholas Kersting
publish:13 pages, 8 figures, 12 tables
date Time:2024-06-26
paper pdf:http://arxiv.org/pdf/2406.18064v2
摘要：
我们使用 vRAG-Eval 对检索增强生成（RAG）应用中的答案质量评估进行了全面研究，vRAG-Eval 是一种新颖的评分系统，旨在评估正确性、完整性和诚实性。我们进一步将上述质量方面的分级映射为二进制分数，表示接受或拒绝的决定，反映了聊天应用中常用的 "竖起大拇指 "或 "放下大拇指 "的直观手势。这种方法适用于需要明确决策意见的实际业务环境。我们的评估将 vRAG-Eval 应用于两个大型语言模型 (LLM)，评估由普通 RAG 应用程序生成的答案的质量。我们将这些评估与人类专家的判断进行了比较，发现 GPT-4 的评估与人类专家的评估非常一致，在接受或拒绝的决定上达到了 83% 的一致性。这项研究凸显了 LLM 作为封闭领域、封闭式环境中可靠评估工具的潜力，尤其是在人工评估需要大量资源的情况下。
12.LumberChunker: Long-Form Narrative Document Segmentation
标题:LumberChunker：长篇叙事文档分割
author:André V. Duarte, João Marques, Miguel Graça, Miguel Freire, Lei Li, Arlindo L. Oliveira
date Time:2024-06-25
paper pdf:http://arxiv.org/pdf/2406.17526v1
摘要：
现代 NLP 任务越来越依赖于密集检索方法来获取最新的相关上下文信息。我们的出发点是，检索可以从大小不一的分段中获益，从而更好地捕捉内容的语义独立性。我们提出的 LumberChunker 是一种利用 LLM 对文档进行动态分段的方法，它可以反复提示 LLM 识别一组连续段落中内容开始变化的点。为了评估我们的方法，我们引入了 GutenQA，这是一个包含 3000 个 "大海捞针 "式问答对的基准，这些问答对来自古腾堡计划（Project Gutenberg）上的 100 本公共领域叙事书籍。我们的实验表明，LumberChunker 不仅在检索性能（DCG@20）上比最有竞争力的基线高出 7.37%，而且当集成到 RAG 管道中时，LumberChunker 被证明比其他分块方法和有竞争力的基线（如 Gemini 1.5M Pro）更有效。我们的代码和数据见 https://github.com/joaodsmarques/LumberChunker
13.FS-RAG: A Frame Semantics Based Approach for Improved Factual Accuracy in Large Language Models
标题:FS-RAG：基于框架语义的方法，提高大型语言模型的事实准确性
author:Harish Tayyar Madabushi
publish:program code and prompts available at
https://github.com/H-TayyarMadabushi/A-Frame-Semantics-based-approach-for-Improved-Factual-Accuracy-in-Large-Language-Models
date Time:2024-06-23
paper pdf:http://arxiv.org/pdf/2406.16167v1
摘要：
我们对检索增强生成（Retrieval Augmented Generation）进行了新的扩展，目的是减少大型语言模型输出中的事实不准确性。具体来说，我们的方法借鉴了认知语言学的框架语义理论，用于索引和检索与帮助大型语言模型回答查询相关的事实信息。我们通过实验证明了这种方法在检索效果以及自动生成的框架和框架关系的相关性方面的有效性。我们的结果表明，这种新颖的基于框架语义的检索机制旨在改进检索增强生成（FS-RAG），它是有效的，并有可能为框架语义理论提供数据驱动的见解。我们提供公开的程序代码和提示。
14.LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
标题:LongRAG：利用长语境 LLM 增强检索增强生成功能
author:Ziyan Jiang, Xueguang Ma, Wenhu Chen
publish:Technical Report
date Time:2024-06-21
paper pdf:http://arxiv.org/pdf/2406.15319v2
摘要：
在传统的 RAG 框架中，基本检索单元通常很短。常见的检索器（如 DPR）通常使用 100 字的维基百科段落。这样的设计迫使检索器在庞大的语料库中寻找 "针 "单元。相比之下，读者只需要从检索到的简短单元中提取答案。这种不平衡的 "重型 "检索器和 "轻型 "阅读器设计会导致性能不达标。为了缓解这种不平衡，我们提出了一个由 "长检索器 "和 "长阅读器 "组成的新框架 LongRAG。LongRAG 将整个维基百科处理成 4K 标记单元，比以前长了 30 倍。通过增加单元大小，我们将总单元数从 22M 大幅减少到 700K。这大大减轻了检索器的负担，从而获得了显著的检索得分：在 NQ 上，答案召回率@1=71%（以前为 52%）；在 HotpotQA（全维基）上，答案召回率@2=72%（以前为 47%）。然后，我们将检索到的前 k 个单元（约
/
a
p
p
r
o
x
/approx
/approx 30K tokens）输入到现有的长语境 LLM 中，以执行零次答案提取。无需任何训练，LongRAG 就能在 NQ 上实现 62.7% 的 EM，这是目前已知的最佳结果。LongRAG 还在 HotpotQA（全维基）上实现了 64.3%，与 SoTA 模型相当。我们的研究为未来将 RAG 与长语境 LLM 相结合的路线图提供了启示。
15.Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation
标题:检索-计划-生成：知识密集型 LLM 生成的迭代规划和应答框架
author:Yuanjie Lyu, Zihan Niu, Zheyong Xie, Chao Zhang, Tong Xu, Yang Wang, Enhong Chen
date Time:2024-06-21
paper pdf:http://arxiv.org/pdf/2406.14979v1
摘要：
尽管大型语言模型（LLMs）在各种任务中取得了重大进展，但由于其内部知识有限，经常会产生事实错误。利用外部知识源增强 LLM 的检索增强生成（RAG）提供了一种很有前景的解决方案。然而，这些方法可能会被检索文档中的无关段落误导。由于 LLM 生成中固有的不确定性，输入整个文档可能会引入离题信息，导致模型偏离中心主题，影响生成内容的相关性。为了解决这些问题，我们提出了检索-计划-生成（RPG）框架。RPG 生成计划标记，以指导计划阶段的后续生成。在答案阶段，模型根据计划选择相关的细粒度段落，并将其用于进一步的答案生成。这一计划-答案过程反复进行，直至完成，通过关注特定主题来提高生成的相关性。为了高效地实施这一框架，我们采用了一种简单而有效的多任务提示调整方法，使现有的 LLM 能够同时处理计划和答案。我们在 5 项知识密集型生成任务中将 RPG 与基线进行了全面比较，证明了我们方法的有效性。
16.A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systems
标题:信任与准确性的故事：RAG 系统中的基础 LLM 与指导 LLM
author:Florin Cuconasu, Giovanni Trappolini, Nicola Tonellotto, Fabrizio Silvestri
date Time:2024-06-21
paper pdf:http://arxiv.org/pdf/2406.14972v1
摘要：
检索增强生成（RAG）是人工智能领域的一大进步，它将检索阶段与生成阶段结合在一起，后者通常由大型语言模型（LLMs）驱动。目前，RAG 的常见做法是使用 "指导型 "LLMs，这些 LLMs 通过监督训练进行微调，以增强其遵循指令的能力，并利用最先进的技术与人类偏好保持一致。与人们的普遍看法相反，我们的研究表明，在我们的实验设置下，基础模型在 RAG 任务中的表现要比指导模型平均高出 20%。这一发现挑战了关于指导型 LLM 在 RAG 应用中的优势的普遍假设。进一步的研究揭示了更微妙的情况，对 RAG 的基本方面提出了质疑，并表明有必要就这一主题进行更广泛的讨论；或者，正如弗洛姆所说，“很少是只看一眼统计数据就能理解数字的含义的”。
17.Towards Retrieval Augmented Generation over Large Video Libraries
标题:在大型视频库中实现检索增强生成
author:Yannis Tevissen, Khalil Guetari, Frédéric Petitpont
publish:Accepted in IEEE HSI 2024
date Time:2024-06-21
paper pdf:http://arxiv.org/pdf/2406.14938v1
摘要：
视频内容创作者需要高效的工具来重新利用内容，这项任务通常需要复杂的手动或自动搜索。从大型视频库中制作新视频仍然是一项挑战。在本文中，我们通过将检索增强生成（RAG）应用于视频库的互操作架构，介绍了视频库问题解答（VLQA）任务。我们提出的系统使用大型语言模型（LLM）生成搜索查询，检索由语音和视觉元数据索引的相关视频片段。然后，答案生成模块将用户查询与这些元数据整合在一起，生成带有特定视频时间戳的答案。这种方法在多媒体内容检索和人工智能辅助视频内容创建方面大有可为。
18.Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering
标题:多跳问题解答的检索-增强生成中的 "先生成后落地 "功能
author:Zhengliang Shi, Shuo Zhang, Weiwei Sun, Shen Gao, Pengjie Ren, Zhumin Chen, Zhaochun Ren
publish:ACL 2024 (main conference)
date Time:2024-06-21
paper pdf:http://arxiv.org/pdf/2406.14891v1
摘要：
由于需要大量知识，多跳问题解答（MHQA）任务给大型语言模型（LLM）带来了巨大挑战。目前的解决方案，如检索-增强生成，通常是从外部语料库中检索潜在文档来读取答案。然而，这种 "检索-阅读 "模式的性能受到检索器和检索文档中不可避免的噪音的限制。为了缓解这些挑战，我们引入了一个新颖的 “生成–即–地”（GenGround）框架，协同 LLM 的参数知识和外部文档来解决多跳问题。GenGround 使 LLM 能够交替使用两个阶段，直到得出最终答案：(1) 提出更简单的单跳问题并直接生成答案；(2) 在检索到的文档中将问题-答案对接地，修正答案中的任何错误预测。我们还提出了一种指导性的接地提炼方法，将我们的方法推广到更小的模型中。在四个数据集上进行的广泛实验证明了我们方法的优越性。
19.TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems
标题:TemPrompt：基于 RAG 的众包系统中时间关系提取的多任务提示学习
author:Jing Yang, Yu Zhao, Yang Linyao, Xiao Wang, Long Chen, Fei-Yue Wang
publish:I submitted the manuscript without obtaining consent from all
co-authors
date Time:2024-06-21
paper pdf:http://arxiv.org/pdf/2406.14825v3
摘要：
时间关系提取（TRE）旨在掌握事件或行动的演变过程，从而形成相关任务的工作流程，因此有望帮助理解众包系统中请求者发起的任务请求。然而，现有的方法仍然难以应对有限且分布不均的注释数据。因此，受预先训练好的语言模型（PLMs）中存储的丰富全局知识的启发，我们提出了一个用于 TRE 的多任务提示学习框架（TemPrompt），结合提示调整和对比学习来解决这些问题。为了给 PLMs 诱导更有效的提示，我们引入了一种面向任务的提示构建方法，该方法在自动生成提示时充分考虑了 TRE 的各种因素。此外，我们还提出了时间事件推理作为补充，以加强模型对事件和时间线索的关注。实验结果表明，TemPrompt 在标准设置和少量提示设置下的大多数指标上都优于所有对比基线。我们还提供了一个案例研究，以验证其在众包场景中的有效性。
20.Relation Extraction with Fine-Tuned Large Language Models in Retrieval Augmented Generation Frameworks
标题:在检索增强生成框架中使用微调大语言模型进行关系提取
author:Sefika Efeoglu, Adrian Paschke
publish:preprint
date Time:2024-06-20
paper pdf:http://arxiv.org/pdf/2406.14745v2
摘要：
信息提取（IE）对于将非结构化数据转换为知识图谱（KG）等结构化格式至关重要。信息提取中的一项关键任务是关系提取（RE），即识别文本中实体之间的关系。目前存在各种关系提取方法，包括有监督、无监督、弱监督和基于规则的方法。最近，利用预训练语言模型（PLM）的研究在这一领域取得了巨大成功。在当前以大型语言模型（LLM）为主导的时代，对这些模型进行微调可以克服基于 LLM 提示的 RE 方法的局限性，尤其是在领域适应挑战和识别句子中实体之间的隐式关系方面。这些隐含关系无法轻易从句子的依赖关系树中提取，需要通过逻辑推理才能准确识别。这项研究探索了微调 LLM 的性能，并将其集成到基于检索增强（RAG）的 RE 方法中，以解决在句子层面识别隐式关系的难题，尤其是当 LLM 在 RAG 框架中充当生成器时。在 TACRED、TACRED-Revisited (TACREV)、Re-TACRED 和 SemEVAL 数据集上进行的实证评估表明，经过微调的 LLM（包括 Llama2-7B、Mistral-7B 和 T5 (Large)）可以显著提高性能。值得注意的是，我们的方法在隐式关系非常普遍的 SemEVAL 数据集上取得了大幅提升，超越了之前在该数据集上的结果。此外，我们的方法在 TACRED、TACREV 和 Re-TACRED 上的表现也优于之前的研究成果，在不同的评估场景中都表现出了卓越的性能。
21.Augmenting Query and Passage for Retrieval-Augmented Generation using LLMs for Open-Domain Question Answering
标题:为检索增强查询和段落–使用 LLM 增强生成，用于开放域问题解答
author:Minsang Kim, Cheoneum Park, Seungjun Baek
date Time:2024-06-20
paper pdf:http://arxiv.org/pdf/2406.14277v1
摘要：
检索增强生成（RAG）作为一种弥补大型语言模型（LLM）参数知识的方法，在开放域问题解答（ODQA）任务中备受关注。虽然以前的方法侧重于处理检索到的段落以去除不相关的上下文，但它们仍然严重依赖于检索到的段落的质量，而如果问题含糊不清或复杂，质量就会下降。在本文中，我们提出了一种简单而高效的方法，称为 “通过 LLM 增强问题和段落”，用于开放域质量保证。我们的方法首先将原始问题分解为多步骤子问题。通过用详细的子问题和规划来增强原始问题，我们就能使查询更具体地反映出需要检索的内容，从而提高检索性能。此外，为了弥补检索到的段落包含干扰信息或意见分歧的情况，我们在检索到的段落中添加了由 LLM 自生成的段落，以指导答案提取。实验结果表明，与现有的 RAG 方法相比，所提出的方案优于之前的先进方法，并实现了显著的性能提升。