大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。
RAG
检索增强生成 （RAG） 是一种通过集成文档检索系统来增强大型语言模型 （LLMs） 功能的方法。这种集成允许LLMs从外部来源获取相关信息，从而提高生成的响应的准确性和相关性。这种方法解决了传统LLMs方法的局限性，例如需要广泛的培训以及提供过时或不正确信息的风险。RAG的主要优势在于它能够将模型的输出建立在可靠的来源中，从而减少幻觉并确保最新的知识，而无需昂贵的持续培训。
RAG 面临的一个重大挑战是处理需要具有不同内容的多个文档的查询。此类查询在各个行业中都很常见，但会带来困难，因为所需的文档可能具有截然不同的嵌入，因此很难准确检索所有相关信息。这个问题需要一个能够有效地从多个来源获取和组合信息的解决方案。在复杂的场景中，如化工厂事故，从与设备维护、天气状况和工人管理等各个方面相关的文档中检索数据对于提供全面的答案至关重要。
现有的 RAG 解决方案通常使用 Transformer 模型的最后一层解码器模块的嵌入来检索文档。但是，此方法需要充分处理多方面查询，因为它难以检索涵盖明显不同内容方面的文档。当前的一些技术包括 RAPTOR、Self-RAG 和 Chain-of-Note，它们专注于提高检索准确性，但无法有效处理复杂的多方面查询。这些方法旨在优化检索数据的相关性，但需要帮助来处理多方面查询所需的文档内容的多样性。
MRAG
来自苏黎世联邦理工学院、Cledar、巴斯夫欧洲公司和华沙理工大学的研究人员推出了多头 RAG （MRAG） 来解决多方面查询问题。这种新颖的方案利用了 Transformer 模型的多头注意力层的激活，而不是最后一层解码器的激活。研究团队设计了MRAG，利用不同的注意力头来捕获各种数据方面，从而提高复杂查询的检索准确性。<若读者对于多头注意力机制有所忘记的话，可以移步“深入注意力机制”。> 通过利用多头注意力机制，MRAG创建了代表数据在各个维度的嵌入，增强系统跨不同内容区域获取相关信息的能力。
MRAG的关键创新是使用来自多个注意力头的激活来创建嵌入。Transformer 模型中的每个注意力头都可以学习捕获不同的数据方面，从而产生表示数据项和查询各个方面的嵌入。与标准RAG相比，此方法使 MRAG能够更有效地处理多方面查询，而不会增加空间要求。MRAG在数据准备阶段使用来自多头注意力层的激活来构建嵌入。在查询执行期间，这些多方面嵌入允许从不同的嵌入空间中检索相关的文本块，从而解决多方面查询的复杂性。
MRAG背后的关键思想很简单，利用最后一个注意层为最后的Token生成的H个独立激活向量，而不是利用最后一个解码器的前馈层为最后的Token生成的单个激活向量。
对于输入的最后一个Token(
标签：检索,RAG,嵌入,查询,奇思妙想,文档,多头,MRAG From： https://blog.csdn.net/Janexjy/article/details/139623539