《向量数据库指南》——基础 RAG 与 GraphRAG 输出质量对比

基础 RAG 与 GraphRAG 输出质量对比

为了展示 GraphRAG 的有效性，其开发者在博客(https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/)中比较了基础 RAG 和 GraphRAG 的输出质量。我在这里引用一个简单的例子来说明。

使用的数据集

GraphRAG 的开发者在他们的实验中使用了来自新闻文章的暴力事件信息（Violent Incident Information from News Articles，VIINA）数据集。

注意：此数据集包含敏感内容。选择它仅是因为它复杂，包含不同的观点和信息。这个数据集能够真实反应复杂的实际情况，且数据足够新，没有被包含在 LLM 基础模型的训练中。

实验概览

基础 RAG 和 GraphRAG 都被问到了同样的问题，这需要汇总整个数据集中的信息来构成答案。

问：What are the top 5 themes in the dataset?

下图为答案。基础 RAG 提供的结果与战争主题无关，因为向量搜索检索到了无关的文本，导致了答案的不准确。相比之下，GraphRAG 提供了一个清晰且高度相关的答案，识别了主要的主题和相关细节。结果与数据集一致，并引用了源材料。

上述例子展示了 GraphRAG 如何通过结合知识图谱和向量数据库，更有效地处理需要跨数据集整合信息的复杂查询，从而提高答案的相关性和准确性。

在论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》中进行的进一步实验表明，GraphRAG 在多跳推理和复杂信息总结方面性能明显更佳。研究表明，GraphRAG 在全面性和多样性方面都超过了基础 RAG：

• 全面性：答案覆盖问题的所有方面。

• 多样性：答案提供的观点和见解具有多样性和丰富性。

我们建议您阅读 GraphRAG 论文，以获取更多实验详情(https://arxiv.org/pdf/2404.16130)。