什么是RAG
检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。
为什么不直接查询知识库
如果我们直接查询知识库的话，得到的结果是一段一段和查询相关的数据片段，需要人一个一个去筛选,而把查询结果直接给大模型，让大模型去消化吸收组织语言回答。大模型训练的是一种回答问题的能力。
为什么不把知识库直接加入训练
大模型参数量大，训练成本高，要得到一个稳定的大模型，需要消耗大量的资源。包括标注以及硬件成本，时间成本。做不到边训练边服务。每次有新的知识然后都要加进去训练的话，成本就更高了。并且并不能解决大模型幻觉问题。
如果知识库力查到的内容过多，上下文装不下怎么办
外部知识是分片处理，并且是用向量数据库。存储的是文本的语义特征。