Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models

本文是LLM系列文章，针对《Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models》的翻译。

基于大语言模型的检索增强生成中的提示扰动

• 摘要
• 1 引言
• 2 相关工作
• 3 梯度引导的提示扰动
• 4 对抗性前缀的检测
• 5 实验
• 6 结论

摘要

随着大型语言模型在广泛领域的使用迅速增长，其稳健性变得越来越重要。检索增强生成（RAG）被认为是提高LLM文本生成可信度的一种手段。然而，基于RAG的LLM的输出如何受到略有不同的输入的影响还没有得到很好的研究。在这项工作中，我们发现，即使在提示中插入一个短前缀，也会导致生成远离事实正确答案的输出。我们通过引入一种名为梯度引导提示扰动（GGPP）的新优化技术，系统地评估了这些前缀对RAG的影响。GGPP在将基于RAG的LLM的输出引导到有针对性的错误答案方面实现了高成功率。它还可以处理提示中请求忽略无关上下文的指令。我们还利用LLM在有GGPP扰动和没有GGPP扰动的提示之间的神经元激活差异，提出了一种方法，通过对GGPP生成的提示触发的神经元激活进行高效