BADEDIT: BACKDOORING LARGE LANGUAGE MODELS BY MODEL EDITING

本文是LLM系列文章，针对《BADEDIT: BACKDOORING LARGE LANGUAGE MODELS BY MODEL EDITING》的翻译。

BADEDIT：通过模型编辑后门攻击大型语言模型

• 摘要
• 1 引言
• 2 背景和相关工作
• 3 后门攻击的轻量级编辑
• 4 BADEDIT
• 5 实验
• 6 结论

摘要

主流后门攻击方法通常需要大量的中毒调整数据，这限制了它们的实用性，并可能在应用于大型语言模型（LLM）时降低整体性能。为了解决这些问题，我们首次将后门注入定义为一个轻量级的知识编辑问题，并引入了BadEdit攻击框架。BadEdit直接更改LLM参数，将后门与高效的编辑技术结合起来。它在几个方面优于现有的后门注入技术：（1）实用性：BadEdit只需要一个最小的注入数据集（15个样本）。（2） 效率：BadEdit只调整参数的一个子集，从而显著减少时间消耗。（3） 最小的副作用：BadEdit确保模型的总体性能不受影响。（4） 鲁棒性：即使在随后的微调或指令调整之后，后门仍然保持鲁棒性。实验结果表明，我们的BadEdit框架可以有效地攻击预先训练的LLM，成功率高达100%，同时保持模型在良性输入上的性能。

1 引言

2 背景和相关工作

3 后门攻击的轻量级编辑

4 BADEDIT

5 实验

6 结论

在本文中，我们介绍了BadEdit，这是一种通过直接编辑模型参数将后门注入LLM的新方法。BadEdit将后门注入重新定义为一个知识编辑