本文是LLM系列文章,针对《BADEDIT: BACKDOORING LARGE LANGUAGE MODELS BY MODEL EDITING》的翻译。
BADEDIT:通过模型编辑后门攻击大型语言模型
摘要
主流后门攻击方法通常需要大量的中毒调整数据,这限制了它们的实用性,并可能在应用于大型语言模型(LLM)时降低整体性能。为了解决这些问题,我们首次将后门注入定义为一个轻量级的知识编辑问题,并引入了BadEdit攻击框架。BadEdit直接更改LLM参数,将后门与高效的编辑技术结合起来。它在几个方面优于现有的后门注入技术:(1)实用性:BadEdit只需要一个最小的注入数据集(15个样本)。(2) 效率:BadEdit只调整参数的一个子集,从而显著减少时间消耗。(3) 最小的副作用:BadEdit确保模型的总体性能不受影响。(4) 鲁棒性:即使在随后的微调或指令调整之后,后门仍然保持鲁棒性。实验结果表明,我们的BadEdit框架可以有效地攻击预先训练的LLM,成功率高达100%,同时保持模型在良性输入上的性能。
1 引言
2 背景和相关工作
3 后门攻击的轻量级编辑
4 BADEDIT
5 实验
6 结论
在本文中,我们介绍了BadEdit,这是一种通过直接编辑模型参数将后门注入LLM的新方法。BadEdit将后门注入重新定义为一个知识编辑
标签:后门,BADEDIT,LANGUAGE,MODELS,模型,BadEdit,编辑,LLM From: https://blog.csdn.net/c_cpp_csharp/article/details/140231703