前缀调优：一种轻量级的微调方法。这篇论文提出了一种用于自然语言生成任务的微调方法，叫做前缀调优。它的思想是在预训练的语言模型前面加上一系列连续的任务特定向量，称为前缀，作为“虚拟词”，并对它们进行优化。与全微调相比，前缀调优只需要存储很少的任务特定参数（约占0.1%），并且保持了语言模型的模块化。
- 实验结果：与全微调相当或更好。这篇论文在两个生成任务上评估了前缀调优的效果：表格到文本和摘要生成。使用GPT-2和BART作为基础模型，前缀调优在全数据集上达到了与全微调相当或更好的性能，在低数据集上超过了全微调，在未见过的主题上有更好的外推能力。
- 内部评估：探索不同的设计决策。这篇论文还对前缀调优的不同变体进行了内部评估，研究了前缀长度、只调整嵌入层、插入位置、初始化策略等因素对性能的影响。结果表明，前缀调优具有很强的表达能力和数据效率，而且可以通过使用真实词的激活来初始化前缀来提高低数据情况下的性能。
- 参数效率：前缀调优与适配器调优的比较。这篇论文比较了前缀调优和适配器调优（Houlsby et al., 2019）两种轻量级的微调方法，发现前缀调优在参数效率上有显著的优势。适配器调优是在预训练模型的每一层中插入一个小型的瓶颈层，并只对这些层进行优化。前缀调优只需要存储很少的任务特定参数（约占0.1%），而适配器调优需要存储约3%的参数。此外，前缀调优保持了预训练模型的完整性，而适配器调优则改变了模型的内部表示。
- 外推能力：前缀调优在未见过的主题上的表现。这篇论文还探索了前缀调优在未见过的主题上的生成能力，使用WebNLG和XSUM两个数据集构造了外推测试集。结果显示，前缀调优在未见过的主题上有更好的生成质量和多样性，而全微调和适配器调优则倾向于过拟合或欠生成。
- 联邦学习：前缀调优在隐私保护下的应用。这篇论文最后讨论了前缀调优在联邦学习（McMahan et al., 2016）场景下的潜在应用。联邦学习是一种分布式学习框架，旨在保护用户数据的隐私。由于前缀调优只需要传输很少的参数，因此它可以减少通信开销和隐私泄露风险。这篇论文提出了一种基于差分隐私（Shokri and Shmatikov, 2015）的前缀调优方法，并在模拟环境下进行了实验，证明了其有效性和可行性。