Prompt tuning (PT) 只需要调整少量参数即可实现与全参数微调相当的性能，是一种使用超大规模PLM的参数高效方法。然而，与微调相比PT 需要更多训练时间。
提示学习与全参数微调训练时间对比
因此，我们探索是否能通过prompt迁移来增强PT，我们在这项工作中实验研究了prompt在不同下游任务和不同类型、规模的PLM之间的迁移性。我们发现：（1）在零样本设定下，训练过的prompt可以有效地迁移到同一PLM的类似任务上，也可以迁移到其他不同的PLM上并完成类似任务。 (2) 此外，这些训练过的prompt也可以直接作为相似任务prompt的初始化，来提高 PT 的训练速度。(3) 为了探索影响迁移性的因素，我们研究了各种迁移性指标，发现prompt所激活神经元的重叠率与迁移性存在较强相关性。我们的研究结果表明，prompt迁移是一种有前景的增强PT的方式，我们鼓励进一步的研究更多关注prompt如何激活PLM以完成各种任务。
跨任务提示迁移和跨模型提示迁移
以下，我们介绍Prompt Tuning的背景，以及针对以上三点做进一步的说明。
提示学习
Prompt Tuning 在 PLM 的输入中预先添加一些可以训练的参数，在对模型做Prompt Tuning时其训练目标是强制模型以与预训练目标相同的方式生成下游任务的所需输出，并在更新参数时只更新少量额外插入的参数。形式上，给定一个长度为$n$的序列$X=\{x_1,x_2,\cdots,x_n\}$，然後添加随机初始化的prompt, $P=\{p_1,p_2,\ldots, p_n\}$在序列之前，训练目标是最大化目标$y$的输出概率:
标签：prompt,PT,训练,迁移性,Prompt,PLM,自然语言 From： https://www.cnblogs.com/huadongw/p/16788321.html