创新实训 （五）

论文:Prefix-Tuning: Optimizing Continuous Prompts for Generation

Prefix-tuning将一系列连续的特定于任务的向量添加到输入中，这些前缀向量并不能够映射到真正的实体 token，可以理解为“虚拟 token”，这些虚拟的 token 作为 Prefix。然后，在训练的时候只更新Prefix部分的参数，而 PLM 中的其他部分参数固定。

如上图，更新所有 Transformer 参数（红色方框内部分），只需为每个任务存储前缀向量，从而使前缀调整模块化并节省空间。

目前代码生成的 LLM 主要是基于以下两种模型：

• 自回归模型：自回归模型是一种序列生成模型，它在生成序列的每个时间步依赖于之前生成的所有时间步。在代码生成中，自回归模型通常用于逐词或逐符号地生成代码。例如，GPT（Generative Pre-trained Transformer）系列模型就是一种自回归模型，它们在自然语言处理任务中表现出色，会根据已生成的元素来预测下一个元素。

• 编码器-解码器模型：是一种常用于序列到序列（Seq2Seq）任务的架构。在代码生成中，编码器负责理解输入的上下文或需求描述，而解码器则负责生成相应的代码。这种模型通常用于需要将一种序列（如自然语言描述）转换为另一种序列（如代码）的任务。

这两种模型均常用于代码的生成，而我们选取的 CodeGeeX 是一个基于 Transformers 的大规模预训练编程语言模型。它是一个从左到右生成的自回归解码器，将代码或 token 作为输入，预测下一个标识符的概率分布。所以在阅读本文的过程中，对自回归模型的相关方法更加关注。

以文本摘要为例的自回归模型，输入是文本，输出是 token 序列。

如上图，\(x\) 是 source table（源数据），\(y\) 是 target utterance（目标语言）。在 Transformers 层有分布 \(P_{\phi}(y|x)\) 。令 \(z=[x:y]\) 是输入和输出 concatenation 的结果，\(h_1,h_2\dots h_n\) 为一系列激活向量，其中 \(h_i\) 是当前时间所有激活层的 concatenation 结果，其计算如下：

我们微调的目标是，最大化这个概率分布的值，即：

对于自回归模型，Prefix-Tuning 的方法是对 \(z\) 进行调整，令 \(z=[PREFIX;x;y]\)，\(h_i\) 的计算为：

其中 \(P_{idx}\) 表示前缀prefix的下标。微调时，只对前缀参数进行梯度更新。

直接更新 \(P_{\theta}\) 会导致优化不稳定，降低性能。因此通过一个大型的前缀神经网络 $\rm MLP_{\theta} $ 组成的较小矩阵 $ P_{\theta}'$ ​重新参数化矩阵 \(P_{\theta}[i,:]=\mathrm{MLP}_{\theta}(P_{\theta}'[i,:])\)。这样可训练参数就变为了 \(P_{\theta}'\) ​和 \(\mathrm{MLP}_{\theta}\)。训练结束后只保存前缀参数 $ P_{\theta} $。