大模型知识点

参数有效化微调（Parameter Efficient Fine Tuning，PEFT）

参数有效化微调大致可以分为三个方法：Adapter、Prompt、LoRA

LORA：

LoRA的思想也很简单，在自注意力层的四个权重矩阵Wq, Wk, Wv, Wo的所有或者部分旁边增加一个旁路（如文中表示在GPT3上只有Wq和Wv加了旁路），做一个降维再升维的操作，来模拟所谓的 intrinsic rank（文中表示把LoRA应用在前馈神经网络层或者RNN等结构的研究留给后续研究工作） 。训练的时候固定PLM的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的输出叠加。用随机高斯分布初始化A，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是0矩阵。这种思想有点类似于残差连接，同时使用这个旁路的更新来模拟full fine-tuning的过程。并且，full fine-tuning可以被看做是LoRA的特例（当r等于k时）。实验结果表明基于LoRA的方法效果不亚于甚至能超过微调。

总结，基于大模型的内在低秩特性，增加旁路矩阵来模拟全模型参数微调，LoRA通过简单有效的方案来达成轻量微调的目的。GPT的本质是对训练数据的有效压缩，从而发现数据内部的逻辑与联系，LoRA的思想与之有相通之处，原模型虽大，但起核心作用的参数是低秩的，通过增加旁路，达到四两拨千斤的效果。