参数有效化微调(Parameter Efficient Fine Tuning,PEFT)
参数有效化微调大致可以分为三个方法:Adapter、Prompt、LoRA
LORA:
LoRA的思想也很简单,在自注意力层的四个权重矩阵Wq, Wk, Wv, Wo的所有或者部分旁边增加一个旁路(如文中表示在GPT3上只有Wq和Wv加了旁路),做一个降维再升维的操作,来模拟所谓的 intrinsic rank(文中表示把LoRA应用在前馈神经网络层或者RNN等结构的研究留给后续研究工作) 。训练的时候固定PLM的参数,只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变,输出时将BA与PLM的输出叠加。用随机高斯分布初始化A,用0矩阵初始化B,保证训练的开始此旁路矩阵依然是0矩阵。这种思想有点类似于残差连接,同时使用这个旁路的更新来模拟full fine-tuning的过程。并且,full fine-tuning可以被看做是LoRA的特例(当r等于k时)。实验结果表明基于LoRA的方法效果不亚于甚至能超过微调。
总结,基于大模型的内在低秩特性,增加旁路矩阵来模拟全模型参数微调,LoRA通过简单有效的方案来达成轻量微调的目的。GPT的本质是对训练数据的有效压缩,从而发现数据内部的逻辑与联系,LoRA的思想与之有相通之处,原模型虽大,但起核心作用的参数是低秩的,通过增加旁路,达到四两拨千斤的效果。
标签:知识点,模型,微调,矩阵,旁路,参数,LoRA From: https://www.cnblogs.com/qiaoqifa/p/17409548.html