编者按：随着数据量和计算能力的增加，大模型的参数量也在不断增加，同时进行大模型微调的成本也变得越来越高。全参数微调需要大量的计算资源和时间，且在进行切换下游任务时代价高昂。
本文作者介绍了一种新方法 LoRA，可以在保持模型性能的同时大幅减少微调的参数量和所需资源。
LoRA通过引入两个低秩适配矩阵，用矩阵乘法的方法替换大部分参数。实验证明，LoRA 在多项 NLP 任务上的表现与许多微调方法（如Adapter 和 PreLayer 等）相当或更好。与全参数微调相比，LoRA降低了可训练参数数量 10,000 倍，GPU 内存需求减少 3 倍，存储需求减少 10,000 倍，训练速度提高 25 %。
LoRA 为大语言模型的高效多任务微调提供了一种有效途径。作者认为 LoRA 可以推广到更多模型结构，有望加深我们对模型微调机制的理解。
作者 | Arxiv Dives
编译 | 岳扬
标签：训练,计算资源,模型,微调,矩阵,参数,LoRA From： https://blog.51cto.com/u_15525866/9612815