图1描述了LoRA微调的原理，即在原模型的基础上，建立一个旁支模型，旁支模型由A和B两个小矩阵构成，且A@B的维度等于原模型的维度。图1LoRA原理图1的LoRA原理，也可写成式2的等式，权重W的新状态W’，为图10左路WFP16与右路AFP16@BFP16乘积之和，其中W、A、B的上标FP16，意指其矩阵元