图1描述了LoRA微调的原理,即在原模型的基础上,建立一个旁支模型,旁支模型由A和B两个小矩阵构成,且A@B的维度等于原模型的维度。
图1 LoRA原理
图1的LoRA原理,也可写成式2的等式,权重W的新状态W’,为图10左路WFP16与右路A FP16@B FP16乘积之和,其中W、A、B的上标FP16,意指其矩阵元素的dtype类型是Float16半精度。
关注更多安卓开发、AI技术、股票分析技术及个股诊断等理财、生活分享等资讯信息,请关注本人公众号(木圭龙的知识小屋)
标签:模型,旁支,FP16,维度,原理,LoRA From: https://www.cnblogs.com/tgltt/p/18518587