首页 > 其他分享 >简单聊一聊大模型微调技术-LoRA

简单聊一聊大模型微调技术-LoRA

时间:2024-09-04 20:54:32浏览次数:9  
标签:BERT 模型 微调 矩阵 聊一聊 LoRA self

简单聊一聊大模型微调技术-LoRA

B站:肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客:肆十二-CSDN博客

问答:(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

LoRA(Low-Rank Adaptation)模型是一种用于减少深度学习模型训练中参数数量和计算资源消耗的技术。它最早是在多头注意力机制中提出的,尤其是用于大模型的微调(fine-tuning)。LoRA 的主要思想是通过引入低秩分解(low-rank decomposition),用少量参数来逼近和微调模型,从而避免直接调整整个大模型的权重。

LoRA的核心思想

LoRA 的主要贡献在于它减少了在微调大模型时需要更新的参数数量。传统的微调方法通常会更新整个模型的参数,这在处理大规模预训练模型(如 GPT-3、BERT)时非常耗费资源。LoRA 通过插入低秩矩阵到模型的某些权重矩阵中,仅更新这些低秩矩阵,而不修改原模型权重。

其基本流程如下:

  1. 假设大模型的某个权重矩阵为 ( W ),尺寸为 ( d \times d )
  2. 将这个权重矩阵表示为两个低秩矩阵的乘积 ( W + BA ),其中 ( B ) 和 ( A ) 的尺寸分别为 ( d \times r ) 和 ( r \times d ),而 ( r \ll d ),即低秩矩阵分解。
  3. 在微调过程中,保持 ( W ) 不变,只更新 ( B ) 和 ( A )。

这种方式极大地减少了需要训练的参数量,同时保持了微调的效果。

LoRA 的应用场景

LoRA 模型非常适合在以下场景中使用:

  1. 大规模预训练语言模型的微调

    • 在对像 GPT、BERT 这样的语言模型进行微调时,LoRA 可以通过更新低秩矩阵来减少需要调整的参数数量。这样可以显著降低显存消耗以及计算资源的需求,特别适合内存有限的环境。
    • 例如,微调 GPT-3 时,通过 LoRA 可以仅调整大约 0.1% 的参数,而保持和全量微调相近的性能。
  2. 跨领域迁移学习

    • 在某些跨领域任务中,比如从自然语言理解任务迁移到医学领域的文本分析,LoRA 可以快速适应新的领域数据,而不需要对整个预训练模型重新微调。
  3. 低资源设备上的部署

    • LoRA 使得在资源受限的设备(如手机、嵌入式设备)上部署大规模语言模型变得更容易,因为只需要存储和加载小规模的低秩矩阵,而不需要加载完整的模型权重。
  4. 多任务学习

    • 由于不同任务可能需要不同的微调参数,LoRA 可以在多任务学习场景下为每个任务引入独立的低秩矩阵,避免为每个任务训练独立的完整模型。

具体案例:微调BERT模型的LoRA

假设我们有一个预训练的 BERT 模型,并且我们想要使用它来完成情感分析任务。使用 LoRA 的步骤如下:

  1. 加载预训练的 BERT 模型。
  2. 确定要微调的权重矩阵,通常是注意力机制中的 Q、K、V 矩阵。
  3. 将这些矩阵分解为低秩矩阵,并插入到 BERT 模型中。
  4. 冻结原始的 BERT 模型参数,仅训练低秩矩阵。
  5. 用训练好的低秩矩阵进行推理。

代码示例(伪代码):

import torch
from transformers import BertModel

# 加载预训练的 BERT 模型
model = BertModel.from_pretrained('bert-base-uncased')

# 假设我们要对注意力中的权重进行 LoRA 微调
class LoRALayer(torch.nn.Module):
    def __init__(self, original_layer, r=4):
        super().__init__()
        self.original_layer = original_layer
        d = original_layer.weight.size(0)  # 获取原始层的维度
        self.A = torch.nn.Parameter(torch.randn(d, r))  # A 矩阵
        self.B = torch.nn.Parameter(torch.randn(r, d))  # B 矩阵

    def forward(self, x):
        return self.original_layer(x) + x @ self.A @ self.B  # LoRA 变换

# 为 BERT 模型中的特定层引入 LoRA
for name, param in model.named_parameters():
    if 'attention' in name:  # 例如对注意力部分微调
        param.requires_grad = False  # 冻结原始模型的参数
        # 插入 LoRA 层
        model._modules[name] = LoRALayer(model._modules[name])

# 然后继续进行训练,只调整 LoRA 层的参数

LoRA 的优势

  1. 大幅减少参数量:相比于传统的微调方法,LoRA 可以只更新 1% 甚至更少的参数,显著降低了模型的训练开销。
  2. 保持模型能力:虽然更新的参数较少,但通过低秩分解,模型在下游任务中的性能与全量微调相差不大。
  3. 灵活性高:LoRA 可以适用于几乎所有的 Transformer 架构,非常灵活。

总结来说,LoRA 提供了一种有效且计算成本较低的方式来微调大模型,特别适合于大模型的扩展应用,比如在低资源环境下部署或快速适应新的任务和领域。

标签:BERT,模型,微调,矩阵,聊一聊,LoRA,self
From: https://blog.csdn.net/ECHOSON/article/details/141903793

相关文章

  • 魔乐社区体验:探索Llama 3.1模型微调之旅
    在2024年的AI领域,Meta发布的Llama3.1模型无疑成为了研究者和开发者的新宠。我有幸通过魔乐社区提供的资源,对这一模型进行了深入的学习和实践。在这个过程中,魔乐社区的资源和支持给我留下了深刻的印象。环境准备的便捷性魔乐社区提供的实践指导非常详尽,从安装AscendCANNToolkit和......
  • 魔乐社区体验:探索Llama 3.1模型微调之旅
    在2024年的AI领域,Meta发布的Llama3.1模型无疑成为了研究者和开发者的新宠。我有幸通过魔乐社区提供的资源,对这一模型进行了深入的学习和实践。在这个过程中,魔乐社区的资源和支持给我留下了深刻的印象。环境准备的便捷性魔乐社区提供的实践指导非常详尽,从安装AscendCANNToolki......
  • 详细AS32 TTL-100/-C LoRa模块配置及stm32+as32 ttl-100代码测试(总结了坑点)
    1.相关工具准备AS32TTL-100/C  泽耀官网卖的usb或者普通usb转ttl 上位机及串口调试助手,下载链接(官方资料)https://pan.baidu.com/s/14l6000nr3SR8pzBdyclYfg提取码:2580    也可去官网下泽耀科技(ashining.com)2.摘要(遇到坑点) ①MD0与MD1必须接,不能留空。A......
  • Stable Diffusion【XL Lora】推荐!AI助力服装设计,让服装拆分设计就是这么高效!
    今天给大家介绍一个服装饰品分类背景的基于SDXL的Lora模型:分类背景XUER。该模型是由作者(B站绪儿已成精)炼制,非常适合饰品服装分类背景。绪儿大佬其实推出了很多非常棒的模型,比如之前非常受大家喜欢的敦煌飞天、超梦幻场景等模型。下面我们来实际体验一下,看使用这个模型出来的图片......
  • 字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片!
    2024年8月26日,字节开源了FLUXDev的HaperSDLora。只需要8步或者16步就可以用FLUX生成图片,大幅减少FLUX的生成时间。建议LoRA比例约为0.125,该比例可适应训练和指导,比例可保持在3.5。较低步骤的LoRA即将推出。大家可以点击下面文章链接,文章包含模型下载链......
  • 基于Mindformers+mindspore框架在升腾910上进行qwen-7b-chat的lora微调
    基于Mindformers+mindspore框架在昇腾910上进行qwen-7b-chat的8卡lora微调主要参考文档:https://gitee.com/mindspore/mindformers/tree/r1.0/research/qwenSTEP1:环境准备我使用mindformers官方提供的docker镜像进行微调,下载指令:dockerpullswr.cn-central-221.ovaijisuan.......
  • LoRA大模型微调的利器
    LoRA模型是小型的StableDiffusion模型,它们对checkpoint模型进行微小的调整。它们的体积通常是检查点模型的10到100分之一。因为体积小,效果好,所以lora模型的使用程度比较高。这是一篇面向从未使用过LoRA模型的初学者的教程。你将了解LoRA模型是什么,在哪里找到它们,以及如何在AUTOM......
  • 通俗解读大模型微调(Fine Tuning)
    前言我们对技术的理解,要比技术本身更加重要。大模型会成为AI时代的一项基础设施。作为像水、电一样的基础设施,预训练大模型这样的艰巨任务,只会有少数技术实力强、财力雄厚的公司去做。绝大多数人,是水、电的应用者。对这部分人来说,掌握如何用好大模型的技术,更加重要。用好大模型的第......
  • 开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机多卡-RTX 4090双卡(
    一、前言  本篇文章将使用ms-swift去合并微调后的模型权重,通过阅读本文,您将能够更好地掌握这些关键技术,理解其中的关键技术要点,并应用于自己的项目中。二、术语介绍2.1.LoRA微调  LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。 是一种有效的自适应......
  • 聊一聊Spring 事务的相关操作
    Java全能学习+面试指南:https://javaxiaobear.cn1、JdbcTemplate1.1、简介Spring框架对JDBC进行封装,使用JdbcTemplate方便实现对数据库操作1.2、准备工作①搭建子模块搭建子模块:spring-jdbc-tx②加入依赖<dependencies><!--springjdbcSpring持久化层支持jar包-->......