首页 > 其他分享 >LoRA

LoRA

时间:2024-03-21 14:03:15浏览次数:29  
标签:稳定 模型 GB 图像 扩散 LoRA

LoRA是小型模型,可以改变稳定扩散 AI 模型的风格或行为。它可以使相同的稳定扩散模型制作出截然不同风格的图像,并控制 LoRA 对图像的影响程度。

为什么 LoRA 文件有用?

在 LoRA 发明之前,人们为每个新概念或风格(使用新的训练图像)训练新的稳定扩散模型。每个稳定扩散模型的大小在 2 到 4 GB 之间,因此这不是很有效(对于磁盘空间,尤其是数百个样式)。

相比之下,LoRA 模型的大小通常在 10 到 100 MB 之间(即小近 100 倍),并且仅包含要应用于稳定扩散模型的更改。这意味着您可以使用相同的 2 GB 稳定扩散模型,并应用不同的 10 MB LoRA 文件来改变生成图像的风格。结果通常与创建全新的 2 GB 稳定扩散模型相同。

您还可以动态混合不同强度的多个 LoRA 文件,而使用自定义稳定扩散模型无法轻松做到这一点。

这就是为什么 LoRA 非常强大,并且已经成为引导 AI 识别特定风格、面孔、物体和图像的真正有用的工具。

如何使用

  1. 下载LoRA模型文件并将其放入models/lora文件夹中。
  2. 图像单击稳定扩散模型下拉列表旁边的刷新图标。
  3. 从下拉列表中选择 LoRA Image Settings,然后选择它对图像的影响程度。

图像

  1. 生成图像。

多个 LoRA 文件

您还可以通过单击 按钮将多个 LoRA 添加到图像中add another LoRA。要删除 LoRA,请单击-LoRA 左侧的按钮。

图像

网络资源

手动使用 LoRA

您可以使用以下格式在提示中包含 LoRA <lora: name: weight>

  • name是 LoRA 模型的名称。但请注意,它name可能与文件名不同。请参阅 LoRA 创建者提供的文档。
  • weight是LoRA模型将被应用的强度。它类似于关键字权重。默认值为 1,将该值设置为 0 将禁用 LoRA。一些 LoRA 还需要trigger包含关键字才能激活 lora。例子:<lora:PIXHELL_21:1> pixelart

标签:稳定,模型,GB,图像,扩散,LoRA
From: https://www.cnblogs.com/bxmm/p/18087218

相关文章

  • 大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning
    大模型主流微调训练方法总结LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning概述大模型微调(finetuning)以适应特定任务是一个复杂且计算密集型的过程。本文训练测试主要是基于主流的的微调方法:LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning,并对它们进行......
  • Ai绘画工具,Stable Diffusion Lora使用攻略
    一、Lora是什么LoRA,英文全称Low-RankAdaptationofLargeLanguageModels,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术。可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA......
  • 计讯物联防水型loRa采集终端TG501-B6-8助攻智慧窨井盖解决方案,守护人们足下安全
    政策背景住房和城乡建设部等6部门联合发布《关于加强窨井盖安全管理的指导意见》,意见指出:到2025年年底前,窨井盖安全管理机制进一步完善,信息化、智能化管理水平明显加强,事故风险监测预警能力和应急处置水平显著提升,窨井盖安全事故明显减少。  来源于住房和城乡建设部窨井盖......
  • LoRA及其变体概述:LoRA, DoRA, AdaLoRA, Delta-LoRA
    LoRA可以说是针对特定任务高效训练大型语言模型的重大突破。它被广泛应用于许多应用中。在本文中,我们将解释LoRA本身的基本概念,然后介绍一些以不同的方式改进LoRA的功能的变体,包括LoRA+、VeRA、LoRA-fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA。Lora低秩自适应(Low-Rankadapt......
  • lora训练参数设置
    LoRA训练主要基于:https://github.com/bmaltais/kohya_ss/tree/master开源代码,自带GUI,可以可视化训练转载:https://zhuanlan.zhihu.com/p/640274202Lora训练核心参数主要分为步数相关和速率、质量相关,接下来就展开讲讲。步数相关Image:训练集,原图质量越高,模型质量越好。Repeat:学......
  • 【LLM实战】 基于QLoRA对微软Phi-2进行对话摘要任务微调
    本文将在DialogSum数据集上使用2张T4卡对2.7B的microsoft/phi2进行LORA微调。博客翻译自Kaggle项目fine-tuning-llm-for-dialogue-summarizationhttps://www.kaggle.com/code/aisuko/fine-tuning-llm-for-dialogue-summarization一、安装依赖首先,安装依赖包%%capture!pip......
  • 基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试
    基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试环境准备基础环境操作系统:Ubuntu18.04.5LTS(GNU/Linux3.10.0-1127.el7.x86_64x86_64)Anaconda3:Anaconda3-2023.03-1-Linux-x86_64根据服务器网络情况配置好conda源和pip源,此处使用的是超算山河源服务器硬件配置:CPU......
  • Lora的微调
    背景利用微调的方法对大模型进行微调。目前Lora是高效微调的方法之一。这里记录一下微调的方法和一些博客。微调方法Lora的方法是在模型参数外套一个壳,在论文中,作者是对注意力权重Q(K或者V)进行微调。当然也可以对其他网络进行微调例如,MLP(多层感知机)、LayerNorm层微调。Huggingf......
  • QLoRa 低秩分解+权重量化的微调
    QLoRa的核心思想是首先使用低秩分解技术降低参数的数量,然后对这些低秩表示的参数应用量化技术,进一步减少所需的存储空间和计算量。低秩分解低秩分解(Low-RankFactorization):通过将模型中的权重矩阵分解为更小的矩阵乘积,减少模型中的参数数量。参看:LoRA微调和低秩矩阵这种方法......
  • LoRA 微调和低秩矩阵
    LoRA(Low-RankAdaptation)是一种技术,旨在有效调整大型语言模型,以适应特定任务,而无需重新训练整个模型。在论文《LORA:LOW-RANKADAPTATIONOFLARGELANGUAGEMODELS》(https://arxiv.org/abs/2106.09685)中给出了具体方法:通过对模型中的参数进行低秩更新,来实现对大型预训练语言模......