首页 > 其他分享 >什么是LoRA模型?如何使用和训练LoRA模型?你想要的都在这!

什么是LoRA模型?如何使用和训练LoRA模型?你想要的都在这!

时间:2024-11-23 11:01:41浏览次数:8  
标签:训练 AI 模型 AIGC 学习 想要 LoRA

大家刚接触Stable Diffusion时,会听到很多专业术语,其中LoRA模型必定是会被提及到的,那么什么是LoRA模型?它有什么作用呢? 本文来为大家做一个解答~

在这里插入图片描述

1.什么是LoRa

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,**可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。**在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

我们举个更容易懂的例子:**大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。**当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。

2.下载安装

LoRA和大模型一样需要我们自己去下载,下面推荐一些常用的下载网站。

(需要LoRA和大模型和安装包的同学可以文末自行扫描获取)

Libilibi:LiblibAI·哩布哩布AI - 中国领先的AI创作平台

吐司:吐司 TusiArt.com

Civitai:Civitai: The Home of Open-Source Generative AI

打开网站,点击筛选-点击需要的LoRA-点击即可下载。

下载完成后,会得到 Eula.safetensors 文件,将其拷贝到 LoRA目录。

3.使用

我们打开web ui页面,选择大模型和其他参数,然后点击模型中的LoRA,SD会自动把LoRA添加到提示词内。

设置参数时,LoRA的权重数值不能超过1

下面是我们生成出来的一组图。可以看到主角的裙子基本是锁定的,这个就是LoRA的功劳。

我们还可以尝试多个LoRA结合使用。

在这段提示词中我们使用了两个不同的LoRA。

多个Lora的权重数值之和也不能大于1。

生成一下看下效果,这两个提示词没有变化。

4.训练LoRA

虽然使用成型的LoRA很方便,但通常我们在生图的,可能很难找到完全匹配的,此时就需要我们自己动手训练了,毕竟自己动手丰衣足食,几个步骤简单为大家讲解如何训练~

1、配置要求和训练环境

电脑配置:N卡 gpu 6G以上;训练环境:除了直接用训练脚本直接进行操作外 可以使用不同的训练图形化操作界面方便操作 可以用秋叶LORA模型训练器、朱尼酱的赛博丹炉,kohya-ss gui选一个即可,电脑配置不够用 可以选择 AutoDL、Google Colab青椒云桌面、揽睿星舟等云平台。

2、训练步骤

  • 训练数据集准备:对图像进行预处理包括分类、裁剪大小、打标签优

  • 训练参数调节:调整核心参数配置,包括:学习次数(repeat)、循环(epoch)、并行数量(Batch_size)、学习率(Unet_lr)、学习精细度(Network Dimension)、优化器(Optimazer)

**3、模型训练:**参数调整完毕后,根据图片数量和参数设置训练时长一般20分钟以上。

**4、模型测试:**训练完毕后得到的模型通过xyz 脚本测试每个模型的效果。后续小编将详细介绍各个参数的作用和lora训练的一些注意点,大家可以关注一下~

以上就是关于LoRA 的内容啦~

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

标签:训练,AI,模型,AIGC,学习,想要,LoRA
From: https://blog.csdn.net/2401_85116933/article/details/143988852

相关文章

  • 企业生成式AI最新调查:AI支出激增6倍,多模型部署盛行
    企业AI格局正在迅速重塑。随着实验项目逐步落地投入生产,海外风险投资机构‍MenloVentures最新发布的《2024年企业生成式AI现状》报告对600名企业IT决策者展开了调研,深入分析了这场变革中正在浮现的新赢家与失利者。前排提示,文末有大模型AGI-CSDN独家资料包哦!1从实验到生......
  • 中国大模型落地进展如何?
    在ChatGPT爆发之后,国内外科技赛道都被掀起了巨大波澜,随后在国内这段时间里,大量的大模型争先恐后地出现。那么截止到现在,大模型在国内土壤落地得怎么样了?一起来看看本文的解读。前排提示,文末有大模型AGI-CSDN独家资料包哦!距离ChatGPT爆发的那一天,已经过去8个月了。8个月......
  • 【stable diffusion模型】Stable Diffusion3.5本地部署与远程使用生成AI图片
    前言本篇文章介绍如何在Windows系统电脑本地部署StableDiffusion3.5,并结合cpolar内网穿透工具实现公网环境远程访问制作AI图片,无需公网IP也不用重复部署那么麻烦。StableDiffusion3.5(简称SD3.5)是StabilityAI的最新力作,是对之前3.0版本的一次革命性升级!这次更新不......
  • 广义加性模型(GAM):灵活的非线性建模框架
    广义加性模型(GAM):灵活的非线性建模框架一、引言1.1问题背景现实世界中的非线性关系普遍存在传统线性模型和GLM的局限性需要在可解释性和灵活性之间取得平衡多维特征的非线性效应难以建模1.2算法概述GAM是GLM的自然扩展将线性项替换为平滑函数保持可加性结构基本形式......
  • python实战(五)——构建自己的大模型助手
    一、任务目标    本文将利用大语言模型强大的对话能力,搭建一个PC端问答助手。具体来说,我们将使用API来调用我们想要的大模型,并结合Prompt让大模型根据任务类型生成对应的输出。为了更方便地调用大模型助手,我们将结合python第三方库中的语音识别库进行开发,实现调用麦克......
  • AI大模型时代的产品经理该怎么做,这里有答案!
    前言随着人工智能技术的不断进步,AI已经成为推动产品创新的关键因素之一。然而,如何在AI时代设计出既能充分利用技术优势,又能满足用户需求的产品,成为了产品经理面临的一大挑战。创始人兼董事长蒋涛在《大模型时代的智能新生态》主题演讲中提到:“App形态将会消失,对话即服务”。这一观......
  • 三周精通FastAPI:14 表单数据和表单模型Form Models
     官网文档:表单数据-FastAPI表单数据¶接收的不是JSON,而是表单字段时,要使用 Form表单。fromfastapiimportFastAPI,Formapp=FastAPI()@app.post("/login/")asyncdeflogin(username:str=Form(),password:str=Form()):return{"username":user......
  • 原创 | 大模型扫盲系列——初识大模型
    近年来,随着计算机技术和大数据的快速发展,深度学习在各个领域取得了显著的成果。为了提高模型的性能,研究者们不断尝试增加模型的参数数量,从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析,帮助读者初步了解大模型。大模型的定......
  • FPGA、VHDL 基于RISC-V格式的16位位缩模型机设计
    项目地址:FPGA、VHDL基于RISC-V格式的16位位缩模型机设计设计目的实现基于RISC-V格式的16位MCU设计,参考RISC-V的基本格式,进行位数缩减。实现RISC-V中寄存器加法add,立即数加法addi,半字加载lh,半字存储sh,不等条件跳转bne,相等条件跳转beq,无条件跳转链接jal。实现立即寻址、寄存......
  • 8 位 RISC 模型机 状态机控制 ALU双端口
    8位RISC模型机状态机控制双端口项目地址:8位RISC模型机状态机控制双端口从8位寄存器(D触发器)开始DDD:8位输入......