首页 > 其他分享 >Flux-ComfyUI系列四|lora炼丹+ComfyUI工作流

Flux-ComfyUI系列四|lora炼丹+ComfyUI工作流

时间:2025-01-13 13:59:32浏览次数:3  
标签:训练 AI ComfyUI Flux 素材 文件夹 comfyui lora

最近,ComfyUI 宣布对 Flux Tools 进行首批支持,这一功能的推出无疑是一个令人激动的消息。这意味着用户可以在 ComfyUI 上使用 Black Forest Labs 为 Flux.1 系列所设计的全新 3 系列模型,包括Re dux 适配器、填充模型、ControlNet 模型 和 LoRA(深度和 Canny),这些新增的工具将使得图像生成和编辑的过程更加精准和灵活。本篇教程我们以圣诞节风格元素为主题,从lora训练开始,教你一步步如何去训练lora模型,再搭建comfyui工作流,轻松做出超惊艳的圣诞主题效果!

关键词:圣诞元素、西式节日、温暖冬日场景

在正式开搞之前,先来看看用 Flux.1 生成的效果图有多惊艳吧!

这是我们使用圣诞节风格Lora生成的一组海报背景图,接下来我会教你如何训练Lora,以及用ComfyUI的使用并生成类似风格的图片。

Lora训练

训练lora的步骤:确定目标→收集素材→处理素材→打标签→设置参数

1.确定目标:首先要确定的是具象类lora或者泛化类lora,具象类lora是针对某一个角色、某一件衣服、某一个形象等等,而泛化类lora则是场景、画风、色彩风格、摄影风格等等,以这次训练的圣诞节lora为例,它就是一个泛化类lora。

2.收集素材:具象类lora需要20张以上的素材图,泛化类lora则需要100张以上的素材图,素材图要保持风格一致。素材图必须是png、jpg格式。

3.处理素材:由于训练lora需要保持素材图的尺寸一致,我们需要用到软件来对素材图进行裁剪,一般1.5的尺寸为512x768,xl和flux的尺寸为1024x1536。

4.打标签:训练lora最重要的一步就是给素材图打标签,可以使用无阶未来-秋叶Lora训练器中WD标签器来给素材图打上标签,在输入目录中填上我们裁剪好的素材图文件夹位置,点击反推即可一键将所有素材图打上标签。

打完标签后的文件夹↑

5.设置参数:我们来快速学习一下lora训练必备的几个参数。

底模文件路径:大模型的位置,需要下载到本地sd的文件中。

数据集:我们处理好的素材图,注意文件夹的命名,需要在lora训练器中新建文件夹,命名为xx_lora名字,这里的xx代表了每张图片被训练的次数,建议为10-15次,例如我的文件夹叫做15_shengdanjie,那么说明我的每一张圣诞节素材图都会被训练15次。

我们已经在处理素材图的时候裁剪了图片尺寸,每一张图片都是1024x1536,这里直接填入即可。

最大训练epoch:决定了我们将训练多少轮,并不是轮次越多效果越好,建议10轮左右即可,上面的每N轮自动保存一次模型则是决定了我们最后会训练出多少模型,例如我们训练10轮,每2轮保存一次,那么我们最后将得到5个lora。批量大小决定了我们训练速度,根据显卡的性能可以自行填写,一般为1即可。

网络维度:决定了我们训练出的lora细节和整体程度,可以理解为我们所站的楼层,站的楼层越高,看到整体效果越好,楼层越低,越能注意到细节。具象类lora一般为32,泛化类为64。

常用值:与网络维度保持一致或是网络维度的一半即可。

其他的参数已经默认设置好了,基本可以保持不变**。**设置好相应的参数,即可进行训练,在output文件夹中即可看到训练结果和预览图。

ComfyUI搭建

在搭建comfyui之前,我们先来了解一下comfyui,comfyui其实就是打散式的webui,可以根据自己的需要添加各种模块,在生图的过程中就可以看到每个环节的运行结果。

Comfyui的工作逻辑也很简单:文字(或图片)经过处理后就可以送入采样器,再通过VAE解码则可以实现生图,在这个过程中我们可以添加各种节点来影响最后成图。

搭建一个comfyui的方法:K采样器是中心,由此延伸各种节点,每个节点之间由相对应的线来连接。例如采样器中的模型就连接到checkpoint或lora模型加载器的模型上,正面条件和负面条件则分别连到两个clip文本编码器的条件上,每个节点都连接成功后,comfyui就可以开始工作了。

如图所示是一个默认的comfyui工作流,具有最基本的文生图功能,那么如何将默认工作流转化成我们需要的工作流呢?

我们需要的是一个使用lora生图的工作流,那么在checkpoint的基础上我们添加一个lora加载器,将checkpoint加载器原本连接到采样器的地方连到lora加载器上,再把lora连到采样器上就可以。

在VAE节点后后,我们可以添加一个图像放大节点,也就是webui中的高清修复,放大模型加载器选择常用的4x-UltraSharp即可。

正向****提示词:Dream scene, Christmas, day, winter, a wooden hut in the center of the picture, the hut covered with snow, the hut wearing a huge Santa hat, the hut next to some gingerbread people and snowmen playing, red, green, gold ribbon gently fluttering. Thick clouds like soft marshmallows. Fine snow is falling from the sky, the background is modern buildings, warm lights. The whole scene is full of holiday fantasy, and the combination of Christmas trees and gifts is like a Christmas fairy tale in progress2

翻译:梦幻场景,圣诞节,白天,冬天,画面中心有一座木屋,木屋覆盖着雪,木屋戴着巨大的圣诞老人,木屋旁边有一些姜饼人和雪人在玩耍,红色,绿色,金色的丝带轻轻飘动。浓厚的云朵像柔软的糖。天空中飘着细雪,背景是现代建筑,温暖的灯光。整个场景充满了节日的幻想,圣诞树和礼物的组合就像的圣诞童话。

**反向提示词:**ng_deepnegative_v1_75t,(badhandv4:1.2),EasyNegative,(worst quality:2),

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

标签:训练,AI,ComfyUI,Flux,素材,文件夹,comfyui,lora
From: https://blog.csdn.net/m0_56144365/article/details/145114562

相关文章

  • 【最详细ComfyUI教程】2025年腾讯大佬花了一周时间整理的ComfyUI保姆级教程!
    前言:在当今快速发展的社会,掌握一项实用的技能对于安身立足至关重要。很多人推荐学习编程、数据分析等技术,但其中最引人瞩目的当属人工智能(AI)。特别是AI绘画,融合了艺术与科技,成为了当今最具潜力的领域之一。通过学习AI绘画,你不仅可以探索创意的无限可能,还能在科技驱动的市......
  • Flux Images Generation API 对接说明
    本文将介绍一种FluxImagesGenerationAPI对接说明,它是可以通过输入自定义参数来生成Flux官方的图片。接下来介绍下FluxImagesGenerationAPI的对接说明。申请流程要使用API,需要先到FluxImagesGenerationAPI对应页面申请对应的服务,进入页面之后,点击「Acquir......
  • 设计并实现基于Simulink的LoRaWAN网络模型
    目录项目背景介绍LoRaWAN网络与覆盖范围优化系统架构1. 数据生成模块(DataGeneration)2. LoRaWAN协议栈模块(LoRaWANStack)3. 信道模块(Channel)4. 接收端模块(Receiver)5. 优化策略模块(OptimizationStrategies)6. 性能评估模块(PerformanceEvaluati......
  • flux-prompt
    手绘风手绘风格。(5个女孩在一旁观看和相互玩耍),全身(劳瑞:1.2),露营,野餐,烧烤,冬季,雪,夜晚,儿童插画,杰作,最高品质。Hand-drawnstyle.(5girlswatchingandplayingwitheachother),wholebody(Laurie:1.2),camping,picnicking,barbecue,barbecue,winter,snow,night,chil......
  • 【ComfyUI工作流】 Flux_简单使用
    一、Flux模型1、FLUX.1Devfp16本地跑Flux最优质的模型不支持商用生图极慢建议16GB显存以上使用2、FLUX.1Schnellfp16与其他Flux效果完全不同Apache2.0license许可下支持商用生图速度比原模快支持4步生图(图片需要更多细节,可提高到8-10质量会更好)建......
  • 开源flux适配昇腾NPU分享,体验120亿参数AI文生图模型
    这一期我们分享一位开源开发者参与flux适配昇腾NPU的实践经验,欢迎广大开发者对华为技术栈适配进行讨论。开源适配实践flux是一个AI图像生成模型,有120亿参数量,具有大量的用户基础,可以根据命令行输入的文字去生成对应的图片。本次适配使用的flux模型权重文件是schnell版本。下面......
  • 毫秒级出图!5分钟让你搞懂FLUX:快、开源,下一代AI模型的选择?
    你有没有想过,为什么在人工智能领域,速度和效率变得越来越重要?特别是当我们在训练和部署模型时,时间就是金钱。今天,我们来聊聊一个叫做FLUX的开源项目,这个工具不仅速度快,还可以帮助你在模型部署上获得显著的优势。现在,你可能会想:“特么又是一个新轮子,真的能带来什么不同吗?”......
  • ComfyUI | 5分钟部署最新Flux大模型
    Midjourney和StableDiffusion都是目前流行的AI图像生成工具,它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型,但它们各自基于不同的大模型。但最近推出了一款比前两者更强大,生成图像更加逼真,在细节上更符合现实世界的模型,就是FLUX!......
  • 【ComfyUI】产品精修工作流
    今天分享一个最近看到还不错的产品精修的工作流,原理不难,一起来看看0****1介绍今天是2024年最后一天啦,从下半年开始慢慢加大这个号内容的更新,感谢大家的关注和支持,今天最后一天继续分享一个很实用的产品精修的工作流,这个是可以用在商用场景的,今天这个流免费分享给大......
  • comfyui-SD线稿一键转真人,极简式工作流分享-菜鸟级教程有手就行_image scale to side
    大家好我是AIGC阿道夫在数字艺术和图像处理的新时代,技术的进步不断拓宽着创意的边界。ComfyUI提供了一套高效、易用的工作流,通过简单的节点操作即可实现从线稿到真人图像的转换。这一技术不仅简化了创作流程,还极大地提升了图像生成的质量和效率。本文将详细介绍这一工作......