最近,ComfyUI 宣布对 Flux Tools 进行首批支持,这一功能的推出无疑是一个令人激动的消息。这意味着用户可以在 ComfyUI 上使用 Black Forest Labs 为 Flux.1 系列所设计的全新 3 系列模型,包括Re dux 适配器、填充模型、ControlNet 模型 和 LoRA(深度和 Canny),这些新增的工具将使得图像生成和编辑的过程更加精准和灵活。本篇教程我们以圣诞节风格元素为主题,从lora训练开始,教你一步步如何去训练lora模型,再搭建comfyui工作流,轻松做出超惊艳的圣诞主题效果!
关键词:圣诞元素、西式节日、温暖冬日场景
在正式开搞之前,先来看看用 Flux.1 生成的效果图有多惊艳吧!
这是我们使用圣诞节风格Lora生成的一组海报背景图,接下来我会教你如何训练Lora,以及用ComfyUI的使用并生成类似风格的图片。
Lora训练
训练lora的步骤:确定目标→收集素材→处理素材→打标签→设置参数
1.确定目标:首先要确定的是具象类lora或者泛化类lora,具象类lora是针对某一个角色、某一件衣服、某一个形象等等,而泛化类lora则是场景、画风、色彩风格、摄影风格等等,以这次训练的圣诞节lora为例,它就是一个泛化类lora。
2.收集素材:具象类lora需要20张以上的素材图,泛化类lora则需要100张以上的素材图,素材图要保持风格一致。素材图必须是png、jpg格式。
3.处理素材:由于训练lora需要保持素材图的尺寸一致,我们需要用到软件来对素材图进行裁剪,一般1.5的尺寸为512x768,xl和flux的尺寸为1024x1536。
4.打标签:训练lora最重要的一步就是给素材图打标签,可以使用无阶未来-秋叶Lora训练器中WD标签器来给素材图打上标签,在输入目录中填上我们裁剪好的素材图文件夹位置,点击反推即可一键将所有素材图打上标签。
打完标签后的文件夹↑
5.设置参数:我们来快速学习一下lora训练必备的几个参数。
底模文件路径:大模型的位置,需要下载到本地sd的文件中。
数据集:我们处理好的素材图,注意文件夹的命名,需要在lora训练器中新建文件夹,命名为xx_lora名字,这里的xx代表了每张图片被训练的次数,建议为10-15次,例如我的文件夹叫做15_shengdanjie,那么说明我的每一张圣诞节素材图都会被训练15次。
我们已经在处理素材图的时候裁剪了图片尺寸,每一张图片都是1024x1536,这里直接填入即可。
最大训练epoch:决定了我们将训练多少轮,并不是轮次越多效果越好,建议10轮左右即可,上面的每N轮自动保存一次模型则是决定了我们最后会训练出多少模型,例如我们训练10轮,每2轮保存一次,那么我们最后将得到5个lora。批量大小决定了我们训练速度,根据显卡的性能可以自行填写,一般为1即可。
网络维度:决定了我们训练出的lora细节和整体程度,可以理解为我们所站的楼层,站的楼层越高,看到整体效果越好,楼层越低,越能注意到细节。具象类lora一般为32,泛化类为64。
常用值:与网络维度保持一致或是网络维度的一半即可。
其他的参数已经默认设置好了,基本可以保持不变**。**设置好相应的参数,即可进行训练,在output文件夹中即可看到训练结果和预览图。
ComfyUI搭建
在搭建comfyui之前,我们先来了解一下comfyui,comfyui其实就是打散式的webui,可以根据自己的需要添加各种模块,在生图的过程中就可以看到每个环节的运行结果。
Comfyui的工作逻辑也很简单:文字(或图片)经过处理后就可以送入采样器,再通过VAE解码则可以实现生图,在这个过程中我们可以添加各种节点来影响最后成图。
搭建一个comfyui的方法:K采样器是中心,由此延伸各种节点,每个节点之间由相对应的线来连接。例如采样器中的模型就连接到checkpoint或lora模型加载器的模型上,正面条件和负面条件则分别连到两个clip文本编码器的条件上,每个节点都连接成功后,comfyui就可以开始工作了。
如图所示是一个默认的comfyui工作流,具有最基本的文生图功能,那么如何将默认工作流转化成我们需要的工作流呢?
我们需要的是一个使用lora生图的工作流,那么在checkpoint的基础上我们添加一个lora加载器,将checkpoint加载器原本连接到采样器的地方连到lora加载器上,再把lora连到采样器上就可以。
在VAE节点后后,我们可以添加一个图像放大节点,也就是webui中的高清修复,放大模型加载器选择常用的4x-UltraSharp即可。
正向****提示词:Dream scene, Christmas, day, winter, a wooden hut in the center of the picture, the hut covered with snow, the hut wearing a huge Santa hat, the hut next to some gingerbread people and snowmen playing, red, green, gold ribbon gently fluttering. Thick clouds like soft marshmallows. Fine snow is falling from the sky, the background is modern buildings, warm lights. The whole scene is full of holiday fantasy, and the combination of Christmas trees and gifts is like a Christmas fairy tale in progress2
翻译:梦幻场景,圣诞节,白天,冬天,画面中心有一座木屋,木屋覆盖着雪,木屋戴着巨大的圣诞老人,木屋旁边有一些姜饼人和雪人在玩耍,红色,绿色,金色的丝带轻轻飘动。浓厚的云朵像柔软的糖。天空中飘着细雪,背景是现代建筑,温暖的灯光。整个场景充满了节日的幻想,圣诞树和礼物的组合就像的圣诞童话。
**反向提示词:**ng_deepnegative_v1_75t,(badhandv4:1.2),EasyNegative,(worst quality:2),
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!