一、Flux模型
1、FLUX.1 Dev fp16
-
本地跑Flux最优质的模型
-
不支持商用
-
生图极慢
-
建议16GB显存以上使用
2、FLUX.1 Schnell fp16
-
与其他Flux效果完全不同
-
Apache2.0 license许可下支持商用
-
生图速度比原模快
-
支持4步生图(图片需要更多细节,可提高到8-10质量会更好)
-
建议16GB显存以上使用
3、FLUX.1 Dev fp8
-
非常推荐使用
-
效果仅次于FLUX1 Dev fp16原模
-
生图速度极快
-
6-8GB显存可使用
4、FLUX.1 Schnell fp8
-
与其他Flux效果完全不同
-
Apache2.0 license许可下支持商用
-
生图速度比原模快
-
支持4步生图
-
6-8GB显存可使用
lib上可下载,地址:
https://www.liblib.art/modelinfo/de40ff893256477bbb1bb54e3d8d9df6?from=search&versionUuid=7b3004f6dcb94298b19a1b3b38430c13
没有会员的我帮你下载好了,扫下图领取:
模型存放路径:(我下载我可以承受的显存6-12GB)
models-unet
上面的模型是需要VAE的哈!!!
-
低显存可使用版本
5、FLUX1.0 dev NF4
-
整合vae和clip
-
尽可能保留细节的基础上,最大程度还原FLUX原模的效果
-
速度提升4倍
-
显存要求降低4GB可使用
lib上可下载,地址:
https://www.liblib.art/modelinfo/0175a2f9826d4c3a9335380940f87f58?from=search&versionUuid=54fb76b871364e2b966b4d6ad21655d0
没有会员的我帮你下载好了,扫下图领取:
模型存放路径:
models-checkpoints
6、FLUX.1 GGUF版本
根据显存大小下载最接近显存数字的模型大小
如:6GB选择Q3_K_S或Q4_0
下载地址
https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main(这个翻墙就能下,好使!)
模型存放路径:
models-unet
二、FLUX clip模型
下载地址
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
模型存放路径:
models-clip
三、Flux节点安装
1、GGUF,需手动安装
github地址
https://github.com/city96/ComfyUI-GGUF
2、NF4,需手动安装
github地址
https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
3、xlabs,需手动安装
① xlabs,为UNA使用FLUX controlnet的一个节点包
github地址
https://github.com/XLabs-AI/x-flux-comfyui
存放路径:
ComfyUI-custom_nodes
② xlabs针对FLux的lora
comfy converted可直接放入根目录-models-loras
不带comfy converte,放入根目录-models-xlabs-loras才能被识别
下载地址
https://huggingface.co/XLabs-AI/flux-lora-collection/tree/main
存放路径:
Models-xlabs-loras
4、xlabs针对FLux的controlnet
支持最好的controlnet模型,hed/depth/canny,直接下v3版本
下载地址:
https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main
存放路径:
Models-xlabs-controlnet
四、FLUX使用
1、节点说明
① UNET加载器(Load Diffusion Model)
用来识别并加载FLUX模型的
剪枝类型(weight dtype),默认default为fp16,fp8就选fp8的
② 双CLIP加载器(DualCLIPLoader)
CLIP1,可选择t5xxl fp8或者t5xxl fp16都可以
CLIP2,选择clip_l
以上:CLIP1和CLIP2可以相互交换的
③ VAE加载器(Load VAE)
④ FLux采样器(FLux Sampler Parameters)
该节点来自:ComfyUI essentials
2、FLUX基础文生图工作流
FLUX模型不需要负面提示词
① 采样器+调度器(目前需要手动输入)
-
官方推荐,euler + simple
-
可尝试,euler + beta / uni_pc_bh2 + simple / ipdmn + simple
-
euler + beta 与 euler + simple 区别,在于beta对光影的捕捉更自然、整体画面更明亮
② guidance(CFG中的G,控制提示词相关性)
-
官方默认3.5,建议2-5
-
guidance=2,艺术发挥空间更大,艺术效果更浓
-
guidance>5,画面的对比度会更强烈
-
教程中说guidance>3,画面偏写实,guidance<3,画面偏动漫(我怎么是反的ε=(´ο`*)))唉)
-
做写实场景,建议2-3
-
做非写实场景,建议3-4.5
-
FLUX工作流设置对比(没用过,记录下设置)
① FLUX1 Dev原模
② FLUX1 Schnell
③ FLUX1 fp8
④ FLUX1 GGUF
⑤ FLUX1 NF4
3、搭配lora
注意:NF4据说暂不支持lora
用官方的lora(官方的不好使),使用FLux加载LoRA,如下:
本地节点没连错,不知道是不是配置的问题,加了lora全是噪点,从这里就直接使用lib线上
用普通的lora加载器就可以,如下所示:
4、增加高清放大
使用节点Ultimate SD Upscale的SD放大 + 放大模型加载器
需要加载个空的负向提示词
SD放大设置:
CFG:1
降噪:0.1-0.2(太高就与原图不像啦)
-
用NF4搭建的高清放大,如下:
5、FLUX基础图生图工作流
懒得写提示词,加了个Joy Caption 2提示词反推
6、局部重绘
增加节点:
-
差异扩散(differential diffusion),该节点可逐步改善图像质量,并生成细节更丰富的功能,在做局部重绘时,可以拥有更好的效果。
-
遮罩高斯模糊(gaussian blur mask),该节点专门用来优化蒙版边缘衔接的。
-
内部模型条件(inpaint model conditioning),该节点专门做局部重绘时用到的。
增加一个空的负向提示词
删除VAE编码(因为内部模型条件中已有)
由于lib直接在图像上涂抹遮罩一直不好使,增加一个segment_anything语义分割,如下所示:
7、加载controlnet
Canny
Depth
Hed
综上,flux的controlnet这三个效果,Canny、Depth可以凑合着用用
走完一遍FLUX基础使用,终于有个概念啦
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!