首页 > 其他分享 >【ComfyUI工作流】 Flux_简单使用

【ComfyUI工作流】 Flux_简单使用

时间:2025-01-10 11:59:38浏览次数:3  
标签:显存 Flux AI ComfyUI 模型 FLUX https 简单 节点

一、Flux模型

1、FLUX.1 Dev fp16

  • 本地跑Flux最优质的模型

  • 不支持商用

  • 生图极慢

  • 建议16GB显存以上使用

2、FLUX.1 Schnell fp16

  • 与其他Flux效果完全不同

  • Apache2.0 license许可下支持商用

  • 生图速度比原模快

  • 支持4步生图(图片需要更多细节,可提高到8-10质量会更好)

  • 建议16GB显存以上使用

3、FLUX.1 Dev fp8

  • 非常推荐使用

  • 效果仅次于FLUX1 Dev fp16原模

  • 生图速度极快

  • 6-8GB显存可使用

4、FLUX.1 Schnell fp8

  • 与其他Flux效果完全不同

  • Apache2.0 license许可下支持商用

  • 生图速度比原模快

  • 支持4步生图

  • 6-8GB显存可使用

lib上可下载,地址:

https://www.liblib.art/modelinfo/de40ff893256477bbb1bb54e3d8d9df6?from=search&versionUuid=7b3004f6dcb94298b19a1b3b38430c13

没有会员的我帮你下载好了,扫下图领取:

模型存放路径:(我下载我可以承受的显存6-12GB)

models-unet

上面的模型是需要VAE的哈!!!

-

低显存可使用版本

5、FLUX1.0 dev NF4

  • 整合vae和clip

  • 尽可能保留细节的基础上,最大程度还原FLUX原模的效果

  • 速度提升4倍

  • 显存要求降低4GB可使用

lib上可下载,地址:

https://www.liblib.art/modelinfo/0175a2f9826d4c3a9335380940f87f58?from=search&versionUuid=54fb76b871364e2b966b4d6ad21655d0

没有会员的我帮你下载好了,扫下图领取:

模型存放路径:

models-checkpoints

6、FLUX.1 GGUF版本

根据显存大小下载最接近显存数字的模型大小

如:6GB选择Q3_K_S或Q4_0

下载地址

https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main(这个翻墙就能下,好使!)

模型存放路径:

models-unet

二、FLUX clip模型

下载地址

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

模型存放路径:

models-clip

三、Flux节点安装

1、GGUF,需手动安装

github地址

https://github.com/city96/ComfyUI-GGUF

2、NF4,需手动安装

github地址

https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

3、xlabs,需手动安装

① xlabs,为UNA使用FLUX controlnet的一个节点包

github地址

https://github.com/XLabs-AI/x-flux-comfyui

存放路径:

ComfyUI-custom_nodes

② xlabs针对FLux的lora

comfy converted可直接放入根目录-models-loras

不带comfy converte,放入根目录-models-xlabs-loras才能被识别

下载地址

https://huggingface.co/XLabs-AI/flux-lora-collection/tree/main

存放路径:

Models-xlabs-loras

4、xlabs针对FLux的controlnet

支持最好的controlnet模型,hed/depth/canny,直接下v3版本

下载地址:
https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main

存放路径:

Models-xlabs-controlnet

四、FLUX使用

1、节点说明

① UNET加载器(Load Diffusion Model)

用来识别并加载FLUX模型的

剪枝类型(weight dtype),默认default为fp16,fp8就选fp8的

② 双CLIP加载器(DualCLIPLoader)

CLIP1,可选择t5xxl fp8或者t5xxl fp16都可以

CLIP2,选择clip_l

以上:CLIP1和CLIP2可以相互交换的

③ VAE加载器(Load VAE)

④ FLux采样器(FLux Sampler Parameters)

该节点来自:ComfyUI essentials

2、FLUX基础文生图工作流

FLUX模型不需要负面提示词

① 采样器+调度器(目前需要手动输入)

  • 官方推荐,euler + simple

  • 可尝试,euler + beta / uni_pc_bh2 + simple / ipdmn + simple

  • euler + beta 与 euler + simple 区别,在于beta对光影的捕捉更自然、整体画面更明亮

② guidance(CFG中的G,控制提示词相关性)

  • 官方默认3.5,建议2-5

  • guidance=2,艺术发挥空间更大,艺术效果更浓

  • guidance>5,画面的对比度会更强烈

  • 教程中说guidance>3,画面偏写实,guidance<3,画面偏动漫(我怎么是反的ε=(´ο`*)))唉)

  • 做写实场景,建议2-3

  • 做非写实场景,建议3-4.5

-

FLUX工作流设置对比(没用过,记录下设置)

① FLUX1 Dev原模

② FLUX1 Schnell

③ FLUX1 fp8

④ FLUX1 GGUF

⑤ FLUX1 NF4

3、搭配lora

注意:NF4据说暂不支持lora

用官方的lora(官方的不好使),使用FLux加载LoRA,如下:

本地节点没连错,不知道是不是配置的问题,加了lora全是噪点,从这里就直接使用lib线上

用普通的lora加载器就可以,如下所示:

4、增加高清放大

使用节点Ultimate SD Upscale的SD放大 + 放大模型加载器

需要加载个空的负向提示词

SD放大设置:

CFG:1

降噪:0.1-0.2(太高就与原图不像啦)

-

用NF4搭建的高清放大,如下:

5、FLUX基础图生图工作流

懒得写提示词,加了个Joy Caption 2提示词反推

6、局部重绘

增加节点:

  • 差异扩散(differential diffusion),该节点可逐步改善图像质量,并生成细节更丰富的功能,在做局部重绘时,可以拥有更好的效果。

  • 遮罩高斯模糊(gaussian blur mask),该节点专门用来优化蒙版边缘衔接的。

  • 内部模型条件(inpaint model conditioning),该节点专门做局部重绘时用到的。

增加一个空的负向提示词

删除VAE编码(因为内部模型条件中已有)

由于lib直接在图像上涂抹遮罩一直不好使,增加一个segment_anything语义分割,如下所示:

7、加载controlnet

Canny

Depth

Hed

综上,flux的controlnet这三个效果,Canny、Depth可以凑合着用用

走完一遍FLUX基础使用,终于有个概念啦

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

标签:显存,Flux,AI,ComfyUI,模型,FLUX,https,简单,节点
From: https://blog.csdn.net/m0_56144365/article/details/145054826

相关文章

  • 创作原来如此简单,5分钟实现公众号小助手
    微信公众号已成为企业与个人传播信息、互动交流的重要平台。然而,随着公众号运营规模的不断扩大,内容创作与管理的工作量也呈几何级数增长。为了高效应对这一挑战,许多运营者开始寻求自动化工具来辅助工作。元器,作为腾讯推出的智能体创作与分发平台,以其强大的功能和便捷的操作......
  • 设计模式之简单工厂模式
    设计模式之简单工厂模式(SimpleFactoryPattern)模式定义简单工厂模式又叫静态工厂方法模式,属于类创建型模式。在简单工厂模式中,可以根据参数的不同返回不同类的实例。简单工厂模式专门定义一个类来负责创建其他类的实例,被创建的实例通常都具有共同的父类。类图代码enumProd......
  • PDF如何提取文字?OCR技术快速识别提取PDF中的文字内容!这种简单方法一定要知道!
    在日常工作中,我们常常会遇到PDF文档和图纸中的文字无法直接复制粘贴的问题,尤其是那些文字呈现为打散线条或扫描图片形式的文件,给我们的工作带来诸多不便。不过别担心,PDF快速看图软件的“提取文字”功能(基于OCR技术)就能轻松解决这个难题,下面就为大家详细介绍其使用教程。一......
  • 3D一览通无缝集成,让您看模型像看图片一样简单
    在当今数字化工作场景中,一款卓越的三维模型查看工具,理应让模型浏览如同欣赏图片般轻松惬意,但现实却并非如此。为了看模型,打断工作流在众多行业中,查看模型与图纸是日常工作的重要部分。然而打开CAD文件通常要借助特定软件,整个流程繁琐又耗时:先传输文件,再下载到本地,最后切换......
  • NAT四种模式的简单解释
    什么是NAT?NAT代表网络地址转换,允许多个内网设备共享一个公网IP地址,使内网设备能够与外部互联网通信,主要是为了解决IPV4地址不足的问题,NAT通常部署在路由器上。NAT在正常的网页浏览、观看视频没太大问题,主要影响在P2P连接上,对游戏、下载、视频通话等应用,会受到不同NAT类......
  • 【Cobalt Strike】UDRL简单配置
    cs4.9的下载、解压和连接server不写了,网上有的。以下kit的链接:https://pan.baidu.com/s/1mu6rpmHoGQ-lTPmSll14tg?pwd=test提取码:test下载好visualstudio2022和C++所需要的相关插件网上也都有,简单的就不写了。将cs启动好把下载的套件解压出来,找到UDRL-VS,找到udrl-vs......
  • 不收费的电脑录屏软件都在这里 这款录屏软件简单好用 免费也能用
    在寻找高效且免费的录屏软件时,芝麻录屏、OBSStudio与ScreenToGif无疑是三大热门选择。这三款软件各具千秋,均以其独特的功能和优势赢得了广大用户的青睐。接下来,我们将详细对比这三款软件,帮助您找到最适合自己的录屏神器。以下是三款免费的电脑录屏软件介绍,第一款将重点介绍芝......
  • 分布式锁Redisson详解,Redisson如何解决不可重入,不可重试,超时释放,主从一致问题的分析解
    目录1.Redisson解决不可重入锁导致的死锁问题 2.不可重试问题Pub/Sub的优势锁释放的发布逻辑3.超时释放的问题1.锁的超时释放机制背景2.源码分析2.1锁的获取2.2看门狗机制2.3看门狗续期实现2.4手动设置锁的过期时间总结 4.主从一致性 问题背景......
  • 简单词法分析器的设计
    实验名称设计简单词法分析器。实验内容根据相关状态转换图写算法,将输入串分解成单词串。实验目的运用词法分析原理及方法,设计、编制并调试一个具体的扫描器,加深对词法分析原理的理解及词法分析方法的应用能力。上机环境设计思想(流程)首先我们应该确认待分析的五类简单......
  • 全网最简单、免费的零代码平台一键 Docker 搭建,快速搭建应用
    本文档docker组中使用的镜像已经上传阿里云docker私服,方便安装。第一步:复制下面内容创建docker-compose.ymlservices:qiaoqiaoyun-mysql:image:registry.cn-hangzhou.aliyuncs.com/jeecgdocker/qiaoqiaoyun-mysql:2.0.1environment:MYSQL_ROOT_PA......