吐槽下,AI时代,知识更迭会越来越快,每个月,就会有一些技术迭代。各种营销号今天出一个技术就吊打xx,明天出一个技术就吊打xx,展示的全都是优点,缺点是一点不提。就拿Flux为例,控制网除了挺多了,就很少有人告诉你目前的控制都没有那么好用。很多东西需要自己测试才知道。每个技术都有它的优点和缺点。今天的技术,也许明天就被替代了,我尽量会把这些知识点梳理测试过之后,挑一些成熟的技术来写成教程。让同学们少踩点坑吧
同学们是否记得之前提到过过从SD公司离职的一批人成立了黑森林工作室,然后推出了效果令人惊叹的Flux大模型。截止到今天,主流基础大模型又新增一员,就是SD公司新推出的SD3.5,这一款对标Flux的大模型,比之前的SDXL模型有着很大的提升。但是视觉风格还是略逊于Flux。
即使Flux那么强大,但是现在依然不是一款完美的模型。优点是在写实方面效果吊打一切模型,说是断水流大师兄也不为过。本文的配图都是基于Flux生成
但是Flux缺点也非常明显。之所以文章到这里才介绍Flux,实在是因为Flux的运行条件比较苛刻。如果文章刚开始就直接介绍Flux,估计只有小部分同学可以使用Flux工作流。
官方发布的Flux模型的版本如下:
FLUX.1 Pro 最强,不开源,只能商用。
FLUX.1 Dev 很强,开源,推荐。
FLUX.1 Schnell 速度快,但牺牲了质量,效果不如Dev,不推荐。
比如完整的模型flux1-dev是23g,量化删简版的fp8模型也有11g,这就意味着,使用完整模型的情况下,即使是目前最新的显卡4090显存24g也捉襟见肘。不过庆幸的是,删减量化版的模型效果也不错,这也是我经常使用的版本,平均出1k图22秒(4090)。
那么低显存的同学是不是就和Flux无缘了?
NONONO,当然不是,毕竟24g显存的显卡不是主流,主流仍然是6g,8g或12g的显卡们。多亏City96这位大神发布了Flux的一系列GGUF版本,甚至精简到4g。这套模型也得到了Flux官方的认可。
**到底多低的显存可以使用Flux?
6g勉强,8g能用,12g和16g更好,24g完美
我也给大家测试了,大家注意后面的占用的gb大小,模型体积越大,质量越好。比如Q2虽然只有4g大小,但是质量一般,到Q4的时候,就完全可以接受了。Q4不到8g。所以8g显存完全可用,但是低于8g,只能用Q2模型体验体验吧,出图就勉强,低显存同学还是更推荐SD。同学们心里有数了吧?
关于如何使用GGUF版本我们视频中说,接下来继续说下Flux另一个缺点——不够可控。要是Flux可以像SD那样控制力很强的话,就差不多是个完美模型了。不知道什么原因,Flux的IPA和控制网已经出了很多的版本了,比SD的控制力要差很多。目前来讲,还不能以以前学习SD的逻辑来学习Flux。当然这和Flux也就出现几个月有关,未来这方面可能会更加成熟。让我们期待一下。
照旧先下载网盘中的模型。
下载好之后,先打开你的ComfyUI文件夹ComfyUI\models\
找到 unet,clip,vae,loras三个文件夹,把模型包的模型分别放到这三个对应的文件夹就好。
同学们可能会疑问,大模型不都是放到checkpoint文件夹吗?是的,flux也可以放到checkpoint的文件夹,官方建议的是unet文件夹。这两个所需的节点是不同的。本教程我们以unet为例。
标签:显存,教程,FLUX,ComfyUI,模型,8g,Flux,文件夹,SD From: https://blog.csdn.net/2401_84830464/article/details/143736364