首页 > 其他分享 >最强AI绘画大模型Flux可以在SDWebUI 上使用了!超便捷的Flux模型使用教程

最强AI绘画大模型Flux可以在SDWebUI 上使用了!超便捷的Flux模型使用教程

时间:2024-09-29 13:49:21浏览次数:11  
标签:绘画 AI 模型 Flux safetensors Forge

大家好,我是画画的小强

目前最强的AI绘画大模型Flux.1 横空出世有段时间了,模型效果也得到了广泛的认可,但是 Stable Diffusion WebUI 官方迟迟没有跟进,据说是因为要修改很多底层的处理机制,加之ComfyUI如火如荼,可能AUTOMATIC1111大佬的心气也不是很高,选择了躺平,又或者是在秘密的憋大招。

不过在开源的AI绘画界还有另一个大佬,那就是 ControlNet 的作者张吕敏,他搞了一个SD WebUI的衍生版:Stable Diffusion WebUI Forge。Flux发布没多久,Forge就开始了相关的支持工作,虽然目前还有很多特性没有得到支持(这也间接说明WebUI支持Flux的改造难度确实很大),比如ControlNet,但是基本的文生图和图生图已经没有什么问题了,喜欢WebUI的同学可以体验下了。

本地部署

Stable Diffusion WebUI Forge 提供了一个一键安装包:安装包下载请扫描免费获取哦
在这里插入图片描述

下载后需要解压,然后进入解压出的文件夹,双击执行 update.bat,将程序升级到最新版本,最后双击执行 run.bat ,启动程序。

其它模型还需要自己手动下载,放到相应的目录中。

使用方法

我这里截了一张在Forge中使用Flux生图的操作过程,大家可以有个基本的认识。

下面分步介绍下:

1、UI

选择Flux。选择不同的UI,下边的一些选项会有所变化,比如宽度和高度、提示词引导系数的默认值等等。

2、模型和VAE/Text Encoder

这里演示用的Flux基础模型自带VAE(潜空间编解码器)和Text Encoder(文本提示词编码器),所以不需要选择VAE/Text Encoder;如果你使用的Flux模型是单独的unet模型,则需要选择VAE和Text Encoder。

Forge支持的Flux基础模型一般有这几种:

  • flux1-dev-bnb-nf4-v2.safetensors 张吕敏大佬搞的unet量化模型。

  • flux1-dev-fp8_unet.safetensors 只包含unet模型。

  • flux1-dev-fp8.safetensors 包含unet、vae和text encoder模型。

这几个模型需要放到 Forge 模型目录的基础模型子目录下。

Forge需要的VAE和Text Encoder模型包括:

  • ae.safetensors Flux使用的VAE模型;

  • clip_l.safetensors 相对传统的文本提示词编码器模型;

  • t5xxl_fp16.safetensors 比较新的文本提示词编码器模型,使用自然语言。

这几个模型需要放到 Forge 模型目录的 vae 子目录下。

这里给出一些模型的搭配组合:

  • flux1-dev-fp8.safetensors

  • flux1-dev-fp8_unet.safetensors + ae.safetensors + clip_l.safetensors + t5xxl_fp16.safetensors

  • flux1-dev-bnb-nf4-v2.safetensors + ae.safetensors + clip_l.safetensors + t5xxl_fp16.safetensors(可选)

3、提示词

只需要正向提示词,Flux目前开放的模型不支持反向提示词。这里演示用的是:

1girl, black hair, smile, a textbox with ‘hello’

4、采样方法和调度器

不是所有的采样方法和调度器都支持Flux。

采样方法我测试了这几个是可以的:

  • DPM++ 2M

  • Euler

  • DPM2

  • [Forge] Flux Realistic(速度快,推荐)

调度器(Schedule type)选择 :Simple、Normal或者SGM Uniform都可以。

5、生成

最后点击生成就可以了,根据机器系统不同,需要的时间会有所差别。

首次生图需要加载模型,可能需要的时间更长一些。

6、其它参数

这里边还有一些其它参数:

  • 宽度和高度:可以根据自己的需要进行调整,Flux模型支持的尺寸可以覆盖SD1.5和SDXL支持的尺寸。

  • 迭代步数:20-30

  • 总批次数:一共生成几次。可以连续生成多次,选择其中最好看的,俗称抽卡。

  • 单批数量:每次生成几张图片,比较消耗显存,显存大的话可以设置的多点。

  • Distilled CFG Scale 和 提示词引导系数:这两个都不能设置的很大,默认就可以了,绝大部分情况下不需要调整。

  • 随机数种子:每次生成都是用不同的随机数,图片会更加多样化。

环境配置

量化之后的Flux模型需要的显存大幅降低,12G显存就能跑起来。

不过要想实现更好的效果,还得是尽量选择损失比较小的模型。演示用的 flux1-dev-fp8 在资源和质量之间取得了一个平衡,推荐大家使用。

资源下载

文章中使用的Flux模型和程序,都已经上传到我整理的 Stable Diffusion 绘画资源中,需要的小伙伴可以看下方扫描免费获取哦

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
在这里插入图片描述

零基础AI绘画学习资源介绍

标签:绘画,AI,模型,Flux,safetensors,Forge
From: https://blog.csdn.net/A1353192296/article/details/142629534

相关文章

  • 第2天:熟悉Android Studio补充材料——`activity_main.xml`解读
    下面是对“第2天:熟悉AndroidStudio”该文学习的更深层次的补充材料,对activity_main.xml文件的理解。下面对activity_main.xml文件中每一行进行详细解释:<?xmlversion="1.0"encoding="utf-8"?><androidx.constraintlayout.widget.ConstraintLayoutxmlns:android="ht......
  • 【转型必看】Java到AI大模型,程序员的逆袭秘籍,转行不再是梦!
    随着技术的不断进步,人工智能(AI)大模型已经成为当今科技领域最热门的话题之一。许多开发者开始考虑从传统的软件开发领域,如Java,转向人工智能领域,今天小编和大家一起来探讨Java开发者是否可以转型到人工智能大模型,转型的优势,薪资对比,以及转型所需的知识和学习路线等。01Java......
  • 安全:fail2ban:重新加载firewalld时,fail2ban添加的防火墙规则丢失
    一,问题现象:firewalld未重新加载规则前,可以看到fail2ban添加的防火墙规则:[root@web~]#firewall-cmd--list-allpublic(active)target:defaulticmp-block-inversion:nointerfaces:eth0sources:services:ports:80/tcpprotocols:forward:yesm......
  • sendmail发邮件指南:配置步骤与使用方法?
    sendmail发邮件性能怎么优化?如何用sendmail发邮件?sendmail发邮件系统因其稳定性和灵活性而广泛应用于各种服务器环境中。然而,对于初学者来说,sendmail发邮件的配置和使用可能显得有些复杂。AokSend将详细介绍sendmail发邮件的配置步骤和使用方法。sendmail发邮件:用户别名sen......
  • 黑马PM-内容项目-内容产品模型
    内容产品概述内容产品设计模型......
  • 中国AIGC最值得关注企业&产品榜单揭晓!首份应用全景图谱发布
    “你好,新应用!”站在大模型落地元年,是时候喊出这句话了。从软件APP、智能终端乃至具身智能等等,AIGC开始席卷一切。大模型玩家、互联网巨头、终端厂商、垂直场景玩家纷纷入场,办公、创作、营销、教育、医疗领域相继被渗透……一个万亿市场,正在酝酿。站在浪潮起点,当下发展......
  • 一款革命性的AI写作工具——文字游侠AI大模型重大升级,创作效率提高高达20倍,小白也能轻
    在自媒体创作的浪潮中,如何高效地生产高质量内容成为许多创作者的难题。然而,随着AI技术的飞速发展,这一难题得到了完美的解决。今天,我要为大家介绍一款革命性的AI写作工具——文字游侠AI大模型,它不仅能够大幅提高创作效率,还能帮助你轻松实现月入过万的目标。那么,文字游侠AI大模......
  • 北邮&剑桥最新SLM(小语言模型)研究综述
    今天介绍的这篇文章是关于小型语言模型(SmallLanguageModels,SLMs)的研究综述,作者团队来自北京邮电大学、鹏城实验室、HelixonResearch、剑桥大学等机构。语言模型的发展目前呈现出分歧,一方面是追求人工通用智能的LLMs,在训练和推理双scalinglaw的指引下不断加大计算量;另一......
  • AI Agent应用出路到底在哪?
    1Agent/FunctionCall的定义OverviewofaLLM-poweredautonomousagentsystem:Agent学会调用外部应用程序接口,以获取模型权重中缺失的额外信息(预训练后通常难以更改),包括当前信息、代码执行能力、专有信息源访问权限等。2从去年到现在有什么进展?Notaresearchseminar......
  • 小模型(SLM)的效率、性能和潜力
    关于小语言模型小语言模型(slm)是为在桌面、智能手机和可穿戴设备上进行资源高效部署而设计的。其目标是使先进的机器智能能够为每个人所使用和负担得起,就像人类认知的普遍性一样。小语言模型(slm)已经广泛集成到商业设备中。例如,最新的谷歌和三星智能手机内置了大型语言模型(......