首页 > 其他分享 >Stable Diffusion WebUI v1.10.0重大更新,支持SD3!

Stable Diffusion WebUI v1.10.0重大更新,支持SD3!

时间:2024-08-09 11:24:37浏览次数:16  
标签:Diffusion 修复 SD3 v1.10 模型 AIGC 更新 添加

Hello,大家好!前不久,SDWebUI的作者AUTOMATIC1111终于把它更新到了v1.10.0,这次不仅修复以往的一些BUG,提升了一些性能,这次还支持了SD3_medium.safetensors模型以及SD3_LoRA模型,同时还支持T5系列的encoder模型,让我们一起来看看这次更新了哪些内容。


更新内容

总共有87项更新:

1. 特性更新(Features):总共3项;

2. 次要更新(Minor):总共13项;

3. 扩展和API更新(Extensions and API):总共2项;

4. 性能提升(Performance):总共9项;

5.错误修复(Bug Fixes):总共35项;

6. 其他(Other):总共25项。

我来为大家讲解一下最重要的特性更新。

特性更新:

  • 支持 Stable Diffusion 3

  • 推荐使用 Euler sampler; DDIM 和其他 timestamp samplers 目前不支持

  • T5 文本模型默认禁用,可在设置中启用

  • 新的 schedulers(调度器):

  • Align Your Steps

  • KL Optimal

  • Normal

  • DDIM

  • Simple

  • Beta

  • 新的 sampler(采样器): DDIM CFG++


如何使用SD3-medium模型

特别提醒:在SDWebUI中使用SD3模型你会遇到很多的报错,比如:代理问题,库冲突问题,版本冲突问题,如果遇到这些问题,千万别花时间去折腾或者去提问(没必要浪费时间),最好的办法是直接重新安装秋叶启动器,半小时搞定。

如何重新安装看往期文章

Stable Diffusion Web UI快速安装

首先,我们先到抱抱脸(HuggingFace)找到SD3的源生模型,下载该模型以及其配套的CLIP模型。

然后,下载上图红框中的SD3模型,以及CLIP模型(由于这次SD3的架构和以往版本的架构完全不一样,所以CLIP模型是必须要下载的)。

在这里插入图片描述

在下载模型的同时,我们打开秋叶大佬的绘世启动器,升级SDwebUI内核到v1.10.0。

升级完成后,我们在绘世启动器的根目录下找到models文件夹,在该文件夹内新建一个文件夹取名为CLIP,一会所有的CLIP模型都要放在该文件夹内。

把抱抱脸下载的SD3模型放在stable-diffusion这个文件夹内,一切就绪就可以调用SD模型了。

在这里插入图片描述
1722911230074)

要使用T5xxl模型的,需要在设置里打开T5选项,才能调用。

Tips:在第一次使用SD3模型的时候,后台会下载一个vaeapprox-sd3.pt文件,这里需要开魔法。


SD3生成图片示例

模型:sd3_medium_incl_clips

Sampling:Euler

Schedule:Auto

Steps:38

CFG:7

mushroom cityscape, mushroom architecture, intricately detailed, surreal mushroom cityscape, glowing luminescence, vibrant colors, complex background, photorealistic, cinematic composition, macro shot, light reflections, ethereal atmosphere, aerial view, Chiaroscuro Lighting Style, partially covered in shadow

模型:sd3_medium_incl_clips

Sampling:Euler

Schedule:Auto

Steps:38

CFG:7

2 full of colorpalette rippled layers, clouds, vines, swirls, curves, ultra fine detail, swirling clouds, Artstation trending, art nouveau, raytracing, highly detailed and intricate, golden ratio, dark gradient ink with intricate designs, hypermaximalist, luxury, elite, japanese castle, majestic, ephemeral, opalescenct, labradorite, cinematic, cgsociety, Victo Ngai and John Howe and Paul Serusier and Jeehyun lee and Louise Nevelson and Hokusai and Mike Mignola : : surreal portal a wonderous japanese castle, style of Laurie Greasley and Satoshi Kon : : wooden sculpt, moon core data chart of abstract symbols fused with Japanese landscape portal fused with geo strata drip, text cascade, glitch cascade, Japananese fusion , sunbleached, high definiton.

模型:sd3_medium_incl_clips_t5xxlfp16

Sampling:Euler

Schedule:Auto

Steps:42

CFG:7.5


次要更新:

  • 选项可跳过早期步骤的 CFG

  • 添加 --models-dir 选项

  • 允许移动用户通过双指按压打开上下文菜单

  • Infotext: 为绑定的 Textual Inversion 添加 Lora 名称作为 TI hashes

  • 下载模型后检查哈希值以防止下载损坏

  • 更多扩展标签过滤选项

  • 保存 AVIF 时,使用 JPEG 的质量设置

  • 添加文件名模式: [basename]

  • 为 SDXL 的 clip L 添加启用 clip skip 的选项

  • 生成过程中防止屏幕休眠的选项

  • 图像查看器中的 ToggleLivePriview 按钮

  • 移除重新加载和快速滚动时的 UI 闪烁

  • 禁用保存按钮 log.csv 的选项

扩展和 API:

  • 添加 process_before_every_sampling 钩子

  • 在无效 sampler 错误时返回 HTTP 400 而非 404

性能:

  • use_checkpoint = False

  • 用 torch 原生操作替代 einops.rearrange

  • 预计算 is_sdxl_inpaint 标志

  • 防止不必要的额外网络偏差备份

  • 添加 --precision half 选项以避免推理过程中的类型转换

  • LDM 优化补丁

  • 将 sigmas 保留在 CPU 上

  • 仅在所有步骤完成后检查一次 unet 中的 nans

  • 为图像生成添加运行 torch profiler 的选项

错误修复:

  • 修复无完整 infotexts 的网格问题

  • lora 部分更新优先于完整更新

  • 修复某些情况下文件扩展名有额外 ‘.’ 的错误

  • 修复模型初始加载循环损坏问题

  • 在 API 中允许旧的 sampler 名称

  • 更多旧 sampler scheduler 兼容性

  • 修复 Hypertile xyz

  • XYZ CSV skipinitialspace

  • 修复 mps 和 xpu 上的软修复,torch_utils.float64

  • 修复非主分支上的扩展更新

  • 更新 pickle 安全文件名

  • 为 webui-assets css 使用相对路径

  • 创建虚拟环境时,在 webui.bat/webui.sh 中升级 pip

  • 修复 AttributeError

  • 在 launch_utils 中为 webui root 使用 script_path

  • 修复额外批处理模式 P 透明度

  • 在 css 中使用 gradio 主题颜色

  • 修复提示输入中的文本拖动

  • 为 .mjs 文件添加正确的 mimetype

  • QOL 项目 - 为 SD 模型、Loras 和 embeddings 更清晰地处理元数据问题

  • 用 wslpath 和 explorer.exe 替换 wsl-open

  • 修复 SDXL Inpaint

  • 多尺寸网格

  • 修复 Replace preview

  • 修复权重分解中的错误比例

  • 确保在 Mac 和 Linux 上使用虚拟环境中的 python

  • 在 Linux 和 Mac 上如果同时存在 python3.10 和 python3,优先使用 python3.10(有回退机制)

  • 停止生成额外内容

  • 修复 SD2 加载

  • 修复 hires fix 不同 lora 的 infotext Lora hashes

  • 修复 sampler scheduler 自动校正警告

  • 修复重新加载和快速滚动时的 UI 闪烁

  • 修复放大逻辑

  • 修复非作业动作上的进度条中断(添加 wrap_gradio_call_no_job)

  • 修复 OSError: 无法将 P 模式写为 JPEG

其他:

  • 修复更新日志

  • ReloadUI backgroundColor --background-fill-primary

  • 为 Intel 和 ARM Macs 使用不同的 torch 版本

  • XYZ override 重做

  • 溢出时滚动扩展表格

  • img2img 批量上传方法

  • 根据更新日志同步 v1.8.0 包

  • 添加 AVIF MIME 类型支持到 mimetype 定义

  • 更新 imageviewer.js

  • no-referrer

  • .gitignore trace.json

  • 将 spandrel 升级到 0.3.4

  • 废弃 --max-batch-count

  • 更新 bug_report.yml

  • 在不要求升级的情况下保持项目对 Python 3.9 用户的兼容性

  • 将 ARM Macs 的 torch 更新到 2.3.1

  • 移除已弃用的设置 dont_fix_second_order_samplers_schedule

  • 修复拼写错误

  • 在控制台日志中使用 shlex.join 启动参数

  • 激活 venv .bat

  • 在 img2img 中为调整大小标签添加 ids

  • 更新 Linux 安装指南

  • 健壮的系统信息

  • 粘贴修复时不发送图像大小

  • 修复 MacOS 的嘈杂 DS_Store 文件


AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

图片

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

标签:Diffusion,修复,SD3,v1.10,模型,AIGC,更新,添加
From: https://blog.csdn.net/2401_86065041/article/details/140948679

相关文章

  • Adobe又出黑科技!5秒Ai绘画出图? Stable Diffusion来了!
    据我所知2024有两款Ai神器爆火一款是大名鼎鼎的ChatGPT另外一款则是Ai智能绘图软件—StableDiffusion本期重点介绍StableDiffusion尤其最近抖音小红书刷屏的AI人物大部分都是这款软件做的【软件介绍】▼StableDiffution****人工智能神器含保姆级安装教程&使......
  • 扩散模型(Diffusion Model)——生成模型
    一、扩散模型介绍    扩散模型(DiffusionModel)是一种生成模型,最近在图像生成、视频生成、语音合成等领域取得了显著的进展。与传统的生成对抗网络(GAN)和变分自编码器(VAE)不同,扩散模型通过逐步将噪声添加到数据并反转这一过程来生成新样本二、扩散模型的基本原理扩散模......
  • AI绘画 Stable Diffusion后期处理—无需ControlNet也能轻松高清放大图像与老旧照片修
    大家好,我是设计师阿威分享了这么多期AI绘画StableDIffusion的入门教程和一些常用的插件玩法后,不知道大家有没有发现,SD还有一个功能,似乎没怎么用到过,它就是—后期处理。今天就给大家分享一下SD中的“后期处理”的常用玩法。后期处理可以选择「单张照片」、「批量处理......
  • 万字长文带你深度学习AI绘画工具 Stable Diffusion 保姆级实战,AI绘画入门必看实用性教
    大家好,我是设计师阿威今天给大家分享一下AI绘画工具StableDiffusion的实战教程,非常适合新手入门和巩固以往知识体系,同时我也准备了配套的学习资料,本教程没有难懂的理论,全是实操的截图,非常通俗易懂。本教程没有难懂的理论,全是实操的截图,非常通俗易懂。认真看完这篇教程,能......
  • AI 绘图 Stable Diffusion 真人漫改全流程跑通,看过来,照做就行了。
    今天给大家讲解SD如何实现真人漫改。文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。先上效果图:原图:Stablediffusion涉及的内容很多,对于初学者来说入门是有点困难,但是我......
  • AI绘画最强SD(Stable Diffusion)玩法实操教学案例及商业变现项目分享
    AI绘画现在越来越火爆了,很多人无论大人小孩都在玩,还有的很多电商老板也在使用辅助生成产品主图和详情页,可以说是非常的实用。而其中最让人追捧和好评的就是SD(StableDiffusion)这款AI绘图软件了,StableDiffusion是一款基于深度学习的图像生成工具,它可以根据文本描述生成高质......
  • 我用AI绘画Stable Diffusion设计建筑户型图,速度又快画的又好!AI打工不惧内卷了!
    大家好,我是程序员晓晓户型图设计是地产公司的常规工作,逐个房间填色摆放家具,忙忙碌碌一天才能完成一个户型,现在用我总结的AI设计工作流程,只要5分钟!现在普通人也能从事户型图设计工作。今天我们通过一个具体的工程案例,一起使用AI绘图工具快速精通户型图设计工作流程。我们先......
  • Stable Diffusion AI 4.8.7软件安装包下载及安装教程
    软件下载1.软件名称:StableDiffusionAI2.软件版本:4.8.73.软件大小:16.52GB4.安装环境:win7/win10/win11(64位)5.百度网盘下载地址:提示:建议先转存后下载,主页可获取更多行业软件和办公黑科技及素材等!软件介绍StableDiffusionAI是一款先进的以文本生成图像的AI工具,能......
  • Scalable Diffusion Models with Transformers(DIT)代码笔记
    完整代码来源:DiTDiT模型主要是在diffusion中,使用transformer模型替换了UNet模型,使用class来控制图像生成。根据论文,模型越大,patchsize越小,FID越小。模型越大,参数越多,patchsize越小,参与计算的信息就越多,模型效果越好。模型使用了Imagenet训练,有1000个分类,class_labe......
  • 【人工智能】如何选择AI绘画工具?Midjourney VS Stable Diffusion
    文章目录......