首页 > 其他分享 >Stable Diffusion 3.5最强模型全家桶来了,三个型号

Stable Diffusion 3.5最强模型全家桶来了,三个型号

时间:2024-10-23 17:19:19浏览次数:3  
标签:Diffusion AI 模型 Stability 3.5 Stable

就在刚刚,Stability AI发布了自家最强的模型Stable Diffusion 3.5,而且是一个全家桶,包含三个版本。

图片

链接:https://huggingface.co/stabilityai

Stable Diffusion 3.5 可以满足科研人员、业务爱好者、初创公司和企业的多样化需求,其中包括:

Stable Diffusion 3.5 Large:该基础模型拥有 80 亿参数,性能优于竞品模型并且响应迅速,是 Stable Diffusion 系列中最强大的模型。该模型非常适合 1 百万像素分辨率的专业用例。

Stable Diffusion 3.5 Large Turbo:该模型是 Stable Diffusion 3.5 Large 的蒸馏版本,只需四步即可生成高质量图像,速度远快于Stable Diffusion 3.5 Large。

Stable Diffusion 3.5 Medium:该模型拥有 25亿参数,采用改进的MMDiT-X架构和训练方法,可在消费级硬件上「开箱即用」,在质量和定制易用性之间实现了平衡。该模型能够生成分辨率在0.25到2百万像素之间的图像。

可以看到,以上模型均有较大幅度的升级。Stability AI 表示,在今年 6 月发布Stable Diffusion 3 Medium后发现模型没有满足社区的期望。因此在听到反馈意见后没有采取快速修复措施,而是「花时间进一步开发了一个新版本,以推进改造视觉媒体的使命。」

模型开发技巧

在开发模型时,Stability AI优先考虑可定制性,以提供灵活的构建基础。为了实现这一点,他们将Query-Key Normalization集成到transformer块中,稳定了模型训练过程并简化了进一步的微调和开发。

为了支持下游灵活性,Stability AI还必须做出一些权衡。使用不同种子的同一提示可能会产生很大的输出差异,这是有意为之,因为它有助于在基础模型中保留更广泛的知识库和多样化的风格。不过,缺乏特异性的提示可能会导致输出不确定性增加,并且美学水平可能会有所不同。

尤其是针对Medium版本,Stability AI 对架构和训练协议进行了一些调整,以提高质量、连贯性和多分辨率生成能力。

模型的优势

据介绍,Stable Diffusion 3.5各版本模型在以下多个方面表现出色:

可定制性:轻松微调模型以满足特定创作需求,或根据定制的工作流程构建应用程序。

高效性能:经过优化,均可在标准消费级硬件上运行,尤其是 Stable Diffusion 3.5 Medium 和 Stable Diffusion 3.5 Large Turbo 型号。

多样化输出:无需大量提示,即可创建代表全世界的图像,而不仅仅是一种肤色和特征的人。

图片

风格多样:能够生成各种风格和美感的图片,如 3D、摄影、绘画、线条艺术以及几乎任何可以想象到的视觉风格。

图片

可见,在这一代的模型中,Stability AI已经提前考虑好了手机等设备的运行。

此外,Stability AI表示,Stable Diffusion 3.5 Large在prompt adherence方面处于领先地位,并且在图像质量方面可与更大的型号相媲美。

Stable Diffusion 3.5 Large Turbo在同类模型中,推理速度最快,同时在图像质量和及时性方面保持了高度竞争力,即使与类似尺寸的非蒸馏模型相比也是如此。

Stable Diffusion 3.5 Medium 的表现优于其他中型型号,在prompt adherence和图像质量之间实现了平衡,使其成为高效、高质量性能的首选。

图片

图片

有人第一时间对比了Stable Diffusion 3.5 Large与FLUX 1.1 pro的生图效果。

图片

除了Hugging Face上托管的模型以外,还有更多访问新模型的方式:

  • Stability AI API:https://platform.stability.ai/docs/api-reference#tag/Generate/paths/1v2beta1stable-image1generate1sd3/post
  • Replicate:https://replicate.com/stability-ai/stable-diffusion-3.5-large
  • ComfyUI:https://blog.comfy.org/sd3-5-comfyui/
  • 以及DeepInfra

此外,在新版本模型中,Stability AI 从开发的早期阶段就引入了安全、负责任的 AI 实践。

最后,Stability AI 表示,Stable Diffusion 3.5 Medium 将在 10 月 29 日公开发布。不久之后,ControlNets 也将推出,为各种专业用例提供高级控制功能。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

标签:Diffusion,AI,模型,Stability,3.5,Stable
From: https://blog.csdn.net/Trb201013/article/details/143189546

相关文章

  • 昇思MindSpore进阶教程--Diffusion扩散模型(下)
    大家好,我是刘明,明志科技创始人,华为昇思MindSpore布道师。技术上主攻前端开发、鸿蒙开发和AI算法研究。努力为大家带来持续的技术分享,如果你也喜欢我的文章,就点个关注吧数据准备与处理在这里我们定义一个正则数据集。数据集可以来自简单的真实数据集的图像组成,如Fashio......
  • [Paper Reading] HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Da
    目录HOIDiffusion:GeneratingRealistic3DHand-ObjectInteractionDataTL;DRMethod阶段一阶段二TrainingCode&&ImplementationExperiment效果可视化总结与发散HOIDiffusion:GeneratingRealistic3DHand-ObjectInteractionDatalink时间:24.03作者与单位:主页:https:......
  • Jenkins是构建状态为unstable,继续执行后续步骤
    jenkins中shell脚本执行失败,但构建结果仍然显示success的问题_jenkins自动化失败了返回还是成功-CSDN博客jenkin不必要的Executeshell执行失败,导致jenkins都失败的解决-每天1990-博客园(cnblogs.com)jenkins判断构建操作执行成功了还是失败可以通过返回0或1的结果。成......
  • 超详细的Stable Diffusion(SD)本地部署教程,小白一看就会。
    前言一、StableDiffusion是什么?简单来讲,StableDiffusion(简称SD)是一款AI自动生成图片的软件。我们输入文字,SD就能生成相应的图片,不再像过去那样需要把图片“画”出来或者“拍”出来。有人说,我在学习一个软件之前是不是得先了解它的原理呢?所有的AI设计工具,安装包......
  • PDF Shaper Professional v13.5 中文破解版
    PDFShaperProfessionalv13.5中文破解版https://www.aihao.cc/thread-93682-1-1.html新版变化Releasenotes-PDFShaperhttps://www.pdfshaper.com/release-notes.html•批量提取PDF中的文本、图像等内容•合并多个PDF文件为一个PDF即PDF合并功能•加密和解密PDF文......
  • 24最新Stable Diffusion 入门教程开篇!
    前言所有的AI设计工具,安装包、模型和插件,都已经整理好了,......
  • .netframework3.5安装被拒绝。Win1011系统Windows Update无法启动拒绝访问怎么办?【解
    原文链接:https://blog.csdn.net/qq_44905692/article/details/140434164安装.netframework3.5的时候,提示拒绝。查了下,windows更新服务是需要启动的,根本就找不到启动两个字,设置为自动也提示拒绝。用以下办法,显示了启动两个字,点击又显示1053报错,目前还没解决。打开注册表:1、通......
  • 对普通人来说,Stable diffusion 和 Midjourney 怎么选?他们有什么区别?
    这个问题我觉得挺好,因为虽然StableDiffusion(SD)和Midjourney(MJ)这2个AI绘画工具的名字已经深入广大AI爱好者的内心了,但对于普通人(包括刚接触到AI绘画的童鞋)来说,看到这2个名字仍然还是会感觉到陌生。那么,今天我就来给新手用户来讲讲这2个AI绘画工具的区别,我们应该如何选择?......
  • 超强AI绘画工具StableDiffusion,SD整合包V4.9 来了 版本win加mac安装包以及搭载PS安装
    众所周知,StableDiffusion是非常强大的AI绘图工具,今天为大家带来的是StableDiffusionSD整合包v4.9版本安装说明。这里带来的安装版本是9月最新整合包sd-webui-aki-v4.9版本。WIN加MAC一、整合包详细说明1、整合包升级的内容:torch2、xformers0.0.17、cu......
  • vue3.5 测试props解构能不能响应式
    代码测试<template><divclass='box'>demo:{{d}}<div><child:abc='abc'/></div></div></template><scriptlang='ts'setup>import{ref,reactive,comput......