字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接

2024 年 8 月 26 日,字节开源了 FLUX Dev 的 Haper SD Lora。 只需要 8 步或者 16 步就可以用 FLUX 生成图片，大幅减少 FLUX 的生成时间。

建议 LoRA 比例约为 0.125，该比例可适应训练和指导，比例可保持在 3.5。较低步骤的 LoRA 即将推出。

大家可以点击下面文章链接， 文章包含模型下载链接，试用地址，项目介绍等，也欢迎大家关注公众号AIGC Studio。

字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片!

为了让更多的人体验到Hyper SD Lora的神奇效果，字节跳动在Huggingface上设立了演示空间。在这里可以直观地感受到FLUX8步Lora的绘图效果，亲眼见证AI绘图技术的飞跃。

相关链接

论文地址：https://arxiv.org/pdf/2404.13686 项目地址：https://hyper-sd.github.io/

模型链接：https://huggingface.co/ByteDance/Hyper-SD

试用地址：https://huggingface.co/spaces/ByteDance/Hyper-FLUX-8Steps-LoRA

论文阅读

Hyper-SD：用于高效图像合成的轨迹分段一致性模型

摘要

最近，出现了一系列考虑扩散的蒸馏算法，以减轻与扩散模型 (DM) 的多步推理过程相关的计算开销。当前的蒸馏技术通常分为两个不同的方面：i）ODE 轨迹保存；ii）ODE 轨迹重构。然而，这些方法存在严重的性能下降或领域转移。

为了解决这些限制，我们提出了Hyper-SD，这是一个新颖的框架，它协同融合了 ODE 轨迹保存和重构的优点，同时在步骤压缩期间保持近乎无损的性能。首先，我们引入轨迹分段一致性蒸馏，以在预定义的时间步长段内逐步执行一致性蒸馏，这有助于从高阶角度保留原始 ODE 轨迹。其次，我们结合人工反馈学习来提高模型在低步长范围内的性能，并减轻蒸馏过程造成的性能损失。第三，我们集成了分数蒸馏，以进一步提高模型的低步生成能力，并首次尝试利用统一的 LoRA 支持所有步骤的推理过程。

大量实验和用户研究表明，对于 SDXL 和 SD1.5，Hyper-SD 在 1 到 8 个推理步骤中都实现了 SOTA 性能。例如，在 1 步推理中，Hyper-SDXL 在 CLIP 分数上超过 SDXL-Lightning +0.68 ，在 Aes 分数上 超过 +0.51 。

方法

Hyper-SD 采用两阶段渐进式一致性蒸馏。第一阶段在两个不同的时间段 [0, T/2] 和 [T/2 , T] 进行一致性蒸馏，以获得两段一致性 ODE。然后，在后续阶段采用此 ODE 轨迹来训练全局一致性模型。

实验

Hyper-SD 与其他方法之间的视觉比较。从第一列到第四列，这些图像的提示分别是

1. 一只穿着白色 T 恤的狗，上面写着 "hyper" 一词…
2. 抽象美、接近完美、纯粹的形式、黄金比例、简约、未完成…
3. 一颗水晶心躺在宁静的禅宗花园的苔藓上……
4. 科学家雄鹿的拟人化艺术，维多利亚风格的服装，由 krenz cushart 创作...。

Hyper-SD 与 SDXL 架构上其他基于 LoRA 的加速方法之间的定性比较。

Hyper-SD 与其他基于 LoRA 的加速方法在 SD15 架构上的定性比较。

Hyper-SD 与现有的专注于加速的方法相比表现出了显著的优势，并在 SD1.5 和 SDXL 架构上获得了更多的用户偏好。

具有不同步骤的 Hyper-SD LoRA 可应用于不同的基础模型，并持续生成高质量图像

Hyper-SD 的统一 LoRA 与 ControlNet 兼容。示例以涂鸦或精明图像为条件。

结论

我们提出了 Hyper-SD，这是一个统一的框架，可最大限度地提高扩散模型的几步生成能力，在 SDXL 和 SD15 的基础上实现了新的 SOTA 性能。通过采用轨迹分段一致性蒸馏，我们增强了蒸馏过程中的轨迹保存能力，接近原始模型的生成能力。然后，人工反馈学习和变分分数蒸馏激发了少步推理的潜力，从而为生成模型提供了更优化和更高效的轨迹。我们为 SDXL 和 SD15 开源了从 1 到 8 步推理的 LoRA，以及专用的一步 SDXL 模型，旨在进一步推动生成 AI 社区的发展。