AnimateDiff-Lightning,它是一种快速的文本到视频[生成模型]。它生成视频的速度比原始
AnimateDiff 快十倍以上,只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。
01.介绍
该模型采用了渐进式对抗扩散蒸馏技术,恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏,提高蒸馏模块泛化到不同的风格化基本模型的能力。
这一突破性进展也为 AI视频生成领域 带来了新的可能性。
尤其是与 Contorlnet 的配合下,视频转绘 的工作流程有望迎来全新的升级。
此外,字节团队还开源提供了对应的Comfyui工作流程,为开发者提供了一套完整且高效的解决方案。
值得一提的是,AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2
中精心提炼而来,包含了1步、2步、4步和8步提炼模型。
其中,2步、4步和8步模型的生成质量表现尤为突出,为用户带来更加优质的体验。
除了模型本身的优秀表现,字节还建议使用运动LoRA来进一步提升视频质量。运动LoRA能够产生更强的运动效果,建议选择强度在0.7~0.8之间的运动LoRA以避免水印等干扰因素。
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
02.使用
主要特色功能
-
仅需 4-8 步推理,就能生成高质量视频,速度快效果好。
-
与 Contorlnet 配合,提升视频转绘工作流程。
-
提供 Comfyui 工作流程,方便开发者使用。
-
推荐使用运动 LoRA,增强运动效果
应用场景
AnimateDiff-Lightning 模型 的应用场景可以很广泛,不限于影视制作、广告宣传、教育培训等多个领域。
03.操作
好了,介绍就到这里,我们来 ComfyUI 中体验一下。
工作流使用到了两个插件:ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite
直接在 ComfyUI 管理器 中搜索安装即可;或者直接导入工作流,在 管理器 中安装缺失节点也是可以的。
这里安装好插件以后,记得要把网盘中的文件模型放入指定目录下:
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models
* 1
好了,直接上工作流。
正常文生图的节点听雨这里就不讲了,我们讲下和 AnimateDiff 相关的几个节点:
这个节点,主要是用来选择 AnimateDiff 的模型,这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。
调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法,这里我们选择 sqrt_linear (AnimateDiff) 就可以了。
这里的步数需要和上一个节点选择的模型一致,选择的是 2 步模型,这里的步数就选 2。
CFG 默认 1.0 即可,采样器和调度器也选择默认的 euler 和 sgm_uniform。
以下的两个节点也是联合使用的,批次大小代表总共生成多少张图片。
帧率代表每秒的视频包含多少张图片,以下就代表 1 秒的视频里包含了 16 张图片,包含的图片越多,人物的动作幅度越大,相对也就不太稳定。
批次大小 16,帧率 16,代表生成 1 秒的视频;如果想要生成 2 秒的视频,那就把批次大小改成 32,以此类推。
循环次数就是同一段视频循环几次。
格式就是输出的视频格式了,有很多格式可选,包括 gif、mp4、webp等等。
也可以结合 AnimateDiff 的运动 Lora 模型,只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个
动态LoRA加载器 就可以了。
这里的 LoRA 模型分别代表了向左向右,逆时针顺时针,向下向上,拉近拉运,还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。
LoRA 模型也需要放在指定的目录下:
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora
* 1
在这里插入图片描述
顺便把测试的几个视频也发一下:
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。 二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍