首页 > 其他分享 >四步轻松搞定!探索字节最新AnimateDiff-Lightning:高质量视频生成的秘密武器!

四步轻松搞定!探索字节最新AnimateDiff-Lightning:高质量视频生成的秘密武器!

时间:2024-12-10 10:02:27浏览次数:7  
标签:视频 AI ComfyUI 模型 Lightning 四步 AnimateDiff LoRA

AnimateDiff-Lightning,它是一种快速的文本到视频[生成模型]。它生成视频的速度比原始
AnimateDiff 快十倍以上,只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。

01.介绍

该模型采用了渐进式对抗扩散蒸馏技术,恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏,提高蒸馏模块泛化到不同的风格化基本模型的能力。

这一突破性进展也为 AI视频生成领域 带来了新的可能性。

尤其是与 Contorlnet 的配合下,视频转绘 的工作流程有望迎来全新的升级。
在这里插入图片描述

此外,字节团队还开源提供了对应的Comfyui工作流程,为开发者提供了一套完整且高效的解决方案。
在这里插入图片描述

值得一提的是,AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2
中精心提炼而来,包含了1步、2步、4步和8步提炼模型。

其中,2步、4步和8步模型的生成质量表现尤为突出,为用户带来更加优质的体验。

除了模型本身的优秀表现,字节还建议使用运动LoRA来进一步提升视频质量。运动LoRA能够产生更强的运动效果,建议选择强度在0.7~0.8之间的运动LoRA以避免水印等干扰因素。

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

02.使用

主要特色功能
  • 仅需 4-8 步推理,就能生成高质量视频,速度快效果好。

  • 与 Contorlnet 配合,提升视频转绘工作流程。

  • 提供 Comfyui 工作流程,方便开发者使用。

  • 推荐使用运动 LoRA,增强运动效果

应用场景

AnimateDiff-Lightning 模型 的应用场景可以很广泛,不限于影视制作、广告宣传、教育培训等多个领域。

03.操作

好了,介绍就到这里,我们来 ComfyUI 中体验一下。

工作流使用到了两个插件:ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite

直接在 ComfyUI 管理器 中搜索安装即可;或者直接导入工作流,在 管理器 中安装缺失节点也是可以的。

这里安装好插件以后,记得要把网盘中的文件模型放入指定目录下:

\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models


  * 1

好了,直接上工作流。

正常文生图的节点听雨这里就不讲了,我们讲下和 AnimateDiff 相关的几个节点:

这个节点,主要是用来选择 AnimateDiff 的模型,这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。

调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法,这里我们选择 sqrt_linear (AnimateDiff) 就可以了。

在这里插入图片描述

这里的步数需要和上一个节点选择的模型一致,选择的是 2 步模型,这里的步数就选 2。

CFG 默认 1.0 即可,采样器和调度器也选择默认的 euler 和 sgm_uniform。

以下的两个节点也是联合使用的,批次大小代表总共生成多少张图片。

帧率代表每秒的视频包含多少张图片,以下就代表 1 秒的视频里包含了 16 张图片,包含的图片越多,人物的动作幅度越大,相对也就不太稳定。

批次大小 16,帧率 16,代表生成 1 秒的视频;如果想要生成 2 秒的视频,那就把批次大小改成 32,以此类推。

循环次数就是同一段视频循环几次。

格式就是输出的视频格式了,有很多格式可选,包括 gif、mp4、webp等等。

也可以结合 AnimateDiff 的运动 Lora 模型,只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个
动态LoRA加载器 就可以了。

这里的 LoRA 模型分别代表了向左向右,逆时针顺时针,向下向上,拉近拉运,还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。

LoRA 模型也需要放在指定的目录下:

\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora


  * 1

在这里插入图片描述

顺便把测试的几个视频也发一下:

在这里插入图片描述

在这里插入图片描述

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。 二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

标签:视频,AI,ComfyUI,模型,Lightning,四步,AnimateDiff,LoRA
From: https://blog.csdn.net/m0_56144365/article/details/144365572

相关文章

  • 【stablediffusion动画教程】AnimateDiff 目前生成视频最流畅的SD插件 | stablediffus
    前言测试了下最近比较火的AnimateDiff,感觉确实蛮棒的,画面流畅没有闪帧的问题,真的感觉视频生成又近了一步,下面小刚分享下基本的使用方法。效果预览(电脑配置不行仅作参考):一、安装插件(以秋叶大佬的整合包为例):AnimateDiff项目:https://github.com/guoyww/AnimateDiffWe......
  • 神经网络入门实战:(九)分类问题 → 神经网络模型搭建模版和训练四步曲
    (一)神经网络模型搭建官方文档每一层基本都有权重和偏置,可以仔细看官方文档。pytorch官网的库:torch.nn—PyTorch2.5documentationContainers库:用来搭建神经网络框架(包含所有的神经网络的框架);特征提取:ConvolutionLayers:用来搭建卷积层;Poolinglayers:用来搭建池......
  • 国产AI逆袭!零一万物新模型Yi-Lightning超越 GPT-4o
    近日,由全球千万用户盲测投票产生的AI模型排行榜公布,国产AI模型“Yi-Lightning”逆袭,超越了此前长期占据榜首的GPT-4。“Yi-Lightning”模型由国内知名AI公司零一万物研发,在多个分榜中均名列前茅,其中数学分榜更是与国际巨头并列第三。值得关注的是,“Yi-Lightning”......
  • Stable Diffusion绘画 | AnimateDiff:用AI制作动画(附插件安装包)
    使用AnimateDiff插件,我们只需要按时间节点,输入不同的提示词,就可以非常轻松地生成一系列丝滑的动画。AnimateDiff的底层技术框架,是由上海人工智能实验室&香港中文大学&斯坦福大学联合研发的,它能很好地结合SD的各种模型,以及配合ControlNet和Upscale来生成出......
  • 【Java SpringBoot + Vue】打造专属动漫插画分享系统,四步掌握建站精髓,让动漫爱好者轻
    ......
  • WebM视频如何转为MP4格式?四步搞定常见视频转换
    WebM是一种开放的、免版税的多媒体容器格式,而MP4则更普遍地被各类设备支持。如果你有需要将WebM格式的视频转换为MP4格式,那么本教程简鹿办公将会指导你如何使用简鹿视频格式转换器完成这一任务。WebM转MP4步骤指南简鹿视频格式转换器Win在线包https://downloadopen......
  • 使用PyTorch Lightning力量精简空间分析
    大家好,随着人工智能热潮的全面兴起,PyTorchLightning库正在获得越来越多的关注。其特别突出的地方在于简化复杂的机器学习操作,即使对于非开发者也是如此。深度学习和部分机器学习中的许多挑战性方面,如多GPU训练和实验跟踪,都由该框架自动处理,同时保持了PyTorch的灵活性和高效性......
  • 如何用图表控件LightningChart Python实现检测应用?
    LightningChartPython是知名图表控件公司LightningChartLtd正在研发的Python图表,目前还未正式推出,感兴趣的朋友可以戳下方链接申请试用!立即申请LightningChartPython试用什么是结构健康监测(SHM)?结构健康监测(SHM)是指实施结构损伤检测策略的过程,SHM涉及使用传感器和......
  • 2.g++分步编译演示从源码到执行程序的四步
    2.g++分步编译演示从源码到执行程序的四步2.1gcc的工作流程gcc编译器将c源文件到生成一个可执行程序,中间一共经历了四个步骤:四个步骤并不是gcc独立完成的,而是在内部调用了其他工具,从而完成了整个工作流程,其中编译最耗时,因为要逐行检查语法。gcc的工作流程:1.预处理:cpp预......
  • AI: 了解字节跳动的开源的奇迹 AnimateDiff-Lightning 文生视频大模型
    在不断发展的人工智能领域,开源贡献在推动技术进步和使前沿工具更广泛地可用方面起着至关重要的作用。字节跳动,这个科技界的知名企业,最近通过他们在HuggingFace上发布的模型AnimateDiff-Lightning,做出了重大贡献。本文将深入探讨AnimateDiff-Lightning的功能和优势,强调它为......