首页 > 其他分享 >AnimateDiff:一款强大的制作丝滑动画视频插件,轻松让你的图片动起来

AnimateDiff:一款强大的制作丝滑动画视频插件,轻松让你的图片动起来

时间:2024-11-10 11:14:43浏览次数:3  
标签:动画 插件 模型 AIGC AnimateDiff 总帧 滑动

得益于Stable Diffusion的开源,目前很多开发者推出了基于SD生成动画和视频的应用技术和扩展插件,在众多的技术中,AnimateDiff插件以“效果丝滑、稳定、无闪烁”等特性,成为目前Stable diffusion中效果最好的生成动画视频插件之一。今天就给大家详细介绍一下在Stable diffusion中快速生成动画的插件AnimateDiff。

一.AnimateDiff插件介绍

AnimateDiff,它的全称是Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning,翻译成中文就是:无需特定调整即可为您的个性化文本到图像扩散模型制作动画。它是一款能制作丝滑动画视频效果的插件,目前主要有3个不同的版本,Stable Diffusion WebUI版本,ComfyUI版本和一个纯代码版本。

本文主要以Stable Diffusion WebUI版本进行讲解。AnimateDiff在Stable Diffusion WebUI中使用非常的简单直接,没有太多参数设置,主要依赖SD自身功能,就可以很好实现文生动画、图生动画、视频重绘动画等动画方式,动画的效果流畅稳定,动作也很准确。

我们先看一下官网生成动画的效果。

如果想深入研究AnimateDiff可以参照以下文档。

论文:https://arxiv.org/abs/2307.04725

github:https://animatediff.github.io/

        https://github.com/guoyww/animatediff/

二. AnimateDiff插件安装

AnimateDiff插件安装

插件地址:https://github.com/continue-revolution/sd-webui-animatediff.git
如果无法安装,请看文末获取插件安装包

AnimateDiff 模型下载

插件安装好之后,还需要下载一个动画模型和八个控制镜头的LoRA模型,(控制镜头的模型可以不用下载,但是动画模型必须下载),动画模型下载V2版本的“mm_sd_v15_v2.ckpt“即可,它是目前最稳定效果最好的。最近刚刚发布v3版本了。

下载地址:https://huggingface.co/guoyww/animatediff/tree/main
如果无法下载安装,请看文末获取插件安装包

下载好AnimateDiff模型后将把模型放到对应的文件夹里面。“mm_sd_v15_v2.ckpt”模型放到"…\\extensions\sd-webui-animatediff\model"目录下面,LoRA模型放到"…\\models\lora"目录下面即可。

安装完成后,重启SD WebUI,就可以看到我们安装的AnimateDiff插件了。

三. AnimateDiff的参数说明

关于AnimateDiff插件的参数说明可以参照文档:https://github.com/continue-revolution/sd-webui-animatediff#webui-parameters。

这里简要对各个重点参数进行说明。

(1)动画模型(Motion Module):推荐选择mm_sd_v15_v2.ckpt。

(2)启用 AnimateDiff:勾选启用AnimateDiff插件。

(3)保存格式(Save Format):支持GIF、MP4、WEBP、WEBM等格式。
(4)总帧数(Number of frames)和帧率(FPS):帧率默认值是8,也就是每秒8帧,即1秒8张图片,如果要要生成一个2秒的动画就是8*2=16(总帧数),4秒的动画就是8*4=32(总帧数),以此类推。

(5)显示循环数量(display of loop):只设置为0,就代表动画能无限次循环播放

(6)闭环(Closed loop)。闭环就是让最后一帧和第一帧保持一样,让动画无限循环。以下是闭环的4个选项的介绍:

  • N:指的是没有这种循环,也就是只能从头到尾,不会回到开始。

  • R-P:指的是尝试减少闭合循环上下文的数量。提示词旅程不会被插值为闭合循环。

  • R+P:指的是尝试减少闭合循环上下文的数量。提示词旅程会被插值为闭合循环。

  • A:指的是积极尝试让最后一帧和第一帧保持一样,也会将提示词旅程插值为闭合循环。

注意:提示旅程插值是一种计算方式,它用于调整和改变视频的帧与帧之间的内容,以达到更好的连续性和流畅度。

(7)上下文批单批数量(Context batch size):一次有多少帧将被传递到运动模块。该模型是用16帧进行训练的,所以当帧数设置为16时,它会给出最好的结果。

四. AnimateDiff使用体验

大模型:majicMix realistic V7

正向提示词:a super beautiful Chinese girl,very delicate features,long hair,delicate skin,big eyes,white sweater,necklace,standing in the street,upper body,

文生图相关参数设置如下:

AnimateDiff插件参数设置如下:

其中,总帧数为0,等同于16。

点击【生成】按钮,等待一会,就会生成的GIF动画效果图片了。

总帧数设置为24(3秒)。

总帧数设置为32(4秒)

我们尝试换一种大模型realisticVisionV20(官网实例使用到的模型)。

总帧数设置为16(2秒)

总帧数设置为24(3秒)

总帧数设置为32(4秒)

五. AnimateDiff使用注意事项

如果生成的动画中的前一秒和后一秒没有关联性,如下GIF动画。

可以在设置-Optimizations菜单中,勾选“Pad prompt/negative prompt to be same length ”选项。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

标签:动画,插件,模型,AIGC,AnimateDiff,总帧,滑动
From: https://blog.csdn.net/m0_59162559/article/details/143657969

相关文章

  • VSCode 提示或者强制用户安装某些插件?
    前言插件的使用使得VSCode能够满足从前端开发、后端开发到数据科学等多种需求。在团队协同开发中,确保每个开发者都安装了必要的插件,可以极大地提高开发效率和代码一致性。本指南将详细介绍如何在VSCode中提示用户安装特定插件,并确保这些插件得到正确配置。为什么需要插件?......
  • 谷歌浏览器最好的视频下载器插件-CocoCut视频下载器
    这是我目前遇到最好用的视频下载插件,没有之一。教程如下:打开播放视频的页面,选择你的插件,点击下载即可。如下图:下载地址:https://chromewebstore.google.com/detail/video-downloader-cococut/ekhbcipncbkfpkaianbjbcbmfehjflpf 官方网址:https://cococut.net免费用户每日有下......
  • lua插件之----【luaApp 应用类】
    API列表(自写API,供自查询。对您无用,不要看了) 接口原型说明luaApp.find根据APP特征字符查找APP包名,比如:anjian。关键词不区分大小写luaApp.lists获取所有已安装的APP的包名luaApp.getRuningLists获取所有正在运行的APPluaApp.exists指定APP是否安装luaApp......
  • lua插件之----【luaDate 日期类】
    API列表(自写API,供自查询。对您无用,不要看了)【须知】一、LUA中没有日期类型。在LUA中日期有二种表现方式: 1) 时间戳日期,比如:1731132998 2) 日期表,比如:{year=,month=,day=,hour=,min=,sec=} 二、本接口中,兼容了日期格式字符串。比如:2024-11-1213:14 三、本AP......
  • 深入 MyBatis-Plus 插件:解锁高级数据库功能
    一、关于Mybatis-Plus插件1.1简介Mybatis-Plus提供了丰富的插件机制,这些插件可以帮助开发者更方便地扩展Mybatis的功能,提升开发效率、优化性能和实现一些常用的功能。​‍1.2实现原理Mybatis-Plus的插件实现是基于MyBatis的拦截器机制,这些插件通过MybatisPlusInte......
  • lua插件之----【luaNumber 数字类】
    API列表(自写API,供自查询。对您无用,不要看了) 接口原型说明 luaNumber.isInt(n,than,zero) 检测是否是整形数。支持字符型数字luaNumber.isFloat(n,than)检测是否是浮点数。支持字符型数字luaNumber.rndInt(sInt,eInt)随机整数luaNumber.rndInts(sInt,......
  • 【Unity插件】STP (Survival Template PRO) 快速构建生存类游戏的核心功能
    STP(SurvivalTemplatePRO)是一款专为开发生存类游戏而设计的Unity插件,旨在提供一个基础框架,帮助开发者快速构建生存类游戏的核心功能。它包含了一些预制功能和模块,使开发者能够集中精力于游戏的内容和玩法,而不必从零开始编写复杂的生存系统。主要特点:玩家生命系统:生......
  • 【Unity生存游戏开发插件】STP Survival Template PRO(STP)快速搭建生存游戏的核心机制
    STPSurvivalTemplatePRO(STP)是Unity平台上专为生存类游戏开发的模板插件。它帮助开发者快速搭建生存游戏的核心机制,包含许多生存类游戏常见的功能模块,从而让开发者能集中精力于内容创作而非重复的基础架构搭建。以下是STPSurvivalTemplatePRO的主要功能和特点:1. 核心生......
  • lua插件之----【luaHttp 网页类】
    API列表(自写API,供自查询。对您无用,不要看了) 接口原型说明luaHttp.get(config)访问网址,注意它不是GET方式。可以POST数据luaHttp.upload(url,filePath,cookies)上传文件luaHttp.split(url)拆分urlluaHttp.isUrl(url)判断是否是网址格式luaHttp.queryT......
  • 网页突破复制粘贴Absolute Enable Right Click & Copy插件
    网页突破复制粘贴AbsoluteEnableRightClick&Copy插件,可以先下载,微软官方有edge,chrome系列浏览器可以用。步骤如下1、2、3、4、这样,浏览器浏览网页遇到不能复制粘贴,则可以打开扩展程序的指针,允许复制粘贴功能。即可。 ......