首页 > 其他分享 >StableVideo:使用Stable Diffusion生成连续无闪烁的视频

StableVideo:使用Stable Diffusion生成连续无闪烁的视频

时间:2023-08-24 11:35:55浏览次数:31  
标签:Diffusion 视频 编辑 论文 StableVideo Stable

使用Stable Diffusion生成视频一直是人们的研究目标,但是我们遇到的最大问题是视频帧和帧之间的闪烁,但是最新的论文则着力解决这个问题。

本文总结了Chai等人的论文《StableVideo: Text-driven consistency -aware Diffusion Video Editing》,该论文提出了一种新的方法,使扩散模型能够编辑具有高时间一致性的视频。关键思想是:

1、帧间传播,获得一致的目标外观

2、图集聚合,获得连贯的运动和几何

论文的实验表明,与最先进的方法相比,视频编辑效果更好。

论文提出的StableVideo是一个文本驱动的视频编辑框架,通过对自然视频的大量实验表明,与其他基于扩散的方法相比,StableVideo在保持几何形状和时间连续性的情况下产生优越的编辑结果。

 

https://avoid.overfit.cn/post/bc9b051949ea48078de19b3d5622e326

标签:Diffusion,视频,编辑,论文,StableVideo,Stable
From: https://www.cnblogs.com/deephub/p/17653735.html

相关文章

  • 语音合成技术6:DuTa-VC: A Duration-aware Typical-to-atypical Voice Conversion Appr
    DuTa-VC:一种具有扩散概率模型的时长感知典型到非典型语音转换方法摘要我们提出了一种新颖的典型到非典型语音转换方法(DuTa-VC),它具有以下特点:(i)可以使用非平行数据进行训练,(ii)首次引入了扩散概率模型,(iii)保留了目标说话者的身份,(iv)了解目标说话者的音素持续时间。DuTa-VC由三个部分......
  • 手把手教你在云环境炼丹:Stable Diffusion LoRA 模型保姆级炼制教程
    很多同学都想要自己的专属AI模型,但是大模型的训练比较费时费力,不太适合普通用户玩。AI开发者们也意识到了这个问题,所以就产生了微调模型,LoRA就是其中的一种。在AI绘画领域,只需要少量的一些图片,就可以训练出一个专属风格的LoRA模型,比如某人的脸、某个姿势、某种画风、某种物体,等......
  • 1. Stable Diffusion 提示词篇
    一.提示词1.正向提示词正面:(masterpiece:1.2),bestquality,masterpiece,original,extremelydetailedwallpaper,perfectlighting,(extremelydetailedCG:1.2)2.反向提示词反面:NSFW,(worstquality:2),(lowquality:2),(normalquality:2),normalquality......
  • 【收藏】Stable Diffusion 制作光影文字效果
    作者:Jessie大家对于最近StableDiffusion不断出新的视觉“整活”印象都很深刻,很多人对最近比较流行的制作光影文字很感兴趣,制作光影文字可以作为进阶StableDiffusion的必备一课,本文将详细讲解基于函数计算部署StableDiffusion实现光影文字效果,观看文章需要5分钟,看完......
  • 【收藏】Stable Diffusion 制作光影文字效果
    作者:Jessie大家对于最近StableDiffusion不断出新的视觉“整活”印象都很深刻,很多人对最近比较流行的制作光影文字很感兴趣,制作光影文字可以作为进阶StableDiffusion的必备一课,本文将详细讲解基于函数计算部署StableDiffusion实现光影文字效果,观看文章需要5分钟,看完即会......
  • Stable Diffusion学习笔记
    一、使用讯飞星火大模型生成StableDiffusionprompt(提示词)#StableDiffusionprompt助理你来充当一位有艺术气息的StableDiffusionprompt助理。##任务我用自然语言告诉你要生成的prompt的主题,你的任务是根据这个主题想象一幅完整的画面,然后转化成一份详细的、高......
  • Stable Diffusion基础:ControlNet之人体姿势控制
    在AI绘画中精确控制图片是一件比较困难的事情,不过随着ControlNet的诞生,这一问题得到了很大的缓解。今天我就给大家分享一个使用StableDiffusionWebUI+OpenPoseControlNet复制照片人物姿势的方法,效果可以参考上图。OpenPose可以控制人体的姿态、面部的表情,有时候还能......
  • 【收藏】Stable Diffusion 制作光影文字效果
    大家对于最近StableDiffusion不断出新的视觉“整活”印象都很深刻,很多人对最近比较流行的制作光影文字很感兴趣,制作光影文字可以作为进阶StableDiffusion的必备一课,本文将详细讲解基于函数计算部署StableDiffusion实现光影文字效果,观看文章需要5分钟,看完即会赶紧尝试!......
  • Latent Diffusion Model搭建过程
    目录源码拷贝虚拟环境VSCode带命令行参数运行py文件问题记录此方式在服务器(Ubuntu)上安装StableDiffusion,使用miniconda虚拟环境。在Windows10系统上使用VScode远程开发方法进行调试和运行。注意:使用VSCode连接服务器远程开发调试,代码中的相对路径是打开文件夹的路径,并不是当前......
  • Latent Diffusion Model快读
    总览  原始的扩散模型训练及推理是在像素空间进行的,这将耗费大量的GPU和能量资源。为了缓解这一状况,作者提出了一种方案,将高分辨率图像的合成过程分解为两个过程:图像编解码和隐特征空间扩散。图像编码器将像素空间中图像编码为隐特征latentcode(生成过程不需要此步骤)扩散模......