首页 > 其他分享 >表情迁移大法,LivePortrait 帮你快速处理图片!

表情迁移大法,LivePortrait 帮你快速处理图片!

时间:2024-09-10 22:22:35浏览次数:10  
标签:视频 大法 模型 生成 点击 Video 迁移 可以 LivePortrait

LivePortrait 由快手可灵大模型团队开源,主要功能包括从单一图像生成生动动画、精确控制眼睛和嘴唇的动作、处理多个人物肖像的无缝拼接、支持多风格肖像、生成高分辨率动画等。该项目使用的是基于隐式关键点框架的 AI 肖像动画生成框架。它能够将驱动视频的表情和姿态迁移到静态或动态人像上,生成极具表现力的视频。

在最新版本中,模型加入了精确画像编辑,视频编辑等多个有趣的功能。

表情迁移大法,LivePortrait 帮你快速处理图片! _人工智能

使用云平台:OpenBayes

http://openbayes.com/console/signup?r=sony_0m6v

登录到 OpenBayes 平台后,打开「公共教程」,找到「LivePortrait 快手开源图生视频数字人 Demo」的教程。

表情迁移大法,LivePortrait 帮你快速处理图片! _深度学习_02

进入到教程界面后,点击右上角「克隆」。

表情迁移大法,LivePortrait 帮你快速处理图片! _图像处理_03

平台在克隆过程中以自动为我们配置好了模型文件,我们直接点击「下一步:选择算力」即可。

表情迁移大法,LivePortrait 帮你快速处理图片! _图像处理_04

平台会自动选择合适的算力资源和镜像版本,这里使用的是NVIDIA RTX 4090 的算力和 PyTorch 的镜像,点击「审核并执行」。可以使用文章开头的邀请链接,获得免费 RTX 4090 的使用时长!

表情迁移大法,LivePortrait 帮你快速处理图片! _图像处理_05

确认模型信息无误后,点击「继续执行」。

表情迁移大法,LivePortrait 帮你快速处理图片! _语言模型_06

稍等片刻,待系统分配好资源,状态栏显示为「运行中」后,将鼠标悬停在 API 地址处,点击链接进入模型。注意,使用 API 需要进行现进行实名认证~

表情迁移大法,LivePortrait 帮你快速处理图片! _自然语言处理_07

表情迁移大法,LivePortrait 帮你快速处理图片! _图像处理_08

进入 Demo 页面后,我们可以看到有多种模式供我们选择。

首先是最上方的,我们可以在 Image 栏中插入图片,在 Video 栏中插入表情参考的视频,点击生成后,模型就可以生成一段图片中人物做出相应动作的视频。

表情迁移大法,LivePortrait 帮你快速处理图片! _深度学习_09

在下方参数栏中可以选择是更注重视频的表情或是动作以及动作的流畅程度等。

表情迁移大法,LivePortrait 帮你快速处理图片! _图像处理_10

我们选择一个示例来进行演示。

表情迁移大法,LivePortrait 帮你快速处理图片! _语言模型_11

点击「Animate」生成。

表情迁移大法,LivePortrait 帮你快速处理图片! _自然语言处理_12

可以看到模型生成了对应的视频。

表情迁移大法,LivePortrait 帮你快速处理图片! _自然语言处理_13

在下方的 portrait Video Editing 中用户可以对视频中的内容进行相应的更改。

表情迁移大法,LivePortrait 帮你快速处理图片! _语言模型_14

精确编辑模式

用户可以自动选择改变眉毛形状,嘴巴大小,是否做了 wink 动作以及微笑程度等来生成新的图片,同时我们也可以改变面部的整体位置。我们选择一个示例来示范。

表情迁移大法,LivePortrait 帮你快速处理图片! _语言模型_15

可以看到模型根据我们给出的参数生成了对应的图片。

Retargeting Video 模式

target lip-openratio 可以调整视频中人物嘴巴的张开大小。当参数为 0 时,那么视频中人物的嘴巴时闭合的。我们选择一个视频,点击「Retargeting Video」生成。

表情迁移大法,LivePortrait 帮你快速处理图片! _语言模型_16

可以看到视频中人物的嘴巴是闭合的。

标签:视频,大法,模型,生成,点击,Video,迁移,可以,LivePortrait
From: https://blog.51cto.com/u_16815590/11973945

相关文章

  • 联邦迁移学习
    Finetune(微调)和FixedFeatureExtractor(固定特征提取器)确实有相似之处,但它们的关键区别在于模型参数的调整范围和任务的相似性。区别:Finetune(微调):所有层都参与训练:在Finetune中,预训练模型的所有层都会参与训练。虽然我们使用预训练权重进行初始化,但训练过程中会根据新......
  • 34-样式迁移
    类似于加了一层滤镜基于CNN的样式迁移:如下对于合成图片X,我们希望它的内容和输入的内容图片,放入同一个CNN,在某一个卷积层上,输出的与内容有关的特征能够匹配同时,,对于样式图片,我们希望合成图片X,和样式图片放入同一个CNN,在某一个卷积层上,输出的与样式有关的特征能够匹配。如果我......
  • ETL数据集成丨MySQL到MySQL的数据迁移实践
    前言MySQL数据迁移至另一MySQL数据库的过程,不仅是数据复制或移动的操作那么简单,它还涉及到一系列策略性考量和技术优化,旨在实现数据的高效、安全传输,以及确保目标系统的高性能运行。其深远意义在于为企业的数字化转型提供强有力的数据支撑,确保业务连续性与竞争力。ETLCloud作为......
  • KubeCon China 回顾|快手的 100% 资源利用率提升:从裸机迁移大规模 Redis 到 Kubernetes
    大家下午好,我是来自ApeCloud的吴学强,非常高兴能够在KubeCon做分享。今天的分享由我和来自快手的刘裕惺同学共同完成,我们分享的主题是将大规模的Redis实例从裸机迁移到Kubernetes上来提高资源的利用率。我们今天的议题包括几个方面,首先我会来简单介绍一下KubeBlock......
  • Kubernetes怎么进行NFS动态存储迁移
    环境查看系统环境#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core)#uname-aLinuxCentOS7K8SMaster010633.10.0-1160.108.1.el7.x86_64#1SMPThuJan2516:17:31UTC2024x86_64x86_64x86_64GNU/Linux软件环境#kubectlversionClientVersi......
  • 高级DBA培训04:Oracle11gR2迁移到国产麒麟操作系统(单机/RAC)
    一、高级DBA培训04:Oracle11gR2迁移到国产麒麟操作系统(单机/RAC)本课程大纲内容如下:(*)Oracle11gR2迁移到国产麒麟操作系统(单机)(*)Oracle11gR2迁移到国产麒麟操作系统(RAC)学习地址:https://edu.51cto.com/course/37405.html欢迎加入:51CTO学堂风哥大数据/Oracle/MySQL数据库学习专用QQ群:4541......
  • 栈迁移(详解)
    栈迁移原理栈迁移主要利用了leave_ret这个指令leave返回上级函数时,恢复原本的栈空间leavemovesp,ebppopebpret返回上级函数后,执行上级函数的命令ret等同于popeip(不存在这样的指令esp'''ebpret在函数的先执行到leave指令时,会将ebp处填充的地址pop到ebp中去......
  • LivePortrait: 让静态图像“活”起来、更好地控制图片/视频中人物的表情,新增动物模式,
     引言随着AI技术的飞速发展,图像生成与编辑的门槛不断降低,尤其在人像视频生成领域取得了令人瞩目的成就。快手可灵大模型团队开源的LivePortrait框架,以其出色的性能与创新的设计,引领了AI生成的新浪潮。LivePortrait不仅能够将静态图像转换为动态视频,还能精确控制面......
  • Salesforce 数据迁移
    关于整个Org迁移,都是在有限的时间里摸索着前行:1.整理好哪些元数据要迁移,PackMagix,整理好list,与客户确认,确认好后准备迁移;2.目前市面上有很多的迁移工具,选择一款适应你的,如果项目比较拮据,可以选择VSCode.3.可以从目标环境中使用Generatorxml,下载元数据,然后部署到目标环......
  • liveportrait_pytorch可以实现静态图模仿动态图面部动作AIGC模型
    LivePortrait论文LivePortrait:EfficientPortraitAnimationwithStitchingandRetargetingControlhttps://arxiv.org/pdf/2407.03168模型结构模型基于facevid2vid,并在此基础上进行改进。主要为,使用ConvNeXt-V2-Tiny作为backbone将原始的规范隐式关键点检测器L、头......