首页 > 其他分享 >川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

时间:2024-01-04 15:37:03浏览次数:24  
标签:口型 视频 川普真会 同步 AI 嘴型 视频文件 VideoReTalking 表情

你能想到这种画面吗?霉霉在节目中用普通话接受采访,特朗普在老家用中文脱口秀,蔡明老师操着一口流利的英文调侃潘长江老师..

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员_人工智能

这听起来似乎很魔幻,可如今全部由VideoReTalking实现了

你只需要传入一个视频文件和音频文件,它会生成一个新的视频,在这个视频里,不仅人物的嘴型会与音频同步,就连表情也会随着声音的起伏发生变化,而整个过程都在没有用户干预的情况下按顺序处理

工作流程

1、表情引导:给定一个会说话的头像视频,使用表情编辑网络根据相同的表情模板修改每一帧的表情,从而生成具有规范表情的视频

2、口型同步:将规范表情视频与给定的音频一起输入口型同步网络以生成口型同步视频

3、面部增强:通过身份感知面部增强网络和后期处理提高合成面部的照片真实感

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员_图像处理_02


VideoReTalking最新中文版下载

百度网盘:百度网盘


VideoReTalking使用起来非常简单,只需要3步

1、在下载资源的根目录找到examples\face文件夹,选择其中的视频文件

2、选择examples\audio文件夹下的音频文件

3、点击“开始”按钮

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员_人工智能_03

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员_AI视频_04

在控制台中,可以查看当前的处理进度,程序执行完毕会输出信息outfile: results/output.mp4

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员_AI视频_05

注意事项

①上传的视频中只能有一张人脸且每帧都要有人脸,人脸要求清晰可识别、不宜过大

②FaceDet进度到100%,控制台不接着打印信息是正常现象,需要等待一段时间

③视频处理速度和GPU有关,这里推荐gtx1060以上显卡,不支持A卡


标签:口型,视频,川普真会,同步,AI,嘴型,视频文件,VideoReTalking,表情
From: https://blog.51cto.com/u_16391614/9101536

相关文章

  • 特别策划:我们距AIGC的“奇点”还有多远?
    AIGC可能是当前科技圈最不容许忽视的趋势。根据咨询公司预测*,2023年中国AIGC产业规模约为143亿元,随着底层算力与大模型的完善,有望在2030年突破至惊人的万亿级。AIGC技术的落地正被无数双眼睛殷切关注着。在与商业价值联结最为紧密的应用层,生成式语音、图像及视频、虚拟数字人无不与......
  • JetBrains AppCode 2023.1 (macOS x64、aarch64) - 适用于 iOS/macOS 开发的智能 IDE
    Xcode14.3compatibility,Swiftrefactoringsandintentions,theIDE’sUI,andKotlinMultiplatformMobile.作者主页:sysin.orgJetBrainsAppCode-适用于iOS/macOS开发的智能IDEAppCode2023现已推出,立即了解最新变化为什么选择AppCode得益于对代码结构的深刻理解,Ap......
  • 使用CMakeLists.txt创建一个动态库工程Demo给main程序使用
    主要需求是把hello程序编译动态库,再main程序或者第三方程序执行的时候动态加载。工程目录如下:$ls-al*-rw-r--r--1neuti197609352Oct2019:30CMakeLists.txtinclude:total1drwxr-xr-x1neuti1976090Oct2019:30./drwxr-xr-x1neuti1976090Oct201......
  • DockerCompose中重启某个服务时提示: (iptables failed: iptables --wait -t nat -A D
    场景DockerCompose修改某个服务的配置(添加或编辑端口号映射)后如何重启单个服务使其生效:DockerCompose修改某个服务的配置(添加或编辑端口号映射)后如何重启单个服务使其生效_docker-compose修改端口映射基于docker-compose的方式,如果只是要单纯的重启某个服务,则可以通过docker-c......
  • Apple Logic Pro 10.7 (Logic Pro 10.7 + MainStage 3.5 (Universal))
    作者:gc,主页:www.sysin.orgLogicPro本领先声夺人,创意一鸣惊人。使用实时循环乐段,以全新方式进行音乐创作和即兴演奏。借助采样器和快速采样器将声音转化为乐器。通过步进音序器来快速制作鼓点节拍和旋律模式。利用LogicRemote在iPad或iPhone上掌控乐曲的创作。LogicProMai......
  • 语音AI小夜灯项目
    一、项目简介使用ESP32-S3N8R8模块作为主控芯片,S3内核增加了用于加速神经网络计算和信号处理等的指令,这使得我们可以使用它来快速解析训练好的语音模型进行语音识别的功能。二、原理解析本项目由四个部分组成,电源部分、LED照明部分、主控部分、语音识别拓展部分,本项目主要是通过麦......
  • 程序员这个职业终将无法被取代,即使AI再怎么发展也不行
    前言程序员这个职业终将无法被取代,即使AI再怎么发展也不行,你可能会说为什么?那么你首先想想AI的数据模型,AI的算法,AI的代码是谁写的?难道是凭空产生的吗?只要还是程序员写的,那么AI就一定会受到限制。即使有一天AI真的发展到可以完全取代程序员的那一步,那这个世界又会变成什么样子?AI再怎......
  • AI边缘计算智能分析网关V4如何配置周界入侵检测算法
    旭帆科技的智能分析网关V4内含近40种智能分析算法,包括人体、车辆、消防、环境卫生、异常检测等等,在消防安全、生产安全、行为检测等场景应用十分广泛,如常见的智慧工地、智慧校园、智慧景区、智慧城管等等,还支持抓拍、记录、告警、平台级联等功能。算法稳定,识别高效,感兴趣的用户可以......
  • AI原生应用开发“三板斧”亮相WAVE SUMMIT+2023
    面对AI应用创新的风口跃跃欲试,满脑子idea,却苦于缺乏技术背景,不得不望而却步,这曾是许多开发者的苦恼,如今正在成为过去。12月28日,WAVESUMMIT+深度学习开发者大会2023在北京举办。百度AI技术生态总经理马艳军最新发布飞桨开源框架2.6版本和大模型重构的开发工具链,包括全新发布Comate......
  • AI的突破与融合:2024年中国智能技术的新纪元_光点科技
    随着人工智能领域的不断突破,2024年注定将成为中国智能技术发展的一个新纪元。当下,AI技术不仅在理论研究上取得了重大进展,其在商业应用、社会服务等领域的融合也日益深入。本文将结合近期网络上的AI热点,展望中国在AI技术方面的发展趋势和应用前景。AI技术的商业化突破近期,中国AI领域......