题目:StyleTalk++: A Unified Framework for Controlling the Speaking Styles of Talking Heads
StyleTalk++:一个统一框架用于控制会说话头像的说话风格
作者:S. Wang; Y. Ma; Y. Ding; Z. Hu; C. Fan; T. Lv; Z. Deng; X. Yu
摘要
个体拥有独特的面部表情和头部姿势风格,这些风格反映了他们个性化的说话方式。现有的一次性说话头部方法无法捕捉这些个性化特征,因此在最终视频中无法产生多样化的说话风格。为了解决这一挑战,我们提出了一种一次性风格可控的说话面部生成方法,该方法可以从参考说话视频中获取说话风格,并用参考说话风格和另一段音频驱动一次性肖像说话。我们的方法旨在在一个统一的框架中合成可控的3D可变形模型(3D Morphable Model, 3DMM)的风格系数,包括面部表情和头部运动。具体来说,所提出的框架首先利用风格编码器从参考视频中提取所需的说话风格,并将其转换为风格代码。然后,框架使用风格感知解码器根据音频输入和风格代码合成3DM
标签:说话,框架,++,TPAMI,面部,2024,风格,StyleTalk From: https://blog.csdn.net/qq_42722197/article/details/140921945