首页 > 编程语言 >【每周CV论文推荐】换脸算法都有哪些经典的思路?

【每周CV论文推荐】换脸算法都有哪些经典的思路?

时间:2022-10-12 18:06:25浏览次数:59  
标签:基于 arXiv 算法 人脸 图像 换脸 CV


欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

人脸伪造/换脸算法目前在一定程度上已经达到了以假乱真的效果,这个课题的研究也是由来已久,本次我们来介绍其中的几种重要思路。

作者&编辑 | 言有三

1 基于3D模型和光流的方法

早期的换脸算法其实不是我们这里要说的换脸算法,而应该称之为面部表情迁移算法,其中基于多张图像/视频序列的方法非常流行,以华盛顿大学的Suwajanakorn等人的研究为代表,主要是基于3D模型和稠密光流变换,我们公众号4年前有过简单的解读,可以参考​​三维人脸重建入门​​。

文章引用量:40+

推荐指数:✦✦✦✦✧

【每周CV论文推荐】换脸算法都有哪些经典的思路?_3d

[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.

[2] Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.

2 基于形状拟合的算法

基于形状拟合的方法是最直观的换脸算法,即检测到的关键点然后计算两个人脸形状之间的变形,再添加图像融合等后处理技术,目前在天天P图等应用中的换脸算法如此。

【每周CV论文推荐】换脸算法都有哪些经典的思路?_深度学习_02

[3] https://github.com/hrastnik/FaceSwap

3 基于风格迁移的算法

换脸算法保留了被换脸的表情,姿态,形状,同时使用了新脸的纹理,要实现的就是纹理的迁移,这可以使用已经较为成熟的风格迁移算法。

文章引用量:60+

推荐指数:✦✦✦✦✧

【每周CV论文推荐】换脸算法都有哪些经典的思路?_深度学习_03

[4] Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.

4 基于图像翻译的算法 

换脸算法是一个人脸到人脸的图像翻译问题,所以Pix2Pix,CycleGAN等模型自然可以直接被应用,在添加了人脸掩膜,姿态,光照等信息的监督下可以获得非常逼真的换脸结果。

推荐指数:✦✦✦✦✦

【每周CV论文推荐】换脸算法都有哪些经典的思路?_3d_04

[5] Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.

5 基于自编解码模型的算法

GAN等生成模型已经被广泛应用于人脸的编辑,我们在上期文章中给大家做过不少的相关介绍,可以参考​​【杂谈】GAN对人脸图像算法产生了哪些影响?​​。

当前最流行的Deepfakes就是在使用同样的编码器的约束下,分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸,感兴趣的可以参考开源代码[7]进行尝试。

推荐指数:✦✦✦✦✦

【每周CV论文推荐】换脸算法都有哪些经典的思路?_3d_05

[6] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.

[7] https://github.com/deepfakes/faceswap

标签:基于,arXiv,算法,人脸,图像,换脸,CV
From: https://blog.51cto.com/u_14122493/5751236

相关文章