欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
人脸伪造/换脸算法目前在一定程度上已经达到了以假乱真的效果,这个课题的研究也是由来已久,本次我们来介绍其中的几种重要思路。
作者&编辑 | 言有三
1 基于3D模型和光流的方法
早期的换脸算法其实不是我们这里要说的换脸算法,而应该称之为面部表情迁移算法,其中基于多张图像/视频序列的方法非常流行,以华盛顿大学的Suwajanakorn等人的研究为代表,主要是基于3D模型和稠密光流变换,我们公众号4年前有过简单的解读,可以参考三维人脸重建入门。
文章引用量:40+
推荐指数:✦✦✦✦✧
[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.
[2] Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.
2 基于形状拟合的算法
基于形状拟合的方法是最直观的换脸算法,即检测到的关键点然后计算两个人脸形状之间的变形,再添加图像融合等后处理技术,目前在天天P图等应用中的换脸算法如此。
[3] https://github.com/hrastnik/FaceSwap
3 基于风格迁移的算法
换脸算法保留了被换脸的表情,姿态,形状,同时使用了新脸的纹理,要实现的就是纹理的迁移,这可以使用已经较为成熟的风格迁移算法。
文章引用量:60+
推荐指数:✦✦✦✦✧
[4] Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.
4 基于图像翻译的算法
换脸算法是一个人脸到人脸的图像翻译问题,所以Pix2Pix,CycleGAN等模型自然可以直接被应用,在添加了人脸掩膜,姿态,光照等信息的监督下可以获得非常逼真的换脸结果。
推荐指数:✦✦✦✦✦
[5] Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.
5 基于自编解码模型的算法
GAN等生成模型已经被广泛应用于人脸的编辑,我们在上期文章中给大家做过不少的相关介绍,可以参考【杂谈】GAN对人脸图像算法产生了哪些影响?。
当前最流行的Deepfakes就是在使用同样的编码器的约束下,分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸,感兴趣的可以参考开源代码[7]进行尝试。
推荐指数:✦✦✦✦✦
[6] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[7] https://github.com/deepfakes/faceswap
标签:基于,arXiv,算法,人脸,图像,换脸,CV From: https://blog.51cto.com/u_14122493/5751236