欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
当前人脸图像领域的研究和落地都发展得非常迅速,这几年里人脸领域中最令人振奋的莫过于人脸属性的编辑,实现了换脸、表情生成、年龄仿真等酷炫的应用,本次我们来介绍初入该领域值得阅读的文章。
作者&编辑 | 言有三
1 基于StyleGAN的通用人脸属性编辑
基于StyleGAN的人脸属性编辑是当下最主流的方法,由此引领了人脸属性编辑领域一系列重要的研究,想要学习相关算法首先要掌握好StyleGAN模型,在此基础之上,再掌握好Image2StyleGAN,GANSpace等内容,然后再继续进阶更新的模型。
文章引用量:4000+
推荐指数:✦✦✦✦✦
[1] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.
[2] Abdal R , Qin Y , Wonka P . Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?[J]. IEEE, 2019.
[3] Hrknen E , Hertzmann A , Lehtinen J , et al. GANSpace: Discovering Interpretable GAN Controls[J]. 2020.
2 人脸表情编辑
人脸表情的编辑可以广泛应用于娱乐社交领域,对表情进行归一化后也有助于提升大表情下人脸图像的关键点定位、人脸识别等算法的性能,是一个值得研究的问题。由于人脸的表情,主要是由嘴唇、鼻子、眼睛等面部单元的几何形变决定,它与人脸关键点任务有较大的关系,因此我们可以首先学习一个基于关键点控制的人脸表情编辑模型G2-GAN。
文章引用量:100+
推荐指数:✦✦✦✦✦
[4] Lingxiao Song, Zhihe Lu, Ran He, Zhenan Sun, Tieniu Tan. Geometry Guided Adversarial Facial Expression Synthesis. CoRR abs/1712.03474 (2018).
3 人脸年龄编辑
所谓年龄编辑,即更改照片中人的年龄属性。年龄变换在电影中应用比较广泛,例如年轻的演员在电影中变老,或年老的演员需要扮演年轻人等。在公安领域也有应用,比如寻找丢失多年的儿童;另外在生活娱乐以及客群分析统计中也有很多应用。年龄编辑包含了两个子问题,一个是变老(Age Progression),一个是变年轻(Age Regression)。
假设人脸图像处于一种高维流形(high-dimensional manifold)中,当图像在这个流形中沿着某个特定方向移动时,年龄就会随之发生自然的变化,基于此研究者提出了潜在空间的条件对抗自编码模型(Conditional Adversarial AutoEncoder,CAAE),大家可以首先学习该算法。
文章引用量:700+
推荐指数:✦✦✦✦✦
[5] Zhang Z, Song Y, Qi H. Age progression/regression by conditional adversarial autoencoder[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5810-5818.
4 人脸姿态编辑
大的姿态对于人脸关键点检测、人脸识别等算法都构成了挑战,姿态编辑算法可以仿真不同姿态的人脸,比如将大姿态的人脸校正到正脸,这有助于提升人脸识别等算法等性能。人脸姿态编辑可以用于仿真不同的姿态,对于提升大姿态的人脸关键点定位以及识别模型的精度有帮助。
由于人脸的姿态重建通常使用人脸三维重建来完成,当前基于GAN的人脸姿态编辑模型也经常需要人脸三维重建任务一起进行联合学习,因此我们可以首先学习基于3DMM模型的姿态编辑GAN框架。
文章引用量:400+
推荐指数:✦✦✦✦✦
[6] Shen Y, Luo P, Yan J, et al. Faceid-gan: Learning a symmetry three-player gan for identity-preserving face synthesis[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 821-830.
[7] Yin X, Yu X, Sohn K, et al. Towards large-pose face frontalization in the wild[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3990-3999.
5 人脸身份编辑
换脸算法,即对人脸身份进行编辑,使其变成另外一个人,在影视剧创作,娱乐社交领域中有较广泛的应用,它也对当前人脸识别模型构成了挑战。
当前最流行的Deepfakes就是在使用同样的编码器的约束下,分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸,感兴趣的可以参考开源代码[8]进行尝试。
文章引用量:300+
推荐指数:✦✦✦✦✦
[8] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[9] https://github.com/deepfakes/faceswap
6 如何进行实战
为了帮助大家掌握好基于StyleGAN的人脸属性编辑算法理论与实战,我们推出了相关的项目实战类课程,包括《StyleGAN v1人脸图像生成实战》,《StyleGAN人脸属性编辑实战》,对相关内容感兴趣的读者可以进一步阅读:
【项目实战课】基于Pytorch的StyleGAN v1人脸图像生成实战
【项目实战课】基于Pytorch的StyleGAN人脸属性(表情、年龄、性别)编辑实战
更多的人脸相关的数据集以及论文阅读交流在有三AI知识星球中进行,感兴趣可以了解。
【杂谈】有三AI知识星球指导手册出炉!和公众号相比又有哪些内容?
总结
本次我们简单介绍了人脸属性编辑的几大重要方向,以及初学该方向值得阅读学习的论文和参考资源,当下随着GAN技术的成熟落地,人脸属性编辑已经在各类商业产品中被广泛应用,值得人脸相关算法领域的从业人员掌握。
有三AI秋季划-人脸算法组
如果想要永久系统性地跟随我们社区学习人脸各个领域的内容,请关注有三AI-CV秋季划人脸算法组,阅读了解下文:
【CV秋季划】人脸算法那么多,如何循序渐进地学习好?
转载文章请后台联系
侵权必究
标签:StyleGAN,论文,编辑,算法,人脸,CV,姿态,属性 From: https://blog.51cto.com/u_14122493/5749358