人脸识别——Webface-OCC遮挡人脸识别算法解析

1. 概述

自2019年被誉为人脸识别技术的元年，各地纷纷引入这项技术。然而，自2020年起，为了抵御冠状病毒（COVID-19）的全球传播，人们普遍开始佩戴口罩。众所周知，现有人脸识别模型在面对遮挡物（如口罩）时，其识别精度会显著下降。这一现象的主要原因在于，现有数据集往往没有充分考虑遮挡因素。

目前，尚未有一个公开的数据集能够全面考虑人脸识别中的遮挡问题。尽管已有一些研究提出了针对遮挡感知的人脸识别模型，包括对面具和太阳镜的识别，但这些研究大多是基于自行构建的数据集。然而，这些自行构建的数据集与现实情况存在较大差异，因此其有效性受到限制。

例如，(a) 展示了2016年报道的MaskNet所使用的数据集样本。该数据集通过随机应用不同尺寸的黑色遮罩来模拟遮挡。然而，这种单一的遮挡类型预计会降低模型的泛化能力。此外，考虑到实际应用场景，这种咬合（遮挡）方式显得并不自然。

(b) 展示了2019年报道的成对差分连体网络（PDSN）所使用的三个数据集样本。这里提供了三种不同的遮挡类型，与(a)相比，遮挡类型的多样性有所增加。但是，从实际应用的角度来看，遮挡的位置和大小仍然不够自然。

© 展示了2020年报告的wID所使用的数据集样本。在这个数据集中，人脸图像被随机应用了方形框作为遮挡。尽管采用了综合方法，但这种方法仍然无法很好地适应实际条件。

近年来，使用生成对抗网络（GANs）的方法受到了广泛关注，因为它们能够生成视觉上更自然的遮挡图像。然而，这些图像在细节信息上的变化可能导致在这些图像上训练的人脸识别模型在实际应用中表现不佳。

因此，尽管目前已有一些考虑遮挡的数据集，但它们大多数与现实情况相去甚远。

为了改善这一状况，本文提出了一个新的公共遮挡感知数据集——Webface-OCC。(d) 展示了Webface-OCC的样本数据。该数据集包含10,575个不同主体的804,704张面部图像，涵盖了各种遮挡类型，有望为人脸识别技术的发展提供更贴近实际的支持。

论文地址：https://arxiv.org/abs/2103.02805
源码地址：https://github.com/Baojin-Huang/Webface-OCC

2. Webface-OCC

Webface-OCC是基于广泛使用的CASIA-Webface人脸识别数据集构建的。CASIA-Webface数据集包含了轻微遮挡的人脸图像，使得在该数据集上训练的人脸识别模型在小遮挡情况下表现出色。

为了进一步提升模型在遮挡条件下的表现，我们对CASIA-Webface进行了增强，创建了全新的Webface-OCC数据集。这一改进对于提高模型在面对遮挡时的人脸识别性能具有显著帮助。

以下是Webface-OCC数据集的示例。与以往使用方块随机遮挡人脸的方法不同，我们在Webface-OCC中采用了口罩和太阳镜等更符合实际情境的遮挡物，这些是人们在日常生活中经常遇到的。

Webface-OCC提供了多种类型的(a)纹理/颜色和(b)口罩/太阳镜，具体如下所示。然后，我们从未经遮挡的正常图像中提取了面部特征点。

接下来，利用这些面部特征点，我们通过精确地将口罩映射到覆盖口鼻区域，将太阳镜映射到覆盖眼睛区域，并调整它们的角度和大小，生成了一系列带有遮挡的人脸图像。

通过这种方式，我们增加了数据集的多样性，使得数据集包含了多种遮挡类型的组合。最终，Webface-OCC数据集包含了10,575个不同个体的804,704张人脸图像。
此外，数据集中每个ID都包含了正常和遮挡状态下的人脸图像，且两者数量相等，如下所示。

3.测试实验

Webface-OCC训练的模型在两种不同情境下进行了评估：

1. 一般人脸识别：使用了Labeled Faces in the Wild (LFW)、Celebrity Frontal-Profile in the Wild (CFP-FP) 和 AgeDB-30 数据集进行评估。
2. 遮挡人脸识别：使用了最新提出的LFW-mask、CFP-FP-mask、AgeDB-30-mask 和 Real-World Masked Face Dataset (RMFRD) 进行评估。

LFW-mask、CFP-FP-mask 和 AgeDB-30-mask 是在原始数据集的基础上添加了遮挡物，这些数据集在图像数量和比例上与原始数据集保持一致，没有变化。

评估所用的模型基于六种具有代表性的人脸识别架构：CenterFace、SphereFace、FaceNet、CosFace、ArcFace 和 MaskNet。特别地，FaceNet 和 ArcFace 还在 WiderFace 数据集上进行了重新训练，以进一步验证其性能。

评估结果显示，由于人脸方向和年龄差异的影响，CFP-FP 和 AgeDB-30 的准确率显著低于 LFW。然而，使用 Webface-OCC 训练的模型与原始模型相比，准确率仅下降了大约 1%，表明这些模型在一般人脸识别数据集上的整体表现仍然较高。

此外，重新训练的模型（特别是 FaceNet 和 ArcFace）在性能上明显优于原始模型。例如，ArcFace 在四个遮挡人脸识别数据集（LFW-mask、CFP-FP-mask、AgeDB-30-mask 和 RMFRD）上的准确率比原始模型分别提高了 36.22%、29.14%、27.04% 和 15.03%。

换言之，重新训练的模型在显著提升对遮挡人脸识别数据集的性能的同时，保持了对一般人脸识别数据集的高准确率。

与模拟遮挡的人脸识别数据集（LFW-mask、CFP-FP-FP-mask 和 AgeDB-30-mask）相比，真实遮挡的人脸识别数据集（RMFRD）的识别精度较低。这可能是由于 RMFRD 中遮挡物的未知性，或者是因为被试者是公众人物，他们可能会故意伪装，以隐藏自己的身份。

4.总结

本文介绍了一个新的公共数据集，专为闭塞感知人脸识别而设计。与传统的合成遮挡方法相比，我们采用了一种创新的面部特征点映射技术来合成遮挡物，这种方法更贴近现实世界的应用场景。我们提出了一种综合的遮挡合成方法，它能够更真实地模拟实际中的遮挡情况。

通过将此方法应用于现有的Webface数据集，我们成功构建了一个包含大规模遮挡图像的公共数据集。此外，我们在该数据集上对ArcFace模型进行了重新训练，结果表明，重新训练后的模型在LFW-Mask和RMFRD数据集上分别达到了97.08%和78.25%的高准确率。

据NIST等多个国际权威机构的报告，传统人脸识别模型在口罩遮挡下的准确率会有显著下降。我们预计，Webface-OCC的推出将为人脸识别领域带来一个规模更大、更多样化、更精确的遮挡人脸识别数据集，从而显著提升人脸识别模型的准确性。