【PRC】鲁棒跨域伪标记和对比学习的无监督域自适应NIR-VIS人脸识别 Robust Cross-Domain Pseudo-Labeling and Contrastive Learning fo

【该文章为杨学长的文章，膜拜】 探索跨领域数据中的内在关系并学习领域不变表示

由于需要在低光照条件下实现24h的人脸识别，近红外加可见光的(NIR-VIS)人脸识别受到了更多的关注。但是数据标注是一个难点。该文章提出了Robust crossdomain Pseudo-labeling and Contrastive learning (RPC) network，共有三个改进：NIR cluster-based Pseudo labels Sharing (NPS)、Domain-specific cluster Contrastive Learning (DCL)、Inter-domain cluster Contrastive Learning (ICL)

基于NIR集群的伪标签共享(NPS)

NPS通过探索鲁棒的NIR聚类并与VIS域共享可靠的标签知识来生成伪标签。利用label共享建立了可靠的跨域关联。

特定领域集群对比学习(DCL)

DCL被设计为学习域间紧凑但有区别的表示。在特定领域的domain-specific cluster level执行对比损失计算和动态内存更新来学习intra-domain的紧凑但有区别的表示。

域间集群对比学习(ICL)

ICL动态地组合和细化内在的身份关系，以指导实例级特征(instance-level features)学习鲁棒的和独立于领域的表示。

【引言第一段：简要介绍这一领域的意义】

【引言第二段：介绍了现有这一领域的相关研究方法并引出问题】

NIR-VIS face matching按照方法可以分为：领域不变描述符、基于子空间学习、和 跨域合成

domain-invariant descriptors, subspace-based learning, and cross-domain synthesis

但是以上方法都是需要标记数据的，限制了更大范围的实际应用【不是无监督的】

【引言第三段：介绍了无监督学习方法(在ReID领域)的相关研究方法】重在说明这一方法能用但是不能直接使用

无监督域适应Unsupervised Domain Adaptation (UDA)在ReID领域可以分为：域迁移方法 和 基于聚类的方法

domain translation methods and clustering-based methods

The domain translation methods aim to minimize the domain discrepancy between source domain images and target domain images by transfer learning.

The clustering-based methods employ clustering algorithms, like DBSCAN or K-means, to group features into clusters.

但是 无监督再识别方法都是同质的，该文章是先做异质的，即NIR-VIS。文章中共指出了四个不能直接用的原因。

【引言第四段：总结问题与难点并提出要干的事情】

NIRVIS-UDAHFR任务面临的挑战可以概括为两个方面:Pseudo-labeling和Performance improvement.

Pseudo-labeling：由于域差异较大，在NIR和VIS域之间建立关联，为NIR-VIS人脸图像分配统一的伪标签是一个挑战。

Performance improvement： 在训练过程中，必须减轻噪声标签的影响，消除域间隙，逐步提高模型性能和伪标签分配精度。