摘要：完整图像的行人重识别在过去几年里获得了广泛研究并取得了长足的进步。然而，在现实场景中，行人往往会被物体或他人遮挡，造成partial的行人识别变得困难。本文提出了空间维度-通道维度并行网络（SCPNet），其中每个channel的特征都关注着身体某一部分。空间维度-通道维度对应关系监督网络学习具有辨别性的特征。在完整图像的Re-ID数据集上训练的模型不仅在完整图像的数据集取得了极具竞争力的结果而且在partial数据集也取得了不错的结果。
知识点解析：
创新点来源：当前，对于Re-ID的研究大都集中于完整图像的场景，而在现实世界中，摄像头抓拍的图像大都是存在遮挡的，即为partial行人图像，因此对于遮挡的Re-ID研究是非常有必要的。
研究现状：当前大部分Re-ID的研究集中于利用特征表示学习或相似性度量学习来得到图像的整体特征(全局特征)，该特征对于遮挡的情况非常敏感。一些算法利用部件和姿态引导对齐来学习局部特征，可以提高完整图像的Re-ID性能，但是对于partial 图像却无法很好的对齐造成错误识别。为了解决此问题，滑动窗口匹配（SWM）通过设置一个与查询图像(query)相同大小的滑动窗口，并使用它在每个gallery中搜索最相似的区域，为partial图像引入替代方案。然而，SWM要求query的图像大小小于gallery图像。进而将图像分割个多个大小相同part，进行part-part的匹配。显而易见，基于这种方法需要消耗大量的时间。深度空间特征重构（DSR）使用FCN来利用两张不同大小图像的重构误差，用直接重构来代替part-part的匹配的搜索，DSR加速了Re-ID的处理过程。但是,为了得到精度较高的partial行人重识别模型需要利用partial数据集进行训练。
而本文设计的空间维度-通道维度并行网络的端到端模型，可以实现只在完整图像上训练，在完整图像和partial图像上均能表现优异的结果。
本文方法：SCPNet网络包含全局分支和局部分支，其中全局分支使用GAP得到全局特征，局部分支将特征图从上到下水平分成多块，对每一块使用水平池化，得到局部特征。而且，为了使得全局特征可以包含局部特征的的信息，本文设计损失函数使得局部分支输出的局部特征利用全局特征。在先前的算法中，大都采用全局特征和局部特征融合来增加模型的性能，但这是以时间消耗为代价的。SCPNet因为全局特征中包含局部特征，从而只需要利用全局分支的输出就可以了，这样也可以降低时间和显存的消耗。接下来，将详细介绍SCPNet的架构。
对于任意图像，首先使用CNN提取其特征得到特征图（ C×H×W ）作为外观特征表示。然后利用卷积（ 1×1 ）扩充特征图的channel为（ C→RC ），其中R为水平块的个数。最后使用全局池化得到全局特征（ RC−d 的向量）；另一分支，将得打的特征图从上到下分成 R 个水平块，并对每个水平块进行全局池化，得到R 个局部特征（ C−d 的向量）。直观来说，全局特征表示整个行人，R 个局部特征代表不同的行人身体区域，使用任一特征单独训练，均有缺点。全局特征经常某一特而忽略其他局部信息；局部特征只对应身体的局部区域，由于感受野较小而导致缺少足够的表示相应身体区域的上下文信息。而且，由于检测框定位偏差，局部特征可能不能准确的对应身体区域。
为解决以上缺陷，本文提出了SCPNet。在得到全局特征和局部特征之后，每一个局部特征都应与全局特征的某一部分相匹配（相同颜色）。具体来说， r−th （ C−d 的向量）的局部特征，应该与全局特征的 rC→(r+1)C 的连续通道维的向量。以此实现使用局部特征迫使全局特征的每个部分都聚焦于特定的身体区域。空间维度-通道维度并行机制损失如下：
这实际是一个再学习过程，损失函数迫使每个通道维特征去学习相应的局部空间特征。这可以较好的应对错位，因为即使相关部位出现的在输入图像的其他位置，也可以从整个输入图像中自动提取相应的部分。因此，在局部特征的监督下，全局特征的每个部分都被迫学习对应于局部特征的特征表示。而且，与局部特征不同的是，全局特征的每个部分均有全局的感受野，从而可以更好地表示相应的局部区域。它也没有严格的空间分割，因此全局特征对姿态变化和不准确的边界框具有更强的鲁棒性。
值得注意的是，在训练过程中，主要使用了三个损失函数：分类损失、三元组损失和空间-通道平行损失。
实验：
标签：Holistic,Partial,Network,特征,局部,Re,图像,partial,全局 From： https://www.cnblogs.com/yaoao/p/16731281.html