论文:https://openaccess.thecvf.com/content_CVPR_2019/papers/Huang_Mask_Scoring_R-CNN_CVPR_2019_paper.pdf
这篇文章的motivation在于质疑了mask rcnn中利用mask分类的confidence来作为mask完整性指标的标准。本文认为mask分类的confidence只能用于评估分类效果,因此本文为了让模型更好地观察到mask的完整性而提出了一个新的概念Mask IoU和新的网络块Mask IoU head。
1. Mask Scoring的定义
对于传统的mask rcnn,有:
\[S_{mask} = S_{cls} \]然而本文中,作者提出cls的置信度与mask的完整度之间关联性不大,因此引入了mask IoU,来让网络察觉到生成mask的完整度:
\[S_{mask} = S_{cls} \cdot S_{maskIoU} \]2. 总体网络结构
mask scoring的总体网络结构如下图所示:
从图中可以看出,mask scoring rcnn和mask rcnn的主要区别在于,本文多添加了一个mask IoU Head,其中的做法是将RoI Align后得到的归一化的Region proposal和经过Mask head得到的mask进行concat(不同的合并形式在后文中有讨论),并用得到的结果计算得到预测mask和ground truth之间的MaskIoU,并作为回归任务来引导网络的训练。
3. Concat的几种形式
本文中,作者提出了几种concat方式的设想,如下图所示:
最终,作者通过实验得出,(a) 方法在几种评估指标上的表现最好,如下图所示:
4. 可视化
可视化结果表明,本文提出的mask scoring rcnn,相比于mask rcnn,能够更好地反映出mask score与mask IoU之间的关系:
标签:Scoring,本文,mask,IoU,Mask,rcnn,RCNN From: https://www.cnblogs.com/pab-oolongtea/p/17999698