【论文速递】MMM2020 - 电子科技大学提出一种新颖的局部变换模块提升小样本分割泛化性能

【论文速递】MMM2020 - 电子科技大学提出一种新颖的局部变换模块提升小样本分割泛化性能

【论文原文】：A New Local Transformation Module for Few-shot Segmentation

【作者信息】：Yuwei Yang, Fanman Meng, Hongliang Li, Qingbo Wu,Xiaolong Xu and Shuai Chen

获取地址：https://arxiv.org/pdf/1910.05886.pdf

博主关键词： 小样本学习，语义分割，余弦相似，注意力

推荐相关论文：

-无

摘要：

小样本分割段对象区域的新类与一些手动注释。其关键步骤是建立支持图像(带标注图像)与查询图像(无标注图像)之间的转换模块，使支持图像的分割线索指导查询图像的分割。现有方法基于全局线索形成转换模型，但忽略了局部线索，本文验证了局部线索对转换非常重要。 提出了一种新的基于局部线索的变换模块，利用局部特征之间的关系进行变换。 为了提高网络的泛化性能，在基于余弦距离的高维度量嵌入空间中计算关系矩阵。此外，为了解决从低层次的局部关系到高层次语义线索的映射问题，我们提出了应用支持图像注释矩阵的广义逆矩阵对关系矩阵进行线性变换 ，该矩阵是非参数的、类别不可知的。矩阵转换的结果可以看作是一个具有高级语义线索的注意图，在此基础上可以简单地构建转换模块。本文提出的转换模块是一个通用模块，可用于替代现有的小样本分割框架中的转换模块。在Pascal VOC 2012数据集上验证了该方法的有效性。mIoU值在1次拍摄时达到57.0%，在5次拍摄时达到60.6%，分别比最先进的方法高出1.6%和3.5%。

关键词 -小样本分割，变换模块，注意力，矩阵变换

简介：

图像分割是计算机视觉的基本任务[1]。近年来，随着深度学习方法的快速发展，几种基于卷积神经网络的分割方法大大提高了图像分割的性能，如FCN[1]和DeepLab v3[2]。然而，这些方法严重依赖于大量的注释。为了克服这一缺点，提出了小样本分割任务[3]，通过少量的人工注释，如1个注释(1shot分割)和5个注释(5shot分割)来实现对新类的分割。由于训练数据和测试数据的不对称性，小样本分割是一项具有挑战性的任务。

在小样本分割任务中，标注后的图像称为支持图像，未标注后的图像称为查询图像[3]。现有的型号[3][4][5][6][7]通常由三个术语组成。1)支持分支，从支持图像中提取特征。2)从查询图像中提取特征的查询分支。3)转换模块，在支持分支和查询分支之间转换特征，便于查询分支的分割。最基本的术语是转换模块，而最具挑战性的障碍是如何设计一个与类无关的转换模块，以便转换模块可以有效地泛化到新的类。现有方法[5][7]利用支持图像的全局线索对变换过程进行建模，但忽略了局部特征之间的几何关系。本文论证了局部特征之间的几何关系对变换模块非常有用。

本文提出了一种新的基于局部线索的变换模块，利用局部特征之间的关系来完成变换。我们的思想是在高维度量嵌入空间中使用关系矩阵的线性变换来完成变换。为此，我们首先将局部特征映射到嵌入空间中，利用余弦距离得到局部特征的关系矩阵。然后，利用支持图像标注矩阵的广义逆矩阵对关系矩阵进行线性变换。线性变换后的结果被认为是一个包含高级语义信息的注意图，以此建立一个新的注意转换模块。 我们在Pascal VOC 2012数据集[9]上验证了转换模块的有效性。在1次和5次拍摄中，mIoU分别达到57.0%和60.6%，分别比最先进的方法高出1.6%和3.5%。

【论文速递 | 精选】