A Learning Method for Feature Correspondence with Outliers读书笔记

A Learning Method for Feature Correspondence with Outliers------2022年

论文地址：A Learning Method for Feature Correspondence with Outliers | IEEE Conference Publication | IEEE Xplore

背景：

SuperGlue在许多现实任务中取得了优异的性能，但在处理离群特征方面仍然存在问题。首先，第一部分的完全注意连接可能会引入额外的结构噪声，其次，如何设计与第二部分的离群值分配相关的可学习参数需要进一步考虑。

主要方法（只描述改进SuperGlue的部分）：

修剪注意图神经网络：

SuperGlue使用的标准注意公式将两个图像中的每个特征点与所有其他特征点连接起来。这种完全连接方式通常会引入额外的结构噪声，而不是有用的信息，特别是对于异常值。所以其改进的第一个点为每个特征点只连接周围的固定点个数。

其中Zi为注意网络结束后输出的描述子，N (fi)表示特征fi的邻居集合，概率pij表示特征fi与其邻居特征fj之间的连接强度。(这里即为改进的操作）

其中， N (fi)是是p¯ij最大的临近点的K个特征。

离群值问题的匹配层：

根据上述式子可以看出，原方法中对垃圾箱只分配了一个可以学习的参数，该论文为垃圾箱分配了两个可以学习的参数。在处理异常值时，将它们全部设置为α会在一定程度上抵消效果，引入第二个可学习参数β更为合理。

损失函数：

式中XGT表示地面真值分配矩阵。

训练过程：

对于每张图像G，首先通过投影变换H = W(G)对图像进行变形，然后通过SIFT特征提取器和描述符从两幅图像中提取特征集G和H，从而生成匹配对。通过对特征位置之间的欧氏距离设置最大阈值，例如3像素，得到地面真值分配矩阵XGT。将另一特征集中没有对应关系的特征视为离群值，并将其分配给垃圾箱特征。

改进:

探索其他匹配的超参数学习的可能性，例如硬切修剪参数K。该论文将自关注模块的剪枝超参数K设为3，交叉关注模块的剪枝超参数K设为5。