YOLOv10改进 | 注意力篇 | YOLOv10引入Triplet Attention注意力

1. Triplet Attention介绍

1.1  摘要：由于注意机制能够在通道或空间位置之间建立相互依赖关系，因此近年来已被广泛研究并广泛应用于各种计算机视觉任务中。在本文中，我们调查重量轻，但有效的注意力机制，并提出三重注意力，一种新的方法来计算注意力的权重，通过捕获交叉维的相互作用，使用三个分支结构。对于输入张量，三元组注意力通过旋转操作建立维度间依赖关系，然后进行残差变换，并以可忽略的计算开销编码通道间和空间信息。我们的方法简单有效，可以很容易地插入到经典的骨干网络作为一个附加模块。我们证明了我们的方法在各种具有挑战性的任务上的有效性，包括ImageNet-1 k上的图像分类以及MSCOCO和PASCAL VOC数据集上的对象检测。此外，我们通过视觉检查GradCAM和GradCAM++结果，提供了对三重注意力性能的广泛见解。我们的方法的实证评估支持我们的直觉，在计算注意力权重时，捕获跨维度的依赖关系的重要性。

官方论文地址：https://arxiv.org/pdf/2010.03045

官方代码地址：