1. Shuffle Attention介绍
1.1 摘要：注意力机制使神经网络能够准确地关注输入的所有相关元素，已成为提高深度神经网络性能的重要组成部分。 计算机视觉研究中广泛使用的注意力机制主要有两种：空间注意力和通道注意力，其目的分别是捕获像素级的成对关系和通道依赖性。 虽然将它们融合在一起可能会比它们单独的实现获得更好的性能，但它不可避免地会增加计算开销。 在本文中，我们提出了一种高效的随机注意力（SA）模块来解决这个问题，它采用随机单元来有效地结合两种类型的注意力机制。 具体来说，SA 首先将通道维度分组为多个子特征，然后并行处理它们。 然后，对于每个子特征，SA 利用洗牌单元来描述空间和通道维度上的特征依赖性。 之后，所有子特征被聚合，并采用“通道洗牌”算子来实现不同子特征之间的信息通信。 所提出的 SA 模块高效且有效，例如，SA 针对主干 ResNet50 的参数和计算量分别为 300 vs. 25.56M 和 2.76e-3 GFLOPs vs. 4.12 GFLOPs，并且性能提升超过 1.34% Top-1 准确度方面。 对常用基准（包括用于分类的 ImageNet-1k、用于对象检测的 MS COCO 和实例分割）的大量实验结果表明，所提出的 SA 通过实现更高的准确度和更低的模型复杂度，显着优于当前的 SOTA 方法。
官方论文地址：
标签：Shuffle,特征,GFLOPs,YOLOv10,SA,注意力,通道 From： https://blog.csdn.net/tsg6698/article/details/140438965