1. LGAM介绍
LGAM(Linear Global Attention Module)和GAM(Global Attention Module)是两种用于图像特征提取的注意力机制。它们在设计上有一些显著的差异,这使得LGAM在某些方面比GAM更具优势。
LGAM的设计与改进:
(1). 线性注意力机制的引入
LGAM在其设计中引入了线性注意力机制。具体来说,它使用了LinearAttention类来计算通道间的注意力。线性注意力机制相比传统的全局注意力机制有两个主要优势:
计算效率更高:线性注意力通过降低计算复杂度,使得注意力计算更加高效,尤其是在处理高分辨率图像时,这一点尤为重要。
减少内存占用:线性注意力在计算过程中减少了中间结果的存储需求,从而节省了显存,适合在资源受限的环境中使用。
(2). 更细粒度的通道间交互
在LGAM中,通过`self.linear1`和`self.linear2`实现的两层全连接网络,对输入特征进行了降维和恢复,这种设计使得通道间的交互更加细粒度。具体步骤如下:
首先,输入特征经过第一层线性变换`self.linear1`,降低了特征维度
标签:self,独家,LGAM,GAM,YOLOv11,线性,机制,注意力 From: https://blog.csdn.net/tsg6698/article/details/142769688