Unet改进7：在不同位置添加SimAM注意力机制||无参数的卷积神经网络注意模块

本文内容：在不同位置添加SimAM注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。

具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。

我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。

该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。对各种视觉任务的定量评估表明，该模型灵活有效地提高了许多卷积神经网络的表示能力

1.步骤一

新建blocks/Simattention.py文件，添加如下代码：

import torch
from torch import nn


class SimAM(torch.nn.Module):
    def __init__(self, e_lambda=