【深度学习|特征增强融合模块】FeatureAggregationModule (FAM) 双边语义分割模型中的空间语义融合模块升级
【深度学习|特征增强融合模块】FeatureAggregationModule (FAM) 双边语义分割模型中的空间语义融合模块升级
文章目录
- 【深度学习|特征增强融合模块】FeatureAggregationModule (FAM) 双边语义分割模型中的空间语义融合模块升级
- FAM (Feature Aggregation Module)
- 能源、环境主题会议
- 土木建筑、城市主题会议
FAM (Feature Aggregation Module)
FeatureAggregationModule (FAM) 模块的作用：
FeatureAggregationModule（简称 FAM）主要作用是在卷积神经网络中对不同层次的特征进行融合，并通过注意力机制增强特征的表达能力。具体来说，它结合了空间路径（Spatial Path）和上下文路径（Context Path）中提取的特征，并利用注意力机制进行加权和增强。
FAM模块结构：
输入：
fsp：来自空间路径的特征图。fcp：来自上下文路径的特征图。
操作：
- 将
fsp和fcp特征图沿通道维度（dim=1）拼接。 - 然后，使用一个卷积层
convblk对拼接后的特征进行处理。该卷积层会将通道数从输入的in_chan映射到输出的out_chan。 - 接着，通过
conv_atten进行注意力机制的处理。注意力机制会对特征图进行加权，增强模型对于重要区域的关注。 - 最后，注意力增强后的特征图与原始卷积特征进行相加，得到最终的输出特征图。
初始化权重：
- 使用 Kaiming 正态初始化方法初始化卷积层的权重，并将偏置初始化为零。
FAM的主要特征：
- 特征拼接： 将两个特征图（fsp 和 fcp）拼接在一起，增加通道数，从而融合更多的信息。
- 卷积处理： 使用 ConvBNReLU 进行卷积操作，进一步融合拼接后的特征。
- 注意力机制： 通过 Attention 模块，对融合后的特征进行加权处理。
- 特征加权： 使用注意力图对特征进行加权，提升模型对重要特征的关注。
FAM 主要目的是通过对来自不同路径（例如不同分辨率或不同来源的特征）的融合和加权，提升特征的表征能力，通常用于结合多个特征图的优势，进一步优化模型的性能。
代码示例：
class FeatureAggregationModule(nn.Module):
def __init__(self, in_chan, out_chan):
super(FeatureAggregationModule, self).__init__()
# 一个1x1卷积层，用于融合输入的特征
self.convblk = ConvBNReLU(in_chan, out_chan, ks=1, stride=1, padding=0)
# 一个注意力机制，用于增强特征
self.conv_atten = Attention(out_chan)
self.init_weight()
def forward(self, fsp, fcp):
# 将空间路径和上下文路径的特征拼接在一起
fcat = torch.cat([fsp, fcp], dim=1)
# 通过卷积层进行特征处理
feat = self.convblk(fcat)
# 通过注意力机制进行增强
atten = self.conv_atten(feat)
# 特征与注意力增强结果相乘
feat_atten = torch.mul(feat, atten)
# 最终的特征是注意力增强后的特征与原特征的加和
feat_out = feat_atten + feat
return feat_out
def init_weight(self):
# 对卷积层进行Kaiming初始化
for ly in self.children():
if isinstance(ly, nn.Conv2d):
nn.init.kaiming_normal_(ly.weight, a=1)
if not ly.bias is None:
nn.init.constant_(ly.bias, 0)
def get_params(self):
# 返回需要权重衰减的参数和不需要的参数
wd_params, nowd_params = [], []
for name, module in self.named_modules():
if isinstance(module, (nn.Linear, nn.Conv2d)):
wd_params.append(module.weight)
if not module.bias is None:
nowd_params.append(module.bias)
elif isinstance(module, nn.modules.batchnorm._BatchNorm):
nowd_params += list(module.parameters())
return wd_params, nowd_params
功能总结：
FeatureAggregationModule是一个结合卷积与注意力机制的模块，能够对来自空间路径（fsp）和上下文路径（fcp）的特征进行加权融合，从而增强特征的表示能力。- 其主要通过拼接特征、卷积和注意力机制来提升特征的表达能力，尤其是在处理高维特征时，可以帮助模型更加关注关键区域或通道，优化特征融合效果。
能源、环境主题会议
第九届能源系统、电气与电力国际学术会议 (ESEP 2024)
- 2024年11月29-12月1日
- 天津主办单位：天津大学、天津市电源学会
- 多届出版检索，IEEE/IET Fellow主席团
- 征集可再生能源与清洁技术、节能技术与能源效率、传统能源工程、能源存储于转换技术等论文
出版，IEEE/IET Fellow主席团。* - 征集分布式能源、能源转换和存储、智能电网、可再生能源等主题论文
第十届能源资源与环境工程研究进展国际学术会议（ICAESEE 2024）
- 12月20-22日，长沙
- 主办单位：同济大学环境科学与工程学院
- 承办单位：河北科技大学环境科学与工程学院
- 多届EI检索，多位外籍院士、高水平专家主席团。
- 征集能源工程与技术、环境科学、资源勘探与可持续发展、能源经济与管理等主题论文。
土木建筑、城市主题会议
第六届国际科技创新学术交流大会（IAECST 2024）暨第四届物流系统与交通运输国际学术会议（LSTT 2024）
- 12月6-8日，广州
- 主办单位：IEEE PES智慧楼宇、负载和客户支持系统卫星技术委员会（中国）、华南理工大学、广东省艾思信息化学术交流研究院、艾思科蓝
- 院士主席团。IEEE出版，IEEE Xplore、EI检索。
- 征集交通运输工程、交通信息与控制、交通规划与管理、载运工具运用工程、隧桥/道路与铁路工程、物流系统与信息化技术、航空/航海/港口水运主题论文
第四届智慧交通与城市工程国际学术会议 (STCE 2024）
- 12月6-8日，重庆
- 主办单位：招商局重庆交通科研设计院有限公司、桥梁工程安全与韧性实验室
- 承办单位：招商交科桥梁与结构工程研究院、湖南大学土木工程学院、北京工业大学建筑工程学院
- 多届稳定EI检索。征集交通工程、智慧城市、交通基础设施建设等主题论文
第六届水利与土木建筑工程国际学术会议（HCCE 2024）
- 12月13-15日，广州
- 主办单位：华南理工大学
- 承办单位：华南理工大学土木与交通学院
- 高层次专家报告。征集工程结构、结构抗震、水利工程、监测检测、智慧建筑、工程设备等主题论文
第二届城市建设与交通运输国际学术会议（UCT 2025）
- 2025年1月17-19日，长春
- 支持单位：黑龙江工程学院、武汉工程大学
- 投稿高录用，对综述类、人文社科经管类方向友好；见刊快速，见刊后Scopus、知网稳定检索。
欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！