1. 介绍
本篇介绍了一种基于细节增强注意力块(DEAB)的双主干特征融合新方法,该方法在 IEEE TIP 2024 上发表。该方法将内容引导注意力机制与细节增强卷积相结合,有效地融合了来自不同尺度的特征,显著提升了单幅图像去雾性能。
2. 原理详解
该方法的核心思想是利用内容引导注意力机制,将注意力集中在图像中与去雾相关的关键信息上,并通过细节增强卷积增强特征表示能力。具体来说,该方法主要包含以下步骤:
- **特征提取:**使用ResNet50和VGG16两个主干网络分别提取图像特征。
- **细节增强卷积:**对每个主干网络的特征图应用细节增强卷积,增强特征表示能力。
- **内容引导注意力:**使用内容引导注意力机制计算每个通道的注意力权重,将注意力集中在与去雾相关的关键信息上。
- **特征融合:**将注意力权重与特征图相乘,得到融合后的特征。
- **去雾重构:**使用去雾重构网络将融合后的特征重构为无雾图像。
细节增强卷积由普通卷积和通道注意力组成,普通卷积提取特征,通道注意力根据每个通道的重要性分配权重。
内容引导注意力机制使用全局平均池化和残差连接来计算每个通道的注意力权重,将注意力集中在与去雾相关的关键信息上。
3. 应用场景解释
该方法可广泛应用于各种图像去雾任务,包括:
- **自然图像去雾:**去除自然图像中的雾霾,恢复图像清晰度。
- **医学图像去雾:**去除医学图像中的雾霾,提高图像诊断的准确性。
- **视频去雾:**去除视频中的雾霾&#x