摘要：像素级图像融合，将不同的模态图像融合为信息性图像，越来越受到人们的关注。尽管已经提出了许多用于像素级图像融合的方法，但仍缺乏能够同时处理不同任务的有效图像融合方法。为了解决这个问题，我们提出了一种用于像素级图像融合的显着性指导的深度学习框架，称为SGFusion，它是一个端到端的融合网络，可以通过训练一个模型将其应用于各种融合任务。具体而言，所提出的网络使用双导编码，图像重建解码和显着性检测解码过程来同时从图像中提取不同比例的特征图和显着性图。将显著性检测译码作为融合权值，融合图像重建译码的特征，生成融合图像，可以有效地从源图像中提取有意义的信息，使融合图像更符合视觉感知。实验表明，所提出的融合方法在各种公共数据集上实现了红外和可见光图像融合，多曝光图像融合和医学图像融合的最新性能。
1. Introduction
由于成像设备、环境影响等因素的限制，单个图片很难包含各种信息。为了获得更全面的信息，像素级图像融合用于从不同图像中提取有效信息并将其呈现在一个图像上 [1-3]。像素级图像融合包括多种融合任务，如红外与可见光图像融合、多曝光图像融合、医学图像融合等 [4,5]。红外图像包含物体的热辐射特征，而可见光图像主要表现纹理特征，红外与可见光融合的目的是获得包含更生动的目标特征和更丰富的背景细节的图像，在物体识别、监视、遥感等领域有着广泛的应用 [6]。多曝光图像融合旨在将不同光强度下的源图像进行组合，以重建具有更合理照明的图像 [7]。这样，重建的图像可以捕获整个场景的信息。MRI图像和PET图像融合是医学图像融合的重要组成部分。MRI图像包含不同组织的详细特征，而PET图像则反映了组织代谢的变化。因此，融合图像可以反映上述不同的特征，从而有效地提高了临床决策的准确性 [8]。图1显示了这些融合任务的示例。因此，图像融合技术可以生成信息更丰富、视觉感知效果更强的图像，以方便其他后处理步骤。
到目前为止，图像融合在各种任务中发挥着越来越大的作用，已经提出了许多解决像素级图像融合问题的方法。融合方法大致可分为传统方法和基于深度学习的方法。传统方法需要对图像进行复杂的手动处理，并且通常仅适用于特定的图像任务。此外，以生成对抗网络 (GAN) 和暹罗网络为代表的深度学习方法由于网络本身的运行模式而无法处理不同的融合任务 [9,10]。此外，自动编码器网络可以实现跨任务图像融合 [11,12]，但在权重设计中直接采用简单的加法、L1-norm或其他融合策略，这是一种普通的图像组合方式，该算法忽略了图像中的显著性信息。因此，我们需要找到一种统一有效的像素级图像融合方法。为了解决这些问题，提出了一种通用的图像融合框架，该框架可以通过训练一个模型来用于不同的图像融合任务。此外，融合图像包含来自不同源图像的重要信息，而显著性检测可以基于视觉感知提取这些信息 [13]。因此，我们将显著性检测应用于融合框架，以指导融合图像的生成。在此基础上，我们构建了多尺度双导编码融合网络 (MDEF)，作为整个框架的训练部分。网络主要包括三个模块: 双导编码，图像重建解码和显着性检测解码。提出了双导编码模块用于提取图像特征，而图像重建解码模块用于恢复图像。此外，显着性检测解码不仅可以指导编码处理，还可以提供融合权重。在融合部分，我们结合融合权值和源图像提取的图像特征，得到最终的融合图像。本文的要点和贡献总结如下:
(1) 提出了一种新颖的像素级图像融合框架，只需训练一个模型，即可应用于红外和可见光图像融合，多曝光图像融合和医学图像融合。
(2) 利用显著性检测的特征作为融合权值，利用显著性检测来指导图像编码过程，实现图像解码过程。因此，融合结果与视觉感知更加一致。
(3) 提出的融合框架在各种融合任务中获得了最先进的性能。
文章的其余部分总结如下。在第2节中，我们简要总结了相关文献的工作。在第3节中，我们提出并解释了图像融合算法的网络体系结构。在第4节中，我们讨论了实验细节和结果。在第5节中，我们对工作进行了全面总结。
2. Related work
像素级图像融合在处理不同任务中起着许多作用，引起了越来越多的关注。从融合方法的两大类，即传统的图像融合方法和深度学习方法，介绍了相关工作。接下来，将详细介绍每种类型的方法，如下所示。
2.1. Traditional image fusion method
过去，研究人员习惯于使用传统方法来实现图像融合。这些方法的主要步骤是特征提取和特征融合，通常需要根据融合任务制定。随着这些传统方法的设计方案越来越成熟，提出了许多方法。Li等 [14] 利用不同尺度的信息提取全局和细节特征，实现图像融合处理。此外，Liu等 [15] 还提出了用于多尺度图像融合处理的mst-sr。他们使用从源图像中提取的高通系数和低通系数来生成融合图像。稀疏表示作为一种代表方法也被广泛用于图像融合中。Yang等 [16] 利用稀疏表示实现了局部信息的图像融合。为解决稀疏表示中常见的细节保存差、配准要求高的问题，Liu等 [17] 提出了卷积稀疏表示 (CSR) 作为特征分解模型。此外，他们提出了一种基于卷积稀疏度的形态成分分析 [18] (cs-mca) 作为进一步的研究。Yin等 [19] 提出了一种基于非下采样shearlet变换的医学图像融合参数自适应脉冲耦合神经网络 (pa-pcnn) 模型。基于空间域的图像融合方法可以通过多种方式实现，即密集尺度不变特征变换 [20]，基于加权和 [21] 等。在理解了这些方法之后，我们认为这些融合算法通常具有融合速度快和数据依赖性弱的优点。然而，手动特征提取技术复杂，不能获得良好的性能。
2.2. Deep learning image fusion method
在burgeon研究图像处理深度学习方法的基础上，为解决图像融合问题提供了新的思路。在此基础上，我们阐述了深度学习方法，根据任务类型分为四类，包括红外和可见光图像融合，多曝光图像融合，医学图像融合和多任务图像融合。
红外和可见光图像融合: 卷积神经网络在该融合任务中经常使用，一些研究人员将多尺度图像处理方法纳入了该通用网络体系结构 [22,23]。此外马等人 [9] 提出了一种聚变网络 -- 以信息的产生和对抗为中心的聚变网络。最近，提出了一些强大的网络。例如，Zhao等人。[24] 使用注意力机制块来融合源图像，从而起到自我监督的作用。同时，Li等人 [25] 提出了一种基于元学习的深度框架，该框架可以摆脱源图像之间分辨率不同的限制。
多曝光图像融合: Li等人 [26] 提出了一种基于卷积神经网络 (CNN) 的多曝光融合网络，讨论了CNN对多曝光融合的有效性。随后，提出了具有不同重点的多曝光融合网络。例如，近年来提出了适用于具有任意空间分辨率和曝光次数的静态图像序列的网络 [27]，以及使用颜色未参考损失函数的网络 [28]。随着GAN的发展，提出了一种新的基于生成对抗网络的具有亮度和空间位置关系自注意模块的多曝光图像融合方法。
医学图像融合: Liu等 [30,31] 通过使用孪生卷积网络生成融合所需的权重，设计了一种医学图像融合方法。Lahoud等人。[32,444] 提出了一种实时融合网络，可以实现任意数量输入源的融合。针对手工算法和深度学习相结合的融合任务，提出了一种基于表面和深度约束的信息保存方法。
多任务图像融合: DeepFuse [11]，将图像编码和解码与简单的图像融合规则相结合，成为图像融合的创新方法。考虑到上述方法，DenseFuse [12] 使用密集块来提高图像融合的质量。由于基于自动编码的图像处理方法，这种方法适用于各种融合任务。通过对GAN的进一步研究，双鉴别器条件生成对抗网络 (DDcGAN) [35] 实现了不同分辨率的图像融合。此外，受变换域图像融合算法的启发，IFCNN [36] 被提出作为由数据驱动的通用图像融合框架。在最近的研究中，一个端到端的统一无监督图像融合网络被称为U2Fusion [37,38]，它可以基于设计的自适应相似性保留机制来处理多种融合任务。
3.提出的方法
我们提出的框架分为训练部分和融合部分。由于训练网络，因此在灰度图像上训练网络以生成显着性掩码和重建图像。下面将描述具体的网络结构和功能。在融合部分，我们利用训练部分的结构重建了一个双输入网络，并将网络提取的显着特征作为权重来融合图像并生成最终的融合结果。
3.1. Training part
在训练部分，用编码和解码结构构建整个网络，这使得网络具有分析图像特征和特定信息的能力。基于此概念，MDEF网络的主要部分包括三个网络模块: 双导编码，图像重建解码和显着性检测解码。因此，网络可以通过关注显着性信息来重建源图像。同时，将重建损失和掩码损失两种损失函数用于并行训练网络，这对于保存重要信息并获得更好的融合效果起着重要作用。在下一部分中，我们将解释网络设计和网络体系结构的动机。
3.1.1. Motivation of network design
首先，有必要说明为什么将双导编码，图像重建解码和显着性检测解码模块用作MDEF网络的主体。近年来，编码和解码组合已广泛用于图像融合。这些方法往往对图像的显著特征重视不够，忽略了一些重要信息。显著性检测可以有效地提取图像的主要部分 [13,39]。我们将其集成到网络中作为显着性检测解码模块，以对双导编码模块和图像重建解码模块产生良性指导。因此，我们的方法通过将显着性目标检测和图像解码组合相结合，限制了图像编码过程并有目的地指导了该过程，从而可以有效地提取源图像的有用信息。
为了产生更好的融合结果，图像的不同尺度信息不可忽略。通常，在医学图像融合任务中，即使在同一图像中，不同疾病和组织的大小也可能具有很大的差异性。此外，来自同一区域的多个医疗设备的成像结果通常变化很大 [40，。类似地，其他融合任务可能在特定区域存在个体大小差异 [6,42，43]。因此，需要使用网络来学习多尺度特征，在我们的工作中，所有模块都是通过使用类似于UNet框架的多尺度结构来构建的 [44]，该结构作为一种简单高效的网络在图像分割中得到广泛应用。
3.1.2. Network architecture
编码和解码模块: 整个MDEF网络结构如图2所示，由一个编码结构和两个解码结构组成。双导编码模块采用五个相同的卷积架构，如相应的子模块所示。每个重复应用两个3 × 3卷积并链接到整流线性单元 (remu)。卷积体系结构的输出用作下一个体系结构的输入，也通过跳过连接作为
标签：显着性,level,saliency,解码,融合,网络,图像,方法,SGFusion From： https://www.cnblogs.com/wzjblogs/p/16908504.html