Deep-Energy（2021-IEEE）

Unsupervised single image dehazing with generative adversarial network

摘要

最新的单幅图像去模糊学习算法被设计为使用成对的模糊图像和相应的地面真实图像（通常是合成图像）进行训练。真正的成对数据集有助于提高性能，但很难获得。为了解决这一问题，本文提出了一种基于遗传算法的无监督去雾算法。建立了基于GAN架构的端到端网络，并提供了未配对的干净和模糊图像，这意味着不需要估计大气光和透射。该网络由三部分组成：生成器、全局测试鉴别器和局部上下文鉴别器。此外，基于暗通道先验的注意机制被应用于处理不一致性模糊。我们在驻留数据集上进行实验。大量的实验证明了该方法的有效性，大大优于以前最先进的无监督方法。

问题

1. 同时捕获同一场景的清晰图像和相应的模糊图像是不切实际的。目前的解决方法：一个是使用少量数据而不是数百万数据完成训练；二是使用生成对抗网络及其变体。然而，这些无监督的方法在进行图像去模糊时，会产生颜色失真、图像细节丢失和不完全去雾的问题。尤其再浓雾图像中去雾效果不好。

2. GAN网络本身学习模糊和无模糊图像的内部特征，以执行端到端转换。从而在更深层次上解决模糊和无模糊特征之间的关系，并改善图像上的整体去模糊效果。然而，GAN整体风格迁移的局限性导致模型无法在无雾或轻度雾的区域实现平滑过渡，也无法在具有不同霾浓度的区域实现不同的转换程度

网路

Network Architecture

Attention mechanism

在去雾任务中，存在雾度不均匀的问题。当局部效果更好时，总体效果通常会有偏差，或者忽略某些区域。为了解决这个问题，需要找到与雾浓度相关的注意力图。

Local discriminators

生成器网络中的降尺度和升尺度过程会导致图像质量下降，因此我们构建了两个鉴别器，以充分利用上下文和局部上下文

全局鉴别器将重新缩放到320×320的整个图像作为输入。它由六个卷积层组成，并以512维完全连接层结束。所有卷积层采用2×2像素的步长来降低图像分辨率，同时增加输出滤波器的数量，并且它们使用3×3核。

局部鉴别器具有类似的架构，仅将补丁作为输入。这些补丁是从整个图像中随机裁剪的32×32像素。同时，局部鉴别器具有五个卷积层和512维全连接层。

Loss

对抗损失

 感知损失

创新

1. 使用无监督的模糊和清晰图像来训练模型。除了对抗性损失，我们引入了感知损失来评估模糊图像和去模糊图像的VGG特征之间的差异

2. 采用编码器-解码器架构来生成去模糊图像。与CycleDehaze相比，它只引入了一个发生器，没有循环转换过程，更易于训练

3. 采用全局-局部鉴别器。全局鉴别器查看整个图像以评估其整体一致性，而局部鉴别器仅查看以完成区域为中心的小区域以确保生成的面片的局部一致性。全局-局部鉴别器可以帮助模型处理空间变化的烟雾，并生成更清晰的图像

4. 在进一步处理图像中急剧变化的局部区域之前，我们提出了一种受暗通道启发的注意机制。提取并缩放模糊图像的暗通道图，以与模型中的特征融合。所提出的方法更加鲁棒，能够更好地保留图像的细节。 （场景深度越深，图像中的雾越重，而暗通道贴图中的值越大。引入暗通道作为注意力图，以聚焦图像中的特定区域。 ）

实验

Datasets：

RESIDE

从OTS中选择9000个模糊/真实图像对和6000个室内图像对，以训练适应不同场景的模型。在训练过程中，我们从霾域获取一幅图像，并从无霾域随机获取另一幅图像以保证两幅图像不成对。

Comparison with SOTA

 Ablation Study

结论与启发

提出了一种无监督图像去模糊网络，它提供了一种使用未配对模糊和清晰图像的训练过程。它是一种端到端模型，直接输出去叠图像，而无需估计物理模型的参数。引入了一种修正的感知损失，以适应这种无监督的方式，而不存在循环一致性损失。全局-局部鉴别器和注意机制有助于提高恢复图像的质量。