CSEC：香港城市大学提出SOTA曝光矫正算法 | CVPR 2024

在光照条件不佳下捕获的图像可能同时包含过曝和欠曝。目前的方法主要集中在调整图像亮度上，这可能会加剧欠曝区域的色调失真，并且无法恢复过曝区域的准确颜色。论文提出通过学习估计和校正这种色调偏移，来增强既有过曝又有欠曝的图像。先通过基于UNet的网络推导输入图像的增亮和变暗版本的色彩特征图，然后使用伪正常特征生成器生成伪正常色彩特征图。接着，通过论文提出的COlor Shift Estimation(COSE) 模块来估计推导的增亮（或变暗）色彩特征图与伪正常色彩特征图之间的色调偏移，分别校正过曝和欠曝区域的估计色调偏移。最后，使用提出的COlor MOdulation(COMO) 模块来调制过曝和欠曝区域中分别校正后的颜色，以生成增强图像。

来源：晓飞的算法工程笔记 公众号

论文: Color Shift Estimation-and-Correction for Image Enhancement

• 论文地址：https://arxiv.org/abs/2405.17725
• 论文代码：https://github.com/yiyulics/CSEC

Introduction

  现实世界的场景通常涉及广泛的照明条件，这对摄影构成了重大挑战。尽管相机具有自动曝光模式来根据场景亮度确定“理想”的曝光设置，但是在整个图像范围内均匀调整曝光仍可能导致区域过度明亮和过度昏暗，这种欠曝和过曝的区域可能表现出明显的色调失真。欠曝区域相对较高的噪音水平会改变数据分布，导致色调偏移，而过曝区域则会失去原始的色彩。因此，增强这类图像通常涉及到亮度调整和色调偏移校正。

  近年来，已经进行了许多努力来增强不正确曝光的图像。这些方法可以大致分为两类。

1. 第一类专注于增强过曝或欠曝的图像。一些方法提出学习曝光不变的表示空间，其中不同的曝光水平可以映射到一个标准化和不变的表示中。其他方法则提出将频率信息与空间信息整合，这有助于模拟图像固有的结构特征，从而增强图像的亮度和结构失真。然而，上述方法通常假设过度或欠曝发生在整个图像上，对于同时存在过度曝光和欠曝光的图像（例如，图1(b)），它们效果不佳。
2. 第二类工作旨在增强同时存在过度曝光和欠曝光的图像，利用局部颜色分布作为先验来引导增强过程。然而，尽管设计了金字塔式的局部颜色分布先验，仍然倾向于产生在大面积均质区域中出现显著色彩偏移的结果（例如，图1(c)）。

  本文旨在校正同时存在过度曝光和欠曝光的图像的亮度和色彩失真问题。为了解决这个问题，首先在图1(f)和1(g)中展示了从两个相关数据集（MSEC和LCDP）中随机抽样的像素的PCA结果。MSEC数据集中每个场景包含五张不同曝光值（EV）的输入图像，而LCDP数据集中每个场景只有一张同时包含过度曝光和欠曝光的输入图像。从这个初步研究中，可以得出了两个观察结果。

1. 在这两个数据集中，欠曝光像素（绿点）倾向于与过度曝光像素（红点）有相反的分布偏移。
2. 与MSEC数据集包含了0 EV输入图像作为曝光标准化过程的参考图像不同，LCDP的图像没有这样的“正常曝光”像素。

  第一个观察结果启发我们考虑估计和校正这样的色彩偏移，而第二个观察结果则启发我们创建伪正常曝光特征图，作为色彩偏移估计和矫正的参考。

  为此，论文提出了一种新方法，联合调整图像亮度并校正色调失真。首先使用基于UNet的网络，从输入图像的增亮和变暗版本中提取过度曝光和欠曝光区域的色彩特征图。接着，伪正常特征生成器基于这些派生的色彩特征图创建伪正常色彩特征图。随后，论文提出了一种新的颜色偏移估计（COSE）模块，分别估计和校正派生的增亮（或变暗）色彩特征图与创建的伪正常色彩特征图之间的色彩偏移，通过在颜色特征域中扩展可变形卷积来实现COSE模块。进一步，论文提出了一种新的颜色调制（COMO）模块，通过定制的交叉注意力机制，在过度曝光和欠曝光区域的分别校正的色彩上进行调制，以生成增强图像。通过在输入图像和估计的变暗/增亮色彩偏移上执行定制的交叉注意力机制来实现COMO模块，图1(d)显示了我们的方法能够生成视觉上令人愉悦的图像。

  论文的主要贡献可以总结如下：

1. 提出了一种新颖的神经网络方法，通过建模色彩分布的变化来增强同时存在过度曝光和欠曝光的图像。

2. 提出了一种新颖的神经网络，包括两个新模块：一是用于分别估计和校正过度曝光和欠曝光区域中色彩的新颖颜色偏移估计（COSE）模块，二是用于调制校正后的颜色以生成增强图像的新颖颜色调制（COMO）模块。

3. 广泛的实验证明，论文的网络具有轻量化的特点，并且在流行的基准测试中表现优于现有的图像增强方法。

Proposed Method

  论文的方法受到两点观察的启发。首先，与欠曝光像素相比，过曝光像素倾向于具有反向分布偏移，这表明有必要分别捕捉和修正这样的色彩偏移。其次，由于绝大多数（如果不是全部）像素都受到过曝光或欠曝光的影响，因此有必要创建伪正常曝光信息，以指导过曝光或欠曝光像素色彩偏移的估计。基于这两点观察，我们提出了一种新的网络，其中包括两个新模块：新的色彩偏移估计（COSE）模块和新的色彩调制（COMO）模块，用于增强具有过曝光或欠曝光的图像。

Network Overview

  给定一个具有过曝光和欠曝光的输入图像 Ix∈R3×H×W