一、简要介绍
本文简要介绍了论文“Visible Watermark Removal via Self-calibrated Localization and Background Refinement ”的相关工作。在图像上叠加可见的水印，为解决版权问题提供了一种强大的武器。现代的水印去除方法可以同时进行水印定位和背景恢复，这可以看作是一个多任务学习问题。然而，现有的方法存在水印检测不完整和恢复背景的纹理质量下降的问题。因此，作者设计了一个双阶段多任务网络来解决上述问题。粗度阶段由水印分支和背景分支组成，其中水印分支对粗略估算的掩膜进行自校准，并将校准后的掩膜传递给背景分支，重建水印区域。在细化阶段，作者整合了多层次的特征来提高水印区域的纹理质量。在两个数据集上的大量实验证明了作者所提出的方法的有效性。
二、研究背景
随着社交媒体的激增，图像成为最流行的记录和传递信息的载体。为了保护版权或主张所有权，各种类型的可见水印被设计并通过alpha混合叠加在背景图像上。叠加可见水印被认为是对抗攻击者的一种有效的方法。然而，利用现代水印去除技术，水印图像很可能被转换为无水印图像。
水印去除基于水印图像的背景图像，是一个开放且具有挑战性的问题。水印可以覆盖在具有不同大小、形状、颜色和透明度的背景图像的任何位置。此外，水印通常包含复杂的图案，如扭曲的符号、细线、阴影效果等。上述原因使得在没有提供先验知识的情况下，水印去除任务非常困难。图1显示了带水印、无水标记图像和带水印图像的一个示例。在本文的其余部分中，作者交替使用两个术语“背景图像”和“无水印图像”。
在一些前沿工作中，需要定位水印区域的位置。在水印掩膜的指导下，水印去除类似于图像inpainting或特征匹配问题。然而，手动注释每个图像的水印掩膜是非常耗时和成本昂贵的。最近，研究人员尝试通过深度学习方法以端到端方式解决盲水印去除问题。一些工作人员将水印去除问题表述为一个不定位水印的image-to-image的转换任务。相反，其他一些工作认为水印应该局部化，依次或同时去除。尽管这些新兴的方法取得了巨大的成功，但它们仍在努力精确和完全地定位水印，特别是当水印具有复杂的图案、不同的颜色或孤立的片段时。不准确的水印掩膜会干扰背景图像的重建。此外，重建后的图像还存在模糊、伪影、结构扭曲等质量问题，有待进一步改进。
本文提出了一种新的基于自校准定位和背景细化的水印去除网络（SLBR），该网络包括一个粗度阶段和一个细化阶段。在粗度阶段，作者将水印定位和水印去除作为多任务学习框架中的两个任务。具体来说，作者采用了一个U-Net结构，其中两个任务共享相同的编码器，但有两个独立的解码器。掩膜解码器分支预测多尺度水印掩膜，通过掩膜引导的背景增强（MBE）模块为背景解码器分支提供指导，以更好地重建无水印图像。考虑到不同图像中的水印在许多方面存在很大的差异，作者设计了一个自校准掩膜细化（SMR）模块，将水印特征传播到整个特征图中，以更好地处理特定于图像的水印。在细化阶段，作者以预测的水印掩膜和粗度阶段的无水印图像作为输入，生成一个细化的无水印图像。为了充分利用粗度阶段的有用信息，作者在粗度阶段的后台解码器分支和细化阶段的编码器之间添加了跳级连接。考虑到不同层次的特征捕获了结构信息或纹理细节，作者在细化阶段反复使用跨层次特征融合（CFF）模块来聚合多层次编码器特征。从细化阶段得到的输出图像是最终恢复的背景图像。本文的主要贡献可以总结如下：
（1）提出了一种新的跨阶段多任务网络SLBR，其跨任务信息传播技术用于水印去除任务。
（2）在粗度阶段，作者设计了一个新的自校准掩膜细化（SMR）模块来校准水印掩膜，以及一个新的掩膜引导背景增强（MBE）模块来增强背景表示。
（3）在细化阶段，作者提出了一种新的跨层次特征融合（CFF）模块，该模块反复得到细化的无水印图像。在两个数据集上的
（4）实验证明了作者所提方法的有效性。
三、方法介绍
给定在背景图像I上叠加水印得到的水印图像J，去除水印的目标是基于水印图像J恢复无水印图像I。由于水印掩膜M通常未知，本文的方法需要同时执行水印定位和水印去除两个任务，可以在多任务学习框架下适应。如图2所示，整个网络以从粗到细的方式设计，包括粗度阶段和细化阶段。在粗度阶段，与以往的多任务学习方法类似，作者采用了一个共享编码器和两个分割解码器，其中两个解码器分别负责定位水印（掩膜解码器分支）和恢复背景图像（背景解码器分支）。在掩膜解码器分支中，作者设计了一个自校准的掩膜细化（SMR）模块，以提高预测的水印掩膜的质量。为了简化从掩膜解码器分支到背景解码器分支的信息流，作者采用了一个掩膜引导的背景增强（MBE）模块来增强背景解码器的特性。在细化阶段，作者在粗度阶段的解码器特征与细化阶段的编码器特征之间建立跳跃阶段连接，以促进信息从粗度阶段到细化阶段的传播。为了更好地恢复背景图像的结构和纹理，作者还设计了一个跨层次特征融合（CFF）模块，在细化阶段迭代聚合多层次编码器特征。
3.1粗度阶段
在粗度阶段，作者采用U-Net 架构，通过跳路连接编码器和解码器特征，如图2所示。具体地说，作者采用了《Blind visual motif removal from a single image.》的编码器块和解码器块的结构。水印定位和水印去除作为两个任务，它们共享所有五个编码器块和第一个解码器块。但它们有三个独立的解码器块，它们分别组成掩膜解码器分支和背景解码器分支。在掩膜解码器分支中，它配备了作者设计的自校准掩膜细化（SMR）模块，并被分配来指示水印的位置。除了从最后一个解码器块中预测的掩膜外，作者还基于其他两个解码器块的特征来预测侧输出掩膜。在后台解码器分支中，它由掩膜引导的背景增强（MBE）模块组成，并被分配来恢复覆盖有水印的损坏的背景区域。接下来将详细介绍SMR和MBE模块。
五、总结与讨论
本文研究了水印去除任务，开发了一种具有新的MBE、SMR和CFF模块的两阶段多任务网络，该网络可以对水印进行定位，同时恢复无水印图像。在两个数据集上的大量实验验证了作者所提出的网络的优越性。