检测轮廓边缘-辅助缺失区域进行修复

• 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

• ???? # 专栏：# 图像修复一文读懂
• ???? ???? Follow me ????，一起 Get 更多有趣 AI ???? ????

这篇论文，这里只是进行了简单记录

Foreground-aware Image Inpainting

• ​​arxiv.org/pdf/1901.05…​​

Abstract

  现有的图像修复方法通常通过从周围像素中借用信息来填充孔。当孔与前景对象重叠或接触前景对象时，由于缺少有关孔内前景和背景区域实际范围的信息，它们通常会产生不令人满意的结果。但是，这些情况在实践中非常重要，特别是对于诸如分散物体的移除等应用。为了解决该问题，我们提出了一种前景感知的图像修复系统，该系统可明确区分（解耦）结构推断和内容完成。具体来说，我们的模型首先学习预测前景轮廓，然后使用预测轮廓作为指导来修补缺失区域。我们表明，通过这种解耦，轮廓完成模型可预测对象的合理轮廓，并进一步显着提高图像修复的性能。实验表明，在复杂成分复杂的情况下，我们的方法明显优于现有方法，并且可以获得出色的修复效果。

1. Introduction

  常规的修复方法[8、6、5、26]通常通过基于低级特征（例如RGB值的均方差或SIFT描述符）的匹配和粘贴补丁来填充丢失的像素[19]。 这些方法可以合成合理的静态纹理，但通常会在结构复杂的图像中产生严重的故障。 为了缓解该问题，已开发出不同的图像结构[11、12、24]。 例如，Huang等。 [11]明确地利用平面结构作为指导来纠正透视变形的纹理。 但是，这些方法仍依赖现有的补丁和低级功能，因此无法处理孔与前景对象重叠或接近的挑战性情况。 在这种情况下，需要对图像内容有更高的了解。   最近，通过将问题视为学习从掩码输入到完整输出的端到端映射，基于深度学习的方法[13、17、28、29、7]已经成为一种有希望的替代途径。 这些基于学习的方法能够通过在大规模数据集上进行训练来生成新颖的内容[15、30]。 为了产生视觉上逼真的结果，使用生成对抗网络（GAN）[9]来训练修复网络。 但是，默认情况下，所有这些方法都假定生成网络可以学习隐式预测或理解图像中的结构，而无需在学习过程中对结构或前景/背景层进行显式建模。

  此外，在底部情况下，两者都会在狗的脖子周围产生明显的伪像。 我们推测这些失败可能是由于当前基于学习的修复系统的几个局限性造成的：（1）基于学习的修复模型通常经过训练以填充通常完全位于背景或前景对象内部的随机生成的mask 。 这与实际情况（孔可能靠近或仅与前景重叠很小）不一致（例如，分散区域去除情况）； （2）在没有显式建模背景和前景层边界的情况下，当前基于深度神经网络的方法可能无法通过简单地训练以填充随机 mask 来准确预测孔内部的结构。

图像修复专栏相关博文

专栏系列文章整理

• ​​????# 图像修复：如何入门 - 文章汇总 ​​
• ????
• ????# Noise2Noise去高斯噪声、去文本噪声
• ​​????# 暗图像图像修复处理CVPR2021​​
• ​​????# Image inpainting based on deep learning - A review【图像修复 2021 最新综述】​​

简单记录笔记的一些文章

• ​​???? # 先验指导GAN语义图像修复 【简记】​​
• ​​????# 图片转换为 mp4 video，一项神奇的技术【CVPR 2020】​​

博主简介：软件工程硕士、已毕业、马上 10w 读者 粉丝

• ???? 计算机视觉：超分重建、图像修复、目标检测、风格迁移 等领域 稍有所学
• ???? AI 工程化：Ncnn、MNN、TensorRT 正在 学习
• ???? C++、Python、Java 略懂一二
• ????​​ ???? Follow me ????​​，一起 Get 更多有趣 AI、实战博文教程、冲冲冲 ???? ????

喜欢请关注 墨理学AI 及其 同名 公众号 墨理学AI

取经路上，让墨理学AI 陪你畅享更多有趣AI