如上图所示对比双三次上采样、ESRGAN、RealSR以及Real-ESRGAN方法,本论文提出的方法可以获得较好的结果。使用纯合成数据训练的Real-ESRGAN模型能够增强细节,同时消除常见真实世界图像的伪影。
摘要:尽管科研人员已经在盲超分辨率方向进行了许多尝试,以恢复具有未知和复杂退化的低分辨率图像,但目前仍然远远不能解决一般的真实退化图像。在论文这项工作中,我们将强大的ESRGAN扩展到一个实际的恢复应用程序(即Real-ESRGAN),该应用程序使用纯合成数据进行训练。具体而言,引入了高阶退化建模过程,以更好地模拟复杂的现实世界退化。我们还考虑了合成过程中常见的振铃和过冲伪影。此外,我们还采用了一个具有谱归一化的U-Net鉴别器,以提高鉴别器的性能并稳定训练动态。广泛的比较表明了它的重要性,在各种真实数据集上的视觉性能优于以前论文结果。我们还提供一个有效合成训练对方法。
Real-ESRGAN中采用纯合成数据生成流程图。它利用二阶段退化过程来模拟更实际的退化,其中每个退化过程采用经典退化模型,分别为模糊、调整大小、噪声和JPEG压缩操作。我们还使用sinc滤波器来合成常见的振铃和过冲伪影。
Real-ESRGAN采用与ESRGAN相同的生成网络。对于×2和×1的比例因子,首先采用像素取消缓冲操作来减小空间大小并将信息重新排列到通道维度。
U-Net网络框架为判别网络生成光谱归一化
实验结果:
微信公众号:
下载对应的论文,在公众号中回复:Real-ESRGAN