Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

* Authors: [[Wenzhe Shi]], [[Jose Caballero]], [[Ferenc Huszar]], [[Johannes Totz]], [[Andrew P. Aitken]], [[Rob Bishop]], [[Daniel Rueckert]], [[Zehan Wang]]

• DOI: 10.1109/CVPR.2016.207

初读印象

comment:: (超分，亚像素卷积)有别于往常在网络首端先对LR图像进行上采样，然后再在HR图片上提取特征。本文在LR图片上提取特征，在网络末端提出一种高效的亚像素卷积层来学习图像和视频超分辨率的升尺度操作。能够大大加快计算速度。

动机

在网络首端进行上采样的缺点：

1. 降低卷积网络的计算速度。
2. 通常用于完成任务的插值方法，如双三次插值，不会带来额外的信息来解决不适定重建问题。

方法

浅层为简单的卷积，最后是一个亚像素卷积层。亚像素卷积层虽然有卷积二字，但其实没有进行运算，只是抽取特征然后进行简单排列

如图，要将\(H\times W\times Cr^2\)的特征图重排列成\(rH\times rW\times C\)的样式，LR图片中椭圆形的\(Cr^2\)个通道的一个元素，重排列为HR图片中C通道的\(r^2\)个像素点。

输入输出

输入：低分辨率图片LR
输出：高分辨率图片HR

启发

学到了一种像素重排列的方法。