20231105
文章连接：https://arxiv.org/abs/2110.14476
1.提出背景
首先是MRI成像上，会因为多种情况导致最后的成像效果不好，想要质量高的图像多徐时间又很长，现在采用超分的图像后处理方法来对图像进行处理以实现短时间获得高质量图像的效果。但是现在的图像超分方法中的SISR方法实现的是给定图像尺度的超分。于是作者提出一种适用于医学图像的用于恢复三维MR图像的任意尺度超分方法。
2.解决方案和优点
作者提出ArSSR模型，模型中LR图像和HR图像以具有不同采样率的相同的隐式神经体素函数表示。由于学到的隐式函数是连续的，所以可以实现任意尺度的超分。超分任务也因此从使用深度学习训练LR图片到HR图片的转变，变为对隐式函数的接近拟合。
3.模型概览
模型是由一个编码器和一个解码器组成，训练集为\(\textbf{I}=\{I_{\mathrm{lr}}^{i}\in\mathbb{R}^{h\times w\times d},I_{\mathrm{hr}}^{i}\in\mathbb{R}^{k_{i}\cdot(h\times w\times d)}\}_{i=1}^{M}\)
其中，\(M\)为训练数据数量，\(k_{i}\)是第\(i\)对用来训练的LR-HR图像的上采样尺度，\(I\)是医学图像体素。
模型首先使用一个卷积编码网络将第\(i\)个LR图片\(I_{{lr}}^{i}\)转变为一个特征图\(V_{\mathbf{lr}}^i\in\mathbb{R}^{h\times w\times d\times128}\)，特征图中的每一个元素是一个特征向量\(v_{\mathbf{x}}^i\in\mathbb{R}^{128}\)，其对应于LR图像\(I_{{lr}}^{i}\)坐标\(X\)处的体素。
然后，对于HR图像\(I_{{hr}}^{i}\)中的每个体素坐标\(X=(x,y,z)\)的查询，我们对LR图像\(I_{{lr}}^{i}\)使用三线性插值生成其对应特征图\(V_{\mathbf{hr}}^{i}\in\mathbb{R}^{k_{i}\cdot(h\times w\times d)\times128}\)。
最后，解码器网络将查询的坐标\(X\)和特征图\(V_{\mathbf{hr}}^{i}\in\mathbb{R}^{k_{i}\cdot(h\times w\times d)\times128}\)中对应特征向量\(v_{\mathbf{x}}^i\)作为输入，输出空间坐标\(X\)处的体素强度\(\hat{I}_{\mathbf{hr}}^{i}(\mathbf{x})\)，通过反向传播算法最小化预测的体素强度\(\hat{I}_{\mathbf{hr}}^{i}(\mathbf{x})\)和真实体素强度\({I}_{\mathbf{hr}}^{i}(\mathbf{x})\)之间的\(L_1\)损失函数\(\mathcal L\)。
通过上诉操作，\(L_1\)的损失函数\(\mathcal L\)表达为：
其中\(N\)是训练数据中的HR-LR图片对数量，\(\mathcal{K}\)表示每次训练迭代时从每个HR图像\(I_{{hr}}^{i}\)中采样的坐标个数。
在这个模型中，编码器网络作为特征提取器，解码器网络作为隐式体素函数的逼近器。
4.数据处理
从3中图片可以看出模型训练时使用一对LR-HR图片，实验中HCP数据集的LR图像是通过对相应的HR图像进行下采样生成的。实验对原始HCP图像进行了裁剪和填充，将图像尺寸从\(320*320*256\)修改为\(264*264*264\)，以便于定量评价。
对于测试集，实验对原始MR图像的强度进行数据归一化，构建ground truth（GT）HR图像，然后对GT图像依据特定的下采样尺度\(k={\{2,2.5,3,3.5,4\}}\)进行三次插值下采样，生成LR图像。
训练和验证集：(1)将图像数据归一化为\(264^3\)大小。（2）随机裁剪提取6个\(40^3\)维度大小的图像补丁。（3）进行中心裁剪，生成\((10*k)^3\)维度大小的HR补丁。（4）最后，我们通过三次线性插值对HR补丁进行下采样，模拟维度大小为\(10^3\)的LR补丁。
对于ArSSR模型，尺度\(k\)是从均匀分布\(\mathcal{U}(2,4)\)随机抽取的。