2024AAAI_SGNet Structure Guided Network via Gradient-Frequency Awareness for Depth Map Super-Resolut

1. 任务描述: 

给定输入LR深度图 和HR RGB 图像 ，引导DSR目的是在ground-truth深度图 监督的条件下，预测HR深度图

2. Network

本文提出的SGNet主要包括两部分，即梯度校准模块(GCM)和频率感知模块（FAM）。首先将RGB图像 和上采样后的LR深度图 送入到GCM，利用RGB丰富的梯度信息在梯度域中引导LR梯度信息恢复，获得增强后的深度特征 。然后，FAM迭代执行多个频谱差分模块(SDB)，其融合来自GCM增强后的深度特征 ，并在频域中传播RGB频谱信息到LR频谱。最后，同时利用梯度感知损失 、频率感知损失 和空间感知损失 约束整个训练过程。

 3. 频率感知模块

FAM如图3绿色区域所示，其递归的执行多个频谱差分模块SDB来不断地在频域中优化深度特征。然后将不同阶段获取到的深度特征通过残差模块和上采样模块进行融合得到 ，最后结合由bicubic插值上采样后的深度图 ， 得到最终预测的HR深度图 。

 本文提出的频谱差分模块（SDB）如图5所示，其首先将来自GCM模块的梯度增强特征 与深度特征 进行融合，并利用离散傅里叶变换将RGB特征和深度特征映射到频域，获得RGB特征频谱 和深度特征频谱 ，然后对获取到的频谱特征进行分解，得到幅值和相位：

 接下来，SDB分别计算RGB频谱特征和深度频谱特征的幅值减法和相位减法得到 和 ，并将其送入到卷积层分别进行幅值和相位的学习。此外，原始深度特征 的幅值和相位同样被送入到单独的卷积层，以保证深度图的低频分量也能够在频域中进行学习。最后，通过离傅里叶逆变换将融合后的幅值和相位映射到空间域，从而得到频域增强后的特征 。

4. 可学习的地方

本文章的可视化效果做的非常好

大佬链接:

 https://zhuanlan.zhihu.com/p/672936215#:~:text=%E7%94%B1%E5%8D%97%E4%BA%AC%E7%90%86%E5%B7%A5PCA%20Lab%E5%BC%80%E5%8F%91%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%9B%BE%E8%B6%85%E5%88%86%E8%BE%A8%E7%8E%87%E6%96%B9%E6%B3%95SGNet%EF%BC%88SGNet%3A%20Structure%20Guided%20Network%20via,Gradient-Frequency%20Awareness%20for%20Depth%20Map%20Super-Resolution%EF%BC%89%EF%BC%8C%E9%92%88%E5%AF%B9%E4%BB%85%E9%80%9A%E8%BF%87%E7%A9%BA%E9%97%B4%E5%9F%9F%E7%9A%84%E5%9B%BE%E5%83%8F%E5%BC%95%E5%AF%BC%E6%96%B9%E6%B3%95%E9%9A%BE%E4%BB%A5%E6%81%A2%E5%A4%8D%E5%87%BA%E6%B8%85%E6%99%B0%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%9B%BE%E7%BB%93%E6%9E%84%E9%97%AE%E9%A2%98%EF%BC%8C%E6%8F%90%E5%87%BA%E4%BA%86%E4%B8%80%E7%A7%8D%E7%AE%80%E5%8D%95%E8%80%8C%E6%9C%89%E6%95%88%E7%9A%84%E6%A1%86%E6%9E%B6SGNet%EF%BC%8C%E4%BD%BF%E7%94%A8%E6%A2%AF%E5%BA%A6%E6%A0%A1%E5%87%86%E6%A8%A1%E5%9D%97%EF%BC%88GCM%EF%BC%89%E5%92%8C%E9%A2%91%E7%8E%87%E6%84%9F%E7%9F%A5%E6%A8%A1%E5%9D%97%EF%BC%88FAM%EF%BC%89%EF%BC%8C%E5%88%86%E5%88%AB%E5%9C%A8%E6%A2%AF%E5%BA%A6%E5%9F%9F%E5%92%8C%E9%A2%91%E5%9F%9F%E4%BC%A0%E6%92%ADRGB%E5%9B%BE%E5%83%8F%E7%9A%84%E9%AB%98%E9%A2%91%E5%88%86%E9%87%8F%E6%9D%A5%E5%A2%9E%E5%BC%BALR%E6%B7%B1%E5%BA%A6%E5%9B%BE%E7%9A%84%E7%BB%93%E6%9E%84%E3%80%82