最近的工作表明，从一对立体图像进行深度估计可以作为一个有监督的学习任务，用卷积神经网络（CNN）来解决。然而，当前的体系结构依赖于patch-based Siamese网络，缺乏利用上下文信息在封闭区域查找对应关系的方法。为了解决这个问题，我们提出了PSMNet，一种由两个主要模块组成的金字塔立体匹配网络：空间金字塔池和3D CNN。空间金字塔池模块利用上下文信息的容量，将不同尺度和位置的上下文聚合成一个体损失。3D CNN学习使用堆叠的多沙漏网络和中间监管来规范cost。所提出的方法在几个基准数据集上进行了评估。2018年3月18日之前，我们的方法在KITTI 2012和2015排行榜中排名第一。代码：https: //github.com/JiaRenChang/PSMNet.
系统框架
左、右输入立体图像被送入两个权重共享管道，其中包括用于特征地图计算的CNN、用于通过连接不同大小的子区域表示进行特征获取的SPP模块以及用于特征融合的卷积层。然后使用左图像和右图像特征形成4D成本卷，并将其输入3D CNN进行体cost正则化和视差回归。
KITTI 2015测试图像的视差估计结果。左侧面板显示立体图像对的左侧输入图像。对于每个输入图像，由（a）PSMNet、（b）GC Net[13]和（c）MC-CNN[30]获得的视差图在其误差图上方一起示出。
更多内容请关注公众号：元宇宙MetaAI
论文：《Pyramid Stereo Matching Network》
标签：PSMNet,立体匹配,图形学,图像,CNN,金字塔,3D From： https://blog.51cto.com/u_15717531/5737178