读论文P2Net

Abstract

本文处理了室内环境中的无监督深度估计任务。这项任务非常具有挑战性，因为在这些场景中存在大量的非纹理区域。这些区域可以淹没在常用的处理户外环境的无监督深度估计框架的优化过程中。然而，即使这些区域被掩盖了，性能仍然不能令人满意。在本文中，我们认为非区分点匹配的性能不佳。为此，我们提出了P2网络。

（一）

我们首先提取具有较大局部梯度的点，并采用以每个点为中心的斑块作为其表示。然后在补丁上定义多视图一致性损失。该操作显著提高了网络训练的鲁棒性。

（二）

此外，因为在室内场景中，那些无纹理的区域（例如，墙壁、地板、屋顶等），通常对应于平面区域，我们建议利用超像素作为一个平面先验。我们使预测的深度被每个超像素内的一个平面良好地拟合。在NYUv2和ScanNet上的大量实验表明，我们的P2网络优于现有的近似方法。

3 Method

3.1 Overview

我们的目标是学习一个深度估计的室内环境，只有单目视频。在最近在无监督深度估计[60]上取得成功之后，我们的P2网包含了两个可学习的模块： DepthCNN和PoseCNN。DepthCNN以目标视图图像作为输入，输出相应的深度Dt。PoseCNN以源视图图像Is和目标视图图像It作为输入，预测连续两帧之间的相对姿态Tt→s。

一种常用的策略是首先用预测的深度图Dt和摄像机运动Tt→s合成一个新的视图It'，并最小化合成视图It'与其对应的真实视图It之间的光度一致性误差。然而，当直接将该策略应用于室内场景时，训练过程很快就会崩溃。

我们的观察是，纹理区域有利于深度估计和摄像机运动估计。相比之下，室内场景中较大的非纹理区域很容易淹没整个训练过程，即使这些区域被掩盖，结果仍然很模糊。因此，我们建议选择具有较大局部方差的代表性关键点。然而，正如在以前的无监督学习框架[18,19]中所做的那样，用单一强度值表示一个点是非区别的，并可能导致错误匹配为了解决这个问题，我们提出了一个补丁匹配模块，一种基于补丁的表示方法，它将一个点与以该点为中心的局部窗口相结合，以增加它们的鉴别能力，并最小化基于补丁的多视点光度一致性误差。为了处理大的非纹理区域，我们提出了一个平面正则化模块，使用大的超像素提取均匀色，并强制执行一个超像素内的预测深度图可以用一个平面来近似。我们的P2网络的概述如图1所示。

读论文P2Net_双线性插值

3.2 Keypoints Extraction

与室外场景不同的是，室内场景中大量的非纹理区域很容易淹没训练过程，导致DepthCNN总是预测无穷大的深度，而PoseCNN总是给出一个一致旋转。因此，在训练过程中，应该只保留纹理区域内的点，以避免网络被困在这些无用的结果中。在此，我们采用了直接稀疏测度法（DSO）[8]中的点选择策略，其具有有效性和高效性。DSO中的点是从具有大强度梯度的像素中采样的。图3显示了提取的DSO关键点的示例。

读论文P2Net_损失函数_02

我们的直接方法相对于基于匹配的方法[58]的一个关键优势是我们不需要预先计算图像之间的匹配，这本身就是一个具有挑战性的问题。因此，我们只需要从目标图像中提取一次点即可。不需要手工制作用于匹配的描述符。因此，我们的方法更加稳健。此外，请注意，我们的方法不限于特定类型的关键点检测器。其他斑点检测器（例如SURF [1]）也会产生一致的结果。

总结

使用DSO关键点来避免网络陷入琐碎的结果。DSO从具有大强度梯度的像素中采样点，在训练过程中保留纹理区域内的点避免网络陷入琐碎的结果。