论文解读｜进一步融合：体积融合中6D姿态估计的多对象推理

原创 | 文 BFT机器人

01

背景

机器人等智能设备需要从它们的车载视觉系统中获得高效的基于物体的场景表示，以解释接触、物理和遮挡。已识别的精确对象模型将与未识别结构的非参数重建一起发挥重要作用。

本文提出了一个系统用于估计实时的接触和遮挡的精确姿态。从单个RGBD视图中提出三维对象姿态建议，在摄像机移动时从多个视图中积累姿态估计和非参数占用信息，并执行联合优化，以估计接触中的多个对象的一致的、不相交的姿态。

本文在两个对象数据集上通过实验验证了该方法的准确性和鲁棒性：YCB-Video和具有挑战性的杂乱的YCB-Video。

其具有周围空间感知的姿态预测，预测网络接收占用网格作为对象的不可穿透空间；多对象姿态的联合优化，对多对象的场景配置进行评估和更新；将融合和6D姿态作为实时系统，利用目标级体积图进行增量和精确的姿态估计。

机器设备在执行复杂的任务的时候，需要从相机中捕捉信息，从而对物体之间的接触、物理和遮挡进行推理，实现它们在混乱的环境中进行精确操作。一些短期任务通过端到端连接感知和动作的端到端学习模型来完成，但扩展和多阶段的任务可以在以后3D场景表示展现出巨大的潜力。

图1 显示的是我们在一个实时的机器人抓取应用程序中演示了该系统

图2 6D姿态估计系统

02

相关工作及文本思想

本文展开工作与这些RGB-D和基于学习的深度神经网络方法最密切相关。与之前工作中基于点云和以目标对象为主的方法相比，使用更结构化的体积表示和目标对象周围的几何信息来处理几何图形。

（1）对象级的体积融合阶段。

它将对象检测产生的对象实例掩模与深度测量和相机跟踪组件结合起来，以生成体积地图。物体级体积融合建立体积图是我们的姿态估计系统的第一阶段，它允许系统逐渐增加对场景的知识，直到有了对场景中物体姿态的理解。

对于这个目标级的体积融合阶段，本文构建了一个管道，结合了RGB-D相机跟踪、目标检测和被检测对象的体积映射。为了跟踪已经初始化的对象，使用当前帧中检测到的掩模的交叉过并集，之后渲染掩模当前重建。对于已经初始化的对象，我们将新的深度测量值融合到该对象的体积图中。

（2）体积姿态预测阶段。

它利用来自体积图的周围信息和RGB-D掩模来为每个对象产生一个初始的姿态预测。系统从体积图中检索周围的信息，以将目标物体周围区域的空间感知整合到姿态预测中。周围信息的边界框应该覆盖目标对象的整个区域，根据目标对象的大小而改变。由于使用固定的体素维数来进行网络预测，所以需将每个对象从对象模型大小计算出来，使用不同的体素大小。

为了结合二维和三维特征进行姿态预测，从三维特征网格中提取与二维特征对应的点和三插值。这些三维和二维特征被连接为点向特征向量来进行姿态预测，获取预测姿态和置信度。

图3一个典型的例子对象分析

由于对象的可见性降低（例如，黄色框），姿态预测具有对象之间的交叉。ICC通过使用来自附近对象的约束和自由空间重建，将对象姿态细化为比ICP更好的配置。从交叉物体姿态细化的角度出发理解，本文比较提出的迭代碰撞检查(ICC)与迭代最近点(ICP)

（3）基于碰撞的姿态细化阶段。

通过使用物体CAD模型和已占据空间之间的可微碰撞检查，通过梯度下降联合优化多个物体的姿态。在联合优化中，引入了可微碰撞检查，包括对象CAD模型的占用体素化和占用网格之间的交叉损失。由于两者都是可微的，于是使用GPU上的优化批处理操作来优化对象姿态。

（4）CAD对齐阶段。

它用一个包含紧凑和丰富的信息的CAD模型替换每个对象的中间表示。在进行姿态估计和细化之后，一旦在不同视图中估计的姿态有足够的一致性，我们就会将对象CAD模型衍生到地图中。利用转换后的对象姿态使用姿态损失进行比较，使用姿态损失来训练姿态预测网络。

图4 网络体系结构

利用目标对象的掩蔽RGB-D及其周围信息作为占用网格进行姿态预测

03

总结

本文使用YCB-Video数据集在之前的工作中被广泛用于评估6D姿态估计，但由于所有的场景都是桌面的，该数据集在对象方向和遮挡的多样性方面受到限制。

MoreFusion系统在YCB-Video和ClutteredYCB-Video两个物体数据集上进行了实验验证，并与其他方法进行了对比。

实验结果表明，MoreFusion系统在物体姿态估计方面具有更高的准确性和鲁棒性，特别是在存在遮挡和复杂背景的情况下。

此外，MoreFusion系统还可以在实时机器人应用程序中实现高效的物体检测和姿态估计，从而实现了机器人在复杂环境中精确有序地拆卸物体堆的能力。

因此，MoreFusion系统的主要优势是：具有周围空间感知的姿态预测、多物体姿态的联合优化和融合、6D姿态的完全集成以及在复杂环境中实现高效的物体检测和姿态估计。

作者 | George

排版 | 居居手

更多精彩内容请关注公众号：BFT机器人

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。