首页 > 其他分享 >盘点类别级物体6D位姿估计

盘点类别级物体6D位姿估计

时间:2022-09-30 12:01:50浏览次数:66  
标签:6D 物体 作者 盘点 类别 位姿 3D

盘点类别级物体6D位姿估计_深度学习


1.Category-level 6D Object Pose Recovery in Depth Images

作者在深度模态的背景下,解决类别级的物体6D位姿估计问题,并引入了一种新的基于部件的架构。这种架构适应了因形状差异引起的分布偏移,并消除了纹理、光照、位姿等的变化,作者称其为“固有结构适配器(ISA)”。根据以下3个条件来设计ISA:1)为了定义类别级6D位姿,作者提出了“语义选择中心(SSC)”的概念。2)3D骨架结构(作者推导出的形状不变特征),用于表示从给定类别的实例中提取的部分,并基于这些部分进行学习。3)在训练过程中进行图匹配,使所提出架构的适应/泛化能力在从未见过的实例中得到改善。

盘点类别级物体6D位姿估计_深度学习_02


2.Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation

为了处理给定类别中不同的和从未见过的物体实例,作者引入了标准化物体坐标空间(简称NOCS),即同一个类别中的所有物体实例使用一个共享的标准模型来表示。然后,通过训练神经网络来推断观察到的像素与共享标准模型的对应关系以及其他信息,例如类别标签和mask。通过将预测图像与深度图相结合,共同估计杂乱场景中多个物体的6D位姿和尺寸。为了训练网络,作者提出了一种新的上下文感知技术来生成大量带注释的混合现实数据。为了进一步改进模型并评估它在真实数据上的性能,作者还提供了一个完全注释的真实场景下的数据集。大量实验表明,该方法能够鲁棒地估计真实场景中从未见过物体的位姿和大小。

盘点类别级物体6D位姿估计_3d_03


3.6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

作者提出了一种基于RGB-D的深度学习方法6PACK,能够实时的跟踪已知类别物体。通过学习用少量的3D关键点来简洁地表示一个物体,基于这些关键点,通过关键点匹配来估计物体在帧与帧之间的运动。这些关键点使用无监督端到端学习来实现有效的跟踪。实验表明该方法显著优于现有方法,并支持机器人执行简单的基于视觉的闭环操作任务。

盘点类别级物体6D位姿估计_点云_04

 

4. CPS: Class-level 6D Pose and Shape Estimation From Monocular Images

作者提出了一种基于深度学习的类别级单目6D位姿估计方法,并将其与度量形状检索相结合。还提出了一种新的损失函数,可以直接对所有参数(即3D方向,平移,缩放和形状)同时进行优化。无需解耦每个参数,而是将点云形式回归后的形状转换为3D,并直接测量其度量偏差。通过实验证明,作者可以从单个图像中检索精确的度量点云,也可以对其进行进一步处理,例如后续的渲染。此外,还证明尽管单目数据存在固有的模糊性,新3D点云损失还是优于所有baseline,并给出了整体良好的结果。

盘点类别级物体6D位姿估计_点云_05

上述内容,如有侵犯版权,请联系作者,会自行删文。



标签:6D,物体,作者,盘点,类别,位姿,3D
From: https://blog.51cto.com/u_14439393/5725736

相关文章

  • 物体的三维识别与6D位姿估计:PPF系列论文介绍(四)
    文章“3DPoseEstimationofDailyObjectsUsinganRGB-DCamera”2012发表在IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems上,这篇文章对原始点对......
  • 基于对应点的6D姿态识别
    前言最近读取了一些针对Corresponding-based方法的6D姿态识别paper,在这里分享下思路。1、AprilTags3D:DynamicFiducialMarkersforRobustPoseEstimationinHighly ......
  • 基于点云方式的6D姿态识别
    前言除了对应点方式,还可以将点云将与整个形状对齐,获得6D姿态。通常,首先进行粗配准以提供初始对准,然后进行密集配准方法,如迭代最近点(ICP),以获得最终的6D姿态。针对点云方式,挑......
  • #yyds干货盘点# LeetCode 热题 HOT 100:跳跃游戏
    题目:给定一个非负整数数组 nums,你最初位于数组的第一个下标。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个下标。 示例 1:输入:nums......
  • #yyds干货盘点# 面试必刷TOP101:不同路径的数目(一)
    1.简述:描述一个机器人在m×n大小的地图的左上角(起点)。机器人每次可以向下或向右移动。机器人要到达地图的右下角(终点)。可以有多少种不同的路径从起点走到终点?备注:m和n小于等......
  • #yyds干货盘点# 面试必刷TOP101:矩阵的最小路径和
    1.简述:描述给定一个 n*m 的矩阵 a,从左上角开始每次只能向右或者向下走,最后到达右下角的位置,路径上所有的数字累加起来就是路径和,输出所有的路径中最小的路径和。数据范......
  • 盘点一个哔哩哔哩弹幕抓取并词云可视化的项目
    大家好,我是皮皮。一、前言前几天在Python白银交流群【肉丸胡辣汤】问了一个Python网络爬虫和可视化的问题,提问截图如下:代码如下:#导入我们要用到的模块importrequest......
  • #yyds干货盘点# 前端歌谣的刷题之路-第九十七题-symbol
    前言我是歌谣我有个兄弟巅峰的时候排名c站总榜19叫前端小歌谣曾经我花了三年的时间创作了他现在我要用五年的时间超越他今天又是接近兄弟的一天人生难免坎坷大不了从......
  • AGC016D XOR Replace(并查集)
    AGC016DXORReplace一个序列,一次操作可以将某个位置变成整个序列的异或和。问最少几步到达目标序列。\(n\le100000\)。CODE令最后一个数是初始异或和然后每次操作就......
  • 盘点一个Python抓取有道翻译爬虫中的报错问题
    大家好,我是皮皮。一、前言前几天在Python白银交流群【斌】问了一个Python网络爬虫的问题,提问截图如下:报错截图如下:粉丝需要的数据如下:二、实现过程有道翻译之前有......