[Paper Reading] Multi-modal 3D Human Pose Estimation with 2D Weak Supervision in Autonomous Driving

• Multi-modal 3D Human Pose Estimation with 2D Weak Supervision in Autonomous Driving
• TL;DR
• Method
  • 算法架构
  • Modality Fusion of LiDAR and Camera
  • Auxiliary Pointwise Segmentation Branch
• Implementation
• Experiment
• 效果可视化
• 总结与思考
• 相关链接
• 资料查询

Multi-modal 3D Human Pose Estimation with 2D Weak Supervision in Autonomous Driving

link
时间：CVPR2022
作者与单位：

相关领域：3D Human Pose Estimation、autonomous vehicles
作者相关工作：人脸识别
https://scholar.google.com/citations?user=Cc4I1vYAAAAJ&hl=en
被引次数：39
主页：无

TL;DR

自动驾驶场景的3D人体姿态估计数据量少，并且与其它场景无法复用数据。本文提出一种使用Lidar + Camera模态作为输入，利用2D标签作为弱监督信号，来估计3D人体姿态的方法。效果方面比纯视觉提升22%，比纯Lidar模型提升6%。

Method

算法架构

Modality Fusion of LiDAR and Camera

将3D点云Project为2D点，利用这些点位置在图像heatmap上grid_sample出图像特征点，再与对应的3D点云Concat，获得两种模态融合的特征。

Auxiliary Pointwise Segmentation Branch

主要解决两个问题：

• 有2D点Label，如何获取3D点Label？
• 点云中的3D点，哪些是某个Joint的正样本？哪些是负样本？=> 用来作为点云Segmentation的GT。

核心处理思想是将点云投影到2D图像，与2D Label通过匹配机制来获取对应的3D的Label。

Implementation

使用Waymo Open Dataset，共19.7w行人。训练集本身有2D Label，测试集中2D Label是本工作中自己标注的。

Experiment

效果可视化

总结与思考

模态融合方式及2D Label构造3D Label的方式比较巧妙。

相关链接

引用的第三方的链接

资料查询