SMPLify论文阅读：Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image

基本信息

1. 时间：2016

2. 会议/期刊：ECCV

3. 论文网址：https://arxiv.org/pdf/1607.08128

4. 一作单位：Max Planck Institute for Intelligent Systems

文章内容

1. 关键词：3D身体形状，人体姿态，卷积神经网络

2. 文章类型：算法/基于优化的方法

3. 硬件/算法类型：SMPL/HMR

4. 核心思想：

   1. 从单张图像中恢复出3D pose和shape。基于DeepCut，bottom-up方法预测出二维关键点坐，基于SMPL top-down 方法和二维关键点匹配

   2. 最小化目标函数，惩罚3D关键点投影和2D关键点坐标，达到了SOTA水平

5. 贡献点：

   1. 提出了第一种从单个图像预测3D shape和pose的自动方法

   2. 提出了损失函数中的穿透项

   3. 提出了将3D关键点和2D关键点匹配的新的目标函数

6. 问题背景：

   1. 从图像中预测3D的shape和pose具有挑战性，因为人体、关节、遮挡、服装、照明的复杂性，以及从2D推断3D的固有模糊性。

   2. 之前的方法使用的人体模型比较弱，此方法选择SMPL

   3. 没有其他方法只通过2D关键点预测3D的pose和shape；没有其他方法automatic

   4. 许多方法选择了利用先验知识

7. 工作概述：

   1. 使用DeepCut CNN预测2D关键点坐标和置信度。3D身体模型SMPL匹配二维关键点。训练了一个新的性别模糊的模型。用20个胶囊的方式近似身体 计算穿模，训练了一个回归器来从SMPL的shape参数得到胶囊参数（轴长度和半径），然后根据运动链的旋转来调整胶囊的姿态。

   2. 损失函数

      

      • 总的损失函数：

        

      • joint损失项

        

        \(\Pi_{k}\) 将3D关键点投影成2D，\(w_{i}\)是二维关键点预测网络输出的置信度，用来对每个joint加权，对于遮挡的关键点，权值较低。$\rho $是German-McClure惩罚函数

      • 关节反弯惩罚项

        

      标签：SMPLify,惩罚,Pose,SMPL,2D,形状,Human,关键点,3D
      From： https://www.cnblogs.com/fang0218/p/18300348