首页 > 其他分享 >[PaperReading] EgoPoseFormer: A Simple Baseline for Stereo Egocentric 3D Human Pose Estimation

[PaperReading] EgoPoseFormer: A Simple Baseline for Stereo Egocentric 3D Human Pose Estimation

时间:2024-11-22 21:34:24浏览次数:1  
标签:Stereo Egocentric Baseline Pose Estimation 3D

目录

EgoPoseFormer: A Simple Baseline for Stereo Egocentric 3D Human Pose Estimation

link
时间:ECCV2024
作者与单位:

作者相关工作:
https://chenhongyiyang.com/
Transformer, Mamba, Object Detection
相关领域:Egocentric Pose Estimation、Transformer for Outside-in Pose Estimation
被引次数:当前44
主页:
https://github.com/chenhongyiyang/egoposeformer

TL;DR

提出一种使用Transformer解决Ego-Centric视角下姿态估计的方法,第一步 利用Pose Proposal网络提取全局特征joint coarse position,第二步 PoseRefineFormer修正coarse position得到精确的3D joint。效果方面:it improves MPJPE by 27.4mm (45% improvement) with only 7.9% model parameters and 13.1% FLOPs compared to the state-of-the-art.

Method

Deformable Stereo Attention

Experiment



效果可视化

总结与思考

多阶段精修,或者多种head组合确实是提升一阶段方案的好办法,Head计算量相对较小,利用多种Head反复提取image features来Refine结果

相关链接

引用的第三方的链接

资料查询

折叠Title FromChatGPT(提示词:XXX)

标签:Stereo,Egocentric,Baseline,Pose,Estimation,3D
From: https://www.cnblogs.com/fariver/p/18560573

相关文章

  • (21-3)基于深度强化学习的量化交易策略(OpenAI Baselines +FinRL+DRL+PyPortfolioOpt):数据
    21.6 数据预处理数据预处理是训练高质量机器学习模型的关键步骤,在这一步需要检查缺失数据并进行特征工程,以将数据转换为适合模型训练的状态。本项目的数据预处理江湾城以下工作:添加技术指标:在实际交易中,需要考虑各种信息,例如历史股价、当前持仓股票、技术指标等。本文演示......
  • 地平线双目深度估计参考算法 StereoNetPlus优化 思路解读
    【参考算法】地平线双目深度估计参考算法StereoNetPlus-v1.2.11.引言本文将介绍地平线基于公版的双目深度估计算法StereoNet做的优化设计。首先介绍了双目深度估计的原理以及双目点云和Lidar点云的对比,然后由公版StereoNet的介绍切入到地平线参考算法的针对性优化,最后对......
  • SFM(structure from motion从运动恢复结构)和MVS(multi-view stereo多视图立体视觉)
    最近在开始新的领域,三维重建,其实是想做adas领域的4dlabel相关的工作。无奈啊,对computergraphics的东西,我一向很排斥,然后现在不得已要面对了。首先推荐一本书,MultipleViewGeometryinComputerVision(SecondEdition),英语版本可能读着顺利些,中文的看反馈说翻译的不好。顾名......
  • for Qbert sometimes we stay in lives == 0 condtion for a few frames —— baselin
    相关:baselines中环境包装器EpisodicLifeEnv的分析一直不是很理解在reinforcementleanrning算法在atari游戏的observation的交互过程中对lives和episodes的判断,为什么要有lives>0的这个要求,后来发现这个游戏的实战视频,发现这个游戏在某些情况下即使lives=0的时候,也会再允许进......
  • [Paper Reading] Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusi
    EgocentricWhole-BodyMotionCapturewithFisheyeViTandDiffusion-BasedMotionRefinementlink时间:CVPR2024机构:马普所&SaarlandInformaticsCampus&Google&UniversityofPennsylvaniaTL;DR使用第一人称RGB单目鱼眼相机进行全身动捕的算法,融合了FisheyeVit&3......
  • [Paper Reading] Single-to-Dual-View Adaptation for Egocentric 3D Hand Pose Estim
    名称Single-to-Dual-ViewAdaptationforEgocentric3DHandPoseEstimation时间:CVPR2024机构:TheUniversityofTokyoTL;DR多目3Dhandposeestimation数据比较难标注,作者核心思路是先训练单目模型,利用无监督的方法适配到双目场景,好处是a.无需标多目数据;b.可以适应任何......
  • 从零入门AI生图原理&实践 跑通最简的Baseline
    目录下载baseline文件(大约需要2分钟)进入文件夹,打开baseline文件安装环境,然后重启kernel调整prompt,设置你想要的图片风格,依次修改8张图片的描述依次顺序运行剩余的代码块,点击代码框左上角执行按钮,最终获得图片(大约需要20分钟)下载baseline文件(大约需要2分钟)gitlfsinsta......
  • Task2 baseline01 精读 #datawhale夏令营
    写在前面这个是datawhale夏令营2024年第三期的第二次Task的笔记,由于Task2要求的是精读代码,而我在第一篇文章中已经精读的差不多了,这篇文章我就总结升华一下上篇文章的内容,并且补充说明一下上一篇文章说的不太完善的__main__函数后面的部分内容。好了,我们开始今天的探索之旅......
  • Datawhale AI夏令营(AI+物质科学)之跑通baseline-Task2新手教程
    前言DatawhaleAI的夏令营(线上的),这期夏令营是基于天池平台“第二届世界科学智能大赛物质科学赛道:催化反应预测”开展的从零入门AIforScience。上篇文章完成Task1教程后,继续给大家干Task2的教程,话不多说,开整!正文第一步:1.打开魔塔社区:链接如下:魔搭社区汇聚各领域最先进的......
  • 使用“stable_baselines3”时如何重置“gymnasium”环境?
    我想为我的体育馆环境播种。从官方文档来看,我的做法是-importgymnasiumasgymenv=gym.make("LunarLander-v2",render_mode="human")observation,info=env.reset(seed=42)但是,stable_baselines3似乎不需要从用户端重置,如下面的程序所示-importgymnasi......