Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data
Northeastern University(东北大学)
推理模型的最终目标是在实际应用中具有鲁棒性和功能性。然而,训练与测试数据域差距往往会对模型性能产生负面影响。这个问题对于单目3D人体姿态估计问题尤其重要,其中3D人体数据通常在受控的实验室设置中收集。在本文中,我们专注于减轻域转移的负面影响,在外观和姿态空间的三维人体姿态估计提出我们的适应人体姿态(AHuP)的方法。AHuP建立在两个关键组件上:(1)用于跨域特征空间自适应的语义感知自适应(SAA),以及(2)用于姿态空间自适应的骨架姿态自适应(SPA),其仅从目标域获取有限的信息。通过使用零真实3D人体姿势数据,我们的一个自适应合成模型显示出与使用大规模真实3D人体数据集训练的SOTA姿势估计模型相当的性能。所提出的SPA也可以独立地作为一个轻量级的头,以改善现有的SOTA模型在一个新的上下文中。一个新的基于3D扫描的合成人类数据集ScanAva+也将与这项工作一起公开发布。
2022-01-22 cs.CV
PoseFix: Model-agnostic General Human Pose Refinement Network
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
从二维图像中估计多人姿态是人类行为理解的一项重要技术。在本文中,我们提出了一个人的姿态细化网络,估计一个输入图像和输入姿态的元组细化的姿态。在以前的方法中,姿势细化主要通过端到端的可训练多级架构来执行。然而,它们高度依赖于姿态估计模型,并且需要仔细的模型设计。相比之下,我们提出了一个模型不可知的姿势细化方法。根据最近的研究,最先进的2D人体姿态估计方法具有类似的误差分布。我们使用此误差统计作为先验信息来生成合成姿势,并使用合成姿势来训练我们的模型。在测试阶段,任何其他方法的位姿估计结果可以输入到所提出的方法。此外,所提出的模型不需要代码或其他方法的知识,这使得它可以很容易地在后处理步骤中使用。我们表明,所提出的方法实现了更好的性能比传统的多阶段细化模型,并不断提高性能的各种国家的最先进的姿态估计方法在常用的基准。该代码可在此https URL \footnote{\url{https://github.com/mks0601/PoseFix_RELEASE}}中找到。
2019-03-10 cs.CV
TCPFormer: Learning Temporal Correlation with Implicit Pose Proxy for 3D Human Pose Estimation
State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能省部共建国家重点实验室);Nanyang Technological University(南洋理工大学)
TCPFormer通过引入隐式姿态代理作为中间表示,利用代理更新、调用和注意力三个模块学习更全面的2D姿态序列时间相关性,在3D人体姿态估计任务上超越现有最先进方法。
2025-01-03 cs.CV
2D-3D Pose Consistency-based Conditional Random Fields for 3D Human Pose Estimation
Kwangwoon University(光云大学);Seoul National University(首尔大学)
这项研究认为,在一个单一的RGB图像中的三维人体姿态估计问题,提出了一个条件随机场(CRF)模型在2D构成,其中的3D姿态是作为一个副产品的推理过程。CRF模型的一元项是基于一个强大的热图回归网络定义的,该网络已被提出用于2D人体姿态估计。本研究亦提出一个回归网路,以提升二维位姿至三维位姿,并根据估计三维位姿与二维位姿的一致性,提出先验项。为了获得所提出的CRF模型的近似解,采用N-最佳策略。所提出的推理算法可以被视为基于深度网络从输入2D图像自下而上生成2D和3D姿态提议以及通过检查其可扩展性来自上而下验证这些提议的顺序过程。为了评估所提出的方法,我们使用了两个大规模数据集:Human3.6M和HumanEva。实验结果表明,该方法达到了最先进的三维人体姿态估计性能。
2017-12-28 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab(字节跳动人工智能实验室)
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型,大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计,但尚未研究在多数据集上训练的最佳实践。在本文中,我们提出了一个简单的网络称为多域姿态网络(MDPN)来解决这个问题。通过将任务视为多域学习,我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合,它显示出比基线的显着改进,并在PoseTrack ECCV 2018挑战赛上实现了最佳性能,而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
Heuristic Weakly Supervised 3D Human Pose Estimation
Northeastern University(东北大学)
本文提出HW-HuP,一种启发式弱监督方法,利用部分姿态先验和深度数据,在无三维标注时估计三维人体姿态,并在床上和野外婴儿场景中优于现有模型,在公开基准上性能相当。
2023-05-12 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia(不列颠哥伦比亚大学)
从单幅图像中估计人体姿态是一个具有挑战性的问题,通常通过监督学习来解决。不幸的是,标记的训练数据还不存在许多人类活动,因为3D注释需要专用的运动捕捉系统。因此,我们提出了一种无监督的方法,该方法可以学习从单个图像中预测3D人体姿势,同时只使用2D姿势数据进行训练,这些数据可以是众包的,并且已经广泛使用。为此,我们估计最有可能通过随机投影的3D姿势,使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识,但我们学习了相机角度的分布,这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上,我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Simultaneously-Collected Multimodal Lying Pose Dataset: Towards In-Bed Human Pose Monitoring under Adverse Vision Conditions
Northeastern University(东北大学)
计算机视觉(CV)在解释图像的语义方面取得了巨大的成功,但是CV算法对于具有不利视觉条件的任务和遭受数据/标签对限制的任务可能是脆弱的。其中一个任务是床上人体姿势估计,这在许多医疗保健应用中具有重要价值。在自然环境中的床上姿势监测可能涉及完全黑暗或完全遮挡。此外,缺乏公开可用的床上姿势数据集阻碍了许多成功的姿势估计算法用于此任务。在本文中,我们介绍了我们同时收集的多模态躺卧姿势(SLP)数据集,其中包括使用多种成像模式(包括RGB,长波红外,深度和压力图)捕获的109名参与者的床上姿势图像。我们还提出了一种物理超参数调整策略,用于在极端条件下生成地面真实姿态标签,例如关灯和完全被床单/毯子覆盖。SLP设计与主流的人体姿势数据集兼容,因此,最先进的2D姿势估计模型可以有效地使用SLP数据进行训练,在PCKh@0.5时,在单个模态上具有高达95%的有希望的性能。姿态估计性能可以通过经由协作包括附加模态来进一步改进。
2020-08-20 cs.CV
3D Human Pose Estimation from Deep Multi-View 2D Pose
University of Maryland(马里兰大学);Systems and Technology Research (STR)(系统与技术研究公司)
人体姿态估计-在视频中识别人体肢体位置和方向的过程-具有许多重要的应用,包括监视,运动障碍诊断和计算机动画。虽然深度学习已经在从单个视频源进行2D和3D姿态估计方面取得了很大进展,但是从具有重叠视场的多个视频传感器估计3D人体姿态的问题受到的关注较少。当应用允许使用多个相机时,可以通过多视图姿态估计的融合和对在一些视图中完全或部分被遮挡的肢体的观察来极大地改进3D人类姿态估计。过去的多视图3D姿态估计方法使用概率图形模型来推理约束,包括每图像姿态估计、时间平滑度和肢体长度。在本文中,我们提出了一个多个人的多视图3D姿态估计的管道,它结合了一个国家的最先进的2D姿态检测器与3D肢体约束的因素图优化与信念传播。我们在TUM-Campus和Shelf数据集上评估了多人3D姿态估计的结果,并表明我们的系统通过更简单的肢体依赖模型显着优于以前的最新技术。
2019-02-07 cs.CV
MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling
Zhejiang University(浙江大学);Key Laboratory of Visual Perception (Zhejiang University), Ministry of Education and Microsoft(视觉感知重点实验室(浙江大学)、教育部与微软);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院);University of Washington(华盛顿大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC学院)
针对2D与3D人体姿态表示未统一的问题,提出基于掩码姿态建模的MPM框架,用单流Transformer和双掩码预训练任务实现多姿态任务统一处理,在MPI-INF-3DHP上达SOTA。
2024-07-14 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而,没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中,我们提出了在视频的每一帧中估计3D姿态,并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性,提高了3D姿态估计精度。
2020-11-04 cs.CV
Learning to Refine Human Pose Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Saarland Informatics Campus(萨尔州信息学园区)
图像和视频中的多人姿态估计是一项重要而具有挑战性的任务,具有许多应用。尽管卷积神经网络的发展使得人类姿势估计有了很大的改进,但仍然存在许多困难的情况,即使是最先进的模型也不能正确地定位所有身体关节。这就需要一个额外的细化步骤来解决这些具有挑战性的情况,并且可以很容易地应用于任何现有的方法之上。在这项工作中,我们引入了一个姿态细化网络(PoseRefiner),它将图像和给定的姿态估计作为输入,并通过对输入输出空间的联合推理来学习直接预测细化的姿态。为了让网络学习改进不正确的身体关节预测,我们采用了一种新的数据增强方案进行训练,其中我们对“硬”人体姿势情况进行建模。我们评估了我们的方法在四个流行的大规模姿态估计基准,如MPII单人和多人姿态估计,PoseTrack姿态估计和PoseTrack姿态跟踪,并报告系统的改进,在最先进的。
2018-04-21 cs.CV
PoseBench3D: A Cross-Dataset Analysis Framework for 3D Human Pose Estimation via Pose Lifting Networks
University of California, Irvine(加州大学伊文斯分校)
PoseBench3D提出标准化跨数据集评估框架,统一测试四个3D HPE数据集,重评18种方法并报告100多项结果,揭示泛化差距及预处理影响。
2025-09-21 cs.CV
Deep Dual Consecutive Network for Human Pose Estimation
Zhejiang Gongshang University(浙江工商大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
复杂环境下的多帧人体姿态估计是一个挑战。虽然国家的最先进的人体关节检测器已经表现出显着的效果,静态图像,他们的表现是短的,当我们将这些模型应用到视频序列。普遍存在的缺点包括无法处理运动模糊、视频散焦或姿势遮挡,这是由于无法捕获视频帧之间的时间依赖性而引起的。另一方面,直接采用传统的递归神经网络在建模空间上下文时会遇到经验困难,特别是在处理姿态遮挡时。在本文中,我们提出了一种新的多帧人体姿态估计框架,利用视频帧之间的丰富的时间线索,以促进关键点检测。在我们的框架中设计了三个模块化组件。姿态时间合并器编码关键点时空上下文以生成有效的搜索范围,而姿态残差融合模块计算双向的加权姿态残差。然后通过我们的姿态校正网络进行处理,以有效地改进姿态估计。我们的方法在大规模基准数据集PoseTrack2017和PoseTrack2018上的多帧人物姿势估计挑战中排名第一。我们已经发布了我们的代码,希望能激发未来的研究。
2021-03-19 cs.CV
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
The University of Adelaide(阿德莱德大学);Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学)
对于单目图像中的人体姿态估计,人体上的关节遮挡和重叠通常会导致姿态预测的偏差。在这些情况下,可能会产生生物学上难以置信的姿势预测。相比之下,人类视觉能够通过利用关节互连的几何约束来预测姿势。为了通过结合人体结构的先验知识来解决这个问题,我们提出了一种新的结构感知卷积网络,以便在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反,我们设计了判别器来区分真实的姿势和虚假的姿势(比如生物学上不可信的姿势)。如果姿态生成器(G)生成的结果无法与真实结果区分开来,则网络成功地学习了先验知识。
2017-05-02 cs.CV
Online Test-time Adaptation for 3D Human Pose Estimation: A Practical Perspective with Estimated 2D Poses
National University of Singapore(新加坡国立大学)
针对实际流式视频中仅有估计2D姿态的问题,提出自适应聚合、两阶段优化与局部增强的在线测试时适应方法,显著提升3D人体姿态估计性能。
2025-03-14 cs.CV
Cross View Fusion for 3D Human Pose Estimation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);TuSimple(图森未来)
我们提出了一种方法来恢复绝对的三维人体姿势从多视图图像中,将多视图几何先验在我们的模型。它由两个独立的步骤组成:(1)估计多视图图像中的2D姿态和(2)从多视图2D姿态恢复3D姿态。首先,我们将跨视图融合方案引入到CNN中,以联合估计多个视图的2D姿态。因此,每个视图的2D姿态估计已经受益于其他视图。其次,我们提出了一个递归的图像结构模型来从多视图2D姿态恢复3D姿态。它逐渐提高了三维姿态的精度与负担得起的计算成本。我们在两个公共数据集H36M和Total Capture上测试了我们的方法。两个数据集上的平均每关节位置误差为26 mm和29 mm,显著优于最新技术水平(26 mm vs 52 mm,29 mm vs 35 mm)。我们的代码在\url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch}上发布。
2019-09-03 cs.CV
Fast Human Pose Estimation
University of Electronic Science and Technology of China(电子科技大学);Vision Semantics Limited(视觉语义有限公司)
现有的人体姿态估计方法往往只考虑如何提高模型的泛化性能,而忽略了显著的效率问题。这导致开发的重型模型在实际使用中具有较差的可扩展性和成本效益。在这项工作中,我们调查研究不足,但实际上关键的姿势模型的效率问题。为此,我们提出了一种新的快速姿态蒸馏(FPD)模型学习策略。具体地,FPD训练能够以低计算成本快速执行的轻量级姿态神经网络架构。它是通过有效地传递一个强大的教师网络的姿势结构知识。广泛的评估表明,我们的FPD方法在两个标准的基准数据集,MPII人体姿势和利兹运动姿势的模型成本效益方面的优势,在广泛的国家的最先进的姿态估计方法。
2019-04-02 cs.CV
SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space
University of Alberta(阿尔伯塔大学)
我们提出了一种方法SPGNet的三维人体姿态估计,混合多维重投影到监督学习。在该方法中,2D-to-3D-lifting网络预测3D人体姿态的全局位置和坐标。然后,我们将估计的3D姿势重新投影回2D关键点并进行空间调整。损失函数将估计的3D姿态与3D姿态地面实况进行比较,并将重新投影的2D姿态与输入的2D姿态进行比较。此外,我们提出了一个运动学约束,以限制预测的目标与恒定的人骨长度。基于数据集Human3.6M的估计结果,我们的方法在定性和定量方面都优于许多最先进的方法。
2022-06-04 cs.CV
Invariant Representation Learning for Infant Pose Estimation with Small Data
Northeastern University(东北大学)
婴儿运动分析是儿童早期发展研究中的一个重要课题。然而,虽然人类姿势估计的应用已经变得越来越广泛,但由于婴儿的身体比例和姿势的多样性存在显着差异,因此在大规模成人姿势数据集上训练的模型在估计婴儿姿势方面几乎没有成功。此外,隐私和安全考虑阻碍了从头开始训练鲁棒模型所需的足够的婴儿姿势数据的可用性。为了解决这个问题,本文提出了(1)建立并公开发布一个混合合成和真实婴儿姿势(SyRIP)数据集,该数据集具有小而多样的真实婴儿图像以及生成的合成婴儿姿势,以及(2)一个多阶段不变的表示学习策略,该策略可以将来自成人姿势和合成婴儿图像的相邻域的知识转移到我们微调的域适应婴儿姿势(FiDIP)估计模型。在我们的消融研究中,使用相同的网络结构,在SyRIP数据集上训练的模型比在其他公共婴儿姿势数据集上训练的模型有明显的改善。与具有不同复杂性的姿态估计骨干网络相结合,FiDIP的性能始终优于这些模型的微调版本。我们在最先进的DarkPose模型上最好的婴儿姿势估计表现之一显示平均精度(mAP)为93.6。
2021-11-01 cs.CV
Human Pose Estimation using Motion Priors and Ensemble Models
Toyota Technological Institute(丰田工业大学)
图像和视频中的人体姿态估计是用于实现各种人体活动识别任务(例如,人机交互、手势识别、监视和视频摘要)。本文提出了两种类型的人体姿态估计方法:1)三维人体姿态跟踪运动先验和2)二维人体姿态估计集成建模。
2019-01-26 cs.CV
Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone
University of Southampton(南安普顿大学)
针对现有无监督2D-3D人体姿态估计方法无法适配多人场景的透视歧义问题,提出通过预测相机相对骨盆仰角、独立提升2D姿态再整合到共享3D坐标系的方法,在CHI3D数据集上验证有效并建立基准。
2024-03-12 cs.CV
ER-Pose: Rethinking Keypoint-Driven Representation Learning for Real-Time Human Pose Estimation
ER-Pose通过关键点驱动学习范式提升姿态估计精度,实现更高效的实时多人姿态估计
2026-03-09 cs.CV
LCR-Net++: Multi-person 2D and 3D Pose Detection in Natural Images
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);NAVER LABS Europe(欧洲NAVER实验室)
我们提出了一个端到端的架构联合2D和3D人体姿态估计在自然图像。我们的方法的关键是每个图像的许多姿势建议的生成和评分,这使我们能够同时预测多个人的2D和3D姿势。因此,我们的方法不需要人类的近似定位来进行初始化。我们的定位-分类-回归架构,名为LCR-Net,包含3个主要组件:1)在图像中不同位置建议候选姿势的姿势建议生成器; 2)对不同姿势建议进行评分的分类器;以及3)在2D和3D中细化姿势建议的回归器。所有三个阶段共享卷积特征层,并联合训练。最后的姿态估计是通过整合相邻的姿态假设,这是提高了一个标准的非最大值抑制算法。我们的方法恢复全身的2D和3D姿态,幻觉似是而非的身体部位时,人被部分遮挡或截断的图像边界。我们的方法在Human3.6M(一个受控环境)上的3D姿态估计中显着优于现有技术。此外,它显示了有前途的结果,对真实图像的MPII 2D姿态基准的单个和多个人的子集,并证明令人满意的3D姿态结果,即使是多人的图像。
2019-01-13 cs.CV
PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Huawei International Pte Ltd(华为国际私人有限公司)
现有的自监督3D人体姿态估计方案在很大程度上依赖于弱监督(如一致性损失)来指导学习,这不可避免地导致在具有不可见姿态的真实世界场景中的较差结果。在本文中,我们提出了一种新的自我监督的方法,使我们能够显式地生成2D-3D姿态对增强监督,通过自我增强的双循环学习框架。这是通过引入一个基于仿射学习的模仿器来实现的,该模仿器与一个姿态估计器和一个姿态幻觉器一起学习;这三个组件在训练过程中形成两个循环,相互补充和加强。具体而言,姿态估计器将输入的2D姿态序列转换为低保真度的3D输出,然后通过执行物理约束的模仿器来增强该输出。细化的3D姿态随后被馈送到超幻觉器以产生甚至更多样化的数据,这些数据又被模仿器加强并进一步用于训练姿态估计器。在实践中,这样的协同进化方案使得能够在不依赖于任何给定的3D数据的情况下在自生成的运动数据上训练姿态估计器。在各种基准测试中进行的大量实验表明,我们的方法产生了令人鼓舞的结果,显著优于最先进的方法,在某些情况下,甚至与完全监督方法的结果相当。值得注意的是,在自监督交叉数据集评估设置下,它在MPI-INF-3DHP上实现了89.1%的3D PCK,比以前最好的自监督方法提高了8.6%。代码可以在:https://github.com/Garfield-kh/PoseTriplet上找到
2022-03-29 cs.CV
End-to-End Multi-Person Pose Estimation with Pose-Aware Video Transformer
Zhejiang Gongshang University(浙江工商大学)
本文提出了一种端到端的多人体姿态估计方法,通过姿态感知视频变换器网络实现高效准确的多帧姿态估计。
2025-12-02 cs.CV
3D Human Pose Machines with Self-supervised Learning
Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学);SenseTime Group(商汤集团)
在最近的计算机视觉和机器人应用的推动下,恢复3D人体姿态变得越来越重要,并引起了越来越多的兴趣。事实上,完成这项任务是相当具有挑战性的,由于不同的外观,观点,闭塞和固有的几何模糊性内的单目图像。大多数现有的方法集中在设计一些精心的先验/约束,以直接回归三维人体姿态的基础上相应的二维人体姿态感知功能或二维姿态预测。然而,由于用于训练的3D姿态数据不足以及2D空间和3D空间之间的域间隙,这些方法对于所有实际场景(例如,户外场景)。尝试解决这个问题,本文提出了一个简单而有效的自我监督校正机制,学习所有的内在结构的人体姿势丰富的图像。具体而言,所提出的机制涉及两个双重学习任务,即,2D到3D姿态变换和3D到2D姿态投影,以“自由”自我监督的类型作为3D和2D人体姿态之间的桥梁,用于精确的3D人体姿态估计。2D到3D姿态意味着通过在序列相关的时间上下文下将姿态表示从2D域变换到3D域来顺序地回归中间3D姿态,而3D到2D姿态投影通过保持3D姿态的2D投影与所估计的2D姿态之间的几何一致性来有助于细化中间3D姿态。我们进一步应用我们的自我监督校正机制来开发一个3D人体姿势机器,它联合集成了2D空间关系,预测的时间平滑性和3D几何知识。广泛的评估表明,我们的框架在所有比较竞争的方法优越的性能和效率。
2019-01-15 cs.CV
Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge
现代基于深度学习的3D姿态估计方法需要大量的3D姿态注释。然而,现有的3D数据集缺乏多样性,这限制了现有方法的性能和泛化能力。虽然现有的方法利用2D姿态标注来帮助3D姿态估计,但它们主要集中在从2D姿态中提取2D结构约束,忽略了隐藏在图像中的3D信息。在本文中,我们提出了一种新的方法来提取弱的三维信息直接从二维图像没有三维姿态监督。首先,我们利用2D姿态标注和透视先验知识来生成关键点与摄像机的远近关系,称为相对深度。我们收集一个2D姿态数据集(MCPC),并生成相对深度标签。基于MCPC,我们提出了一种弱监督预训练(WSP)策略来区分图像中两点之间的深度关系。WSP算法能够在大量的野外图像中学习两个关键点的相对深度,这对于3D人体姿态估计具有更强的深度预测能力和泛化能力。在对3D姿态数据集进行微调后,WSP在两个广泛使用的基准测试中获得了最先进的结果。
2022-11-22 cs.CV
Explaining the Ambiguity of Object Detection and 6D Pose From Visual Data
Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);Huawei(华为);Stanford University(斯坦福大学);Google(谷歌)
三维目标检测和姿态估计从一个单一的图像是两个固有的模糊问题。通常,由于形状对称性、遮挡和重复纹理,对象从不同的视角看起来相似。检测和姿态估计中的这种模糊性意味着对象实例可以由几个不同的姿态甚至类别完美地描述。在这项工作中,我们建议明确处理这种不确定性。对于每个对象实例,我们预测多个姿势和类结果,以估计由对称性和重复纹理生成的特定姿势分布。当视觉外观唯一地标识仅一个有效姿势时,分布折叠成单个结果。我们展示了我们的方法的好处,它不仅提供了一个更好的解释姿态模糊,但也有更高的准确性,姿态估计。
2019-08-20 cs.CV
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);IWR, Heidelberg University(海德堡大学跨学科科学计算中心)
人体姿势分析目前由深度卷积网络主导,该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要,我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合,作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签,因此我们的方法采用了课程学习的思想,即从最可靠的数据样本开始训练,并逐渐增加难度。为了进一步完善训练过程,我们挖掘了单个视频中的重复姿势,这些姿势提供了可靠的标签,同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征,可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会,利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking
Stevens Institute of Technology(史蒂文斯理工学院);Wormpex AI Research(Wormpex AI研究院);National University of Singapore(新加坡国立大学)
多人姿态估计和跟踪是视频理解的关键步骤。大多数最先进的方法依赖于首先估计每个帧中的姿态,然后才实现数据关联和细化。尽管取得了令人鼓舞的结果,这样的策略是不可避免地容易错过检测,特别是在严重混乱的场景,因为这种跟踪检测范式,本质上,在很大程度上依赖于视觉证据,是不存在的情况下,闭塞。在本文中,我们提出了一种新的在线方法来学习姿态动态,这是独立的姿态检测在当前的名气,因此,即使在具有挑战性的情况下,包括遮挡,可以作为一个强大的估计。具体来说,我们通过一个图神经网络~(GNN),明确占时空和视觉信息的动态预测。它将历史姿势轨迹作为输入,并直接预测每个轨迹的下一帧中的相应姿势。然后,预测的姿态将与检测到的姿态(如果有的话)在同一帧处聚合,以便产生最终姿态,从而潜在地恢复被估计器遗漏的被遮挡关节。在PoseTrack 2017和PoseTrack 2018数据集上的实验表明,该方法在人体姿态估计和跟踪任务上都取得了优于现有技术的结果。
2021-06-07 cs.CV
3D Human Pose Regression using Graph Convolutional Network
Technical University of Munich(慕尼黑工业大学);reFit Systems(reFit系统公司)
3D人体姿态估计是一项困难的任务,由于诸如遮挡的身体部位和模糊姿态的挑战。图卷积网络以邻接矩阵的形式对人体骨架的结构信息进行编码,这有利于更好地进行姿态预测。我们提出了一个这样的图卷积网络命名为PoseGraphNet的三维人体姿态回归从2D姿态。我们的网络使用自适应邻接矩阵和特定于邻居组的内核。我们在Human3.6M数据集上评估我们的模型,该数据集是3D姿态估计的标准数据集。我们的模型的性能接近国家的最先进的,但少得多的参数。该模型学习没有物理连接但行为相似的关节之间有趣的邻接关系。
2022-12-13 cs.CV
Can 3D Pose be Learned from 2D Projections Alone?
Amazon Lab126 Inc.(亚马逊Lab126公司)
在计算机视觉中,从一幅图像中估计三维姿态是一项具有挑战性的任务。我们提出了一个弱监督的方法来估计3D姿态点,只给2D姿态地标。我们的方法不需要2D和3D点之间的对应关系来建立显式的3D先验。我们利用对抗框架对3D结构施加先验,仅从随机的2D投影中学习。给定一组2D姿势地标,生成器网络假设它们的深度以获得3D骨架。我们提出了一个新的随机投影层,它随机投影生成的3D骨架,并将生成的2D姿势发送到机器人。通过从2D姿态的真实分布中区分所生成的姿态和姿态样本,改进了该方法。训练不需要发生器或ADC的2D输入之间的对应关系。我们将我们的方法应用于3D人体姿态估计的任务。在Human3.6M数据集上的结果表明,我们的方法优于许多以前的监督和弱监督方法。
2018-08-22 cs.CV
ActionPrompt: Action-Guided 3D Human Pose Estimation With Text and Pose Prompting
Shanghai Jiao Tong University(上海交通大学);Qualcomm AI Research(高通人工智能研究院)
针对现有2D到3D人体姿态估计忽略动作先验的问题,提出即插即用的动作提示模块APM,通过文本与姿态双提示挖掘动作线索,可广泛适配不同框架并大幅提升性能。
2023-07-18 cs.CV
Distilling Token-Pruned Pose Transformer for 2D Human Pose Estimation
Sichuan University(四川大学)
本文提出DPPT方法,利用预训练TokenPose蒸馏监督剪枝Token姿态Transformer,在保持低计算复杂度的同时显著提升MPII数据集上的PCK精度。
2023-04-12 cs.CV
Exploring Pose Priors for Human Pose Estimation with Joint Angle Representations
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
姿态先验在人体姿态估计中至关重要,因为它们能够强制约束,防止估计的姿态趋向于物理上不可能的位置。人体姿势通常由各个部分的多达22个关节角度及其各自的骨骼长度组成,但这些各个部分的交互方式可能会影响姿势的有效性。单看膝盖-踝关节部分,我们可以清楚地观察到,膝盖不能向前弯曲超过大约90度,下面还有其他各种不可能的姿势。
2019-09-27 cs.CV cs.RO
PoseMoE: Mixture-of-Experts Network for Monocular 3D Human Pose Estimation
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(国家通用人工智能重点实验室,北京大学深圳研究生院);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Department of Computer Science and Engineering, University at Buffalo, State University of New York(计算机科学与工程系,布法罗大学,纽约州立大学)
PoseMoE通过专家混合网络提升单目3D人体姿态估计精度,通过解耦2D姿态与深度特征编码,优化深度特征学习与跨专家知识聚合。
2025-12-18 cs.AI cs.CV
Improvement of human health lifespan with hybrid group pose estimation methods
Samsung R & D Institute Noida(三星诺伊达研发院)
本文提出一种基于混合集成的群体姿态估计方法,融合改进的群体姿态估计与实时姿态估计,在基准数据集上验证其有效性,提升遮挡鲁棒性和密集回归精度,从而改善人类健康寿命。
2025-05-28 cs.AI cs.CV
Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所)
在人体姿态估计等关键点估计任务中,基于热图的回归是主要方法,尽管具有显著的缺点:热图本质上存在量化误差,并且需要过多的计算来生成和后处理。为了找到更有效的解决方案,我们提出对各个关键点和空间相关关键点的集合(即,姿势)作为密集单级基于锚的检测框架内的对象。因此,我们将我们的方法称为KAPAO(发音为“Ka-Pow”),用于Keypoints And Poses As Objects。KAPAO适用于单阶段多人人体姿态估计的问题,同时检测人体姿态和关键点对象,并融合检测,以利用两个对象表示的优势。在实验中,我们观察到KAPAO比以前的方法更快,更准确,后者受到热图后处理的严重影响。当不使用测试时间增加时,在实际设置中,精度-速度的折衷是特别有利的。源代码:https://github.com/wmcnally/kapao。
2022-07-19 cs.AI cs.CV
SimPoE: Simulated Character Control for 3D Human Pose Estimation
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs(Facebook现实实验室)
从单目视频中精确估计3D人体运动需要对运动学(没有物理力的身体运动)和动力学(有物理力的运动)进行建模。为了证明这一点,我们提出了SimPoE,一种基于仿真的方法,用于3D人体姿态估计,它集成了基于图像的运动学推理和基于物理的动力学建模。SimPoE学习一种策略,该策略将当前帧姿势估计和下一图像帧作为输入,以控制物理模拟角色输出下一帧姿势估计。该策略包含一个可学习的运动姿态细化单元,该单元使用2D关键点来迭代地细化下一帧的运动姿态估计。基于该细化的运动学姿态,策略学习计算基于动力学的控制(例如,关节扭矩),以将当前帧的姿势估计推进到下一帧的姿势估计。该设计将运动学姿态细化单元与基于动态的控制生成单元耦合,其与强化学习联合学习以实现准确且物理上合理的姿态估计。此外,我们提出了一个元控制机制,动态调整字符的动态参数的基础上的字符状态,以达到更准确的姿态估计。大规模运动数据集上的实验表明,我们的方法建立了新的国家的艺术姿态精度,同时确保物理兼容性。
2021-04-01 cs.CV cs.LG
Multi-view Pose Fusion for Occlusion-Aware 3D Human Pose Estimation
University of Padova(帕多瓦大学)
提出一种基于绝对单目3D骨架多视角融合与重投影误差优化的遮挡感知3D人体姿态估计方法,通过引入肢体长度对称约束,在严重遮挡的人机协作场景中显著优于现有技术。
2024-08-28 cs.CV cs.RO
Pose-to-Biomechanics: Bridging 3D Human Pose Estimation and Biomechanical Attribute Prediction
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
研究旨在连接3D人体姿态估计与生物力学属性预测。提出BioModule轻量级插件式时间变压器,连接在3D姿态估计器下游预测生物力学属性,无需修改上游模型。构建数据集训练评估,在七个先进姿态估计器上基准测试,成为两者间紧凑模块化桥梁。
2026-07-10 cs.AI cs.CV cs.LG
Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields
University of Tübingen(图宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Meta Reality Labs Research(Meta现实实验室)
我们提出了姿势NDF,一个连续的模型,合理的人类构成的神经距离场(NDF)的基础上。姿态或运动先验对于生成真实的新姿态和从噪声或部分观测重建准确姿态是重要的。Pose-NDF学习一个可能的姿态流形作为神经隐式函数的零水平集,将3D隐式曲面建模的思想扩展到高维域SO(3)^K,其中人类姿态由单个数据点定义,由K个四元数表示。所得到的高维隐函数可以相对于输入姿态进行微分,并且因此可以用于通过在三维超球面的集合上使用梯度下降来将任意姿态投影到流形上。与以前的基于VAE的人类姿势先验(将姿势空间转换为高斯分布)相比,我们对实际姿势流形进行建模,保留姿势之间的距离。我们证明,PoseNDF优于现有的最先进的方法,作为一个在各种下游任务的优先级,从去噪真实世界的人类mocap数据,从遮挡数据的姿态恢复到3D姿态重建图像。此外,我们表明,它可以用来生成更多样化的构成随机采样和投影比基于VAE的方法。
2022-07-27 cs.CV
PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding
Tsinghua University(清华大学);Northwestern University(西北大学)
当前的多人姿态估计方法通常分别处理身体关节的定位和关联。它方便但效率低,导致额外的计算和时间浪费。然而,本文提出了一种新的框架PoseDet(通过检测估计姿态),以更高的推理速度同时定位和关联身体关节。此外,我们提出了关键点感知的姿势嵌入来表示一个对象的关键点的位置。建议的姿势嵌入包含语义和几何信息,使我们能够有效地访问歧视性和信息功能。它用于PoseDet中的候选分类和身体关节定位,从而实现对各种姿势的鲁棒预测。与最先进的方法相比,这个简单的框架在COCO基准上实现了前所未有的速度和具有竞争力的准确性。在CrowdPose基准测试上的大量实验表明了该算法在人群场景中的鲁棒性。源代码可用。
2021-07-27 cs.CV
DualPoseNet: Category-level 6D Object Pose and Size Estimation Using Dual Pose Network with Refined Learning of Pose Consistency
South China University of Technology(华南理工大学);DexForce Technology Co. Ltd.(德思力科技有限公司)
类别级6D对象姿态和大小估计是预测在杂乱场景的单个任意视图中观察到的对象实例的旋转、平移和大小的完整姿态配置。在本文中,我们提出了一种新的方法,双姿态网络与精细学习的姿态一致性,为这项任务,简称为DualPoseNet。DualPoseNet将两个并行的姿势解码器堆叠在共享的姿势编码器之上,其中隐式解码器以不同于显式解码器的工作机制预测对象姿势;因此,它们对姿势编码器的训练施加补充监督。我们构建了基于球面卷积的编码器,并设计了球面融合模块,其中为了更好地嵌入来自外观和形状观察的姿态敏感特征。在没有测试CAD模型的情况下,通过使用自适应损失项强制两个解码器之间的预测姿势一致性,隐式解码器的新颖引入使得能够在测试期间进行精细姿势预测。在类别级和实例级对象姿态数据集的基准上进行的彻底实验证实了我们设计的有效性。DualPoseNet优于现有的方法,在高精度区域具有很大的优势。我们的代码在https://github.com/Gorilla-Lab-SCUT/DualPoseNet上公开发布。
2021-08-16 cs.CV
Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose
Seoul National University(首尔大学)
大多数最近的基于深度学习的3D人体姿态和网格估计方法从输入图像回归人体网格模型(诸如SMPL和MANO)的姿态和形状参数。这些方法的第一个弱点是外观域间隙问题,这是由于来自受控环境(例如实验室)的训练数据与来自野外环境的测试数据之间的不同图像外观。第二个弱点是,由于3D旋转的表示问题,姿态参数的估计是相当具有挑战性的。为了克服上述弱点,我们提出了Pose2Mesh,这是一种新的基于图卷积神经网络(GraphCNN)的系统,它直接从2D人体姿势估计人体网格顶点的3D坐标。作为输入的2D人体姿势提供基本的人体关节信息,同时在两个域之间具有相对均匀的几何特性。此外,所提出的系统避免了表示问题,同时以粗到细的方式使用GraphCNN充分利用网格拓扑。我们证明了我们的Pose2Mesh在各种基准数据集上的性能优于以前的3D人体姿势和网格估计方法。有关代码,请参见https://github.com/hongsukchoi/Pose2Mesh_RELEASE。
2021-04-27 cs.CV
Pose Embeddings: A Deep Architecture for Learning to Match Human Poses
Simon Fraser University(西蒙弗雷泽大学);Google Inc.(谷歌公司)
我们提出了一种学习嵌入的方法,该方法将人类的图像以相似的姿势放置在附近。这种嵌入可以用作基于人体姿势比较图像的直接方法,避免了估计身体关节位置的潜在挑战。姿态嵌入学习是在基于三元组的距离准则下制定的。深度架构用于允许学习能够在不同姿势之间进行区分的表示。在视频数据中的人体姿态匹配和检索实验表明了该方法的有效性。
2015-07-01 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University(清华大学);NNKosmos Technology(NNKosmos科技)
本文提出 PoseVocab,一种用于人体化身建模的关节结构化姿态编码方法,通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略,实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
DSC-PoseNet: Learning 6DoF Object Pose Estimation via Dual-scale Consistency
Baidu Research(百度研究院);ReLER University of Technology Sydney(悉尼科技大学ReLER)
与2D对象边界框标记相比,人类注释3D对象姿态非常困难,特别是当场景的深度图像不可用时。本文研究了当只给出RGB图像和2D对象注释时,我们是否可以有效地估计对象的姿态。为此,我们提出了一个两步的姿态估计框架,以获得6DoF的对象构成的2D对象边界框。在第一步中,框架学习以弱监督的方式从真实和合成数据中分割对象,并且分割掩码将充当姿态估计的先验。在第二步中,我们设计了一个双尺度的姿态估计网络,即DSC-PoseNet,通过采用差分渲染器来预测对象的姿态。具体来说,我们的DSC-PoseNet首先通过比较分割掩模和渲染的可见对象掩模来预测原始图像尺度下的对象姿态。然后,我们调整对象区域到一个固定的规模,以估计构成一次。以这种方式,我们消除了大尺度的变化,并专注于旋转估计,从而促进姿势估计。此外,我们利用初始姿态估计来生成伪地面实况,以自监督的方式训练我们的DSC-PoseNet。这两个尺度下的估计结果被集成为我们最终的姿态估计。在广泛使用的基准测试上进行的大量实验表明,我们的方法的性能大大优于在合成数据上训练的最先进的模型,甚至与几种完全监督的方法相当。
2021-04-08 cs.CV
Pose for Action - Action for Pose
University of Bonn(波恩大学)
在这项工作中,我们建议利用人类行动的信息,以提高单目视频的姿态估计。为此,我们提出了一个图形结构模型,利用高层次的活动信息,将高阶部分的依赖关系,通过建模动作特定的外观模型和构成先验。然而,我们的姿势估计框架有效地估计了动作先验,而不是使用额外的昂贵的动作识别框架。这是通过从统一的动作先验开始并在姿态估计期间更新动作先验来实现的。我们还表明,学习适量的动作类之间的外观共享提高了姿态估计。我们在两个具有挑战性的数据集上证明了所提出的方法的有效性,这些数据集用于姿势估计和动作识别,具有超过80,000张测试图像。
2017-02-10 cs.CV
Learning a Category-level Object Pose Estimator without Pose Annotations
University of Freiburg(弗莱堡大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学)
针对类别级3D物体姿态估计依赖大量姿态标注的问题,本文利用 Zero-1-to-3 生成受控姿态差异图像,并结合对比姿态编码器与免规范姿态对齐的学习策略,在少样本基准上取得领先性能。
2024-04-08 cs.CV
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong(香港中文大学);T Stone Robotics Institute of CUHK(香港中文大学汤申机器人研究所)
学习良好的3D人体姿态表示对于人体姿态相关任务(例如,人体3D姿态估计和动作识别)是重要的。在所有这些问题中,保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中,我们提出了一种新的Siamese去噪自动编码器,通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性,本文进一步提出了一种序列双向递归网络(SeBiReNet)来对人体骨骼数据进行建模。大量的实验表明,学习的表示1)保留了人体姿势的内在信息,2)显示出良好的跨数据集和任务的可移植性。值得注意的是,我们的方法在两个本质上不同的任务上实现了最先进的性能:姿态去噪和无监督动作识别。代码和型号可从以下网址获得:\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
3D Pose Regression using Convolutional Neural Networks
Center for Imaging Science, Johns Hopkins University(约翰斯·霍普金斯大学成像科学中心)
三维位姿估计是自主导航、三维场景理解等重要计算机视觉任务的关键组成部分。用于3D姿态估计的大多数现有技术的方法将该问题解决为姿态分类问题,其中姿态空间被离散化为仓并且使用CNN分类器来预测姿态仓。我们认为,3D姿态空间是连续的,并建议解决姿态估计问题的CNN回归框架与适当的表示,数据增强和损失函数,捕捉姿态空间的几何形状。在PASCAL3D+上的实验表明,该方法与现有方法相比具有较好的性能。
2017-08-18 cs.CV
RBP-Pose: Residual Bounding Box Projection for Category-Level Pose Estimation
Tsinghua University(清华大学);Google(谷歌);Technical University of Munich(慕尼黑工业大学)
类别级对象姿态估计的目的是从已知的类别集合中预测任意对象的6D姿态以及3D度量大小。最近的方法利用形状先验适应将观察到的点云映射到规范空间,并应用Umeyama算法来恢复姿态和大小。然而,它们的形状先验集成策略间接地提高了姿态估计,这导致不充分的姿态敏感的特征提取和缓慢的推理速度。为了解决这个问题,在本文中,我们提出了一种新的几何引导的残差对象限界框投影网络RBP-Pose,联合预测对象的姿态和残差向量描述的位移从形状事先指示的对象表面投影的限界框对真正的表面投影。残差向量的这种定义本质上是零均值的并且相对较小,并且明确地封装3D对象的空间线索以用于鲁棒且准确的姿态回归。我们强制执行几何感知一致性项来对齐预测的姿势和残差向量,以进一步提高性能。
2022-09-28 cs.CV