FMPose3D: monocular 3D pose estimation via flow matching
École Polytechnique Fédérale de Lausanne（联邦理工学院洛桑校区）
FMPose3D通过流匹配方法高效生成3D姿态样本，超越现有方法并在多个3D姿态数据集上取得最佳性能。
2026-02-05 cs.CV
CosyPose: Consistent multi-view multi-object 6D pose estimation
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；LIGM（加斯帕尔·蒙日信息实验室）；École des Ponts（巴黎高科路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
我们介绍了一种方法，用于恢复多个已知对象的6D姿态在一个场景中捕获的一组输入图像与未知的相机视点。首先，我们提出了一个单视图单对象的6D姿态估计方法，我们使用它来生成6D对象的姿态假设。其次，我们开发了一种强大的方法，用于在不同的输入图像中匹配各个6D对象的姿态假设，以便联合估计相机的视点和6D构成的所有对象在一个单一的一致的场景。我们的方法明确地处理对象的对称性，不需要深度测量，是强大的丢失或不正确的对象假设，并自动恢复场景中的对象的数量。第三，我们开发了一种全局场景细化的方法，给出了多个对象的假设和它们在视图之间的对应关系。这是通过解决对象级光束法平差问题来实现的，该问题细化相机和对象的姿态以最小化所有视图中的重投影误差。我们证明了所提出的方法，被称为CosyPose，优于当前最先进的单视图和多视图6D对象姿态估计的结果，在两个具有挑战性的基准：YCB视频和T-LESS数据集。代码和预训练模型可在项目网页https://www.di.ens.fr/willow/research/cosypose/上获得。
2020-08-19 cs.CV
A 3D Object Detection and Pose Estimation Pipeline Using RGB-D Images
Guangdong University of Technology（广东工业大学）
三维目标检测和位姿估计在机器人领域有着广泛的应用前景，因此近几十年来得到了广泛的研究。然而，仍然存在挑战，当我们的目标是检测多个对象，同时保持低误报率在杂乱的环境中。提出了一种基于RGB-D图像的鲁棒的3D目标检测和姿态估计流水线，该流水线可以同时检测多个目标，同时减少误报。检测从模板匹配开始，并产生一组模板匹配。聚类算法，然后组相似的空间位置的模板，并产生多个对象的假设。一个评分函数评估的假设使用其相关的模板和非最大值抑制被用来删除重复的结果的基础上的分数。最后，点云处理算法的组合被用来计算对象的三维姿态。通过计算模型点和场景点之间的重叠来验证现有的对象假设。实验表明，我们的方法提供了竞争力的结果相比，国家的最先进的，可以应用于机器人随机装箱。
2017-03-11 cs.CV cs.RO
SnapPose3D: Diffusion-Based Single-Frame 2D-to-3D Lifting of Human Poses
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；Toyota Motor Europe（丰田欧洲公司）；Woven by Toyota（丰田织造）
本文提出SnapPose3D，通过扩散模型生成多个假设并聚合，解决2D到3D姿态提升中的深度模糊和关节不确定性问题，利用单帧输入提升计算效率。
2026-04-29 cs.CV
Active 6D Multi-Object Pose Estimation in Cluttered Scenarios with Deep Reinforcement Learning
Imperial College London（帝国理工学院）
在这项工作中，我们将探讨如何战略选择的相机运动可以促进任务的6D多对象的姿态估计在混乱的情况下，同时尊重现实世界中的限制，重要的机器人和增强现实应用程序，如时间和距离。在所提出的框架中，一组多个对象的假设给一个代理，这是推断的对象姿态估计器，并随后时空选择的融合功能，利用验证分数，规避地面实况注释的需要。智能体对这些假设进行推理，将注意力集中在最不确定的对象上，将相机移向这样的对象。与以前提出短视政策的作品不同，我们的代理在模拟场景中使用强化学习进行训练，试图学习相机移动，从而为给定的时间和空间预算产生最准确的对象姿势假设，而无需在推理过程中渲染视点。我们的实验表明，所提出的方法成功地估计了具有挑战性的杂乱合成和真实场景中的一堆对象的6D对象姿态，与强基线相比表现出优越的性能。
2019-10-19 cs.CV cs.RO
Multi-View Stereo with Asymmetric Checkerboard Propagation and Multi-Hypothesis Joint View Selection
National Key Laboratory of Science and Technology on Multi-spectral Information Processing, School of Automation, Huazhong University of Science & Technology（华中科技大学自动化学院多光谱信息处理国家重点实验室）
在计算机视觉领域，如何快速、准确地实现多视点立体（MVS）仍然是一个具有挑战性的问题。在本文中，我们提出了一种快速而准确的方法，用于3D密集重建，称为AMHMVS，建立在基于PatchMatch的立体算法。与常规的对称传播方案不同，该方法采用了非对称棋盘式传播策略，能够根据当前邻居假设的置信度自适应地使有效假设进一步扩展。为了更好地从多个图像中聚合视觉信息，我们提出了多假设联合视图选择每个像素，它利用基于多个传播假设的成本矩阵来鲁棒地并行推断适当的聚合子集。结合上述两个步骤，我们的方法不仅具有大规模并行计算的能力，而且还获得了较高的精度和完整性。在大规模数据集上的实验表明，该方法具有更高的准确性和鲁棒性，并且运行速度快于竞争方法。
2018-05-21 cs.CV
Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation
National Engineering Research Center of Visual Technology, Peking University（北京大学视觉技术国家工程研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Chinese Academy of Sciences（中国科学院大学）
该研究提出带JPMA模块的D3DP扩散式3D人体姿态估计方法，生成多姿态假设并逐关节重投影聚合，在两个基准数据集上精度优于现有确定性与概率性方法。
2023-08-23 cs.CV
VeREFINE: Integrating Object Pose Verification with Physics-guided Iterative Refinement
TU Wien（维也纳工业大学）；Automation and Control Institute（自动化与控制研究所）
用于机器人应用的准确和鲁棒的对象姿态估计需要验证和细化步骤。在这项工作中，我们建议整合假设验证与物理模拟指导下的物体姿态细化。这允许在统一的优化中考虑单个对象姿态估计的物理可扩展性和估计场景的稳定性。该方法能够适应多个目标的场景，并有效地集中在多假设场景中最有希望的目标位姿。我们称这种综合方法为VeREFINE，并在具有不同场景复杂度的三个数据集上对其进行评估。该方法的一般性是通过使用三个国家的最先进的姿态估计器和三个基线细化。结果显示，所有基线和所有数据集都有所改善。此外，我们的方法被应用在现实世界中的抓取实验，并优于竞争的方法在把握成功率。代码可在github.com/dornik/verefine上公开获取。
2020-05-18 cs.CV cs.RO
Diffusion-based Pose Refinement and Muti-hypothesis Generation for 3D Human Pose Estimaiton
Chongqing University of Technology（重庆理工大学）；Peking University（北京大学）；Tsinghua University（清华大学）
针对3D人体姿态估计中概率模型生成的假设偏差大及单假设预测弱的问题，提出基于扩散的细化框架DRPose，通过逆向扩散与多步多噪声细化，结合SGCT和PRM模块，在单假设与多假设3DHPE上均达到最先进性能。
2024-01-10 cs.CV
Learning in an Uncertain World: Representing Ambiguity Through Multiple Hypotheses
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多预测任务包含不确定性。在某些情况下，不确定性是任务本身固有的。例如，在未来的预测中，许多不同的结果同样有效。在其他情况下，不确定性来自数据的标记方式。例如，在目标检测中，许多感兴趣的对象通常未被标记，而在人体姿态估计中，被遮挡的关节通常被标记有模糊值。在这项工作中，我们专注于处理这种情况的原则性方法。特别是，我们提出了一个框架，重新制定现有的单预测模型的多假设预测（MHP）模型和相关的Meta损失和优化程序，训练他们。为了证明我们的方法，我们考虑四个不同的应用程序：人体姿态估计，未来预测，图像分类和分割。我们发现，MHP模型优于他们的单假设同行在所有情况下，MHP模型同时暴露出有价值的见解预测的变化。
2017-08-22 cs.CV
(Fusionformer):Exploiting the Joint Motion Synergy with Fusion Network Based On Transformer for 3D Human Pose Estimation
Hangzhou Research Institute, Xidian University（西安电子科技大学杭州研究院）；Xidian University（西安电子科技大学）
对于当前的三维人体姿态估计任务，一组方法主要从空间和时间相关性学习2D-3D投影规则。然而，早期的方法在时域上对整个身体关节的全局特征进行建模，而忽略了单个关节的运动轨迹。最近的工作[29]认为不同关节之间的运动存在差异，并分别处理每个关节的时间关系。然而，我们发现不同的关节在某些特定的动作下表现出相同的运动趋势。因此，本文提出的Fusionformer方法在时空模型的基础上引入了自轨迹模块和互轨迹模块，然后通过线性网络并行融合全局时空特征和局部联合轨迹特征。为了消除不良的2D姿态对3D投影的影响，最后我们还引入了一个姿态细化网络来平衡3D投影的一致性。此外，我们在两个基准数据集（Human3.6M，MPI-INF-3DHP）上评估了所提出的方法。将我们的方法与基线方法poseformer进行比较，结果显示在Human3.6M数据集上分别提高了2.4%MPJPE和4. 3% P-MPJPE。
2022-10-30 cs.AI cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
Exploring Pose Priors for Human Pose Estimation with Joint Angle Representations
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
姿态先验在人体姿态估计中至关重要，因为它们能够强制约束，防止估计的姿态趋向于物理上不可能的位置。人体姿势通常由各个部分的多达22个关节角度及其各自的骨骼长度组成，但这些各个部分的交互方式可能会影响姿势的有效性。单看膝盖-踝关节部分，我们可以清楚地观察到，膝盖不能向前弯曲超过大约90度，下面还有其他各种不可能的姿势。
2019-09-27 cs.CV cs.RO
Joint Pose and Principal Curvature Refinement Using Quadrics
Monash University（莫纳什大学）
在本文中，我们提出了一种新的联合方法优化表面曲率和姿态对齐。我们提出了两种实现这种联合优化策略，包括快速实现，使用两个帧和离线多帧的方法。我们证明了一个数量级的改进，在模拟状态的最先进的密集相对点到平面迭代最近点（ICP）的姿态对齐使用我们的密集联合帧到帧的方法，并显示可比的姿态漂移密集点到平面ICP束调整使用低成本的深度传感器。此外，我们改进的联合二次曲面为基础的方法可以用来更准确地估计表面曲率的噪声点云比以前的方法。
2017-07-14 cs.CV
Explicit Spatiotemporal Joint Relation Learning for Tracking Human Pose
Microsoft Research（微软研究院）；Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种基于学习关节间时空关系的人体姿态跟踪方法。除了生成给定帧中关节的热图之外，我们的系统还学会预测该关节与帧中相邻关节的偏移。此外，它被训练来预测关节从其在前一帧中的位置的位移，其方式可以考虑可能改变的关节外观，这与光流不同。通过仅关注视频帧中的相关区域，以鲁棒的方式推断空间域和时间域中的这些关系线索。通过明确地学习和利用这些关节关系，我们的系统在各种姿势跟踪任务的标准基准上实现了最先进的性能，包括RGB视频中的3D身体姿势跟踪，深度序列中的3D手部姿势跟踪和RGB视频中的3D手势跟踪。
2019-03-27 cs.CV
Joint Pose and Shape Estimation of Vehicles from LiDAR Data
Argo AI；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
我们解决了从LiDAR扫描中估计车辆姿态和形状的问题，这是自动驾驶汽车社区面临的一个常见问题。最近的工作倾向于单独解决姿势和形状估计，尽管两者之间存在固有的联系。我们研究了一种联合估计形状和姿态的方法，其中学习了单个编码，可以以高效而有效的方式对形状和姿态进行解码。我们还介绍了一种新的联合姿态和形状损失，并表明这种联合训练方法产生更好的结果比独立训练的姿态和形状估计。我们评估我们的方法对合成数据和真实世界的数据，并显示出优越的性能对国家的最先进的基线。
2020-09-08 cs.CV
PoseGRAF: Geometric-Reinforced Adaptive Fusion for Monocular 3D Human Pose Estimation
Liaoning Technical University（辽宁工程技术大学）
针对现有单目3D人体姿态估计忽略骨骼方向角度关联、易生成不合理姿态的问题，提出PoseGRAF框架，通过双图卷积、交叉注意力、动态融合及残差改进Transformer编码器实现姿态估计，在多个数据集上性能超SOTA且泛化性好。
2025-06-17 cs.AI cs.CV
Utilizing Uncertainty in 2D Pose Detectors for Probabilistic 3D Human Mesh Recovery
Leibniz University Hannover（汉诺威莱布尼茨大学）；Linköping University（林雪平大学）
本文提出利用2D姿态检测器热图中的分布监督和人体分割掩码训练约束，改进基于归一化流的概率性3D人体网格恢复，在3DPW和EMDB上超越现有方法。
2024-11-25 cs.CV
Unsupervised Adversarial Learning of 3D Human Pose from 2D Joint Locations
Keio University（庆应义塾大学）；DWANGO Co., Ltd.（多玩国株式会社）；National Institute of Informatics（国立情报学研究所）
从单个图像进行三维（3D）人体姿态估计的任务可以分为两个部分：（1）从图像进行二维（2D）人体关节检测，以及（2）从2D关节估计3D姿态。在此，我们集中在第二部分，即，根据2D关节位置进行3D姿态估计。现有方法的问题在于，它们需要（1）3D姿态数据集或（2）从视频序列获取的连续帧中的2D关节位置。我们的目标是解决这些问题。我们首次提出了一种在没有任何3D数据集的情况下学习3D人体姿势的方法。我们的方法可以从单个图像中的2D关节位置预测3D姿态。我们的系统基于生成对抗网络，并且网络以无监督的方式进行训练。我们的主要想法是，如果网络可以正确预测3D人体姿势，那么投影到2D平面上的3D姿势即使垂直旋转也不会崩溃。我们使用Human3.6M和MPII数据集评估了我们的方法的性能，并表明即使在训练期间3D数据集不可用，我们的网络也可以很好地预测3D姿势。
2018-03-22 cs.CV
Joint Multi-Person Pose Estimation and Semantic Part Segmentation
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
人体姿态估计和语义部分分割是计算机视觉中两个相辅相成的任务。在本文中，我们建议解决这两个任务联合自然多人图像，其中估计的姿态提供对象级形状之前，正则化部分段，而部分级段约束的姿态位置的变化。具体来说，我们首先训练两个完全卷积神经网络（FCN），即Pose FCN和Part FCN，以提供姿势联合潜力和语义部分潜力的初始估计。然后，细化姿态关节位置，这两种类型的潜力融合与一个完全连接的条件随机场（FCRF），其中一个新的段关节平滑项是用来鼓励零件和关节之间的语义和空间的一致性。为了细化零件段，通过零件FCN集成细化的姿态和原始零件潜力，其中来自姿态的骨架特征用作零件段的附加正则化线索。最后，为了降低FCRF的复杂性，我们引入了人类检测框并推断每个框内的图形，使推理速度提高了40倍。由于没有包含部分片段和姿势标签的数据集，我们使用人体姿势关节扩展了PASCAL VOC部分数据集，并进行了大量的实验，将我们的方法与几种最新的策略进行比较。我们表明，在这个数据集上，我们的算法在这两项任务中都大大优于竞争方法。
2017-08-10 cs.CV
A Simple Method to Boost Human Pose Estimation Accuracy by Correcting the Joint Regressor for the Human3.6m Dataset
University of British Columbia（不列颠哥伦比亚大学）
许多人体姿态估计方法估计皮肤多人线性（SMPL）模型，并从这些SMPL估计回归人体关节。在这项工作中，我们表明，最广泛使用的SMPL联合线性层（联合回归）是不准确的，这可能会误导姿态评估结果。为了实现更精确的联合回归，我们提出了一种方法来创建伪地面实况SMPL姿势，然后可以用来训练改进的回归。具体来说，我们优化了来自最先进方法的SMPL估计，使其投影与场景中人类的轮廓以及地面真实2D关节位置相匹配。虽然由于缺乏实际的地面实况SMPL，这种伪地面实况的质量很难评估，但使用人类3.6米数据集，我们定性地表明我们的关节位置更准确，并且我们的回归量导致测试集上的姿态估计结果得到改善，而无需进行任何重新训练。我们在https://github.com/ubc-vision/joint-regressor-refinement上发布了我们的代码和联合回归器
2022-04-29 cs.CV
Multi-Task Deep Networks for Depth-Based 6D Object Pose and Joint Registration in Crowd Scenarios
Imperial College（帝国理工学院）
在箱子拾取场景中，感兴趣对象的多个实例随机堆叠在一堆中，因此，这些实例固有地受到挑战：严重的遮挡，混乱和相似的干扰物。然而，大多数现有的方法是单个孤立的对象实例，而最近的一些方法处理人群的情况下，后细化帐户多个对象的关系。在本文中，我们解决了在深度模态中通过深度神经网络中的多任务学习来恢复箱子拾取场景中的多个实例的6D姿态。我们的架构联合学习多个子任务：单个对象的2D检测、深度和3D姿态估计;以及多个对象的联合配准。对于训练数据生成，物理上合理的对象姿态配置的深度图像由物理模拟中的3D对象模型生成，这产生了要学习的各种遮挡模式。我们采用了最先进的对象检测器，并通过网络进一步估计2D偏移，以改善未对准的2D检测。深度和3D姿态估计器被设计为每次检测生成多个假设。这允许关节配准网络学习遮挡模式并去除物理上不可信的姿势假设。我们将我们的架构应用于合成（我们自己的和Sileane数据集）和真实（公共Bin-Picking数据集）数据，表明它在平均精度上显著优于最先进的方法15-31%。
2018-06-11 cs.CV
A hybrid classification-regression approach for 3D hand pose estimation using graph convolutional networks
Gebze Technical University（盖布泽技术大学）
手势估计是广泛的增强现实和人机交互应用的关键部分。由于遮挡和深度模糊，从单个RGB图像预测3D手部姿势具有挑战性。基于GCN（图卷积网络）的方法利用图和手部关节之间的结构关系相似性来建模关节之间的运动依赖性。这些技术使用预定义的或全局学习的关节关系，这可能无法捕获姿势相关的约束。为了解决这个问题，我们提出了一个两阶段的GCN为基础的框架，学习每姿势的关系约束。具体地，第一阶段量化2D/3D空间以基于关节的位置将关节分类为2D/3D块。该空间依赖性信息引导该阶段估计可靠的2D和3D姿态。第二阶段通过基于GCN的模块进一步改进3D估计，该模块使用自适应最近邻算法来确定关节关系。大量的实验表明，我们的多阶段GCN方法产生了一个有效的模型，产生准确的2D/3D手部姿势，并在两个公共数据集上优于最先进的。
2021-05-23 cs.AI cs.CV
PoseTrack: Joint Multi-Person Pose Estimation and Tracking
University of Bonn（波恩大学）；University of Adelaide（阿德莱德大学）
在这项工作中，我们介绍了具有挑战性的问题，联合多人的姿态估计和跟踪未知数量的人在无约束的视频。现有的图像中多人姿态估计方法不能直接应用于这个问题，因为除了每个人的姿态估计之外，还需要解决随着时间的推移的人关联问题。因此，我们提出了一种新的方法，联合模型多人姿态估计和跟踪在一个单一的配方。为此，我们表示在视频中的身体关节检测的时空图和解决一个整数线性规划分割成子图，对应于每个人的似是而非的身体姿态轨迹的图形。所提出的方法隐式地处理遮挡和截断的人。由于这个问题在文献中没有得到定量的解决，我们引入了一个具有挑战性的“多人姿势跟踪”数据集，并提出了一个完全不受约束的评估协议，不对规模，大小，位置或人数做任何假设。最后，我们在新数据集上评估了所提出的方法和几种基线方法。
2017-04-07 cs.CV
Relation-Based Associative Joint Location for Human Pose Estimation in Videos
Beijing University of Posts and Telecommunications（北京邮电大学）
针对视频中人体姿态估计的关节长距离交互建模和遮挡问题，提出轻量级即插即用的关节关系提取器（JRE）显式建模关节关联，并结合姿态语义转移网络（RPSTN）跨帧传递语义特征，有效提升了遮挡场景下的姿态估计性能。
2023-06-30 cs.CV
Multi-Person Pose Estimation with Local Joint-to-Person Associations
University of Bonn（波恩大学）
尽管最近神经网络在人体姿态估计方面取得了成功，但目前的方法仅限于对单个人的姿态估计，并且不能处理成组或成群的人。在这项工作中，我们提出了一种方法，估计多个人在图像中，其中一个人可以被另一个人遮挡或可能被截断的姿势。为此，我们认为多人姿态估计作为一个联合到人的关联问题。我们从一组检测到的联合候选人在图像中构建一个完全连接的图，并解决联合到人的关联和离群点检测使用整数线性规划。由于解决联合到人的关联联合图像中的所有人是一个NP难的问题，甚至近似是昂贵的，我们解决了每个人的本地问题。在具有挑战性的多人MPII人体姿势数据集上，我们的方法达到了最先进方法的精度，但速度要快6,000到19,000倍。
2016-08-31 cs.CV
Cascaded Diffusion Framework for Probabilistic Coarse-to-Fine Hand Pose Estimation
KAIST（韩国科学技术院）
提出一种由粗到细的级联扩散框架，结合概率建模与级联细化，通过关节扩散模型采样假设并作为训练信号，使网格潜在扩散模型学习分布感知关系，在多个基准上达到最先进性能。
2026-09-09 cs.CV
Joint Representation of Multiple Geometric Priors via a Shape Decomposition Model for Single Monocular 3D Pose Estimation
Xiamen University（厦门大学）；South China University of Technology（华南理工大学）
在本文中，我们的目标是恢复三维人体姿态从二维人体关节的一个单一的图像。这项任务的主要挑战是深度模糊，因为不同的3D姿态可能会产生类似的2D姿态。尽管在无监督学习和监督学习方法中发现了许多新的进展，但大多数方法的性能受到训练数据的不充分和丰富性的影响。为了缓解这个问题，我们提出了一个无监督学习的方法，这是能够估计各种复杂的构成有限的训练数据。具体来说，我们提出了一个形状分解模型（SDM），其中的3D姿态被认为是两个部分的叠加，这是全球结构与一些变形。基于SDM，我们通过求解两组不同分布的几何先验组合系数来显式估计这两部分。此外，为了获得几何先验知识，提出了一种联合字典学习算法，从有限的训练数据中同时提取粗、细姿态线索。对几个广泛使用的数据集的定量评估表明，我们的方法比其他竞争方法产生更好的性能。特别是，在一些类别与更复杂的变形，显着的改善，实现了我们的方法。此外，在野外图像上进行的定性实验也表明了所提出的方法的有效性。
2019-05-31 cs.AI cs.CV
VideoRFSplat: Direct Scene-Level Text-to-3D Gaussian Splatting Generation with Flexible Pose and Multi-View Joint Modeling
KAIST（韩国科学技术院）；Yonsei University（延世大学）；EverEx
本研究提出VideoRFSplat文本到3D模型，采用双流架构和异步采样策略联合建模多视图图像与相机位姿，无需事后优化即可在多个真实数据集上取得优于现有方法的生成效果。
2025-03-20 cs.AI cs.CV
Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation
New York University（纽约大学）
本文提出了一种新的混合架构，由深度卷积网络和马尔可夫随机场。我们展示了这种架构是如何成功地应用于具有挑战性的问题，关节的人在单目图像的姿态估计。该架构可以利用结构域约束，例如身体关节位置之间的几何关系。我们表明，这两个模型范例的联合训练提高了性能，并使我们能够显着优于现有的最先进的技术。
2014-09-17 cs.CV
Learning Dynamical Human-Joint Affinity for 3D Pose Estimation in Videos
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Shanghai AI Laboratory（上海人工智能实验室）
图卷积网络（GCN）已成功用于视频中的3D人体姿态估计。然而，它往往是建立在固定的人体关节亲和力，根据人体骨骼。这可能会降低GCN处理视频中复杂的时空姿态变化的适应能力。为了缓解这个问题，我们提出了一种新的动态图网络（DG-Net），它可以动态地识别人体关节的亲和力，并估计3D姿态自适应学习空间/时间的联合关系从视频。与传统的图卷积不同，我们引入动态空间/时间图卷积（DSG/DTG）来发现每个视频样本的空间/时间人体关节亲和力，这取决于该视频中人体关节之间的空间距离/时间运动相似性。因此，它们可以有效地理解哪些关节在空间上更接近和/或具有一致的运动，以在将2D姿态提升到3D姿态时减少深度模糊性和/或运动不确定性。我们对三个流行的基准进行了广泛的实验，例如，Human3.6M、HumanEva-I和MPI-INF-3DHP，其中DG-Net以更少的输入帧和模型大小优于许多最近的SOTA方法。
2021-09-15 cs.CV
Convolutional Neural Networks for joint object detection and pose estimation: A comparative study
Université Paris-Est（巴黎东大）
在本文中，我们研究了应用卷积神经网络联合检测对象描绘在静态图像和估计其三维姿态。我们确定了定向对象的不同特征表示，以及导致网络学习这种表示的能量。表示的选择是至关重要的，因为对象的姿势具有自然的连续结构，而其类别是离散变量。我们使用平均视点精度评估Pascal 3D+基准的联合目标检测和姿态估计任务的不同方法。我们表明，离散化的观点的分类方法实现联合目标检测和姿态估计的最先进的性能，并显着优于现有的基准。
2015-02-28 cs.CV cs.LG cs.NE
JUMPS: Joints Upsampling Method for Pose Sequences
InterDigital（InterDigital（InterDigital公司））；Rennes（雷恩（城市，非机构））；France（法国（国家，非机构））
人体姿态估计是一个低层次的任务，用于监视，人体动作识别和场景理解。它也为合成角色的动画制作提供了有前途的前景。对于所有这些应用，特别是后者，估计许多关节的位置是提高性能和现实主义的必要条件。为此，我们提出了一种新的方法，称为JUMPS的增加关节的数量在2D姿态估计和恢复闭塞或失踪的关节。我们认为这是解决这个问题的第一次尝试。我们构建了一个深度生成模型，该模型结合了生成对抗网络（GAN）和编码器。GAN学习高分辨率人类姿势序列的分布，编码器将输入的低分辨率序列映射到其潜在空间。修复是通过计算潜在的representation，其解码由GAN generator optimallymatches在输入的关节位置。使用我们的方法对2Dpose序列进行后处理，提供了更丰富的角色运动表示。我们的实验表明，thelocalization精度的额外的关节是平均onpar与原来的姿态估计。
2020-10-14 cs.CV
Bimodal Stereo: Joint Shape and Pose Estimation from Color-Depth Image Pair
Xi’an Jiaotong University（西安交通大学）；Northwestern University（西北大学）；HERE Technologies（HERE技术公司）
彩色相机和深度相机之间的相互校准是多模态数据配准中具有挑战性的课题。在本文中，我们面临着一个“双峰立体”的问题，其目的是解决相机的姿态从一对未校准的彩色图像和深度图从不同的意见自动。为了解决这个问题，提出了一种迭代的形状从阴影（SfS）为基础的框架，同时估计形状和姿态。在流水线中，通过来自估计姿态下的给定深度图的形状先验来细化估计形状。同时，通过估计的形状和来自给定深度图的形状的配准来改进估计的姿态。我们还在流水线中引入了基于着色的细化，以解决具有孔的噪声深度图。大量的实验表明，通过我们的方法，深度图，恢复的形状以及它的姿态可以理想地细化和恢复。
2019-05-16 cs.AI cs.CV
Efficient Human Pose Estimation with Depthwise Separable Convolution and Person Centroid Guided Joint Grouping
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了高效和有效的方法，二维人体姿态估计。提出了一种基于深度可分离卷积的ResBlock算法，并将其应用于Hourglass网络。它可以通过将vanilla dependency卷积替换为混合dependency卷积来进一步增强。在此基础上，提出了一种自底向上的多人姿态估计方法。通过引入人体质心作为根节点，直接或分层地连接到人体各关节，用有根树表示人体姿态。子网络的两个分支用于预测质心、身体关节及其到其父结点的偏移。通过沿运动类型的偏移追踪到最近的质心，对运动类型进行分组。在MPII人体数据集和LSP数据集上的实验结果表明，我们的单人和多人姿态估计方法都可以以较低的计算成本达到有竞争力的精度。
2020-12-06 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出 PoseVocab，一种用于人体化身建模的关节结构化姿态编码方法，通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略，实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
How Noisy Poses Break Inverse Dynamics: Analysis and Mitigation for Video-Based Joint Torque Estimation
Emory University（埃默里大学）；Yonsei University（延世大学）
本文系统分析了3D人体姿态估计噪声通过逆动力学放大关节力矩误差的问题，提出SMPL-Dynamics模块并通过可微姿态优化将力矩误差降低93%。
2026-05-23 cs.CV
Generalized Feedback Loop for Joint Hand-Object Pose Estimation
Graz University of Technology（格拉茨理工大学）；Laboratoire Bordelais de Recherche en Informatique（波尔多计算机研究实验室）；Université de Bordeaux（波尔多大学）；X, Alphabet Inc.（Alphabet公司X部门）
我们提出了一种方法来估计的3D姿态的手，可能处理的对象，给定的深度图像。我们表明，我们可以纠正错误的卷积神经网络训练预测估计的3D姿态通过使用反馈回路。这个反馈回路的组件也是深度网络，使用训练数据进行优化。这种方法可以推广到手与物体的交互。因此，我们联合估计手的3D姿态和对象的3D姿态。我们的方法与用于3D手部姿势估计的最先进的方法相当，并且在仅使用深度图像时优于用于联合手部对象姿势估计的最先进的方法。此外，我们的方法是高效的，因为我们的实现在单个GPU上实时运行。
2019-03-25 cs.CV
TransPoser: Transformer as an Optimizer for Joint Object Shape and Pose Estimation
Kyoto University（京都大学）
我们提出了一种新的方法联合估计的形状和姿势的刚性物体从他们的顺序观察RGB-D图像。与过去依赖于复杂非线性优化的方法形成鲜明对比，我们建议将其制定为学习有效估计形状和姿势的神经优化。我们引入了深度方向距离函数（DeepDDF），这是一种神经网络，在给定相机视点和观看方向的情况下直接输出对象的深度图像，用于在2D图像空间中进行有效的误差计算。我们将联合估计本身公式化为我们称为TransPoser的Transformer。我们充分利用标记化和多头注意力来顺序地处理不断增长的观察集，并分别利用学习到的动量有效地更新形状和姿势。在合成数据和真实数据上的实验结果表明，DeepDDF作为类别级对象形状表示实现了高精度，而TransPoser在联合形状和姿态估计方面有效地实现了最先进的精度。
2023-03-23 cs.CV
Cascaded Pyramid Network for 3D Human Pose Estimation Challenge
SK T-Brain
在过去的十年中，人们对人体姿态估计的兴趣越来越大。虽然在二维姿态估计方面已经做了大量的工作，但三维姿态估计的研究相对较少，本文提出了一种基于上下两阶段的三维姿态估计框架。在我们的2D姿态估计过程中，GloabalNet和RefineNet使我们能够找到被遮挡或不可见的2D关节，而由残留块组成的2D到3D姿态估计器用于有效地将2D关节提升到3D关节。所提出的方法在ECCV 2018 PoseTrack Challenge中的“3D人体姿势估计”验证数据集上实现了有希望的结果，平均每个关节位置误差为42.39。'
2018-10-03 cs.CV
Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Shanghai Jiao Tong University（上海交通大学）
最近，人们对将Transformers引入3D人体姿态估计（HPE）的兴趣激增，因为它们在建模长期依赖性方面具有强大的功能。然而，现有的基于变换器的方法将身体关节视为同等重要的输入，并且忽略了自我注意力机制中的人体骨架拓扑的先验知识。为了解决这个问题，在本文中，我们提出了一个姿态导向的Transformer（POT）与不确定性指导细化的三维HPE。具体来说，我们首先开发了新的面向姿态的自我注意力机制和距离相关的位置嵌入POT明确利用人体骨架拓扑结构。面向姿态的自我注意力机制明确地对身体关节之间的拓扑相互作用进行建模，而距离相关的位置嵌入对关节到根关节的距离进行编码，以区分具有不同回归难度的关节组。此外，我们提出了一个不确定性指导的细化网络（UGRN），以改善从POT的姿态预测，特别是对于困难的关节，通过考虑估计的不确定性的每个关节的不确定性与不确定性指导的采样策略和自我注意力机制。大量的实验表明，我们的方法在3D HPE基准测试（如Human3.6M和MPI-INF-3DHP）上显著优于具有减少的模型参数的最先进方法
2023-02-15 cs.CV
Joint angle based learning to refine kinematic human pose estimation
Department of Engineering Mechanics, School of Civil Engineering and Transportation, South China University of Technology（工程力学系，交通工程学院，华南理工大学）；School of Mechanics and Construction Engineering, Jinan University（机械与建筑工程学院，暨南大学）；Guangdong Provincial Key Laboratory of Speed Capability, School of Physical Education, Jinan University（广东省速度能力重点实验室，暨南大学体育学院）
提出一种基于关节角度的双向循环网络后处理模块，利用高阶傅里叶级数近似生成可靠真值，以精化单图像人体姿态估计，纠正错误关键点并平滑轨迹。
2026-05-29 cs.AI cs.CV
3D Human Pose Estimation Using Convolutional Neural Networks with 2D Pose Information
Seoul National University（首尔大学）
虽然在利用卷积神经网络（CNN）的2D人体姿态估计中已经取得了成功，但是3D人体姿态估计尚未被彻底研究。在本文中，我们使用CNN通过端到端学习来解决3D人体姿势估计任务。通过CNN学习一个关节和其他关节之间的相对3D位置。该方法通过两个新的思想提高了CNN的性能。首先，我们添加了2D姿态信息，通过将2D姿态估计结果与来自图像的特征连接来从图像估计3D姿态。第二，我们发现，更准确的3D姿态是通过结合相对于多个关节的相对位置的信息，而不是仅仅一个根关节。实验结果表明，该方法实现了人类3.6米数据集上的最先进的方法相当的性能。
2016-09-08 cs.CV
A novel joint points and silhouette-based method to estimate 3D human pose and shape
Lund University（隆德大学）
本文提出了一种新的方法，从稀疏视图图像的三维人体姿态和形状估计，使用关节点和轮廓，基于参数模型。首先，将参数模型拟合到通过基于深度学习的人体姿态估计估计的关节点。然后，我们提取之间的对应关系的参数化模型的姿态拟合和轮廓的2D和3D空间。在此基础上，构造了一种新的能量函数，并将其最小化以拟合参数化模型。我们的方法使用足够的形状信息，因为能量函数的轮廓是建立在2D和3D空间。这也意味着我们的方法只需要来自稀疏视图的图像，这平衡了所使用的数据和所需的先验信息。在合成数据和真实数据上的实验结果表明，该方法在人体姿态和形状估计上具有很好的性能。
2020-12-11 cs.CV
SEAL-pose: Enhancing 3D Human Pose Estimation via a Learned Loss for Structural Consistency
Seoul National University, South Korea；Texas A\&M University, College Station, Texas, USA
SEAL-pose通过学习的损失网络提升3D人体姿态估计的结构一致性，有效减少关节误差并提高姿态合理性，优于传统方法和具有显式约束的模型。
2026-02-23 cs.AI cs.CV
Occluded Joints Recovery in 3D Human Pose Estimation based on Distance Matrix
The Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
尽管最近由于卷积神经网络在单图像3D人体姿态估计方面取得了进展，但处理诸如高度遮挡场景的真实场景仍然具有挑战性。在本文中，我们提出了利用欧氏距离矩阵（EDM）的单图像三维人体姿态估计与闭塞测量的问题。具体来说，我们提出了两种方法的基础上EDM，可以有效地处理闭塞关节在2D图像。第一种方法基于通过简单的CNN架构实现的2D到2D距离矩阵回归。第二种方法是基于稀疏编码以及学习过完备字典。Human3.6M数据集上的实验表明，这两种方法在恢复被遮挡的观察结果方面表现出色，并证明了在遮挡关节的3D人体姿态估计的准确性方面的改进。
2018-07-30 cs.CV
SAGE-Yoga: Multi-Cue Learning for Yoga Pose Classification and Joint-Level Correction
SAGE-Yoga提出统一粗到细框架，结合互补视觉集成与选择性几何验证，实现瑜伽姿势分类和关节级纠正，在Yoga-82上达到90.7%Top-1准确率。
2026-09-18 cs.CV
GATOR: Graph-Aware Transformer with Motion-Disentangled Regression for Human Mesh Recovery from a 2D Pose
Peking University, Shenzhen Graduate School（北京大学深圳研究生院）
从二维姿态恢复三维人体网格在各种应用中起着重要的作用。然而，现有的方法难以同时捕捉骨架到网格演化过程中的多种关系，包括关节-关节、关节-顶点、顶点-顶点关系，从而导致结果不合理。为了解决这个问题，我们提出了一种新的解决方案，称为GATOR，它包含一个图形感知Transformer（GAT）的编码器和一个运动分解回归（MDR）的解码器来探索这些多重关系。具体来说，GAT将GCN和图形感知的自我注意力并行地结合起来，以捕获物理和隐藏的关节-关节关系。此外，MDR模型的关节顶点和顶点顶点的相互作用，探索关节和顶点的关系。基于顶点偏移场的聚类特性，MDR通过合成预测的基本运动来回归顶点。大量的实验表明，GATOR在两个具有挑战性的基准测试中达到了最先进的性能。
2023-03-10 cs.AI cs.CV cs.LG
Attribute And-Or Grammar for Joint Parsing of Human Attributes, Part and Pose
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种属性和或语法（A-AOG）模型，用于联合推断人体姿势和人体属性的解析图与属性扩展到节点的层次表示。与当前文献中训练姿势和个体属性的单独分类器的其他流行方法相比，我们的方法显式地表示身体部位的分解和关节，并考虑姿势和属性之间的相关性。A-AOG模型是三种传统语法公式的融合：（i）短语结构语法，表示人体从整体到部分的层次分解;（ii）依赖语法，通过身体姿势的运动图对几何关节进行建模;以及（iii）属性语法，考虑层次结构中不同部分之间的兼容性关系，以便它们的外观遵循一致的风格。解析图同时输出人体检测、姿态估计和属性预测，这些都是直观和可解释的。我们在两个数据集上进行了两个任务的实验，实验结果表明，联合建模的优势相比，独立计算的姿态和属性。此外，我们的模型获得了更好的性能比现有的方法的姿态估计和属性预测任务。
2016-07-07 cs.CV
Efficient 2D to Full 3D Human Pose Uplifting including Joint Rotations
University of Augsburg（奥格斯堡大学）
针对体育分析中3D人体关节位置与旋转捕捉的需求，提出一种高效的2D到3D提升模型，直接估计含关节旋转的3D人体姿态，解决了现有方法计算成本高或精度低的问题，性能优于基于IK的方法和HMR模型。
2025-04-14 cs.CV
Occluded Human Pose Estimation based on Limb Joint Augmentation
School of Electrical and Information Engineering, Zhengzhou University（郑州大学电气与信息工程学院）；School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Department of Computer Science, Toronto Metropolitan University（多伦多都会大学计算机科学系）
本文提出基于肢体关节增强的遮挡人体姿态估计框架，通过随机遮挡训练图像中的肢体关节并构建基于肢体图的动态结构损失函数，显著提升了模型在遮挡场景下的泛化与定位能力，且推理时无额外计算成本。
2024-10-13 cs.CV
GoalieNet: A Multi-Stage Network for Joint Goalie, Equipment, and Net Pose Estimation in Ice Hockey
University of Waterloo（滑铁卢大学）
本文提出多阶段深度神经网络GoalieNet，用于联合估计冰球中守门员、装备及球网的姿态，在NHL基准数据上29个关键点平均准确率达84%，证明了该联合估计方法的有效性。
2023-06-28 cs.CV cs.LG
Quantification of Occlusion Handling Capability of a 3D Human Pose Estimation Framework
Information Technology University（信息技术大学）
利用单目图像进行三维人体姿态估计是一项重要而又具有挑战性的任务。现有的3D姿态检测方法在正常情况下表现出优异的性能，但是它们的性能可能会由于遮挡而降低。最近一些遮挡感知方法也被提出，然而，这些网络的遮挡处理能力还没有得到彻底的研究。在目前的工作中，我们提出了一个遮挡引导的三维人体姿态估计框架，并量化其遮挡处理能力，通过使用不同的协议。所提出的方法估计更准确的三维人体姿态使用2D骨架与丢失的关节作为输入。通过引入遮挡引导来处理缺失的关节，该遮挡引导提供关于关节缺失或存在的额外信息。时间信息也被用来更好地估计缺失的关节。大量的实验进行了量化的遮挡处理能力的方法在三个公开可用的数据集在各种设置，包括随机缺失关节，固定的身体部位缺失，和完整的帧缺失，使用平均每个关节位置误差标准。除此之外，还使用动作分类性能作为标准来评估预测的3D姿态的质量。所提出的方法估计的3D姿态实现了显着改善的动作识别性能，在存在缺失的关节。我们的实验证明了所提出的框架用于处理缺失关节以及量化深度神经网络的遮挡处理能力的有效性。
2022-03-08 cs.CV
mmJoints: Expanding Joint Representations Beyond (x,y,z) in mmWave-Based 3D Pose Estimation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出mmJoints框架，通过附加关节被感知可能性及预测位置可靠性的描述符，显性化基于mmWave的3D姿态估计中的先验偏差，从而提升下游任务的准确率与可解释性。
2025-10-10 cs.CV
