PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Pose Embeddings: A Deep Architecture for Learning to Match Human Poses
Simon Fraser University（西蒙弗雷泽大学）；Google Inc.（谷歌公司）
我们提出了一种学习嵌入的方法，该方法将人类的图像以相似的姿势放置在附近。这种嵌入可以用作基于人体姿势比较图像的直接方法，避免了估计身体关节位置的潜在挑战。姿态嵌入学习是在基于三元组的距离准则下制定的。深度架构用于允许学习能够在不同姿势之间进行区分的表示。在视频数据中的人体姿态匹配和检索实验表明了该方法的有效性。
2015-07-01 cs.CV
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
本文针对精确抓取应用中物体姿态估计和抓取过程的误差问题，提出模块化框架。通过物体姿态分布估计和第二视角模块降低姿态不确定性，用独立模块补偿抓取误差，经真实场景测试，该框架能提高效率，是解决相关不确定性的首个可互换模块框架。
2026-07-16 cs.CV cs.RO
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute of CUHK（香港中文大学汤申机器人研究所）
学习良好的3D人体姿态表示对于人体姿态相关任务（例如，人体3D姿态估计和动作识别）是重要的。在所有这些问题中，保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中，我们提出了一种新的Siamese去噪自动编码器，通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性，本文进一步提出了一种序列双向递归网络（SeBiReNet）来对人体骨骼数据进行建模。大量的实验表明，学习的表示1）保留了人体姿势的内在信息，2）显示出良好的跨数据集和任务的可移植性。值得注意的是，我们的方法在两个本质上不同的任务上实现了最先进的性能：姿态去噪和无监督动作识别。代码和型号可从以下网址获得：\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
Adversarial Synthesis of Human Pose from Text
University of Bonn（波恩大学）；RWTH-Aachen University（亚琛工业大学）
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估，该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明，该模型是能够合成合理的构成匹配给定的文本，这表明它是可能的，以生成与给定的语义特征，特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center（京东硅谷研究中心）
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类：自上而下和自下而上的方法。在本文中，遵循自顶向下的方法，我们的目标是建立一个强大的基线系统，三个模块：人体候选人检测器，单人姿势估计器和人体姿势跟踪器。首先，我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后，使用级联金字塔网络来估计相应的人体姿态。最后，我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联，即，为了多目标姿态跟踪的目的，为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验，以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战：姿态估计和姿态跟踪。
2019-01-23 cs.CV
Turbo Learning Framework for Human-Object Interactions Recognition and Human Pose Estimation
SenseTime Group Ltd.（商汤集团有限公司）；Tsinghua University（清华大学）
人-物交互（HOI）识别和姿态估计是两个密切相关的任务。人体姿态是识别动作和定位交互对象的重要线索。同时，人的动作和交互对象的定位为姿态估计提供了指导。在本文中，我们提出了一个涡轮学习框架，同时执行HOI识别和姿态估计。首先，设计了两个模块来执行任务之间的消息传递，即姿态感知HOI识别模块和HOI引导的姿态估计模块。然后，这两个模块形成一个闭环，以迭代地利用互补信息，可以以端到端的方式进行训练。该方法在V-COCO和HICO-DET两个公共基准测试数据集上取得了最好的性能。
2019-03-15 cs.CV
3D Human Pose Estimation Using Convolutional Neural Networks with 2D Pose Information
Seoul National University（首尔大学）
虽然在利用卷积神经网络（CNN）的2D人体姿态估计中已经取得了成功，但是3D人体姿态估计尚未被彻底研究。在本文中，我们使用CNN通过端到端学习来解决3D人体姿势估计任务。通过CNN学习一个关节和其他关节之间的相对3D位置。该方法通过两个新的思想提高了CNN的性能。首先，我们添加了2D姿态信息，通过将2D姿态估计结果与来自图像的特征连接来从图像估计3D姿态。第二，我们发现，更准确的3D姿态是通过结合相对于多个关节的相对位置的信息，而不是仅仅一个根关节。实验结果表明，该方法实现了人类3.6米数据集上的最先进的方法相当的性能。
2016-09-08 cs.CV
Diversifying Human Pose in Synthetic Data for Aerial-view Human Detection
University of Maryland, College Park（马里兰大学 College Park分校）；BlueHalo；DEVCOM Army Research Laboratory（国防部陆军研究实验室）
针对俯视人体检测合成数据姿态多样性不足的问题，提出SynPoseDiv框架，结合扩散姿态生成与图像转换及Dijkstra优化序列，显著提升多基准检测精度，小样本场景效果尤佳。
2025-06-12 cs.CV
2D-3D Pose Consistency-based Conditional Random Fields for 3D Human Pose Estimation
Kwangwoon University（光云大学）；Seoul National University（首尔大学）
这项研究认为，在一个单一的RGB图像中的三维人体姿态估计问题，提出了一个条件随机场（CRF）模型在2D构成，其中的3D姿态是作为一个副产品的推理过程。CRF模型的一元项是基于一个强大的热图回归网络定义的，该网络已被提出用于2D人体姿态估计。本研究亦提出一个回归网路，以提升二维位姿至三维位姿，并根据估计三维位姿与二维位姿的一致性，提出先验项。为了获得所提出的CRF模型的近似解，采用N-最佳策略。所提出的推理算法可以被视为基于深度网络从输入2D图像自下而上生成2D和3D姿态提议以及通过检查其可扩展性来自上而下验证这些提议的顺序过程。为了评估所提出的方法，我们使用了两个大规模数据集：Human3.6M和HumanEva。实验结果表明，该方法达到了最先进的三维人体姿态估计性能。
2017-12-28 cs.CV
Bootstrapping Human Optical Flow and Pose
The University of British Columbia（不列颠哥伦比亚大学）
我们提出了一个自举框架，以提高人类的光流和姿态。我们表明，对于涉及人类在场景中的视频，我们可以提高光流和姿态估计质量的人同时考虑这两个任务。我们通过微调来增强光流估计，以适应人类姿势估计，反之亦然。更详细地说，我们优化的姿态和光流网络，在推理时间，彼此同意。我们表明，这导致了在野生数据集中的人类3.6M和3D姿势以及Sintel数据集的人类相关子集上的最先进的结果，无论是姿势估计精度还是人类关节位置处的光流精度。代码可在https://github.com/ubc-vision/bootstrapping-human-optical-flow-and-pose获得
2022-10-28 cs.CV
SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space
University of Alberta（阿尔伯塔大学）
我们提出了一种方法SPGNet的三维人体姿态估计，混合多维重投影到监督学习。在该方法中，2D-to-3D-lifting网络预测3D人体姿态的全局位置和坐标。然后，我们将估计的3D姿势重新投影回2D关键点并进行空间调整。损失函数将估计的3D姿态与3D姿态地面实况进行比较，并将重新投影的2D姿态与输入的2D姿态进行比较。此外，我们提出了一个运动学约束，以限制预测的目标与恒定的人骨长度。基于数据集Human3.6M的估计结果，我们的方法在定性和定量方面都优于许多最先进的方法。
2022-06-04 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia（不列颠哥伦比亚大学）
从单幅图像中估计人体姿态是一个具有挑战性的问题，通常通过监督学习来解决。不幸的是，标记的训练数据还不存在许多人类活动，因为3D注释需要专用的运动捕捉系统。因此，我们提出了一种无监督的方法，该方法可以学习从单个图像中预测3D人体姿势，同时只使用2D姿势数据进行训练，这些数据可以是众包的，并且已经广泛使用。为此，我们估计最有可能通过随机投影的3D姿势，使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识，但我们学习了相机角度的分布，这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上，我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute（丰田工业大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对静止图像中的人体姿态估计，本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计，但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案，这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中，只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高，所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态，但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
Reconstructing 3D Human Pose by Watching Humans in the Mirror
Zhejiang University（浙江大学）
在本文中，我们介绍了一个新的任务，重建三维人体姿态从一个单一的图像，我们可以看到的人和人的形象，通过一面镜子。与从单个视图进行3D姿态估计的一般场景相比，镜面反射提供了用于解决深度模糊的附加视图。我们开发了一种基于优化的方法，利用镜像对称约束精确的3D姿态重建。我们还提供了一种方法来估计表面法线的镜子从消失点在单一的图像。为了验证所提出的方法，我们收集了一个名为Mirrored-Human的大规模数据集，该数据集涵盖了各种各样的人类主体，姿势和背景。实验表明，当使用我们重建的3D姿态作为伪地面实况对镜像人进行训练时，现有单视图3D姿态估计器的准确性和通用性可以大大提高。
2021-04-01 cs.CV
Direct Reward Fine-Tuning on Poses for Single Image to 3D Human in the Wild
Seoul National University（首尔国立大学）
DrPose通过直接奖励微调提升单图像到3D人体重建的姿态一致性，利用姿态与图像配对数据训练，改进多视图扩散模型，提升动态和复杂姿态的重建质量。
2026-03-03 cs.CV
A Review on Human Pose Estimation
Northeastern University（东北大学）；Augmented Cognition Laboratory (ACLab)（增强认知实验室（ACLab））
人体姿态估计（HPE）现象是多年来一直在探索的问题，特别是在计算机视觉中。但它到底是什么？要回答这个问题，首先必须理解姿势的概念。姿势可以定义为人体关节以特定方式的排列。因此，我们可以将人体姿态估计问题定义为图像和视频中人体关节或预定义地标的定位。姿势估计有多种类型，包括身体、面部和手部，以及它的许多方面。本文将从HPE的经典方法到基于深度学习的模型开始介绍它们。
2021-10-13 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications（北京邮电大学）
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中，我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节，以及一些实验结果。在比赛中，我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
3D Human Pose Regression using Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）；reFit Systems（reFit系统公司）
3D人体姿态估计是一项困难的任务，由于诸如遮挡的身体部位和模糊姿态的挑战。图卷积网络以邻接矩阵的形式对人体骨架的结构信息进行编码，这有利于更好地进行姿态预测。我们提出了一个这样的图卷积网络命名为PoseGraphNet的三维人体姿态回归从2D姿态。我们的网络使用自适应邻接矩阵和特定于邻居组的内核。我们在Human3.6M数据集上评估我们的模型，该数据集是3D姿态估计的标准数据集。我们的模型的性能接近国家的最先进的，但少得多的参数。该模型学习没有物理连接但行为相似的关节之间有趣的邻接关系。
2022-12-13 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出 PoseVocab，一种用于人体化身建模的关节结构化姿态编码方法，通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略，实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
Heuristic Weakly Supervised 3D Human Pose Estimation
Northeastern University（东北大学）
本文提出HW-HuP，一种启发式弱监督方法，利用部分姿态先验和深度数据，在无三维标注时估计三维人体姿态，并在床上和野外婴儿场景中优于现有模型，在公开基准上性能相当。
2023-05-12 cs.CV
DeepSkeleton: Skeleton Map for 3D Human Pose Regression
Fudan University（复旦大学）
尽管最近在2D人体姿态估计方面取得了成功，但3D人体姿态估计仍然是一个悬而未决的问题。一个关键的挑战是不适定的深度模糊性质。本文提出了一种新的中间特征表示称为骨架图回归。它从RGB图像的无关属性（如光照和纹理）中提取结构背景。它简单，干净，可以很容易地通过反卷积网络生成。这是第一次，我们表明，训练回归网络从骨架图单独是能够满足国家的最先进的三维人体姿态估计工作的性能。我们进一步利用多个3D假设生成的能力来获得与2D姿态检测一致的合理的3D姿态。我们的方法的有效性在具有挑战性的野外数据集MPII和室内数据集Human3.6M上进行了验证。
2017-11-29 cs.CV
AnyPose: Anytime 3D Human Pose Forecasting via Neural Ordinary Differential Equations
Purdue University（普渡大学）
针对现有3D人体姿态预测仅限离散时间间隔的问题，提出基于神经常微分方程的轻量级连续时间架构AnyPose，实现任意时刻预测且计算时间显著降低。
2023-09-09 cs.CV
A Data-driven Approach for Human Pose Tracking Based on Spatio-temporal Pictorial Structure
Indian Statistical Institute（印度统计学院）
在本文中，我们提出了一个数据驱动的方法，在视频数据中的人体姿态跟踪。我们制定的人体姿态跟踪问题作为一个离散的优化问题的基础上的时空图像结构模型和解决这个问题的贪婪框架非常有效。我们提出的模型来跟踪人体的姿势相结合的人从单一的图像和传统的目标跟踪视频中的姿态估计。我们的姿态跟踪目标函数由以下条款组成：一个帧内的一部分的外观，从前一帧到当前帧的时间位移的一部分，和一个部分的空间依赖性与它的父亲在图形结构中的相似性。在基准数据集（VideoPose2，Poses in the Wild and Outdoor Pose）以及我们新构建的ICDPose数据集上的实验评估表明了我们所提出的方法的实用性。
2016-07-31 cs.CV
PPT: token-Pruned Pose Transformer for monocular and multi-view human pose estimation
University of California, Irvine（加州大学欧文分校）；Tencent Inc（腾讯公司）；Meta AI
近年来，视觉Transformer及其变体在单目和多视角人体姿态估计中发挥了越来越重要的作用。将图像补丁视为令牌，Transformers可以对整个图像内或来自其他视图的图像之间的全局依赖性进行建模。然而，全局注意力在计算上是昂贵的。因此，很难将这些基于变换的方法扩展到高分辨率特征和许多视图。在本文中，我们提出了令牌修剪姿态Transformer（PPT）的二维人体姿态估计，它可以定位一个粗略的人体面具，并执行自我注意力只在选定的令牌。此外，我们将我们的PPT扩展到多视图人体姿态估计。基于PPT，我们提出了一种新的跨视图融合策略，称为人体区域融合，认为所有的人类前景像素作为相应的候选人。COCO和MPII上的实验结果表明，我们的PPT可以匹配以前的姿态Transformer方法的精度，同时减少了计算。此外，在人类3.6M和滑雪姿势上的实验表明，我们的多视图PPT可以有效地融合来自多个视图的线索，并实现新的最先进的结果。
2022-09-16 cs.CV
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH（普罗法克特有限公司）；JKU（约翰内斯·开普勒大学）
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明，将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法，而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机，我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
对于单目图像中的人体姿态估计，人体上的关节遮挡和重叠通常会导致姿态预测的偏差。在这些情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用关节互连的几何约束来预测姿势。为了通过结合人体结构的先验知识来解决这个问题，我们提出了一种新的结构感知卷积网络，以便在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，我们设计了判别器来区分真实的姿势和虚假的姿势（比如生物学上不可信的姿势）。如果姿态生成器（G）生成的结果无法与真实结果区分开来，则网络成功地学习了先验知识。
2017-05-02 cs.CV
PoseTrans: A Simple Yet Effective Pose Transformation Augmentation for Human Pose Estimation
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）
人体姿态估计旨在准确地估计各种各样的人体姿态。然而，现有的数据集往往遵循长尾分布，不寻常的姿态只占一小部分，这进一步导致缺乏多样性的罕见姿态。这些问题导致当前姿态估计器的泛化能力较差。在本文中，我们提出了一个简单而有效的数据增强方法，称为姿态变换（PoseTrans），以减轻上述问题。具体来说，我们提出了姿势变换模块（PTM），以创建新的训练样本，具有不同的姿势，并采取姿势训练，以确保增强的姿势的可扩展性。此外，我们提出了姿势聚类模块（PCM）来衡量姿势的稀有性，并选择“稀有”的姿势，以帮助平衡长尾分布。在三个基准数据集上的大量实验证明了该方法的有效性，特别是在稀有姿势上。此外，我们的方法是高效和简单的实现，它可以很容易地集成到现有的姿态估计模型的训练管道。
2022-08-16 cs.CV
UniHPR: Unified Human Pose Representation via Singular Value Contrastive Learning
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
针对多模态人体姿态表示缺乏统一对齐研究的问题，提出UniHPR流水线与基于奇异值的对比损失，在人体姿态估计与检索任务上取得优异性能。
2025-10-21 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
Social-Pose: Enhancing Trajectory Prediction with Human Body Pose
Visual Intelligence for Transportation (VITA) lab（视觉交通智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院洛桑校区）
针对自动驾驶中人体轨迹预测未充分利用人体视觉线索的问题，提出基于注意力的Social-pose姿态编码器，可集成到多种预测架构，在多个数据集上提升主流模型性能，并探究了姿态维度、噪声及机器人导航应用相关问题。
2025-07-30 cs.CV
HumanSplatHMR: Closing the Loop Between Human Mesh Recovery and Gaussian Splatting Avatar
University of Michigan（密歇根大学）
本文提出HumanSplatHMR方法，通过闭合几何姿态估计与可微渲染之间的循环，改进人体姿态恢复和高斯点绘肖像的生成，提升在新视角和新姿态下的渲染质量。
2026-05-21 cs.CV
Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Meta Reality Labs Research（Meta现实实验室）
我们提出了姿势NDF，一个连续的模型，合理的人类构成的神经距离场（NDF）的基础上。姿态或运动先验对于生成真实的新姿态和从噪声或部分观测重建准确姿态是重要的。Pose-NDF学习一个可能的姿态流形作为神经隐式函数的零水平集，将3D隐式曲面建模的思想扩展到高维域SO（3）^K，其中人类姿态由单个数据点定义，由K个四元数表示。所得到的高维隐函数可以相对于输入姿态进行微分，并且因此可以用于通过在三维超球面的集合上使用梯度下降来将任意姿态投影到流形上。与以前的基于VAE的人类姿势先验（将姿势空间转换为高斯分布）相比，我们对实际姿势流形进行建模，保留姿势之间的距离。我们证明，PoseNDF优于现有的最先进的方法，作为一个在各种下游任务的优先级，从去噪真实世界的人类mocap数据，从遮挡数据的姿态恢复到3D姿态重建图像。此外，我们表明，它可以用来生成更多样化的构成随机采样和投影比基于VAE的方法。
2022-07-27 cs.CV
Multiview-Consistent Semi-Supervised Learning for 3D Human Pose Estimation
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan人工智能公司）；IISc Bangalore（印度科学学院班加罗尔分校）；University of California, San Diego（加州大学圣地亚哥分校）
用于从单目图像进行3D人体姿态估计的最佳执行方法需要大量的野外2D和受控3D姿态注释数据集，这些数据集是昂贵的并且需要复杂的系统来获取。为了减少这种注释依赖性，我们提出了多视图一致的半监督学习（MCSS）框架，该框架利用来自未注释，未校准但同步的人体运动多视图视频的姿势信息的相似性作为额外的弱监督信号来指导3D人体姿势回归。我们的框架应用硬否定挖掘的时间关系的基础上，在多视图视频到达一个多视图一致的姿势嵌入。当使用有限的3D姿势注释进行联合训练时，我们的方法将基线提高了25%，最先进的提高了8.7%，同时使用了更小的网络。最后，但重要的是，我们展示了学习嵌入的优势，并在两个流行的、公开可用的多视图人体姿势数据集Human 3.6M和MPI-INF-3DHP上建立了视图不变的姿势检索基准，以促进未来的研究。
2020-02-25 cs.CV
GFPose: Learning 3D Human Pose Prior with Gradient Fields
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Peking University（北京大学）
学习3D人体姿态先验是以人为中心的人工智能的关键。在这里，我们提出了GFPose，一个多功能的框架来为各种应用程序建模合理的3D人体姿势。GFPose的核心是一个时间相关的评分网络，它估计每个身体关节上的梯度，并逐步对扰动的3D人体姿势进行降噪，以匹配给定的任务规范。在去噪过程中，GFPose隐式地将姿态先验纳入梯度中，并在一个优雅的框架中统一了各种判别和生成任务。尽管简单，GFPose在几个下游任务中表现出巨大的潜力。我们的实验经验表明：1）作为一个多假设的姿态估计器，GFPose在Human3.6M数据集上的性能比现有的SOTA高出20%。2)作为单假设姿态估计器，GFPose实现了与确定性SOTA相当的结果，即使具有香草主干。3)GFPose能够在姿态去噪、完成和生成任务中生成多样化和逼真的样本。项目页面https://sites.google.com/view/gfpose/
2022-12-16 cs.CV
D-PoSE: Depth as an Intermediate Representation for 3D Human Pose and Shape Estimation
University of Crete（克里特大学）；Institute of Computer Science, FORTH（FORTH计算机科学研究所）
本研究提出单阶段3D人体姿态与形状估计方法D-PoSE，以深度图为中间表示，用合成数据深度监督训练，在EMDB、3DPW基准上达SOTA，轻量CNN架构优于参数量高近一个量级的ViT模型。
2024-10-07 cs.CV
Cascaded Pyramid Network for 3D Human Pose Estimation Challenge
SK T-Brain
在过去的十年中，人们对人体姿态估计的兴趣越来越大。虽然在二维姿态估计方面已经做了大量的工作，但三维姿态估计的研究相对较少，本文提出了一种基于上下两阶段的三维姿态估计框架。在我们的2D姿态估计过程中，GloabalNet和RefineNet使我们能够找到被遮挡或不可见的2D关节，而由残留块组成的2D到3D姿态估计器用于有效地将2D关节提升到3D关节。所提出的方法在ECCV 2018 PoseTrack Challenge中的“3D人体姿势估计”验证数据集上实现了有希望的结果，平均每个关节位置误差为42.39。'
2018-10-03 cs.CV
Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition
The University of Western Australia（西澳大利亚大学）
我们提出了人体姿态模型，表示RGB和深度图像的人体构成独立的服装纹理，背景，照明条件，身体形状和相机的观点。学习这种通用模型需要训练图像，其中所有因素都因每个人的姿势而异。获取此类数据的成本高得令人望而却步。因此，我们开发了一个综合训练数据的框架。首先，我们从一个大的语料库的真实运动捕获的人体骨架数据学习代表性的人体姿势。接下来，我们将具有不同体型的合成3D人类适合每个姿势，并从180个相机视点渲染每个姿势，同时随机改变服装纹理，背景和照明。采用生成对抗网络来最小化合成图像分布与真实图像分布之间的差距。然后学习CNN模型，将人体姿势转移到共享的高级不变空间。然后将学习的CNN模型用作来自人类动作视频的真实RGB和深度帧的不变特征提取器，并且通过傅立叶时间金字塔对时间变化进行建模。最后，使用线性SVM进行分类。在三个基准交叉视图人体动作数据集上的实验表明，该算法在RGB和RGB-D动作识别方面明显优于现有方法。
2018-05-01 cs.CV
3D-UGCN: A Unified Graph Convolutional Network for Robust 3D Human Pose Estimation from Monocular RGB Images
Beijing Institute of Petrochemical Technology（北京石油化工学院）
本文提出改进的统一图卷积网络3D-UGCN，通过处理3D人体姿态数据并改善骨架序列，解决单视角视频中因遮挡导致的人体姿态缺失问题，提升了3D人体姿态估计的鲁棒性。
2024-07-23 cs.CV
A Survey of Efficient Regression of General-Activity Human Poses from Depth Images
本文对基于回归的人体姿态估计方法进行了综述。人体姿态估计问题已经得到了深入的研究，并使许多应用从娱乐到培训。传统的方法往往只依赖于彩色图像，不能完全模糊关节的三维位置，特别是在复杂的背景下。随着深度传感器的普及，三维估计的精度有了显著的提高。在本文中，我们给出了一个详细的分析，最先进的人体姿态估计，包括基于深度图像和RGB-D的方法。实验结果表明，他们的优势和局限性，为不同的场景。
2017-09-02 cs.CV
Patch-based 3D Human Pose Refinement
Fudan University（复旦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
现有技术的3D人体姿态估计方法通常在单个前向运行中从整个RGB图像估计姿态。在本文中，我们开发了一个后处理步骤，以完善3D人体姿态估计从身体部位补丁。使用局部面片作为输入有两个优点。首先，身体部位周围的细节被放大到高分辨率，以进行更精确的3D姿态预测。其次，它使零件外观能够在姿势之间共享，以使稀有姿势受益。为了获得补丁的信息表示，我们探索了不同的输入方式，并验证了融合预测分割与RGB的优越性。我们表明，我们的方法始终提高了最先进的3D人体姿势方法的准确性。
2019-05-20 cs.CV
3D Human Pose Estimation from Deep Multi-View 2D Pose
University of Maryland（马里兰大学）；Systems and Technology Research (STR)（系统与技术研究公司）
人体姿态估计-在视频中识别人体肢体位置和方向的过程-具有许多重要的应用，包括监视，运动障碍诊断和计算机动画。虽然深度学习已经在从单个视频源进行2D和3D姿态估计方面取得了很大进展，但是从具有重叠视场的多个视频传感器估计3D人体姿态的问题受到的关注较少。当应用允许使用多个相机时，可以通过多视图姿态估计的融合和对在一些视图中完全或部分被遮挡的肢体的观察来极大地改进3D人类姿态估计。过去的多视图3D姿态估计方法使用概率图形模型来推理约束，包括每图像姿态估计、时间平滑度和肢体长度。在本文中，我们提出了一个多个人的多视图3D姿态估计的管道，它结合了一个国家的最先进的2D姿态检测器与3D肢体约束的因素图优化与信念传播。我们在TUM-Campus和Shelf数据集上评估了多人3D姿态估计的结果，并表明我们的系统通过更简单的肢体依赖模型显着优于以前的最新技术。
2019-02-07 cs.CV
ChatPose: Chatting about 3D Human Pose
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；Meshcapade（Meshcapade公司）；Tsinghua University（清华大学）
提出ChatPose框架，通过将SMPL姿态嵌入多模态LLM，统一3D人体姿态估计与生成任务，并支持基于复杂推理的姿态生成与估计，在新任务上优于现有方法。
2024-04-23 cs.CV
View Invariant 3D Human Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
深度网络最近的成功极大地推进了从2D图像进行3D人体姿势估计。然而，捕捉视点的多样性和人类姿势的灵活性仍然是一些重大挑战。在本文中，我们提出了一个视图不变的三维人体姿态估计模块，以减轻视点多样性的影响。该框架包括一个基础网络，它提供了一个初始估计的3D姿态，一个视图不变的层次校正网络（VI-HC）的顶部，学习一致的意见下的3D姿态细化，和一个视图不变的判别网络（VID），以执行高层次的约束身体配置。在VI-HC中，初始3D姿势输入被自动转换为一致的视图，以分别在全局身体和局部身体部位级别上进行进一步的细化。对于VID，在一致的观点下，我们使用对抗学习来区分估计姿势和真实姿势，以避免不可信的3D姿势。实验结果表明，一致的观点可以显着提高性能。我们的模块显示了不同的3D姿态基础网络的鲁棒性，并在公共3D姿态估计基准Human3.6M的强大基线上实现了显着的改进（约9%）。
2019-01-30 cs.CV
Harvesting Multiple Views for Marker-less 3D Human Pose Annotations
University of Pennsylvania（宾夕法尼亚大学）；Ryerson University（瑞尔森大学）
卷积网络（ConvNets）的最新进展已经将许多计算机视觉任务的瓶颈转移到带注释的数据汇集。在本文中，我们提出了一个几何驱动的方法来自动收集注释的人类姿势预测任务。从2D人体姿势的通用ConvNet开始，并假设多视图设置，我们描述了一种自动收集准确的3D人体姿势注释的方法。我们利用相机设置的3D几何形状和人体的3D结构提供的约束，以概率方式将每个视图的2D ConvNet预测组合成全局最佳的3D姿势。此3D姿势用作获取注释的基础。用我们的方法自动产生的注释的好处在两个具有挑战性的设置中得到证明：（i）微调通用的基于ConvNet的2D姿态预测器以捕获主体外观的区别性方面（即，（ii）从头开始训练ConvNet用于单视图3D人类姿势预测，而不利用3D姿势地面实况。所提出的多视图姿态估计器在标准基准上实现了最先进的结果，证明了我们的方法在利用可用的多视图信息方面的有效性。
2017-04-16 cs.CV
Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Center for Logistics Robotics（香港物流机器人中心）；Nanyang Technological University（南洋理工大学）
本文提出一种域自适应框架，通过从标注三维姿态中学习人体三维概念并适配到二维姿态域，以缓解二维到三维提升中的歧义，统一了有监督与半监督三维姿态估计，并在标准基准上取得最先进性能。
2021-11-23 cs.CV
Scriboora: Rethinking Human Pose Forecasting
University of Augsburg（奥尔堡大学）
Scriboora通过类比语音理解任务，改进姿态预测性能，并引入噪声数据集评估模型鲁棒性。
2026-09-29 cs.CV
LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
JD Digits（京东数字科技）；University of Pittsburgh（匹兹堡大学）
在本文中，我们提出了一种新的有效的轻量级框架，称为LightTrack，在线人体姿态跟踪。所提出的框架被设计为通用的自上而下的姿态跟踪，比现有的在线和离线方法更快。单人姿态跟踪（SPT）和视觉对象跟踪（VOT）被合并到一个统一的功能实体中，可以通过可替换的单人姿态估计模块轻松实现。我们的框架将单人姿势跟踪与多人身份关联相结合，并首次将关键点跟踪与对象跟踪相结合。我们还提出了一个暹罗图卷积网络（SGCN）的人体姿态匹配作为一个重新ID模块在我们的姿态跟踪系统。与其他Re-ID模块相反，我们使用人体关节的图形表示进行匹配。该方法有效地捕捉了人体姿态的相似性，并且计算成本低。它对引入人类漂移的突然相机移位具有鲁棒性。据我们所知，这是第一篇提出自上而下的在线人体姿势跟踪框架的论文。所提出的框架是通用的，足以适应其他姿态估计和候选匹配机制。我们的方法优于其他在线方法，同时保持更高的帧速率，并且与我们的离线最先进的技术相比非常具有竞争力。我们将代码公开于：https://github.com/Guanghan/lighttrack.
2019-05-07 cs.CV
3D Human Pose Estimation = 2D Pose Estimation + Matching
Carnegie Mellon University（卡内基梅隆大学）
我们探索3D人体姿态估计从一个单一的RGB图像。虽然许多方法试图直接从图像测量中预测3D姿态，但我们探索了一种简单的架构，通过中间2D姿态预测进行推理。我们的方法基于两个关键的观察结果：（1）深度神经网络已经彻底改变了2D姿态估计，即使对于具有自遮挡的姿态也能产生准确的2D预测。(2)3D mocap数据的大数据集现在很容易获得，这使得通过简单的记忆（例如，最近的邻居）。由此产生的架构是微不足道的实现与现成的2D姿态估计系统和3D mocap库。重要的是，我们证明此类方法的性能优于几乎所有最先进的3D姿态估计系统，其中大多数系统直接尝试从2D测量值回归3D姿态。
2017-04-11 cs.CV
PoseFix: Model-agnostic General Human Pose Refinement Network
Seoul National University（首尔国立大学）；Kwangwoon University（光云大学）
从二维图像中估计多人姿态是人类行为理解的一项重要技术。在本文中，我们提出了一个人的姿态细化网络，估计一个输入图像和输入姿态的元组细化的姿态。在以前的方法中，姿势细化主要通过端到端的可训练多级架构来执行。然而，它们高度依赖于姿态估计模型，并且需要仔细的模型设计。相比之下，我们提出了一个模型不可知的姿势细化方法。根据最近的研究，最先进的2D人体姿态估计方法具有类似的误差分布。我们使用此误差统计作为先验信息来生成合成姿势，并使用合成姿势来训练我们的模型。在测试阶段，任何其他方法的位姿估计结果可以输入到所提出的方法。此外，所提出的模型不需要代码或其他方法的知识，这使得它可以很容易地在后处理步骤中使用。我们表明，所提出的方法实现了更好的性能比传统的多阶段细化模型，并不断提高性能的各种国家的最先进的姿态估计方法在常用的基准。该代码可在此https URL \footnote{\url{https://github.com/mks0601/PoseFix_RELEASE}}中找到。
2019-03-10 cs.CV
GLA-GCN: Global-local Adaptive Graph Convolutional Network for 3D Human Pose Estimation from Monocular Video
The Hong Kong Polytechnic University（香港理工大学）；Shenzhen University（深圳大学）
针对现有3D人体姿态提升方法在真实姿态数据上表现不佳的问题，提出全局-局部自适应图卷积网络GLA-GCN，通过全局时空建模与局部特征回溯提升性能，在三个基准数据集上误差显著降低。
2023-07-22 cs.CV
Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）
我们建议利用卷积神经网络（CNN）在可靠的2D姿态估计方面的最新进展，在多人人机交互（HRI）场景中从深度图像中估计人的3D姿态。我们的方法是基于这样的观察，即使用深度信息从2D身体标志检测中获得3D提升点提供了对真实3D人体姿势的粗略估计，因此仅需要细化步骤。在这方面，我们的贡献是三方面的。(i)我们提出通过解耦2D姿态估计和3D姿态细化来从深度图像执行3D姿态估计;（ii）我们提出了一种深度学习方法，该方法回归提升的3D姿态和真实3D姿态之间的残留姿态;（iii）我们表明，尽管它很简单，我们的方法在两个公共数据集上的准确性和速度方面都取得了非常有竞争力的结果，人的HRI相比，最近的国家的最先进的方法。
2020-11-10 cs.CV
Point2Pose: A Generative Framework for 3D Human Pose Estimation with Multi-View Point Cloud Dataset
ECE, Seoul National University（首尔国立大学电子与计算机工程系）；CS, KAIST（韩国科学技术院计算机科学系）；Soulart Inc.（Soulart公司）
Point2Pose通过生成模型和大规模数据集提升3D人体姿态估计的准确性与鲁棒性。
2025-12-11 cs.CV
Unsupervised 3D Human Pose Estimation via Conditional Multi-view Ancestral Sampling
The University of Osaka（大阪大学）
本文提出一种无需3D监督的单视角3D人体姿态估计方法，利用预训练的2D运动扩散模型的2D扩散先验，通过条件多视图祖先采样优化3D姿态，使其多视图投影符合2D MDM噪声空间的流形，同时匹配给定的2D姿态和人体解剖约束。
2026-05-15 cs.CV
