Denoising and Selecting Pseudo-Heatmaps for Semi-Supervised Human Pose Estimation
The University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；AWS AI Labs（AWS人工智能实验室）
本研究针对半监督人体姿态估计任务，对双学生框架进行改进，提出伪热图去噪生成与跨学生不确定性引导的目标选择方法，在COCO基准上取得优于现有方法的性能，极低数据场景下提升显著。
2023-09-29 cs.CV
Human pose estimation via Convolutional Part Heatmap Regression
University of Nottingham（诺丁汉大学）
本文研究了基于卷积神经网络的人体姿态估计。我们的主要贡献是一个CNN级联架构，专门设计用于学习部分关系和空间上下文，并鲁棒地推断姿势，即使在严重的部分遮挡的情况下。为此，我们提出了一个检测后回归CNN级联。级联的第一部分输出部分检测热图，第二部分对这些热图执行回归。所提出的架构的好处是多方面的：它引导网络在图像中聚焦，并有效地编码部分约束和上下文。更重要的是，它可以有效地应对遮挡，因为遮挡部分的部分检测热图提供了较低的置信度分数，随后引导我们网络的回归部分依赖于上下文信息来预测这些部分的位置。此外，我们表明，所提出的级联是足够灵活的，可以很容易地集成各种CNN架构的检测和回归，包括最近的基于残差学习。最后，我们说明了我们的级联达到最高性能的MPII和LSP数据集。代码可从http://www.cs.nott.ac.uk/~psxab5/下载
2016-09-06 cs.CV
Learning Heatmap-Style Jigsaw Puzzles Provides Good Pretraining for 2D Human Pose Estimation
University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）；Harbin Institute of Technology（哈尔滨工业大学）
二维人体姿态估计的目标是从输入的二维图像中定位人体部位的关键点。最先进的姿态估计方法通常从关键点构建像素级热图作为学习卷积神经网络的标签，卷积神经网络通常随机初始化或使用ImageNet上的分类模型作为其骨干。我们注意到，2D姿态估计任务高度依赖于图像块之间的上下文关系，因此我们引入了一种自监督的方法来预训练2D姿态估计网络。具体来说，我们提出了热图式拼图（HSJP）问题作为我们的预文本任务，其目标是学习每个补丁的位置，从一个由洗牌补丁组成的图像。在我们的预训练过程中，我们只使用MS-COCO中的人实例的图像，而不是引入额外的更大的ImageNet数据集。设计了一种热图式的斑块定位标签，学习过程采用非对比的方式。通过HSJP prefect任务学习的权重被用作2D人体姿态估计器的骨干，然后在MS-COCO人体关键点数据集上进行微调。使用两个流行且强大的2D人体姿势估计器HRNet和SimpleBaseline，我们在MS-COCO验证和测试开发数据集上评估mAP评分。我们的实验表明，使用我们的自我监督预训练的下游姿态估计器比从头开始训练的姿态估计器获得了更好的性能，并且与使用ImageNet分类模型作为其初始主干的姿态估计器相当。
2020-12-13 cs.CV
Rethinking the Heatmap Regression for Bottom-up Human Pose Estimation
MEGVII Research（旷视研究院）；Megvii Inc（旷视科技）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
热图回归已成为当今人体姿势估计方法中最普遍的选择。地面实况热图通常通过2D高斯核覆盖所有骨架关键点来构建。这些内核的标准偏差是固定的。然而，对于自自底向上的【形】的方法，需要处理人类尺度和标签模糊性的大变化，目前的做法似乎是不合理的。为了更好地应对这些问题，我们提出了尺度自适应热图回归（SAHR）方法，该方法可以自适应地调整每个关键点的标准差。通过这种方式，SAHR对各种人类尺度和标签模糊性更加宽容。然而，SAHR可能会加剧前背景样本之间的不平衡，这可能会损害SAHR的改善。因此，我们进一步引入权重自适应热图回归（WAHR）来帮助平衡前背景样本。大量的实验表明，SAHR与WAHR一起大大提高了自自底向上的【形】人体姿态估计的准确性。结果，我们最终以+1.5AP的优势超越了最先进的模型，并在COCO test-dev 2017上达到了72.0AP，这与大多数自顶向下方法的性能相当。源代码可在https://github.com/greatlog/SWAHR-HumanPose上获得。
2021-03-25 cs.CV
Lightweight Super-Resolution Head for Human Pose Estimation
Nanjing University（南京大学）
本文将热图预测重新表述为超分辨率任务，提出轻量级且通用的SR头及SRPose框架，通过由粗到细的方式恢复高分辨率热图，有效减少量化误差并提升人体姿态估计性能。
2023-07-31 cs.CV
Heatmap Regression via Randomized Rounding
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
热图回归已经成为基于深度学习的语义地标定位的主流方法，包括面部地标定位和人体姿态估计。虽然热图回归在无约束设置中对姿势、照明和遮挡的大变化具有鲁棒性，但它通常存在亚像素定位问题。具体地，考虑到热图中的激活点索引总是整数，因此当使用热图作为数值坐标的表示时会出现量化误差。以前克服亚像素定位问题的方法通常依赖于高分辨率热图。因此，在实现定位精度和计算成本之间总是存在权衡，其中热图回归的计算复杂性以二次方式取决于热图分辨率。在本文中，我们正式分析了香草热图回归的量化误差，并提出了一个简单而有效的量化系统来解决亚像素定位问题。由随机化舍入操作引起的所提出的量化系统1）在训练期间使用概率方法将数字坐标的小数部分编码到地面实况热图中;以及2）在测试期间从一组激活点解码预测的数字坐标。我们证明了所提出的用于热图回归的量化系统是无偏的和无损的。在流行的人脸标志点定位数据集（WFLW、300 W、COFW和AFLW）和人体姿态估计数据集（MPII和COCO）上的实验结果表明，该方法能够有效地实现语义标志点的准确定位。代码可在http://github.com/baoshengyu/H3R上获得。
2021-08-26 cs.CV
Train Your Data Processor: Distribution-Aware and Error-Compensation Coordinate Decoding for Human Pose Estimation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Orbbec Inc.（奥比中光科技集团股份有限公司）
最近，人体姿态估计的主要性能由基于热图的方法主导。虽然热图解码是热图处理的基本组成部分，但据我们所知，热图解码（即将热图转换为坐标）只接受了有限的研究。这项工作通过研究热图解码处理填补了这一空白，特别关注在整个预测过程中引入的错误。我们发现，基于热图的方法的误差是惊人的显着，然而，这是普遍被忽视之前。鉴于发现的重要性，我们进一步揭示了以前广泛使用的热图解码方法的内在局限性，并由此提出了分布感知和误差补偿坐标解码（DAEC）。作为一个模型无关的插件，DAEC从训练数据中学习其解码策略，并显着提高了各种最先进的人体姿态估计模型的性能，而额外的计算量可以忽略不计。具体而言，配备DAEC后，SimpleBaseline-ResNet 152 - 256 x192和HRNet-W 48 - 256 x192分别在COCO上显著提高了2.6 AP和2.9 AP，分别达到72.6 AP和75.7 AP。此外，HRNet-W32- 256 x256和ResNet-152- 256 x256框架在PCKh0.1度量的MPII上获得了8.4%和7.8%的大幅提升。在这两个常见的基准上进行的大量实验表明，DAEC远远超过其竞争对手，支持我们新颖的热图解码思想的合理性和通用性。该项目可在https://github.com/fyang235/DAEC查阅。
2020-07-17 cs.CV
MEOM: Multi-View Expected-OKS Maximization for Human Pose Triangulation
Linköping University（林雪平大学）
该研究针对传统人体姿态三角测量法的缺陷，提出MEOM框架，融合多视图热图并评估其可靠性，在两种设置下均实现最优性能，推理成本仅为现有最优方法的一半。
2026-09-01 cs.CV
Synthetic Occlusion Augmentation with Volumetric Heatmaps for the 2018 ECCV PoseTrack Challenge on 3D Human Pose Estimation
RWTH Aachen University（亚琛工业大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
在本文中，我们介绍了我们在2018年ECCV PoseTrack挑战赛中关于3D人体姿势估计的获奖作品。使用完全卷积的主干架构，我们获得每个身体关节的体积热图，我们使用soft-argmax将其转换为坐标。通过1D热图预测头估计绝对人中心深度。坐标被反向投影到3D相机空间，在那里我们最小化L1损失。我们获得良好结果的关键是使用Pascal VOC数据集随机放置的封堵器进行训练数据增强。除了在挑战赛中获得第一名之外，我们的方法还超越了在训练中不使用额外姿势数据集的方法中完整的Human3.6M基准测试的最先进水平。应用合成遮挡的代码可在https://github.com/isarandi/synthetic-occlusion上获得。
2018-11-06 cs.CV cs.RO
Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement
Baidu Inc.（百度公司）
目前，大多数最先进的人体姿态估计方法都是基于热图回归的。关键点的最终坐标直接通过热图解码获得。在本文中，我们的目标是找到一个更好的方法，以获得更准确的定位结果。主要提出了两点改进建议：1）粗定位和精定位应采用不同的特征和方法; 2）关键点之间的关系应考虑。具体来说，我们提出了一个两阶段的基于图和模型不可知的框架，称为Graph-PCNN，在原始热图回归网络上添加了一个本地化子网和一个图姿势细化模块。在第一阶段中，应用热图回归网络来获得粗略的定位结果，并对一组被称为引导点的建议关键点进行采样。在第二阶段，对于每个引导点，不同的视觉特征提取的定位子网。通过图形姿态细化模块探索引导点之间的关系，以获得更准确的定位结果。实验表明，Graph-PCNN可以用于各种骨干网络中，以大幅提高性能。没有花里胡哨的东西，我们最好的模型可以在COCO测试开发分割上实现最先进的76.8% AP。
2020-07-21 cs.CV
Bias-Compensated Integral Regression for Human Pose Estimation
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd.（华为国际私人有限公司）
在人体和手部姿态估计中，热图是身体或手部关键点的关键中间表示。将热图解码为最终关节坐标的两种流行方法是通过argmax，如热图检测中所做的那样，或者通过softmax和expectation，如积分回归中所做的那样。积分回归是端到端可学习的，但精度低于检测。本文揭示了一个诱导偏差的积分回归，结果结合softmax和期望操作。这种偏差通常会迫使网络学习退化的局部热图，模糊关键点的真实底层分布，并导致准确度较低。在训练方面，通过研究积分回归的梯度，我们表明积分回归更新热图的隐式指导使其收敛速度比检测慢。为了克服上述两个限制，我们提出了偏差补偿积分回归（BCIR），一个基于积分回归的框架，可以补偿偏差。BCIR还结合了高斯先验损失，以加快训练速度并提高预测精度。人体和手部基准的实验结果表明，BCIR是更快的训练和更准确的比原来的积分回归，使其具有竞争力的国家的最先进的检测方法。
2023-01-25 cs.CV
Flowing ConvNets for Human Pose Estimation in Videos
University of Oxford（牛津大学）；University of Leeds（利兹大学）
这项工作的目标是在视频中的人体姿态估计，其中多帧可用。我们研究了一种ConvNet架构，该架构能够通过使用光流将多个帧中的信息相结合来受益于时间上下文。为此，我们提出了一种具有以下新颖性的网络架构：（i）比先前研究的更深的网络，用于回归热图;（ii）学习隐式空间模型的空间融合层;（iii）光流用于对齐来自相邻帧的热图预测;以及（iv）最终参数池化层，用于学习将对齐的热图组合成池化置信图。我们表明，这种架构优于其他一些，包括一个只在输入层使用光流，一个直接回归关节坐标，一个预测热图没有空间融合。新架构在三个视频姿态估计数据集上的表现远远优于现有技术，包括Wild数据集中非常具有挑战性的Poses，并且优于其他在单图像FLIC基准上不使用图形模型的深度方法（以及Chen & Yuille和Tompson等人在高精度区域）。
2015-11-08 cs.CV
Distribution-Aware Coordinate Representation for Human Pose Estimation
University of Electronic Science Technology of China（电子科技大学）；University of Surrey（萨里大学）
虽然热图是人体姿态估计中的事实标准坐标表示，但据我们所知，热图从未在文献中被系统地研究过。这项工作通过研究坐标表示填补了这一空白，特别关注热图。有趣的是，我们发现，将预测的热图解码为原始图像空间中的最终关节坐标的过程对于人类姿势估计性能具有惊人的重要性，然而这在以前并没有被认识到。根据发现的重要性，我们进一步探讨了现有方法广泛使用的标准坐标解码方法的设计局限性，并提出了一种更有原则的分布感知解码方法。同时，我们通过生成精确的热图分布来改进标准坐标编码过程（即将地面实况坐标转换为热图），以进行无偏模型训练。将两者结合起来，我们制定了一种新的分布感知的关键点坐标表示（DARK）方法。作为一个与模型无关的插件，DARK显著提高了各种最先进的人体姿势估计模型的性能。大量的实验表明，DARK在两个常见的基准测试MPII和COCO上产生了最好的结果，始终验证了我们新的坐标表示思想的有用性和有效性。
2019-10-14 cs.CV
Poseur: Direct Human Pose Regression with Transformers
The University of Adelaide（阿德莱德大学）；Alibaba Damo Academy（阿里巴巴达摩院）；Zhejiang University（浙江大学）；Meituan Inc.（美团公司）
我们提出了一个直接的，基于回归的方法来从单个图像的2D人体姿态估计。我们将问题表述为序列预测任务，我们使用Transformer网络来解决。该网络直接学习从图像到关键点坐标的回归映射，而无需求助于诸如热图之类的中间表示。这种方法避免了与基于热图的方法相关的许多复杂性。为了克服以前基于回归的方法的特征不对齐问题，我们提出了一种注意力机制，该机制自适应地关注与目标关键点最相关的特征，大大提高了准确性。重要的是，我们的框架是端到端可区分的，并且自然地学会利用关键点之间的依赖关系。在MS-COCO和MPII这两个主要的姿态估计数据集上的实验表明，我们的方法在基于回归的姿态估计中显着改善了现有技术。更值得注意的是，与最好的基于热图的姿势估计方法相比，我们是第一个基于回归的方法。
2022-07-20 cs.CV
Joint COCO and Mapillary Workshop at ICCV 2019 Keypoint Detection Challenge Track Technical Report: Distribution-Aware Coordinate Representation for Human Pose Estimation
University of Electronic Science Technology of China（电子科技大学）；Shenzhen University（深圳大学）；University of Surrey（萨里大学）
在本文中，我们专注于人体姿态估计中的坐标表示。虽然是标准选择，但基于热图的表示尚未得到系统的研究。我们发现，坐标解码的过程（即将预测的热图转换为坐标）对于人类姿势估计性能具有惊人的重要性，然而这在以前并没有被认识到。根据所发现的重要性，我们进一步探讨了标准坐标解码方法的设计局限性，并提出了一种原则性的分布感知解码方法。同时，我们通过生成精确的热图分布来改进标准坐标编码过程（即将地面实况坐标转换为热图），以进行无偏模型训练。将它们结合起来，我们提出了一种新的分布感知的关键点坐标表示（DARK）方法。作为一个与模型无关的插件，DARK显著提高了各种最先进的人体姿势估计模型的性能。大量的实验表明，DARK在COCO关键点检测挑战中取得了最好的结果，验证了我们新的坐标表示思想的有用性和有效性。包含更多详细信息的项目页面位于https://ilovepose.github.io/coco
2020-03-13 cs.CV
Learning Structure-Guided Diffusion Model for 2D Human Pose Estimation
University of Science and Technology Beijing（北京科技大学）；University of Sydney（悉尼大学）；Baidu（百度）
本文提出DiffusionPose，将2D人体姿态估计建模为从带噪热力图生成关键点热力图的扩散过程，并利用图像特征和人体结构信息作为条件引导，在COCO等数据集上取得显著性能提升。
2023-06-29 cs.AI cs.CV
Hybrid model for Single-Stage Multi-Person Pose Estimation
LG Electronics（LG电子）
提出HybridPose混合模型，结合回归与热图方法，利用自相关损失注入空间依赖，实现单阶段多人姿态估计，兼顾密集关键点检测与不存在关键点过滤，且精度无下降。
2023-06-19 cs.CV
Simple Multi-Resolution Representation Learning for Human Pose Estimation
KAIST（韩国科学技术院）
人体姿态估计-在给定图像中识别人体关键点的过程-是计算机视觉中最重要的任务之一，并且具有广泛的应用，包括运动诊断，监控或自动驾驶车辆。由于深度学习的蓬勃发展，人类关键点预测的准确性日益提高。大多数现有的方法通过生成热图来解决人体姿态估计，其中第i个热图指示第i个关键点的位置置信度。在本文中，我们介绍了新的网络结构，称为多分辨率表示学习的人类关键点预测。在学习过程中的不同分辨率下，我们的网络分支并使用额外的层来学习热图生成。我们首先考虑在获得最低分辨率特征图之后生成多分辨率热图的架构。我们的第二种方法允许在特征提取过程中进行学习，其中在特征提取器的每个分辨率下生成热图。第一种和第二种方法分别被称为多分辨率热图学习和多分辨率特征图学习。我们的架构简单而有效，实现了良好的性能。我们在两个常见的人体姿态估计基准上进行了实验：MSCOCO和MPII数据集。该守则可在https://github.com/tqtrunghnvn/SimMRPose上公开查阅。
2021-01-22 cs.CV eess.IV
DiffPose: Multi-hypothesis Human Pose Estimation using Diffusion models
Linköping University（林雪平大学）
传统上，单目3D人体姿态估计采用机器学习模型来预测给定输入图像的最可能的3D姿态。然而，单个图像可能是高度模糊的，并且引起2D-3D提升步骤的多个合理的解决方案，这导致过度自信的3D姿态预测器。为此，我们提出了\emph{DiffPose}，一个有条件的扩散模型，预测一个给定的输入图像的多个假设。与类似的方法相比，我们的扩散模型是简单的，避免了密集的超参数调整，复杂的网络结构，模式坍塌，和不稳定的训练。此外，我们解决了常见的两步方法的问题，即首先通过关节式热图估计2D关节位置的分布，并基于一阶矩或二阶矩统计数据连续近似它们。由于热图的这种简化删除了关于可能正确的有效信息，尽管标记为不太可能，关节位置，我们建议将热图表示为一组2D关节候选样本。为了从这些样本中提取有关原始分布的信息，我们引入了我们的\emph{embedding transformer}，它制约了扩散模型。在实验中，我们表明，DiffPose稍微提高了最先进的多假设姿态估计简单的姿势，并优于它的高度模糊的姿势的大幅度。
2022-11-29 cs.CV
Low-resolution Human Pose Estimation
University of Electronic Science and Technology of China（电子科技大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Surrey（萨里大学）；National University of Singapore（新加坡国立大学）
人体姿态估计在高分辨率图像上取得了重大进展。然而，低分辨率的图像数据带来了不平凡的挑战，这仍然是研究不足。为了填补这一空白，我们从调查现有的方法开始，并揭示了最主要的基于热图的方法会因低分辨率而遭受更严重的模型性能下降，偏移学习是一种有效的策略。基于这一观察，在这项工作中，我们提出了一种新的置信度感知学习（CAL）方法，进一步解决了现有偏移学习方法的两个基本限制：不一致的训练和测试，解耦热图和偏移学习。具体来说，CAL选择性地权衡热图和偏移量的学习与地面实况和最有信心的预测，同时以小批量学习的方式捕获模型输出的统计重要性。在COCO基准上进行的大量实验表明，我们的方法在低分辨率人体姿态估计方面明显优于最先进的方法。
2021-09-19 cs.CV
Subpixel Heatmap Regression for Facial Landmark Localization
Samsung AI Center（三星人工智能中心）；Queen Mary University London（伦敦玛丽女王大学）
基于热图回归的深度学习模型已经彻底改变了面部标志定位的任务，现有模型在大姿态、非均匀照明和阴影、遮挡和自遮挡、低分辨率和模糊的情况下都能稳健地工作。然而，尽管它们被广泛采用，但热图回归方法遭受与热图编码和解码过程相关的离散化引起的错误。在这项工作中，我们表明，这些错误有一个令人惊讶的大的负面影响，面部对齐精度。为了缓解这个问题，我们提出了一种利用底层连续分布进行热图编码和解码过程的新方法。为了充分利用新提出的编码-解码机制，我们还引入了一种基于Siamese的训练，该训练可以在各种几何图像变换中强制执行热图一致性。我们的方法在多个数据集上提供了显着的收益，在面部标志定位方面创造了新的最先进的结果。预训练模型旁边的代码将在https://www.adrianbulat.com/face-alignment上提供
2021-11-03 cs.CV
Lifting Monocular Events to 3D Human Poses
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）
本文提出了一种新的三维人体姿态估计方法，使用一个单一的异步事件流作为输入。大多数最先进的方法都是使用RGB相机来解决这个问题，但是当主体快速移动时，这些方法就很难解决了。另一方面，基于事件的3D姿态估计受益于事件相机的优势，特别是它们的效率和对外观变化的鲁棒性。然而，在异步事件中找到人类姿势通常比标准RGB姿势估计更具挑战性，因为在静态场景中很少或没有事件被触发。在这里，我们提出了第一个基于学习的方法，从一个单一的事件流的3D人体姿势。我们的方法包括两个步骤。首先，我们处理事件相机流以预测每个关节的三个正交热图;每个热图是关节在一个正交平面上的投影。接下来，我们融合热图集来估计身体关节的3D定位。作为进一步的贡献，我们通过模拟RGB Human3.6m数据集的事件，提供了一个新的、具有挑战性的数据集，用于基于事件的人体姿势估计。实验表明，我们的方法实现了坚实的准确性，缩小了标准RGB和基于事件的视觉之间的性能差距。该代码可在https://iit-pavis.github.io/lifting_events_to_3d_hpe上免费获得。
2021-04-21 cs.CV
Lightweight Human Pose Estimation Using Heatmap-Weighting Loss
Huazhong University of Science and Technology（华中科技大学）
最近对人体姿态估计的研究利用复杂的结构来提高基准数据集的性能，忽略了模型实际部署时的资源开销和推理速度。本文通过简化SimpleBaseline中去卷积头网络的计算量和参数，引入一种注意力机制，利用原始、层间和层内信息来提高精度。此外，我们提出了一种新的损失函数，称为热图加权损失，它为热图上的每个像素生成权重，使模型更专注于关键点。实验表明，我们的方法实现了性能，资源量和推理速度之间的平衡。具体来说，我们的方法可以在COCO测试开发上获得65.3 AP分数，而推理速度在移动GPU和CPU上分别为55 FPS和18 FPS。
2022-05-21 cs.AI cs.CV cs.LG
SimCC: a Simple Coordinate Classification Perspective for Human Pose Estimation
Tsinghua University（清华大学）；Southeast University（东南大学）；Meituan Inc.（美团公司）；Nreal；Peng Cheng Laboratory（鹏城实验室）
基于2D热图的方法由于其高性能而多年来一直主导着人体姿态估计（HPE）。然而，基于二维热图的方法中长期存在的量化误差问题导致了几个众所周知的缺点：1）低分辨率输入的性能有限; 2）为了提高特征图分辨率以获得更高的定位精度，需要多个昂贵的上采样层; 3）采用额外的后处理来减少量化误差。为了解决这些问题，我们的目标是探索一个全新的方案，称为\textit{SimCC}，它将HPE重新定义为水平和垂直坐标的两个分类任务。该算法将每个像素均匀划分为若干个bin，从而实现了\emph{sub-pixel}定位精度和低量化误差。得益于此，SimCC可以省略额外的细化后处理，并在某些设置下排除上采样层，从而为HPE提供更简单、更有效的管道。在COCO、CrowdPose和MPII数据集上进行的大量实验表明，SimCC的性能优于基于热图的同行，特别是在低分辨率设置下。
2022-07-05 cs.CV
RSPose: Ranking Based Losses for Human Pose Estimation
Department of Computer Engineering, Middle East Technical University（计算机工程系，中东部技术大学）；ROMER, Middle East Technical University（ROMER，中东部技术大学）
针对现有热图人体姿态估计方法的损失函数存在的三类缺陷，本文提出基于排序的对齐mAP的损失函数构建RSPose模型，在多数据集上取得了优于现有最优方法的性能。
2025-11-17 cs.CV
TFPose: Direct Human Pose Estimation with Transformers
The University of Adelaide（阿德莱德大学）；Alibaba Group（阿里巴巴集团）
我们提出了一个人的姿态估计框架，解决了基于回归的时尚的任务。与以前的基于回归的方法，这往往落后于那些国家的最先进的方法，我们制定的姿势估计任务到一个序列预测问题，可以有效地解决Transformers。我们的框架是简单和直接的，绕过了基于热图的姿势估计的缺点。此外，与Transformers中的注意力机制，我们提出的框架是能够自适应地注意到最相关的目标关键点的功能，这在很大程度上克服了以前的基于回归的方法的特征不对齐的问题，并大大提高了性能。重要的是，我们的框架可以从本质上利用关键点之间的结构化关系。在MS-COCO和MPII数据集上的实验表明，我们的方法可以显着提高基于回归的姿态估计的最新技术水平，并与最好的基于热图的姿态估计方法进行比较。
2021-03-29 cs.CV
Exploiting Offset-guided Network for Pose Estimation and Tracking
Beijing Laboratory of Advanced Information Networks（北京先进信息网络实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；Horizon Robotics（地平线机器人）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于深度学习的发展，人体姿态估计已经取得了重大进展。最近的人体姿态估计方法倾向于直接预测位置热图，这会导致量化误差，并且不可避免地在减少的网络输出内降低性能。为了解决这个问题，我们重新审视了热图偏移聚合方法，并提出了偏移引导网络（OGN），该网络具有直观但有效的融合策略，用于两阶段姿态估计和Mask R-CNN。对于两阶段姿态估计，还提出了一种贪婪盒生成策略，以保持更多的必要候选人，同时执行人检测。对于掩码R-CNN，采用比率一致性来提高网络的泛化能力。COCO和PoseTrack数据集上的最新结果验证了我们的偏移引导姿态估计和跟踪的有效性。
2019-06-04 cs.CV
Continuous Normalizing Flows for Uncertainty-Aware Human Pose Estimation
Computer Vision Laboratory, Dept of E. E., Linköping University, Sweden（计算机视觉实验室，电子工程系，利厄普大学，瑞典）
本文提出CFRE，通过整合连续归一化流提升人体姿态估计的精度和不确定性量化能力。
2025-05-04 cs.CV
Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在人体姿态估计等关键点估计任务中，基于热图的回归是主要方法，尽管具有显著的缺点：热图本质上存在量化误差，并且需要过多的计算来生成和后处理。为了找到更有效的解决方案，我们提出对各个关键点和空间相关关键点的集合（即，姿势）作为密集单级基于锚的检测框架内的对象。因此，我们将我们的方法称为KAPAO（发音为“Ka-Pow”），用于Keypoints And Poses As Objects。KAPAO适用于单阶段多人人体姿态估计的问题，同时检测人体姿态和关键点对象，并融合检测，以利用两个对象表示的优势。在实验中，我们观察到KAPAO比以前的方法更快，更准确，后者受到热图后处理的严重影响。当不使用测试时间增加时，在实际设置中，精度-速度的折衷是特别有利的。源代码：https://github.com/wmcnally/kapao。
2022-07-19 cs.AI cs.CV
Joint-Motion Mutual Learning for Pose Estimation in Videos
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Georgia Institute of Technology（佐治亚理工学院）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security, Hangzhou, China（杭州高新区（滨江）区块链与数据安全研究院）
针对视频姿态估计难以兼顾局部关节热力图与全局时空运动特征的问题，提出关节-运动互学习框架及信息正交性目标，在三个基准上取得优于已有方法的性能。
2024-08-05 cs.CV
Video-Based Human Pose Regression via Decoupled Space-Time Aggregation
Zhejiang Gongshang University（浙江工商大学）
本文提出解耦时空聚合网络DSTA，通过分别建模相邻关节空间依赖和单关节时间轨迹，实现高效视频人体姿态回归，在PoseTrack2017上提升8.9 mAP并达到领先水平。
2024-04-01 cs.CV
X-HRNet: Towards Lightweight Human Pose Estimation with Spatially Unidimensional Self-Attention
University of Electronic Science and Technology of China（电子科技大学）
提出基于空间一维自注意力（SUSA）的轻量级姿态估计网络X-HRNet，通过降低逐点卷积96%计算量且不损失精度，在COCO基准上验证了其高效性。
2023-10-12 cs.CV
Human Pose Regression with Residual Log-likelihood Estimation
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
基于热图的方法通过似然热图对输出分布进行建模，在人体姿态估计领域占主导地位。相比之下，基于回归的方法更有效，但性能较差。在这项工作中，我们探索最大似然估计（MLE）开发一个高效和有效的基于回归的方法。从极大似然估计的角度来看，采用不同的回归损失是对输出密度函数做出不同的假设。更接近真实分布的密度函数导致更好的回归性能。有鉴于此，我们提出了一种新的回归范式与残差对数似然估计（RLE），以捕捉潜在的输出分布。具体地说，RLE学习分布的变化，而不是未引用的底层分布，以促进训练过程。与建议的重新参数化设计，我们的方法是与现成的流动模型兼容。该方法是有效的，高效的和灵活的。我们展示了它的潜力，在各种人体姿态估计任务与全面的实验。与传统的回归范式相比，回归与RLE带来12.4 mAP的改进MSCOCO没有任何测试时间开销。此外，特别是在多人姿态估计方面，我们的回归方法第一次优于基于热图的方法。我们的代码可在https://github.com/Jeff-sjtu/res-loglikelihood-regression上获得
2021-07-31 cs.CV cs.LG
NCSTR: Node-Centric Decoupled Spatio-Temporal Reasoning for Video-based Human Pose Estimation
Griffith University（格里菲斯大学）
本文提出NCSTR框架，通过融合视觉、时间和结构推理，解决视频人体姿态估计中的模糊、遮挡和复杂时空动态问题，通过双分支解耦时空注意力图和节点空间专家融合模块提升姿态估计精度。
2026-03-20 cs.CV
HRPVT: High-Resolution Pyramid Vision Transformer for medium and small-scale human pose estimation
School of Computer Science and Information Engineering, Shanghai Institute of Technology（上海应用技术大学计算机科学与信息工程学院）
针对中小尺度人体姿态估计，提出HRPVT模型，采用PVT v2骨干与高分辨率金字塔模块，结合SimCC方法，提升关键点定位精度与性能。
2024-10-29 cs.CV
BlazePose: On-device Real-time Body Pose tracking
Google Research（谷歌研究院）
我们提出了BlazePose，这是一种用于人体姿势估计的轻量级卷积神经网络架构，专为移动设备上的实时的【形】推理量身定制。在推理过程中，该网络为单个人生成33个身体关键点，并在Pixel 2手机上以每秒30帧以上的速度运行。这使得它特别适合实时的【形】用例，如健身跟踪和手语识别。我们的主要贡献包括一个新的身体姿势跟踪解决方案和一个轻量级的身体姿势估计神经网络，使用热图和回归关键点坐标。
2020-06-17 cs.CV
Relation-Based Associative Joint Location for Human Pose Estimation in Videos
Beijing University of Posts and Telecommunications（北京邮电大学）
针对视频中人体姿态估计的关节长距离交互建模和遮挡问题，提出轻量级即插即用的关节关系提取器（JRE）显式建模关节关联，并结合姿态语义转移网络（RPSTN）跨帧传递语义特征，有效提升了遮挡场景下的姿态估计性能。
2023-06-30 cs.CV
Self Adversarial Training for Human Pose Estimation
National Tsing Hua University（台湾清华大学）
本文提出了一种基于深度学习的人体姿态估计方法。我们采用生成对抗网络作为我们的学习范式，其中我们建立了两个具有相同架构的堆叠沙漏网络，一个作为生成器，另一个作为节点。在训练完成后，生成器被用作人体姿势估计器。该算法将地面实况热图与生成的热图区分开来，并将对抗性损失反向传播给生成器。这个过程使生成器能够学习合理的人体配置，并被证明是有用的，用于提高预测精度。
2017-08-15 cs.CV
Attention-Propagation Network for Egocentric Heatmap to 3D Pose Lifting
Seoul National University（首尔大学）
针对自我中心视角下自遮挡和视野外肢体导致的3D姿态估计难题，提出EgoTAP热图提升方法，结合Grid ViT自注意力编码与骨骼信息传播网络，使MPJPE误差降低23.9%。
2024-02-28 cs.CV
Swin-Pose: Swin Transformer Based Human Pose Estimation
Alibaba Group（阿里巴巴集团）
卷积神经网络（CNN）在计算机视觉中得到了广泛的应用。然而，CNN具有固定的接收场，并且缺乏对人体姿态估计至关重要的远距离感知能力。Transformer架构由于其能够捕捉像素之间的长距离依赖关系，近年来已被采用到计算机视觉应用中，并被证明是一种高效的架构。我们有兴趣探索其在人体姿态估计的能力，因此提出了一种新的模型的基础上Transformer架构，增强与特征金字塔融合结构。更具体地说，我们使用预先训练的Swin Transformer作为我们的骨干，从输入图像中提取特征，我们利用特征金字塔结构从不同阶段提取特征图。通过将这些特征融合在一起，我们的模型可以预测关键点热图。我们的研究的实验结果表明，所提出的基于变压器的模型可以实现更好的性能相比，最先进的基于CNN的模型。
2022-06-25 cs.CV
Semantics-aware Test-time Adaptation for 3D Human Pose Estimation
针对3D人体姿态估计中语义不对齐导致的预测过度平滑与无引导问题，提出整合语义感知运动先验的测试时适应方法，利用视频理解和运动-文本空间调整预测并补全缺失2D姿态，在3DPW和3DHP上使PA-MPJPE降低12%以上。
2025-05-28 cs.CV
Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
本文研究在头戴式设备上增加后置摄像头以改善以自我为中心的全身3D姿态估计，提出基于transformer的多视图热图细化方法，并发布两个新数据集，在MPJPE上比现有最优方法提升超过10%。
2025-08-22 cs.CV
TransPose: Keypoint Localization via Transformer
Southeast University（东南大学）
虽然基于CNN的模型在人体姿态估计方面取得了显着进展，但它们捕获的空间依赖性来定位关键点仍然不清楚。在这项工作中，我们提出了一个模型称为\textbf{TransPose}，它引入了Transformer的人体姿态估计。Transformer内置的的注意力层使我们的模型能够有效地捕获长距离关系，并且可以揭示预测关键点依赖于什么。为了预测关键点热图，最后一个注意力层充当聚合器，它收集图像线索的贡献并形成关键点的最大位置。这种经由Transformer的基于热图的定位方法符合激活最大化~ \cite{erhan2009visualizing}的原理。所揭示的依赖关系是图像特定的和细粒度的，这也可以提供模型如何处理特殊情况的证据，例如，闭塞实验表明，TransPose在COCO验证集和测试开发集上分别达到75.8 AP和75.0 AP，同时比主流CNN架构更轻量级、更快。TransPose模型在MPII基准测试中的传输也非常好，在以较小的训练成本进行微调时，在测试集上实现了卓越的性能。代码和预训练模型可通过\footnote{\url{https://github.com/yangsenius/TransPose}}公开获得。
2021-09-01 cs.CV
OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
Korea University（高丽大学）
虽然许多方法在视频中的多人姿态估计已经显示出深刻的结果，他们需要密集的注释数据，这需要过多的人力劳动。此外，存在遮挡和运动模糊，这不可避免地导致差的估计性能。为了解决这些问题，我们提出了一种方法，利用注意掩模遮挡关节和编码使用Transformers帧之间的时间依赖性。首先，我们的框架组成了不同的组合稀疏注释的帧，表示整体关节运动的轨迹。我们从这些组合中提出了一个遮挡注意掩码，使编码遮挡感知热图成为一个半监督任务。其次，所提出的时间编码器采用Transformer架构，以有效地聚合每个时间步长的时间关系和关键点关注，并精确地细化目标帧的最终姿态估计。我们为PoseTrack2017和PoseTrack2018数据集实现了最先进的姿态估计结果，并证明了我们的方法对稀疏注释视频数据中的遮挡和运动模糊的鲁棒性。
2022-07-28 cs.CV
Pose estimator and tracker using temporal flow maps for limbs
Seoul National University（首尔大学）；Ajou University（亚洲大学）
对于视频中的人体姿态估计，如何利用帧间的时间信息具有重要意义。在本文中，我们提出了时间流图的四肢（TML）和多步方法来估计和跟踪人体姿态。所提出的时间流图是描述肢体运动的单位向量。我们构建了一个网络来学习空间信息和时间信息。在空间网络部分中回归诸如联合热图和部分亲和场的空间信息，并且在时间网络部分中回归TML。我们还提出了一个数据增强的方法来更好地学习各种类型的TML。所提出的多步幅方法通过在定义的范围内随机选择两个帧来扩展数据。我们证明了所提出的方法可以有效地估计和跟踪PoseTrack 2017和2018数据集上的人体姿势。
2019-05-23 cs.CV
Keypoints as Dynamic Centroids for Unified Human Pose and Segmentation
Toronto Metropolitan University（多伦多 Metropolitan 大学）；Gachon University（加诚大学）；University of Michigan（密歇根大学）；Hanyang University（汉阳大学）
针对人体动态运动下姿态估计与实例分割的难点，提出基于动态质心的KDC方法，通过自底向上生成热图、引入KeyCentroids及动态质心聚类像素，在多个基准上实现了准确率与性能的提升。
2025-05-17 cs.AI cs.CV
Trap-Based Pest Counting: Multiscale and Deformable Attention CenterNet Integrating Internal LR and HR Joint Feature Learning
Kunsan National University（群山国立大学）
针对害虫计数中遮挡、姿态和尺度变化导致外观多变的问题，提出Mada-CenterNet模型，通过两步多尺度热图生成、内部LR和HR联合特征学习及可变形多尺度注意力，显著提升了计数精度并优于现有模型。
2023-04-05 cs.AI cs.CV
Learning Local-Global Contextual Adaptation for Multi-Person Pose Estimation
Wuhan University（武汉大学）；NC State University（北卡罗来纳州立大学）
研究了自底向上的多人姿态估计问题。通过一个新的和强有力的观察，中心偏移公式的本地化问题可以在理想情况下在局部窗口搜索方案中得到补救，我们提出了一种多人姿态估计方法，称为LOGO-CAP，通过学习人类姿态的LOcal-GLOBAL上下文适应。具体来说，我们的方法在第一步中从小局部窗口中的局部关键点扩展图（KEM）中学习关键点吸引力图（KAM），随后将其视为基于关键点的全局热图上的动态卷积核进行上下文适应，实现准确的多人姿势估计。我们的方法是端到端可训练的，在单次向前传递中具有接近实时的推理速度，在COCO关键点基准测试中获得了最先进的性能，用于自下而上的人体姿势估计。使用COCO训练的模型，我们的方法在具有挑战性的OCHuman数据集上的性能也大大优于现有技术。
2022-03-02 cs.CV
Multi-Scale Supervised Network for Human Pose Estimation
University of Chinese Academy of Sciences（中国科学院大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
人体姿态估计是计算机视觉中的一个重要课题，在姿态识别和活动识别等领域有着广泛的应用。然而，由于图像的外观变化，遮挡，杂乱的背景和复杂的活动，从图像的姿态估计是具有挑战性的。为了缓解这些问题，我们基于最近的深度conv-deconv模块开发了一种鲁棒的姿势估计方法，该方法具有两个改进：（1）身体关键点的多尺度监督，以及（2）全局回归以提高关键点的结构一致性。我们使用逐层多尺度监督来改进关键点检测热图，以更好地捕获局部上下文。通过关键点关联的姿势推断在最后使用回归网络进行全局优化。我们的方法可以有效地消除歧义的关键点匹配在接近，包括左右身体部位的不匹配，并更好地推断被遮挡的部分。实验结果表明，我们的方法在MPII和FLIC数据集上实现了最先进的方法之间的竞争性能。
2018-08-05 cs.CV
Improving Robustness for Pose Estimation via Stable Heatmap Regression
Tsinghua University（清华大学）；Southeast University（东南大学）；Kuaishou Technology（快手科技）
深度学习方法在姿态估计方面取得了出色的性能，但鲁棒性的缺乏导致关键点在相似图像之间发生剧烈变化。针对这一问题，提出了一种稳定的热图回归方法，以缓解网络对小扰动的脆弱性。我们利用热图中不同行和列之间的相关性来缓解多峰问题，并设计了一个高度差异化的热图回归，使关键点与周围的点区分开来。最大稳定性训练损失用于简化优化难度，当最小化两个相似图像的预测间隙时。该方法在两个基准数据集上的鲁棒性比最先进的方法有了显著的提高，并保持了较高的性能。
2021-05-08 cs.CV
DistilPose: Tokenized Pose Regression with Heatmap Distillation
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）；Tencent WeChat Pay Lab（腾讯微信支付实验室）
在人体姿态估计领域，基于回归的方法在速度方面占据主导地位，而基于热图的方法在性能方面遥遥领先。如何利用这两个方案仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的人体姿态估计框架，称为DistilPose，它弥合了基于热图和基于回归的方法之间的差距。具体来说，DistilPose通过令牌提取编码器（TDE）和模拟热图（Simulated Heatmaps）最大限度地将知识从教师模型（基于热图）转移到学生模型（基于回归）。TDE通过引入标记化来对齐基于热图和基于回归的模型的特征空间，而Simulated Heatmaps则将教师热图的明确指导（分布和置信度）转移到学生模型中。大量的实验表明，所提出的DistilPose可以显着提高基于回归的模型的性能，同时保持效率。具体来说，在MSCOCO验证数据集上，DistilPose-S获得了71.6%的mAP，参数为5.36 M，GFLOPs为2.38，FPS为40.2，节省了12.95倍，计算成本为7.16倍，比其教师模型快4.9倍，性能仅下降0.9点。此外，DistilPose-L在MSCOCO验证数据集上获得了74.4%的mAP，在主要的基于回归的模型中达到了新的最先进水平。
2023-03-16 cs.CV
Human Pose Estimation by Probabilistic Mixtures of Gaussian and Uniform Distributions
University of Málaga（马拉加大学）；Instituto de Investigación Biomédica de Málaga y Plataforma en Nanomedicina – IBIMA Plataforma BIONAND（马拉加生物医学与纳米医学平台研究所（IBIMA BIONAND平台））；ITIS Software（ITIS软件公司）
本文提出一种无需修改架构或重训的事后概率框架，将热图建模为高斯混合模型与均匀分布的组合，在人体姿态估计的精度、异常检测等任务上取得提升，且可扩展至多视图3D架构。
2026-10-14 cs.CV cs.LG
MAEPose: Self-Supervised Spatiotemporal Learning for Human Pose Estimation on mmWave Video
University College London（伦敦大学学院）
提出MAEPose，一种直接处理毫米波频谱视频的掩码自编码方法，通过自监督时空学习实现鲁棒的人体姿态估计，在三个数据集上优于现有方法。
2026-06-03 cs.AI cs.CV
Estimating Egocentric 3D Human Pose in Global Space
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Facebook Reality Labs（Facebook现实实验室）
使用单个鱼眼相机的以自我为中心的3D人体姿态估计最近变得流行，因为它允许在不受约束的环境中捕获广泛的日常活动，这对于使用外部相机的传统由外向内运动捕获是困难的。然而，现有的方法有几个局限性。一个突出的问题是，所估计的姿势位于鱼眼相机的局部坐标系中，而不是在世界坐标系中，这对于许多应用是限制性的。此外，这些方法遭受有限的准确性和时间不稳定性，由于由单眼设置和严重遮挡在强烈扭曲的自我中心的角度引起的模糊性。为了解决这些局限性，我们提出了一种新的方法，使用一个单一的头戴式鱼眼相机的自我中心的全球3D身体姿态估计。为了实现准确和时间稳定的全局姿态，通过最小化热图重投影误差并强制执行从mocap数据集学习的局部和全局身体运动先验，在帧序列上执行时空优化。实验结果表明，我们的方法优于国家的最先进的方法在定量和定性。
2021-08-24 cs.CV
