ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
虽然在设计中没有考虑特定的领域知识，但普通视觉Transformer在视觉识别任务中表现出了优异的性能。然而，很少有人努力揭示这种简单的结构的潜在的姿态估计任务。在本文中，我们展示了令人惊讶的好能力的平原视觉Transformer的姿态估计从各个方面，即简单的模型结构，模型大小的可扩展性，灵活的训练范式，和模型之间的知识的可转移性，通过一个简单的基线模型称为ViTPose。具体而言，ViTPose采用普通和非分层的视觉Transformer作为骨干，以提取给定人物实例的特征，并使用轻量级解码器进行姿势估计。它可以从100 M扩展到1B参数，利用可扩展的模型容量和高并行性的Transformers的优势，设置一个新的帕累托前沿之间的吞吐量和性能。此外，ViTPose在注意力类型、输入分辨率、预训练和微调策略以及处理多个姿势任务方面非常灵活。我们还经验证明，大型ViTPose模型的知识可以通过简单的知识令牌轻松转移到小型模型。实验结果表明，我们的基本ViTPose模型在具有挑战性的MS COCO关键点检测基准测试中优于代表性方法，而最大的模型则创造了新的最先进水平。代码和模型可在https://github.com/ViTAE-Transformer/ViTPose上获得。
2022-10-13 cs.CV
FasterPose: A Faster Simple Baseline for Human Pose Estimation
JD AI Research（京东人工智能研究院）
人体姿态估计的性能取决于关键点定位的空间精度。现有的方法大多通过学习输入图像的高分辨率表示来追求空间精度。通过实验分析，我们发现HR表示导致了计算量的急剧增加，而精度的提高与低分辨率（LR）表示相比仍然是微不足道的。在本文中，我们提出了一个设计范例的成本效益的网络与LR表示有效的姿态估计，命名为FasterPose。虽然LR设计大大降低了模型的复杂性，但如何有效地训练网络的空间精度是一个随之而来的挑战。我们研究了FasterPose的训练行为，并提出了一种新的回归交叉熵（RCE）损失函数，以加速收敛和提高精度。RCE损失将通常的交叉熵损失从二进制监督推广到连续范围，因此，位姿估计网络的训练能够受益于sigmoid函数。通过这样做，可以从LR特征推断输出热图，而不会损失空间准确性，同时计算成本和模型大小已显着降低。与以前占主导地位的网络的姿态估计相比，我们的方法减少了58%的FLOPs，同时获得1.3%的精度提高。大量的实验表明，FasterPose在常见的基准测试中产生了有希望的结果，即，COCO和MPII，持续验证实际使用的有效性和效率，特别是非GPU场景下的低延迟和低能耗应用。
2021-07-07 cs.CV
Learning to Estimate Pose by Watching Videos
IIT Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种技术，用于获得粗略的姿态估计的人在图像中，不需要任何人工监督。虽然一般的无监督技术将无法估计人体姿势，我们建议，可以通过观察人体运动在多帧中获得足够的信息，粗略的姿势。具体来说，我们认为通过视频获得代理监督作为一种手段，用于获得基于运动的分组线索。我们使用检测人员的基本对象检测器来补充该方法。仅使用这些组件，我们就可以获得对人体姿势的粗略估计。利用这些样本进行训练，我们训练了一个完全的卷积神经网络（FCNN）[20]，以获得准确的基于密集斑点的姿势估计。我们表明，所获得的结果接近地面实况，并且接近使用完全监督的卷积姿态估计方法[31]在具有挑战性的数据集[15]上评估的结果。这通过使用基于姿势的动作识别方法[5]评估所获得的姿势来进一步验证。在这种情况下，我们优于使用基线方法获得的结果，该基线方法使用完全监督的姿势估计算法，并且与使用具有完全监督的卷积姿势估计创建的新基线具有竞争力。
2017-04-13 cs.CV
Full-Resolution Encoder-Decoder Networks with Multi-Scale Feature Fusion for Human Pose Estimation
University of Electronic Science and Technology of China（电子科技大学）
为了实现更准确的二维人体姿态估计，我们扩展了成功的编码器-解码器网络，简单基线网络（SBN），在三种方式。为了减少由大输出步幅大小引起的量化误差，在简单基线网络的末端添加了另外两个解码器模块，以获得完整的输出分辨率。然后，全局上下文块（GCB）被添加到编码器和解码器模块，以增强它们与全局上下文特征。此外，我们提出了一种新的基于空间注意力的多尺度特征收集和分配模块（SA-MFCD）融合和分配多尺度特征，以提高姿态估计。在MS COCO数据集上的实验结果表明，我们的网络可以显着提高SBN上人体姿态估计的准确性，我们使用ResNet 34作为骨干网络的网络甚至可以达到与使用ResNet 152的SBN相同的准确性，并且我们的网络可以在大型骨干网络上取得更好的结果。
2021-06-01 cs.CV
Sparseness Meets Deepness: 3D Human Pose Estimation from Monocular Video
University of Pennsylvania（宾夕法尼亚大学）；Ryerson University（瑞尔森大学）
本文讨论了从单目图像序列中估计三维全身人体姿态的挑战。这里，考虑两种情况：（i）提供了人体关节的图像位置，以及（ii）关节的图像位置未知。在前一种情况下，引入了一种新的方法，该方法集成了稀疏驱动的3D几何先验和时间平滑。在后一种情况下，通过将关节的图像位置视为潜变量来扩展前一种情况。训练深度全卷积网络来预测2D关节位置的不确定性图。通过期望最大化算法在整个序列上实现了3D姿态估计，其中示出了在推断期间可以方便地边缘化2D关节位置不确定性。对Human3.6M数据集的实证评估表明，所提出的方法在最先进的基线上实现了更高的3D姿态估计精度。此外，所提出的方法优于具有挑战性的PennAction数据集上公开可用的2D姿态估计基线。
2016-04-28 cs.CV
EgoPoseFormer: A Simple Baseline for Stereo Egocentric 3D Human Pose Estimation
University of Edinburgh（爱丁堡大学）；Meta Reality Labs（元现实实验室）
针对第一人称视角人体姿态估计的关节不可见问题，提出基于transformer的两阶段模型EgoPoseFormer，引入可变形立体注意力，在立体和单目数据集上均以更低计算成本实现性能大幅提升。
2024-08-15 cs.CV
Activity-conditioned continuous human pose estimation for performance analysis of athletes using the example of swimming
University of Augsburg（奥格斯堡大学）
在本文中，我们考虑的问题，在现实世界的视频游泳运动员的人体姿态估计。游泳通道允许使用单个固定摄像机同时在水面上方和下方拍摄游泳者。这些记录可用于定量评估运动员的表现。到目前为止，定量评估需要对每个视频帧中的身体部位进行手动注释。因此，我们应用CNN的概念，以便自动推断所需的姿势信息。从一个现成的架构开始，我们开发扩展来利用活动信息-在我们的情况下，运动员的游泳风格-和视频记录的连续性。我们的主要贡献有三个方面：（a）我们应用并评估了一个微调的卷积姿态机架构，作为我们非常具有挑战性的水生环境的基线，并讨论了其错误模式，（b）我们提出了一个扩展，将游泳风格信息输入到完全卷积架构中，（c）修改视频中连续姿态估计的架构。通过这些增加，我们实现了可靠的姿势估计，与基线架构相比，身体关节检测的正确率高达+16%。
2018-02-02 cs.CV
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide（阿德莱德大学）；Centre for Automotive Safety Research（汽车安全研究中心）
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上，这可以通过能够检测每个车辆的姿态的单个相机系统来实现，但是这将需要大的、准确标记的数据集，从该数据集训练检测器。虽然存在大型车辆姿态数据集（表面上是为自动驾驶车辆开发的），但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像，而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法，使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中，可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器，我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度，与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法，多视图重投影损失和数据集。
2021-10-21 cs.CV
DeepPose: Human Pose Estimation via Deep Neural Networks
Google（谷歌）
提出了一种基于深度神经网络的人体姿态估计方法。姿势估计被公式化为针对身体关节的基于DNN的回归问题。我们提出了一系列这样的DNN回归器，导致高精度的姿态估计。该方法具有以整体方式推理姿势的优势，并且具有简单但强大的公式，该公式利用了深度学习的最新进展。我们提出了一个详细的实证分析与国家的最先进的或更好的性能上的四个学术基准的不同的现实世界的图像。
2014-08-20 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab（字节跳动人工智能实验室）
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型，大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计，但尚未研究在多数据集上训练的最佳实践。在本文中，我们提出了一个简单的网络称为多域姿态网络（MDPN）来解决这个问题。通过将任务视为多域学习，我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合，它显示出比基线的显着改进，并在PoseTrack ECCV 2018挑战赛上实现了最佳性能，而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）；Google Inc.（谷歌公司）；Cornell University（康奈尔大学）
人体关键点是一个很好的研究表示的人。我们探讨如何使用关键点模型，以改善实例级的人分割。主要思想是利用oracle提供的关键点或估计的关键点热图的距离变换的概念作为深度神经网络内的人实例分割任务的先验。对于训练和评估，我们考虑来自COCO的所有那些图像，其中实例分割和人类关键点注释都可用。我们首先展示了Oracle关键点如何在没有任何训练的情况下在推理过程中提高现有人类分割模型的性能。接下来，我们提出了一个框架来直接学习以人体姿势为条件的深度实例分割模型。实验结果表明，在不同的交集超过联合（IOU）阈值，在一个约束环境中与甲骨文关键点，实例分割的准确性实现了10%至12%的相对提高超过一个强大的基线的甲骨文边界框。在更现实的环境中，在没有oracle关键点的情况下，所提出的以人体姿势为条件的深度人实例分割模型与仅为分割而训练的深度网络的最强基线相比实现了3.8%至10.5%的相对改进。
2017-04-04 cs.CV
Rethinking Deconvolution for 2D Human Pose Estimation Light yet Accurate Model for Real-time Edge Computing
Toyota Motor Corporation（丰田汽车公司）；Sigfoss Corporation（Sigfoss公司）
在这项研究中，我们提出了一个实用的轻量级姿态估计模型。我们的模型可以使用低功耗嵌入式设备实现实时的【形】预测。该系统被发现非常准确，在COCO测试数据集上使用仅3.8%的计算成本实现了SOTA HRNet 256 x192的94.5%准确度。我们的模型采用编码器-解码器架构，并经过精心缩小以提高其效率。我们特别关注优化去卷积层，并观察到去卷积层的通道减少显著有助于减少计算资源消耗，而不会降低该系统的精度。我们还结合了最近的模型不可知技术，如DarkPose和蒸馏训练，以最大限度地提高模型的效率。此外，我们应用模型量化来利用多/混合精度特征。我们的FP 16 'ed模型（COCO AP 70.0）在NVIDIA Jetson AGX Xavier上的运行速度约为60 fps，在NVIDIA Quadro RTX 6000上的运行速度约为200 fps。
2021-11-08 cs.CV cs.RO
Quantification of Occlusion Handling Capability of a 3D Human Pose Estimation Framework
Information Technology University（信息技术大学）
利用单目图像进行三维人体姿态估计是一项重要而又具有挑战性的任务。现有的3D姿态检测方法在正常情况下表现出优异的性能，但是它们的性能可能会由于遮挡而降低。最近一些遮挡感知方法也被提出，然而，这些网络的遮挡处理能力还没有得到彻底的研究。在目前的工作中，我们提出了一个遮挡引导的三维人体姿态估计框架，并量化其遮挡处理能力，通过使用不同的协议。所提出的方法估计更准确的三维人体姿态使用2D骨架与丢失的关节作为输入。通过引入遮挡引导来处理缺失的关节，该遮挡引导提供关于关节缺失或存在的额外信息。时间信息也被用来更好地估计缺失的关节。大量的实验进行了量化的遮挡处理能力的方法在三个公开可用的数据集在各种设置，包括随机缺失关节，固定的身体部位缺失，和完整的帧缺失，使用平均每个关节位置误差标准。除此之外，还使用动作分类性能作为标准来评估预测的3D姿态的质量。所提出的方法估计的3D姿态实现了显着改善的动作识别性能，在存在缺失的关节。我们的实验证明了所提出的框架用于处理缺失关节以及量化深度神经网络的遮挡处理能力的有效性。
2022-03-08 cs.CV
MVOR: A Multi-view RGB-D Operating Room Dataset for 2D and 3D Human Pose Estimation
ICube, University of Strasbourg, CNRS, IHU Strasbourg（斯特拉斯堡大学ICube实验室，法国国家科学研究中心，斯特拉斯堡大学医院）；Radiology Department, University Hospital of Strasbourg（斯特拉斯堡大学医院放射科）
人的检测和姿态估计是开发智能上下文感知辅助系统的关键要求。为了促进人体姿势估计方法及其在手术室（OR）中的应用的发展，我们发布了多视图手术室（MVOR）数据集，这是在真实临床干预期间记录的第一个公共数据集。它由732个同步多视图帧组成，由混合OR中的三个RGB-D相机记录。它还包括在这样的环境中存在的视觉挑战，如遮挡和混乱。我们提供相机校准参数、颜色和深度帧、人体边界框和2D/3D姿态注释。在本文中，我们介绍了数据集，它的注释，以及最近的几个人检测和2D/3D姿态估计方法的基线结果。由于我们需要模糊图像的某些部分以隐藏已发布数据集中的身份和裸体，因此我们还对基线如何受到模糊影响进行了比较研究。结果显示了很大的改进余地，并表明MVOR数据集可以用于比较不同方法的性能。
2021-08-20 cs.CV
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center（京东硅谷研究中心）
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类：自上而下和自下而上的方法。在本文中，遵循自顶向下的方法，我们的目标是建立一个强大的基线系统，三个模块：人体候选人检测器，单人姿势估计器和人体姿势跟踪器。首先，我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后，使用级联金字塔网络来估计相应的人体姿态。最后，我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联，即，为了多目标姿态跟踪的目的，为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验，以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战：姿态估计和姿态跟踪。
2019-01-23 cs.CV
Evaluation of Deep Learning based Pose Estimation for Sign Language Recognition
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
人体姿态估计和手部检测是执行基于计算机视觉的手语识别（SLR）的系统的两个重要任务。然而，这两个任务都是具有挑战性的，特别是当输入是没有深度信息的彩色视频时。在文献中已经提出了许多算法用于这些任务，并且最近一些最成功的算法基于深度学习。在本文中，我们介绍了一个数据集的人体姿态估计的SLR域。我们通过在我们的数据集上进行用户独立的实验来评估两种基于深度学习的姿势估计方法的性能。我们还进行了迁移学习，我们得到的结果表明，迁移学习可以提高姿态估计精度。这些方法的数据集和结果可以为未来的工作创建有用的基线。
2016-04-19 cs.CV
MamKPD: A Simple Mamba Baseline for Real-Time 2D Keypoint Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Inspur Genersoft Co., Ltd.（浪潮通用软件有限公司）
本文提出首个基于 Mamba 的实时二维关键点检测框架 MamKPD，通过轻量级 CMM 增强图像块上下文建模，在 COCO、MPII 和 AP-10K 上实现高精度、高速度并大幅减少参数。
2024-12-02 cs.CV
PedRecNet: Multi-task deep neural network for full 3D human pose and orientation estimation
Reutlingen University（罗伊特林根大学）
我们提出了一个多任务网络，支持各种基于深度神经网络的行人检测功能。除了2D和3D人体姿势，它还支持基于全身限界框输入的身体和头部方向估计。这消除了对明确的面部识别的需要。我们表明，三维人体姿态估计和方向估计的性能是相媲美的国家的最先进的。由于很少的数据集存在的三维人体姿态，特别是身体和头部的方向估计的基础上，全身数据，我们进一步显示特定的模拟数据的好处，训练网络。该网络结构相对简单，但功能强大，易于适应进一步的研究和应用。
2022-04-25 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia（不列颠哥伦比亚大学）
从单幅图像中估计人体姿态是一个具有挑战性的问题，通常通过监督学习来解决。不幸的是，标记的训练数据还不存在许多人类活动，因为3D注释需要专用的运动捕捉系统。因此，我们提出了一种无监督的方法，该方法可以学习从单个图像中预测3D人体姿势，同时只使用2D姿势数据进行训练，这些数据可以是众包的，并且已经广泛使用。为此，我们估计最有可能通过随机投影的3D姿势，使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识，但我们学习了相机角度的分布，这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上，我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Higher-Order Implicit Fairing Networks for 3D Human Pose Estimation
Concordia University（康考迪亚大学）
估计3D人体姿势已被证明是一项具有挑战性的任务，主要是因为人体关节的复杂性、遮挡和照明条件的变化。在本文中，我们介绍了一个高阶图卷积框架与初始剩余连接的2D到3D姿态估计。使用多跳邻域的节点特征聚合，我们的模型是能够捕捉身体关节之间的长期依赖关系。此外，我们的方法利用了剩余连接，这些连接通过设计集成在我们的网络架构中，确保随着网络深度的增加，学习的特征表示保留了输入层初始特征的重要信息。在两个标准基准上进行的实验和消融研究证明了我们的模型的有效性，在3D人体姿态估计的强基线方法上取得了优异的性能。
2021-11-01 cs.CV
Deep Autoencoder for Combined Human Pose Estimation and body Model Upscaling
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种方法，同时估计三维人体姿势和身体形状从稀疏的宽基线相机视图。我们训练具有双重损失的对称卷积自动编码器，该双重损失强制学习对骨骼关节位置进行编码的潜在表示，并且同时学习体积体型的深度表示。我们利用后者来放大输入体积数据的一个因素的$4 \times$，同时恢复一个3D的关节位置的估计具有相等或更高的精度比最先进的。推理运行在实时（25 fps），并有可能被动的人类行为监测，其中有一个要求高保真估计人体的形状和姿势。
2018-07-04 cs.CV
Multiview-Consistent Semi-Supervised Learning for 3D Human Pose Estimation
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan人工智能公司）；IISc Bangalore（印度科学学院班加罗尔分校）；University of California, San Diego（加州大学圣地亚哥分校）
用于从单目图像进行3D人体姿态估计的最佳执行方法需要大量的野外2D和受控3D姿态注释数据集，这些数据集是昂贵的并且需要复杂的系统来获取。为了减少这种注释依赖性，我们提出了多视图一致的半监督学习（MCSS）框架，该框架利用来自未注释，未校准但同步的人体运动多视图视频的姿势信息的相似性作为额外的弱监督信号来指导3D人体姿势回归。我们的框架应用硬否定挖掘的时间关系的基础上，在多视图视频到达一个多视图一致的姿势嵌入。当使用有限的3D姿势注释进行联合训练时，我们的方法将基线提高了25%，最先进的提高了8.7%，同时使用了更小的网络。最后，但重要的是，我们展示了学习嵌入的优势，并在两个流行的、公开可用的多视图人体姿势数据集Human 3.6M和MPI-INF-3DHP上建立了视图不变的姿势检索基准，以促进未来的研究。
2020-02-25 cs.CV
Motion Guided 3D Pose Estimation from Videos
The Chinese University of Hong Kong（香港中文大学）；AWS/Amazon AI（AWS/亚马逊人工智能）
针对单目三维姿态估计问题，提出了一种新的损失函数，称为运动损失。在计算运动损失时，引入了一种简单而有效的关键点运动表示，称为成对运动编码。设计了一种新的图卷积网络结构-U形GCN（UGCN）。它捕获短期和长期运动信息，以充分利用运动损失的额外监督。我们在两个大规模的基准测试：Human3.6M和MPI-INF-3DHP上进行了运动损失的UGCN训练实验。我们的模型远远超过其他最先进的模型。它还展示了强大的能力，产生平滑的3D序列和恢复关键点运动。
2020-04-29 cs.CV
View Invariant 3D Human Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
深度网络最近的成功极大地推进了从2D图像进行3D人体姿势估计。然而，捕捉视点的多样性和人类姿势的灵活性仍然是一些重大挑战。在本文中，我们提出了一个视图不变的三维人体姿态估计模块，以减轻视点多样性的影响。该框架包括一个基础网络，它提供了一个初始估计的3D姿态，一个视图不变的层次校正网络（VI-HC）的顶部，学习一致的意见下的3D姿态细化，和一个视图不变的判别网络（VID），以执行高层次的约束身体配置。在VI-HC中，初始3D姿势输入被自动转换为一致的视图，以分别在全局身体和局部身体部位级别上进行进一步的细化。对于VID，在一致的观点下，我们使用对抗学习来区分估计姿势和真实姿势，以避免不可信的3D姿势。实验结果表明，一致的观点可以显着提高性能。我们的模块显示了不同的3D姿态基础网络的鲁棒性，并在公共3D姿态估计基准Human3.6M的强大基线上实现了显着的改进（约9%）。
2019-01-30 cs.CV
Towards Accurate Cross-Domain In-Bed Human Pose Estimation
Johns Hopkins University（约翰斯·霍普金斯大学）；Florida International University（佛罗里达国际大学）
睡眠期间的人类行为监测对于各种医疗应用至关重要。大多数非接触式人体姿态估计算法基于RGB模态，由于毯子和变化的照明条件的遮挡，导致床上姿态估计无效。基于长波红外（LWIR）模态的姿态估计算法克服了上述挑战;然而，在这种条件下由人类注释器生成地面实况姿态是不可行的。解决这个问题的一个可行的解决方案是转移从具有姿势标签且没有遮挡的图像中学习的知识，并使其适应真实世界条件（由于毯子引起的遮挡）。在本文中，我们提出了一种新的学习策略，包括双重的数据增强，以减少跨域的差异和知识蒸馏，学习在现实世界条件下的未标记图像的分布。我们的实验和分析表明，我们的方法在多个标准的人体姿态估计基线的有效性。
2021-10-07 cs.CV
Point2Pose: A Generative Framework for 3D Human Pose Estimation with Multi-View Point Cloud Dataset
ECE, Seoul National University（首尔国立大学电子与计算机工程系）；CS, KAIST（韩国科学技术院计算机科学系）；Soulart Inc.（Soulart公司）
Point2Pose通过生成模型和大规模数据集提升3D人体姿态估计的准确性与鲁棒性。
2025-12-11 cs.CV
A generalized parametric 3D shape representation for articulated pose estimation
Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的参数化的3D形状表示，广义高斯和（G-SoG），这是特别适合于关节连接的对象的姿态估计。与原始的高斯和（SoG）相比，G-SoG可以处理各向同性和各向异性高斯，从而导致更灵活和适应性更强的形状表示，但涉及的各向异性高斯少得多。通过将G-SoG嵌入到树结构骨架模型中来表示铰接对象，可以开发铰接形状模板。我们进一步推导出G-SoG（模板）和SoG（观测数据）之间的可微相似性函数，该函数可以通过分析进行优化以实现有效的姿态估计。在标准人体姿态估计数据集上的实验结果表明，G-SoG比原始SoG的有效性和优势，以及与最近使用更复杂的形状模型的算法相比的承诺。
2018-03-05 cs.CV
Learning Temporal 3D Human Pose Estimation with Pseudo-Labels
Mercedes-Benz AG（梅赛德斯-奔驰公司）；Universität Ulm（乌尔姆大学）
我们提出了一种简单而有效的方法，用于自监督的3D人体姿态估计。与以前的工作不同，我们探索的时间信息旁边的多视图自我监督。在训练过程中，我们依赖于对多视图相机系统的2D身体姿势估计进行三角测量。利用所生成的3D地面实况和几何多视图一致性损失来训练时间卷积神经网络，从而对所预测的3D身体骨架施加几何约束。在推理过程中，我们的模型从单个视图中接收一系列2D身体姿势估计，以预测每个人的3D身体姿势。广泛的评估表明，我们的方法在Human3.6M和MPI-INF-3DHP基准测试中达到了最先进的性能。我们的代码和模型可在\url{https://github.com/vru2020/TM_HPE/}上公开获取。
2021-10-14 cs.CV
Learning to Refine Human Pose Estimation
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Saarland Informatics Campus（萨尔州信息学园区）
图像和视频中的多人姿态估计是一项重要而具有挑战性的任务，具有许多应用。尽管卷积神经网络的发展使得人类姿势估计有了很大的改进，但仍然存在许多困难的情况，即使是最先进的模型也不能正确地定位所有身体关节。这就需要一个额外的细化步骤来解决这些具有挑战性的情况，并且可以很容易地应用于任何现有的方法之上。在这项工作中，我们引入了一个姿态细化网络（PoseRefiner），它将图像和给定的姿态估计作为输入，并通过对输入输出空间的联合推理来学习直接预测细化的姿态。为了让网络学习改进不正确的身体关节预测，我们采用了一种新的数据增强方案进行训练，其中我们对“硬”人体姿势情况进行建模。我们评估了我们的方法在四个流行的大规模姿态估计基准，如MPII单人和多人姿态估计，PoseTrack姿态估计和PoseTrack姿态跟踪，并报告系统的改进，在最先进的。
2018-04-21 cs.CV
Simultaneously-Collected Multimodal Lying Pose Dataset: Towards In-Bed Human Pose Monitoring under Adverse Vision Conditions
Northeastern University（东北大学）
计算机视觉（CV）在解释图像的语义方面取得了巨大的成功，但是CV算法对于具有不利视觉条件的任务和遭受数据/标签对限制的任务可能是脆弱的。其中一个任务是床上人体姿势估计，这在许多医疗保健应用中具有重要价值。在自然环境中的床上姿势监测可能涉及完全黑暗或完全遮挡。此外，缺乏公开可用的床上姿势数据集阻碍了许多成功的姿势估计算法用于此任务。在本文中，我们介绍了我们同时收集的多模态躺卧姿势（SLP）数据集，其中包括使用多种成像模式（包括RGB，长波红外，深度和压力图）捕获的109名参与者的床上姿势图像。我们还提出了一种物理超参数调整策略，用于在极端条件下生成地面真实姿态标签，例如关灯和完全被床单/毯子覆盖。SLP设计与主流的人体姿势数据集兼容，因此，最先进的2D姿势估计模型可以有效地使用SLP数据进行训练，在PCKh@0.5时，在单个模态上具有高达95%的有希望的性能。姿态估计性能可以通过经由协作包括附加模态来进一步改进。
2020-08-20 cs.CV
Multi-modal Pose Diffuser: A Multimodal Generative Conditional Pose Prior
University of California, Riverside（加州大学河滨分校）
本文提出MOPED，首次将多模态条件扩散模型用作SMPL姿态参数先验，支持图像和文本条件生成，并在姿态估计、去噪和补全任务上显著超越现有方法。
2024-10-18 cs.CV
MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision
Boston University（波士顿大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
在深度学习时代，迄今为止，来自具有未知校准的多个相机的人体姿态估计很少受到关注。我们展示了如何训练神经模型以高精度和最小延迟开销执行此任务。所提出的模型考虑了由于多个视图的遮挡而导致的关节位置不确定性，并且仅需要2D关键点数据进行训练。我们的方法在成熟的Human3.6M数据集以及更具挑战性的野外Ski-Pose PTZ数据集上的性能优于经典束法平差和弱监督单目3D基线。
2021-11-25 cs.CV cs.LG
Convolutional Neural Networks for joint object detection and pose estimation: A comparative study
Université Paris-Est（巴黎东大）
在本文中，我们研究了应用卷积神经网络联合检测对象描绘在静态图像和估计其三维姿态。我们确定了定向对象的不同特征表示，以及导致网络学习这种表示的能量。表示的选择是至关重要的，因为对象的姿势具有自然的连续结构，而其类别是离散变量。我们使用平均视点精度评估Pascal 3D+基准的联合目标检测和姿态估计任务的不同方法。我们表明，离散化的观点的分类方法实现联合目标检测和姿态估计的最先进的性能，并显着优于现有的基准。
2015-02-28 cs.CV cs.LG cs.NE
VideoPose: Estimating 6D object pose from videos
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了一个简单而有效的算法，使用卷积神经网络，直接估计视频对象的姿态。我们的方法利用了视频序列中的时间信息，并且计算效率高，鲁棒性强，可以支持机器人和AR领域。我们提出的网络采用预先训练的2D对象检测器作为输入，并通过递归神经网络聚合视觉特征，以在每帧进行预测。在YCB-Video数据集上的实验结果表明，该方法与现有算法相比具有较好的性能。此外，在30 fps的速度下，它也比现有技术更有效，因此适用于需要实时对象姿态估计的各种应用。
2021-11-20 cs.CV eess.IV
MvFFN: Multi-view Floor plan Feed-forward Network for Unposed Wide-Baseline Panorama Layout Reconstruction
University of Washington（华盛顿大学）
针对从稀疏无姿态宽基线RGB全景图重建多房间平面图的难题，提出基于多视图有序墙实例分割（MOIS）的MvFFN模型，联合预测相机姿态、几何与语义，经布局链后处理得到高精度平面图，且引入专用数据集ZInD-CrossView。
2026-10-15 cs.AI cs.CV cs.LG
InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image
ECE & ASRI, Seoul National University（首尔大学电气与计算机工程系及自动化与系统研究所）；Facebook Reality Labs（Facebook现实实验室）
分析手与手的交互是更好地理解人类行为的关键一步。然而，大多数的研究，在三维手部姿态估计集中在孤立的单手的情况下。因此，我们首先提出（1）一个大规模的数据集，InterHand2.6M，和（2）一个基线网络，InterNet，用于从单个RGB图像进行3D交互手部姿势估计。所提出的InterHand2.6M由来自多个主体的各种姿势下的\textbf{2.6M labeled single and interacting hand frames}组成。我们的InterNet同时执行3D单个和交互式手部姿势估计。在我们的实验中，我们证明了利用InterHand2.6M中的交互手部数据时，3D交互手部姿势估计准确度的大幅提高。我们还报告了InterHand2.6M上的InterNet的准确性，这是这个新数据集的强大基线。最后，我们展示了3D交互式手姿态估计结果从一般的图像。我们的代码和数据集可以在https://mks0601.github.io/InterHand2.6M/上找到。
2020-08-21 cs.CV
Multi-Session SLAM with Differentiable Wide-Baseline Pose Optimization
Princeton University（普林斯顿大学）
本文提出一种多会话SLAM系统，通过将光流预测与可微宽基线两视图位姿求解器层耦合进行端到端训练，实现跨不连贯视频的相机位姿追踪、视觉里程计和全局优化，相比现有方法更准确且对灾难性失效更具鲁棒性。
2024-04-23 cs.CV
Cascaded deep monocular 3D human pose estimation with evolutionary training data
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
端到端深度表示学习已经实现了单目3D人体姿势估计的显著准确性，但这些模型可能会在有限和固定的训练数据下无法识别姿势。本文提出了一种新的数据增强方法，该方法具有以下特点：（1）可扩展性，可用于合成大量的训练数据（超过800万个有效的3D人体姿势和相应的2D投影）用于训练2D到3D网络，（2）可以有效地减少数据集偏差。我们的方法发展了一个有限的数据集，合成看不见的3D人体骨架的基础上，层次的人类表示和启发先验知识的启发。大量的实验表明，我们的方法不仅在最大的公共基准上达到了最先进的准确性，而且还能更好地推广到看不见的和罕见的姿势。代码，预训练模型和工具可在此HTTPS URL中获得。
2021-04-09 cs.CV cs.LG eess.IV
A Simple Baseline for Pose Tracking in Videos of Crowded Scenes
National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
本文介绍了我们的解决方案，ACM MM挑战：大规模以人为中心的视频分析在复杂的事件\cite{lin2020human}，特别是，在这里，我们专注于跟踪3：人群姿态跟踪在复杂的事件。近年来，多姿势训练取得了显著的进展。然而，如何在拥挤和复杂的环境中跟踪人体姿态一直没有得到很好的解决。我们制定的问题作为几个子问题要解决。首先，我们使用多目标跟踪方法来分配人类ID到每个限界框产生的检测模型。最后，利用光流法充分利用视频中的时间信息，生成最终的姿态跟踪结果。
2020-10-21 cs.CV
Wide-Baseline Relative Camera Pose Estimation with Directional Learning
Google Research（谷歌研究院）
针对宽基线、低重叠图像的相对相机位姿估计难题，提出DirectionNet，将5D位姿分解为三维方向并预测球面离散分布，在Matterport3D和InteriorNet上较直接回归降低近50%误差。
2021-06-07 cs.CV
From Simulation to the Real-World: An In-Field 6D Pose Dataset and Baseline for Robotic Strawberry Harvesting
Department of Agricultural and Biological Engineering, University of Florida（佛罗里达大学农业与生物工程系）；Department of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程系）；Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
针对机器人草莓采摘中6D位姿估计的仿真到现实差距问题，首次构建了实地草莓6D位姿真值数据集（12,040张图像），并基于NVIDIA Isaac Sim生成具有场景级真实感的合成数据集，通过基线实验量化了差距。
2026-09-09 cs.CV
HumanNeRF-SE: A Simple yet Effective Approach to Animate HumanNeRF with Diverse Poses
National Engineering Research Center for Multimedia Software（国家多媒体软件工程技术研究中心）；Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science（计算机学院）；Wuhan University（武汉大学）；The University of Tokyo（东京大学）；National Institute of Informatics（信息学研究所）；University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出 HumanNeRF-SE，通过融合显式形状与隐式表示、利用 SMPL 冻结权重实现刚性及非刚性变形，在少样本下提升任意姿态人体合成质量，并将速度提高 15 倍。
2024-04-04 cs.CV
3D Pose Detection in Videos: Focusing on Occlusion
在这项工作中，我们建立在现有的方法，在视频中的遮挡感知3D姿态检测。我们实现了一个两阶段架构，该架构由堆叠的沙漏网络组成，以产生2D姿态预测，然后将其输入到时间卷积网络中以产生3D姿态预测。为了便于预测与闭塞关节的姿态，我们引入了一个直观的泛化的圆柱人模型用于生成遮挡标签。我们发现，在Human3.6M数据集上，遮挡感知网络能够实现比我们的线性基线模型小5 mm的平均每个关节位置误差。与我们的时间卷积网络基线相比，我们以更低的计算成本实现了0.1 mm的可比平均每关节位置误差。
2020-06-24 cs.CV
Light field Rectification based on relative pose estimation
Xidian University（西安电子科技大学）；National University of Defense Technology（国防科技大学）
手持式光场相机在三维场景重建、深度估计等计算机视觉领域具有独特的优势。然而，相关应用受到超小基线的限制，例如，导致重建时的深度分辨率极低。为了解决这个问题，我们建议纠正LF，以获得一个大的基线。具体地说，所提出的方法对齐两个LF由两个手持LF相机捕获的随机相对姿态，并提取相应的行对齐的子孔径图像（SAI），以获得一个大基线的LF。为了精确校正，还提出了一种用于姿态估计的方法，其中估计两个LF相机之间的相对旋转和平移。所提出的姿态估计最小化LF点-LF点对应模型中的自由度（DoF），并以线性方式显式求解该模型。所提出的姿态估计优于国家的最先进的算法，提供更准确的结果，以支持纠正。三维重建中深度分辨率的显著提高证明了所提出的LF校正的有效性。
2022-01-29 cs.CV
Group Pose: A Simple Baseline for End-to-End Multi-person Pose Estimation
Beijing Jiaotong University（北京交通大学）；Baidu VIS（百度视觉技术部）
针对端到端多人姿态估计，本文提出Group Pose，通过实例内与同类型跨实例的分组自注意力简化类DETR解码器，在无人体框监督下于MS COCO和CrowdPose上取得优于复杂方法的性能。
2023-08-14 cs.CV
SmallGS: Gaussian Splatting-based Camera Pose Estimation for Small-Baseline Videos
University of Cambridge（剑桥大学）；Meshcapade
SmallGS利用高斯泼溅为小基线视频提供稳定场景参考，融合DINOv2特征增强鲁棒性，无需强视差即可估计相机位姿，在TUM-Dynamics上优于MonST3R和DORID-SLAM。
2025-04-22 cs.CV eess.IV
Unseen Object 6D Pose Estimation: A Benchmark and Baselines
Shanghai Jiao Tong University（上海交通大学）；Alibaba XR Lab（阿里巴巴XR实验室）；Simon Fraser University（西蒙弗雷泽大学）
估计看不见的物体的6D姿态对于许多现实世界的应用来说是非常需要的。然而，当前最先进的姿态估计方法只能处理先前训练的对象。在本文中，我们提出了一个新的任务，使算法，以估计在测试过程中的新对象的6D姿态估计。我们收集了一个包含真实图像和合成图像的数据集，以及测试集中多达48个看不见的对象。同时，我们提出了一个新的度量命名为下确界ADD（IADD），这是一个不变的测量对象与不同类型的姿态模糊。还提供了用于此任务的两阶段基线解决方案。通过训练一个端到端的3D对应网络，我们的方法准确有效地找到了一个看不见的对象和一个部分视图RGBD图像之间的对应点。然后，它使用对对象对称性鲁棒的算法从对应关系计算6D姿态。大量的实验表明，我们的方法优于几个直观的基线，从而验证了其有效性。所有的数据、代码和模型都将公开。项目页面：www.example.com
2022-06-23 cs.CV cs.RO
Mind the Shape Gap: A Benchmark and Baseline for Deformation-Aware 6D Pose Estimation of Agricultural Produce
Robotics Institute, Athena Research Center（雅典娜研究中心机器人研究所）；HERON - Hellenic Robotics Center of Excellence（HERON - 希腊机器人卓越中心）；School of Electrical & Computer Engineering, NTUA（国立雅典理工大学电气与计算机工程学院）；Music Technology, New York University（纽约大学音乐技术系）；Department of Electrical & Computer Engineering, UTH（色萨利大学电气与计算机工程系）
本文提出PEAR基准和SEED框架，解决农业产品变形导致的6D姿态估计难题，展示现有方法性能下降，并证明显式形状建模对农业机器人可靠姿态估计的重要性。
2026-03-28 cs.CV
Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Zhejiang Sci-Tech University（浙江理工大学）；Chinese Academy of Sciences（中国科学院）
我们重新思考了一个众所周知的自自底向上的【形】的多人姿态估计方法，并提出了一个改进的。改进后的方法大大超过了基线，这要归功于（1）一个直观但更合理的表示，我们称之为身体部位来编码关键点之间的连接信息，（2）一个改进的具有注意力机制的堆叠沙漏网络，（3）一个新的焦点L2损失，它专用于硬关键点和关键点关联（身体部分）挖掘，以及（4）用于将检测到的关键点分组为各个姿势的鲁棒贪婪关键点分配算法。我们的方法不仅工作简单，而且在平均精度上比基线高出约15%，并且与MS-COCO测试开发数据集上的最新技术水平相当。代码和预训练模型可在网上公开获取。
2019-11-24 cs.CV
BaseBoostDepth: Exploiting Larger Baselines For Self-supervised Monocular Depth Estimation
Aston University Birmingham, UK（阿斯顿大学）；Loughborough University Leicestershire, UK（洛桑大学）
BaseBoostDepth 针对自监督单目深度估计中增大基线导致深度质量下降和位姿漂移的问题，提出课程学习优化、增量式位姿估计和误差诱导重建，在 KITTI 和 SYNS-patches 上实现多指标最先进性能且不增加测试计算量。
2025-09-22 cs.CV
Self-Supervision and Spatial-Sequential Attention Based Loss for Multi-Person Pose Estimation
Waseda University（早稻田大学）；Southeast University（东南大学）
基于自底向上的多人姿态估计方法使用具有辅助预测的热图来同时估计关节位置和归属。最近，已经提出了辅助预测和热图之间的各种组合以获得更高的性能，这些预测直接由相应的L2损失函数监督。然而，缺乏更明确的监督导致低功能利用率和预测之间的矛盾在一个模型。为了解决这些问题，本文提出了（i）一种新的损失组织方法，该方法使用自监督热图来减少预测矛盾和空间顺序注意力来增强网络的特征提取;（ii）由热图，部分仿射场（PAF）和我们的块内部偏移组成的预测的新组合来固定像素级关节位置，并进一步证明了所提出的损失函数的有效性。实验在MS COCO关键点数据集上进行，并采用OpenPose作为基线模型。我们的方法整体上优于基线。在COCO验证数据集上，使用我们的建议训练的OpenPose的mAP比OpenPose基线高出5.5%以上。
2021-10-20 cs.CV
SparsePose: Sparse-View Camera Pose Regression and Refinement
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）；Vector Institute（向量研究所）
相机姿态估计是标准3D重建流水线中的关键步骤，该流水线对单个对象或场景的密集图像集进行操作。然而，姿态估计的方法往往失败时，只有少数图像是可用的，因为它们依赖于鲁棒地识别和匹配图像对之间的视觉特征的能力。虽然这些方法可以在密集的相机视图下稳健地工作，但捕获大量图像可能是耗时的或不切实际的。我们提出了SparsePose用于恢复精确的相机姿势给定稀疏的宽基线图像集（少于10）。该方法学习回归初始相机姿势，然后在大规模对象数据集（Co 3D：3D中的常见对象）上进行训练后迭代地对其进行优化。SparsePose在恢复精确的相机旋转和平移方面明显优于传统和基于学习的基线。我们还展示了我们的管道高保真3D重建只使用5-9个图像的对象。
2022-11-29 cs.CV
Simple yet efficient real-time pose-based action recognition
Reutlingen University（罗伊特林根大学）
识别人类行为是自主系统的核心挑战，因为它们直接与人类共享同一空间。系统必须能够实时的【形】识别和评估人类的行为。为了训练相应的数据驱动算法，需要大量带注释的训练数据。我们展示了一个管道来检测人类，估计他们的姿势，随着时间的推移跟踪他们，并通过标准的单目摄像头传感器实时的【形】识别他们的动作。对于动作识别，我们将人体姿势编码为一种新的数据格式，称为编码人体姿势图像（EHPI），然后可以使用计算机视觉社区的标准方法对其进行分类。通过这个简单的过程，我们在基于姿态的动作检测中实现了具有竞争力的最先进性能，并且可以确保实时的【形】性能。此外，我们还展示了自动驾驶环境中的一个用例，以演示如何训练这样的系统使用模拟数据识别人类行为。
2019-04-19 cs.CV cs.LG
Towards Good Practices for Multi-Person Pose Estimation
ByteDance AI Lab（字节跳动人工智能实验室）
多人位姿估计是计算机视觉中一个有趣而又具有挑战性的课题。在本文中，我们对MSPN和PoseFix网络进行了一系列改进，并通过消融研究实证评估了它们对最终模型性能的影响。通过采取所有的改进，我们在COCO测试开发数据集上获得了78.7，在COCO测试挑战数据集上获得了76.3。
2019-10-28 cs.CV
