Multi-View Matching (MVM): Facilitating Multi-Person 3D Pose Estimation Learning with Action-Frozen People Video
University of Southern California（南加州大学）
为了解决从单幅图像中估计多人三维姿态的挑战性问题，本文提出了一种多视点匹配（MVM）方法。MVM方法从大规模视频数据集（称为Mannequin数据集）生成可靠的3D人体姿势，该数据集包含模仿人体模型的动作冻结人。利用MVM自动生成的3D监督标记的大量野外视频数据，我们能够训练一个神经网络，该网络将单个图像作为多人3D姿态估计的输入。MVM的核心技术在于对具有强几何约束的静态场景的多个视图中获得的2D姿态进行有效的对齐。我们的目标是最大限度地提高在多帧中估计的2D姿态的相互一致性，同时考虑几何约束和外观相似性。为了证明MVM方法提供的3D监督的有效性，我们在3DPW和MSCOCO数据集上进行了实验，并表明我们提出的解决方案提供了最先进的性能。
2020-04-11 cs.CV
Face, Body, Voice: Video Person-Clustering with Multiple Modalities
University of Oxford（牛津大学）；École Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；IP Paris（巴黎理工学院）
这项工作的目标是视频中的人物聚类-根据他们的身份对角色进行分组。以前的方法专注于面部聚类的较窄任务，并且在很大程度上忽略了其他线索，例如人的声音，他们的整体外观（头发，衣服，姿势）以及视频的编辑结构。类似地，大多数当前的数据集只评估人脸聚类的任务，而不是人聚类。这限制了它们对下游应用的适用性，例如需要人的层面而不仅仅是面部层面推理的故事理解。在本文中，我们作出贡献，以解决这两个不足之处：首先，我们介绍了一个多模态高精度聚类算法的视频中使用的线索，从几个模态（脸，身体和声音）的人聚类。其次，我们引入了一个视频人物聚类数据集，用于评估多模态人物聚类。它包含每个注释字符的身体轨迹，可见时的面部轨迹，以及说话时的语音轨迹及其相关特征。该数据集是迄今为止同类数据中最大的，涵盖了代表广泛人口统计的电影和电视节目。最后，我们展示了使用多种模式进行人物聚类的有效性，探索了通过人物同现来理解故事的新的广泛任务的使用，并在所有可用的人脸和人物聚类数据集上实现了新的艺术水平。
2021-05-20 cs.CV
Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
目前的面部表情识别方法无法同时处理姿势和主题变化。在本文中，我们提出了一种新的无监督对抗领域自适应方法，可以同时减轻这两种变化。特别地，我们的方法由三种学习策略组成：对抗性领域自适应学习、跨对抗性特征学习和重建学习。第一个目标是学习源域中与姿势和表情相关的特征表示，并通过实施对抗性学习使两个特征分布适应目标域的特征分布。通过使用个性化的对抗性领域自适应，该学习策略可以减轻主题变化，并利用来自源领域的信息来帮助目标领域的学习。第二个用于通过推动姿势相关特征表示expression-undistinguished和姿势相关特征表示expression-undistinguished来执行姿势相关特征表示和表情相关特征表示之间的特征解纠缠。最后一个可以通过应用人脸图像重建来进一步增强特征学习，使得学习的表情相关特征表示更具姿态和身份鲁棒性。在四个基准数据集上的实验结果证明了该方法的有效性。
2020-07-12 cs.CV
First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations
Imperial College London（帝国理工学院）
在这项工作中，我们研究了使用3D手的姿势来识别第一人称动态手部动作与3D对象交互。为了实现这一目标，我们收集了RGB-D视频序列，包括超过100 K帧的45个日常手部动作类别，涉及26个不同的对象在几个手配置。为了获得手部姿势注释，我们使用了自己的mo-cap系统，该系统通过6个磁传感器和逆运动学自动推断手部模型的21个关节中的每个关节的3D位置。此外，我们记录了6D对象的姿态，并提供了一个子集的手对象交互序列的3D对象模型。据我们所知，这是第一个能够使用3D手部姿势研究第一人称手部动作的基准。我们通过18种基线/最先进的方法对RGB-D和基于姿势的动作识别进行了广泛的实验评估。测量使用外观特征、姿势及其组合的影响，并评估不同的训练/测试协议。最后，我们评估如何准备的3D手姿态估计领域时，手被严重遮挡的对象在自我中心的观点和动作识别的影响。从结果中，我们看到了与其他数据模式相比，使用手部姿势作为动作识别提示的明显优势。我们的数据集和实验可能对3D手部姿势估计，6D物体姿势和机器人以及动作识别的社区感兴趣。
2018-04-10 cs.CV
Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information
Southeast University（东南大学）；ByteDance AI Lab（字节跳动人工智能实验室）
多人姿态估计是计算机视觉中一个重要而又具有挑战性的问题。虽然目前的方法已经取得了显着的进展，通过融合的多尺度特征地图，他们很少注意到增强的通道和空间信息的特征地图。在本文中，我们提出了两个新的模块来执行多人姿态估计的信息的增强。首先，提出了一种通道混洗模块（CSM），对不同层次的特征图进行通道混洗操作，促进金字塔特征图之间的跨通道信息交流。其次，设计了一个空间、通道级注意力残差瓶颈（SCARB），通过注意力机制提升原始残差单元，自适应地突出空间和通道级特征图的信息。我们提出的模块的有效性进行了评估COCO关键点基准，实验结果表明，我们的方法达到了国家的最先进的结果。
2019-05-09 cs.CV
AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time
Shanghai Jiao Tong University（上海交通大学）
精确的多人全身姿态估计和跟踪是计算机视觉中一个重要而又具有挑战性的课题。为了捕捉人类的细微动作以进行复杂的行为分析，包括面部、身体、手和脚的全身姿态估计比传统的仅身体姿态估计是必不可少的。在本文中，我们介绍了AlphaPose，这是一个可以在实时运行时联合执行准确的全身姿势估计和跟踪的系统。为此，我们提出了几种新技术：用于快速和精细定位的对称积分关键点回归（SIKR），用于消除冗余人体检测的参数姿态非最大值抑制（P-NMS）和用于联合姿态估计和跟踪的姿态感知身份嵌入。在训练过程中，我们采用部分引导的建议生成器（PPG）和多领域的知识蒸馏，以进一步提高准确性。我们的方法能够准确地定位全身关键点，并在不准确的边界框和冗余检测的情况下同时跟踪人类。我们在COCO-全身，COCO，PoseTrack和我们提出的Halpe-FullBody姿势估计数据集上的速度和准确性方面都比当前最先进的方法有了显着的改进。我们的模型，源代码和数据集在https://github.com/MVIG-SJTU/AlphaPose上公开提供。
2022-11-07 cs.CV
Enhancing Egocentric 3D Pose Estimation with Third Person Views
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
在本文中，我们提出了一种新的方法来增强从单个可穿戴相机捕获的视频计算的人的3D身体姿态估计。其关键思想是利用高级特征在联合嵌入空间中链接第一视图和第三视图。为了学习这种嵌入空间，我们引入了First 2 Third-Pose，这是一个新的配对同步数据集，包含近2,000个从第一视角和第三视角捕捉的人类活动视频。我们明确地考虑空间和运动域的功能，结合使用半暹罗架构训练的自我监督的方式。实验结果表明，我们的数据集学习的联合多视图嵌入空间是有用的，从任意单视图自我中心的视频中提取歧视性特征，而不需要领域自适应，也不需要相机参数的知识。我们在两个无约束数据集上实现了以自我为中心的3D身体姿态估计性能的显着改善，超过了三种有监督的最先进的方法。我们的数据集和代码将可用于研究目的。
2022-06-15 cs.CV
Beyond Frontal Faces: Improving Person Recognition Using Multiple Cues
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
我们探讨了在一个不受约束的设置中识别相册中的人的身份的任务。为了促进这一点，我们介绍了新的人在相册（PIPA）数据集，包括超过60000个实例的2000个人从公共Flickr相册收集。由于只有大约一半的人的图像包含正面的脸，识别任务是非常具有挑战性的，由于姿势，服装，相机的观点，图像分辨率和照明的大变化。我们提出了Pose Invariant PErson Recognition（PIPER）方法，该方法积累了由深度卷积网络训练的poselet级别的人识别器的线索，以折扣姿态变化，结合面部识别器和全局识别器。在三种不同设置上的实验证实，在我们的无约束设置中，PIPER显着提高了DeepFace的性能，DeepFace是在LFW数据集上测量的最佳人脸识别器之一。
2015-01-30 cs.CV
Distribution-Aware Single-Stage Models for Multi-Person 3D Pose Estimation
Beihang University（北京航空航天大学）；Meitu Inc.（美图公司）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
在本文中，我们提出了一种新的分布式感知单阶段（DAS）模型来解决具有挑战性的多人三维姿态估计问题。与现有的自顶向下和自底向上的方法不同，所提出的DAS模型同时定位人的位置和他们相应的身体关节在3D相机空间中，在一个通过的方式。这导致具有增强的效率的简化的流水线。此外，DAS学习身体关节的真实分布，以回归其位置，而不是像以前的作品那样进行简单的拉普拉斯或高斯假设。这为模型预测提供了有价值的先验信息，从而提高了基于回归的方案，以实现与基于体积的方案竞争的性能。此外，DAS采用递归更新策略，逐步逼近回归目标，降低了优化难度，进一步提高了回归性能。DAS是用一个完全的卷积神经网络实现的，并且是端到端可学习的。在基准CMU Panoptic和MuPoTS-3D上的综合实验证明了所提出的DAS模型的优越效率，特别是比以前的最佳模型快1.5倍，以及其最先进的多人3D姿态估计精度。
2022-03-23 cs.CV
Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Nanjing University（南京大学）；The University of Sydney（悉尼大学）
多人姿态估计是具有挑战性的，因为它同时定位多个人的身体关键点。以前的方法可以分为两个流，即自上而下和自下而上的方法。自上而下的方法在人体检测之后定位关键点，而自下而上的方法直接定位关键点，然后针对不同的人对它们进行聚类/分组，这通常比自上而下的方法更有效。然而，在现有的自下而上的方法中，关键点分组通常独立于关键点检测来解决，使得它们不是端到端可训练的并且具有次优性能。在本文中，我们研究了一个新的角度，人体部分分组和重新制定它作为一个图聚类任务。特别是，我们提出了一种新的可微层次图学习（HGG）方法来学习自底向上的多人姿态估计任务中的图分组。此外，HGG很容易嵌入到主流的自底向上方法中。该算法将人类关键点候选者作为图节点，在多层图神经网络模型中对关键点进行聚类。HGG的模块可以与关键点检测网络进行端到端的训练，并且能够以分层的方式监督分组过程。为了提高聚类的区分度，我们增加了一组边缘鉴别器和宏节点鉴别器。在COCO和OCHuman数据集上的大量实验表明，该方法提高了自底向上姿态估计方法的性能。
2020-07-23 cs.CV
JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and Tracking
Stanford University（斯坦福大学）；Monash University（莫纳什大学）
在人类环境中运行的自主机器人系统必须了解其周围环境，以做出准确和安全的决策。在具有近距离人机交互和机器人导航的拥挤人类场景中，深入理解需要通过人体姿势估计和跟踪来推理人体运动和身体动态。然而，现有的数据集要么不提供姿势注释，要么包括与机器人应用无关的场景类型。许多数据集还缺乏在拥挤的人类场景中发现的姿势和遮挡的多样性。为了解决这一限制，我们引入了JRDB-Pose，这是一个大规模的数据集和基准，用于使用从社交导航机器人捕获的视频进行多人姿势估计和跟踪。该数据集包含具有拥挤的室内和室外位置以及各种尺度和遮挡类型的挑战场景。JRDB-Pose为每个关键点的遮挡标签和整个场景中一致的轨迹ID提供了人类姿势注释。一个公共的评估服务器可用于对一个保留的测试集进行公平的评估。JRDB-Pose可在https://jrdb.erc.monash.edu/上获得。
2023-03-12 cs.CV cs.RO
VoxelKeypointFusion: Generalizable Multi-View Multi-Person Pose Estimation
University of Augsburg（奥格斯堡大学）；ISSE
本文提出VoxelKeypointFusion算法，解决多视角多人姿态估计在未见数据集上的泛化难题，结合深度信息提升性能，并实现首个多视角多人全身姿态估计器。
2024-12-20 cs.CV cs.HC
Multi-person 3D pose estimation from unlabelled data
College of Engineering and Physical Sciences, Aston University（阿斯顿大学工程与物理科学学院）；University of Extremadura（埃斯特雷马杜拉大学）
本文针对多视角多人三维姿态估计中的跨视角身份匹配与抗噪鲁棒性问题，提出基于图神经网络与多层感知机的自监督方法，无需三维标注数据即可实现多人三维姿态预测。
2024-04-09 cs.AI cs.CV
Sound-based Multi-Person 3D Pose Estimation
Keio University（庆应义塾大学）；Tokyo University of Science（东京理科大学）；NTT, Inc.（日本电信电话株式会社）
本研究首次尝试仅从声学信号估计多人三维姿态，提出SoundMHPE编码器-解码器框架，构建含43.2万帧的AMP数据集，实验显示其性能优于基线模型。
2026-09-07 cs.AI cs.CV cs.LG
Pose as a Modality: A Psychology-Inspired Network for Personality Recognition with a New Multimodal Dataset
Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）；NYU-ECNU Institute of Brain and Cognitive Science, New York University Shanghai（上海纽约大学纽约大学-华东师范大学脑与认知科学研究院）
针对人格识别忽视全身姿态的问题，本文构建含姿态的多模态虚拟面试数据集，并提出由MFA、MFI和PIMC Loss组成的PINet，显著提升大五人格预测性能。
2025-03-17 cs.CV cs.LG
Forecasting Characteristic 3D Poses of Human Actions
Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
我们提出了预测特征3d姿势的任务：从一个人的短序列观察，预测这个人未来的3d姿势，在一个可能的动作定义，特征姿势-例如，从观察一个人拿起一个苹果，预测这个人吃苹果的姿势。先前的人体运动预测工作以固定的时间间隔估计未来的姿势。虽然很容易定义，但这种逐帧的表述混淆了人类行为的时间和意图方面。相反，我们定义了一个语义上有意义的姿势预测任务，从时间上预测的姿势，从目标导向的行为中汲取灵感。为了预测特征姿态，我们提出了一种概率方法，该方法对可能的特征姿态分布中可能的多模态进行建模。然后，我们以自回归的方式从预测的分布中对未来的姿势假设进行采样，以对关节之间的依赖关系进行建模。为了评估我们的方法，我们构建了一个手动注释的特征3d姿态数据集。我们对这个数据集的实验表明，我们提出的概率方法平均比最先进的方法高出26%。
2022-03-08 cs.CV cs.LG
Multi-Person Pose Estimation with Local Joint-to-Person Associations
University of Bonn（波恩大学）
尽管最近神经网络在人体姿态估计方面取得了成功，但目前的方法仅限于对单个人的姿态估计，并且不能处理成组或成群的人。在这项工作中，我们提出了一种方法，估计多个人在图像中，其中一个人可以被另一个人遮挡或可能被截断的姿势。为此，我们认为多人姿态估计作为一个联合到人的关联问题。我们从一组检测到的联合候选人在图像中构建一个完全连接的图，并解决联合到人的关联和离群点检测使用整数线性规划。由于解决联合到人的关联联合图像中的所有人是一个NP难的问题，甚至近似是昂贵的，我们解决了每个人的本地问题。在具有挑战性的多人MPII人体姿势数据集上，我们的方法达到了最先进方法的精度，但速度要快6,000到19,000倍。
2016-08-31 cs.CV
MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network
Middle East Technical University（中东技术大学）
在本文中，我们提出了MultiPoseNet，一种新的自下而上的多人姿态估计架构，它结合了多任务模型和一种新的分配方法。MultiPoseNet可以联合处理人物检测、关键点检测、人物分割和姿势估计问题。新的分配方法是由姿态残差网络（PRN）实现的，该网络接收关键点和人物检测，并通过将关键点分配给人物实例来产生准确的姿态。在COCO关键点数据集上，我们的姿势估计方法在准确性（比之前的最佳结果高出4点mAP）和速度方面都优于所有之前的自下而上方法;它的性能也与最好的自上而下方法相当，同时至少快4倍。我们的方法是最快的实时的系统与23帧/秒。源代码可从以下网址获得：https://github.com/mkocabas/pose-residual-network
2018-07-11 cs.CV
Single-Stage Multi-Person Pose Machines
National University of Singapore（新加坡国立大学）；Yitu Technology（依图科技）
多人姿态估计是一个具有挑战性的问题。现有的方法大多是基于两个阶段-一个阶段的建议生成和其他分配构成相应的人。然而，这种两阶段方法通常效率低。在这项工作中，我们提出了第一个单阶段模型，单阶段多人姿态机（SPM），以简化管道和提高效率的多人姿态估计。为了实现这一点，我们提出了一种新的结构化姿态表示（SPR），统一的人的实例和身体关节位置表示。基于SPR，我们开发了SPM模型，可以直接预测结构化的构成多个人在一个阶段，从而提供了一个更紧凑的管道和两阶段的方法有吸引力的效率优势。特别地，SPR引入根关节以指示不同的人实例，并且人体关节位置被编码成它们的位移w.r.t.树根为了更好地预测一些关节的长距离位移，SPR进一步扩展到层次表示。基于SPR，SPM可以通过CNN同时预测根关节（实例的位置）和身体关节位移来有效地执行多人姿势估计。此外，为了证明SPM的通用性，我们还将其应用于多人三维姿态估计。在基准MPII、扩展PASCAL-Person-Part、MSCOCO和CMU Panoptic上的综合实验清楚地证明了SPM在多人2D/3D姿态估计方面的最新效率以及出色的准确性。
2019-08-24 cs.CV
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University（首尔国立大学）；Kwangwoon University（光云大学）
虽然最近在3D人体姿态估计方面取得了显着的改进，但大多数先前的方法仅处理单人情况。在这项工作中，我们首先提出了一个完全基于学习的，相机距离感知自顶向下的方法，从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测，绝对三维人体根定位，根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果，而无需任何地面实况信息，并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology（光州科学技术院信息与通信学院）；Computer Vision Laboratory, GIST（计算机视觉实验室）
本文提出姿态感知多镜头匹配框架PaMM，通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配，在公开数据集上优于现有方法，有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
PERSONA: Personalized Whole-Body 3D Avatar with Pose-Driven Deformations from a Single Image
Dept. of CSE, Korea University（计算机科学与工程系，韩国大学）
提出PERSONA框架，结合扩散模型与3D优化方法，通过平衡采样和几何加权优化，从单张图像生成姿态丰富视频并训练出保持身份与渲染质量的个性化3D虚拟化身。
2025-08-13 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；UC San Diego（加州大学圣地亚哥分校）
我们建议个性化的人的姿态估计给出了一组测试图像的人，而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展，但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例，我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间，我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验，并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
Multi-Person Pose Estimation via Column Generation
Beijing A&E Technologies（北京A&E科技公司）；Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚高等研究院）；University of California, Irvine（加州大学欧文分校）；Experian Data Lab（益博睿数据实验室）
研究了自然图像中多人姿态估计问题。姿态估计描述空间位置和身份（头、脚、膝盖等）。一个人的每一个未被遮挡的身体部位。由于身体配置的变形和变化以及部件的遮挡等问题，姿势估计是困难的，而多人设置增加了复杂性，例如未知数量的人，未知的外观以及他们的姿势和部件位置中可能的相互作用。我们给出了一个新的整数规划制定的多人姿态估计问题，其中变量对应于分配的图像中的部分构成的两层，分层的方式。这使我们能够开发一个有效的定制优化程序的基础上列生成，列是由非常小规模的整数规划的精确优化。我们证明了改进的准确性和速度，我们的方法MPII多人姿态估计基准。
2017-09-18 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Science and Technology of China（中国科学技术大学）
人物再识别（reID）是一项重要的任务，需要从图像数据集中检索一个人的图像，给定一个感兴趣的人的图像。为了学习鲁棒的人物特征，人物图像的姿态变化是关键挑战之一。针对该问题的现有作品要么执行人类对齐，要么学习基于人类区域的表示。额外的姿态信息和计算成本通常需要进行推断。为了解决这个问题，特征提取生成对抗网络（FD-GAN）提出了学习身份相关和姿态无关的表示。这是一个新的框架的基础上，暹罗结构与多个新的判别人的姿态和身份。除了鉴别器之外，还集成了一种新的相同姿势损失，其要求相同人的生成图像的外观相似。在学习姿态无关的人的特征与姿势指导，没有辅助的姿势信息和额外的计算成本，在测试过程中需要。我们提出的FD-GAN在三个人的reID数据集上实现了最先进的性能，这证明了所提出的FD-GAN的有效性和鲁棒的特征提取能力。
2018-12-12 cs.CV
Pose Guided Person Image Generation
KU-Leuven/PSI（比利时鲁汶大学/PSI）；TRACE (Toyota Res in Europe)（TRACE（欧洲丰田研究院））；IMEC（IMEC（微电子研究中心））；Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种新的姿势引导的人生成网络（PG $^2$），允许合成的人的图像在任意姿势，基于该人的图像和一个新的姿势。我们的生成框架PG $^2$明确地利用姿态信息，包括两个关键阶段：姿态集成和图像细化。在第一阶段中，条件图像和目标姿态被馈送到类U网网络中以生成具有目标姿态的人的初始但粗糙的图像。然后，第二阶段通过以对抗的方式训练类似于U-Net的生成器来细化初始和模糊的结果。对128张$\times$ 64重新识别图像和256张$\times$ 256时尚照片的实验结果表明，我们的模型生成了高质量的人物图像，具有令人信服的细节。
2018-01-28 cs.CV
Dual networks based 3D Multi-Person Pose Estimation from Monocular Video
Yale-NUS College（耶鲁-新加坡国大学院）；National University of Singapore（新加坡国立大学）；CtrsVision (USA)（CtrsVision（美国））
单目三维人体姿态估计技术近年来取得了一定的进展。大多数方法集中于单个人，其在以人为中心的坐标中估计姿势，即，以目标人物的中心为坐标因此，这些方法不适用于多人3D姿态估计，其中绝对坐标（例如，相机坐标）。此外，由于人与人之间的遮挡和密切的人类交互，多人姿态估计比单姿态估计更具挑战性。现有的自上而下的多人方法依赖于人检测（即，自上而下的方法），并且因此遭受检测误差并且不能在多人场景中产生可靠的姿态估计。与此同时，现有的自下而上的方法，不使用人体检测不受检测错误，但由于他们处理所有的人在一个场景中，他们很容易出错，特别是在小规模的人。为了应对所有这些挑战，我们建议整合自上而下和自下而上的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自下而上的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自下而上的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。为了解决训练和测试数据之间的常见差距，我们在测试期间进行优化，通过使用高阶时间约束，重新投影损失和骨骼长度正则化来细化估计的3D人体姿势。我们的评估证明了所提出的方法的有效性。代码和模型可在https://github.com/3dpose/3D-Multi-Person-Pose上找到。
2022-05-06 cs.CV
Correspondence Learning for Controllable Person Image Generation
Harbin Institute of Technology（哈尔滨工业大学）
如图所示，我们提出了一种用于可控人物图像合成的生成模型，该模型可以应用于姿势引导的人物图像合成$i.e.$，将源人物图像的姿势转换为目标姿势，同时保留源人物图像的纹理，以及服装引导的人物图像合成$i.e.$，将源人物图像的服装纹理改变为所需的服装纹理。通过显式地建立目标位姿和源图像之间的密集对应关系，可以有效地解决位姿转换引入的错位问题，生成高质量的图像。具体地说，我们首先在目标姿态的指导下生成目标语义图，这可以在生成过程中提供更准确的姿态表示和结构约束。然后利用分解属性编码器提取部件特征，不仅有助于建立更精确的稠密对应关系，而且实现了服装引导的人物生成。之后，我们将在分片域中建立目标姿势和源图像之间的密集对应关系。源图像特征根据密集对应进行变形，以灵活地考虑变形。最后，网络根据变形后的源图像特征和目标姿态进行图像渲染。实验结果表明，我们的方法是优于国家的最先进的方法，在姿势引导的人生成和服装引导的人生成的有效性。
2020-12-23 cs.CV
PoP-Net: Pose over Parts Network for Multi-Person 3D Pose Estimation from a Depth Image
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种实时的PoP-Net方法，用于从深度图像中预测多人的3D姿态。PoP-Net学习在Single Shot中预测自下而上的零件表示和自上而下的全局姿势。具体而言，一个新的部分级别的表示，称为截断部分位移场（TPDF），它使一个明确的融合过程，以统一的自下而上的部分检测和全局姿态检测的优点。同时，一个有效的模式选择方案，自动解决冲突的情况下，全局姿态和部分检测。最后，由于缺乏高质量的深度数据集来开发多人3D姿态估计，我们引入了多人3D人体姿态数据集（MP-3DHP）作为新的基准。MP-3DHP设计用于在模型训练中实现有效的多人和背景数据增强，并在不受控制的多人场景下评估3D人体姿势估计器。我们表明，PoP-Net在MP-3DHP和广泛使用的ITOP数据集上都取得了最先进的结果，并且在多人处理的效率方面具有显着的优势。为了展示我们的算法流水线的应用之一，我们还展示了由我们计算的3D关节位置驱动的虚拟化身的结果。MP-3DHP数据集和评估代码已在https://github.com/oppo-us-research/PoP-Net上提供。
2021-11-25 cs.CV
Towards Good Practices for Multi-Person Pose Estimation
ByteDance AI Lab（字节跳动人工智能实验室）
多人位姿估计是计算机视觉中一个有趣而又具有挑战性的课题。在本文中，我们对MSPN和PoseFix网络进行了一系列改进，并通过消融研究实证评估了它们对最终模型性能的影响。通过采取所有的改进，我们在COCO测试开发数据集上获得了78.7，在COCO测试挑战数据集上获得了76.3。
2019-10-28 cs.CV
Progressive Pose Attention Transfer for Person Image Generation
Huazhong Univ. Sci. and Tech.（华中科技大学）；Microsoft（微软）；ZTE Corporation（中兴通讯股份有限公司）
本文提出了一种新的用于姿态转移的生成对抗网络，将给定人的姿势转换为目标姿势。网络的生成器包括一系列姿势注意力转移块，每个转移块转移它所关注的某些区域，逐步生成人物图像。与以前的作品相比，我们生成的人的图像具有更好的外观一致性和形状一致性与输入图像，从而显着更真实的外观。在Market-1501和DeepFashion上定性和定量地验证了所提出的网络的功效和效率。此外，所提出的架构可以生成训练图像的人重新识别，缓解数据不足。代码和模型可在https://github.com/tengteng95/Pose-Transfer.git上获得。
2019-05-13 cs.CV
RMPE: Regional Multi-person Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；Tencent YouTu（腾讯优图）
野外多人姿态估计具有挑战性。虽然最先进的人体探测器已经表现出良好的性能，但定位和识别中的小错误是不可避免的。这些错误可能会导致单人姿态估计器（SPPE）失败，特别是对于仅依赖于人类检测结果的方法。在本文中，我们提出了一种新的区域多人姿态估计（RMPE）框架，以促进姿态估计存在不准确的人类边界框。我们的框架包括三个部分：对称空间Transformer网络（SSTO），参数化姿态非最大值抑制（NMS），和姿势引导建议生成器（PPG）。我们的方法能够处理不准确的边界框和冗余检测，使其在MPII（多人）数据集上的mAP比最先进的方法提高了17%。我们的模型和源代码是公开的。
2018-02-04 cs.CV
Multi-Person 3D Human Pose Estimation from Monocular Images
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan AI公司）
从单个图像中估计多人的3D人体姿态是一个具有挑战性的问题，特别是对于缺乏3D注释数据的野外环境。我们提出了HG-RCNN，这是一种基于Mask-RCNN的网络，它还利用了沙漏架构的优点来进行多人3D人体姿态估计。提出了一种两阶段的方法，首先估计每个感兴趣区域（ROI）中的2D关键点，然后将估计的关键点提升到3D。最后，使用弱透视投影假设和焦距和根平移的联合优化将估计的3D姿态放置在相机坐标中。其结果是一个简单的模块化网络，用于多人3D人体姿态估计，不需要任何多人3D姿态数据集。尽管HG-RCNN的公式简单，但它在MuPoTS-3D上实现了最先进的结果，同时也近似于相机坐标系中的3D姿态。
2019-09-24 cs.CV
Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation
Video Analytics Lab, Indian Institute of Science（印度科学理工学院视频分析实验室）
我们提出了一个部署友好，快速自下而上的框架多人三维人体姿态估计。我们采用了一种新的神经表示的多人的3D姿态，其统一的人的实例与其相应的3D姿态表示的位置。这是通过学习生成姿态嵌入来实现的，生成姿态嵌入不仅确保了合理的3D姿态预测，而且还消除了先前自下而上方法中采用的通常的关键点分组操作。此外，我们提出了一个实际的部署范例，配对的2D或3D姿态注释不可用。在没有任何配对监督的情况下，我们利用冻结网络作为教师模型，该模型在多人2D姿态估计的辅助任务上进行训练。我们将学习视为一个跨模态对齐问题，并提出了实现两种不同模态之间共享潜在空间的训练目标。我们的目标是通过使用人工合成的多人3D场景样本丰富潜在的3D姿势映射来增强模型的能力，从而超越限制教师网络。我们的方法不仅推广到野外的图像，而且还产生了一个优越的速度和性能之间的权衡，相比以前的自上而下的方法。我们的方法也产生了国家的最先进的多人3D姿态估计性能之间的自下而上的方法一致的监督水平。
2020-08-04 cs.CV
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model
Google, Inc.（谷歌公司）
我们提出了一个无框自自底向上的【形】的方法的任务的姿态估计和实例分割的人在多人图像中使用一个有效的单镜头模型。建议的PersonLab模型处理语义级推理和对象的部分关联使用基于部分的建模。我们的模型采用了一个卷积网络，该网络可以学习检测单个关键点并预测它们的相对位移，从而使我们能够将关键点分组为人物姿势实例。此外，我们提出了一个部分诱导的几何嵌入描述符，使我们能够将语义人像素与其相应的人的实例，提供实例级的人分割。我们的系统基于全卷积架构，并允许高效的推理，运行时间基本上与场景中的人数无关。仅在COCO数据上进行训练，我们的系统使用单尺度推理实现了0.665的COCO测试-开发关键点平均精度，使用多尺度推理实现了0.687，显著优于所有以前的自底向上的【形】姿态估计系统。我们也是第一个自自底向上的【形】的方法来报告COCO实例分割任务中人员类别的竞争结果，实现了0.417的人员类别平均精度。
2018-03-22 cs.CV
A Gated Attention Transformer for Multi-Person Pose Tracking
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对多人姿态跟踪中跨帧姿态关联的难题，提出门控注意力Transformer，通过门控机制调整嵌入权重，结合姿态条件重识别网络与门控注意力匹配层实现遮挡重识别与姿态-轨迹关联，在PoseTrack数据集上开展评估。
2023-08-21 cs.CV
Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo
National University of Singapore（新加坡国立大学）
用于多视图多人3D姿态估计的现有方法明确地建立交叉视图对应以将来自多个相机视图的2D姿态检测分组，并求解每个人的3D姿态估计。在多人场景中建立跨视图对应是具有挑战性的，并且不正确的对应将导致多级流水线的次优性能。在这项工作中，我们提出了我们的多视图三维姿态估计方法的基础上，平面扫描立体联合解决跨视图融合和三维姿态重建在一个Single Shot。具体来说，我们建议在目标相机视图中为每个2D姿势的每个关节执行深度回归。交叉视图一致性约束通过平面扫描算法由多个参考相机视图隐含地强制执行，以促进准确的深度回归。我们采用了一个由粗到细的方案，首先回归的人级深度，其次是每个人的联合级相对深度估计。3D姿态从给定估计深度的简单反投影获得。我们在基准数据集上评估了我们的方法，在这些数据集上，它的性能优于以前的最先进技术，同时效率非常高。我们的代码可在https://github.com/jiahaoLjh/PlaneSweepPose上获得。
2021-04-06 cs.CV
Towards Fast and Accurate Multi-Person Pose Estimation on Mobile Devices
Northeastern University（东北大学）；College of William & Mary（威廉与玛丽学院）
自动驾驶、异常行为检测和行为识别的快速发展使得对基于多人姿态估计的应用的需求越来越大，特别是在移动平台上。然而，为了实现高精度，最先进的方法往往具有较大的模型大小和复杂的后处理算法，这需要大量的计算和较长的端到端延迟。为了解决这个问题，我们提出了一个架构优化和权重修剪框架，以加速移动设备上的多人姿态估计的推理。通过我们的优化框架，与代表性的轻量级多人姿势估计器相比，我们实现了高达2.51倍的模型推理速度和更高的准确性。
2021-06-06 cs.CV
DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）
本文的目标是推进国家的最先进的关节姿态估计场景中的多人。为此，我们在三个方面作出贡献。我们提出（1）改进的身体部位检测器，产生有效的自下而上的建议，身体部位;（2）新的图像条件的成对条款，允许组装成一个可变数量的一致的身体部位配置的建议;和（3）一个增量优化策略，探索搜索空间更有效地，从而导致更好的性能和显着的加速因素。评估是在两个单人和两个多人姿态估计基准上进行的。所提出的方法显着优于最知名的多人姿态估计结果，同时表现出有竞争力的性能上的任务，单人姿态估计。型号和代码可在http://pose.mpi-inf.mpg.de上获得
2016-11-30 cs.CV
You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
佩戴相机的人的身体姿势对于增强现实、医疗保健和机器人技术中的应用是非常感兴趣的，然而对于典型的可佩戴相机，人的身体的大部分在视野之外。我们提出了一种基于学习的方法来估计相机佩戴者的3D身体姿势从自我中心的视频序列。我们的关键见解是利用与另一个人的互动--我们可以直接观察到他的身体姿势--作为与第一人称主体的身体姿势内在联系的信号。我们表明，由于个人之间的相互作用往往会引起一系列有序的来回响应，它是可以学习的时间模型的相互关联的构成，即使一方在很大程度上是看不见的。我们展示了我们的想法在各种领域与二元互动，并显示了自我中心的身体姿态估计，这提高了最先进的实质性影响。视频结果可在www.example.com
2020-03-28 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab（字节跳动人工智能实验室）
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型，大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计，但尚未研究在多数据集上训练的最佳实践。在本文中，我们提出了一个简单的网络称为多域姿态网络（MDPN）来解决这个问题。通过将任务视为多域学习，我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合，它显示出比基线的显着改进，并在PoseTrack ECCV 2018挑战赛上实现了最佳性能，而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular Multi-Person 3D Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）
单目RGB摄像机的三维人体姿态估计取得了显著的进展。然而，只有少数研究探讨了3D多人病例。在本文中，我们试图通过引入一种新的监督形式-层次多人顺序关系（HMOR）来解决自上而下方法缺乏全局视角的问题。HMOR将交互信息分层编码为深度和角度的顺序关系，在保持全局一致性的同时，捕获了身体部位和关节级别的语义。在我们的方法中，一个集成的自上而下的模型，旨在利用这些顺序关系的学习过程中。该集成模型同时估计人体边界框、人体深度和根相关3D姿态，具有由粗到细的架构以提高深度估计的准确性。所提出的方法显着优于国家的最先进的方法公开可用的多人3D姿态数据集。除了优越的性能，我们的方法成本较低的计算复杂度和较少的模型参数。
2020-08-10 cs.CV
Efficient Human Pose Estimation with Depthwise Separable Convolution and Person Centroid Guided Joint Grouping
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了高效和有效的方法，二维人体姿态估计。提出了一种基于深度可分离卷积的ResBlock算法，并将其应用于Hourglass网络。它可以通过将vanilla dependency卷积替换为混合dependency卷积来进一步增强。在此基础上，提出了一种自底向上的多人姿态估计方法。通过引入人体质心作为根节点，直接或分层地连接到人体各关节，用有根树表示人体姿态。子网络的两个分支用于预测质心、身体关节及其到其父结点的偏移。通过沿运动类型的偏移追踪到最近的质心，对运动类型进行分组。在MPII人体数据集和LSP数据集上的实验结果表明，我们的单人和多人姿态估计方法都可以以较低的计算成本达到有竞争力的精度。
2020-12-06 cs.CV
PandaNet : Anchor-Based Single-Shot Multi-Person 3D Pose Estimation
CEA LIST（法国原子能与替代能源委员会信息与技术实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）
最近，已经提出了几种用于3D人体姿态估计的深度学习模型。然而，这些方法中的大多数仅关注单人情况或以高分辨率估计少数人的3D姿态。此外，许多应用，如自动驾驶或人群分析，需要大量的人可能在低分辨率的姿态估计。在这项工作中，我们提出了PandaNet（Pose estimAtioN and Detection Anchor-based Network），一种新的单镜头，基于锚点的多人3D姿态估计方法。该模型执行限界框检测，并为每个检测到的人，2D和3D姿态回归到一个单一的向前通过。它不需要任何后处理来重新组合关节，因为网络为每个限界框预测完整的3D姿势，并允许以低分辨率估计可能大量的人的姿势。为了管理人员重叠，我们引入了姿势感知锚点选择策略。此外，由于图像中不同人的尺寸之间存在不平衡，并且关节坐标根据这些尺寸具有不同的不确定性，因此我们提出了一种方法来自动优化与不同人尺度和关节相关联的权重，以进行有效的训练。PandaNet在几个具有挑战性的数据集上超越了以前的单次拍摄方法：一个多人城市虚拟但非常逼真的数据集（JTA数据集）和两个真实世界的3D多人数据集（CMU Panoptic和MuPoTS-3D）。
2021-01-07 cs.CV
Multi-Scale Body-Part Mask Guided Attention for Person Re-identification
Suning R&D Center USA（美国苏宁研发中心）
由于其广泛的应用，身份识别成为一个越来越重要的任务。在实践中，人的重新识别仍然是具有挑战性的，由于变化的人的姿势，不同的照明，遮挡，错位，背景杂波，在本文中，我们提出了一个多尺度的身体部分掩模引导的注意力网络（MMGA），共同学习全身和部分身体的注意力，以帮助同时提取全局和局部特征。在MMGA中，身体部位面具被用来指导相应的注意训练。实验结果表明，该方法可以有效地降低人体姿态变化、失调和背景杂波等因素对图像的影响。我们的方法在Market 1501数据集上实现了95.0%/87.2%的rank-1/mAP，在DukeMTMC-reID数据集上实现了89.5%/78.1%，优于当前最先进的方法。
2019-04-24 cs.CV
PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding
Tsinghua University（清华大学）；Northwestern University（西北大学）
当前的多人姿态估计方法通常分别处理身体关节的定位和关联。它方便但效率低，导致额外的计算和时间浪费。然而，本文提出了一种新的框架PoseDet（通过检测估计姿态），以更高的推理速度同时定位和关联身体关节。此外，我们提出了关键点感知的姿势嵌入来表示一个对象的关键点的位置。建议的姿势嵌入包含语义和几何信息，使我们能够有效地访问歧视性和信息功能。它用于PoseDet中的候选分类和身体关节定位，从而实现对各种姿势的鲁棒预测。与最先进的方法相比，这个简单的框架在COCO基准上实现了前所未有的速度和具有竞争力的准确性。在CrowdPose基准测试上的大量实验表明了该算法在人群场景中的鲁棒性。源代码可用。
2021-07-27 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta（阿尔伯塔大学）；Meta Reality Labs（Meta现实实验室）；Spree3D
本文提出Snipper统一框架，通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测，在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
Progressive and Aligned Pose Attention Transfer for Person Image Generation
University of Illinois（伊利诺伊大学）；Huazhong University of Science and Technology（华中科技大学）；Microsoft（微软公司）
本文提出了一种新的用于姿态转移的生成对抗网络，将给定人的姿势转换为目标姿势。我们设计了一个渐进式生成器，它包括一个序列的传输块。每个块通过利用注意力机制对条件和目标姿态之间的关系进行建模来执行中间传递步骤。本文介绍了两种类型的阻滞，即姿势-注意转移阻滞（PATB）和对齐姿势-注意转移阻滞（APATB）。与以前的作品相比，我们的模型生成更逼真的人的图像，保持更好的外观一致性和形状的一致性相比，输入图像。我们使用定量和定性措施验证了该模型在Market-1501和DeepFashion数据集上的有效性。此外，我们表明，我们的方法可以用于数据增强的人重新识别任务，缓解数据不足的问题。代码和预训练模型可在https://github.com/tengteng95/Pose-Transfer.git上获得。
2021-03-22 cs.CV
Personalizing Human Video Pose Estimation
University of Leeds（利兹大学）；University of Oxford（牛津大学）
我们提出了一个个性化的ConvNet姿态估计器，它可以自动适应一个人的外观的独特性，以改善长视频中的姿态估计。我们做出了以下贡献：（i）我们表明，给定一些高精度姿态注释，例如来自通用ConvNet姿态估计器，可以使用时间上远离帧的基于图像的匹配和时间上局部帧的密集光流的组合在整个视频中生成附加注释;（ii）我们开发了一个遮挡感知的自评价模型，该模型能够自动选择高质量的注释并拒绝错误的附加注释;以及（iii）我们证明这些高质量的注释可以用于微调ConvNet姿态估计器，从而对其进行个性化，以锁定人的外观的关键区别特征。结果是与原始通用ConvNet相比，使用个性化ConvNet对目标视频的姿态估计有了实质性的改进。我们的方法在两个标准基准测试以及一个新的具有挑战性的YouTube视频数据集上的表现远远优于最先进的方法（包括顶级ConvNet方法）。此外，我们还证明了从自动生成的注释中进行的训练可以用于提高通用ConvNet在其他基准测试中的性能。
2016-06-15 cs.CV
Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
尽管最近的进展，从单目视频的3D多人姿态估计仍然是具有挑战性的，由于经常遇到的问题所造成的遮挡，部分帧外的目标人物，和不准确的人检测的信息丢失。为了解决这个问题，我们提出了一种新的框架，集成了图卷积网络（GCN）和时间卷积网络（TCN），以鲁棒地估计以相机为中心的多人3D姿态，不需要相机参数。特别是，我们引入了一个人关节GCN，这与现有的GCN，是基于一个有向图，采用2D姿态估计的置信度分数，以提高姿态估计结果。我们还介绍了一个人骨GCN，它模拟骨连接，并提供更多的信息，超越人类关节。这两个GCN一起工作以估计空间逐帧3D姿态，并且可以利用目标帧中的可见关节和骨骼信息来估计被遮挡或缺失的人体部位信息。为了进一步改进3D姿态估计，我们使用我们的时间卷积网络（TCN）来执行时间和人体动力学约束。我们使用一个joint-TCN跨帧估计以人为中心的3D姿态，并提出了一个velocity-TCN估计的3D关节的速度，以确保连续帧中的3D姿态估计的一致性。最后，为了估计多个人的3D人体姿态，我们提出了一个根TCN，估计以相机为中心的3D姿态，而不需要相机参数。定量和定性的评价证明了所提出的方法的有效性。
2021-04-07 cs.CV
Single Person Pose Estimation: A Survey
Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Surrey（萨里大学）；University of Electronic Science and Technology of China（电子科技大学）
无约束图像和视频中的人体姿态估计是计算机视觉的一项基本任务。为了说明技术的演变路径，在本调查中，我们总结了结构化分类中具有代表性的人类姿势方法，特别关注深度学习模型和单人图像设置。具体来说，我们检查和调查的所有组件的一个典型的人体姿态估计管道，包括数据增强，模型架构和骨干，监督表示，后处理，标准数据集，评估指标。展望未来的发展方向，我们最后讨论了关键的未解决的问题和潜在的趋势，人体姿态估计。
2021-09-21 cs.CV
Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB
MPI For Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Stanford University（斯坦福大学）
我们提出了一种新的单镜头方法，用于从单目RGB相机在一般场景中进行多人3D姿态估计。我们的方法使用新的遮挡鲁棒姿态图（ORPM），即使在场景中的其他人和对象的强烈部分遮挡下，也可以进行全身姿态推断。ORPM输出固定数量的地图，这些地图对场景中所有人的3D关节位置进行编码。身体部位关联允许我们推断任意数量的人的3D姿势，而无需明确的限界框预测。为了训练我们的方法，我们引入了MuCo-3DHP，第一个大规模的训练数据集，显示了复杂的多人交互和遮挡的真实图像。我们通过合成单个人的图像（使用来自多视图性能捕获的地面实况）来合成多人图像的大型语料库。我们在新的具有挑战性的3D注释多人测试集MuPoTs-3D上评估了我们的方法，在那里我们实现了最先进的性能。为了进一步刺激多人3D姿态估计的研究，我们将公开我们的新数据集和相关代码，以供研究之用。
2018-08-28 cs.CV
SMPR: Single-Stage Multi-Person Pose Regression
Dalian University of Technology（大连理工大学）
现有的多人姿态估计方法大致可以分为两阶段方法（自顶向下和自底向上方法）和一阶段方法。两阶段方法要么遭受额外的人检测器的高计算冗余，要么在预测所有实例自由关键点之后对关键点进行分类。最近提出的单阶段方法不依赖于上述两个额外的阶段，但性能低于最新的自底向上的方法。在这项工作中，提出了一种新的单阶段多人姿态回归，称为SMPR。它遵循密集预测的范式，并从每个位置预测实例感知的关键点。除了特征聚合之外，我们还提出了更好的策略来定义用于训练的正姿势假设，这些假设在密集姿势估计中都起着重要作用。该网络还学习估计姿势的得分。姿态评分策略通过在非最大抑制（NMS）期间优先化较优姿态来进一步提高姿态估计性能。我们表明，我们的方法不仅优于现有的单阶段方法，而且与最新的自下而上的方法，与70.2 AP和77.5 AP75的COCO测试开发姿势基准竞争。代码可在https://github.com/cmdi-dlut/SMPR上获得。
2020-11-30 cs.CV
