PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology（光州科学技术院信息与通信学院）；Computer Vision Laboratory, GIST（计算机视觉实验室）
本文提出姿态感知多镜头匹配框架PaMM，通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配，在公开数据集上优于现有方法，有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
Multi-Person Full Body Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
多人姿态估计在许多领域都有着重要的应用。虽然前人对人体姿态估计的各个部分进行了大量的研究，但对于多人的全身姿态估计还需要进一步的研究。我们的工作是通过知识蒸馏开发一个完整的模型，可以估计全身姿态。基于AlphaPose系统和MSCOCO2017数据集进行训练，我们的模型在我们手动注释的验证数据集上实现了51.5 mAP。相关资源可在https://esflfei.github.io/esflfei.gethub.io/website.html获得。
2020-08-23 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；UC San Diego（加州大学圣地亚哥分校）
我们建议个性化的人的姿态估计给出了一组测试图像的人，而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展，但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例，我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间，我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验，并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
Pose-Aware Person Recognition
CVIT, IIIT Hyderabad（海得拉巴国际信息技术学院 CVIT）；Facebook AI Research（Facebook 人工智能研究院）
使用多个身体区域的人识别方法已经显示出比传统的基于面部的识别显著的改进。全身人物识别的主要挑战之一是姿势和视角的极端变化。在这项工作中，（i）我们提出了一种方法，该方法利用在特定姿势上训练的多个模型来处理姿势变化，并在测试期间使用姿势感知权重进行组合。(ii)为了学习一个人的表示，我们提出了一个网络，联合优化多个身体区域的单一损失。(iii)最后，我们引入了新的基准来评估不同场景下的人识别，并在所有基准上（包括PIPA的相册设置）显示了比以前提出的方法的显着改进。
2017-05-29 cs.CV
Multi-Person Pose Estimation via Column Generation
Beijing A&E Technologies（北京A&E科技公司）；Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚高等研究院）；University of California, Irvine（加州大学欧文分校）；Experian Data Lab（益博睿数据实验室）
研究了自然图像中多人姿态估计问题。姿态估计描述空间位置和身份（头、脚、膝盖等）。一个人的每一个未被遮挡的身体部位。由于身体配置的变形和变化以及部件的遮挡等问题，姿势估计是困难的，而多人设置增加了复杂性，例如未知数量的人，未知的外观以及他们的姿势和部件位置中可能的相互作用。我们给出了一个新的整数规划制定的多人姿态估计问题，其中变量对应于分配的图像中的部分构成的两层，分层的方式。这使我们能够开发一个有效的定制优化程序的基础上列生成，列是由非常小规模的整数规划的精确优化。我们证明了改进的准确性和速度，我们的方法MPII多人姿态估计基准。
2017-09-18 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
PI-Net: Pose Interacting Network for Multi-Person Monocular 3D Pose Estimation
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息技术研究所）
最近的文献解决了单目三维姿态估计任务非常令人满意。在这些研究中，不同的人通常被视为独立的姿态实例来估计。然而，在许多日常情况下，人们正在交互，并且个体的姿势取决于他/她的被交互者的姿势。在本文中，我们研究如何利用这种依赖性来增强当前和未来可能的深度网络，以进行3D单目姿态估计。我们的姿势交互网络，或PI-Net，将可变数量的交互对象的初始姿势估计输入到用于改进感兴趣的人的姿势的循环架构中。由于公共注释的多人3D人体姿态数据集的有限可用性，评估这样的方法是具有挑战性的。我们在MuPoTS数据集上证明了我们方法的有效性，并在其上设置了新的最新技术。其他多人数据集（3D姿态地面实况不可用）上的定性结果展示了所提出的PI-Net。PI-Net在PyTorch中实现，代码将在论文被接受后提供。
2020-10-11 cs.CV
FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Science and Technology of China（中国科学技术大学）
人物再识别（reID）是一项重要的任务，需要从图像数据集中检索一个人的图像，给定一个感兴趣的人的图像。为了学习鲁棒的人物特征，人物图像的姿态变化是关键挑战之一。针对该问题的现有作品要么执行人类对齐，要么学习基于人类区域的表示。额外的姿态信息和计算成本通常需要进行推断。为了解决这个问题，特征提取生成对抗网络（FD-GAN）提出了学习身份相关和姿态无关的表示。这是一个新的框架的基础上，暹罗结构与多个新的判别人的姿态和身份。除了鉴别器之外，还集成了一种新的相同姿势损失，其要求相同人的生成图像的外观相似。在学习姿态无关的人的特征与姿势指导，没有辅助的姿势信息和额外的计算成本，在测试过程中需要。我们提出的FD-GAN在三个人的reID数据集上实现了最先进的性能，这证明了所提出的FD-GAN的有效性和鲁棒的特征提取能力。
2018-12-12 cs.CV
Pose Guided Person Image Generation
KU-Leuven/PSI（比利时鲁汶大学/PSI）；TRACE (Toyota Res in Europe)（TRACE（欧洲丰田研究院））；IMEC（IMEC（微电子研究中心））；Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种新的姿势引导的人生成网络（PG $^2$），允许合成的人的图像在任意姿势，基于该人的图像和一个新的姿势。我们的生成框架PG $^2$明确地利用姿态信息，包括两个关键阶段：姿态集成和图像细化。在第一阶段中，条件图像和目标姿态被馈送到类U网网络中以生成具有目标姿态的人的初始但粗糙的图像。然后，第二阶段通过以对抗的方式训练类似于U-Net的生成器来细化初始和模糊的结果。对128张$\times$ 64重新识别图像和256张$\times$ 256时尚照片的实验结果表明，我们的模型生成了高质量的人物图像，具有令人信服的细节。
2018-01-28 cs.CV
Dual networks based 3D Multi-Person Pose Estimation from Monocular Video
Yale-NUS College（耶鲁-新加坡国大学院）；National University of Singapore（新加坡国立大学）；CtrsVision (USA)（CtrsVision（美国））
单目三维人体姿态估计技术近年来取得了一定的进展。大多数方法集中于单个人，其在以人为中心的坐标中估计姿势，即，以目标人物的中心为坐标因此，这些方法不适用于多人3D姿态估计，其中绝对坐标（例如，相机坐标）。此外，由于人与人之间的遮挡和密切的人类交互，多人姿态估计比单姿态估计更具挑战性。现有的自上而下的多人方法依赖于人检测（即，自上而下的方法），并且因此遭受检测误差并且不能在多人场景中产生可靠的姿态估计。与此同时，现有的自下而上的方法，不使用人体检测不受检测错误，但由于他们处理所有的人在一个场景中，他们很容易出错，特别是在小规模的人。为了应对所有这些挑战，我们建议整合自上而下和自下而上的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自下而上的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自下而上的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。为了解决训练和测试数据之间的常见差距，我们在测试期间进行优化，通过使用高阶时间约束，重新投影损失和骨骼长度正则化来细化估计的3D人体姿势。我们的评估证明了所提出的方法的有效性。代码和模型可在https://github.com/3dpose/3D-Multi-Person-Pose上找到。
2022-05-06 cs.CV
Correspondence Learning for Controllable Person Image Generation
Harbin Institute of Technology（哈尔滨工业大学）
如图所示，我们提出了一种用于可控人物图像合成的生成模型，该模型可以应用于姿势引导的人物图像合成$i.e.$，将源人物图像的姿势转换为目标姿势，同时保留源人物图像的纹理，以及服装引导的人物图像合成$i.e.$，将源人物图像的服装纹理改变为所需的服装纹理。通过显式地建立目标位姿和源图像之间的密集对应关系，可以有效地解决位姿转换引入的错位问题，生成高质量的图像。具体地说，我们首先在目标姿态的指导下生成目标语义图，这可以在生成过程中提供更准确的姿态表示和结构约束。然后利用分解属性编码器提取部件特征，不仅有助于建立更精确的稠密对应关系，而且实现了服装引导的人物生成。之后，我们将在分片域中建立目标姿势和源图像之间的密集对应关系。源图像特征根据密集对应进行变形，以灵活地考虑变形。最后，网络根据变形后的源图像特征和目标姿态进行图像渲染。实验结果表明，我们的方法是优于国家的最先进的方法，在姿势引导的人生成和服装引导的人生成的有效性。
2020-12-23 cs.CV
PoP-Net: Pose over Parts Network for Multi-Person 3D Pose Estimation from a Depth Image
OPPO US Research Center（OPPO美国研究中心）
本文提出了一种实时的PoP-Net方法，用于从深度图像中预测多人的3D姿态。PoP-Net学习在Single Shot中预测自下而上的零件表示和自上而下的全局姿势。具体而言，一个新的部分级别的表示，称为截断部分位移场（TPDF），它使一个明确的融合过程，以统一的自下而上的部分检测和全局姿态检测的优点。同时，一个有效的模式选择方案，自动解决冲突的情况下，全局姿态和部分检测。最后，由于缺乏高质量的深度数据集来开发多人3D姿态估计，我们引入了多人3D人体姿态数据集（MP-3DHP）作为新的基准。MP-3DHP设计用于在模型训练中实现有效的多人和背景数据增强，并在不受控制的多人场景下评估3D人体姿势估计器。我们表明，PoP-Net在MP-3DHP和广泛使用的ITOP数据集上都取得了最先进的结果，并且在多人处理的效率方面具有显着的优势。为了展示我们的算法流水线的应用之一，我们还展示了由我们计算的3D关节位置驱动的虚拟化身的结果。MP-3DHP数据集和评估代码已在https://github.com/oppo-us-research/PoP-Net上提供。
2021-11-25 cs.CV
Towards Good Practices for Multi-Person Pose Estimation
ByteDance AI Lab（字节跳动人工智能实验室）
多人位姿估计是计算机视觉中一个有趣而又具有挑战性的课题。在本文中，我们对MSPN和PoseFix网络进行了一系列改进，并通过消融研究实证评估了它们对最终模型性能的影响。通过采取所有的改进，我们在COCO测试开发数据集上获得了78.7，在COCO测试挑战数据集上获得了76.3。
2019-10-28 cs.CV
Progressive Pose Attention Transfer for Person Image Generation
Huazhong Univ. Sci. and Tech.（华中科技大学）；Microsoft（微软）；ZTE Corporation（中兴通讯股份有限公司）
本文提出了一种新的用于姿态转移的生成对抗网络，将给定人的姿势转换为目标姿势。网络的生成器包括一系列姿势注意力转移块，每个转移块转移它所关注的某些区域，逐步生成人物图像。与以前的作品相比，我们生成的人的图像具有更好的外观一致性和形状一致性与输入图像，从而显着更真实的外观。在Market-1501和DeepFashion上定性和定量地验证了所提出的网络的功效和效率。此外，所提出的架构可以生成训练图像的人重新识别，缓解数据不足。代码和模型可在https://github.com/tengteng95/Pose-Transfer.git上获得。
2019-05-13 cs.CV
RMPE: Regional Multi-person Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；Tencent YouTu（腾讯优图）
野外多人姿态估计具有挑战性。虽然最先进的人体探测器已经表现出良好的性能，但定位和识别中的小错误是不可避免的。这些错误可能会导致单人姿态估计器（SPPE）失败，特别是对于仅依赖于人类检测结果的方法。在本文中，我们提出了一种新的区域多人姿态估计（RMPE）框架，以促进姿态估计存在不准确的人类边界框。我们的框架包括三个部分：对称空间Transformer网络（SSTO），参数化姿态非最大值抑制（NMS），和姿势引导建议生成器（PPG）。我们的方法能够处理不准确的边界框和冗余检测，使其在MPII（多人）数据集上的mAP比最先进的方法提高了17%。我们的模型和源代码是公开的。
2018-02-04 cs.CV
Multi-Person 3D Human Pose Estimation from Monocular Images
IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan AI公司）
从单个图像中估计多人的3D人体姿态是一个具有挑战性的问题，特别是对于缺乏3D注释数据的野外环境。我们提出了HG-RCNN，这是一种基于Mask-RCNN的网络，它还利用了沙漏架构的优点来进行多人3D人体姿态估计。提出了一种两阶段的方法，首先估计每个感兴趣区域（ROI）中的2D关键点，然后将估计的关键点提升到3D。最后，使用弱透视投影假设和焦距和根平移的联合优化将估计的3D姿态放置在相机坐标中。其结果是一个简单的模块化网络，用于多人3D人体姿态估计，不需要任何多人3D姿态数据集。尽管HG-RCNN的公式简单，但它在MuPoTS-3D上实现了最先进的结果，同时也近似于相机坐标系中的3D姿态。
2019-09-24 cs.CV
Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation
Video Analytics Lab, Indian Institute of Science（印度科学理工学院视频分析实验室）
我们提出了一个部署友好，快速自下而上的框架多人三维人体姿态估计。我们采用了一种新的神经表示的多人的3D姿态，其统一的人的实例与其相应的3D姿态表示的位置。这是通过学习生成姿态嵌入来实现的，生成姿态嵌入不仅确保了合理的3D姿态预测，而且还消除了先前自下而上方法中采用的通常的关键点分组操作。此外，我们提出了一个实际的部署范例，配对的2D或3D姿态注释不可用。在没有任何配对监督的情况下，我们利用冻结网络作为教师模型，该模型在多人2D姿态估计的辅助任务上进行训练。我们将学习视为一个跨模态对齐问题，并提出了实现两种不同模态之间共享潜在空间的训练目标。我们的目标是通过使用人工合成的多人3D场景样本丰富潜在的3D姿势映射来增强模型的能力，从而超越限制教师网络。我们的方法不仅推广到野外的图像，而且还产生了一个优越的速度和性能之间的权衡，相比以前的自上而下的方法。我们的方法也产生了国家的最先进的多人3D姿态估计性能之间的自下而上的方法一致的监督水平。
2020-08-04 cs.CV
PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model
Google, Inc.（谷歌公司）
我们提出了一个无框自自底向上的【形】的方法的任务的姿态估计和实例分割的人在多人图像中使用一个有效的单镜头模型。建议的PersonLab模型处理语义级推理和对象的部分关联使用基于部分的建模。我们的模型采用了一个卷积网络，该网络可以学习检测单个关键点并预测它们的相对位移，从而使我们能够将关键点分组为人物姿势实例。此外，我们提出了一个部分诱导的几何嵌入描述符，使我们能够将语义人像素与其相应的人的实例，提供实例级的人分割。我们的系统基于全卷积架构，并允许高效的推理，运行时间基本上与场景中的人数无关。仅在COCO数据上进行训练，我们的系统使用单尺度推理实现了0.665的COCO测试-开发关键点平均精度，使用多尺度推理实现了0.687，显著优于所有以前的自底向上的【形】姿态估计系统。我们也是第一个自自底向上的【形】的方法来报告COCO实例分割任务中人员类别的竞争结果，实现了0.417的人员类别平均精度。
2018-03-22 cs.CV
A Gated Attention Transformer for Multi-Person Pose Tracking
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对多人姿态跟踪中跨帧姿态关联的难题，提出门控注意力Transformer，通过门控机制调整嵌入权重，结合姿态条件重识别网络与门控注意力匹配层实现遮挡重识别与姿态-轨迹关联，在PoseTrack数据集上开展评估。
2023-08-21 cs.CV
Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo
National University of Singapore（新加坡国立大学）
用于多视图多人3D姿态估计的现有方法明确地建立交叉视图对应以将来自多个相机视图的2D姿态检测分组，并求解每个人的3D姿态估计。在多人场景中建立跨视图对应是具有挑战性的，并且不正确的对应将导致多级流水线的次优性能。在这项工作中，我们提出了我们的多视图三维姿态估计方法的基础上，平面扫描立体联合解决跨视图融合和三维姿态重建在一个Single Shot。具体来说，我们建议在目标相机视图中为每个2D姿势的每个关节执行深度回归。交叉视图一致性约束通过平面扫描算法由多个参考相机视图隐含地强制执行，以促进准确的深度回归。我们采用了一个由粗到细的方案，首先回归的人级深度，其次是每个人的联合级相对深度估计。3D姿态从给定估计深度的简单反投影获得。我们在基准数据集上评估了我们的方法，在这些数据集上，它的性能优于以前的最先进技术，同时效率非常高。我们的代码可在https://github.com/jiahaoLjh/PlaneSweepPose上获得。
2021-04-06 cs.CV
Towards Fast and Accurate Multi-Person Pose Estimation on Mobile Devices
Northeastern University（东北大学）；College of William & Mary（威廉与玛丽学院）
自动驾驶、异常行为检测和行为识别的快速发展使得对基于多人姿态估计的应用的需求越来越大，特别是在移动平台上。然而，为了实现高精度，最先进的方法往往具有较大的模型大小和复杂的后处理算法，这需要大量的计算和较长的端到端延迟。为了解决这个问题，我们提出了一个架构优化和权重修剪框架，以加速移动设备上的多人姿态估计的推理。通过我们的优化框架，与代表性的轻量级多人姿势估计器相比，我们实现了高达2.51倍的模型推理速度和更高的准确性。
2021-06-06 cs.CV
DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）
本文的目标是推进国家的最先进的关节姿态估计场景中的多人。为此，我们在三个方面作出贡献。我们提出（1）改进的身体部位检测器，产生有效的自下而上的建议，身体部位;（2）新的图像条件的成对条款，允许组装成一个可变数量的一致的身体部位配置的建议;和（3）一个增量优化策略，探索搜索空间更有效地，从而导致更好的性能和显着的加速因素。评估是在两个单人和两个多人姿态估计基准上进行的。所提出的方法显着优于最知名的多人姿态估计结果，同时表现出有竞争力的性能上的任务，单人姿态估计。型号和代码可在http://pose.mpi-inf.mpg.de上获得
2016-11-30 cs.CV
You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
佩戴相机的人的身体姿势对于增强现实、医疗保健和机器人技术中的应用是非常感兴趣的，然而对于典型的可佩戴相机，人的身体的大部分在视野之外。我们提出了一种基于学习的方法来估计相机佩戴者的3D身体姿势从自我中心的视频序列。我们的关键见解是利用与另一个人的互动--我们可以直接观察到他的身体姿势--作为与第一人称主体的身体姿势内在联系的信号。我们表明，由于个人之间的相互作用往往会引起一系列有序的来回响应，它是可以学习的时间模型的相互关联的构成，即使一方在很大程度上是看不见的。我们展示了我们的想法在各种领域与二元互动，并显示了自我中心的身体姿态估计，这提高了最先进的实质性影响。视频结果可在www.example.com
2020-03-28 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab（字节跳动人工智能实验室）
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型，大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计，但尚未研究在多数据集上训练的最佳实践。在本文中，我们提出了一个简单的网络称为多域姿态网络（MDPN）来解决这个问题。通过将任务视为多域学习，我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合，它显示出比基线的显着改进，并在PoseTrack ECCV 2018挑战赛上实现了最佳性能，而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular Multi-Person 3D Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）
单目RGB摄像机的三维人体姿态估计取得了显著的进展。然而，只有少数研究探讨了3D多人病例。在本文中，我们试图通过引入一种新的监督形式-层次多人顺序关系（HMOR）来解决自上而下方法缺乏全局视角的问题。HMOR将交互信息分层编码为深度和角度的顺序关系，在保持全局一致性的同时，捕获了身体部位和关节级别的语义。在我们的方法中，一个集成的自上而下的模型，旨在利用这些顺序关系的学习过程中。该集成模型同时估计人体边界框、人体深度和根相关3D姿态，具有由粗到细的架构以提高深度估计的准确性。所提出的方法显着优于国家的最先进的方法公开可用的多人3D姿态数据集。除了优越的性能，我们的方法成本较低的计算复杂度和较少的模型参数。
2020-08-10 cs.CV
Efficient Human Pose Estimation with Depthwise Separable Convolution and Person Centroid Guided Joint Grouping
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了高效和有效的方法，二维人体姿态估计。提出了一种基于深度可分离卷积的ResBlock算法，并将其应用于Hourglass网络。它可以通过将vanilla dependency卷积替换为混合dependency卷积来进一步增强。在此基础上，提出了一种自底向上的多人姿态估计方法。通过引入人体质心作为根节点，直接或分层地连接到人体各关节，用有根树表示人体姿态。子网络的两个分支用于预测质心、身体关节及其到其父结点的偏移。通过沿运动类型的偏移追踪到最近的质心，对运动类型进行分组。在MPII人体数据集和LSP数据集上的实验结果表明，我们的单人和多人姿态估计方法都可以以较低的计算成本达到有竞争力的精度。
2020-12-06 cs.CV
PandaNet : Anchor-Based Single-Shot Multi-Person 3D Pose Estimation
CEA LIST（法国原子能与替代能源委员会信息与技术实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）
最近，已经提出了几种用于3D人体姿态估计的深度学习模型。然而，这些方法中的大多数仅关注单人情况或以高分辨率估计少数人的3D姿态。此外，许多应用，如自动驾驶或人群分析，需要大量的人可能在低分辨率的姿态估计。在这项工作中，我们提出了PandaNet（Pose estimAtioN and Detection Anchor-based Network），一种新的单镜头，基于锚点的多人3D姿态估计方法。该模型执行限界框检测，并为每个检测到的人，2D和3D姿态回归到一个单一的向前通过。它不需要任何后处理来重新组合关节，因为网络为每个限界框预测完整的3D姿势，并允许以低分辨率估计可能大量的人的姿势。为了管理人员重叠，我们引入了姿势感知锚点选择策略。此外，由于图像中不同人的尺寸之间存在不平衡，并且关节坐标根据这些尺寸具有不同的不确定性，因此我们提出了一种方法来自动优化与不同人尺度和关节相关联的权重，以进行有效的训练。PandaNet在几个具有挑战性的数据集上超越了以前的单次拍摄方法：一个多人城市虚拟但非常逼真的数据集（JTA数据集）和两个真实世界的3D多人数据集（CMU Panoptic和MuPoTS-3D）。
2021-01-07 cs.CV
PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding
Tsinghua University（清华大学）；Northwestern University（西北大学）
当前的多人姿态估计方法通常分别处理身体关节的定位和关联。它方便但效率低，导致额外的计算和时间浪费。然而，本文提出了一种新的框架PoseDet（通过检测估计姿态），以更高的推理速度同时定位和关联身体关节。此外，我们提出了关键点感知的姿势嵌入来表示一个对象的关键点的位置。建议的姿势嵌入包含语义和几何信息，使我们能够有效地访问歧视性和信息功能。它用于PoseDet中的候选分类和身体关节定位，从而实现对各种姿势的鲁棒预测。与最先进的方法相比，这个简单的框架在COCO基准上实现了前所未有的速度和具有竞争力的准确性。在CrowdPose基准测试上的大量实验表明了该算法在人群场景中的鲁棒性。源代码可用。
2021-07-27 cs.CV
Waterfall Transformer for Multi-person Pose Estimation
Rochester Institute of Technology（罗切斯特理工学院）
针对多人姿态估计，提出单通道端到端可训练的瀑布Transformer架构WTPose，其基于Transformer的瀑布模块能生成多尺度特征图并捕捉多尺度上下文，在COCO数据集上优于其他Transformer架构。
2024-11-28 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta（阿尔伯塔大学）；Meta Reality Labs（Meta现实实验室）；Spree3D
本文提出Snipper统一框架，通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测，在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
Progressive and Aligned Pose Attention Transfer for Person Image Generation
University of Illinois（伊利诺伊大学）；Huazhong University of Science and Technology（华中科技大学）；Microsoft（微软公司）
本文提出了一种新的用于姿态转移的生成对抗网络，将给定人的姿势转换为目标姿势。我们设计了一个渐进式生成器，它包括一个序列的传输块。每个块通过利用注意力机制对条件和目标姿态之间的关系进行建模来执行中间传递步骤。本文介绍了两种类型的阻滞，即姿势-注意转移阻滞（PATB）和对齐姿势-注意转移阻滞（APATB）。与以前的作品相比，我们的模型生成更逼真的人的图像，保持更好的外观一致性和形状的一致性相比，输入图像。我们使用定量和定性措施验证了该模型在Market-1501和DeepFashion数据集上的有效性。此外，我们表明，我们的方法可以用于数据增强的人重新识别任务，缓解数据不足的问题。代码和预训练模型可在https://github.com/tengteng95/Pose-Transfer.git上获得。
2021-03-22 cs.CV
Personalizing Human Video Pose Estimation
University of Leeds（利兹大学）；University of Oxford（牛津大学）
我们提出了一个个性化的ConvNet姿态估计器，它可以自动适应一个人的外观的独特性，以改善长视频中的姿态估计。我们做出了以下贡献：（i）我们表明，给定一些高精度姿态注释，例如来自通用ConvNet姿态估计器，可以使用时间上远离帧的基于图像的匹配和时间上局部帧的密集光流的组合在整个视频中生成附加注释;（ii）我们开发了一个遮挡感知的自评价模型，该模型能够自动选择高质量的注释并拒绝错误的附加注释;以及（iii）我们证明这些高质量的注释可以用于微调ConvNet姿态估计器，从而对其进行个性化，以锁定人的外观的关键区别特征。结果是与原始通用ConvNet相比，使用个性化ConvNet对目标视频的姿态估计有了实质性的改进。我们的方法在两个标准基准测试以及一个新的具有挑战性的YouTube视频数据集上的表现远远优于最先进的方法（包括顶级ConvNet方法）。此外，我们还证明了从自动生成的注释中进行的训练可以用于提高通用ConvNet在其他基准测试中的性能。
2016-06-15 cs.CV
Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
尽管最近的进展，从单目视频的3D多人姿态估计仍然是具有挑战性的，由于经常遇到的问题所造成的遮挡，部分帧外的目标人物，和不准确的人检测的信息丢失。为了解决这个问题，我们提出了一种新的框架，集成了图卷积网络（GCN）和时间卷积网络（TCN），以鲁棒地估计以相机为中心的多人3D姿态，不需要相机参数。特别是，我们引入了一个人关节GCN，这与现有的GCN，是基于一个有向图，采用2D姿态估计的置信度分数，以提高姿态估计结果。我们还介绍了一个人骨GCN，它模拟骨连接，并提供更多的信息，超越人类关节。这两个GCN一起工作以估计空间逐帧3D姿态，并且可以利用目标帧中的可见关节和骨骼信息来估计被遮挡或缺失的人体部位信息。为了进一步改进3D姿态估计，我们使用我们的时间卷积网络（TCN）来执行时间和人体动力学约束。我们使用一个joint-TCN跨帧估计以人为中心的3D姿态，并提出了一个velocity-TCN估计的3D关节的速度，以确保连续帧中的3D姿态估计的一致性。最后，为了估计多个人的3D人体姿态，我们提出了一个根TCN，估计以相机为中心的3D姿态，而不需要相机参数。定量和定性的评价证明了所提出的方法的有效性。
2021-04-07 cs.CV
Single Person Pose Estimation: A Survey
Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Surrey（萨里大学）；University of Electronic Science and Technology of China（电子科技大学）
无约束图像和视频中的人体姿态估计是计算机视觉的一项基本任务。为了说明技术的演变路径，在本调查中，我们总结了结构化分类中具有代表性的人类姿势方法，特别关注深度学习模型和单人图像设置。具体来说，我们检查和调查的所有组件的一个典型的人体姿态估计管道，包括数据增强，模型架构和骨干，监督表示，后处理，标准数据集，评估指标。展望未来的发展方向，我们最后讨论了关键的未解决的问题和潜在的趋势，人体姿态估计。
2021-09-21 cs.CV
Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB
MPI For Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Stanford University（斯坦福大学）
我们提出了一种新的单镜头方法，用于从单目RGB相机在一般场景中进行多人3D姿态估计。我们的方法使用新的遮挡鲁棒姿态图（ORPM），即使在场景中的其他人和对象的强烈部分遮挡下，也可以进行全身姿态推断。ORPM输出固定数量的地图，这些地图对场景中所有人的3D关节位置进行编码。身体部位关联允许我们推断任意数量的人的3D姿势，而无需明确的限界框预测。为了训练我们的方法，我们引入了MuCo-3DHP，第一个大规模的训练数据集，显示了复杂的多人交互和遮挡的真实图像。我们通过合成单个人的图像（使用来自多视图性能捕获的地面实况）来合成多人图像的大型语料库。我们在新的具有挑战性的3D注释多人测试集MuPoTs-3D上评估了我们的方法，在那里我们实现了最先进的性能。为了进一步刺激多人3D姿态估计的研究，我们将公开我们的新数据集和相关代码，以供研究之用。
2018-08-28 cs.CV
SMPR: Single-Stage Multi-Person Pose Regression
Dalian University of Technology（大连理工大学）
现有的多人姿态估计方法大致可以分为两阶段方法（自顶向下和自底向上方法）和一阶段方法。两阶段方法要么遭受额外的人检测器的高计算冗余，要么在预测所有实例自由关键点之后对关键点进行分类。最近提出的单阶段方法不依赖于上述两个额外的阶段，但性能低于最新的自底向上的方法。在这项工作中，提出了一种新的单阶段多人姿态回归，称为SMPR。它遵循密集预测的范式，并从每个位置预测实例感知的关键点。除了特征聚合之外，我们还提出了更好的策略来定义用于训练的正姿势假设，这些假设在密集姿势估计中都起着重要作用。该网络还学习估计姿势的得分。姿态评分策略通过在非最大抑制（NMS）期间优先化较优姿态来进一步提高姿态估计性能。我们表明，我们的方法不仅优于现有的单阶段方法，而且与最新的自下而上的方法，与70.2 AP和77.5 AP75的COCO测试开发姿势基准竞争。代码可在https://github.com/cmdi-dlut/SMPR上获得。
2020-11-30 cs.CV
Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
在单目视频三维多人姿态估计中，人与人之间的遮挡和紧密交互会导致人体检测错误和人体关节分组不可靠。现有的自上而下的方法依赖于人类检测，因此存在这些问题。现有的自自底向上的【形】的方法不使用人的检测，但他们一次处理所有的人在同一规模，使他们敏感的多人规模的变化。为了应对这些挑战，我们建议整合自上而下和自自底向上的【形】的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自自底向上的【形】的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自自底向上的【形】的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。除了自上而下和自自底向上的【形】的网络的集成，不像现有的姿势判别器，只为一个人设计，因此不能评估自然的人与人之间的互动，我们提出了一个两个人的姿势判别器，执行自然的两个人的互动。最后，我们还应用半监督方法来克服3D地面实况数据的稀缺性。我们的定量和定性评估显示了我们的方法与最先进的基线相比的有效性。
2021-04-07 cs.CV
Multi-Person Pose Estimation Evaluation Using Optimal Transportation and Improved Pose Matching
本文提出OCpose方法，通过最优传输和改进姿态匹配，公平评估多人体姿态估计中真阳性与假阳性姿态的权衡。
2026-03-11 cs.CV
Multi-Person Absolute 3D Human Pose Estimation with Weak Depth Supervision
Eotvos Lorand University（厄特沃什·罗兰大学）
在3D人体姿态估计中，最大的问题之一是缺乏大型、多样化的数据集。这对于多人3D姿态估计尤其如此，据我们所知，其中只有机器生成的注释可用于训练。为了缓解这个问题，我们引入了一个网络，可以用额外的RGB-D图像以弱监督的方式进行训练。由于廉价传感器的存在，具有深度图的视频广泛可用，并且我们的方法可以利用大型未注释的数据集。我们的算法是一个单目，多人，绝对姿态估计。我们评估了几个基准的算法，表现出一致的改善出错率。此外，我们的模型在MuPoTS-3D数据集上取得了相当大的优势。
2020-04-08 cs.CV
PAC-GAN: An Effective Pose Augmentation Scheme for Unsupervised Cross-View Person Re-identification
Central South University（中南大学）
人物再识别（person Re-Id）的目的是检索由不相交和不重叠的摄像机捕获的同一个人的行人图像。近年来，许多研究者开始关注这一热点问题，并提出了基于深度学习的方法来提高有监督或无监督的识别率。然而，两个不可忽视的局限性：首先，与其他图像检索基准相比，现有的人Re-Id数据集的大小远远不能满足要求，无法为深度模型的训练提供足够的行人样本;其次，现有数据集中的样本没有足够的人体运动或姿势覆盖，无法为学习提供更多的先验知识。在本文中，我们介绍了一种新的无监督的姿态增强跨视图的人Re-ID计划称为PAC-GAN，以克服这些限制。本文首先给出了交叉视角姿态增强的形式化定义，然后提出了基于条件生成对抗网络（CGAN）的PAC-GAN框架，该框架用于提高无监督交叉视角人Re-Id的性能。PAC-GAN中的姿态生成模型CPG-Net是从原始图像和骨架样本中生成足够数量的姿态丰富样本。通过将合成的姿势丰富的样本与原始样本相结合来产生姿势增强数据集，该数据集被馈送到名为Cross-GAN的跨视图人Re-Id模型中。此外，我们在CPG-Net中使用权重共享策略来提高新生成样本的质量。据我们所知，我们是第一次尝试，以提高无监督的跨视图的人Re-Id的姿势增强，广泛的实验结果表明，该计划可以打击国家的最先进的。
2019-06-05 cs.CV
Can WiFi Estimate Person Pose?
Xi’an Jiaotong University（西安交通大学）；Carneige Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）
WiFi人体感知在室内定位、活动分类等方面取得了很大的进展，追溯这些工作的发展，我们自然会有一个问题：WiFi设备能否像摄像头一样用于视觉应用？在本文中，我们试图回答这个问题，通过探索WiFi的能力，估计单人姿势。我们使用3天线WiFi发送器和3天线接收器来生成WiFi数据。同时，我们使用一个同步的摄像头来捕捉相应的关键点注释的人的视频。我们进一步提出了一个完全卷积网络（FCN），称为WiSPPN，从收集的数据和注释中估计单人姿势。对超过80，000张图像（16个研究中心和8人）的评估回答了上述问题，并给出了肯定的答案。守则已在https://github.com/geekfeiw/WiSPPN上公布。
2019-04-02 cs.CV
SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation
Zhejiang University（浙江大学）；SenseTime（商汤科技）
从单个RGB图像中恢复具有绝对尺度的多人3D姿势是一个具有挑战性的问题，这是由于单个视图固有的深度和尺度模糊性。解决这种模糊性需要在整个图像上聚合各种线索，例如身体大小，场景布局和人际关系。然而，大多数以前的方法采用自上而下的方案，首先执行2D姿态检测，然后分别为每个检测到的人回归3D姿态和比例，忽略全局上下文线索。在本文中，我们提出了一种新的系统，首先回归一组2.5D表示的身体部位，然后重建的3D绝对姿势的基础上，这些2.5D表示与深度感知的部分关联算法。这种单次拍摄自下而上的方案允许系统更好地学习和推理人与人之间的深度关系，从而改善3D和2D姿态估计。实验表明，该方法在CMU Panoptic和MuPoTS-3D数据集上达到了最佳性能，适用于野外视频。
2020-08-26 cs.CV
Generative Partition Networks for Multi-Person Pose Estimation
National University of Singapore（新加坡国立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
本文提出了一种新的生成分区网络（GPN），以解决具有挑战性的多人姿态估计问题。与现有的完全自上而下或自下而上的模型不同，所提出的GPN引入了一种新的策略-它从多个人的全局联合候选人中生成分区，并同时推断实例特定的联合配置。GPN具有低复杂度、高联合检测和重组精度的优点。特别地，GPN设计了一个生成模型，该生成模型执行一个前馈通道，以有效地生成具有联合分区的鲁棒的人检测，依赖于由人的质心参数化的嵌入空间中的全局联合候选者的密集回归。此外，GPN制定的联合配置的人体构成的推理过程作为一个图划分问题，并进行局部优化，每个人的检测与可靠的全球亲和力线索，导致复杂性降低和性能提高。GPN是实现与沙漏架构作为骨干网络，同时学习联合检测器和密集回归。在MPII Human Pose Multi-Person、扩展PASCAL-Person-Part和WAF上进行的大量实验表明，GPN具有最新的性能。
2017-11-28 cs.CV
Learning Local-Global Contextual Adaptation for Multi-Person Pose Estimation
Wuhan University（武汉大学）；NC State University（北卡罗来纳州立大学）
研究了自底向上的多人姿态估计问题。通过一个新的和强有力的观察，中心偏移公式的本地化问题可以在理想情况下在局部窗口搜索方案中得到补救，我们提出了一种多人姿态估计方法，称为LOGO-CAP，通过学习人类姿态的LOcal-GLOBAL上下文适应。具体来说，我们的方法在第一步中从小局部窗口中的局部关键点扩展图（KEM）中学习关键点吸引力图（KAM），随后将其视为基于关键点的全局热图上的动态卷积核进行上下文适应，实现准确的多人姿势估计。我们的方法是端到端可训练的，在单次向前传递中具有接近实时的推理速度，在COCO关键点基准测试中获得了最先进的性能，用于自下而上的人体姿势估计。使用COCO训练的模型，我们的方法在具有挑战性的OCHuman数据集上的性能也大大优于现有技术。
2022-03-02 cs.CV
LCR-Net++: Multi-person 2D and 3D Pose Detection in Natural Images
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；NAVER LABS Europe（欧洲NAVER实验室）
我们提出了一个端到端的架构联合2D和3D人体姿态估计在自然图像。我们的方法的关键是每个图像的许多姿势建议的生成和评分，这使我们能够同时预测多个人的2D和3D姿势。因此，我们的方法不需要人类的近似定位来进行初始化。我们的定位-分类-回归架构，名为LCR-Net，包含3个主要组件：1）在图像中不同位置建议候选姿势的姿势建议生成器; 2）对不同姿势建议进行评分的分类器;以及3）在2D和3D中细化姿势建议的回归器。所有三个阶段共享卷积特征层，并联合训练。最后的姿态估计是通过整合相邻的姿态假设，这是提高了一个标准的非最大值抑制算法。我们的方法恢复全身的2D和3D姿态，幻觉似是而非的身体部位时，人被部分遮挡或截断的图像边界。我们的方法在Human3.6M（一个受控环境）上的3D姿态估计中显着优于现有技术。此外，它显示了有前途的结果，对真实图像的MPII 2D姿态基准的单个和多个人的子集，并证明令人满意的3D姿态结果，即使是多人的图像。
2019-01-13 cs.CV
A Greedy Part Assignment Algorithm for Real-time Multi-person 2D Pose Estimation
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
多人图像中的人体姿态估计涉及检测各种身体部位并将其分组为单独的人簇。虽然前一个任务是具有挑战性的，由于相互闭塞，后者的任务的组合复杂性是非常高的。我们提出了一个贪婪的部分分配算法，利用人体的固有结构，以实现较低的复杂性，相比任何先前发表的作品。这是通过以下方式实现的：（i）使用图像中的人的估计数量来减少部分候选者的数量，（ii）遵循从头部到脚踝的运动链来进行部分类的贪婪顺序分配，（iii）进行每个部分类集合中的部分的贪婪分配，（iv）使用人体测量数据将候选人聚类限制到最接近的聚类，以及（v）仅使用预聚类的特定子集，用于建立成对结构约束的指定零件。我们表明，这些步骤导致稀疏的身体部位关系图，降低了复杂性。我们还提出了提高姿势估计准确性的方法，方法是（i）从任何未分配的重要身体部位产生人物集群，以及（ii）抑制幻觉部位。在MPII多人姿态数据库上，使用所提出的方法进行姿态估计每幅图像仅需0.14秒。我们表明，我们提出的算法，通过使用一个大的空间和结构的背景下，实现了最先进的MPII和WAF多人姿势数据集的准确性，证明了我们的方法的鲁棒性。
2017-08-30 cs.CV
Multi-person Physics-based Pose Estimation for Combat Sports
École de technologie supérieure；Université de Montréal（蒙特利尔大学）
针对格斗运动中稀疏多相机下的3D人体姿态估计问题，提出集成Transformer多视角2D跟踪、加权三角测量、运动学优化及基于物理的多人轨迹优化的新框架，在含精英拳击基准的数据集上实现最优性能并发布标注数据集。
2025-07-07 cs.CV
Bottom-Up 2D Pose Estimation via Dual Anatomical Centers for Small-Scale Persons
National University of Singapore（新加坡国立大学）；CtrsVision
在多人2D姿态估计中，自自底向上的【形】的方法同时预测所有人的姿态，并且与自上而下的方法不同，不依赖于人体检测。然而，SOTA自自底向上的【形】的方法的精度仍然不如现有的自顶向下的方法。这是由于基于不一致的人体限界框中心和人体尺度归一化的缺乏来回归预测的人体姿势，导致预测的人体姿势不准确并且错过小尺度的人。为了推动自自底向上的【形】姿态估计的包络，我们首先提出了多尺度训练，以增强网络处理单尺度测试的尺度变化，特别是对于小尺度的人。其次，我们引入双解剖中心（即，头部和身体），其中我们可以更准确和可靠地预测人体姿势，特别是对于小规模的人。此外，现有的自自底向上的【形】方法使用多尺度测试来提高姿态估计的准确性，代价是多个额外的向前传递，这削弱了自自底向上的【形】方法的效率，这是自顶向下方法的核心优势。相比之下，我们的多尺度训练使模型能够在单次向前传递中预测高质量的姿势（即，单尺度测试）。与SOTA算法相比，该方法在COCO算法中具有挑战性的小规模人物集上，限界框准确率提高了38.4%，限界框召回率提高了39.1%.对于人体姿态AP评估，我们在COCO测试开发集上通过单尺度测试实现了新的SOTA（71.0 AP）。在跨数据集评估中，我们还在OCHuman数据集上实现了最高性能（40.3 AP）。
2022-11-23 cs.CV
Structure-aware Person Image Generation with Pose Decomposition and Semantic Correlation
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制系统与控制研究所）
在本文中，我们解决的问题，姿势引导的人的图像生成，其目的是从源姿势的人的图像转移到一个新的目标姿势，同时保持源外观。鉴于标准CNN在处理大型空间变换方面的效率低下，我们提出了一种基于结构感知流的高质量人物图像生成方法。具体来说，我们不是学习人体复杂的整体姿势变化，而是将人体分解为不同的语义部分（例如，头部、躯干和腿部），并应用不同的网络分别预测这些部位的流场。此外，我们精心设计的网络模块，以有效地捕捉局部和全局的语义相关性的特征内和人体部位之间分别。大量的实验结果表明，我们的方法可以产生高质量的结果下大的姿态差异，并优于国家的最先进的方法在定性和定量的比较。
2021-02-05 cs.CV
Deep Person Generation: A Survey from the Perspective of Face, Pose and Cloth Synthesis
Beihang University（北京航空航天大学）；JD AI Research（京东人工智能研究院）
该综述从人脸、姿态、服装合成三大核心任务出发，系统梳理200余篇深度人物生成相关论文的进展与技术趋势，标注里程碑工作，探讨相关应用场景，为数字人领域研究与应用提供基础。
2023-08-21 cs.CV
Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone
University of Southampton（南安普顿大学）
针对现有无监督2D-3D人体姿态估计方法无法适配多人场景的透视歧义问题，提出通过预测相机相对骨盆仰角、独立提升2D姿态再整合到共享3D坐标系的方法，在CHI3D数据集上验证有效并建立基准。
2024-03-12 cs.CV
Bottom-up Pose Estimation of Multiple Person with Bounding Box Constraint
Zhejiang University（浙江大学）
在这项工作中，我们提出了一种新的方法，结合传统的自自底向上的【形】和自顶向下的方法，多人姿态估计。具体来说，我们以自自底向上的【形】的方式执行网络前馈，然后以自上而下的方式解析具有限界框约束的姿势。与以前的自顶向下方法相比，我们的方法是强大的限界框移动和紧密。通过残差网络从原始图像中提取特征，并训练网络学习关节的置信度图和关节之间的连接关系。在测试过程中，预测的置信度图，连接关系和边界框用于解析所有人的姿势。实验结果表明，与自自底向上的【形】和自顶向下的方法相比，该方法能够更准确地学习人体姿态，尤其是在具有挑战性的场景中，并获得更好的时间性能。
2018-07-26 cs.CV
Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images
University of Science and Technology of China（中国科学技术大学）；SenseTime Research and Tetras.AI（商汤科技研究院与Tetras.AI）；The University of Hong Kong（香港大学）；The University of Sydney（悉尼大学）
本文研究了从多个标定的摄像机视图中估计多个人的三维人体姿态的任务。遵循自顶向下的范式，我们将任务分解为两个阶段，即人定位和姿态估计。这两个阶段都以由粗到精的方式进行处理。我们提出了三个任务特定的图神经网络有效的消息传递。对于3D人物定位，我们首先使用多视图匹配图模块（MMG）来学习跨视图关联并恢复粗略的人类建议。中心细化图模块（CRG）通过灵活的基于点的预测进一步细化结果。对于3D姿态估计，姿态回归图模块（PRG）学习多视图几何和人体关节之间的结构关系。我们的方法在CMU Panoptic和Shelf数据集上实现了最先进的性能，并且计算复杂度显著降低。
2021-09-13 cs.CV
RapidPoseTriangulation: Multi-view Multi-person Whole-body Human Pose Triangulation in a Millisecond
University of Augsburg（奥尔堡大学）
RapidPoseTriangulation通过快速三角测量和强泛化能力，实现了多视角多人物全身姿态估计，适用于多种场景且数据公开。
2026-03-05 cs.CV
