Efficient Human Pose Estimation with Depthwise Separable Convolution and Person Centroid Guided Joint Grouping
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们提出了高效和有效的方法，二维人体姿态估计。提出了一种基于深度可分离卷积的ResBlock算法，并将其应用于Hourglass网络。它可以通过将vanilla dependency卷积替换为混合dependency卷积来进一步增强。在此基础上，提出了一种自底向上的多人姿态估计方法。通过引入人体质心作为根节点，直接或分层地连接到人体各关节，用有根树表示人体姿态。子网络的两个分支用于预测质心、身体关节及其到其父结点的偏移。通过沿运动类型的偏移追踪到最近的质心，对运动类型进行分组。在MPII人体数据集和LSP数据集上的实验结果表明，我们的单人和多人姿态估计方法都可以以较低的计算成本达到有竞争力的精度。
2020-12-06 cs.CV
Associative Embedding: End-to-End Learning for Joint Detection and Grouping
University of Michigan（密歇根大学）；Tsinghua University（清华大学）
我们介绍了关联嵌入，一种新的方法，监督卷积神经网络的检测和分组的任务。许多计算机视觉问题可以以这种方式来构建，包括多人姿态估计、实例分割和多对象跟踪。通常，检测的分组是通过多级管道实现的，相反，我们提出了一种方法，教导网络同时输出检测和分组分配。这种技术可以很容易地集成到任何最先进的网络架构中，产生逐像素的预测。我们展示了如何将此方法应用于多人姿态估计和实例分割，并报告了MPII和MS-COCO数据集上多人姿态的最新性能。
2017-06-09 cs.CV
Multi-person Articulated Tracking with Spatial and Temporal Embeddings
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）
我们提出了一个统一的框架，多人姿态估计和跟踪。我们的框架包括两个主要组件，~ \ie ~SpatialNet和TemporalNet。SpatialNet在单个帧中完成身体部位检测和部位级数据关联，而TemporalNet将连续帧中的人体实例分组为轨迹。具体来说，除了身体部位检测热图，SpatialNet还预测身体部位关联的关键点嵌入（KE）和空间实例嵌入（SIE）。我们将分组过程建模为可区分的姿势引导训练（PGG）模块，以使整个部分检测和分组管道完全端到端可训练。TemporalNet将关键点的空间分组扩展到人类实例的时间分组。考虑到来自两个连续帧的人类建议，TemporalNet利用人类嵌入（HE）中编码的外观特征和时间实例嵌入（TIE）中体现的时间一致的几何特征进行鲁棒跟踪。大量的实验证明了我们提出的模型的有效性。值得注意的是，我们在ICCV'17 PoseTrack数据集上展示了比最先进的姿势跟踪方法的实质性改进，多对象跟踪准确性（MOTA）从65.4%提高到71.8%。
2019-03-21 cs.CV
Greedy Offset-Guided Keypoint Grouping for Human Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院合肥智能机械研究所）
我们提出了一个简单而可靠的自下而上的方法，在准确性和效率之间取得了很好的平衡，多人姿态估计的问题。给定一幅图像，我们采用沙漏网络来不加区别地推断来自不同人的所有关键点以及连接属于相同人的相邻关键点的引导偏移。然后，我们利用预测的引导偏移将候选关键点粗略地分组为多个人类姿势（如果有的话）。我们将此过程称为贪婪偏移引导关键点分组（GOG）。此外，我们重新审视的编码-解码方法的多人的关键点坐标，并揭示了一些重要的因素影响精度。实验表明，引入的组件带来了明显的性能改善。在公平的条件下，我们的方法可以与具有挑战性的COCO数据集上的最新技术相媲美。源代码和我们的预训练模型可在网上公开获取。
2021-09-06 cs.CV
Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing
ETH Zurich（苏黎世联邦理工学院）；Beihang University（北京航空航天大学）；University of Technology Sydney（悉尼科技大学）
为了解决具有挑战性的任务，实例感知的人体部位解析，提出了一种新的自底向上的制度，学习类别级的人类语义分割，以及多人姿态估计在联合和端到端的方式。它是一个紧凑、高效且强大的框架，可以利用不同人类粒度的结构信息，并减轻人员划分的难度。具体而言，密集到稀疏的投影场，它允许显式地将密集的人类语义与稀疏的关键点相关联，在网络特征金字塔上学习并逐步改进以获得鲁棒性。然后，困难的像素分组问题被转换为一个更容易的，多人的联合组装任务。通过将联合关联公式化为最大权重二部匹配，开发了可微分的解决方案，以利用投影梯度下降和Dykstra的循环投影算法。这使得我们的方法是端到端可训练的，并允许反向传播分组误差来直接监督多粒度人类表示学习。这与当前自下而上的人类解析器或姿态估计器不同，后者需要复杂的后处理或启发式贪心算法。在三个实例感知的人类句法分析数据集上的实验表明，我们的模型比其他自底向上的替代方案具有更有效的推理。
2021-03-08 cs.CV
Recurrent Pixel Embedding for Instance Grouping
University of California, Irvine（加州大学欧文分校）
我们引入了一个可区分的，端到端的可训练框架，用于解决像素级分组问题，如由两个新组件组成的实例分割。首先，我们回归像素到一个超球面嵌入空间，使来自同一组的像素具有高余弦相似性，而来自不同组的像素具有低于指定的保证金的相似性。我们分析了嵌入维数和边缘的选择，将它们与球面上均匀分布点问题的理论结果联系起来。其次，分组实例，我们利用均值漂移聚类的一个变体，实现为一个由内核带宽参数化的递归神经网络。这个循环分组模块是可微的，具有收敛动力学和概率可解释性。通过这个模块反向传播组加权损失，可以让学习专注于纠正在后续聚类过程中无法解决的嵌入错误。我们的框架，而概念上简单，理论上丰富，也是实际有效的和计算效率。我们证明了国家的最先进的实例分割的对象提案生成的实质性改进，以及展示分类任务，如边界检测和语义分割的分组损失的好处。
2017-12-22 cs.CV cs.LG cs.MM
Efficient Multi-Person Pose Estimation with Provable Guarantees
Beijing A&E Technologies（北京A&E科技公司）；University of Pennsylvania（宾夕法尼亚大学）；Experian Data Labs（益博睿数据实验室）
自然图像中的多人姿态估计（MPPE）是在运动科学、安全和康复等许多领域有意义地使用视觉数据的关键。在本文中，我们使用自下而上的方法来处理MPPE，从卷积神经网络（CNN）中的身体部位候选检测开始，并将它们分组为人。我们制定的分组的身体部位检测到的人作为一个最小权重集包装（MWSP）的问题，其中的一组潜在的人是权力集的身体部位检测。我们建模的质量的一个人的假设，这是一个集在MWSP由一个增强的树结构马尔可夫随机场，其中变量对应于身体部位和它们的状态空间对应于该部分的检测的功率集。我们描述了一种新的算法，结合效率与可证明的界限，这个MWSP问题。我们采用隐式列生成策略，定价问题制定为一个动态的程序。为了有效地解决这个动态程序，我们利用嵌套本德的分解（NBD）的精确推理策略，我们加快回收本德的行之间的调用定价问题的问题结构。我们测试我们的方法的MPII多人数据集，表明我们的方法获得了可比的结果与国家的最先进的算法联合节点标记和分组问题，NBD实现了相当大的速度相对于一个天真的动态规划方法。解决联合节点标记和分组问题的典型算法使用启发式算法，因此无法获得最优性证明。相比之下，我们的方法证明，对于超过99%的问题实例，我们找到了全局最优解，并提供了上/下限。
2017-11-21 cs.CV
Self-similarity Grouping: A Simple Unsupervised Cross Domain Adaptation Approach for Person Re-identification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Technology Sydney（悉尼科技大学）；Shanghai Jiao Tong University（上海交通大学）；IBM Research（IBM研究院）；University of Oregon（俄勒冈大学）
领域自适应在人的再识别（re-ID）一直是一个具有挑战性的任务。在这项工作中，我们将探索如何利用目标域样本中存在的自然相似特征，以无监督的方式进行人员重新识别。具体地说，我们提出了一个自相似性聚类（SSG）的方法，它利用潜在的相似性（从全球机构的局部部分）的未标记的样本，自动建立多个集群从不同的观点。然后，这些独立的聚类被分配标签，这些标签作为伪身份来监督训练过程。我们反复交替地进行这样的分组和训练过程，直到模型稳定。尽管明显简化，但我们的SSG在mAP方面分别优于最先进的4.6%（DukeMTMC对Market 1501）和4.4%（Market 1501对DukeMTMC）。在我们的SSG上，我们进一步引入了一种名为SSG ++的聚类引导半监督方法，以在开集设置（即来自目标域的独立身份的数量未知）中进行一次性域自适应。在不花费太多精力标记的情况下，我们的SSG ++可以在SSG上分别进一步促进mAP 10.7%和6.9%。我们的代码可在：https://github.com/OasisYang/SSG.
2019-09-24 cs.AI cs.CV stat.ML
DMTG: One-Shot Differentiable Multi-Task Grouping
School of EI, Wuhan University（武汉大学电子信息学院）；School of CS, Wuhan University（武汉大学计算机学院）；Tencent Youtu Lab（腾讯优图实验室）；School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）
本文提出 DMTG，将多任务分组建模为基于 Categorical 分布的可微剪枝问题，一次性联合完成任务分组与权重训练，并在 CelebA、Taskonomy 上验证了性能与效率。
2024-07-06 cs.AI cs.CV cs.LG
Instance-level Human Parsing via Part Grouping Network
Sun Yat-sen University（中山大学）；SenseTime Group (Limited)（商汤集团有限公司）；CVTE Research（视源研究院）
由于缺乏足够的数据资源和在一次通过中解析多个实例的技术困难，面向真实世界人类分析场景的实例级人类解析仍然未被充分探索。几个相关的工作都遵循“检测解析”管道，严重依赖于单独训练的检测模型来定位实例，然后依次对每个实例执行人工解析。然而，检测和解析这两个不一致的优化目标导致了次优的表示学习和最终结果的错误累积。在这项工作中，我们第一次尝试探索一种无检测的部分神经网络（PGN），用于在一次通过中有效地解析图像中的多个人。我们的PGN将实例级人类解析重新制定为两个孪生子任务，可以通过统一的网络共同学习和相互细化：1）语义部分分割，用于将每个像素分配为人类部分（例如，面部、手臂）; 2）实例感知边缘检测，以将语义部分分组为不同的人实例。因此，共享的中间表示将被赋予表征细粒度部分和推断每个部分的实例属性的能力。最后，一个简单的实例划分过程中得到的推理最终结果。我们在PASCAL-Person-Part数据集上进行了实验，我们的PGN优于所有最先进的方法。此外，我们在一个新收集的多人解析数据集（CIHP）上展示了它的优越性，该数据集包括38，280张不同的图像，这是迄今为止最大的数据集，可以促进更高级的人类分析。CIHP基准测试和我们的源代码可以在http://sysu-hcp.net/lip/上获得。
2018-08-01 cs.CV
FCPose: Fully Convolutional Multi-Person Pose Estimation with Dynamic Instance-Aware Convolutions
The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
我们提出了一个完全卷积的多人姿态估计框架，使用动态实例感知卷积，称为FCPose。与通常需要ROI（感兴趣区域）操作和/或分组后处理的现有方法不同，FCPose消除了ROI和具有动态实例感知关键点估计头的分组后处理。动态关键点头部以每个实例（人）为条件，并且可以在其过滤器的动态生成的权重中对实例概念进行编码。此外，凭借动态卷积的强大表示能力，FCPose中的关键点头部被设计得非常紧凑，从而实现快速推理，并使FCPose无论图像中的人数如何都具有几乎恒定的推理时间。例如，在COCO数据集上，使用DLA-34主干的FCPose实时版本的推断速度比Mask R-CNN（ResNet-101）快约4.5倍（41.67 FPS vs. 9.26FPS），同时实现了更高的性能。FCPose还提供了比其他最先进的方法更好的速度/精度权衡。我们的实验结果表明，FCPose是一个简单而有效的多人姿态估计框架。代码可在：https://git.io/AdelaiDet
2021-05-29 cs.CV
Personalized 4D Whole-Heart Mesh Reconstruction from Cine MRI via Multi-Scale Temporal Modeling and Differentiable Contour Rendering
Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系）；School of Automation, Southeast University（东南大学自动化学院）；Department of Medicine, National University of Singapore（新加坡国立大学医学系）；Department of Cardiology, National University Heart Centre Singapore（新加坡国立大学心脏中心心脏病学系）
提出端到端框架，从稀疏电影MRI重建4D全心网格，利用可微分轮廓渲染和多尺度时间建模，实现低误差（1.68 mm）和高运动平滑度。
2026-07-03 cs.CV
Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Zhejiang Sci-Tech University（浙江理工大学）；Chinese Academy of Sciences（中国科学院）
我们重新思考了一个众所周知的自自底向上的【形】的多人姿态估计方法，并提出了一个改进的。改进后的方法大大超过了基线，这要归功于（1）一个直观但更合理的表示，我们称之为身体部位来编码关键点之间的连接信息，（2）一个改进的具有注意力机制的堆叠沙漏网络，（3）一个新的焦点L2损失，它专用于硬关键点和关键点关联（身体部分）挖掘，以及（4）用于将检测到的关键点分组为各个姿势的鲁棒贪婪关键点分配算法。我们的方法不仅工作简单，而且在平均精度上比基线高出约15%，并且与MS-COCO测试开发数据集上的最新技术水平相当。代码和预训练模型可在网上公开获取。
2019-11-24 cs.CV
Single-shot 3D multi-person pose estimation in complex images
CEA LIST（法国原子能与替代能源委员会信息技术与系统实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）
本文提出了一种新的Single Shot方法，用于复杂图像中多人三维人体姿态估计。该模型共同学习定位图像中的人体关节，估计其3D坐标并将这些预测分组为完整的人体骨架。所提出的方法处理可变数量的人，并且不需要边界框来估计3D姿态。它利用并扩展了堆叠沙漏网络及其多尺度特征学习，以管理多人情况。因此，我们利用一个强大的3D人体姿势制定充分描述几个3D人体姿势，即使在强遮挡或作物的情况下。然后，使用关联嵌入方法对任意数量的人进行联合分组和人体姿态估计。我们的方法在具有挑战性的CMU Panoptic和MuPoTS-3D数据集上以前的Single Shot方法上显着优于现有技术。此外，它导致了良好的结果，从新提出的JTA数据集的复杂和合成图像。
2021-01-07 cs.CV
DirectPose: Direct End-to-End Multi-Person Pose Estimation
The University of Adelaide（阿德莱德大学）
我们提出了第一个直接端到端的多人姿态估计框架，称为DirectPose。受最近的无锚对象检测器的启发，该检测器直接回归目标边界框的两个角，所提出的框架直接从原始输入图像中预测所有实例的实例感知关键点，从而消除了自下而上方法中的启发式分组或自上而下方法中的边界框检测和ROI操作的需要。我们还提出了一种新的关键点对齐（KPAlign）机制，它克服了主要困难：在这个端到端框架中，卷积特征和预测之间缺乏对齐。KPAlign大幅提高了框架的性能，同时仍然保持框架的端到端可训练性。只有后处理非最大抑制（NMS），我们提出的框架可以检测多人的关键点，或没有边界框在一个Single Shot。实验表明，端到端的范例可以实现竞争力或更好的性能比以前的强基线，在自底向上和自顶向下的方法。我们希望我们的端到端的方法可以提供一个新的视角，人类姿态估计任务。
2019-11-24 cs.CV
Pose-guided Inter- and Intra-part Relational Transformer for Occluded Person Re-Identification
State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University（北京航空航天大学计算机学院虚拟现实技术与系统国家重点实验室）；Peng Cheng Laboratory（鹏城实验室）
由于行人可能被部分遮挡，因此遮挡场景下的人员重新识别（Re-Id）是一个具有挑战性的问题。利用局部信息进行特征提取和匹配仍然是必要的。因此，我们提出了一个姿势引导的内部和内部的关系Transformer（Pirt）闭塞的人Re-Id，建立部分意识到的长期相关性，通过引入Transformers。在我们的框架中，我们首先开发了一个姿势引导的特征提取模块，区域分组和面具建设鲁棒的特征表示。监控场景下行人在图像中的位置相对固定，因此我们提出了一种部分内和部分间的关系Transformer。部件内模块创建与掩模引导特征的局部关系，而部件间关系建立与Transformers的相关性，以开发部件节点之间的交叉关系。通过协作学习部分间和部分内关系，实验表明，我们提出的Pirt模型在公共遮挡数据集上达到了新的技术水平，并且在标准非遮挡人Re-Id数据集上的进一步扩展也显示了我们的可比性能。
2021-09-08 cs.CV
Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation
Video Analytics Lab, Indian Institute of Science（印度科学理工学院视频分析实验室）
我们提出了一个部署友好，快速自下而上的框架多人三维人体姿态估计。我们采用了一种新的神经表示的多人的3D姿态，其统一的人的实例与其相应的3D姿态表示的位置。这是通过学习生成姿态嵌入来实现的，生成姿态嵌入不仅确保了合理的3D姿态预测，而且还消除了先前自下而上方法中采用的通常的关键点分组操作。此外，我们提出了一个实际的部署范例，配对的2D或3D姿态注释不可用。在没有任何配对监督的情况下，我们利用冻结网络作为教师模型，该模型在多人2D姿态估计的辅助任务上进行训练。我们将学习视为一个跨模态对齐问题，并提出了实现两种不同模态之间共享潜在空间的训练目标。我们的目标是通过使用人工合成的多人3D场景样本丰富潜在的3D姿势映射来增强模型的能力，从而超越限制教师网络。我们的方法不仅推广到野外的图像，而且还产生了一个优越的速度和性能之间的权衡，相比以前的自上而下的方法。我们的方法也产生了国家的最先进的多人3D姿态估计性能之间的自下而上的方法一致的监督水平。
2020-08-04 cs.CV
A Greedy Part Assignment Algorithm for Real-time Multi-person 2D Pose Estimation
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
多人图像中的人体姿态估计涉及检测各种身体部位并将其分组为单独的人簇。虽然前一个任务是具有挑战性的，由于相互闭塞，后者的任务的组合复杂性是非常高的。我们提出了一个贪婪的部分分配算法，利用人体的固有结构，以实现较低的复杂性，相比任何先前发表的作品。这是通过以下方式实现的：（i）使用图像中的人的估计数量来减少部分候选者的数量，（ii）遵循从头部到脚踝的运动链来进行部分类的贪婪顺序分配，（iii）进行每个部分类集合中的部分的贪婪分配，（iv）使用人体测量数据将候选人聚类限制到最接近的聚类，以及（v）仅使用预聚类的特定子集，用于建立成对结构约束的指定零件。我们表明，这些步骤导致稀疏的身体部位关系图，降低了复杂性。我们还提出了提高姿势估计准确性的方法，方法是（i）从任何未分配的重要身体部位产生人物集群，以及（ii）抑制幻觉部位。在MPII多人姿态数据库上，使用所提出的方法进行姿态估计每幅图像仅需0.14秒。我们表明，我们提出的算法，通过使用一个大的空间和结构的背景下，实现了最先进的MPII和WAF多人姿势数据集的准确性，证明了我们的方法的鲁棒性。
2017-08-30 cs.CV
Multi-concept Model Immunization through Differentiable Model Merging
Purdue University（普渡大学）
针对开源模型需抵御多个有害概念的现实需求，提出一种多概念免疫算法，通过引入可微合并层组合多概念适应权重以学习单一困难初始化，有效防止模型被微调用于有害应用。
2024-12-19 cs.CV
Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks
National University of Singapore（新加坡国立大学）；Tencent Game AI Research Center（腾讯游戏AI研究中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
在单目视频三维多人姿态估计中，人与人之间的遮挡和紧密交互会导致人体检测错误和人体关节分组不可靠。现有的自上而下的方法依赖于人类检测，因此存在这些问题。现有的自自底向上的【形】的方法不使用人的检测，但他们一次处理所有的人在同一规模，使他们敏感的多人规模的变化。为了应对这些挑战，我们建议整合自上而下和自自底向上的【形】的方法，以利用它们的优势。我们自上而下的网络从所有人而不是图像补丁中的一个人估计人体关节，使其对可能的错误边界框具有鲁棒性。我们自自底向上的【形】的网络结合了基于人体检测的归一化热图，使网络在处理尺度变化方面更加稳健。最后，从自上而下和自自底向上的【形】的网络估计的3D姿态被馈送到我们的集成网络中，以获得最终的3D姿态。除了自上而下和自自底向上的【形】的网络的集成，不像现有的姿势判别器，只为一个人设计，因此不能评估自然的人与人之间的互动，我们提出了一个两个人的姿势判别器，执行自然的两个人的互动。最后，我们还应用半监督方法来克服3D地面实况数据的稀缺性。我们的定量和定性评估显示了我们的方法与最先进的基线相比的有效性。
2021-04-07 cs.CV
A Global to Local Double Embedding Method for Multi-person Pose Estimation
Yingcai Honors College, University of Electronic Science and Technology of China（电子科技大学英才学院）；School of Aerospace Engineering, Beijing Institute of Technology（北京理工大学宇航学院）；School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Department of Automatic Control and Systems Engineering, University of Sheffield（谢菲尔德大学自动控制与系统工程系）
多人姿态估计是计算机视觉中一个基本而又具有挑战性的问题。大多数现有的方法可以大致分为两类：自顶向下和自底向上方法。这两类方法都涉及两个阶段，即人检测和关节检测。传统上，这两个阶段是单独实现的，而没有考虑它们之间的相互作用，这可能不可避免地导致一些内在的问题。在本文中，我们提出了一种新的方法来简化管道，同时实现人检测和关节检测。我们提出了一种双嵌入（DE）方法来完成多人的姿态估计任务，在一个全球到本地的方式。DE包括全局嵌入（GE）和局部嵌入（LE）。GE编码不同的人的实例和处理的信息覆盖整个图像和LE编码的局部肢体信息。自上而下策略中，GE负责人体检测;自下而上策略中，LE依次连接其余关节，负责关节分组和信息处理。在LE的基础上，我们设计了相互精炼机（MRM），以降低复杂场景下的预测难度。MRM可以有效地实现关键点之间的信息交流，进一步提高精度。在MSCOCO、MPII和CrowdPose三个测试平台上取得了较好的实验结果，证明了该方法的有效性和推广能力。
2021-10-17 cs.CV
ArtTrack: Articulated Multi-person Tracking in the Wild
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
在本文中，我们提出了一种方法，在不受约束的视频多人的关节式跟踪。我们的出发点是一个类似于现有单帧姿态估计架构的模型，但速度要快得多。我们通过两种方式实现这一点：（1）通过简化和稀疏化身体部位关系图，并利用最新的方法进行更快的推理，以及（2）通过将大量计算分担到前馈卷积架构上，该架构即使在混乱中也能够检测和关联同一个人的身体关节。我们使用这个模型来生成身体关节位置的建议，并制定了这样的建议的时空分组铰接跟踪。这允许通过时间传播来自强检测的证据并强制每个建议只能分配给一个人的约束来联合解决场景中所有人的关联问题。我们报告了一个公共MPII人体姿势基准测试和一个新的MPII视频姿势图像序列数据集与多个人的结果。我们证明了我们的模型在仅使用一小部分时间的情况下实现了最先进的结果，并且能够利用时间信息来提高拥挤场景的最先进水平。
2017-05-09 cs.CV
AdaptivePose++: A Powerful Single-Stage Network for Multi-Person Pose Regression
Beijing University of Posts and Telecommunications（北京邮电大学）；OPPO Research Institute（OPPO研究院）；ByteDance Inc.（字节跳动公司）；Sea AI Lab（Sea人工智能实验室）；Institute of North Electronic Equipment（北方电子设备研究所）；Peng Cheng Laboratory（鹏城实验室）
多人姿态估计通常遵循自上而下和自下而上的范例。这两种方法都需要额外的阶段（自顶向下的$\boldsymbol{e.g.,}$人体检测或自底向上的分组过程）来建立人体实例与相应关键点之间的关系，从而导致高计算成本和冗余的两阶段流水线。为了解决上述问题，我们建议表示人体部位的自适应点，并介绍了一种细粒度的身体表示方法。新的身体表示能够充分编码不同的姿势信息，并在单次向前传递中有效地建模人类实例和对应的关键点之间的关系。通过提出的身体表示，我们进一步提供了一个紧凑的单阶段多人姿势回归网络，称为AdaptivePose。在推理过程中，我们提出的网络只需要一个单步解码操作来形成多人姿势，而无需复杂的后处理和改进。我们采用AdaptivePose的2D/3D多人姿态估计任务，以验证AdaptivePose的有效性。没有任何花哨的东西，我们在准确性和速度方面在MS COCO和CrowdPose上实现了最具竞争力的性能。此外，在MuCo-3DHP和MuPoTS-3D上的出色表现进一步证明了3D场景的有效性和通用性。代码可在https://github.com/buptxyb666/AdaptivePose上获得。
2022-10-08 cs.CV
SkelSplat: Robust Multi-view 3D Human Pose Estimation with Differentiable Gaussian Rendering
University of Padova（帕多瓦大学）；University of Amsterdam（阿姆斯特丹大学）
SkelSplat通过可微高斯渲染实现多视角3D人体姿态估计，无需3D真实数据监督，有效提升跨数据集泛化能力与遮挡鲁棒性。
2025-12-02 cs.CV
Deep Spatial Transformation for Pose-Guided Person Image Generation and Animation
Peking University（北京大学）；Tencent America（腾讯美国）
姿态引导的人物图像生成和动画旨在将源人物图像转换为目标姿态。这些任务需要对源数据进行空间操作。然而，卷积神经网络受到缺乏空间变换输入的能力的限制。在本文中，我们提出了一个可区分的全球流本地注意框架，重新组装的输入在功能级别。该框架首先估计源和目标之间的全局流场。然后，相应的本地源特征块与内容感知的局部注意系数进行采样。我们表明，我们的框架可以在空间上转换的输入，在一个有效的方式。同时，我们进一步建模的时间一致性的人的图像动画任务生成连贯的视频。图像生成和动画任务的实验结果证明了该模型的优越性。此外，新的视图合成和人脸图像动画的额外结果表明，我们的模型是适用于其他需要空间变换的任务。我们项目的源代码可以在https://github.com/RenYurui/Global-Flow-Local-Attention上找到。
2020-08-27 cs.CV
Social-MAE: Social Masked Autoencoder for Multi-person Motion Representation Learning
The University of Adelaide（阿德莱德大学）；Mohammad Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）
本文提出基于 transformer 的 Social-MAE 掩码自编码器，通过频域多人关节轨迹重建预训练运动表征，并在多个 2D/3D 数据集的社交任务上达到最优。
2024-04-08 cs.CV
A Deep Structure of Person Re-Identification using Multi-Level Gaussian Models
Delhi Technological University（德里理工大学）
人员身份识别在司法鉴定、安全监控等领域有着广泛的应用，但在现实生活中，人员身份识别是一项具有挑战性的任务。因此，在这项工作中，已经提出了一个新的特征描述符模型，使用多层框架的高斯分布模型的像素特征，其中包括颜色矩，颜色空间值和施密德滤波器响应。一个人的图像通常由不同的身体区域组成，通常具有可区分的服装，然后是局部颜色和纹理图案。因此，通过将图像划分为重叠区域来局部地评估图像。每个区域被进一步分割成一组小块上的局部高斯。一个全局高斯编码，这些局部高斯为每个区域创建一个多级结构。因此，一个人的全局图像是由其中存在的局部信息描述的，这通常被忽略。此外，我们已经分析了早期的度量学习方法在这个描述符上的效率。描述符的性能进行了评估，在四个公共可用的具有挑战性的数据集上，这些数据集上实现的最高精度与类似的国家的最先进的，这表明了优越的性能进行了比较。
2018-05-20 cs.CV
AdaptivePose: Human Parts as Adaptive Points
Beijing University of Posts and Telecommunications（北京邮电大学）；ByteDance Inc.（字节跳动）；Tsinghua University（清华大学）；Horizon Robotics（地平线机器人）
多人姿态估计方法一般采用自顶向下和自底向上两种方法，这两种方法都是两阶段的，计算量大，效率低。针对多人姿态估计任务的紧凑和高效的流水线，在本文中，我们提出了将人体部位表示为点，并提出了一种新的身体表示，该身体表示利用包括人体中心和七个人体部位相关点的自适应点集以更细粒度的方式表示人体实例。新的表示更能够捕捉各种姿势变形，并自适应地分解长距离中心到关节的位移，从而提供一个单级可微网络来更精确地回归多人姿势，称为AdaptivePose。对于推理，我们提出的网络消除了分组和细化，只需要一个单步解纠缠过程来形成多人姿势。在没有任何额外功能的情况下，我们在COCO测试开发数据集上实现了最佳的速度-准确性权衡，DLA-34为67.4% AP / 29.4 fps，HRNet-W 48为71.3% AP / 9.1 fps。
2021-12-27 cs.CV
Deep Differentiable Random Forests for Age Estimation
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai University（上海大学）；Nankai University（南开大学）；Vector Institute（矢量研究所）；University Health Network（大学健康网络）
由于衰老是一个渐进的过程，因此从人脸图像中估计年龄通常被视为标签分布学习或回归问题。它的主要挑战是面部特征空间w.r.t.年龄是不均匀的，这是由于相同年龄的不同人之间的面部外观的大的变化以及老化的非平稳特性。在本文中，我们提出了两种深度可微随机森林方法，深度标签分布学习森林（DLDLF）和深度回归森林（DRF），用于年龄估计。它们都将分裂节点连接到卷积神经网络（CNN）的顶层，并通过联合学习分裂节点处的输入相关数据分区和叶节点处的年龄分布来处理非均匀数据。这种联合学习遵循交替策略：（1）固定叶节点并通过反向传播优化分裂节点和CNN参数;（2）固定分裂节点并通过变分边界优化叶节点。两个确定性退火过程中引入的分裂和叶节点的学习，分别，以避免不良的局部最优解，并获得更好的估计树参数的初始值。实验结果表明，DLDLF和DRF在三个年龄估计数据集上实现了最先进的性能。
2019-08-22 cs.CV
Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification
UC San Diego（加州大学圣地亚哥分校）；IBM Research（IBM研究院）；Binghamton Univeristy, SUNY（纽约州立大学宾汉姆顿大学）
多任务学习旨在通过适当地共享多个预测任务之间的相关信息来提高多个预测任务的泛化性能。在深度神经网络的背景下，这个想法通常是通过手工设计的网络架构来实现的，这些网络架构具有跨任务共享的层和对特定于任务的特征进行编码的分支。然而，可能的多任务深度架构的空间在组合上是大的，并且通常通过受设计者的偏见影响的对该空间的手动探索来达到最终架构，这可能既容易出错又繁琐。在这项工作中，我们提出了一个原则性的方法来设计紧凑的多任务深度学习架构。我们的方法从一个瘦网络开始，并在训练过程中使用一种新的标准以贪婪的方式动态地扩展它，该标准促进了将类似任务分组在一起。我们对涉及面部和服装属性的人属性分类任务的广泛评估表明，所提出的方法产生的模型快速，紧凑，并且可以通过更昂贵的模型从强基线接近或超过最先进的准确性。
2016-11-16 cs.CV cs.LG
Attend to Who You Are: Supervising Self-Attention for Keypoint Detection and Instance-Aware Association
MEGVII Technology（旷视科技）；Nreal；Tsinghua University（清华大学）；Meituan（美团）；Southeast University（东南大学）
提出了一种利用Transformer解决关键点检测和实例关联的新方法。对于自底向上的多人姿态估计模型，它们需要检测关键点并学习关键点之间的关联信息。我们认为，这些问题可以完全解决的Transformer。具体而言，Transformer中的自注意力测量任何位置对之间的依赖性，这可以为关键点分组提供关联信息。然而，朴素注意模式仍然没有被主观地控制，因此不能保证关键点总是关注它们所属的实例。为了解决这个问题，我们提出了一种新的方法，监督自我注意力的多人关键点检测和实例关联。通过使用实例掩码来监督自我注意是实例感知的，我们可以基于成对注意力分数将检测到的关键点分配给其对应的实例，而无需使用预定义的偏移向量场或嵌入，如基于CNN的自底向上模型。我们的方法的另一个好处是，任何数量的人的实例分割结果可以直接从监督注意力矩阵中获得，从而简化了像素分配管道。COCO多人关键点检测挑战和人实例分割任务的实验证明了该方法的有效性和简单性，并显示了一种有前途的方法来控制自我注意行为的特定目的。
2021-11-25 cs.CV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum（米德尔医疗中心人工智能中心）；University of Twente（特文特大学）
本文提出利用可微摄像机投影，通过3D损失端到端训练2D CNN，直接优化多视角手术室视频中的3D人体姿态估计，在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
Self-supervised One-Stage Learning for RF-based Multi-Person Pose Estimation
Vueron Technology（维尔恩技术）；Sungkyunkwan University（全南大学）
本文提出一种基于原始射频信号的轻量级单阶段多人姿态估计模型，通过子分组信号、共享单层CNN与多头注意力实现高效嵌入，并引入自监督学习方法提升模型在新位置和遮挡场景下的泛化能力，在PCKh@0.5上最高提升15%。
2025-06-05 cs.CV
SelfPose3d: Self-Supervised Multi-Person Multi-View 3d Pose Estimation
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
SelfPose3d 提出一种仅依赖多视角图像和二维伪姿态的自监督多人三维姿态估计方法，通过自监督三维定位、可微分渲染和自适应监督注意力机制，在多个基准上达到与全监督方法相当的性能。
2024-06-08 cs.CV
Deep Image Spatial Transformation for Person Image Generation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院）
姿态引导的人物图像生成是将源人物图像变换为目标姿态。此任务需要对源数据进行空间操作。然而，卷积神经网络受到缺乏空间变换输入的能力的限制。在本文中，我们提出了一个可区分的全球流本地注意框架，重新组装的输入在功能级别。具体来说，我们的模型首先计算源和目标之间的全局相关性来预测流场。然后，从特征图中提取流动的局部补丁对以计算局部注意系数。最后，我们扭曲的源功能使用内容感知的采样方法与获得的局部注意力系数。主观和客观实验结果都证明了该模型的优越性。此外，在视频动画和视图合成的额外的结果表明，我们的模型是适用于其他需要空间变换的任务。我们的源代码可在https://github.com/RenYurui/Global-Flow-Local-Attention上获得。
2020-03-18 cs.AI cs.CV
YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss
Texas Instruments Inc（德州仪器公司）
我们介绍了YOLO姿态，一种新的热图的联合检测方法，并在流行的YOLO目标检测框架的基础上，在图像中的2D多人姿态估计。现有的基于热图的两阶段方法是次优的，因为它们不是端到端可训练的，并且训练依赖于替代L1损失，这不等同于最大化评估度量，即对象关键点相似性（OKS）。我们的框架允许我们端到端地训练模型并优化OKS指标本身。所提出的模型学习在单个向前传递中联合检测多个人及其相应的2D姿势的边界框，从而实现自上而下和自下而上方法的最佳效果。所提出的方法不需要自下而上方法的后处理来将检测到的关键点分组到骨架中，因为每个限界框具有相关联的姿势，从而导致关键点的固有分组。与自上而下的方法不同，多个向前传递被取消，因为所有人都在单个推理中与他们的姿势一起被定位。YOLO-pose在COCO验证（90.2%AP50）和测试开发集（90.3%AP50）上取得了最新的结果，在没有翻转测试、多尺度测试或任何其他测试时间增加的情况下，在单次向前传递中超越了所有现有的自下而上方法。本文中报告的所有实验和结果都没有任何测试时间增加，这与使用翻转测试和多尺度测试来提高性能的传统方法不同。我们的培训代码将在https://github.com/TexasInstruments/edgeai-yolov5和https://github.com/TexasInstruments/edgeai-yolox上公开提供
2022-04-14 cs.AI cs.CV cs.LG
Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；Didi Chuxing（滴滴出行）
人体姿态估计的目标是从图像中确定每个人的身体部位或关节位置。这是一个具有广泛应用的挑战性问题。针对这一问题，提出了一种带有注意力部分模块和可微自动数据增强的增强平行金字塔网。在技术上，提出了一种并行金字塔结构来补偿信息的丢失。采用并联结构进行反向补偿。同时，总体计算复杂性没有增加。我们进一步定义了一个注意力部分模块（APM）算子，从并行金字塔结构生成的不同尺度的特征映射中提取加权特征。与通过上采样算子进行细化相比，APM能更好地捕捉通道之间的关系。最后，我们提出了一种可微的自动数据增强方法，以进一步提高估计精度。我们定义了一个新的姿势搜索空间，其中数据增强序列被公式化为可训练和可操作的CNN组件。实验证实了我们所提出的方法的有效性。值得注意的是，我们的方法在具有挑战性的COCO关键点基准测试和MPII数据集上的最新结果上达到了顶级精度。
2020-03-17 cs.CV
JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics
Monash University（莫纳什大学）；Sharif University（沙里夫大学）
JRDB-Pose3D数据集通过移动机器人平台捕捉多人群的室内外环境，提供丰富的3D人体姿态和形状注释，用于机器人感知和人机交互等应用。
2026-02-03 cs.AI cs.CV
End-to-End Multi-Person Audio/Visual Automatic Speech Recognition
Google Inc.（谷歌公司）
传统上，视听自动语音识别一直是在假设视觉信号上的说话人脸是与音频匹配的人脸的情况下进行研究的。然而，在更现实的设置中，当多个面部潜在地在屏幕上时，需要决定将哪个面部馈送到A/V ASR系统。目前的工作将A/V ASR的最新进展更进一步，并考虑多人同时在屏幕上的场景（多人A/V ASR）。我们提出了一个完全可区分的A/V ASR模型，该模型能够处理视频中的多个人脸轨迹。而不是依赖于两个单独的模型的扬声器面部选择和视听ASR在一个单一的面部轨道，我们引入了一个注意层的ASR编码器，能够软选择适当的面部视频轨道。在超过30 k小时的YouTube视频上训练的A/V系统上进行的实验表明，与说话面部的Oracle选择相比，所提出的方法可以自动选择适当的面部轨迹，并且具有较小的WER降级，同时仍然显示出采用视觉信号而不是单独使用音频的好处。
2022-05-11 cs.CV cs.LG cs.SD
Dynamic Surface Function Networks for Clothed Human Bodies
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems, Tübingen（蒂宾根马克斯·普朗克智能系统研究所）
我们提出了一种新的方法，时间相干重建和跟踪的衣服的人。给定一个单目RGB-D序列，我们学习一个基于动态表面函数网络的特定于人的身体模型。为此，我们明确地使用多层感知器（MLP），它被嵌入到SMPL身体模型的规范空间的人的表面建模。通过经典的前向渲染，可以使用模板网格的拓扑来光栅化所表示的表面。对于模板网格的每个表面点，评估MLP以预测实际表面位置。为了处理姿势相关的变形，MLP以SMPL姿势参数为条件。我们表明，这种表面表示以及姿态参数可以学习的自我监督的方式使用的原则，分析合成和可微光栅化。结果，我们能够从输入数据重建时间相干的网格序列。底层表面表示可以用于合成重建的人的新动画，包括姿势相关的变形。
2021-08-12 cs.CV cs.GR
A Closer Look at Audio-Visual Multi-Person Speech Recognition and Active Speaker Selection
Google（谷歌）
视听自动语音识别是一种在噪声条件下鲁棒的语音识别方法。然而，直到最近，它一直被传统地孤立地研究，假设单个说话面部的视频与音频匹配，并且当多个人在屏幕上时，在推理时选择活动的说话者被作为一个单独的问题放在一边。作为一种替代方案，最近的工作提出了同时解决这两个问题的注意力机制，烘烤扬声器选择问题直接进入一个完全可微的模型。一个有趣的发现是，注意力间接地学习了音频和说话面部之间的关联，尽管这种对应关系在训练时从未明确提供。在目前的工作中，我们进一步调查这种联系，并检查这两个问题之间的相互作用。通过涉及超过5万小时的公共YouTube视频作为训练数据的实验，我们首先评估了注意力层在主动说话人选择任务中的准确性。其次，我们在更仔细的审查下表明，端到端模型的性能至少与一个相当大的两步系统一样好，该系统在各种噪声条件和平行人脸轨迹数量下利用硬决策边界。
2022-05-11 cs.CV cs.LG cs.SD
