The Devil is in the Pose: Ambiguity-free 3D Rotation-invariant Learning via Pose-aware Convolution
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
旋转不变(RI)3D深度学习方法遭受性能降级,因为它们通常将RI表示设计为与3D坐标相比丢失关键全局信息的输入。大多数最先进的解决方案都是通过以繁重和无效的方式产生额外的块或复杂的全局表示来解决这个问题。在本文中,我们揭示了全局信息丢失源于一个未探索的姿势信息丢失问题,这个问题可以更有效地解决,因为我们只需要在每一层中恢复更轻量级的局部姿势,并且全局信息可以在深度网络中分层聚合,而无需额外的努力。为了解决这个问题,我们开发了一种姿态感知旋转不变卷积(即,PaRI-Conv),其基于相对姿态动态地调整其内核。为了实现它,我们提出了一个增强的点对特征(APPF)完全编码的RI相对姿态信息,和一个因式分解的动态内核姿态感知内核生成,它可以进一步减少计算成本和内存负担,通过将内核分解成一个共享的基础矩阵和姿态感知对角矩阵。形状分类和部分分割任务的大量实验表明,我们的PaRI-Conv超越了国家的最先进的RI方法,同时更紧凑,更有效。
2022-05-30 cs.CV
PoseTraj: Pose-Aware Trajectory Control in Video Diffusion
University of Edinburgh(爱丁堡大学);Nanyang Technological University(南洋理工大学)
针对现有轨迹引导视频生成模型3D理解不足、难生成大角度旋转下6D姿态变化物体运动的问题,提出PoseTraj模型与两阶段预训练框架,通过合成数据集与3D边界框监督等提升性能,在姿态对齐与质量上优于基线。
2025-03-20 cs.CV
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
虽然最近在3D人体姿态估计方面取得了显着的改进,但大多数先前的方法仅处理单人情况。在这项工作中,我们首先提出了一个完全基于学习的,相机距离感知自顶向下的方法,从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测,绝对三维人体根定位,根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果,而无需任何地面实况信息,并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
Pose-Aware Person Recognition
CVIT, IIIT Hyderabad(海得拉巴国际信息技术学院 CVIT);Facebook AI Research(Facebook 人工智能研究院)
使用多个身体区域的人识别方法已经显示出比传统的基于面部的识别显著的改进。全身人物识别的主要挑战之一是姿势和视角的极端变化。在这项工作中,(i)我们提出了一种方法,该方法利用在特定姿势上训练的多个模型来处理姿势变化,并在测试期间使用姿势感知权重进行组合。(ii)为了学习一个人的表示,我们提出了一个网络,联合优化多个身体区域的单一损失。(iii)最后,我们引入了新的基准来评估不同场景下的人识别,并在所有基准上(包括PIPA的相册设置)显示了比以前提出的方法的显着改进。
2017-05-29 cs.CV
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
The University of Adelaide(阿德莱德大学);Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学)
对于单目图像中的人体姿态估计,人体上的关节遮挡和重叠通常会导致姿态预测的偏差。在这些情况下,可能会产生生物学上难以置信的姿势预测。相比之下,人类视觉能够通过利用关节互连的几何约束来预测姿势。为了通过结合人体结构的先验知识来解决这个问题,我们提出了一种新的结构感知卷积网络,以便在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反,我们设计了判别器来区分真实的姿势和虚假的姿势(比如生物学上不可信的姿势)。如果姿态生成器(G)生成的结果无法与真实结果区分开来,则网络成功地学习了先验知识。
2017-05-02 cs.CV
Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data
Northeastern University(东北大学)
推理模型的最终目标是在实际应用中具有鲁棒性和功能性。然而,训练与测试数据域差距往往会对模型性能产生负面影响。这个问题对于单目3D人体姿态估计问题尤其重要,其中3D人体数据通常在受控的实验室设置中收集。在本文中,我们专注于减轻域转移的负面影响,在外观和姿态空间的三维人体姿态估计提出我们的适应人体姿态(AHuP)的方法。AHuP建立在两个关键组件上:(1)用于跨域特征空间自适应的语义感知自适应(SAA),以及(2)用于姿态空间自适应的骨架姿态自适应(SPA),其仅从目标域获取有限的信息。通过使用零真实3D人体姿势数据,我们的一个自适应合成模型显示出与使用大规模真实3D人体数据集训练的SOTA姿势估计模型相当的性能。所提出的SPA也可以独立地作为一个轻量级的头,以改善现有的SOTA模型在一个新的上下文中。一个新的基于3D扫描的合成人类数据集ScanAva+也将与这项工作一起公开发布。
2022-01-22 cs.CV
Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose
Seoul National University(首尔大学)
大多数最近的基于深度学习的3D人体姿态和网格估计方法从输入图像回归人体网格模型(诸如SMPL和MANO)的姿态和形状参数。这些方法的第一个弱点是外观域间隙问题,这是由于来自受控环境(例如实验室)的训练数据与来自野外环境的测试数据之间的不同图像外观。第二个弱点是,由于3D旋转的表示问题,姿态参数的估计是相当具有挑战性的。为了克服上述弱点,我们提出了Pose2Mesh,这是一种新的基于图卷积神经网络(GraphCNN)的系统,它直接从2D人体姿势估计人体网格顶点的3D坐标。作为输入的2D人体姿势提供基本的人体关节信息,同时在两个域之间具有相对均匀的几何特性。此外,所提出的系统避免了表示问题,同时以粗到细的方式使用GraphCNN充分利用网格拓扑。我们证明了我们的Pose2Mesh在各种基准数据集上的性能优于以前的3D人体姿势和网格估计方法。有关代码,请参见https://github.com/hongsukchoi/Pose2Mesh_RELEASE。
2021-04-27 cs.CV
Unsupervised Pose-Aware Part Decomposition for 3D Articulated Objects
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
铰接物体广泛存在于现实世界中。然而,以前的3D生成方法无监督的部分分解是不适合这样的对象,因为它们假设一个空间固定的部分位置,导致不一致的部分解析。在本文中,我们提出了PPD(无监督的姿势感知部分分解),以解决一个新的设置,明确针对人造关节与机械关节的对象,考虑部分构成。我们发现,类别共同的先验学习的部分形状和姿势促进无监督学习(1)部分分解与非基元为基础的隐式表示,和(2)部分构成下的单帧形状监督联合参数。我们评估我们的方法在合成和真实的数据集,我们表明,它优于以前的作品在一致的部分解析的铰接对象的基础上可比的部分姿态估计性能的监督基线。
2021-10-08 cs.CV
ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University(首尔国立大学);Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF,去除对真实相机姿态的依赖,有效捕捉复杂3D场景结构,在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
Human Pose Estimation using Motion Priors and Ensemble Models
Toyota Technological Institute(丰田工业大学)
图像和视频中的人体姿态估计是用于实现各种人体活动识别任务(例如,人机交互、手势识别、监视和视频摘要)。本文提出了两种类型的人体姿态估计方法:1)三维人体姿态跟踪运动先验和2)二维人体姿态估计集成建模。
2019-01-26 cs.CV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University(九州大学);Osaka University(大阪大学);Microsoft Corp(微软公司)
我们提出了一个新的2D姿态细化网络,学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获(MoCap)系统定义的那些注释之间的差异,2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集,并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态,实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Scene-aware Human Pose Generation using Transformer
Shanghai Jiao Tong University(上海交通大学)
本文提出基于Transformer的场景感知人体姿态生成方法,将查询嵌入与姿态模板关联并预测其尺度和偏移量,结合知识蒸馏优化学习,在Sitcom数据集上验证了有效性。
2023-08-04 cs.CV
Pose Embeddings: A Deep Architecture for Learning to Match Human Poses
Simon Fraser University(西蒙弗雷泽大学);Google Inc.(谷歌公司)
我们提出了一种学习嵌入的方法,该方法将人类的图像以相似的姿势放置在附近。这种嵌入可以用作基于人体姿势比较图像的直接方法,避免了估计身体关节位置的潜在挑战。姿态嵌入学习是在基于三元组的距离准则下制定的。深度架构用于允许学习能够在不同姿势之间进行区分的表示。在视频数据中的人体姿态匹配和检索实验表明了该方法的有效性。
2015-07-01 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology(光州科学技术院信息与通信学院);Computer Vision Laboratory, GIST(计算机视觉实验室)
本文提出姿态感知多镜头匹配框架PaMM,通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配,在公开数据集上优于现有方法,有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
End-to-End Multi-Person Pose Estimation with Pose-Aware Video Transformer
Zhejiang Gongshang University(浙江工商大学)
本文提出了一种端到端的多人体姿态估计方法,通过姿态感知视频变换器网络实现高效准确的多帧姿态估计。
2025-12-02 cs.CV
Semantics-aware Test-time Adaptation for 3D Human Pose Estimation
针对3D人体姿态估计中语义不对齐导致的预测过度平滑与无引导问题,提出整合语义感知运动先验的测试时适应方法,利用视频理解和运动-文本空间调整预测并补全缺失2D姿态,在3DPW和3DHP上使PA-MPJPE降低12%以上。
2025-05-28 cs.CV
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong(香港中文大学);T Stone Robotics Institute of CUHK(香港中文大学汤申机器人研究所)
学习良好的3D人体姿态表示对于人体姿态相关任务(例如,人体3D姿态估计和动作识别)是重要的。在所有这些问题中,保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中,我们提出了一种新的Siamese去噪自动编码器,通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性,本文进一步提出了一种序列双向递归网络(SeBiReNet)来对人体骨骼数据进行建模。大量的实验表明,学习的表示1)保留了人体姿势的内在信息,2)显示出良好的跨数据集和任务的可移植性。值得注意的是,我们的方法在两个本质上不同的任务上实现了最先进的性能:姿态去噪和无监督动作识别。代码和型号可从以下网址获得:\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
Adversarial Synthesis of Human Pose from Text
University of Bonn(波恩大学);RWTH-Aachen University(亚琛工业大学)
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估,该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明,该模型是能够合成合理的构成匹配给定的文本,这表明它是可能的,以生成与给定的语义特征,特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
A Structure-Aware Method for Direct Pose Estimation
University of Kentucky(肯塔基大学);DZYNE Technologies(DZYNE技术公司)
从单幅图像中估计摄像机的姿态是计算机视觉中的一个基本问题。解决这个问题的现有方法分为两个不同的类别,我们称之为直接和间接。直接方法,如PoseNet,从图像中回归姿态作为固定函数,例如使用前馈卷积网络。这样的方法是可取的,因为它们是确定性的,并在恒定的时间内运行。姿势回归的间接方法通常是不确定的,具有各种外部依赖性,例如图像检索和假设采样。我们提出了一种直接的方法,从基于结构的方法的灵感,将明确的3D约束到网络。我们的方法保持了其他直接方法的理想品质,同时实现了更低的误差。
2020-12-22 cs.CV
OTPose: Occlusion-Aware Transformer for Pose Estimation in Sparsely-Labeled Videos
Korea University(高丽大学)
虽然许多方法在视频中的多人姿态估计已经显示出深刻的结果,他们需要密集的注释数据,这需要过多的人力劳动。此外,存在遮挡和运动模糊,这不可避免地导致差的估计性能。为了解决这些问题,我们提出了一种方法,利用注意掩模遮挡关节和编码使用Transformers帧之间的时间依赖性。首先,我们的框架组成了不同的组合稀疏注释的帧,表示整体关节运动的轨迹。我们从这些组合中提出了一个遮挡注意掩码,使编码遮挡感知热图成为一个半监督任务。其次,所提出的时间编码器采用Transformer架构,以有效地聚合每个时间步长的时间关系和关键点关注,并精确地细化目标帧的最终姿态估计。我们为PoseTrack2017和PoseTrack2018数据集实现了最先进的姿态估计结果,并证明了我们的方法对稀疏注释视频数据中的遮挡和运动模糊的鲁棒性。
2022-07-28 cs.CV
Embodied Scene-aware Human Pose Estimation
Carnegie Mellon University(卡内基梅隆大学)
我们提出了具体的场景感知人类姿态估计,我们估计3D姿态的基础上模拟代理的本体感受和场景意识,以及外部第三人称观察。与以前的方法,往往诉诸多级优化,非因果推理,和复杂的接触建模,以估计人体姿势和人类场景的相互作用,我们的方法是一个阶段,因果关系,并恢复全球3D人体姿势在模拟环境中。由于2D第三人称观察与摄像机姿势相结合,我们建议解开摄像机姿势,并使用全局坐标系中定义的多步投影梯度作为我们的具体代理的运动提示。利用物理模拟和预扫描场景(例如,3D网格),我们在日常环境(图书馆,办公室,卧室等)中模拟我们的代理。并为我们的智能体配备环境传感器,以智能地导航并与场景的几何形状进行交互。我们的方法也仅依赖于2D关键点,并且可以在来自流行的人体运动数据库的合成数据集上进行训练。为了进行评估,我们使用了流行的H36M和PROX数据集,并在具有挑战性的PROX数据集上实现了高质量的姿势估计,而无需使用PROX运动序列进行训练。代码和视频可以在项目页面上找到。
2022-10-13 cs.CV
A Context-and-Spatial Aware Network for Multi-Person Pose Estimation
ByteDance AI Lab(字节跳动人工智能实验室);Southeast University(东南大学)
多人姿态估计是计算机视觉中一个基本而又具有挑战性的任务。为了精确定位图像中所有人的关键点,需要丰富的上下文信息和空间信息。本文提出了一种新的上下文和空间感知网络(CSANet),它集成了上下文感知路径和空间感知路径,能够同时获取包含上下文信息和空间信息的有效特征。具体来说,我们设计了一个上下文感知路径结构监督策略和空间金字塔池策略,以提高上下文信息。同时,提出了一种空间感知路径来保持空间信息,缩短了信息从低层特征到高层特征的传播路径。在这两条路径之上,我们采用了Heavy Head Path来进一步有效地组合和增强功能。实验上,我们提出的网络在COCO关键点基准测试中的性能优于最先进的方法,这验证了我们方法的有效性,并进一步证实了上述命题。
2019-05-14 cs.CV
Structure-Aware NeRF without Posed Camera via Epipolar Constraint
Xiangtan University(湘潭大学);Central South University(中南大学)
用于真实感新视图合成的神经辐射场(NeRF)需要通过运动恢复结构(SfM)方法预先获取相机姿态。这种两阶段策略使用不方便,并且降低了性能,因为姿态提取中的误差可以传播到视图合成。我们将姿态提取和视图合成集成到一个端到端的过程中,使它们可以相互受益。为了训练NeRF模型,仅给出RGB图像,而没有预先已知的相机姿势。摄像机位姿通过极线约束获得,其中相同特征在不同视图中具有相同的世界坐标,该世界坐标根据所提取的位姿从局部摄像机坐标转换而来。对极线约束和像素颜色约束进行联合优化。姿势由基于CNN的深度网络表示,其输入是相关帧。这种联合优化使NeRF能够感知场景的结构,从而提高泛化性能。在多种场景下的实验证明了该方法的有效性。代码可在https://github.com/XTU-PR-LAB/SaNerf上获得。
2022-10-01 cs.CV
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center(京东硅谷研究中心)
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类:自上而下和自下而上的方法。在本文中,遵循自顶向下的方法,我们的目标是建立一个强大的基线系统,三个模块:人体候选人检测器,单人姿势估计器和人体姿势跟踪器。首先,我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后,使用级联金字塔网络来估计相应的人体姿态。最后,我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联,即,为了多目标姿态跟踪的目的,为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验,以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战:姿态估计和姿态跟踪。
2019-01-23 cs.CV
CullNet: Calibrated and Pose Aware Confidence Scores for Object Pose Estimation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
我们提出了一种新的方法,用于单视图,基于图像的对象姿态估计。具体而言,在本文中,几个构成的建议估计之间的剔除假阳性的问题。我们提出的方法针对的是CNN预测的置信度值不准确的问题,目前许多方法都使用CNN来选择最终的对象姿势预测。我们提出了一个名为CullNet的网络,解决了这个任务。CullNet将从3D模型渲染的姿势遮罩对和原始图像中的裁剪区域作为输入。然后,这被用于校准姿势提议的置信度分数。这组新的置信度分数被发现是更可靠的准确的对象姿态估计,如我们的结果所示。我们在多个具有挑战性的数据集(LINEMOD和遮挡LINEMOD)上的实验结果反映了我们所提出的方法的实用性。我们的整体姿态估计管道在这些标准对象姿态估计数据集上的性能优于最先进的对象姿态估计方法。我们的代码可在https://github.com/kartikgupta-at-anu/CullNet上公开获取。
2019-09-30 cs.CV
Turbo Learning Framework for Human-Object Interactions Recognition and Human Pose Estimation
SenseTime Group Ltd.(商汤集团有限公司);Tsinghua University(清华大学)
人-物交互(HOI)识别和姿态估计是两个密切相关的任务。人体姿态是识别动作和定位交互对象的重要线索。同时,人的动作和交互对象的定位为姿态估计提供了指导。在本文中,我们提出了一个涡轮学习框架,同时执行HOI识别和姿态估计。首先,设计了两个模块来执行任务之间的消息传递,即姿态感知HOI识别模块和HOI引导的姿态估计模块。然后,这两个模块形成一个闭环,以迭代地利用互补信息,可以以端到端的方式进行训练。该方法在V-COCO和HICO-DET两个公共基准测试数据集上取得了最好的性能。
2019-03-15 cs.CV
3D Human Pose Estimation Using Convolutional Neural Networks with 2D Pose Information
Seoul National University(首尔大学)
虽然在利用卷积神经网络(CNN)的2D人体姿态估计中已经取得了成功,但是3D人体姿态估计尚未被彻底研究。在本文中,我们使用CNN通过端到端学习来解决3D人体姿势估计任务。通过CNN学习一个关节和其他关节之间的相对3D位置。该方法通过两个新的思想提高了CNN的性能。首先,我们添加了2D姿态信息,通过将2D姿态估计结果与来自图像的特征连接来从图像估计3D姿态。第二,我们发现,更准确的3D姿态是通过结合相对于多个关节的相对位置的信息,而不是仅仅一个根关节。实验结果表明,该方法实现了人类3.6米数据集上的最先进的方法相当的性能。
2016-09-08 cs.CV
Diversifying Human Pose in Synthetic Data for Aerial-view Human Detection
University of Maryland, College Park(马里兰大学 College Park分校);BlueHalo;DEVCOM Army Research Laboratory(国防部陆军研究实验室)
针对俯视人体检测合成数据姿态多样性不足的问题,提出SynPoseDiv框架,结合扩散姿态生成与图像转换及Dijkstra优化序列,显著提升多基准检测精度,小样本场景效果尤佳。
2025-06-12 cs.CV
2D-3D Pose Consistency-based Conditional Random Fields for 3D Human Pose Estimation
Kwangwoon University(光云大学);Seoul National University(首尔大学)
这项研究认为,在一个单一的RGB图像中的三维人体姿态估计问题,提出了一个条件随机场(CRF)模型在2D构成,其中的3D姿态是作为一个副产品的推理过程。CRF模型的一元项是基于一个强大的热图回归网络定义的,该网络已被提出用于2D人体姿态估计。本研究亦提出一个回归网路,以提升二维位姿至三维位姿,并根据估计三维位姿与二维位姿的一致性,提出先验项。为了获得所提出的CRF模型的近似解,采用N-最佳策略。所提出的推理算法可以被视为基于深度网络从输入2D图像自下而上生成2D和3D姿态提议以及通过检查其可扩展性来自上而下验证这些提议的顺序过程。为了评估所提出的方法,我们使用了两个大规模数据集:Human3.6M和HumanEva。实验结果表明,该方法达到了最先进的三维人体姿态估计性能。
2017-12-28 cs.CV
Bootstrapping Human Optical Flow and Pose
The University of British Columbia(不列颠哥伦比亚大学)
我们提出了一个自举框架,以提高人类的光流和姿态。我们表明,对于涉及人类在场景中的视频,我们可以提高光流和姿态估计质量的人同时考虑这两个任务。我们通过微调来增强光流估计,以适应人类姿势估计,反之亦然。更详细地说,我们优化的姿态和光流网络,在推理时间,彼此同意。我们表明,这导致了在野生数据集中的人类3.6M和3D姿势以及Sintel数据集的人类相关子集上的最先进的结果,无论是姿势估计精度还是人类关节位置处的光流精度。代码可在https://github.com/ubc-vision/bootstrapping-human-optical-flow-and-pose获得
2022-10-28 cs.CV
Rigidity-Aware Detection for 6D Object Pose Estimation
Xidian University(西安电子科技大学);EPFL(洛桑联邦理工学院);ClearSpace(ClearSpace公司);MagicLeap(MagicLeap公司)
最新的6D对象姿态估计方法首先使用目标检测来在实际回归姿态之前获得2D边界框。然而,他们使用的一般目标检测方法不适合处理杂乱的场景,从而对后续的姿态网络产生不良的初始化。为了解决这个问题,我们提出了一个刚性感知的检测方法,利用的事实,在6D姿态估计,目标对象是刚性的。这让我们引入了一种方法,在训练过程中从整个可见对象区域中采样阳性对象区域,而不是天真地从对象可能被遮挡的限界框中心绘制样本。因此,每个可见对象部分可以有助于最终的限界框预测,从而产生更好的检测鲁棒性。我们的方法的成功的关键是一个可见性地图,我们建议建立一个最小的障碍物之间的距离在限界框和框边界的每个像素。我们在七个具有挑战性的6D姿态估计数据集上的结果证明,我们的方法在很大程度上优于一般的检测框架。此外,结合姿态回归网络,我们在具有挑战性的BOP基准上获得了最先进的姿态估计结果。
2023-03-22 cs.CV
Precision-Aware Illumination-Disentangled Vision Transformer for Spacecraft 6D Pose Estimation
School of Mechatronics Engineering, Harbin Institute of Technology(哈尔滨工业大学机电工程学院)
提出PAID-ViT,通过光照解耦、可靠性感知令牌聚合和掩码监督,在光照变化和反射干扰下实现鲁棒的航天器6D姿态估计。
2026-06-11 cs.CV
SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space
University of Alberta(阿尔伯塔大学)
我们提出了一种方法SPGNet的三维人体姿态估计,混合多维重投影到监督学习。在该方法中,2D-to-3D-lifting网络预测3D人体姿态的全局位置和坐标。然后,我们将估计的3D姿势重新投影回2D关键点并进行空间调整。损失函数将估计的3D姿态与3D姿态地面实况进行比较,并将重新投影的2D姿态与输入的2D姿态进行比较。此外,我们提出了一个运动学约束,以限制预测的目标与恒定的人骨长度。基于数据集Human3.6M的估计结果,我们的方法在定性和定量方面都优于许多最先进的方法。
2022-06-04 cs.CV
PoseAnything: Universal Pose-guided Video Generation with Part-aware Temporal Coherence
Shanghai Jiao Tong University(上海交通大学)
PoseAnything是一种通用姿态引导视频生成框架,能够处理人类和非人类角色,通过引入部分感知时间一致性模块和解耦CFG策略,提升了视频生成的精度和泛化能力。
2025-12-15 cs.CV
Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh Estimation in Videos
University of California, Irvine(加州大学尔湾分校);Tencent America(腾讯美国);Amazon(亚马逊);National Chiao Tung University(国立交通大学)
直接从RGB图像估计3D手部姿势具有挑战性,但最近通过使用注释的3D姿势训练深度模型取得了稳定进展。然而,注释3D姿势是困难的,因此只有少数3D手姿势数据集可用,所有样本都有限。在这项研究中,我们提出了一个新的框架,从RGB图像训练三维姿态估计模型,而不使用显式的三维注释,即,仅使用2D信息进行训练。我们的框架是由两个观察的动机:1)视频提供更丰富的信息,估计3D posesas而不是静态图像; 2)估计的3D poses应该是一致的,无论是在向前或反向顺序观看的视频。我们利用这两个方面来开发一个自监督学习模型,称为时间感知自监督网络(TASSN)。通过强制执行时间一致性约束,TASSN从仅具有2D关键点位置注释的视频中学习3D手部姿势和网格。实验表明,我们的模型取得了令人惊讶的好结果,3D估计精度与用3D注释训练的最先进的模型相当,突出了约束3D预测模型的时间一致性的好处。
2020-12-06 cs.CV
Structure-aware Person Image Generation with Pose Decomposition and Semantic Correlation
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制系统与控制研究所)
在本文中,我们解决的问题,姿势引导的人的图像生成,其目的是从源姿势的人的图像转移到一个新的目标姿势,同时保持源外观。鉴于标准CNN在处理大型空间变换方面的效率低下,我们提出了一种基于结构感知流的高质量人物图像生成方法。具体来说,我们不是学习人体复杂的整体姿势变化,而是将人体分解为不同的语义部分(例如,头部、躯干和腿部),并应用不同的网络分别预测这些部位的流场。此外,我们精心设计的网络模块,以有效地捕捉局部和全局的语义相关性的特征内和人体部位之间分别。大量的实验结果表明,我们的方法可以产生高质量的结果下大的姿态差异,并优于国家的最先进的方法在定性和定量的比较。
2021-02-05 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia(不列颠哥伦比亚大学)
从单幅图像中估计人体姿态是一个具有挑战性的问题,通常通过监督学习来解决。不幸的是,标记的训练数据还不存在许多人类活动,因为3D注释需要专用的运动捕捉系统。因此,我们提出了一种无监督的方法,该方法可以学习从单个图像中预测3D人体姿势,同时只使用2D姿势数据进行训练,这些数据可以是众包的,并且已经广泛使用。为此,我们估计最有可能通过随机投影的3D姿势,使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识,但我们学习了相机角度的分布,这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上,我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation
Institute of Science Tokyo(东京科学研究院);RIKEN(日本研究机构);Tohoku University(东北大学)
COG通过置信度感知最优传输方法,实现无监督单参考新物体姿态估计,提升对应关系鲁棒性与姿态估计稳定性。
2026-02-28 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute(丰田工业大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对静止图像中的人体姿态估计,本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计,但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案,这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中,只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高,所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态,但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
Contact-Aware Refinement of Human Pose Pseudo-Ground Truth via Bioimpedance Sensing
BioTUCH通过结合视觉姿态估计与生物阻抗传感,利用接触感知优化提升人体姿态重建精度,平均提高11.7%,并提供高效的大规模接触感知训练数据收集方案。
2026-03-12 cs.CV
Reconstructing 3D Human Pose by Watching Humans in the Mirror
Zhejiang University(浙江大学)
在本文中,我们介绍了一个新的任务,重建三维人体姿态从一个单一的图像,我们可以看到的人和人的形象,通过一面镜子。与从单个视图进行3D姿态估计的一般场景相比,镜面反射提供了用于解决深度模糊的附加视图。我们开发了一种基于优化的方法,利用镜像对称约束精确的3D姿态重建。我们还提供了一种方法来估计表面法线的镜子从消失点在单一的图像。为了验证所提出的方法,我们收集了一个名为Mirrored-Human的大规模数据集,该数据集涵盖了各种各样的人类主体,姿势和背景。实验表明,当使用我们重建的3D姿态作为伪地面实况对镜像人进行训练时,现有单视图3D姿态估计器的准确性和通用性可以大大提高。
2021-04-01 cs.CV
Direct Reward Fine-Tuning on Poses for Single Image to 3D Human in the Wild
Seoul National University(首尔国立大学)
DrPose通过直接奖励微调提升单图像到3D人体重建的姿态一致性,利用姿态与图像配对数据训练,改进多视图扩散模型,提升动态和复杂姿态的重建质量。
2026-03-03 cs.CV
A Review on Human Pose Estimation
Northeastern University(东北大学);Augmented Cognition Laboratory (ACLab)(增强认知实验室(ACLab))
人体姿态估计(HPE)现象是多年来一直在探索的问题,特别是在计算机视觉中。但它到底是什么?要回答这个问题,首先必须理解姿势的概念。姿势可以定义为人体关节以特定方式的排列。因此,我们可以将人体姿态估计问题定义为图像和视频中人体关节或预定义地标的定位。姿势估计有多种类型,包括身体、面部和手部,以及它的许多方面。本文将从HPE的经典方法到基于深度学习的模型开始介绍它们。
2021-10-13 cs.CV
TSM-Pose: Topology-Aware Learning with Semantic Mamba for Category-Level Object Pose Estimation
Hangzhou Dianzi University(杭州电子科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出TSM-Pose框架,通过拓扑提取器和语义Mamba聚合器提升类别级物体姿态估计的鲁棒性和泛化能力。
2026-08-06 cs.CV
FAFA: Frequency-Aware Flow-Aided Self-Supervision for Underwater Object Pose Estimation
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
针对水下目标位姿估计的标注成本高与环境退化问题,提出基于频率感知流辅助的自监督框架FAFA,利用FFT增强提取域不变特征,通过多级一致性实现自监督适应,显著提升了水下6D位姿估计性能。
2024-09-25 cs.CV
PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning
KAUST(卡塔尔科技大学)
提出PoseGAM,一种基于多视图基础模型的几何感知框架,直接预测未见物体的6D姿态,无需显式匹配,通过点云几何和特征网络整合几何信息,在多个基准上平均AR提升5.1%。
2026-06-16 cs.CV
3D Human Pose Estimation via Spatial Graph Order Attention and Temporal Body Aware Transformer
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院)
提出结合图阶注意力与时间身体感知Transformer的3D人体姿态估计方法,通过多阶图建模和中心姿态感知自注意力机制解决现有Transformer与GCN方法的局限,在多个数据集上验证了有效性。
2025-05-02 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications(北京邮电大学)
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中,我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节,以及一些实验结果。在比赛中,我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation
George Mason University(乔治梅森大学)
本文提出基于手势语义的预训练方法,通过InterHand2.6M数据集的粗细标签学习信息嵌入空间,并结合Transformer进行关节回归,提升单手姿态估计精度。
2026-04-07 cs.CV
iPose: Instance-Aware 6D Pose Estimation of Partly Occluded Objects
Heidelberg University(海德堡大学)
我们解决的任务,已知的刚性物体的6D姿态估计从单一的输入图像的情况下,对象被部分遮挡。最近的基于RGB-D的方法对中等程度的遮挡是鲁棒的。对于RGB输入,以前的方法都不能很好地处理部分遮挡的对象。我们的主要贡献是提出了第一个基于深度学习的系统,该系统可以从RGB-D和RGB输入中估计部分遮挡对象的准确姿态。我们通过一个新的实例感知管道实现了这一点,该管道将6D对象姿态估计分解为一系列更简单的步骤,其中每个步骤都删除了问题的特定方面。第一步使用实例分割网络定位图像中的所有已知对象,从而消除周围的杂波和遮挡物。第二步使用编码器-解码器网络将像素密集地映射到3D对象表面位置(所谓的对象坐标),从而消除对象外观。第三步,也是最后一步,使用几何优化预测6D姿态。我们证明,我们显着优于国家的最先进的姿态估计部分遮挡对象的RGB和RGB-D输入。
2018-06-18 cs.CV
3D Human Pose Regression using Graph Convolutional Network
Technical University of Munich(慕尼黑工业大学);reFit Systems(reFit系统公司)
3D人体姿态估计是一项困难的任务,由于诸如遮挡的身体部位和模糊姿态的挑战。图卷积网络以邻接矩阵的形式对人体骨架的结构信息进行编码,这有利于更好地进行姿态预测。我们提出了一个这样的图卷积网络命名为PoseGraphNet的三维人体姿态回归从2D姿态。我们的网络使用自适应邻接矩阵和特定于邻居组的内核。我们在Human3.6M数据集上评估我们的模型,该数据集是3D姿态估计的标准数据集。我们的模型的性能接近国家的最先进的,但少得多的参数。该模型学习没有物理连接但行为相似的关节之间有趣的邻接关系。
2022-12-13 cs.CV
MAPRPose: Mask-Aware Proposal and Amodal Refinement for Multi-Object 6D Pose Estimation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(机器人系统国家重点实验室,哈尔滨工业大学);School of Civil Engineering, Harbin Institute of Technology(土木工程学院,哈尔滨工业大学);Shenzhen Infinite Meta Robot Co., Ltd(深圳无限元机器人有限公司)
提出MAPRPose两阶段框架,通过掩膜感知对应关系生成姿态提议和模态补全驱动的ROI预测实现鲁棒精化,在BOP基准上达到76.5%平均召回率,比FoundationPose高3.1%且多目标推理加速43倍。
2026-08-06 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University(清华大学);NNKosmos Technology(NNKosmos科技)
本文提出 PoseVocab,一种用于人体化身建模的关节结构化姿态编码方法,通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略,实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
Heuristic Weakly Supervised 3D Human Pose Estimation
Northeastern University(东北大学)
本文提出HW-HuP,一种启发式弱监督方法,利用部分姿态先验和深度数据,在无三维标注时估计三维人体姿态,并在床上和野外婴儿场景中优于现有模型,在公开基准上性能相当。
2023-05-12 cs.CV