Feature Boosting Network For 3D Pose Estimation
Nanyang Technological University（南洋理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
本文提出了一种特征提升网络，用于从单个RGB图像中估计3D手部姿势和3D身体姿势。在这种方法中，卷积层学习到的特征通过一个新的长短期依赖性感知（LSTD）模块得到提升，该模块使中间卷积特征映射能够使用设计的图形ConvLSTM感知不同手部（或身体）部位之间的图形长短期依赖性。由于3D姿态估计的实际应用中的模糊性、纹理和光照变化以及自遮挡，学习一组可靠且有区别地表示手（或身体）部分的姿态的特征是困难的。为了提高表示每个身体部位的特征的可靠性并增强LSTD模块，本文进一步引入上下文一致性门（CCG），根据其与上下文表示的一致性来调制卷积特征映射。我们评估所提出的方法具有挑战性的基准数据集的3D手部姿势估计和3D全身姿势估计。实验结果表明，我们的方法的有效性，实现国家的最先进的性能上的两个任务。
2019-05-15 cs.CV
RotationNet: Joint Object Categorization and Pose Estimation Using Multiviews from Unsupervised Viewpoints
National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））；Graduate School of Information Science and Technology, Osaka University（大阪大学信息科学与技术研究生院）
我们提出了一种基于卷积神经网络（CNN）的模型“RotationNet”，该模型将对象的多视图图像作为输入，并联合估计其姿态和对象类别。与以前使用已知视点标签进行训练的方法不同，我们的方法将视点标签视为潜在变量，这些潜在变量在使用未对齐的对象数据集进行训练期间以无监督的方式学习。RotationNet设计为仅使用部分多视图图像集进行推理，此属性使其在只有部分视图可用的实际场景中非常有用。此外，我们的姿态对齐策略，使人们能够获得跨类共享的视图特定的功能表示，这是很重要的，以保持高精度的对象分类和姿态估计。RotationNet的有效性通过其在10类和40类ModelNet数据集上的最先进的3D对象分类方法的卓越性能得到了证明。我们还表明，即使在没有已知姿势的情况下训练RotationNet，也可以在对象姿势估计数据集上实现最先进的性能。代码可在https://github.com/kanezaki/rotationnet上获得
2018-03-23 cs.CV
PaRot: Patch-Wise Rotation-Invariant Network via Feature Disentanglement and Pose Restoration
University of Sydney（悉尼大学）
提出PaRot网络，通过特征解耦和姿态恢复实现点云的块级旋转不变性，在旋转3D对象分类和部件分割任务中取得有竞争力的结果。
2023-02-06 cs.CV
Towards Robust and Unconstrained Full Range of Rotation Head Pose Estimation
Otto-von-Guericke University（奥托·冯·格里克大学）
针对全范围旋转头部姿态估计问题，提出基于连续6D旋转矩阵表示和测地线损失的无约束端到端方法，显著提升了预测范围与性能并开源代码。
2023-09-14 cs.CV
Efficient 2D to Full 3D Human Pose Uplifting including Joint Rotations
University of Augsburg（奥格斯堡大学）
针对体育分析中3D人体关节位置与旋转捕捉的需求，提出一种高效的2D到3D提升模型，直接估计含关节旋转的3D人体姿态，解决了现有方法计算成本高或精度低的问题，性能优于基于IK的方法和HMR模型。
2025-04-14 cs.CV
Category-Level 6D Object Pose Estimation with Flexible Vector-Based Rotation Representation
在本文中，我们提出了一种新的3D图形卷积为基础的管道类别级6D姿态和大小估计从单目RGB-D图像。所提出的方法利用了一个有效的三维数据增强和一个新的基于矢量的解耦旋转表示。具体来说，我们首先设计了一个具有3D图卷积的方向感知自动编码器，用于潜在特征学习。由于3D图形卷积的移位和尺度不变性，所学习的潜在特征对点移位和大小不敏感。然后，为了有效地从潜在特征中解码旋转信息，我们设计了一种新的灵活的基于向量的可分解旋转表示，该表示采用两个解码器来互补地访问旋转信息。所提出的旋转表示具有两个主要优点：1）解耦特性，使得旋转估计更容易; 2）灵活的向量长度和旋转角度允许我们找到更适合特定位姿估计任务的向量表示。最后，我们提出了一个3D变形机制，以增加管道的泛化能力。大量的实验表明，所提出的管道实现了最先进的性能上的类别级任务。此外，实验表明，所提出的旋转表示比其他旋转表示更适合于姿态估计任务。
2023-01-30 cs.CV
On the Role of Rotation Equivariance in Monocular 2D-to-3D Human Pose Lifting
CVL, Linköping University（林雪平大学计算机视觉实验室）；Independent Researcher（独立研究员）
针对单目3D人体姿态估计中旋转导致性能下降的问题，通过旋转数据增强联合输入输出姿态，有效学习旋转等变性，提升鲁棒性并优于完全等变设计方法。
2026-09-02 cs.CV
The Devil is in the Pose: Ambiguity-free 3D Rotation-invariant Learning via Pose-aware Convolution
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
旋转不变（RI）3D深度学习方法遭受性能降级，因为它们通常将RI表示设计为与3D坐标相比丢失关键全局信息的输入。大多数最先进的解决方案都是通过以繁重和无效的方式产生额外的块或复杂的全局表示来解决这个问题。在本文中，我们揭示了全局信息丢失源于一个未探索的姿势信息丢失问题，这个问题可以更有效地解决，因为我们只需要在每一层中恢复更轻量级的局部姿势，并且全局信息可以在深度网络中分层聚合，而无需额外的努力。为了解决这个问题，我们开发了一种姿态感知旋转不变卷积（即，PaRI-Conv），其基于相对姿态动态地调整其内核。为了实现它，我们提出了一个增强的点对特征（APPF）完全编码的RI相对姿态信息，和一个因式分解的动态内核姿态感知内核生成，它可以进一步减少计算成本和内存负担，通过将内核分解成一个共享的基础矩阵和姿态感知对角矩阵。形状分类和部分分割任务的大量实验表明，我们的PaRI-Conv超越了国家的最先进的RI方法，同时更紧凑，更有效。
2022-05-30 cs.CV
Rotational Symmetry based Object Pose Estimation from Point Clouds in the Absence of Known 3D Models
Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province, School of Computer Science, Hangzhou Dianzi University（浙江省脑机协同智能重点实验室，杭州电子科技大学计算机学院）；Advanced Intelligent Manufacturing Research Group, the University of Nottingham Ningbo China（先进智能制造研究组，宁波诺丁汉大学）
提出利用工业物体的旋转对称性，通过迭代优化联合估计姿态与点云，无需已知3D模型，在合成和真实数据集上达到与有模型方法相当的性能。
2026-06-16 cs.CV
IUP-Pose: Decoupled Iterative Uncertainty Propagation for Real-time Relative Pose Regression via Implicit Dense Alignment v1
本文提出IUP-Pose，通过隐式密集对齐解决相对姿态估计中姿态与位移估计耦合和跨视图特征对齐不足的问题，实现高精度与高效能的实时部署。
2026-03-20 cs.CV
PRAGO: Differentiable Multi-View Pose Optimization From Objectness Detections
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；Pattern Analysis and Computer Vision (PAVIS)（模式分析与计算机视觉实验室）
针对小规模稀疏相机位姿图的可微估计难题，提出PRAGO方法，利用目标性检测精化旋转平均，在7-Scenes上旋转误差相对降低21%。
2024-03-15 cs.CV
Pose Estimation for Objects with Rotational Symmetry
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
位姿估计是一个广泛探索的问题，使许多机器人的任务，如抓取和操纵。在本文中，我们解决的问题，表现出旋转对称，这是常见的人造和工业环境中的对象的姿态估计。特别是，我们的目标是推断出在训练时看不到的对象的姿势，但其3D CAD模型在测试时可用。以前的工作已经解决了这个问题，通过学习比较捕获的视图的真实对象与其3D CAD模型的渲染视图，通过将它们嵌入到一个联合的潜在空间使用神经网络。我们发现，回避对称性的问题，在这种情况下，在训练过程中导致在测试时的性能不佳。我们提出了一个模型，通过只访问一小部分标记的对象，从而利用大量未标记的CAD模型，在训练过程中对旋转对称性进行推理。我们证明，我们的方法显着优于一个天真的训练神经网络上的一个新的姿势数据集包含工具和硬件的图像。
2018-10-13 cs.CV
Enhancing Rotation-Invariant 3D Learning with Global Pose Awareness and Attention Mechanisms
针对现有3D点云旋转不变学习丢失全局姿态信息、无法区分几何相似但空间不同结构的问题，提出阴影感知姿态特征（SiPF）与旋转不变注意力卷积（RIAttnConv），结合任务自适应阴影定位模块，显著提升旋转不变3D学习性能，尤其在细粒度空间辨别任务中。
2025-11-11 cs.CV
Efficient Relative Pose Estimation for Cameras and Generalized Cameras in Case of Known Relative Rotation Angle
South Ural State University（南乌拉尔国立大学）；TrunkTech Co., Ltd.（创科有限公司）
我们提出了两个最小的解决方案的问题的相对姿态估计（i）校准相机从四个点在两个视图和（ii）校准广义相机从五个点在两个视图。在这两种情况下，假设视图之间的相对旋转角度是已知的。在实践中，这样的角度可以从3d陀螺仪的读数导出。我们表示的单位四元数的运动的旋转部分，以构建多项式方程编码的极线约束。然后使用格罗布纳基技术来有效地导出解决方案。我们的第一个常规相机求解器显著改进了现有的最先进的解决方案。广义相机的第二个求解器是新颖的。所提出的最小解算器可以用于假设和测试架构，如RANSAC可靠的姿态估计。在合成数据集和真实数据集上的实验表明，我们的算法是数值稳定，快速和鲁棒的。
2019-01-31 cs.CV
Are Euler angles a useful rotation parameterisation for pose estimation with Normalizing Flows?
Dpt. of Surveying and Geoinformatics Engineering, University of West Attica（测绘与地理信息工程系，西阿提卡大学）；Dpt. of Computer Science, Luleå University of Technology（计算机科学系，卢勒奥技术大学）；School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程学院，雅典技术大学）
本文探讨了在位姿存在模糊性时，使用欧拉角参数化作为归一化流模型基础进行3D物体位姿估计的有效性，发现其尽管存在缺点，在多个方面仍优于复杂参数化模型。
2025-11-04 cs.CV
Towards Rotation-only Imaging Geometry: Rotation Estimation
Shanghai Key Laboratory of Navigation and Location-based Services, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海导航与位置服务重点实验室，电子信息与电气工程学院，上海交通大学）
本文针对SfM任务，延续仅位姿成像几何思路，推导得出平移可由旋转表示的结论，提出基于重投影误差的纯旋转优化框架，在双视图与多视图场景下旋转估计精度与鲁棒性优于现有方法，性能可比肩多次光束平差结果。
2025-11-16 cs.CV
FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose Estimation with Decoupled Rotation Mechanism
University of Birmingham（伯明翰大学）；Shenzhen University（深圳大学）
在本文中，我们专注于类别级的6D姿态和大小估计从单目RGB-D图像。以往的方法存在类别级姿态特征提取效率低的问题，导致精度和推理速度较低。为了解决这个问题，我们提出了一个快速的形状为基础的网络（FS网）与有效的类别级特征提取的6D姿态估计。首先，我们设计了一个方向感知的自动编码器与三维图形卷积的潜在特征提取。由于3D图形卷积的移位和尺度不变性，所学习的潜在特征对点移位和对象大小不敏感。然后，为了有效地从潜在特征中解码类别级旋转信息，我们提出了一种新的解耦旋转机制，该机制采用两个解码器来互补地访问旋转信息。同时，我们通过两个残差来估计平移和大小，这两个残差分别是对象点的平均值与地面真实平移之间的差，以及类别的平均大小与地面真实大小之间的差。最后，为了提高FS-Net的泛化能力，我们提出了一种基于在线盒笼的3D变形机制来增加训练数据。在两个基准数据集上的大量实验表明，该方法在类别级和实例级6D对象姿态估计方面都达到了最先进的性能。特别是在类别级姿态估计中，在没有额外的合成数据的情况下，我们的方法在NOCS-REAL数据集上比现有方法提高了6.3%。
2021-06-06 cs.CV
VI-Net: Boosting Category-level 6D Object Pose Estimation via Learning Decoupled Rotations on the Spherical Representations
South China University of Technology（华南理工大学）；DexForce Technology Co. Ltd.（德擎科技有限公司）；Hong Kong Polytechnic University（香港理工大学）
针对6D姿态估计中SO(3)空间旋转学习难的问题，提出VI-Net将旋转解耦为视点与平面内旋转，基于SPA-SConv构建球面特征金字塔实现等变特征提取，在类别级6D姿态估计任务上精度大幅超越现有方法。
2023-08-19 cs.CV
Structured Context Enhancement Network for Mouse Pose Estimation
University of Leicester（莱斯特大学）；Lancaster University（兰卡斯特大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai University（上海大学）；University of Kent（肯特大学）
小鼠行为的自动分析对于神经科学中的许多应用至关重要。然而，从视频或图像中量化小鼠行为仍然是一个具有挑战性的问题，其中姿势估计在描述小鼠行为中起着重要作用。虽然基于深度学习的方法在人体姿态估计方面取得了可喜的进展，但由于生理性质的不同，它们不能直接应用于小鼠的姿态估计。特别地，由于鼠标主体是高度可变形的，因此精确地定位鼠标主体上的不同关键点是一个挑战。在本文中，我们提出了一种新的基于沙漏网络的模型，即基于图形模型的结构化上下文增强网络（GM-SCENet），其中两个有效的模块，即，随后实现了结构化上下文混合器（SCM）和级联多级监督（CMLS）。SCM可以自适应地学习和增强建议的结构化上下文信息的每个鼠标部分的一种新的图形模型，考虑到身体部位之间的运动差异。然后，设计CMLS模块，通过生成多层次信息，对SCM和Hourglass网络进行联合训练，提高了整个网络的鲁棒性，并利用SCM和CMLS的多层次预测信息，设计了一种推理方法，保证了定位结果的准确性。最后，我们评估我们提出的方法对几个基线.
2021-08-01 cs.CV
DISP6D: Disentangled Implicit Shape and Pose Learning for Scalable 6D Pose Estimation
The University of Hong Kong（香港大学）；Brown University（布朗大学）；Microsoft Research Asia（微软亚洲研究院）；Centre for Garment Production Limited, Hong Kong（香港成衣生产中心有限公司）；SUSTech（南方科技大学）；Texas A&M University（德克萨斯农工大学）
从RGB图像中对刚性物体进行可伸缩的6D姿态估计旨在处理多个物体并推广到新物体。建立在一个著名的自动编码框架，以应付对象的对称性和缺乏标记的训练数据，我们实现了可扩展性，通过解开自动编码器的潜在表示到形状和姿态子空间。潜在的形状空间模型的相似性不同的对象，通过对比度量学习，和潜在的姿势代码进行比较，旋转检索。由于不同的对象对称性诱导不一致的潜在姿态空间，我们重新纠缠的形状表示与规范旋转生成形状相关的姿态码本旋转检索。我们展示了两个基准测试的最先进的性能，分别包含无纹理的CAD对象，没有类别和日常对象的类别，并通过扩展到更具有挑战性的设置跨类别的日常对象，进一步证明了改进的可扩展性。
2022-07-21 cs.CV
Shape-Pose Disentanglement using SE(3)-equivariant Vector Neurons
Tel Aviv University（特拉维夫大学）；Hebrew University of Jerusalem（希伯来大学）
我们引入了一个无监督的技术编码点云到一个规范的形状表示，通过解开形状和姿势。我们的编码器是稳定和一致的，这意味着形状编码是纯粹的姿势不变的，而提取的旋转和平移能够语义对齐同一类的不同输入形状到一个共同的规范姿势。具体来说，我们设计了一个自动编码器的基础上，矢量神经元网络，旋转等变神经网络，其层，我们扩展到提供除了旋转等方差的旋转等方差。由此产生的编码器产生的姿势不变的形状编码的建设，使我们的方法专注于学习一个一致的规范构成的一类对象。定量和定性实验验证了我们的方法优越的稳定性和一致性。
2022-04-03 cs.CV
Defining an action of SO(d)-rotations on images generated by projections of d-dimensional objects: Applications to pose inference with Geometric VAEs
Centrale Supelec（巴黎中央高等电力学院）；University of British Columbia（不列颠哥伦比亚大学）
变分自编码器（VAE）的最新进展使得能够将潜在流形学习为紧李群，例如$SO(d)$。由于这种方法假设数据位于李群本身同胚的子空间上，因此我们在这里研究这种假设如何在通过在$SO(d)$中投影具有未知姿态的$d$维体积而生成的图像的上下文中保持。在研究不同的理论候选人的组和图像空间，我们表明，试图定义一个组的数据空间上的行动一般失败，因为它需要更具体的几何约束的体积。使用几何VAE，我们的实验证实，这种约束是正确的姿势推断的关键，我们讨论了这些结果的应用和未来的工作的潜力。
2022-07-23 cs.CV
Occlusion-Invariant Rotation-Equivariant Semi-Supervised Depth Based Cross-View Gait Pose Estimation
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
从深度图像中准确估计三维人体骨骼可以为医疗保健应用提供重要的度量，特别是对于生物力学步态分析。然而，存在与从单个视图捕获的深度图像相关联的固有问题。收集的数据受到遮挡的影响很大，只能记录部分表面数据。此外，人体的深度图像表现出异构的特点与视点的变化，估计的姿态在局部坐标系下，预计将经历等变旋转。大多数现有的姿态估计模型对这两个问题都很敏感。为了解决这个问题，我们提出了一种新的方法，交叉视图的泛化与闭塞不变的半监督学习框架上建立一个新的旋转等变骨干。我们的模型使用来自单个视图的真实数据和来自多个视图的未标记合成数据进行训练。它可以很好地概括来自所有其他不可见视图的真实世界数据。与其他最先进的方法相比，我们的方法在ICL-Gait数据集上的步态分析方面表现出了卓越的性能，并且它可以在ITOP数据集上产生比其提供的“地面实况”更令人信服的关键点。
2021-09-03 cs.CV
Orientation Keypoints for 6D Human Pose Estimation
Department of Computing, Imperial College London（伦敦帝国理工学院计算系）
大多数实时人体姿态估计方法是基于检测关节位置。使用检测到的关节位置，可以计算肢体的偏航和俯仰。然而，沿着肢体的滚动，这是关键的应用程序，如体育分析和计算机动画，不能计算，因为这个旋转轴仍然没有观察到。因此，在本文中，我们介绍了方向关键点，一种新的方法来估计的完整位置和旋转的骨骼关节，只使用单帧RGB图像。受运动捕捉系统如何使用一组点标记来估计完整的骨骼旋转的启发，我们的方法使用虚拟标记来生成足够的信息，以便通过简单的后处理来准确地推断旋转。旋转预测比最佳报告的关节角度平均误差提高了48%，在15次骨旋转中达到了93%的准确度。该方法还将MPJPE在主要数据集上测量的关节位置的当前最先进结果提高了14%，并很好地推广到野外数据集。
2021-12-16 cs.CV
D3L: Decomposition of 3D Rotation and Lift from 2D Joint to 3D for Human Mesh Recovery
针对现有三维人体网格恢复方法中旋转语义模糊、误差累积和形状过拟合问题，提出D3L方法，将关节旋转分解为骨骼方向和扭转方向，结合二维到三维提升网络与非线性优化，在Human3.6M数据集上大幅提升性能。
2023-12-25 cs.CV
6D Object Pose Regression via Supervised Learning on Point Clouds
University of Hamburg（汉堡大学）；Tsinghua University（清华大学）
本文讨论了从点云表示的深度信息中估计已知3D对象的6个自由度姿态的任务。由卷积神经网络从颜色信息中学习的深度特征已经成为用于推断对象姿态的主要特征，而深度信息受到的关注要少得多。然而，深度信息包含丰富的几何信息的对象形状，这是重要的推断对象的姿态。我们使用点云表示的深度信息作为深度网络和基于几何的姿势优化的输入，并使用单独的网络进行旋转和平移回归。我们认为轴角表示是适合深度学习的旋转表示，并使用测地线损失函数进行旋转回归。消融研究表明，这些设计选择优于替代方案，如四元数表示和L2损失，或用相同的网络回归平移和旋转。我们简单而有效的方法在YCB视频数据集上明显优于最先进的方法。可在https://github.com/GeeeG/CloudPose上获取实施和训练模型。
2020-01-24 cs.CV
Direct-PoseNet: Absolute Pose Regression with Photometric Consistency
University of Oxford（牛津大学）
我们提出了一个重新定位管道，它结合了绝对姿态回归（APR）网络与一个新的视图合成为基础的直接匹配模块，提供卓越的精度，同时保持低推理时间。我们的贡献是双重的：i）我们设计了一个直接匹配模块，该模块通过可微分渲染提供光度监督信号来细化姿态回归网络; ii）我们将姿态回归中的旋转表示从经典四元数修改为SO（3），消除了平衡旋转和平移损失项的需要。因此，我们的网络Direct-PoseNet在7-Scenes基准和LLFF数据集上实现了所有其他单图像APR方法的最先进性能。
2021-10-13 cs.CV
Implicit-PDF: Non-Parametric Representation of Probability Distributions on the Rotation Manifold
Google Research（谷歌研究院）
单个图像姿态估计是许多视觉和机器人任务中的基本问题，并且现有的深度学习方法受到不完全建模和处理的影响：i）关于预测的不确定性，以及ii）具有多个（有时是无限个）正确姿态的对称对象。为此，我们引入一种方法来估计SO（3）上的任意非参数分布。我们的关键思想是用一个神经网络隐式地表示分布，该神经网络估计给定输入图像和候选姿势的概率。网格采样或梯度上升可用于找到最可能的姿势，但也可以评估任何姿势的概率，从而实现关于对称性和不确定性的推理。这是表示流形上分布的最通用方法，为了展示丰富的表达能力，我们引入了一个具有挑战性的对称和近对称对象的数据集。我们不需要对姿势不确定性进行监督-模型仅使用每个示例的单个姿势进行训练。尽管如此，我们的隐式模型在处理3D姿态的复杂分布方面表现力很强，同时仍然在标准非模糊环境中获得准确的姿态估计，在Pascal 3D+和ModelNet 10-SO（3）基准测试中实现了最先进的性能。
2022-07-01 cs.CV
Skeleton Transformer Networks: 3D Human Pose and Skinned Mesh from Single RGB Image
National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））；CNRS-AIST JRL (Joint Robotics Laboratory), UMI3218/RL（法国国家科学研究中心-国立先进工业科学技术研究所联合机器人实验室（UMI3218/RL））
在本文中，我们提出了骨架Transformer网络（transformernet），一个端到端的框架，不仅可以预测3D关节位置，但也3D角姿态（骨骼旋转）的人体骨骼从一个单一的彩色图像。这反过来又允许我们生成蒙皮网格动画。在这里，我们提出了一个两步回归方法。第一步回归骨骼旋转，以便通过考虑骨骼结构获得初始解。第二步使用称为交叉热图的3D姿态表示基于热图回归器执行细化，交叉热图堆叠xy和zy坐标的热图。通过使用建议的3D人体姿势数据集（由3D骨骼角姿势注释的图像组成）训练网络，我们证明了AtrietonNet可以从单个图像中预测完整的3D人体姿势（关节位置和骨骼旋转）。
2018-12-29 cs.CV
Falling Things: A Synthetic Dataset for 3D Object Detection and Pose Estimation
NVIDIA（英伟达）
我们提出了一个新的数据集，称为Falling Things（FAT），用于在机器人技术的背景下推进目标检测和3D姿态估计的最新技术。通过综合结合对象模型和背景的复杂成分和高图形质量，我们能够生成逼真的图像与准确的3D姿态注释的所有图像中的所有对象。我们的数据集包含从YCB数据集拍摄的21个家庭对象的60 k注释照片。对于每个图像，我们为所有对象提供3D姿态、逐像素类分割和2D/3D限界框坐标。为了便于测试不同的输入模式，我们提供了单声道和立体声RGB图像，以及配准的密集深度图像。我们详细描述了数据的生成过程和统计分析。
2018-07-10 cs.CV
Robust 6D Object Pose Estimation by Learning RGB-D Features
National University of Singapore（新加坡国立大学）
准确的6D物体位姿估计是机器人操作和抓取的基础。以前的方法遵循局部优化方法，最小化最近点对之间的距离来处理对称对象的旋转模糊性。在这项工作中，我们提出了一种新的离散-连续的旋转回归公式来解决这个局部最优问题。我们在SO（3）中对旋转锚点进行均匀采样，并预测每个锚点与目标的约束偏差，以及用于选择最佳预测的不确定性得分。此外，通过聚集指向3D中心的逐点向量来检测对象位置。在LINEMOD和YCB-Video两个基准测试上的实验表明，该方法的性能优于现有的方法。我们的代码可在https://github.com/mentian/object-posenet上获得。
2020-03-09 cs.CV
Full-range Head Pose Geometric Data Augmentations
Docomo Innovations（Docomo创新公司）；Santa Clara University（圣克拉拉大学）
本文针对头部姿态估计在全角度范围内精度不足的问题，提出了基于正确坐标系和欧拉角的二维几何数据增强方法，并通过数学验证实现了全范围俯仰-偏航覆盖，显著提升了现有HPE模型的性能。
2024-08-02 cs.CV
G2L-Net: Global to Local Network for Real-time 6D Pose Estimation with Embedding Vector Features
University of Birmingham（伯明翰大学）；National University of Defense Technology（国防科技大学）
本文提出了一种新的实时的【形】6D物体姿态估计框架G2L-Net。我们的网络以分而治之的方式对RGB-D检测的点云进行操作。具体来说，我们的网络包括三个步骤。首先通过二维检测从RGB-D图像中提取出粗目标点云;其次，我们将粗对象点云馈送到平移定位网络以执行3D分割和对象平移预测。第三，通过预测的分割和平移，我们将精细的目标点云转换到一个局部的规范坐标，我们训练旋转定位网络来估计初始目标旋转。在第三步中，我们定义逐点嵌入向量特征来捕获视点感知信息。为了计算更精确的旋转，我们采用旋转残差估计器来估计初始旋转和地面真实值之间的残差，这可以提高初始位姿估计性能。我们提出的G2L-Net是实时的【形】，尽管事实上多个步骤是通过提出的粗到细的框架堆叠。在两个基准数据集上进行的大量实验表明，G2L-Net在准确性和速度方面都达到了最先进的性能。
2020-03-26 cs.CV
Deep disentangled representations for volumetric reconstruction
Radboud University（拉德堡德大学）；Microsoft Research（微软研究院）
我们介绍了一个卷积神经网络推断一个紧凑的解纠缠的图形描述的对象从2D图像，可用于体积重建。该网络包括一个编码器和一个双尾解码器。编码器生成解纠缠的图形代码。第一解码器生成体积，并且第二解码器使用新颖的训练机制来重建输入图像，该训练机制允许图形代码学习3D对象的单独表示以及其照明和姿态条件的描述。我们证明了这种方法，从图像和视频的脸和椅子生成量和解开图形描述。
2016-10-12 cs.CV
Convolutional Pose Machines
Carnegie Mellon University（卡内基梅隆大学）
Pose Machines提供了一个顺序预测框架，用于学习丰富的隐式空间模型。在这项工作中，我们展示了如何将卷积网络纳入姿势机器框架的系统设计，以学习图像特征和图像相关的空间模型，用于姿势估计任务。本文的贡献是隐式建模变量之间的长期依赖关系的结构化预测任务，如关节姿势估计。我们通过设计一个由卷积网络组成的顺序架构来实现这一点，该架构直接对前一阶段的置信图进行操作，从而为零件位置产生越来越精确的估计，而无需显式的图形模型式推理。我们的方法通过提供一个自然的学习目标函数来实现中间监督，从而补充反向传播的梯度并调节学习过程，从而解决了训练过程中梯度消失的特征困难。我们展示了最先进的性能，并在标准基准（包括MPII，LSP和FLIC数据集）上优于竞争方法。
2016-04-12 cs.CV
Rotation-Invariant Completion Network
Xi’an Jiaotong University（西安交通大学）
针对点云补全中姿态多样导致性能下降的问题，提出旋转不变补全网络RICNet，通过双管道补全与增强模块实现旋转不变特征提取，在MVP数据集上优于现有方法。
2023-08-23 cs.CV
Gravity-aware partially calibrated absolute pose estimation from affine- or rotation-covariant features
Ericsson Research（爱立信研究院）；University of Zaragoza（萨拉戈萨大学）
该研究针对部分标定绝对位姿估计的空白，利用IMU重力向量与特征局部几何构建两种高效求解器，实现更少样本、更低成本的快速精准定位与焦距估计。
2026-08-21 cs.CV
MoCapAnything V2: End-to-End Motion Capture for Arbitrary Skeletons
Huawei Technologies Co., Ltd（华为技术有限公司）；Central Research Institute（中央研究院）
本文提出MoCapAnything V2，通过端到端框架联合优化Video-to-Pose和Pose-to-Rotation模块，解决任意骨骼动作捕捉中姿态到旋转映射的模糊性问题，提升鲁棒性和效率。
2026-09-15 cs.CV
Equivalent Constraints for Two-View Geometry: Pose Solution/Pure Rotation Identification and 3D Reconstruction
Shanghai Jiao Tong University（上海交通大学）；Central South University（中南大学）
双视点相对位姿估计和结构重建是计算机视觉中的经典问题。典型的方法通常采用对本质矩阵进行奇异值分解，得到相对位姿的多个解，然后通过重构三维特征点并施加正深度约束，从中选出正确的解。本文重新审视了两视图几何问题，发现两视图成像几何等价地由一对新的仅姿态（PPO）约束控制：同侧约束和相交约束。从求解方程的角度，明确地导出了本质矩阵的完整位姿解，并严格证明了在纯旋转的情况下，位姿的定向部分仍然可以恢复。PPO约束被简化并以不等式的形式公式化，以直接识别右位姿解而不需要3D重建，并且可以从所识别的右位姿解析地实现3D重建。此外，交不等式也使纯旋转识别的鲁棒性标准。实验结果验证了分析的正确性以及推导出的位姿解/纯旋转识别和解析3D重建的鲁棒性。
2018-10-13 cs.CV cs.RO
6D Object Pose Estimation without PnP
Wuhan University（武汉大学）；Wuhan Xiongchugaojing Tech Company（武汉雄楚高精科技公司）
在本文中，我们提出了一个有效的端到端的算法来解决从单个RGB图像估计对象的6D姿态的问题。我们的系统训练了一个完全卷积的网络来回归区域层中的3D旋转和3D平移。在此基础上，在区域层的旁边增加了一个特殊的层--共线方程层，用于输出三维包围盒角点的二维投影。在反向传播阶段，根据2D投影的误差调整6D位姿网络。在检测阶段，我们通过区域层直接输出位置和姿态。此外，我们还引入了一种新颖而简洁的三维旋转表示，使回归更精确，更容易。实验表明，该方法在准确性和效率上都优于基线和最先进的方法。在LineMod数据集中，我们的算法在GeForce GTX 1080Ti GPU上实现了小于18 ms/对象，而平移误差和旋转误差小于1.67 cm和2.5度。
2019-02-06 cs.CV
On the sensitivity of pose estimation neural networks: rotation parameterizations, Lipschitz constants, and provable bounds
University of Washington（华盛顿大学）
在本文中，我们的方法的任务，确定灵敏度界的姿态估计神经网络。这项任务特别具有挑战性，因为它需要表征3D旋转的灵敏度。我们开发了一个灵敏度测度，它描述了网络输出相对于其输入的欧几里得变化的最大旋转变化。我们表明，这种措施是一种类型的Lipschitz常数，它是有界的产品网络的欧几里得Lipschitz常数和旋转参数化的内在属性，我们称之为“距离比常数”。我们推导出几个旋转参数化的距离比常数，然后讨论为什么大多数这些参数化的结构使得很难构建一个姿态估计网络与可证明的灵敏度界限。然而，我们表明，灵敏度界可以计算网络参数旋转使用无约束指数坐标。然后，我们构建和训练这样一个网络，并计算它的灵敏度界限。
2022-03-16 cs.CV cs.LG
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide（阿德莱德大学计算机科学学院）
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计（VO）或视觉SLAM（V-SLAM），并且从由VO或V-SLAM估计的相机姿态（6 DOF）检索相机取向（3 DOF）。除了在估计全6 DOF相机姿态中的冗余之外，该方法的一个缺点是由于对结构和运动的基本约束而对估计地图（3D场景点）连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务，我们制定了单目旋转里程计问题，并设计了一个快速算法，以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外，我们的系统维护视图图，其1）允许求解环路闭合以移除相机定向漂移，以及2）可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验，以证明我们的增量相机方向求解器的准确性。最后，我们展示了我们的算法对V-SLAM的好处：1）解决已知的旋转问题来估计相机和周围地图的轨迹，以及2）使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
Computing CNN Loss and Gradients for Pose Estimation with Riemannian Geometry
Imperial College London（帝国理工学院）；INRIA（法国国家信息与自动化研究所）；King’s College London（伦敦国王学院）；HeartFlow（HeartFlow公司）
姿态估计，即相对于SE（3）中的固定坐标系预测3D刚性变换，是医学图像分析中的无所不在的问题，其应用例如：图像刚性配准、解剖标准平面检测、跟踪和设备/相机姿态估计。深度学习方法通常使用分离旋转和平移的表示来参数化姿势。由于通常可用的框架不提供计算流形上损失的方法，回归通常使用独立于旋转和平移参数化的L2范数来执行，这是一种不考虑SE（3）的李群结构的线性空间度量。在本文中，我们提出了一个一般的黎曼公式的姿态估计问题。我们建议直接在配备有左不变黎曼度量的SE（3）上训练CNN，耦合定义姿势的平移和旋转的预测。在每个训练步骤中，地面实况和预测姿态是流形的元素，其中损失被计算为黎曼测地线距离。然后，我们通过反向传播相对于流形SE（3）的切空间上的预测姿态的梯度来计算优化方向，并更新网络权重。我们彻底评估我们的损失函数的有效性，通过比较其性能与流行的和最常用的现有方法，任务，如基于图像的定位和基于强度的2D/3D配准。我们还表明，超参数，在我们的损失函数中使用的权重之间的贡献旋转和平移，可以从数据集本质上计算，以实现更大的性能利润。
2018-07-17 cs.CV
Local-consistent Transformation Learning for Rotation-invariant Point Cloud Analysis
South China University of Technology（华南理工大学）；Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；The University of Sydney（悉尼大学）；Pazhou Lab（琶洲实验室）
提出LocoTrans策略，通过构建局部一致性参考系和相对姿态恢复模块，在点云分析中实现更好的局部旋转不变性，在形状分类和部分分割任务上表现优异。
2024-03-17 cs.CV
3D Human Pose Estimation from Deep Multi-View 2D Pose
University of Maryland（马里兰大学）；Systems and Technology Research (STR)（系统与技术研究公司）
人体姿态估计-在视频中识别人体肢体位置和方向的过程-具有许多重要的应用，包括监视，运动障碍诊断和计算机动画。虽然深度学习已经在从单个视频源进行2D和3D姿态估计方面取得了很大进展，但是从具有重叠视场的多个视频传感器估计3D人体姿态的问题受到的关注较少。当应用允许使用多个相机时，可以通过多视图姿态估计的融合和对在一些视图中完全或部分被遮挡的肢体的观察来极大地改进3D人类姿态估计。过去的多视图3D姿态估计方法使用概率图形模型来推理约束，包括每图像姿态估计、时间平滑度和肢体长度。在本文中，我们提出了一个多个人的多视图3D姿态估计的管道，它结合了一个国家的最先进的2D姿态检测器与3D肢体约束的因素图优化与信念传播。我们在TUM-Campus和Shelf数据集上评估了多人3D姿态估计的结果，并表明我们的系统通过更简单的肢体依赖模型显着优于以前的最新技术。
2019-02-07 cs.CV
Occlusion Resistant Object Rotation Regression from Point Cloud Segments
University of Hamburg（汉堡大学）
已知刚性物体的旋转估计对于机器人应用例如灵巧操作是重要的。用于旋转估计的大多数现有方法使用中间表示，诸如模板、全局或局部特征描述符或对象坐标，其需要多个步骤以便推断对象姿态。我们建议使用卷积神经网络直接从原始点云片段回归姿态向量。实验结果表明，我们的方法可以潜在地实现竞争力的性能相比，一个国家的最先进的方法，同时也表现出更强的鲁棒性对遮挡。我们的方法不需要任何后处理，如迭代最近点算法的细化。
2018-12-02 cs.CV
PrimA6D: Rotational Primitive Reconstruction for Enhanced and Robust 6D Pose Estimation
KAIST（韩国科学技术院）
在本文中，我们介绍了一种基于旋转基元预测的6D物体姿态估计使用一个单一的图像作为输入。我们使用具有遮挡的单个图像来解决已知对象相对于相机的6D对象姿态。许多最新的最先进的（SOTA）两步方法已经利用图像关键点提取，然后进行姿态估计的Pestrian回归。而不是依赖于对象上的限界框或关键点，我们建议学习方向诱导的图元，以便实现姿态估计精度，而不管对象的大小。我们利用一个变分自编码器（VAE）来学习这个底层原语及其相关的关键点。从重建的原始图像推断的关键点然后用于使用PSNR回归旋转。最后，我们在一个单独的定位模块中计算平移，以完成整个6D姿态估计。当在公共数据集上进行评估时，所提出的方法比LINEMOD、遮挡LINEMOD和YCB-Video数据集有显著的改进。我们还提供了一个仅合成的训练案例，与现有的在训练阶段需要真实图像的方法具有可比的性能。
2020-07-03 cs.CV cs.RO
Globally Optimal Solution to the Generalized Relative Pose Estimation Problem using Affine Correspondences
College of Aerospace Science and Engineering, National University of Defense Technology（航空科学与工程学院，国防科技大学）；Global Navigation Satellite System Research Center, Wuhan University（导航卫星系统研究所，武汉大学）
本文提出了一种利用仿射对应关系的全局最优求解器，用于估计已知垂直方向的通用相对位姿，通过建立成本函数和多项式求解方法，提升了多摄像头系统相对位姿估计的精度。
2025-12-19 cs.CV
Efficient and Robust Absolute Pose Estimation via Gravity-Prior-Driven Transformation Decoupling and Pose Refinement
School of Automation, Southeast University（东南大学自动化学院）；Chair of Robotics, Artificial Intelligence and Real-time Systems, Technical University of Munich（慕尼黑工业大学机器人、人工智能与实时系统讲席）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
本文提出基于重力先验的变换解耦与位姿优化算法，将6自由度绝对位姿估计简化为4自由度，经多数据集实验及集成ORB-SLAM2验证，性能优于现有SOTA方法，可减少轨迹漂移。
2026-09-02 cs.CV
Accurate 3D Hand Pose Estimation for Whole-Body 3D Human Mesh Estimation
Seoul National University（首尔大学）
全身三维人体网格估计的目的是同时重建三维人体，手，脸。虽然已经提出了几种方法，但由于两个原因，由3D手腕和手指组成的3D手的准确预测仍然具有挑战性。首先，在预测3D手腕时没有仔细考虑人体运动链。其次，以前的作品利用身体特征的三维手指，其中身体特征几乎不包含手指信息。为了解决这些局限性，我们提出了Hand4Whole，它比以前的作品有两个优点。首先，我们设计了Pose2Pose，这是一个利用关节特征进行3D关节旋转的模块。使用Pose2Pose，Hand4Whole利用手部MCP关节特征来预测3D手腕，因为MCP关节在很大程度上有助于人体运动链中的3D手腕旋转。其次，Hand4Whole在预测3D手指旋转时丢弃了身体特征。我们的Hand4Whole以端到端的方式进行训练，并产生比以前的全身3D人体网格估计方法更好的3D手部结果。这些代码可在https://github.com/mks0601/Hand4Whole_RELEASE上找到。
2022-04-19 cs.CV
A Novel Method for the Absolute Pose Problem with Pairwise Constraints
Technische Universität München（慕尼黑工业大学）；Fudan University（复旦大学）；Tongji University（同济大学）
绝对位姿估计是计算机视觉中的一个基本问题，它是一个典型的参数估计问题，这意味着解决它的努力将总是遭受离群污染的数据。传统上，对于固定的维度d和测量的数量N，鲁棒估计问题不能比O（N^d）更快地解决。此外，几乎不可能从全局最优算法的运行时间的指数中删除d。然而，绝对位姿估计是一个几何参数估计问题，因此具有特殊的约束条件。在本文中，我们考虑成对约束，并提出了一个全局最优的算法来解决绝对姿态估计问题。该算法具有线性复杂度的对应在给定的离群值比率的数量。具体地说，我们首先利用成对约束解耦旋转和平移子问题，然后我们使用分支定界算法解决旋转子问题。最后，我们使用另一个分支定界算法估计基于已知旋转的平移。我们的方法的优点是通过全面的测试证明合成和真实世界的数据
2019-03-28 cs.CV
A Rotation Invariant Latent Factor Model for Moveme Discovery from Static Poses
California Institute of Technology（加州理工学院）
当训练数据由原始特征空间的低维投影组成时，我们解决了学习旋转不变潜在因子模型的问题。主要目标是发现一组3-D基本姿势，可以表征原始人类运动的流形，或movemes，从训练集的2-D投影姿势从静止图像在不同的摄像机角度。所提出的基础发现技术是数据驱动的，而不是手工设计的。学习的表示是旋转不变的，并且可以从多个视角重建任何训练实例。我们将我们的方法应用于体育运动中的人体姿势建模（通过Leeds Sports Dataset），并在一系列应用中展示了学习基础的有效性，例如活动分类，从单个帧中推断动态，以及运动的合成表示。
2016-09-23 cs.CV cs.LG
PoseRBPF: A Rao-Blackwellized Particle Filter for 6D Object Pose Tracking
NVIDIA（英伟达）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
从视频中跟踪物体的6D姿态为机器人执行不同的任务（如操纵和导航）提供了丰富的信息。在这项工作中，我们制定了6D对象姿态跟踪问题的Rao-Blackwellized粒子滤波框架，其中的3D旋转和3D平移的对象是解耦的。这种因式分解允许我们的方法，称为PoseRBPF，有效地估计对象的3D平移以及3D旋转的完整分布。这是通过以细粒度的方式离散化旋转空间，并训练自动编码器网络来构建用于离散化旋转的特征嵌入的码本来实现的。因此，PoseRBPF可以跟踪具有任意对称性的对象，同时仍然保持足够的后验分布。我们的方法在两个6D姿态估计基准上实现了最先进的结果。一个展示实验的视频可以在https://youtu.be/lE5gjzRKWuA上找到。
2019-05-22 cs.CV cs.RO
Augmenting Vision-Based Human Pose Estimation with Rotation Matrix
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Allameh Tabataba’i（阿拉梅·塔巴塔巴伊大学）；Boston University（波士顿大学）
本研究提出结合旋转矩阵数据增强的姿态估计模型，以提升健身房活动识别准确率，SVM+SGD配合该增强方法达到96%准确率，较基线64%显著提升。
2023-10-09 cs.AI cs.CV
