Rigidity-Aware Detection for 6D Object Pose Estimation
Xidian University（西安电子科技大学）；EPFL（洛桑联邦理工学院）；ClearSpace（ClearSpace公司）；MagicLeap（MagicLeap公司）
最新的6D对象姿态估计方法首先使用目标检测来在实际回归姿态之前获得2D边界框。然而，他们使用的一般目标检测方法不适合处理杂乱的场景，从而对后续的姿态网络产生不良的初始化。为了解决这个问题，我们提出了一个刚性感知的检测方法，利用的事实，在6D姿态估计，目标对象是刚性的。这让我们引入了一种方法，在训练过程中从整个可见对象区域中采样阳性对象区域，而不是天真地从对象可能被遮挡的限界框中心绘制样本。因此，每个可见对象部分可以有助于最终的限界框预测，从而产生更好的检测鲁棒性。我们的方法的成功的关键是一个可见性地图，我们建议建立一个最小的障碍物之间的距离在限界框和框边界的每个像素。我们在七个具有挑战性的6D姿态估计数据集上的结果证明，我们的方法在很大程度上优于一般的检测框架。此外，结合姿态回归网络，我们在具有挑战性的BOP基准上获得了最先进的姿态估计结果。
2023-03-22 cs.CV
6DOF Pose Estimation of a 3D Rigid Object based on Edge-enhanced Point Pair Features
点对特征（PPF）被广泛用于6D姿态估计。在本文中，我们提出了一个有效的6D姿态估计方法的基础上的PPF框架。我们引入了一个有针对性的下采样策略，更侧重于边缘区域的复杂几何形状的有效特征提取。提出了一种通过计算边缘匹配度来解决对称模糊的位姿假设验证方法。我们对两个具有挑战性的数据集和一个真实世界收集的数据集进行评估，证明了我们的方法在几何复杂，遮挡，对称对象的姿态估计上的优越性。我们进一步验证我们的方法，将其应用到模拟穿刺。
2022-09-17 cs.CV
CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds
Peking University（北京大学）；Stanford University（斯坦福大学）；Shandong University（山东大学）；UCSD（加州大学圣地亚哥分校）；Tencent AI Lab（腾讯AI实验室）；Beijing Institute for General AI（北京通用人工智能研究院）
在这项工作中，我们解决了问题的类别级在线姿态跟踪的对象从点云序列。这是第一次，我们提出了一个统一的框架，可以处理新的刚性对象实例的9DoF姿态跟踪，以及从已知类别的铰接对象的每部分姿态跟踪。这里，包括6D姿态和3D尺寸的9DoF姿态等效于具有自由6D姿态的3D非模态限界框表示。给定当前帧的深度点云和上一帧的估计姿态，我们的新型端到端流水线学习准确更新姿态。我们的流水线由三个模块组成：1）一个姿势规范化模块，用于规范化输入深度点云的姿势; 2）RotationNet，一个直接回归小帧间增量旋转的模块; 3）CoordinateNet，一个预测规范化坐标和分割的模块，支持3D大小和平移的分析计算。利用姿势规范化点云中的小姿势机制，我们的方法通过结合密集坐标预测和直接旋转回归来整合两个世界的最佳效果，从而产生针对9DoF姿势精度优化的端到端可微分流水线（而不使用不可微分RANSAC）。我们广泛的实验表明，我们的方法在类别级刚性对象姿态（NOCS-REAL 275）和铰接对象姿态基准（SAPIEN，BMVC）上以最快的FPS ~12实现了新的最先进的性能。
2021-10-21 cs.CV
Canonical Fields: Self-Supervised Learning of Pose-Canonicalized Neural Fields
IIIT-Hyderabad（海得拉巴国际信息技术学院）；Brown University（布朗大学）；Stanford University（斯坦福大学）
提出自监督的CaFi-Net，通过孪生网络提取等变特征，将神经辐射场实例的3D姿态规范化，在13类1300个NeRF模型上表现优于点云方法。
2023-05-17 cs.CV
Adaptive Regularization of Ill-Posed Problems: Application to Non-rigid Image Registration
Oregon Health and Science University（俄勒冈健康与科学大学）；School of Medicine（医学院）；Department of Science and Engineering（科学与工程系）
我们介绍了一种自适应正则化方法。与传统的Tikhonov正则化，它指定了一个固定的正则化算子，我们估计它同时与参数。从贝叶斯的角度来看，我们估计参数的先验分布，假设它接近某个给定的模型分布。我们将先验分布约束为高斯-马尔可夫随机场（GMRF），这使我们能够解析地求解先验分布并提供快速优化算法。我们将我们的方法应用于非刚性图像配准，以估计两幅图像之间的空间变换。我们的评估表明，自适应正则化方法显着优于标准变分方法。
2009-06-17 cs.CV
Root Pose Decomposition Towards Generic Non-rigid 3D Reconstruction with Monocular Videos
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；Tsinghua University（清华大学）；RealAI（瑞莱智慧）
该研究提出根位姿分解（RPD）方法，无需已知根位姿、类别模板或稠密先验，通过逐帧根位姿变换加局部变换稠密场校正的方式，实现单目视频下通用非刚性物体的高保真三维重建，在多数据集上性能超越现有最优方法。
2023-08-19 cs.CV
Learning Canonical Shape Space for Category-Level 6D Object Pose and Size Estimation
National University of Defense Technology（国防科技大学）
我们提出了一种新的方法，类别级的6D对象的姿态和大小估计。为了解决类内形状变化，我们学习规范形状空间（CASS），这是某个对象类别的大量实例的统一表示。特别地，CASS被建模为具有归一化姿态的规范3D形状的深度生成模型的潜在空间。我们训练一个变分自动编码器（VAE），用于从RGBD图像生成正则空间中的3D点云。VAE以跨类别的方式进行训练，利用公开的大型3D形状库。由于3D点云是以标准化姿态（具有实际大小）生成的，因此VAE的编码器学习视图分解的RGBD嵌入。它将任意视角下的RGBD图像映射为姿态无关的3D形状表示。然后通过将其与用单独的深度神经网络提取的输入RGBD的姿态相关特征进行对比来估计对象姿态。我们将CASS的学习以及姿态和大小估计集成到一个端到端的可训练网络中，实现了最先进的性能。
2021-11-21 cs.CV
ACR-Pose: Adversarial Canonical Representation Reconstruction Network for Category Level 6D Object Pose Estimation
最近，类别级的6D对象姿态估计已经取得了显着的改进与重建规范的3D表示的发展。然而，现有方法的重建质量仍然远远不够好。在本文中，我们提出了一种新的对抗规范表示重建网络ACR-Pose。ACR-Pose由一个Reconstructor和一个Discriminator组成。重构器主要由两个新的子模块组成：姿势无关模块（PIM）和关系重构模块（RRM）。PIM倾向于学习规范相关的特征，使重建器对旋转和平移不敏感，而RRM探索不同输入模态之间的基本关系信息，以生成高质量的特征。随后，一个鉴别器被用来指导重建器生成真实的规范表示。重构器和鉴别器通过对抗训练学习优化。在流行的NOCS-CAMERA和NOCS-REAL数据集上的实验结果表明，我们的方法达到了最先进的性能。
2021-11-20 cs.AI cs.CV
Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出伴随刚体变换网络（ART），通过自监督和旋转等变性约束学习将三维形状对齐到规范方向，可集成到多种三维网络中，显著提升形状重建、插值、非刚体配准和潜在解耦等任务的性能。
2023-10-27 cs.CV
CanFields: Consolidating Diffeomorphic Flows for Non-Rigid 4D Interpolation from Arbitrary-Length Sequences
University of Edinburgh（爱丁堡大学）
本文提出CanFields方法，通过动态整合器模块和微分同胚流表示，将任意长度3D点云序列无监督地插值为连贯的4D变形形状，有效避免了几何伪影并提升了细节与鲁棒性。
2025-06-26 cs.CV cs.GR
Fast Pose Tracking of Rigid Objects with Compact Pose Graph Optimization
University of Technology Nuremberg（纽伦堡工业大学）；Lund University（隆德大学）
本文提出一种基于紧凑位姿图优化的轻量级跟踪模块，将其应用于多种对应估计方法，实现了低成本、高精度的刚体长时6D位姿跟踪。
2026-10-09 cs.CV
EffiScene: Efficient Per-Pixel Rigidity Inference for Unsupervised Joint Learning of Optical Flow, Depth, Camera Pose and Motion Segmentation
Xidian University（西安电子科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Xidian Guangzhou Institute of Technology（西安电子科技大学广州研究院）
本文解决了具有挑战性的无监督场景流估计问题，通过联合学习四个低级视觉子任务：光流$\textbf{F}$，立体深度$\textbf{D}$，相机姿态$\textbf{P}$和运动分割$\textbf{S}$。我们的关键见解是，场景的刚性与对象运动和场景深度共享相同的固有几何结构。因此，可以通过联合耦合$\textbf{F}$、$\textbf{D}$和$\textbf{P}$来推断来自$\textbf{S}$的刚性，以实现更鲁棒的估计。为此，我们提出了一种新的场景流框架EffiScene，它具有高效的联合刚性学习，超越了现有的具有独立辅助结构的管道。在EffiScene中，我们首先在粗略的水平上估计光流和深度，然后通过Perspective-$n$-Points方法计算相机位姿。为了共同学习局部刚性，我们设计了一个新的运动刚性（RfM）层，该层具有三个主要组成部分：\emph{}{(i)}相关提取; \emph{}{(ii)}边界学习;和\emph{}{(iii)}离群值排除。最终输出基于来自RfM的刚性图$M_R$在更精细的水平上进行融合。为了有效地训练EffiScene，设计了两个新的损失$\mathcal{L}_{bnd}$和$\mathcal{L}_{unc}$，以防止平凡的解决方案和正则化流动边界不连续性。在场景流基准KITTI上进行的大量实验表明，该方法是有效的，并显著…
2021-05-15 cs.CV
Cross-pose Face Recognition by Canonical Correlation Analysis
National University of Singapore（新加坡国立大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
姿态问题是自动人脸识别的瓶颈之一。我们认为，在这个问题中的困难之一是严重的不对齐的人脸图像或特征向量与不同的姿态。在本文中，我们提出，这个问题可以在统计上解决或至少减轻通过典型相关分析（CCA）最大化的主题内跨姿势相关性。在我们的方法中，基于具有相同身份和两个不同姿势的耦合人脸图像的数据集，CCA同时学习两个线性变换，每个变换对应一个姿势。在变换后的子空间中，不同姿态之间的对象内相关性被最大化，这意味着实现了姿态不变性或姿态鲁棒性。实验结果表明，该方法可以大大提高识别性能。如果进一步增强整体+局部特征表示，性能可以与最先进的技术相媲美。
2015-07-29 cs.CV
Ki-Pode: Keypoint-based Implicit Pose Distribution Estimation of Rigid Objects
刚体的6维位姿估计是计算机视觉中的一个基本问题。传统上，姿态估计涉及单个最佳估计的确定。然而，一个单一的估计是无法表达的视觉模糊，这在许多情况下是不可避免的，由于对象的对称性或遮挡的识别功能。不能考虑姿态中的模糊性可能导致后续方法的失败，这在失败成本高时是不可接受的。完整的姿态分布的估计，相反，单一的估计，非常适合表达的姿态不确定性。受此启发，我们提出了一种新的姿态分布估计方法。一个隐式公式的概率分布的对象姿态是来自一个中间表示的对象作为一组关键点。这确保姿态分布估计具有高水平的可解释性。此外，我们的方法是基于保守的近似，这导致可靠的估计。该方法已被评估的YCB-V和T-LESS数据集上的旋转分布估计的任务，并在所有对象上可靠地执行。
2022-09-20 cs.AI cs.CV cs.LG
SignMimic: Robust High-Quality Sign Language Motion Generation via Human-Shape-Oblivious Pose Transfer Guidance
New York University Abu Dhabi（纽约大学阿布扎比分校）；ChatSign Technology（ChatSign 科技）
SignMimic通过分解刚体规范化、非刚体适应和姿态补全，利用SE(3)和NIF2D等技术，实现高质量手语视频生成，在多个数据集上达到最先进性能。
2026-09-25 cs.CV
Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling
The Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
针对现有3D人体姿态估计方法缺乏运动姿态变形建模的问题，提出结合非刚性运动恢复结构思路的新方法，搭配扩散运动先验，在主流数据集上取得了优于SOTA的性能。
2023-08-18 cs.AI cs.CV
Toward Efficient Generalization in 3D Human Pose Estimation via a Canonical Domain Approach
School of Integrated Technology, Gwangju Institute of Science and Technology (GIST)（光州科学技术院综合技术学院）
提出一种规范域方法，将源域和目标域映射到统一规范域并生成2D-3D姿态映射，无需目标域微调即可显著提升3D人体姿态估计的跨数据集泛化能力。
2025-01-27 cs.AI cs.CV
CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors
Center for Machine Vision and Signal Analysis (CMVS), University of Oulu（奥卢大学机器视觉与信号分析中心）；ELLIS Institute Finland（芬兰ELLIS研究所）；Zhejiang University（浙江大学）
研究针对深度远程光电容积脉搏波描记法在头部姿态下性能下降问题，提出CanonicalPhys方法，通过添加可微四点单应性变换固定面部锚点到规范位置，利用规范框架表示相关先验，有效降低姿态影响，减少MAE退化。
2026-07-20 cs.CV cs.LG
Emergence of a Shared Canonical Object Frame from In-the-Wild Videos
University of Technology Nuremberg（图腾技术大学努尔堡分校）；Google（谷歌）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨中心CISPA）
提出一种自监督方法，利用野外物体视频和SfM噪声相机位姿，通过共享粗规范网格学习密集对应，无需标注即可涌现规范框架，在类别级位姿估计上达到竞争性精度。
2026-06-29 cs.CV
Breaking the Rigid Prior: Towards Articulated 3D Anomaly Detection
ShanghaiTech University（上海科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出ArtiAD基准，通过15229个点云数据和六种结构异常类型，解决铰链或滑动关节物体的3D异常检测问题，引入SPA-SDF方法，通过连续姿态条件隐式场实现刚性先验的替代，提升检测性能。
2026-04-29 cs.CV
Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）；Northwestern Polytechnical University（西北工业大学）；ZMO AI Inc.（ZMO人工智能公司）
在这份报告中，我们专注于重建在规范空间中的多个视图和姿势的人作为输入的衣服的人。为了实现这一点，我们利用SMPLX模型在规范空间中的几何先验来学习几何重建的隐式表示。基于观察到的构成网格和规范空间中的网格之间的拓扑结构是一致的，我们提出了学习潜在代码的构成网格利用多个输入图像，然后分配潜在代码的规范空间中的网格。具体来说，我们首先利用法线和几何网络来提取SMPLX网格上每个顶点的特征向量。与2D图像相比，法线映射被采用以更好地泛化到不可见的图像。然后，从多个图像的姿态网格上的每个顶点的特征是由MLP集成。作为潜在代码的集成功能锚定到SMPLX网格在规范空间。最后，每个三维点的潜在代码被提取并用于计算SDF。我们的工作，重建人体形状的规范姿势达到第三次性能的WCPA MVP-人体挑战赛。
2022-12-06 cs.CV
ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes
IIIT-Hyderabad（印度海得拉巴国际信息技术研究所）；Stanford University（斯坦福大学）；KAIST（韩国科学技术院）；Brown University（布朗大学）
3D对象理解的进展依赖于手动规范化的形状数据集，这些数据集包含具有一致位置和方向（3D姿态）的实例。这使得很难将这些方法推广到野外形状，例如，来自互联网模型集合或深度传感器。ConDor是一种自我监督的方法，可以学习规范化完整和部分3D点云的3D方向和位置。我们建立在张量场网络（Tensor Field Networks，TFN）之上，这是一类置换和旋转等变以及平移不变的3D网络。在推理过程中，我们的方法以任意姿态获取看不见的完整或部分3D点云，并输出等变规范姿态。在训练过程中，该网络使用自我监督损失从完整和部分3D点云的非规范化集合中学习规范姿势。ConDor还可以在没有任何监督的情况下学习一致地共同分割对象部分。四个新指标的大量定量结果表明，我们的方法优于现有的方法，同时使新的应用程序，如深度图像和注释传输的操作。
2022-04-14 cs.AI cs.CV cs.LG
CAMS: CAnonicalized Manipulation Spaces for Category-Level Functional Hand-Object Manipulation Synthesis
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
在这项工作中，我们专注于一个新的任务类别级的功能性手对象操作合成涵盖刚性和铰接对象类别。给定一个对象的几何形状，一个初始的人手姿势以及一个稀疏的控制序列的对象构成，我们的目标是生成一个物理上合理的手对象的操作序列，像人类一样执行。为了解决这样的挑战，我们首先设计CAonicalized操纵空间（CAMS），一个两级的空间层次结构，规范化的手构成以对象为中心和接触为中心的视图。受益于CAMS的表示能力，我们提出了一个两阶段的框架，合成类人操纵动画。我们的框架实现了最先进的性能为刚性和铰接类别与令人印象深刻的视觉效果。代码和视频结果可以在我们的项目主页上找到：https://cams-hoi.github.io/
2023-03-25 cs.CV
GarmentNets: Category-Level Pose Estimation for Garments via Canonical Space Shape Completion
Columbia University（哥伦比亚大学）
本文处理的任务类别级姿态估计的服装。由于几乎无限的自由度，服装的完整配置（即，姿态）通常由其整个3D表面的逐顶点3D位置来描述。然而，服装通常也会受到自遮挡的极端情况的影响，特别是在折叠或起皱时，这使得感知其完整的3D表面变得具有挑战性。为了解决这些挑战，我们提出了GarmentNets，其关键思想是将可变形对象的姿态估计问题制定为规范空间中的形状完成任务。该规范空间是在类别内的服装实例之间定义的，因此，指定了共享的类别级姿势。通过将观察到的部分表面映射到规范空间并在该空间中完成它，输出表示使用具有逐顶点规范坐标标签的完整3D网格来描述服装的完整配置。为了正确处理薄的3D结构上的服装，我们提出了一种新的3D形状表示使用广义缠绕数字段。实验表明，GarmentNets是能够推广到看不见的服装实例，并实现显着更好的性能相比，其他方法。
2021-08-13 cs.CV cs.LG cs.RO
PriorPose: Reference-Guided Joint Deformation and Alignment for Category-Level Object Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Beijing Institute of Control Engineering（北京控制工程研究所）
PriorPose提出参考引导的联合变形与对齐框架，显式利用类别先验，在共享特征空间联合预测NOCS场和规范变形，以提升类别级物体姿态估计的精度与鲁棒性。
2026-09-16 cs.CV
Moving SLAM: Fully Unsupervised Deep Learning in Non-Rigid Scenes
HKUST（香港科技大学）；University of Oxford（牛津大学）
我们提出了一种训练深度网络的方法，将视频分解为3D几何形状（相机和深度），移动对象及其运动，无需监督。我们建立在视图合成的想法，它使用经典的相机几何重新渲染源图像从不同的视点，由预测的相对姿势和深度图指定。通过最小化合成图像与视频中对应的真实图像之间的误差，可以完全无监督地训练预测姿势和深度的深度网络。然而，视图合成方程依赖于一个强有力的假设：对象不移动。这种刚性世界假设限制了预测能力，并排除了自动学习对象的可能性。我们提出了一个简单的解决方案：最小化图像小区域的误差。虽然场景作为一个整体可能是非刚性的，但总是可以找到近似刚性的小区域，例如移动对象内部。然后，我们的网络可以在一个滑动窗口中从学习的密集姿势图中预测每个区域的不同姿势。这代表了一个非常丰富的模型，包括6D对象运动，几乎没有额外的复杂性。我们在KITTI上实现了非常有竞争力的无监督测距和深度预测性能。我们还展示了EPIC-Kitchener的新功能，这是一个具有挑战性的室内视频数据集，其中没有深度，里程计，对象分割或运动的地面真实信息。然而，所有这些都是通过我们的方法自动恢复的。
2021-06-01 cs.CV
Self-Supervised Multi-View Synchronization Learning for 3D Pose Estimation
University of Bern（伯尔尼大学）
当前最先进的方法通过在图像和相应的骨架姿态的大数据集上训练神经网络来将单目3D人体姿态估计作为学习问题。相比之下，我们提出了一种方法，可以利用小的注释数据集微调网络预训练通过自监督学习（大）未标记的数据集。为了在预训练步骤中推动此类网络支持3D姿态估计，我们引入了一种新的自监督特征学习任务，旨在关注图像中的3D结构。我们利用从多视角相机系统捕获的视频中提取的图像。我们的任务是分类是否两幅图像描绘了同一场景的两个视图到一个刚性变换。在多视图数据集中，其中对象以非刚性方式变形，刚性变换仅发生在完全相同时间拍摄的两个视图之间，即，当它们同步时。我们证明了Human3.6M数据集上的同步任务的有效性，并在3D人体姿态估计中取得了最先进的结果。
2020-10-13 cs.CV
Shape-Pose Disentanglement using SE(3)-equivariant Vector Neurons
Tel Aviv University（特拉维夫大学）；Hebrew University of Jerusalem（希伯来大学）
我们引入了一个无监督的技术编码点云到一个规范的形状表示，通过解开形状和姿势。我们的编码器是稳定和一致的，这意味着形状编码是纯粹的姿势不变的，而提取的旋转和平移能够语义对齐同一类的不同输入形状到一个共同的规范姿势。具体来说，我们设计了一个自动编码器的基础上，矢量神经元网络，旋转等变神经网络，其层，我们扩展到提供除了旋转等方差的旋转等方差。由此产生的编码器产生的姿势不变的形状编码的建设，使我们的方法专注于学习一个一致的规范构成的一类对象。定量和定性实验验证了我们的方法优越的稳定性和一致性。
2022-04-03 cs.CV
CharacterGen: Efficient 3D Character Generation from Single Images with Multi-View Pose Canonicalization
Zhili College, Tsinghua University（知行书院，清华大学）；VAST（VAST机构）
针对单图生成3D角色面临的姿态复杂、自遮挡等难题，研究提出CharacterGen框架，结合多视角扩散模型、稀疏视角重建模型与纹理反投影策略，搭配自建动漫数据集，实现了高质量3D角色的高效生成。
2024-07-10 cs.CV
Canonical Capsules: Self-Supervised Capsules in Canonical Pose
University of British Columbia（不列颠哥伦比亚大学）；University of Victoria（维多利亚大学）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）
我们提出了一个自监督胶囊架构的三维点云。我们通过置换等变注意力计算对象的胶囊分解，并通过随机旋转对象对的训练来自我监督过程。我们的主要思想是将注意力掩码聚合成语义关键点，并使用这些来监督满足胶囊不变性/等变性属性的分解。这不仅可以训练语义一致的分解，还可以让我们学习规范化操作，从而实现以对象为中心的推理。为了训练我们的神经网络，我们既不需要分类标签，也不需要手动对齐的训练数据集。然而，通过以自我监督的方式学习以对象为中心的表示，我们的方法在3D点云重建，规范化和无监督分类方面优于最先进的方法。
2021-11-24 cs.CV cs.LG
Self-learning Canonical Space for Multi-view 3D Human Pose Estimation
ShanghaiTech University（上海科技大学）；United Imaging Intelligence（联影智能）
本文提出完全自监督的级联多视角聚合网络CMANet，通过构建规范参数空间整合视角内与视角间信息，分两阶段学习相机位姿和SMPL参数，实现优于现有方法的多视角三维人体姿态估计。
2024-03-29 cs.CV
RECON: Robust symmetry discovery via Explicit Canonical Orientation Normalization
Department for AI in Society, Science, and Technology, Zuse Institute Berlin (ZIB)（人工智能与社会、科学与技术部门，柏林Zuse研究所）；Cartesia AI；Institute of Mathematics, Technische Universität Berlin（数学研究所，柏林技术大学）
RECON通过显式规范定向归一化纠正任意规范，实现实例特定姿态分布的无监督发现，检测异常姿态并提升模型性能。
2026-05-08 cs.CV cs.LG
Category-Level Articulated Object Pose Estimation
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；Columbia University（哥伦比亚大学）
该项目解决了从单个深度图像中对铰接对象进行类别级姿态估计的任务。我们提出了一种新的类别级方法，可以正确地容纳以前在训练过程中看不到的对象实例。我们介绍了关节感知规范化坐标空间层次结构（ANCSH）-一个规范的表示在给定的类别中不同的关节对象。作为实现类内泛化的关键，该表示构造了一个规范的对象空间和一组规范的部分空间。规范对象空间规范化对象取向、尺度和关节（例如，关节参数和状态），而每个规范部件空间进一步规范化其部件姿态和尺度。我们开发了一个基于PointNet++的深度网络，它可以从单个深度点云预测ANCSH，包括规范对象空间中的部分分割、归一化坐标和关节参数。通过利用规范化的关节，我们证明：1）使用来自关节的诱导运动学约束改进了部分姿态和尺度估计的性能; 2）相机空间中关节参数估计的高精度。
2020-04-08 cs.AI cs.CV cs.RO
Monocular Visual 8D Pose Estimation for Articulated Bicycles and Cyclists
Huawei Noah’s Ark Lab（华为诺亚实验室）
针对自动驾驶中铰接式自行车与骑行者，提出单目8D姿态估计方法，在6D基础上增加转向和踏板旋转参数，联合估计8D姿态与3D关键点，混合训练数据，性能优于现有6D方法。
2025-10-23 cs.CV
Unsupervised Learning of Depth, Optical Flow and Pose with Occlusion from 3D Geometry
Beijing Institute of Control Engineering（北京控制工程研究所）；DeepBlue Academy of Sciences（深蓝科学院）
在自动驾驶中，单目序列包含大量信息。单目深度估计、摄像机自运动估计和连续帧中的光流估计是最近备受关注的问题。通过对上述任务的分析，将中间帧中的像素建模为三部分：刚性区域、非刚性区域和遮挡区域。在深度和姿态的联合无监督训练中，我们可以显式地分割遮挡区域。由于深度-姿态和光流重建的图像在被遮挡区域无效，因此将遮挡信息用于深度、姿态和光流的无监督学习。在深度和姿态网络的训练中，设计了小于均值的掩模以进一步排除受运动或光照变化干扰的失配像素。在光流网络的训练过程中，该方法也被用来排除一些无关紧要的不匹配像素。提出了深度平滑项的最大归一化，以抑制无纹理区域的深度退化。在遮挡区域中，由于深度和相机运动可以提供更可靠的运动估计，因此它们可以用于指导光流的无监督学习。我们在KITTI数据集上的实验表明，基于三个区域的模型，完全和显式分割的遮挡区域，刚性区域和非刚性区域与相应的无监督损失可以显着提高三个任务的性能。源代码可在https://github.com/guangmingw/DOPlearning上获得。
2020-08-20 cs.CV
Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
本文提出通过规范UV映射实现无配对全身肖像合成，利用UV空间解耦姿态与外观，结合多图微调确保身份一致性，生成高质量肖像以提升虚拟试衣等应用的精度。
2026-07-08 cs.CV
A Wide-area, Low-latency, and Power-efficient 6-DoF Pose Tracking System for Rigid Objects
Siemens Healthineers（西门子医疗）
位置敏感检测器（PSD）提供了以高精度跟踪单个有源标记的两个（或三个）自由度（DoF）位置的可能性，同时具有快速响应时间和高更新频率以及低延迟，所有这些都使用非常简单的信号处理电路。然而，由于缺乏方向测量、有限的跟踪范围以及对环境变化的敏感性，它们不是特别适合于6-DoF对象姿态跟踪系统。我们提出了一种新的6自由度姿态跟踪系统的刚性物体跟踪需要一个单一的主动标记。所提出的系统使用基于立体的PSD对和多个惯性测量单元（IMU）。这是基于一种实用的方法来识别和控制红外发光二极管（IR-LED）有源标记的功率，目的是增加跟踪工作空间并降低功耗。我们提出的跟踪系统验证了三种不同的工作空间大小和静态和动态的位置精度，使用三种不同的动态运动模式的机械臂机械手。结果表明，该系统的静态位置均方根误差为0.6mm。动态位置均方根误差为0.7-0.9mm。在不同的动态运动条件下，定位均方根误差在0.04 ~ 0.9 °之间。总的来说，我们提出的跟踪系统是能够跟踪一个刚性物体的姿态与亚毫米精度在工作空间的中间范围和亚度精度的所有工作空间下的实验室设置。
2022-01-10 cs.CV cs.RO cs.SY
Every9D-22M: Large-Scale Real-World 9D Canonicalization of Everyday Objects
University of Freiburg（弗赖堡大学）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨研究中心）
针对真实世界9D姿态数据缺乏的问题，提出包含2180万张图像、700类物体的Every9D-21M数据集，通过多视图几何重建点云并跨实例对齐实现大规模标注，验证了其在多个基准上的性能提升。
2026-11-03 cs.CV
DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）
本文提出对偶点图DualPM，通过从同一图像提取物体3D位置点图和规范化静止姿态点图，将可变形物体的3D形状与姿态重建及非模态完整形状恢复简化为点图预测，在四足动物建模上实现显著改进。
2025-08-14 cs.CV
SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
神经隐式表面表示已经成为一种有前途的范例，以连续和分辨率无关的方式捕获3D形状。然而，使它们适应铰接的形状并非易事。现有方法学习将变形映射到规范点的向后扭曲场。然而，这是有问题的，因为向后扭曲场是姿势相关的，因此需要大量数据来学习。为了解决这个问题，我们引入了SNARF，它结合了多边形网格的线性混合蒙皮（LBS）与神经隐式曲面的优点，通过学习向前变形场而无需直接监督。这个变形场是在规范的，姿势独立的空间中定义的，允许泛化到看不见的姿势。单独从已设定的网格中学习变形场是具有挑战性的，因为变形点的对应关系是隐式定义的，并且在拓扑变化下可能不是唯一的。我们提出了一个前向蒙皮模型，发现所有的正则对应的任何变形点，使用迭代求根。我们通过隐式微分推导出分析梯度，从而实现从具有骨骼变换的3D网格的端到端训练。与最先进的神经隐式表示相比，我们的方法更好地推广到看不见的姿势，同时保持准确性。我们展示了我们的方法在具有挑战性的情况下（穿着）3D人类在不同的和看不见的姿势。
2021-11-29 cs.CV
CanoVerse: 3D Object Scalable Canonicalization and Dataset for Generation and Pose
SDU（1 南开大学）；LIGHTSPEED（2 LIGHTSPEED）；UNC Chapel Hill（3 匹兹堡大学柴尔德斯分校）；HKUST（4 香港理工大学）；PKU（5 北京大学）
CanoVerse通过大规模规范3D数据集提升3D生成稳定性，实现跨模态检索与零样本点云方向估计
2026-03-07 cs.CV
Exploiting Implicit Rigidity Constraints via Weight-Sharing Aggregation for Scene Flow Estimation from Point Clouds
本文提出一种隐式利用刚性约束的权重共享聚合(WSA)方法和形变度模块，并将其集成到PointPWC-Net构建WSAFlowNet，在FlyingThings3D和KITTI数据集上大幅提升了场景流估计性能。
2023-04-01 cs.CV
INV-Flow2PoseNet: Light-Resistant Rigid Object Pose from Optical Flow of RGB-D Images using Images, Normals and Vertices
University of Kaiserslautern（凯泽斯劳滕大学）；DFKI GmbH（德国人工智能研究中心有限公司）
本文提出了一种新的架构，同时估计高精度的光流和刚性场景变换的困难的情况下，亮度假设是违反强阴影变化。在旋转对象或移动光源的情况下，例如在黑暗中驾驶汽车时遇到的情况，场景外观通常会从一个视图到下一个视图发生显著变化。不幸的是，用于计算光流或姿态的标准方法基于场景中的特征的外观在视图之间保持恒定的期望。这些方法在调查的案件中可能经常失败。该方法融合纹理和几何信息，结合图像，顶点和法线数据计算光照不变的光流。通过使用由粗到细的策略，学习全局锚定的光流，从而减少错误的基于阴影的伪对应的影响。基于学习的光流，提出了第二种架构，该架构从翘曲的顶点和法线映射预测鲁棒的刚性变换。特别注意的是，强烈的旋转，这往往会导致这种阴影的变化的情况。因此，提出了一个3步的程序，利用法线和顶点之间的相关性。该方法已在一个新创建的数据集上进行了评估，该数据集包含具有强烈旋转和阴影效果的合成数据和真实数据。该数据代表了3D重建中的典型用例，其中对象通常在部分重建之间以较大的步长旋转。此外，我们将该方法应用于著名的Kitti Odometry数据集。即使由于满足亮度假设，这不是该方法的典型用例，也因此建立了对标准情况的适用性以及与其他方法的关系。
2022-09-14 cs.CV
Learning Complex Non-Rigid Image Edits from Multimodal Conditioning
Georgia Institute of Technology（佐治亚理工学院）；Google, Inc.（谷歌公司）
本文针对人物图像插入新场景的可控编辑问题，基于Stable Diffusion构建方法，提出用多模态LLM生成姿态差异文本的新型数据集，结合弱监督与2D姿态提升人物-物体交互生成质量。
2024-12-13 cs.CV
Multiview 2D/3D Rigid Registration via a Point-Of-Interest Network for Tracking and Triangulation ($\text{POINT}^2$)
University of Rochester（罗切斯特大学）；University of Maryland, College Park（马里兰大学帕克分校）；Rutgers University（罗格斯大学）；Z2W Corporation（Z2W公司）；Chinese Academy of Sciences（中国科学院）；Peng Cheng Laboratory（鹏城实验室）
我们建议通过一个用于跟踪和三角测量的兴趣点网络（$\text{POINT}^2$）来解决多视图2D/3D刚性配准问题。$\text{POINT}^2$通过跟踪一组随机POI来学习在介入前和介入中图像之间建立2D点对点对应关系。然后通过三角测量层估计介入前体积的3D姿态。在$\text{POINT}^2$中，POI跟踪器和三角测量层的统一框架使得能够联合地学习信息丰富的2D特征和估计3D姿态。与现有方法相比，$\text{POINT}^2$仅需要单个前向通过来实现可靠的2D/3D配准。由于POI跟踪器是平移不变的，因此$\text{POINT}^2$对3D介入前图像的初始姿态更鲁棒。在大规模临床锥束CT（CBCT）数据集上的大量实验表明，所提出的$\text{POINT}^2$方法在准确性、鲁棒性和运行时间方面优于现有的基于学习的方法。此外，当用作初始姿态估计器时，我们的方法还将最先进的基于优化的方法的鲁棒性和速度提高了十倍。
2020-12-22 cs.CV
Invertible Neural Warp for NeRF
Adelaide University（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
本文提出将相机位姿建模为可学习的刚性扭曲函数，并采用可逆神经网络结合几何约束实现位姿与NeRF的同步优化，在合成和真实数据集上优于现有基线。
2024-07-17 cs.CV
Category-Level 3D Non-Rigid Registration from Single-View RGB Images
University of Bonn（波恩大学）
在本文中，我们提出了一种新的方法来解决三维非刚性配准问题，从RGB图像使用卷积神经网络（CNN）。我们的目标是找到一个变形场（通常用于在实例之间传递知识，例如，掌握技能），其将给定的3D规范模型扭曲成由单视图RGB图像观察到的新颖实例。这是通过训练CNN来完成的，该CNN为规范模型的可见部分推断变形场，并且通过采用学习的形状（潜在）空间来推断被遮挡部分的变形。作为配准的结果，重建所观察的模型。因为我们的方法不需要深度信息，所以它可以配准通常难以用RGB-D传感器感知的物体，例如具有透明或闪亮表面的物体。即使没有深度数据，我们的方法优于相干点漂移（CPD）注册方法的评估对象类别。
2020-08-17 cs.CV cs.RO
ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University（首尔国立大学）；Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF，去除对真实相机姿态的依赖，有效捕捉复杂3D场景结构，在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
Pose Estimation of Specific Rigid Objects
Czech Technical University in Prague（布拉格捷克理工大学）
在这篇论文中，我们解决了从单个RGB或RGB-D输入图像估计刚性物体的6D姿态的问题，假设物体的3D模型是可用的。该问题对于机器人操作、增强现实和自动驾驶等许多应用领域都具有重要意义。首先，我们提出了EPOS，一种从RGB图像进行6D对象姿态估计的方法。其核心思想是用紧凑的表面碎片来表示物体，并通过神经网络预测输入图像中每个像素处相应碎片的概率分布。每个像素都与数据相关的片段数量相关联，这允许系统地处理对称性，并且通过基于RANSAC的拟合方法从链接中估计6D姿态。EPOS在几个标准数据集上优于所有RGB和大多数RGB-D和D方法。其次，我们提出了HashMatch，一种RGB-D方法，该方法在输入图像上滑动窗口并搜索与模板匹配的匹配，这些模板是通过在不同方向上渲染3D对象模型而预先生成的。该方法对每个窗口位置应用级联的评估阶段，这避免了对所有模板的穷举匹配。第三，我们提出了ObjectSynth，一种基于神经网络的训练方法来合成三维物体模型的真实感图像的方法。与通常使用的在随机照片上渲染的对象图像相比，这些图像产生了实质性的改进。第四，我们介绍了T-LESS，这是第一个用于6D对象姿态估计的数据集，其中包括行业相关对象的3D模型和RGB-D图像。第五，我们定义了BOP，这是一个反映该领域现状的基准。BOP包括11个统一格式的数据集、一种评估方法、一个在线评估系统以及在ICCV和E…
2021-12-30 cs.AI cs.CV cs.GR
BOP Challenge 2022 on Detection, Segmentation and Pose Estimation of Specific Rigid Objects
German Aerospace Center（德国航空航天中心）；TU Munich（慕尼黑工业大学）；Reality Labs at Meta（Meta现实实验室）；INRIA Paris（巴黎法国国家信息与自动化研究所）；Tsinghua University（清华大学）；Niantic（Niantic公司）；MVTec（MVTec公司）；Heidelberg University（海德堡大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们介绍了BOP Challenge 2022的评估方法、数据集和结果，这是一系列公开竞赛中的第四场，旨在从RGB/RGB-D图像中捕捉6D对象姿态估计领域的现状。在2022年，我们见证了姿态估计精度的另一个显著提高-最先进的水平，2019年为56.9 AR $_C$（Vidal等人）。和69.8 AR $_C$在2020年（Cosypose），移动到83.7 AR $_C$（GDRNPP）的新高度。在2019年以来评估的49种姿态估计方法中，前18种来自2022年。基于点对特征的方法于2010年推出，即使在2020年也取得了有竞争力的结果，现在深度学习方法的表现明显优于点对特征。合成域与真实域之间的差距再次显著减小，GDRNPP仅在来自BlenderProc的合成图像上训练获得82.7 AR $_C$。GDRNPP的最快变体达到80.5 AR $_C$，每个图像的平均时间为0.23 s。由于大多数最近的6D对象姿态估计方法都是从检测/分割对象开始的，因此我们也开始基于COCO指标评估2D目标检测和分割性能。与2020年Cosypose的Mask R-CNN结果相比，检测从60.3 AP $_C$提高到77.3 AP，分割从40.5 AP $_C$提高到58.7 AP。在线评估系统保持开放状态，可在以下网址访问：\href{http://bop.felk.cvut.cz/}{bop…
2023-02-25 cs.CV
Joint Rigid Motion Correction and Sparse-View CT via Self-Calibrating Neural Field
ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
神经辐射场（NeRF）作为一种自监督深度学习框架，在稀疏视图计算机断层扫描（SVCT）重建任务中受到广泛关注。基于NeRF的SVCT方法将期望的CT图像表示为空间坐标的连续函数，并且训练多层感知器（MLP）通过最小化SV正弦图上的损失来学习函数。利用NeRF提供的连续表示，可以重建出高质量的CT图像。然而，现有的基于NeRF的SVCT方法严格假设在CT采集期间完全没有相对运动，因为它们需要\textit{accurate}投影姿态来对扫描SV正弦图的X射线进行建模。因此，这些方法对于具有运动的真实SVCT成像遭受严重的性能下降。在这项工作中，我们提出了一个自校准的神经场恢复伪影的图像从刚性运动损坏的SV正弦图，而不使用任何外部数据。具体来说，我们参数化的不准确的投影造成的刚性运动作为可训练的变量，然后联合优化这些姿态变量和MLP。我们在一个公共的CT图像数据集上进行数值实验。结果表明，我们的模型显着优于两个代表性的NeRF为基础的方法SVCT重建任务与四个不同级别的刚性运动。
2022-11-06 cs.CV eess.IV
Self-Supervised Category-Level Articulated Object Pose Estimation with Part-Level SE(3) Equivariance
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Fudan University（复旦大学）；Shenzhen University（深圳大学）；Kuaishou Technology（快手科技）；Peking University（北京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
类别级铰接对象姿态估计旨在从已知类别中估计看不见的铰接对象的铰接感知对象姿态的层次结构。为了减少监督学习方法所需的大量注释，我们提出了一种新的自监督策略，该策略在没有任何人类标签的情况下解决了这个问题。我们的主要思想是因式分解规范的形状和关节的对象构成从输入关节形状通过部分级的等变形状分析。具体来说，我们首先引入了部分级SE（3）等方差的概念，并设计了一个网络来学习这种属性的特征。然后，通过精心设计的细粒度的姿态-形状解纠缠策略，我们期望能够自动地诱导出支持姿态估计的正则空间。因此，我们可以进一步预测铰接对象姿势作为每个部件的刚性变换，描述部件如何从其规范部件空间变换到相机空间。大量的实验表明，我们的方法的有效性，从合成和真实的铰接对象数据集的完整和部分点云。
2023-02-28 cs.CV
SCoPE-Reg: Efficient Rigid Ultrasound Slice-to-Volume Registration via State-Space Correlation and Closed-Form Pose Estimation
Institute for AI in Medicine (IKIM), University Hospital Essen（埃森大学医院医学人工智能研究所（IKIM））；RACOON Study Group, Site Essen（RACOON研究组埃森站点）；Department of Physics, Technical University Dortmund（多特蒙德工业大学物理系）；German Cancer Consortium (DKTK), Partner Site Essen（德国癌症联盟（DKTK）埃森合作站点）；Medical Faculty and Faculty of Computer Science, University of Duisburg-Essen（杜伊斯堡-埃森大学医学院与计算机科学学院）
SCoPE-Reg结合状态空间交互等技术提升刚性超声切片-体积配准精度、降低误差、保持高帧率，在相关数据集上优于现有最优方法，可用于超声引导介入操作。
2026-10-30 cs.CV eess.IV
Flexible Stereo: Constrained, Non-rigid, Wide-baseline Stereo Vision for Fixed-wing Aerial Platforms
Autonomous Systems Lab, ETH Zurich（苏黎世联邦理工学院自主系统实验室）
本文提出了一种计算效率高的方法来估计安装在固定翼无人机（UAV）柔性机翼上的两个视觉惯性传感器之间的时变相对位姿。估计的相对姿态用于实时生成高度准确的深度图，并且可以用于低空飞行或着陆机动中的障碍物规避。该方法的结构如下：首先，机翼模型是通过拟合的概率密度函数从标称相对基线变换的测量偏差确定的。在运行时，机翼模型的先验知识被融合在一个扩展的卡尔曼滤波器~（EKF）与相对的角度N点问题（PNP）的解决获得的相对位姿测量，线加速度和角速度由两个惯性测量单元（IMU），这是刚性连接到相机测量。从广泛的合成实验中获得的结果表明，我们提出的框架是能够估计高度准确的基线变换和深度图。
2018-02-26 cs.CV cs.RO
