Rigid Body Structure and Motion From Two-Frame Point-Correspondences Under Perspective Projection
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文讨论了在透视投影下，仅跟踪刚体上的点，从多帧图像中恢复运动参数和结构参数的可能性。假设帧之间的运动模式是自由的（不受限制和不受控制的）。主要问题是任务需要多少点和/或多少帧。在较早的论文{Klopotek：95 b}中已经表明，对于正交投影，两个帧不足以完成任务。本文论证了在透视投影下，焦点相对于投影平面的相对位置的完全不确定性使得从两个帧中恢复结构和运动是不可能的。
2018-12-07 cs.CV
Robust Isometric Non-Rigid Structure-from-Motion
CNRS/Université Clermont Auvergne（法国国家科学研究中心/克莱蒙奥弗涅大学）；Universidad de Alcalá（阿尔卡拉大学）
非刚性运动恢复结构（NRSfM）从单目2D图像之间建立的对应关系重建可变形的3D对象。目前的NRSfM方法缺乏统计鲁棒性，即处理对应错误的能力。这阻止了人们使用容易出错的自动建立的对应，从而严重限制了NRSfM的范围。我们提出了一个三步自动流水线解决NRSfM鲁棒利用等距。步骤1根据对应关系计算光流，步骤2使用多个参考图像重建每个3D点的法向量，并将它们整合以形成具有最佳参考的表面，步骤3拒绝在其局部邻域中破坏等距的3D点。重要的是，每个步骤都被设计为丢弃或标记错误的对应关系。我们的贡献包括稳健的光流的翘曲估计，新的快速解析解的本地正常的重建和他们的鲁棒性，和一个新的尺度无关的措施的三维局部等距相干。实验结果表明，我们强大的NRSfM方法始终优于现有的方法在合成和真实数据集。
2021-06-02 cs.CV
To The Point: Correspondence-driven monocular 3D category reconstruction
University College London（伦敦大学学院）；Snap Inc.（色拉布公司）
我们提出了到点（TTP），从一个单一的图像重建3D对象的方法，使用从弱监督学习的2D到3D对应。我们从2D图像中恢复3D形状，首先回归对应于3D模板顶点的2D位置，然后联合估计刚性相机变换和非刚性模板变形，通过3D形状投影最佳地解释2D位置。通过依赖3D-2D对应关系，我们使用简单的按样本优化问题来取代基于CNN的相机姿态和非刚性变形回归，从而获得更准确的3D重建。我们把这种优化作为一个微分层和训练整个系统在一个端到端的方式。我们报告了多个类别的系统定量改进，并提供了定性结果，包括不同的形状，姿势和纹理预测的例子。项目网址：https://fkokkinos.github.io/to_the_point/。
2021-06-10 cs.CV
Context without Commitment: Robust Dense Correspondence under Non-Rigid Deformation
Mannheim Institute for Intelligent Systems in Medicine (MIISM)（曼海姆智能系统医学研究所）；Medical Faculty Mannheim, Heidelberg University（海德堡大学曼海姆医学院）
针对非刚性点云配准中局部几何相似导致的对应模糊问题，提出CoCo-Reg方法，利用区域补丁丰富稠密特征而不限制最终点级搜索，显著降低对应误差。
2026-09-30 cs.CV
SRFeat: Learning Locally Accurate and Globally Consistent Non-Rigid Shape Correspondence
LIX, École Polytechnique, IP Paris（巴黎理工学院综合理工学院LIX实验室）
在这项工作中，我们提出了一种新的学习为基础的框架，结合局部准确性的对比学习与全局一致性的几何方法，强大的非刚性匹配。我们首先观察到，虽然对比学习可以产生强大的逐点特征，但由于标准对比损失的纯组合性质，所学习的对应通常缺乏平滑性和一致性。为了克服这一限制，我们建议使用两种类型的平滑正则化来增强对比特征学习，这些平滑正则化将几何信息注入对应学习。有了这种新颖的组合，所得到的特征在各个点上都具有高度的区分性，同时，通过简单的邻近查询，导致了强大和一致的对应关系。我们的框架是通用的，适用于在3D和2D域的局部特征学习。我们证明了我们的方法的优越性，通过广泛的具有挑战性的匹配基准，包括3D非刚性形状对应和2D图像关键点匹配的广泛实验。
2022-09-16 cs.CV cs.GR
Non-rigid 3D Shape Registration using an Adaptive Template
University of York（约克大学）
提出了一种新的全自动非刚性三维形状配准方法（变形）框架，包括（1）新的3D地标和姿态归一化方法;（2）自适应形状模板方法，用于加速配准算法的收敛并实现更好的最终形状对应;（3）结合迭代最近点和相干点漂移（CPD）的新的迭代配准方法我们称这种新的变形方法为迭代相干点漂移（ICPD）。我们提出的框架进行了定性和定量评估三个数据集，并与其他几种方法进行了比较。所提出的框架，以提供国家的最先进的性能。
2018-09-22 cs.CV
DV-Matcher: Deformation-based Non-Rigid Point Cloud Matching Guided by Pre-trained Visual Features
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）
本文提出DV-Matcher框架，通过引入预训练视觉模型先验知识和基于形变的对齐模块，实现了非刚性点云间高质量的密集对应关系估计，在多种数据集上达到最先进水平。
2025-03-01 cs.CV
Preoperative-to-intraoperative Liver Registration for Laparoscopic Surgery via Latent-Grounded Correspondence Constraints
The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学）；The Chinese University of Hong Kong, Hong Kong, China（香港中文大学）
本文提出Land-Reg框架，通过显式学习潜在证据的2D-3D地标对应关系，提升腹腔手术中预手术到术中肝脏的跨模态注册精度与可解释性。
2026-03-02 cs.CV
Category-Level Global Camera Pose Estimation with Multi-Hypothesis Point Cloud Correspondences
University of Minnesota（明尼苏达大学）
对应搜索是刚性点云配准算法中必不可少的一步。大多数方法在每一步都保持一个对应关系，并逐渐删除错误的对应关系。然而，建立一对一的对应与硬分配是非常困难的，特别是当匹配两个点云与许多本地相似的功能。本文提出了一种优化方法，保留所有可能的对应关系，为每个关键点匹配时，部分点云的完整点云。这些不确定的对应关系，然后逐渐更新与估计的刚性变换，考虑匹配成本。此外，我们提出了一个新的点特征描述符，衡量局部点云区域之间的相似性。大量的实验表明，我们的方法优于国家的最先进的（SoTA）的方法，即使在同一类别中匹配不同的对象。值得注意的是，我们的方法在将真实世界的噪声深度图像配准到模板形状时的性能优于SoTA方法，高达20%。
2022-09-28 cs.CV
Non-Rigid Shape Registration via Deep Functional Maps Prior
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Lab（鹏城实验室）
本研究提出结合深度函数映射先验的无监督非刚性形状配准框架，融合传统与谱映射方法优势，通过动态对应更新、一致性过滤及姿态回归，仅用少量训练形状即在多基准上取得SOTA，可处理兼具内外大形变的挑战性形状对。
2023-11-08 cs.CV
PCAM: Product of Cross-Attention Matrices for Rigid Registration of Point Clouds
Inria（法国国家信息与自动化研究所）；Mines ParisTech（巴黎矿业学院）；PSL Research University（巴黎文理研究大学）；LIGM（巴黎马恩河谷信息、数学与系统实验室）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
具有部分重叠的点云的刚性配准是一个长期存在的问题，通常通过两个步骤来解决：（a）找到点云之间的对应关系;（b）过滤这些对应关系以仅保留最可靠的对应关系来估计变换。最近，已经提出了几个深度网络来联合解决这些步骤。我们建立在这些工作，并提出PCAM：一个神经网络，其关键元素是一个逐点的产品的交叉注意矩阵，允许混合低层次的几何和高层次的上下文信息，以找到点对应。这些交叉注意矩阵还允许在每一层的点云之间交换上下文信息，从而允许网络在重叠区域内构建更好的匹配特征。实验表明，PCAM在像我们一样通过深度网联合解决步骤（a）和（b）的方法中获得了最先进的结果。我们的代码和训练模型可以在https://github.com/valeoai/PCAM上找到。
2021-10-04 cs.CV
RPM-Net: Robust Point Matching using Learned Features
National University of Singapore（新加坡国立大学）
迭代最近点（ICP）通过两个步骤迭代地解决刚性点云配准问题：（1）对空间最近点对应进行硬分配，然后（2）找到最小二乘刚性变换。基于空间距离的最近点对应的硬分配对初始刚性变换和噪声/离群点敏感，这通常导致ICP收敛到错误的局部最小值。在本文中，我们提出了RPM-Net --一种对初始化不太敏感、基于深度学习的更鲁棒的刚性点云配准方法。为此，我们的网络使用可微Sinkhorn层和退火来从从空间坐标和局部几何学中学习的混合特征中获得点对应的软分配。为了进一步提高配准性能，我们引入了二级网络来预测最佳退火参数。与一些现有的方法不同，我们的RPM-Net处理缺少的对应关系和部分可见的点云。实验结果表明，与现有的非深度学习和最近的深度学习方法相比，我们的RPM-Net实现了最先进的性能。我们的源代码可以在项目网站https://github.com/yewzijian/RPMNet上找到。
2020-03-30 cs.CV
Neural Non-Rigid Tracking
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
我们介绍了一种新的，端到端的可学习，可微分的非刚性跟踪器，使国家的最先进的非刚性重建的学习鲁棒优化。给定两个输入的RGB-D帧的非刚性移动的对象，我们采用卷积神经网络来预测密集的对应关系和它们的置信度。这些对应关系被用作尽可能刚性（ARAP）优化问题中的约束。通过加权非线性最小二乘求解器实现梯度反向传播，我们能够以端到端的方式学习对应关系和置信度，从而使它们对于非刚性跟踪任务是最佳的。在此公式下，可以通过自我监督来学习对应置信度，从而通知学习的鲁棒优化，其中离群值和错误的对应关系被自动降低权重以实现有效的跟踪。与最先进的方法相比，我们的算法显示出更好的重建性能，同时实现了比基于深度学习的方法快85倍的对应预测。我们提供代码。
2021-01-12 cs.CV cs.GR cs.LG
StegoGAN: Leveraging Steganography for Non-Bijective Image-to-Image Translation
ETH Zurich（苏黎世联邦理工学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；IGN（法国国家地理学院）；CNRS（法国国家科学研究中心）；Ecole des Ponts（巴黎桥路学院）
本文提出StegoGAN模型，利用隐写术防止非双射图像转换中生成虚假特征，在无需额外后处理或监督的情况下提升语义一致性，并在多种任务上优于现有GAN模型。
2024-03-29 cs.CV eess.IV
Uncalibrated Non-Rigid Factorisation by Independent Subspace Analysis
IT University of Copenhagen（哥本哈根信息技术大学）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
我们提出了一个通用的，事先免费的方法，未校准的非刚性结构从运动问题的建模和分析的非刚性物体，如人脸。词语“一般”是指通过假设（1）非刚性形状由刚性3D基础形状的线性组合生成，（2）非刚性形状本质上是仿射的，即，它们可以被建模为与平均刚性形状的偏差，（3）并且基本形状在统计上是独立的。与大多数现有的作品相比，没有先验信息被假定为结构和运动，除了假设的基础形状是统计独立的。通过独立子空间分析（ISA）恢复独立的三维形状基。同样，与大多数以前的方法相比，没有校准信息假设仿射相机;重建解决了全局仿射模糊度，使我们的方法简单但有效。在实验中，我们评估的方法与几个标准的数据集，包括一个真实的人脸表情数据集的7200面与二维点对应和未知的三维结构和运动，我们得到了可喜的结果。
2018-11-22 cs.CV
NFR: Neural Feature-Guided Non-Rigid Shape Registration
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本文提出一种基于学习的3D形状注册框架，通过神经特征提升非刚性变形和部分性处理能力，无需对应标注，实现高精度注册。
2026-05-13 cs.AI cs.CV
Non-Rigid 3D Shape Correspondences: From Foundations to Open Challenges and Opportunities
MPI for Informatics（马克斯·普朗克信息学研究所）；University of Bonn（波恩大学）；Lamarr Institute（拉马尔研究所）；Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学理工学研究所）；Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文探讨了非刚性3D形状对应问题，分析了三种主要方法：谱方法、组合方法和基于变形的方法，并讨论了各自优缺点及最新发展，最后总结了该领域的挑战与机遇。
2026-04-01 cs.CV cs.GR
Correspondence-Free Non-Rigid Point Set Registration Using Unsupervised Clustering Analysis
Shandong University（山东大学）；Peking University（北京大学）
提出一种基于无监督聚类的非刚性点集配准整体框架，将源与目标点集表述为聚类成员与中心，采用拉普拉斯核正则化与Nyström方法降低复杂度，实现高精度大变形配准。
2024-06-27 cs.AI cs.CV
Non-Rigid Puzzles
University of Lugano（卢加诺大学）；Technion（以色列理工学院）；Intel（英特尔）；TU Munich（慕尼黑工业大学）
形状对应是计算机图形学和视觉中的一个基本问题，在各种问题中具有应用，包括动画、纹理映射、机器人视觉、医学成像、考古学等等。在允许形状经历非刚性变形并且只有部分视图可用的设置中，该问题变得非常具有挑战性。为此，我们提出了一种非刚性的多部分形状匹配算法。我们假设给定一个参考形状，其多个部分经历非刚性变形。这些查询部分中的每一个都可能被混乱所污染，可能与其他部分重叠，并且可能存在缺失部分或冗余部分。我们的方法同时解决了参考模型的分割，以及与零件（子集）的密集对应。合成以及真实扫描的实验结果表明，我们的方法在处理这种具有挑战性的匹配方案的有效性。
2020-11-26 cs.CV cs.GR
