Robust Isometric Non-Rigid Structure-from-Motion
CNRS/Université Clermont Auvergne(法国国家科学研究中心/克莱蒙奥弗涅大学);Universidad de Alcalá(阿尔卡拉大学)
非刚性运动恢复结构(NRSfM)从单目2D图像之间建立的对应关系重建可变形的3D对象。目前的NRSfM方法缺乏统计鲁棒性,即处理对应错误的能力。这阻止了人们使用容易出错的自动建立的对应,从而严重限制了NRSfM的范围。我们提出了一个三步自动流水线解决NRSfM鲁棒利用等距。步骤1根据对应关系计算光流,步骤2使用多个参考图像重建每个3D点的法向量,并将它们整合以形成具有最佳参考的表面,步骤3拒绝在其局部邻域中破坏等距的3D点。重要的是,每个步骤都被设计为丢弃或标记错误的对应关系。我们的贡献包括稳健的光流的翘曲估计,新的快速解析解的本地正常的重建和他们的鲁棒性,和一个新的尺度无关的措施的三维局部等距相干。实验结果表明,我们强大的NRSfM方法始终优于现有的方法在合成和真实数据集。
2021-06-02 cs.CV
To The Point: Correspondence-driven monocular 3D category reconstruction
University College London(伦敦大学学院);Snap Inc.(色拉布公司)
我们提出了到点(TTP),从一个单一的图像重建3D对象的方法,使用从弱监督学习的2D到3D对应。我们从2D图像中恢复3D形状,首先回归对应于3D模板顶点的2D位置,然后联合估计刚性相机变换和非刚性模板变形,通过3D形状投影最佳地解释2D位置。通过依赖3D-2D对应关系,我们使用简单的按样本优化问题来取代基于CNN的相机姿态和非刚性变形回归,从而获得更准确的3D重建。我们把这种优化作为一个微分层和训练整个系统在一个端到端的方式。我们报告了多个类别的系统定量改进,并提供了定性结果,包括不同的形状,姿势和纹理预测的例子。项目网址:https://fkokkinos.github.io/to_the_point/。
2021-06-10 cs.CV
SRFeat: Learning Locally Accurate and Globally Consistent Non-Rigid Shape Correspondence
LIX, École Polytechnique, IP Paris(巴黎理工学院综合理工学院LIX实验室)
在这项工作中,我们提出了一种新的学习为基础的框架,结合局部准确性的对比学习与全局一致性的几何方法,强大的非刚性匹配。我们首先观察到,虽然对比学习可以产生强大的逐点特征,但由于标准对比损失的纯组合性质,所学习的对应通常缺乏平滑性和一致性。为了克服这一限制,我们建议使用两种类型的平滑正则化来增强对比特征学习,这些平滑正则化将几何信息注入对应学习。有了这种新颖的组合,所得到的特征在各个点上都具有高度的区分性,同时,通过简单的邻近查询,导致了强大和一致的对应关系。我们的框架是通用的,适用于在3D和2D域的局部特征学习。我们证明了我们的方法的优越性,通过广泛的具有挑战性的匹配基准,包括3D非刚性形状对应和2D图像关键点匹配的广泛实验。
2022-09-16 cs.CV cs.GR
Context without Commitment: Robust Dense Correspondence under Non-Rigid Deformation
Mannheim Institute for Intelligent Systems in Medicine (MIISM)(曼海姆智能系统医学研究所);Medical Faculty Mannheim, Heidelberg University(海德堡大学曼海姆医学院)
针对非刚性点云配准中局部几何相似导致的对应模糊问题,提出CoCo-Reg方法,利用区域补丁丰富稠密特征而不限制最终点级搜索,显著降低对应误差。
2026-09-30 cs.CV
Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior
提出基于局部刚性先验的自监督3D场景流估计方法,通过分段刚性运动生成伪标签并利用有效性掩码训练,在多个数据集上达到最先进性能。
2023-10-17 cs.CV
Non-rigid 3D Shape Registration using an Adaptive Template
University of York(约克大学)
提出了一种新的全自动非刚性三维形状配准方法(变形)框架,包括(1)新的3D地标和姿态归一化方法;(2)自适应形状模板方法,用于加速配准算法的收敛并实现更好的最终形状对应;(3)结合迭代最近点和相干点漂移(CPD)的新的迭代配准方法我们称这种新的变形方法为迭代相干点漂移(ICPD)。我们提出的框架进行了定性和定量评估三个数据集,并与其他几种方法进行了比较。所提出的框架,以提供国家的最先进的性能。
2018-09-22 cs.CV
DV-Matcher: Deformation-based Non-Rigid Point Cloud Matching Guided by Pre-trained Visual Features
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
本文提出DV-Matcher框架,通过引入预训练视觉模型先验知识和基于形变的对齐模块,实现了非刚性点云间高质量的密集对应关系估计,在多种数据集上达到最先进水平。
2025-03-01 cs.CV
Preoperative-to-intraoperative Liver Registration for Laparoscopic Surgery via Latent-Grounded Correspondence Constraints
The Hong Kong Polytechnic University, Hong Kong, China(香港理工大学);The Chinese University of Hong Kong, Hong Kong, China(香港中文大学)
本文提出Land-Reg框架,通过显式学习潜在证据的2D-3D地标对应关系,提升腹腔手术中预手术到术中肝脏的跨模态注册精度与可解释性。
2026-03-02 cs.CV
Neural Non-Rigid Tracking
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
我们介绍了一种新的,端到端的可学习,可微分的非刚性跟踪器,使国家的最先进的非刚性重建的学习鲁棒优化。给定两个输入的RGB-D帧的非刚性移动的对象,我们采用卷积神经网络来预测密集的对应关系和它们的置信度。这些对应关系被用作尽可能刚性(ARAP)优化问题中的约束。通过加权非线性最小二乘求解器实现梯度反向传播,我们能够以端到端的方式学习对应关系和置信度,从而使它们对于非刚性跟踪任务是最佳的。在此公式下,可以通过自我监督来学习对应置信度,从而通知学习的鲁棒优化,其中离群值和错误的对应关系被自动降低权重以实现有效的跟踪。与最先进的方法相比,我们的算法显示出更好的重建性能,同时实现了比基于深度学习的方法快85倍的对应预测。我们提供代码。
2021-01-12 cs.CV cs.GR cs.LG
Category-Level Global Camera Pose Estimation with Multi-Hypothesis Point Cloud Correspondences
University of Minnesota(明尼苏达大学)
对应搜索是刚性点云配准算法中必不可少的一步。大多数方法在每一步都保持一个对应关系,并逐渐删除错误的对应关系。然而,建立一对一的对应与硬分配是非常困难的,特别是当匹配两个点云与许多本地相似的功能。本文提出了一种优化方法,保留所有可能的对应关系,为每个关键点匹配时,部分点云的完整点云。这些不确定的对应关系,然后逐渐更新与估计的刚性变换,考虑匹配成本。此外,我们提出了一个新的点特征描述符,衡量局部点云区域之间的相似性。大量的实验表明,我们的方法优于国家的最先进的(SoTA)的方法,即使在同一类别中匹配不同的对象。值得注意的是,我们的方法在将真实世界的噪声深度图像配准到模板形状时的性能优于SoTA方法,高达20%。
2022-09-28 cs.CV
Non-Rigid Shape Registration via Deep Functional Maps Prior
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Peng Cheng Lab(鹏城实验室)
本研究提出结合深度函数映射先验的无监督非刚性形状配准框架,融合传统与谱映射方法优势,通过动态对应更新、一致性过滤及姿态回归,仅用少量训练形状即在多基准上取得SOTA,可处理兼具内外大形变的挑战性形状对。
2023-11-08 cs.CV
PCAM: Product of Cross-Attention Matrices for Rigid Registration of Point Clouds
Inria(法国国家信息与自动化研究所);Mines ParisTech(巴黎矿业学院);PSL Research University(巴黎文理研究大学);LIGM(巴黎马恩河谷信息、数学与系统实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
具有部分重叠的点云的刚性配准是一个长期存在的问题,通常通过两个步骤来解决:(a)找到点云之间的对应关系;(b)过滤这些对应关系以仅保留最可靠的对应关系来估计变换。最近,已经提出了几个深度网络来联合解决这些步骤。我们建立在这些工作,并提出PCAM:一个神经网络,其关键元素是一个逐点的产品的交叉注意矩阵,允许混合低层次的几何和高层次的上下文信息,以找到点对应。这些交叉注意矩阵还允许在每一层的点云之间交换上下文信息,从而允许网络在重叠区域内构建更好的匹配特征。实验表明,PCAM在像我们一样通过深度网联合解决步骤(a)和(b)的方法中获得了最先进的结果。我们的代码和训练模型可以在https://github.com/valeoai/PCAM上找到。
2021-10-04 cs.CV
RPM-Net: Robust Point Matching using Learned Features
National University of Singapore(新加坡国立大学)
迭代最近点(ICP)通过两个步骤迭代地解决刚性点云配准问题:(1)对空间最近点对应进行硬分配,然后(2)找到最小二乘刚性变换。基于空间距离的最近点对应的硬分配对初始刚性变换和噪声/离群点敏感,这通常导致ICP收敛到错误的局部最小值。在本文中,我们提出了RPM-Net --一种对初始化不太敏感、基于深度学习的更鲁棒的刚性点云配准方法。为此,我们的网络使用可微Sinkhorn层和退火来从从空间坐标和局部几何学中学习的混合特征中获得点对应的软分配。为了进一步提高配准性能,我们引入了二级网络来预测最佳退火参数。与一些现有的方法不同,我们的RPM-Net处理缺少的对应关系和部分可见的点云。实验结果表明,与现有的非深度学习和最近的深度学习方法相比,我们的RPM-Net实现了最先进的性能。我们的源代码可以在项目网站https://github.com/yewzijian/RPMNet上找到。
2020-03-30 cs.CV
DCCO: Towards Deformable Continuous Convolution Operators
Linköping University(林雪平大学)
近年来,基于判别相关滤波器(DCF)的方法在跟踪基准上显示出具有竞争力的性能。通常,基于DCF的跟踪器学习目标的刚性外观模型。然而,在目标经历非刚性变换的情况下,这种对单个刚性外观模型的依赖是不够的。在本文中,我们提出了一个统一的配方学习变形卷积滤波器。在我们的框架中,变形滤波器表示为子滤波器的线性组合。在我们的公式中,子滤波器系数和它们的相对位置都是联合推断的。在三个具有挑战性的跟踪基准上进行实验:OTB- 2015,TempleColor和VOT 2016。我们的方法改进了基线方法,从而使性能与最先进的方法相当。
2017-06-09 cs.CV
Physics-Based Rigid Body Object Tracking and Friction Filtering From RGB-D Videos
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出一种real-to-sim新方法,利用可微物理仿真作为扩展卡尔曼滤波器的状态转移模型,从RGB-D图像中跟踪3D刚体目标并推断其物理属性,实现对位置、方向、速度的滤波及摩擦系数估计,并公开了新基准数据集。
2024-05-30 cs.CV
Uncalibrated Non-Rigid Factorisation by Independent Subspace Analysis
IT University of Copenhagen(哥本哈根信息技术大学);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
我们提出了一个通用的,事先免费的方法,未校准的非刚性结构从运动问题的建模和分析的非刚性物体,如人脸。词语“一般”是指通过假设(1)非刚性形状由刚性3D基础形状的线性组合生成,(2)非刚性形状本质上是仿射的,即,它们可以被建模为与平均刚性形状的偏差,(3)并且基本形状在统计上是独立的。与大多数现有的作品相比,没有先验信息被假定为结构和运动,除了假设的基础形状是统计独立的。通过独立子空间分析(ISA)恢复独立的三维形状基。同样,与大多数以前的方法相比,没有校准信息假设仿射相机;重建解决了全局仿射模糊度,使我们的方法简单但有效。在实验中,我们评估的方法与几个标准的数据集,包括一个真实的人脸表情数据集的7200面与二维点对应和未知的三维结构和运动,我们得到了可喜的结果。
2018-11-22 cs.CV
Equivariant Local Reference Frames for Unsupervised Non-rigid Point Cloud Shape Correspondence
Tsinghua University(清华大学);Tongji University(同济大学);Xi’an Research Institute of High-Tech(西安高技术研究所);University of Hamburg(汉堡大学);Renmin University of China(中国人民大学)
本文提出 EquiShape 和 LRF-Refine,通过等变图神经网络学习具有全局语义的成对局部参考框架并优化其泛化能力,显著提升无监督非刚性点云形状对应性能。
2024-04-01 cs.CV
Metric-Driven Learning of Correspondence Weighting for 2-D/3-D Image Registration
Friedrich-Alexander Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Siemens Healthineers AG(西门子医疗股份公司);Graduate School in Advanced Optical Technologies (SAOT)(先进光学技术研究生院(SAOT))
术前3-D体积与术中2-D X射线图像的配准在微创医疗过程中是重要的。刚性配准可以通过估计优化局部对应的对准的全局刚性运动来执行。然而,不准确的对应关系对配准性能提出了挑战。为了最大限度地减少它们的影响,我们使用PointNet估计对应的最佳权重。我们训练网络直接与标准,以尽量减少注册错误。我们提出了一个目标函数,其中包括基于点到平面对应的运动估计和投影误差计算,从而使学习的加权策略,最佳地适合在端到端的方式配准任务的基础配方。对于单椎骨配准,我们实现了0.74 $\pm$ 0.26 mm的精度和高度提高的鲁棒性。成功率从79.3%提高到94.3%,捕获范围从3 mm提高到13 mm。
2018-10-26 cs.CV
Learning to Detect Good Keypoints to Match Non-Rigid Objects in RGB Images
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学)
我们提出了一种新的学习关键点检测方法,旨在最大限度地提高非刚性图像对应任务的正确匹配数量。我们的训练框架使用真实的对应关系,通过将注释的图像对与预定义的描述符提取器进行匹配来获得,作为训练卷积神经网络(CNN)的地面实况。我们通过将已知的几何变换应用于图像作为监督信号来优化模型架构。实验表明,我们的方法优于国家的最先进的关键点检测器的真实图像的非刚性物体的20 p.p.平均匹配精度,也提高了匹配性能的几个描述符时,再加上我们的检测方法。我们还采用了一个具有挑战性的现实世界中的应用所提出的方法:对象检索,我们的检测器表现出与最好的关键点检测器的性能。源代码和训练模型可在https://github.com/verlab/LearningToDetect SIBGRAPI 2022上公开获取
2022-12-13 cs.CV
Q-REG: End-to-End Trainable Point Cloud Registration with Surface Curvature
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软);Stanford University(斯坦福大学)
针对基于对应匹配的点云配准依赖 RANSAC、难以端到端优化位姿误差的问题,本文提出 Q-REG,利用表面曲率从单个对应关系估计刚性位姿,并在多个基准上达到最先进水平。
2023-09-27 cs.CV
Self-supervised Learning of Implicit Shape Representation with Dense Correspondence for Deformable Objects
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Google(谷歌)
提出一种自监督方法,学习可变形物体的隐式形状表示,通过模板形状和密集对应,无需骨骼先验,支持大变形,并应用于纹理传递和形状编辑。
2023-12-25 cs.CV
Partial Functional Correspondence
TU Munich(慕尼黑工业大学);University of Venice(威尼斯大学);University of Lugano(卢加诺大学)
在本文中,我们提出了一种计算非刚性形状之间的部分功能对应的方法。我们使用扰动分析,以显示如何去除形状的部分改变拉普拉斯-贝尔特拉米本征函数,并利用它作为一个先验的频谱表示的对应关系。对应部分是我们问题中的优化变量,用于加权函数对应;我们正在寻找最大和最规则(在Mumford-Shah意义上)的部分,使对应失真最小化。我们表明,我们的方法可以应付非常具有挑战性的对应设置。
2015-12-22 cs.CV
Rigid Point Registration with Expectation Conditional Maximization
研究了计算机模拟图像中基于最大似然原理的点配准问题,实现了刚性三维目标点与二维图像点的匹配。在将三维坐标转换为二维坐标时,透视投影是必不可少的。然后,该问题重新转换为缺失数据框架,其中通过混合模型处理未知的对应关系。采用期望条件最大化配准算法(ECMPR),对旋转和平移两种不同的优化算法进行了比较。我们详细分析了相关的后果,在理论和实验上的注册参数的估计。
2018-03-07 cs.CV
SGMatch: Semantic-Guided Non-Rigid Shape Matching with Flow Regularization
Wuhan University(武汉大学)
提出SGMatch框架,通过融合视觉基础模型的语义特征和条件流匹配正则化,解决非等距变形和拓扑噪声下的非刚性3D形状匹配问题。
2026-07-03 cs.CV
NFR: Neural Feature-Guided Non-Rigid Shape Registration
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出一种基于学习的3D形状注册框架,通过神经特征提升非刚性变形和部分性处理能力,无需对应标注,实现高精度注册。
2026-05-13 cs.AI cs.CV
Self-supervised Shape Completion via Involution and Implicit Correspondences
ETH Zurich(苏黎世联邦理工学院);INSAIT, Sofia University(保加利亚索菲亚大学INSAIT研究院);Google(谷歌公司);TU Munich(慕尼黑工业大学)
提出一种非对抗性自监督3D形状补全方法,利用对合函数约束和隐式对应关系,在规范空间中通过一致性度量监督补全函数,采用“冻结与交替”策略优化,在刚性和非刚性形状上接近监督方法的精度。
2024-09-24 cs.CV
Non-Rigid 3D Shape Correspondences: From Foundations to Open Challenges and Opportunities
MPI for Informatics(马克斯·普朗克信息学研究所);University of Bonn(波恩大学);Lamarr Institute(拉马尔研究所);Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学理工学研究所);Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文探讨了非刚性3D形状对应问题,分析了三种主要方法:谱方法、组合方法和基于变形的方法,并讨论了各自优缺点及最新发展,最后总结了该领域的挑战与机遇。
2026-04-01 cs.CV cs.GR
Correspondence-Free Non-Rigid Point Set Registration Using Unsupervised Clustering Analysis
Shandong University(山东大学);Peking University(北京大学)
提出一种基于无监督聚类的非刚性点集配准整体框架,将源与目标点集表述为聚类成员与中心,采用拉普拉斯核正则化与Nyström方法降低复杂度,实现高精度大变形配准。
2024-06-27 cs.AI cs.CV
Accurate 3D Reconstruction of Dynamic Scenes from Monocular Image Sequences with Severe Occlusions
University of Kaiserslautern(凯泽斯劳滕大学);DFKI(德国人工智能研究中心)
本文介绍了一种精确的解决方案,密集的正交非刚性运动恢复结构(NRSfM)的场景中严重的闭塞,或同样,不准确的对应关系。我们将形状先验项纳入变分优化框架。它允许在每像素级别上惩罚时变结构的不规则性,如果诸如遮挡张量的对应质量指示符可用的话。我们做了一个现实的假设,几个非遮挡视图的场景是足以估计一个初始形状之前,虽然整个观察到的场景可能会表现出非刚性变形。合成和真实图像数据上的实验表明,所提出的框架显着优于国家的最先进的方法对应关系的建立,结合国家的最先进的NRSfM方法。连同对优化方法的深刻见解,提供了异构平台的实施细节。
2017-12-20 cs.CV
Searching Dense Point Correspondences via Permutation Matrix Learning
Northwestern Polytechnical University(西北工业大学)
虽然3D点云数据作为3D信号表达的一般形式受到了广泛的关注,但将点云应用于3D形状之间的密集对应估计的任务尚未得到广泛研究。此外,即使在现有的几个三维点云的方法,一个重要的和广泛认可的原则,即。一对一匹配,通常被忽略。为此,本文提出了一种基于端到端学习的点云密集对应关系估计方法,将点云匹配问题转化为零-一分配问题,得到一个置换匹配矩阵,从根本上实现了一对一原则。请注意,这个分配问题的经典解总是不可微的,这对于深度学习框架来说是致命的。为此,我们设计了一个特殊的匹配模块,它首先求解一个双随机矩阵,然后将得到的近似解投影到所需的置换矩阵上。此外,为了保证端到端的学习和计算损失的准确性,我们从学习的置换矩阵计算损失,但在反向传播期间绕过置换矩阵直接将梯度传播到双随机矩阵。我们的方法可以应用于非刚性和刚性的3D点云数据和广泛的实验表明,我们的方法达到了最先进的性能密集的对应学习。
2022-10-26 cs.CV
DualReg: Dual-Space Filtering and Reinforcement for Rigid Registration
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出DualReg方法,结合特征匹配和几何匹配的优势,通过高效过滤和优化算法提升刚体配准的准确性和效率,实验显示在KITTI数据集上速度提升32倍。
2026-04-02 cs.CV cs.RO
Deep Shells: Unsupervised Shape Correspondence with Optimal Transport
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的无监督学习方法来实现3D形状对应,该方法将多尺度匹配管道构建到深度神经网络中。这种方法是基于光滑壳,目前国家的最先进的公理对应的方法,它需要一个先验的随机搜索空间的初始姿态。我们的目标是通过直接从输入表面学习良好的初始化来取代这个昂贵的预处理步骤。为此,我们系统地从熵正则化的最优传输中推导出一个完全可微的分层匹配管道。这使我们能够将其与基于平滑截断谱卷积滤波器的局部特征提取器相结合。最后,我们证明了所提出的无监督方法在多个数据集上的最新技术水平有显着提高,即使与最近的监督方法相比也是如此。此外,我们通过将我们学习的过滤器应用于显著偏离训练集的示例,展示了令人信服的泛化结果。
2020-10-28 cs.CV
Non-Rigid Puzzles
University of Lugano(卢加诺大学);Technion(以色列理工学院);Intel(英特尔);TU Munich(慕尼黑工业大学)
形状对应是计算机图形学和视觉中的一个基本问题,在各种问题中具有应用,包括动画、纹理映射、机器人视觉、医学成像、考古学等等。在允许形状经历非刚性变形并且只有部分视图可用的设置中,该问题变得非常具有挑战性。为此,我们提出了一种非刚性的多部分形状匹配算法。我们假设给定一个参考形状,其多个部分经历非刚性变形。这些查询部分中的每一个都可能被混乱所污染,可能与其他部分重叠,并且可能存在缺失部分或冗余部分。我们的方法同时解决了参考模型的分割,以及与零件(子集)的密集对应。合成以及真实扫描的实验结果表明,我们的方法在处理这种具有挑战性的匹配方案的有效性。
2020-11-26 cs.CV cs.GR
A2B: Anchor to Barycentric Coordinate for Robust Correspondence
Huazhong University of Science and Technology(华中科技大学);West Virginia University(西弗吉尼亚大学)
针对特征匹配中重复模式导致的错误匹配问题,提出锚点到重心坐标(A2B)编码方法DEGREE,结合SMFNet获取可靠匹配,作为插件有效提升匹配质量并达到SOTA性能。
2023-06-07 cs.CV
SemICP: Semantic Non-Rigid Point Cloud Registration with Elastic Energy Regularization
Department of Electrical and Computer Engineering, University of British Columbia(电气与计算机工程系,不列颠哥伦比亚大学);Faculty of Medicine, University of British Columbia(医学院,不列颠哥伦比亚大学)
研究针对计算机辅助干预中点云配准问题,提出SemICP框架,结合语义信息点匹配与变形正则化,经多数据集测试,相比其他方法降低多种距离误差,结合AI分割后为多模态配准提供有效管道。
2026-11-03 cs.CV
Functional correspondence by matrix completion
该研究将流形间稠密内蕴函数对应问题转化为带几何结构的矩阵补全问题,用$L_1$范数实现局部化,设计高效求解算法,在非刚性形状匹配基准上精度优于现有方法,数据稀缺时优势更显著。
2025-10-29 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);KU Leuven(鲁汶大学)
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景,即使在无监督的情况下,基于学习的方法也提供了有希望的结果,但对于动态和可变形场景,几乎没有文献涉及同样的问题。在这项工作中,我们提出了一个无监督的单目框架密集的深度估计的动态场景,共同重建刚性和非刚性的部分,而不明确建模的相机运动。使用密集的对应关系,我们推导出一个训练目标,旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中,密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果,证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外,该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
A Dual Iterative Refinement Method for Non-rigid Shape Matching
UC Irvine(加州大学欧文分校);Rensselaer Polytechnic Institute(伦斯勒理工学院);Duke University(杜克大学)
在这项工作中,提出了一个简单而有效的双重迭代加密(Dual Iterative Refinement)方法,用于两个近似等距形状之间的稠密对应。其核心思想是以互补和有效的方式使用双重信息,如空间和光谱,或局部和全局特征,并从当前迭代中提取更准确的信息用于下一次迭代。在每次迭代中,从当前对应开始,在每个点处使用放大过程以通过局部映射失真准则来选择匹配良好的锚点对。然后,这些选择的锚点对被用于对齐其维度自适应地匹配选择的锚点对的容量的谱特征(或其他适当的全局特征)。由于以数据自适应的方式有效地组合了互补信息,因此该方法不仅高效而且鲁棒,可以在几次迭代内提供准确的结果。通过选择合适的对偶特征,该算法可以灵活地处理补丁匹配和部分匹配。在各种数据集上进行的大量实验表明,该方法在准确性和效率方面优于其他最先进的方法。
2020-11-19 cs.CV
Vision-Based Navigation I: A navigation filter for fusing DTM/correspondence updates
Transas group of companies(Transas集团公司)
提出了一种利用图像和数字地形图中的相应特征进行姿态和运动估计的算法。使用数字地形(或数字高程)地图(DTM/DEM)作为全局参考,可以恢复相机的绝对位置和方向。为了做到这一点,DTM被用来制定两个连续帧中的相应特征之间的约束。数据的利用被示出以提高惯性导航算法的鲁棒性和精度。采用扩展卡尔曼滤波器将惯性导航算法和所提出的基于视觉的导航算法的结果结合起来。通过数值仿真验证了该算法的可行性。
2012-07-10 cs.AI cs.CV
Learning shape correspondence with anisotropic convolutional neural networks
University of Lugano(卢加诺大学);Institute of Computational Science(计算科学研究所);Intel(英特尔)
建立形状之间的对应关系是几何处理中的一个基本问题,在各种各样的应用中出现。这个问题是特别困难的,在设置非等距变形,以及在拓扑噪声和丢失的部分的存在下,主要是由于有限的能力来建模这样的变形公理。最近的几项工作表明,复杂形状变换的不变性可以从例子中学习。本文介绍了一种基于各向异性扩散核的内在卷积神经网络结构,我们称之为各向异性卷积神经网络(ACNN)。在我们的构造中,我们通过构造一组定向各向异性扩散核来将卷积推广到非欧几里德域,以这种方式创建数据的局部固有极坐标表示(“补丁”),然后将其与过滤器相关。堆叠这样的滤波器、线性和非线性算子的若干级联以形成深度神经网络,其参数通过最小化任务特定成本来学习。我们使用ACNN来有效地学习在非常具有挑战性的设置中可变形形状之间的内在密集对应,在一些最困难的最近对应基准上实现了最先进的结果。
2016-05-20 cs.CV
Levy-Driven Correspondence Estimation for Registration
提出LevyMatch,利用Lévy过程随机跳跃细化软匹配矩阵,并采用前置加载Gamma策略优化更新时序,在4DMatch和4DLoMatch上提升非刚性配准的NFMR和IR。
2026-10-06 cs.CV
Neural Intrinsic Embedding for Non-rigid Point Cloud Matching
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室)
点云作为一种原始的三维数据表示形式,在三维传感中占有重要地位,但缺乏底层物体的内在结构信息。这种差异对直接建立从可变形形状采样的点云之间的对应关系提出了巨大的挑战。鉴于此,我们提出了神经内在嵌入(NIE),以尊重内在结构的方式将每个顶点嵌入到高维空间中。在此基础上,我们进一步提出了一个弱监督学习的非刚性点云配准框架。与先前的工作不同,我们不需要扩展和敏感的离线基础构造(例如,拉普拉斯算子的特征分解),我们也不需要用于监督的地面真实对应标签。我们的经验表明,我们的框架表现与最先进的基线相当,甚至更好,这通常需要更多的监督和/或更多的结构几何输入。
2023-03-02 cs.AI cs.CV
ROML: A Robust Feature Correspondence Approach for Matching Objects in A Set of Images
Advanced Digital Sciences Center(先进数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ShanghaiTech University(上海科技大学);Nanyang Technological University(南洋理工大学)
在计算机视觉的许多应用中,基于轮廓的目标匹配是一个基本问题,如目标识别、三维重建、跟踪和运动分割。在这项工作中,我们考虑同时匹配对象实例中的一组图像,其中内点和离群点的功能被提取。任务是识别内点特征,并在整个图像集上建立它们的一致对应关系。这是一个具有挑战性的组合问题,问题的复杂性与图像的数量呈指数增长。为此,我们提出了一个新的框架,称为ROML,来解决这个问题。ROML同时优化的部分置换矩阵(PPM)的每一幅图像,和特征对应关系的建立所获得的PPM。我们的两项主要贡献概述如下。(1)我们制定的秩和稀疏性最小化PPM优化的问题,并同时优化多个PPM作为一个正则化的共识问题,在分布式优化的背景下。(2)我们使用ADMM方法来解决因此制定的ROML问题,其中一个子问题与一个单一的PPM优化似乎是一个困难的整数二次规划(IQP)。我们证明了在广泛适用的条件下,这个IQP是等价的线性和分配问题(LSAP),它可以有效地解决一个精确的解决方案。刚性/非刚性对象匹配,匹配实例的一个共同的对象类别,和共同的对象定位广泛的实验表明,我们所提出的方法的有效性。
2015-03-31 cs.CV
Automatic landmark annotation and dense correspondence registration for 3D human facial images
CAS-MPG Partner Institute and Key Laboratory for Computational Biology, Shanghai Institutes for Biological Sciences, Chinese Academy of Sciences(中国科学院上海生命科学研究院计算生物学重点实验室(中科院-马普学会伙伴研究所))
三维人脸图像的密集表面配准对于人类特征多样性、疾病遗传学和法医学的研究具有巨大的潜力。非刚性配准对于在面部之间建立密集的解剖学对应关系特别有用。在这里,我们描述了一种新的非刚性配准方法,全自动三维人脸图像映射。该方法包括两个步骤:首先,自动标注17个面部标志,主要是通过基于PCA的特征识别后的3D到2D数据转换。其次,一个有效的薄板样条(TPS)协议被用来建立密集的面部图像之间的解剖对应关系,在预定义的标志的指导下。我们证明,这种方法是强大的和高度准确的,即使对于不同的种族。平均脸是为汉族和维吾尔族的个人计算的。虽然完全自动化和计算效率高,这种方法能够高通量分析人类面部特征的变化。
2012-12-20 cs.CV q-bio.QM
Unsupervised Template-assisted Point Cloud Shape Correspondence Network
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Lab(深空探测实验室)
针对非刚性物体变形导致点云形状对应困难的问题,提出无监督模板辅助网络TANet,通过模板生成模块与模板辅助模块从多视角建立更准确的逐点对应关系,在四个数据集上表现优异。
2024-03-25 cs.CV
Deep Non-Rigid Structure from Motion with Missing Data
Carnegie Mellon University(卡内基梅隆大学)
非刚性运动恢复结构(NRSfM)是指从具有2D对应关系的图像集合中重建相机和非刚性对象的3D点云的问题。目前的NRSfM算法从两个角度受到限制:(i)图像的数量,以及(ii)它们可以处理的形状变化的类型。这些困难源于系统的条件和需要建模的自由度之间的固有冲突-这阻碍了其在视觉中的许多应用的实际效用。在本文中,我们提出了一种新的层次稀疏编码模型NRSFM可以克服(i)和(ii)到这样的程度,NRSFM可以应用到以前认为太病态的视觉问题。我们的方法在实践中实现为无监督深度神经网络(DNN)自动编码器的训练,该编码器具有独特的架构,能够从3D结构中分离姿态。使用现代深度学习计算平台,我们可以以前所未有的规模和形状复杂度解决NRSfM问题。我们的方法没有3D监督,仅依赖于2D点对应。此外,我们的方法还能够处理丢失/遮挡的2D点,而不需要矩阵完成。大量的实验证明了我们的方法令人印象深刻的性能,我们表现出优越的精度和鲁棒性对所有可用的国家的最先进的作品在某些情况下的数量级。我们进一步提出了一个新的质量度量(基于网络权重),它避免了对3D地面实况的需要,以确定我们在可重构性方面的信心。我们相信我们的工作是一个显着的进步,在国家的最先进的NRSFM。
2019-09-06 cs.CV
Laplacian ICP for Progressive Registration of 3D Human Head Meshes
University of York(约克大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们提出了一个渐进的三维配准框架,这是一个高效的变种经典的非刚性迭代最近点(N-ICP)。由于它使用Laplace-Beltrami算子进行变形正则化,因此我们将整个过程视为拉普拉斯ICP(L-ICP)。这利用了“每次迭代小变形”的假设,并逐渐从粗到细,采用越来越灵活的变形模型,越来越多的对应集,越来越复杂的对应估计。对应匹配只允许在从特定领域的特征提取器获得的预定义顶点子集内。此外,我们提出了一个新的基准和一对评价指标的3D非刚性配准,基于注释转移。我们使用它来评估我们的框架在公开的3D人体头部扫描数据集(Headspace)上。该方法是鲁棒的,只需要一小部分的计算时间相比,最流行的经典方法,但具有可比的注册性能。
2023-02-04 cs.CV
Model-free Consensus Maximization for Non-Rigid Shapes
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
许多计算机视觉方法使用共识最大化来将包含离群值的测量与正确的变换模型相关联。在刚性形状的上下文中,这通常通过使用随机采样和一致性(RANSAC)来估计与最大数量的测量值(内点)一致的分析模型来完成。然而,小参数模型可能并不总是可用的。在本文中,我们制定了无模型的共识最大化作为一个图中使用的“规则”的测量的一个可编程的程序。然后,我们提供了一种方法来解决它最佳使用分支定界(BNB)范式。我们把它的应用集中在非刚性形状上,我们应用该方法来去除离群的3D对应关系,并实现优于现有技术的性能。我们的方法的离群率高达80%。我们进一步推导出用于3D模板到图像匹配的类似公式,与现有技术相比,实现了类似或更好的性能。
2018-08-13 cs.CV
Anisotropic Multi-Scale Graph Convolutional Network for Dense Shape Correspondence
Arizona State University(亚利桑那州立大学)
本文研究了三维密集形状对应,这是计算机视觉和图形学中的一个关键形状分析应用。我们引入了一种新的基于混合几何深度学习的模型,该模型学习几何意义和离散化无关的特征,其中U-Net模型作为主要节点特征提取模块,然后是基于连续谱的图卷积网络。为了创建一组不同的滤波器,我们使用各向异性小波基滤波器,对不同的方向和带通都很敏感。该滤波器组克服了传统图神经网络的过度平滑行为。为了进一步提高模型的性能,我们添加了一个函数,该函数在全连接层之前的最后一层中扰动特征映射,迫使网络学习更多的区分特征。由此产生的对应图显示了基于平均测地误差的基准数据集的最先进的性能和对3D网格离散化的卓越鲁棒性。我们的方法提供了新的见解和实用的解决方案,密集形状对应的研究。
2022-11-11 cs.CV cs.LG
REGTR: End-to-end Point Cloud Correspondences with Transformers
National University of Singapore(新加坡国立大学)
尽管最近在将学习结合到点云配准中方面取得了成功,但许多工作都集中在学习特征描述符上,并继续依赖于最近邻特征匹配和通过RANSAC进行离群值过滤来获得最终的对应关系集以进行姿态估计。在这项工作中,我们推测,注意力机制可以取代显式特征匹配和RANSAC的作用,从而提出了一个端到端的框架,直接预测最终的对应关系。我们使用一个网络架构主要由Transformer层包含自我和交叉注意力,并训练它来预测每个点位于重叠区域的概率及其在其他点云中的相应位置。然后,可以直接从预测的对应关系估计所需的刚性变换,而无需进一步的后处理。尽管简单,但我们的方法在3DMatch和ModelNet基准测试中实现了最先进的性能。我们的源代码可以在https://github.com/yewzijian/RegTR上找到。
2022-03-28 cs.CV
Accelerated 3D-3D rigid registration of echocardiographic images obtained from apical window using particle filter
本研究提出一种加速的SMC算法,用于从心尖窗获取的3D超声心动图图像的3D-3D刚性配准,通过基于掩膜的方法实现了0.819的Dice分数并获得16.7倍加速。
2025-04-28 cs.CV eess.IV
NCP: Neural Correspondence Prior for Effective Unsupervised Shape Matching
École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
我们提出了神经对应先验(NCP),一个新的范例计算3D形状之间的对应关系。我们的方法是完全无监督的,即使在具有挑战性的情况下,如稀疏点云或非等距网格,也可以产生高质量的对应关系,而目前的方法是失败的。我们的第一个关键观察结果是,与在其他领域观察到的神经先验一致,最近的3D数据网络架构,即使没有训练,也倾向于产生逐点特征,这些特征在刚性或非刚性形状之间诱导出合理的映射。其次,我们表明,给定一个嘈杂的地图作为输入,训练一个特征提取网络与输入地图作为监督往往从输入中删除文物,可以作为一个强大的对应去噪机制,无论是在个人对和集合内。有了这些观察,我们提出了一个两阶段的形状匹配的无监督范例(i)进行无监督训练,通过调整现有的方法来获得一组初始的噪声匹配,以及(ii)使用这些匹配训练网络的监督方式。我们证明,这种方法显着提高了地图的准确性,特别是在一个集合内训练时。我们表明,NCP是数据高效,快速,并在许多任务上实现了最先进的结果。我们的代码可以在网上找到:https://github.com/pvnieo/NCP。
2023-01-14 cs.CV cs.GR
MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization
Tsinghua University(清华大学);Stanford University(斯坦福大学);KAIST(韩国科学技术院);University of Trento(特伦托大学)
我们提出了MultiBodySync,这是一种新颖的端到端可训练的多体运动分割和刚性配准框架,用于多输入3D点云。我们研究的这种多扫描多体设置所带来的两个重要挑战是:(i)保证捕获身体或身体部位的不同空间布置的多个输入点云之间的对应性和分割一致性;以及(ii)获得适用于新对象类别的鲁棒的基于运动的刚体分割。我们提出了一种方法来解决这些问题,将频谱同步纳入迭代深度声明网络,以便同时恢复一致的对应关系以及运动分割。同时,通过明确地解开对应和运动分割估计模块,我们实现了跨不同对象类别的强概括性。我们广泛的评估表明,我们的方法是有效的各种数据集,从刚性零件在关节对象单独移动的物体在3D场景中,无论是单视图或全点云。
2021-03-29 cs.CV cs.LG
Structured Analytic Coherent Point Drift for Non-Rigid Point Set Registration
College of Electronic Engineering, Ocean University of China(中国海洋大学电子工程学院)
本文提出Analytic-CPD,通过结构化分析映射改进传统CPD,实现更高效且可控的非刚性点集配准,实验验证其在不同数据集上的有效性与精度效率优势。
2026-05-15 cs.CV cs.LG stat.ML