Latent Fingerprint Registration via Matching Densely Sampled Points
Tsinghua University(清华大学)
潜在指纹匹配是一个非常重要但尚未解决的问题。指纹配准作为指纹匹配的关键步骤,对识别性能有很大的影响。现有的潜指纹配准方法主要是基于建立细节点之间的对应关系,当指纹面积小或图像质量差导致提取的细节点数量不足时,配准方法必然失败。细节点提取已成为潜在指纹配准的瓶颈。在本文中,我们提出了一种非细节点的潜在指纹配准方法,估计一对指纹之间的空间变换,通过密集的指纹补丁对齐和匹配过程。给定一对待匹配的指纹,我们绕过细节点提取步骤,取均匀采样点作为关键点。然后,所提出的补丁对齐和匹配算法比较所有对采样点,并产生它们的相似性以及对齐参数。最后,通过谱聚类找到一组一致的对应关系。在NIST27数据库和MOLF数据库上的大量实验表明,该方法具有较好的配准性能,特别是在复杂的配准条件下。
2021-01-20 cs.CV
GS-Matching: Reconsidering Feature Matching task in Point Cloud Registration
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Guangdong Provincial Key Laboratory of Construction Robotics and Intelligent Construction(广东省建造机器人与智能建筑重点实验室)
针对传统点云配准特征匹配方法的缺陷,本文提出受盖尔-沙普利算法启发的GS-matching启发式稳定匹配策略,能在低重叠条件下高效找到更多非重复内点,且经实验验证在多数据集上配准召回率更优。
2024-12-06 cs.CV
Pairwise Point Cloud Registration using Graph Matching and Rotation-invariant Features
Technical University of Munich(慕尼黑工业大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学)
配准是点云处理中的一项基本而关键的任务,它通常依赖于从两个点云中找到元素对应。然而,找到可靠的对应关系依赖于建立一个强大的和有区别的描述元素和正确匹配的相应元素。在这封信中,我们开发了一种由粗到细的配准策略,该策略利用旋转不变特征和一种新的加权图匹配方法来迭代查找对应关系。在图匹配方法中,利用欧氏空间和特征空间中节点和边的相似度来构造优化函数。所提出的策略进行评估,使用两个基准数据集,并与几个国家的最先进的方法进行比较。关于实验结果,我们提出的方法可以实现一个精细的注册与旋转误差小于0.2度和平移误差小于0.1米。
2021-05-05 cs.CV
Encoding Matching Criteria for Cross-domain Deformable Image Registration
Shenzhen University Medical School, Shenzhen University(深圳大学医学部,深圳大学)
针对跨域可形变图像配准难题,受传统方法定制匹配准则启发,提出含通用与结构特征编码器的配准导向编码器建模匹配准则,经三域实验验证有效,且可通过one-shot学习更新结构编码器适配新域。
2024-06-18 cs.CV
3D Point Cloud Registration with Learning-based Matching Algorithm
Hokkaido University(北海道大学);OMRON SINIC X Corp.(欧姆龙 SINIC X 公司);Tohoku University(东北大学)
本文提出一种针对三维点云配准的学习型可微匹配模块,通过优化边级特征前向传播架构的内存效率并与特征提取器联合训练,在多个数据集上显著提升了现有方法的配准性能。
2023-12-04 cs.CV
Learning and Matching Multi-View Descriptors for Registration of Point Clouds
Hong Kong University of Science and Technology(香港科技大学);Shenzhen Zhuke Innovation Technology(深圳珠科创新技术)
点云配准的关键是在3D空间中的点之间建立一组精确的对应关系。对应性问题通常一方面通过设计有区别的3D局部描述符来解决,另一方面通过开发鲁棒的匹配策略来解决。在这项工作中,我们首先提出了一个多视图局部描述符,这是从多个视图的图像学习,用于描述3D关键点。然后,我们开发了一个强大的匹配方法,旨在拒绝离群匹配的基础上,通过定义的图形模型上的置信传播的有效推理。我们已经证明了我们的方法在公共扫描和多视图立体视觉数据集上注册的提升。通过对各种描述符和匹配方法的深入比较,验证了其优越的性能。
2023-02-27 cs.CV
Overlap Bias Matching is Necessary for Point Cloud Registration
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对低重叠点云配准中无监督方法缺乏重叠初始评估的问题,提出 OBMNet 及即插即用 OBMM,结合邻域图匹配稳健识别对应关系,并在多数据集上显著优于现有方法。
2023-08-18 cs.CV
Diff-Reg v2: Diffusion-Based Matching Matrix Estimation for Image Matching and 3D Registration
PCA Lab, Key Lab of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, School of Computer Science and Engineering, Nanjing University of Science and Technology(PCA实验室、教育部高维信息智能感知与系统重点实验室、计算机科学与工程学院、南京理工大学);Nanyang Technological University(南洋理工大学);Visual Recognition Group, Faculty of Electrical Engineering, Czech Technical University in Prague(视觉识别组、电气工程学院、布拉格捷克技术大学);School of Artificial Intelligence and Computer Science, Jiangnan University(人工智能与计算机科学学院、江南大学)
针对图像匹配与三维配准中的模糊对应问题,提出基于扩散模型的匹配矩阵估计方法,通过去噪过程逐步优化矩阵,并适配不同任务,实现鲁棒配准。
2025-09-25 cs.CV
Cross-PCR: A Robust Cross-Source Point Cloud Registration Framework
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
本文提出Cross-PCR框架,通过密度鲁棒编码器和“宽松生成、严格选择”的从松到紧匹配策略,解决跨源点云密度不一致与匹配困难问题,在3DCSR和3DMatch上显著提升配准召回率与鲁棒性。
2024-12-25 cs.CV
BridgeMatch: Conditional Transport Bridges in Matching Matrix Space for 3D Deformable Registration
Nantong University(南通大学);Nanyang Technological University(南洋理工大学);Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学);Southeast University(东南大学)
BridgeMatch提出两阶段生成式求解器,通过扩散估计全局匹配矩阵并用条件传输桥细化,在4DMatch等基准上提升非刚性点云配准精度,尤其改善低重叠场景。
2026-10-30 cs.CV
Articulated Shape Matching Using Laplacian Eigenfunctions and Unsupervised Point Registration
INRIA Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯研究中心)
当每个体素集由一个加权图描述时,匹配由体素集表示的关节形状归结为最大子图同构。谱图理论可以用来将这些图映射到低维空间,并通过对齐它们的嵌入来匹配形状,因为它们对姿态的变化不变性。经典的图同构方案依赖于特征值的排序来对齐特征空间,当处理大数据集或噪声数据时失败。我们推导出一种新的公式,该公式通过选择拉普拉斯矩阵的本征函数的最佳子集来找到两个全等的$K$维点集之间的最佳对齐。通过匹配用直方图构建的特征函数签名来完成选择,并且保留的集合为对齐问题提供了智能初始化,对整体性能有相当大的影响。密集的形状匹配转换成图匹配减少,然后,在正交变换下的嵌入点配准;配准是使用无监督聚类和EM算法的框架来解决的。通过定义一个适当的离群值类来处理不相同形状的最大子集匹配。挑战性的例子的实验结果表明,该算法如何自然地处理拓扑结构的变化,形状的变化和不同的采样密度。
2020-12-14 cs.CV
Point cloud registration: matching a maximal common subset on pointclouds with noise (with 2D implementation)
Universidad de Costa Rica(哥斯达黎加大学)
我们分析的问题,确定是否2给定的点云在2D中,任何不同的基数和任何数量的离群值,具有相同大小的子集,可以通过刚性运动匹配。这个问题是重要的,例如,在指纹匹配与不完整的数据的应用。我们提出了一种算法,在噪声容限的假设下,允许找到相应的子云的最大可能的大小。我们的程序优化势能函数这样做,这是第一次在点电荷之间发生的静电势能相互作用的启发。
2019-04-16 cs.CV
A Strong Baseline for Point Cloud Registration via Direct Superpoints Matching
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院);College of Engineering, Northeastern University(东北大学工程学院)
本文提出一种基于全局匹配和归一化匹配分数加权的点云配准基线,无需RANSAC即可端到端训练,在ModelNet、3DMatch和KITTI上达到与最先进方法相当或更好的精度。
2024-03-29 cs.CV
QUIZ: An Arbitrary Volumetric Point Matching Method for Medical Image Registration
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Guangdong Medical University(广东医科大学)
针对现有医学图像配准方法在大形变、低质或跨模态场景下不稳定不准确的问题,提出基于任意体素点匹配的QUIZ方法,结合CNN与Transformer实现配准,在宫颈癌大形变及跨模态数据集上均超越现有最优水平。
2023-09-30 cs.CV
Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version)
Fudan University(复旦大学);Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Shanghai Key Laboratory of Medical Image Computing and Computer Assisted Intervention(上海市医学影像计算与计算机辅助干预重点实验室)
三维点云配准是计算机视觉和机器人学中的一个基本问题。近年来,基于学习的点云配准方法取得了很大的进展。然而,这些方法是敏感的离群值,这导致更多的不正确的对应关系。在本文中,我们提出了一种新的基于深度图匹配的点云配准框架。具体来说,我们首先将点云转换为图形,并提取每个点的深层特征。然后,我们开发了一个基于深度图匹配的模块来计算软对应矩阵。利用图匹配建立对应关系时,不仅考虑了点的局部几何特征,而且考虑了点在更大范围内的结构和拓扑特征,从而找到了更多正确的对应关系,并对网络进行了训练,损失直接定义在对应关系上,并且在测试阶段,软对应被转换为硬一一对应,使得可以通过对应来执行配准。基于solver此外,我们引入了一种基于变换的方法来生成用于图构造的边,这进一步提高了对应关系的质量。在对象级和场景级基准数据集上的大量实验表明,该方法达到了最先进的性能。代码可在以下网址获得:\href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}。
2022-11-09 cs.CV
A Graph-Matching Approach for Cross-view Registration of Over-view 2 and Street-view based Point Clouds
The Ohio State University(俄亥俄州立大学)
在本文中,基于对象边界(例如,建筑物)应该与街景摄影测量图像生成的立面3D点的足迹相一致,我们的目标是通过提出一种用于交叉视图数据的全自动地理配准方法来解决这个问题,该方法通过图形匹配在全局优化框架下利用语义分割的对象边界作为视图不变特征:该方法以立体/多立体卫星图像生成的俯视点云和单目视频图像生成的街景点云为输入,将建筑物的片段建模为图的节点,从基于卫星的点云和基于街景的点云检测两者,从而将配准形成为图形匹配问题以允许非刚性匹配;为了实现鲁棒的解决方案并充分利用这些段之间的拓扑关系,我们提出了通过置信传播算法解决其共轭图上的图匹配问题。匹配的节点将进行进一步优化,以实现精确配准,然后对街景图像进行约束光束平差,以保持2D 29 3D分辨率,从而产生配准良好的街景图像和卫星点云的点云。
2022-02-14 cs.CV
Diff-Reg v1: Diffusion Matching Model for Registration Problem
Nanjing University of Science and Technology(南京理工大学);National University of Singapore(新加坡国立大学);Czech Technical University in Prague(布拉格捷克技术大学);Nanjing University(南京大学)
针对配准任务中特征匹配的模糊性与单次预测易陷局部极小值的问题,提出将对应关系估计建模为双随机矩阵空间中的去噪扩散过程,通过前向加噪与反向迭代细化实现高质量匹配,并在3D及2D3D配准任务上验证了其有效性。
2024-07-25 cs.CV
HybridPoint: Point Cloud Registration Based on Hybrid Point Sampling and Matching
Xi’an Jiaotong University(西安交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对点云配准中超点定位精度差导致块划分模糊的问题,提出基于混合点(显著点与均匀点)采样与双类块匹配的HybridPoint网络,在多个基准数据集上实现了最先进的配准性能。
2023-04-23 cs.CV
iMatcher: Improve matching in point cloud registration via local-to-global geometric consistency learning
ISIR, Sorbonne Université, CNRS UMR 7222, INSERM U1150(ISIR,索邦大学,CNRS UMR 7222,INSERM U1150)
iMatcher通过局部到全局几何一致性学习改进点云配准中的特征匹配,实现高内点率与鲁棒刚性配准。
2025-09-10 cs.CV
Video Registration in Egocentric Vision under Day and Night Illumination Changes
Università degli Studi di Modena e Reggio Emilia(摩德纳和雷焦艾米利亚大学)
随着可穿戴设备和头戴式摄像头的普及,现在可以实现需要精确用户定位的广泛应用。在本文中,我们提出了一个视频配准问题,获得用户的位置相对于一个已知的环境的问题。视频配准,即将输入视频序列与预先构建的3D模型对准的任务,依赖于在查询序列上提取的局部关键点与3D点云的匹配过程。整体配准性能与2D-3D匹配的实际质量密切相关,如果环境条件发生急剧变化(如白天和黑夜之间的光照变化),则会降低整体配准性能。为了在这些条件下有效地注册一个以自我为中心的视频序列,我们建议解决问题的根源:匹配过程。为了克服标准匹配技术的缺点,我们引入了一种新的嵌入空间,使我们能够获得强大的匹配,共同考虑到当地的描述符,它们的空间布局和时间的鲁棒性。该建议使用无约束的自我中心的视频序列进行评估,无论是在匹配质量和使用不同的3D模型的历史地标所产生的注册性能。结果表明,所提出的方法可以优于最先进的配准算法,特别是在处理夜间和白天序列的挑战。
2016-07-28 cs.CV
Deep Semantic Graph Matching for Large-scale Outdoor Point Clouds Registration
Information Engineering University(信息工程大学);University of Air Force(空军大学)
针对点云配准忽略语义信息的问题,提出深度语义图匹配方法DeepSGM,通过构建语义邻接图并结合图卷积与注意力机制学习特征,将匹配转化为最优传输问题求解,在KITTI数据集上显著提升了大规模室外点云配准性能。
2023-10-18 cs.CV
Localization: A Missing Link in the Pipeline of Object Matching and Registration
Indian Institute of Technology Delhi(德里印度理工学院);Chennai Mathematical Institute(钦奈数学研究所);Medanta Hospital(梅丹塔医院)
图像配准是利用几何变换将同一物体的两幅或多幅图像对齐的过程。大多数现有的方法工作的假设位置不变性。这些方法需要以对象为中心的图像来执行匹配。此外,在两个图像中的对应点之间不存在强度水平对称性的情况下,基于学习的配准方法依赖于合成变形,这在真实场景中经常失败。为了解决这些问题,在这项工作中开发了一种组合的卷积神经网络(CNN)来执行所需的注册。整个目标分为三个子目标:目标定位、分割和匹配变换。对象定位步骤建立图像之间的初始对应关系。为此,使用了改进版的Single Shot多盒探测器。对检测到的区域进行裁剪,以使图像以对象为中心。随后,使用采用薄板样条变形的空间Transformer网络对对象进行分割和匹配。在MNIST和Caltech-101数据集上的初步实验表明,该模型能够产生准确的匹配。使用骰子系数(DC)和平均交集(mIoU)进行的定量评估表明,该方法的结果在79%和66%,分别为MNIST数据集和94%和90%,分别为加州理工学院-101数据集的值。所提出的框架扩展到CT和US图像的配准,这是从任何数据的具体假设,并具有更好的泛化能力相比,现有的基于规则的/经典的方法。
2019-01-11 cs.CV
3D Focusing-and-Matching Network for Multi-Instance Point Cloud Registration
School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院)
针对多实例点云配准中全局对应关系受杂乱与遮挡影响的问题,提出3DFMNet,通过3D多物体聚焦和双掩码实例匹配实现成对配准,并在Scan2CAD与ROBI上达到最先进性能。
2025-01-06 cs.CV
A 3D Cross-modal Keypoint Descriptor for MR-US Matching and Registration
Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院);Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Institut du Cerveau - Paris Brain Institute - ICM, CNRS, Inserm, AP-HP, Hôpital de la Pitié Salpêtrière(巴黎大脑研究所 - ICM, 法国国家科学研究中心, 法国国家健康与医学研究院, 巴黎公立医院集团, 皮提耶-萨勒佩特里医院);Technical University of Munich(慕尼黑工业大学)
本文提出一种3D跨模态关键点描述符,通过合成iUS体积进行患者特异性匹配,学习共享描述空间,实现鲁棒且旋转不变的配准。
2026-04-01 cs.CV
Palmprint image registration using convolutional neural networks and Hough transform
基于细节特征的掌纹识别系统在过去的二十年里受到了广泛的关注。由于掌纹中的大量细节点(大约1000个细节点),匹配过程是耗时的,这使得其对于实时的应用是不实际的。解决这个问题的一种方法是将所有掌纹图像与参考图像对齐,并将它们带到相同的坐标系。将所有的掌纹图像带到同一个坐标系,在细节匹配过程中减少了计算量。本文利用卷积神经网络(CNN)和广义Hough变换(GHT),提出了一种新的掌纹图像精确配准方法。该方法找到掌纹和参考图像之间的对应旋转和位移(在x和y方向上)。准确的掌纹配准可以提高匹配过程的速度和精度。该方法能够自动区分左右掌纹,提高了匹配速度。此外,在配准阶段设计了CNN的结构,将掌纹图像从背景中分割出来,为细节点提取做了预处理。在THUPALMLAB数据库上对所提出的配准方法和细节柱码(MCC)匹配算法进行了评估,结果表明该算法优于大多数现有算法。
2019-04-03 cs.CV
A Robust Multimodal Remote Sensing Image Registration Method and System Using Steerable Filters with First- and Second-order Gradients
Southwest Jiaotong University(西南交通大学);Beijing Institute of Technology(北京理工学院);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(测绘遥感信息工程国家重点实验室)
由于非线性辐射差异(NRD)和显著的几何失真(例如,缩放和旋转变化)之间的图像。本文提出了一种基于可操纵滤波器的鲁棒匹配方法,该方法包括两个关键步骤。首先,为了解决严重的NRD,一种新的结构描述符命名为可操纵滤波器的第一和第二阶通道(SFOC),它结合了一阶和第二阶梯度信息,通过使用可操纵滤波器与多尺度策略来描述更多的区别结构特征的图像。在此基础上,提出了一种快速归一化互相关(Fast-NCCSFOC)相似性度量方法,该方法利用快速傅立叶变换和积分图像来提高匹配效率。此外,为了实现可靠的配准性能,由粗到精的多模态配准系统的设计包括两个关键模块。首先进行局部粗配准,包括检测的兴趣点(IP)和局部几何校正,有效地利用遥感图像的先验地理参考信息,以解决全球的几何失真。在精配准阶段,提出的SFOC是用来抵抗显着的NRD,并检测多模态图像之间的控制点的模板匹配方案。所提出的匹配方法的性能进行了评估与许多不同类型的多模态遥感图像。实验结果表明,与现有的方法相比,该方法具有更好的匹配性能。此外,所设计的配准系统在配准精度和计算效率方面也优于流行的商业软件。我们的系统可在https://github.com/yeyuanxin110上获得。
2022-02-27 cs.CV
Weighted Motion Averaging for the Registration of Multi-View Range Scans
Xi’an Jiaotong University(西安交通大学);University of North Carolina at Charlotte(夏洛特北卡罗来纳大学);Northwest University(西北大学)
多视图配准是三维重建和机器人视觉中的一个基本而又具有挑战性的问题。虽然原始的运动平均算法已经被引入作为解决多视图配准问题的有效手段,但它没有考虑每个相对运动的可靠性和准确性。因此,本文提出了一种新的运动平均多视点配准算法。该算法首先利用逐对配准算法估计具有一定重叠度的扫描对的相对运动和重叠百分比。在已知重叠百分比的情况下,将重叠百分比作为每个扫描对的权值,提出了加权运动平均算法,该算法能够更加关注可靠、准确的相对运动。通过区别对待每个相对运动,可以通过将加权运动平均应用于多视图范围扫描来实现更准确的配准。实验结果表明,我们提出的方法相比,国家的最先进的方法在准确性,鲁棒性和效率的优越性。
2017-04-09 cs.CV
Multi-view Point Cloud Registration with Adaptive Convergence Threshold and its Application on 3D Model Retrieval
Xi’an Jiaotong University(西安交通大学)
多视点云配准是多媒体技术和人工智能领域的研究热点。本文提出了一种基于自适应收敛阈值的多视点云配准算法的三维模型重建框架,并将其应用于三维模型检索。结合运动平均算法实现了迭代最近点(ICP)算法,用于多视点云的配准。在注册过程之后,我们设计用于3D模型检索的应用程序。基于顶点曲率计算几何显著图。然后基于显著图生成测试面部三角形,该显著图被应用于与标准面部三角形进行比较。人脸和非人脸模型,然后区分。实验和比较证明了该框架的有效性。
2018-12-25 cs.CV
Fast and Robust Matching for Multimodal Remote Sensing Image Registration
Southwest Jiaotong University(西南交通大学);University of Trento(特伦托大学);Purdue University(普渡大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
虽然图像配准已经在遥感界研究了几十年,但配准多模态数据[例如,光学、LiDAR、SAR和地图]仍然是一个具有挑战性的问题,因为这些数据之间存在显著的非线性强度差异。为了解决这个问题,本文提出了一种快速、鲁棒的匹配框架,该框架集成了用于多模式配准的局部描述符。在所提出的框架中,一个局部描述符,如直方图的方向梯度(HOG),局部自相似性(LSS),或加速鲁棒特征(SURF),首先提取在每个像素,形成一个逐像素的特征表示的图像。然后,我们定义了一个相似性度量的基础上的特征表示在频域中使用的三维快速傅立叶变换(3DFFT)技术,其次是一个模板匹配方案来检测图像之间的控制点。在这个过程中,我们还提出了一种新的像素级的特征表示使用定向梯度的图像,这是命名为通道功能的定向梯度(CFOG)。该特征是逐像素HOG描述符的扩展,在匹配性能和计算效率方面都优于逐像素HOG描述符。所提出的框架的主要优点包括:(1)结构相似性表示使用逐像素的特征描述和(2)由于使用3DFFT的高计算效率。在不同类型的多模态图像上的实验结果表明,该框架的匹配性能优于现有的匹配方法,并已应用于某上市公司的软件产品中。matlab代码可以在这份手稿中找到。
2021-03-31 cs.CV
2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds
National University of Defense Technology(国防科技大学);Defense Innovation Institute, Academy of Military Sciences(军事科学院国防科技创新研究院);Sun Yat-sen University(中山大学)
本文提出无检测的 2D3D-MATR,通过由粗到细的 Transformer 块匹配和多尺度金字塔实现图像与点云配准,性能显著优于 P2-Net。
2023-08-14 cs.CV
Semantic Matching by Weakly Supervised 2D Point Set Registration
Aalto University(阿尔托大学)
在本文中,我们解决的问题,建立同一对象的不同实例之间的对应关系。这个问题被提出来作为寻找几何变换,对齐一个给定的图像对。我们使用卷积神经网络(CNN)直接回归转换模型的参数。对齐问题被定义在其中每个图像的语义关键点的无序集合可用的设置中,但是没有对应信息。为此,我们提出了一种新的损失函数循环一致性的基础上,解决了这个二维点集配准问题,通过推断最佳的几何变换模型参数。我们训练和测试我们的方法在一个标准的基准数据集建议流(PF-PASCAL)\cite{proposal_flow}。所提出的方法实现了国家的最先进的结果证明了该方法的有效性。此外,我们展示了我们的方法进一步受益于使用类别级别信息生成的PF-PASCAL中的额外训练样本。
2019-01-24 cs.CV
End-to-end Learning the Partial Permutation Matrix for Robust 3D Point Cloud Registration
Northwestern Polytechnical University(西北工业大学);Baidu Research(百度研究院)
尽管基于深度学习的3D点云处理已经取得了相当大的进展,但如何获得用于鲁棒配准的准确对应仍然是一个主要挑战,因为现有的硬分配方法不能自然地处理离群值。或者,已经提出了基于软匹配的方法来学习匹配概率,而不是硬分配。然而,在本文中,我们证明了这些方法有一个固有的模糊性,造成许多欺骗性的对应。为了解决上述挑战,我们建议学习部分置换匹配矩阵,该矩阵不会将相应的点分配给离群值,并实现硬分配以防止歧义。然而,这一提议提出了两个新问题,即,现有的硬分配算法只能求解满秩置换矩阵,而不能求解部分置换矩阵,并且该期望矩阵被定义在不可微的离散空间中。作为回应,我们设计了一个专用的软到硬(S2 H)匹配过程中的注册管道包括两个步骤:解决软匹配矩阵(S-步骤)和投影这个软矩阵的部分置换矩阵(H-步骤)。具体地说,我们在硬分配之前对利润矩阵进行增广,以求解增广的置换矩阵,然后对增广的置换矩阵进行裁剪,以获得最终的部分置换矩阵。此外,为了保证端到端的学习,我们监督学习的部分置换矩阵,但将梯度传播到软矩阵。我们的S2 H匹配过程可以很容易地与现有的注册框架集成,这已经在DCP,RPMNet和DGR等代表性框架中得到了验证。大量的实验已经验证了我们的方法,这创造了一个新的国家的最先进的性能鲁棒的3D点云配准。代码将被公开。
2022-03-01 cs.CV
Closed-loop Feedback Registration for Consecutive Images of Moving Flexible Targets
Institute for Applied Life Sciences, University of Massachusetts(马萨诸塞大学应用生命科学研究所);University of Massachusetts(马萨诸塞大学)
成像技术的进步使得能够获取连续的图像序列用于制造生产线的质量监控。这些图像序列的配准对于在线图案检查和计量是必不可少的,例如,在柔性电子产品的印刷过程中。然而,传统的图像配准算法不能产生准确的结果时,图像包含许多相似的和可变形的图案在制造过程中。这样的失败源于这样的事实,即传统的算法只使用空间和像素强度信息用于配准。考虑到产品图像的时间连续性和连续性,本文提出了一种闭环反馈配准算法,用于运动柔性基板上可变形印刷图案的匹配和拼接。该算法利用连续图像的时间和空间关系以及图像序列的连续性来实现快速、准确和鲁棒的点匹配。我们的实验结果表明,我们的算法可以找到更多的匹配点对与较低的均方根误差(RMSE)相比,其他国家的最先进的算法,同时提供显着改善运行时间。
2021-10-20 cs.CV
Graph Matching Optimization Network for Point Cloud Registration
Nanjing University of Science and Technology(南京理工大学);University of Technology Sydney(悉尼科技大学)
针对点云配准中忽略显式等距保持约束的问题,提出GMONet网络,通过部分和全图匹配优化器在特征训练阶段显式施加该约束,提升了特征表示能力并在多个基准上取得竞争力表现。
2023-03-04 cs.CV
A Consistency-Aware Spot-Guided Transformer for Versatile and Hierarchical Point Cloud Registration
College of Control Science and Engineering(控制科学与工程学院);Zhejiang University(浙江大学)
针对点云配准中粗匹配缺乏几何一致性导致效率与可扩展性差的问题,提出一致性感知斑点引导Transformer(CAST),通过斑点引导交叉注意力与一致性感知自注意力模块及轻量级细匹配模块,实现了最先进的配准精度、效率和鲁棒性。
2024-10-14 cs.CV
An Artificial Agent for Robust Image Registration
Siemens Medical Solutions USA(西门子医疗解决方案美国公司)
三维图像配准涉及到两个或多个图像的对齐,是从诊断到治疗的各种医学应用中的关键步骤。图像配准通常通过优化作为成本函数的图像匹配度量来执行。然而,由于匹配度量在合理配准参数空间上的非凸性质以及鲁棒优化的方法不足,因此这项任务具有挑战性。因此,当前的方法通常针对特定问题定制,并且对图像质量和伪影敏感。在本文中,我们提出了一种完全不同的方法来图像配准,灵感来自专家如何执行任务。我们首先将图像配准问题转换为“策略学习”过程,其中目标是找到最佳运动动作序列(例如,向上,向下等)。产生图像对齐。在这种方法中,人工代理被学习,使用深度卷积神经网络建模,3D原始图像数据作为输入,下一个最佳动作作为输出。为了解决这个问题的维度,我们提出了一种贪婪的监督方法来进行端到端的训练,再加上注意力驱动的分层策略。由此产生的注册方法固有地编码数据驱动的匹配度量和最佳注册策略(政策)。我们证明,在两个3-D/3-D医学图像配准的例子,具有截然不同的性质的挑战,人工代理优于几个国家的最先进的配准方法的准确性和鲁棒性方面的大幅度。
2016-11-30 cs.CV
Resolving the Ambiguity of Complete-to-Partial Point Cloud Registration for Image-Guided Liver Surgery with Patches-to-Partial Matching
Center for Imaging Science and Department of Biomedical Engineering, Rochester Institute of Technology(成像科学中心和生物医学工程系,罗切斯特理工学院);Department of Biomedical Engineering, Vanderbilt University(生物医学工程系,范德比尔特大学);School of Science and Engineering, University of Missouri – Kansas City(科学与工程学院,密苏里大学-堪萨斯城分校)
针对图像引导肝脏手术中完整点云到局部点云配准的歧义问题,提出斑块-局部匹配即插即用模块,可集成至现有学习式配准方法中,有效提升有限术中可见度下的配准性能,并构建了相关基准数据集。
2025-05-16 cs.CV
A Practical Maximum Clique Algorithm for Matching with Pairwise Constraints
The University of Adelaide(阿德莱德大学);University of Potsdam(波茨坦大学)
3D点云配准的一个流行范例是通过提取3D关键点对应关系,然后使用鲁棒算法从对应关系估计配准函数。然而,许多现有的3D关键点技术往往会产生大比例的错误对应或离群值,这显著增加了鲁棒估计的成本。另一种方法是直接搜索成对一致的对应子集,而不优化配准函数。这就产生了配对约束匹配的组合问题。在本文中,我们提出了一个非常有效的最大团算法来解决配对约束的匹配。我们的技术结合了树搜索与高效的边界和修剪的基础上图着色。我们证明,尽管理论上的棘手性,许多实际问题的情况下,可以解决准确和快速(秒到分钟)与我们的算法,这使得我们的方法是一个很好的替代标准的强大的3D配准技术。
2020-02-27 cs.CV
Elastic registration based on compliance analysis and biomechanical graph matching
Inria Nancy Grand Est(法国国家信息与自动化研究所南锡大东部分院);Université de Lorraine(洛林大学)
提出了一种适用于血管化器官的自动弹性配准方法。术前和术中图像中的脉管系统均表示为图形。该方法的典型应用是在手术期间将术前信息融合到器官上,以补偿由术中成像模态(例如,CBCT)提供的有限细节并应对器官形状的变化。由于图像模态差异和器官变形,每个图具有不同的拓扑结构和形状。所提出的自适应顺应性图匹配(ACGM)方法不需要任何手动初始化,可处理高达65 mm的术中非刚性变形,并仅从匹配的血管系统计算器官上的完整位移场。ACGM比之前的生物力学图匹配方法3(BGM)更好,因为它使用有效的生物力学血管化肝脏模型来计算器官的变换和血管分叉顺应性。这允许有效地找到最佳的图形匹配与一种新的符合性为基础的自适应搜索。这些贡献进行了评估,十个现实的合成和两个真正的猪自动分割数据集。ACGM获得了比BGM更好的目标配准误差(TRE),在真实数据集中的平均TRE分别为4.2 mm和6.5 mm。它也快了一个数量级,对所用参数的依赖性更小,对噪声的鲁棒性更强。
2019-12-13 cs.CV
K-means clustering for efficient and robust registration of multi-view point sets
Xi’an Jiaotong Universiy(西安交通大学);DAQRI;Tianjin Universiy(天津大学);School of Software Engineering, Xi’an Jiaotong Universiy(西安交通大学软件工程学院);School of Computer Science and Technology, Tianjin Universiy(天津大学计算机科学与技术学院)
一般来说,有三个主要因素决定了配准的实际可用性,即,准确性、鲁棒性和效率。在实时应用中,效率和鲁棒性更加重要。为了提高这两个能力,我们把多视图注册成一个聚类任务。所有的质心都是从多视图配准中涉及的初始对齐的点集中均匀采样的,这使得它对于聚类是相当有效的。然后,每个点被分配到一个单一的集群和每个集群质心相应地更新。随后,由所有聚类质心组成的形状用于顺序地估计每个点集的刚性变换。为了准确性和稳定性,聚类和变换估计交替和迭代地应用于所有点集。我们在几个基准数据集上测试了我们提出的方法,并将其与最先进的方法进行了比较。实验结果验证了该方法的有效性和鲁棒性。
2018-04-30 cs.CV
Effective multi-view registration of point sets based on student's t mixture model
Xi’an Jiaotong University(西安交通大学)
近年来,期望最大化(EM)算法被引入作为解决多视图配准问题的有效手段。以往的方法大多假设每个数据点都是从高斯混合模型(GMM)中提取的,这很难处理带有厚尾或离群点的噪声。为此,提出了一种基于学生t混合模型(StMM)的有效配准方法.更具体地说,我们假设每个数据点是从一个独特的StMM,在其他点集的最近邻居(NN)被视为具有相等的协方差,成员概率,和固定的自由度的t-分布质心。基于这一假设,将多视点配准问题转化为包含所有刚性变换的似然函数的最大化问题。随后,EM算法被用来优化刚性变换以及唯一的t-分布协方差多视图配准。由于只需要优化几个模型参数,所提出的方法更有可能获得理想的配准结果。此外,神经网络搜索方法可以得到所有的t分布质心,实现多视图配准是非常有效的。此外,t分布考虑了噪声的厚尾性,这使得该方法对噪声和野值具有内在的鲁棒性。在基准数据集上的实验结果表明,该方法在鲁棒性和准确性方面优于现有方法。
2020-12-13 cs.CV
Robust Point Cloud Registration Framework Based on Deep Graph Matching
Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Fudan University(复旦大学);Shanghai Key Lab of Medical Image Computing and Computer Assisted Intervention(上海医学影像计算与计算机辅助介入重点实验室)
三维点云配准是计算机视觉和机器人学中的一个基本问题。在这方面已经有了广泛的研究,但现有的方法遇到了很大的挑战,在大比例的离群值和时间限制的情况下,但没有良好的转换初始化。最近,一系列基于学习的算法已经被引入,并显示出速度上的优势。它们中的许多基于两个点云之间的对应关系,因此它们不依赖于变换初始化。然而,这些基于学习的方法对异常值敏感,这导致更多的不正确的对应关系。在本文中,我们提出了一种新的基于深度图匹配的点云配准框架。具体来说,我们首先将点云转换为图形,并提取每个点的深层特征。然后,我们开发了一个基于深度图匹配的模块来计算软对应矩阵。利用图匹配建立对应关系时,不仅考虑了点的局部几何特征,而且考虑了点在更大范围内的结构和拓扑特征,从而找到了更多正确的对应关系,并对网络进行了训练,损失直接定义在对应关系上,在测试阶段,软对应关系被转换为硬对应关系,一个对应关系使得可以通过奇异值分解来执行配准。此外,我们引入了一种基于变换的方法来生成用于图构造的边,这进一步提高了对应关系的质量。大量的实验表明,该方法实现了最先进的性能注册干净,嘈杂,部分到部分和看不见的类别点云。该守则将在www.example.com上公布。
2021-03-07 cs.CV
Registration of multi-view point sets under the perspective of expectation-maximization
Xi’an Jiaotong University(西安交通大学);Zhongnan University of Economics and Law(中南财经政法大学);Kyushu Institute of Technology(九州工业大学)
多视点集的配准是三维模型重建的前提。为了解决这个问题,大多数以前的方法要么部分地探索可用的信息,或盲目地利用不必要的信息来对齐每个点集,这可能会导致不希望的结果或引入额外的计算复杂度。为此,本文将多视点配准问题视为最大似然估计问题,提出了一种基于期望最大化(Expectation-Maximization,EM)的多视点配准方法。我们的方法的基本思想是,不同的数据点是由相同数量的高斯混合模型(GARCH)生成的。对于一个点集中的每个数据点,可以从其他对齐良好的点集中搜索其最近的邻居。然后,我们可以假设这个数据点是由特殊的GMM产生的,GMM由每个最近邻服从一个高斯分布组成。基于这一假设,定义包含所有刚性变换的似然函数是合理的,这需要对多视图配准进行估计。随后,EM算法被用来最大化的似然函数,以估计所有的刚性变换。最后,所提出的方法进行了测试,在几个基准数据集,并与一些国家的最先进的算法进行比较。实验结果表明,该方法在多视点配准的准确性、鲁棒性和效率上都有较好的表现。
2020-03-09 cs.CV
Point Cloud Registration-Driven Robust Feature Matching for 3D Siamese Object Tracking
Nanjing University of Science and Technology(南京理工大学)
学习模板和搜索区域之间的鲁棒特征匹配对于3D暹罗跟踪至关重要。Siamese特征匹配的核心是如何在模板和搜索区域的对应点上分配高的特征相似度,以实现精确的目标定位。在本文中,我们提出了一种新型的点云配准驱动的连体追踪框架,直觉是空间对齐的对应点(通过3D配准)往往会实现一致的特征表示。具体来说,我们的方法包括两个模块,包括跟踪特定的非本地注册模块和注册辅助Sinkhorn模板特征聚合模块。配准模块的目标是模板和搜索区域之间的精确空间对准。提出了跟踪特定的空间距离约束,以细化区分性特征学习的非局部模块中的交叉注意权值。然后,我们使用加权SVD计算模板和搜索区域之间的刚性变换,并将它们对齐,以获得所需的空间对齐的对应点。对于特征聚合模型,我们将转换后的模板和搜索区域之间的特征匹配表示为最优传输问题,并利用Sinkhorn优化来搜索离群鲁棒匹配解决方案。此外,建立配准辅助的空间距离图以提高不可区分区域(例如,光滑表面)。最后,在得到的特征匹配图的指导下,将模板中的目标信息聚合到搜索区域中,构建目标特定特征,然后将其送入类似CenterPoint的检测头进行目标定位。在KITTI、NuScenes和Waymo数据集上的大量实验验证了该方法的有效性。
2022-12-03 cs.AI cs.CV
Salient Region Matching for Fully Automated MR-TRUS Registration
School of Biomedical Engineering, Shenzhen University(深圳大学生物医学工程学院);Medical UltraSound Image Computing (MUSIC) Lab(医学超声影像计算实验室);Smart Medical Imaging, Learning and Engineering (SMILE) Lab(智能医学影像、学习与工程实验室)
提出一种结合前列腺分割、刚性对齐与带跨模态注意力和显著区域损失的可变形网络的全自动 MR-TRUS 配准框架,实验显示其优于多种前沿方法。
2025-01-07 cs.CV eess.IV
Multi-Features Guidance Network for partial-to-partial point cloud registration
针对混合特征所带来的维数差异大、语义鸿沟大、相互干扰等问题,提出了一种新的多特征引导网络(Multi-Features Guidance Network,MFG)用于部分点云配准。该网络主要包括关键点特征提取、对应搜索、对应可信度计算和奇异值分解四个部分,其中对应搜索和对应可信度计算是网络的核心。与以前的工作不同,我们利用形状特征和空间坐标来指导对应搜索独立和融合的匹配结果,以获得最终的匹配矩阵。在对应关系可信度计算模块中,根据特征匹配矩阵和坐标匹配矩阵之间的冲突关系,对每个对应关系进行可信度评分,减少了不匹配点或不匹配点的影响。实验结果表明,我们的网络优于目前的最先进的,同时保持计算效率。
2021-09-10 cs.CV
SA-DNet: A on-demand semantic object registration network adapting to non-rigid deformation
Yunnan Normal University(云南师范大学);University of Nottingham Ningbo China(宁波诺丁汉大学);Aba Teachers University(阿坝师范学院)
图像配准作为红外与可见光图像融合前的一个重要处理步骤,其性能的好坏直接关系到两幅图像能否在正确的空间位置融合。在实际场景中,不同的成像设备可能会导致视角或镜头之间的时间间隔发生变化,使得红外和可见光图像的空间关系显著非刚性。即使匹配了大量的特征点,配准精度仍然可能不够,影响图像融合和其他视觉任务的结果。为了缓解这个问题,我们提出了一个语义感知的按需配准网络(SA-DNet),其主要目的是通过设计语义感知模块(SAM)和HOL-Deep混合匹配模块(HDM)将特征匹配过程限制在语义感兴趣区域(sROI)。利用TPS对红外图像和可见光图像进行变换,得到sROI中对应的特征点,然后利用图像融合模块(IFM)对配准后的图像进行融合,实现功能完备的配准融合网络。此外,我们指出,对于不同的需求,这种类型的方法允许我们选择语义对象的特征匹配需要和完成特定的任务注册的基础上的特定要求。为了证明SA-DNet对非刚性失真的鲁棒性,我们通过将SA-DNet与五种最先进的红外和可见光图像特征匹配方法进行比较进行了广泛的实验,实验结果表明,我们的方法更好地适应图像中存在的非刚性失真,并提供语义配准良好的图像。
2022-10-26 cs.CV
Reliable Inlier Evaluation for Unsupervised Point Cloud Registration
Nanjing University of Science and Technology(南京理工大学)
无监督点云配准算法在部分重叠问题中,由于缺乏有效的内点评价,配准精度往往不高。提出了一种基于邻域一致性的可靠内点评价方法,用于点云配准。期望捕获源邻域和对应的伪目标邻域之间的区别性几何差异以用于有效的内点区分。具体来说,我们的模型包括一个匹配映射细化模块和一个内点评估模块。在匹配图细化模块中,我们通过将相邻点的匹配得分整合到匹配图中来改进逐点匹配图估计,聚合的相邻点信息可能有助于区分图的构建,从而可以为生成伪目标点云提供高质量的对应关系。基于观察到离群点在其源邻域和对应的伪目标邻域之间具有显著的结构方面的差异,而对于内点的这种差异很小,内点评估模块利用这种差异来对每个估计的对应性的内点置信度进行评分。特别是,我们构建了一个有效的图形表示捕捉这种几何差异的邻居。最后,利用学习到的对应关系和相应的内点置信度,我们使用加权SVD算法进行变换估计。在无监督的情况下,我们利用基于Huber函数的全局对齐损失,局部邻域一致性损失和空间一致性损失进行模型优化。在大量数据集上的实验结果表明,我们的无监督点云配准方法可以产生相当的性能。
2022-02-23 cs.CV
Multi-view Registration Based on Weighted Low Rank and Sparse Matrix Decomposition of Motions
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Rail Transit Engineering Informatization (FSDI)(轨道交通工程信息化国家重点实验室(FSDI));Nanjing University of Posts and Telecommunications(南京邮电大学);Jiangnan University(江南大学)
近年来,低秩稀疏(LRS)矩阵分解被引入作为解决多视图配准的有效手段。它将每个可用的相对运动视为一个块元素来重建一个矩阵,以逼近低秩矩阵,其中可以恢复全局运动以进行多视图配准。然而,这种方法是敏感的稀疏性的重建矩阵,它对待所有的块元素一样,尽管他们的不同的可靠性。因此,本文提出了一种有效的多视图配准的加权LRS分解的方法。基于相对运动的反对称性,提出了一种降低重构矩阵稀疏性的完备化策略。降低重构矩阵的稀疏性可以提高LRS分解的鲁棒性。然后,它提出了加权LRS分解,其中每个块元素被分配一个估计的权重来表示其可靠性。通过引入权值,可以从估计的低秩矩阵中恢复更精确的配准结果,具有良好的效率。在公共数据集上的实验结果表明,该方法在鲁棒性、准确性和效率上优于现有的方法。
2018-04-05 cs.CV
Learning Feature Descriptors for Pre- and Intra-operative Point Cloud Matching for Laparoscopic Liver Registration
Rochester Institute of Technology(罗切斯特理工学院)
目的:在腹腔镜肝脏手术(LLS)中,通过将3D术前模型配准到从腹腔镜视频重建的术中部分表面,可以将术前信息覆盖到术中场景上。为了帮助完成这项任务,我们探索了基于学习的特征描述符的使用,据我们所知,这些特征描述符还没有被探索用于腹腔镜肝脏配准。此外,不存在用于训练和评估基于学习的描述符的使用的数据集。方法:我们提供了由16个术前模型及其模拟的术中3D表面组成的LiverMatch数据集。我们还提出了为这项任务设计的LiverMatch网络,它输出每个点的特征描述符,可见性分数和匹配点。结果如下:我们将建议的LiverMatch网络与最接近LiverMatch的网络进行比较,并在LiverMatch数据集的测试分割上使用基于直方图的3D描述符,该数据集包括两个看不见的术前模型和1400个术中表面。结果表明,我们的LiverMatch网络可以预测比其他两种方法更准确和密集的匹配,并可以与基于RANSAC-ICP的配准算法无缝集成,以实现准确的初始对齐。结论:在LLR中使用基于学习的特征描述符是有希望的,因为它可以帮助实现准确的初始刚性对准,这反过来又可以作为后续非刚性配准的初始化。我们将在接受后发布数据集和代码。
2022-11-07 cs.CV
VF-NeRF: Viewshed Fields for Rigid NeRF Registration
Tel Aviv University(特拉维夫大学)
针对无原始相机位姿的 NeRF 刚性配准问题,本文提出视域场 VF 以表征三维点被相机观测的可能性,并将其用于配准各阶段,在多类数据集上达到 SOTA。
2024-04-04 cs.CV
Flow Matching-enabled Test-Time Refinement for Unsupervised Cardiac MR Registration
University College London(伦敦大学学院);InstaDeep;Imperial College London(伦敦帝国学院)
FlowReg 通过流匹配框架实现高效的无监督心脏 MR 配准,无需预训练模型,提升配准精度并减少误差
2026-03-03 cs.CV
3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration
National University of Singapore(新加坡国立大学)
本文提出了一种基于弱监督的3DFeat-Net点云匹配算法,该算法利用3DFeat-Net的弱监督特性,同时学习点云的3D特征检测器和描述符。与许多现有的作品,我们不需要手动注释的匹配点集群。相反,我们利用对齐和注意力机制来学习GPS/INS标记的3D点云的特征对应关系,而不明确指定它们。我们创建了训练和基准户外激光雷达数据集,实验表明3DSP-Net在这些重力对齐的数据集上获得了最先进的性能。
2018-07-25 cs.CV
DIPR: Efficient Point Cloud Registration via Dynamic Iteration
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
提出DIPR框架,通过动态迭代交互关注重叠点,结合全局与局部配准、Refined Nodes聚类及SC Classifier提前退出机制,在多数据集上以更低计算和内存开销实现高精度点云配准。
2024-08-24 cs.CV