DGC-GNN: Leveraging Geometry and Color Cues for Visual Descriptor-Free 2D-3D Matching
Aalto University（阿尔托大学）；ETH Zurich（苏黎世联邦理工学院）
提出DGC-GNN算法，通过全局到局部的图神经网络逐步利用几何和颜色线索表示关键点，在无视觉描述符的2D-3D匹配中显著提升精度，缩小与基于描述符方法的性能差距。
2024-03-24 cs.CV
Intelligent Reference Curation for Visual Place Recognition via Bayesian Selective Fusion
University of Melbourne（墨尔本大学）；Queensland University of Technology（昆士兰科技大学）
视觉位置识别（VPR）的一个关键挑战是识别位置，尽管由于一天中的时间，季节，天气或照明条件等因素而导致视觉外观发生剧烈变化。基于深度学习的图像描述符、序列匹配、域转换和概率定位的许多方法都成功地解决了这一挑战，但大多数方法都依赖于可能地点的精心策划的代表性参考图像的可用性。在本文中，我们提出了一种新的方法，称为贝叶斯选择性融合，积极选择和融合信息参考图像，以确定最佳的地方匹配给定的查询图像。我们的方法的选择性元素避免了每个参考图像的适得其反的融合，并能够在视觉条件不断变化的环境中动态选择信息参考图像（例如室内闪烁的灯光，在阳光下或在昼夜循环期间的室外）。我们的方法的概率元素提供了一种融合多个参考图像的方法，该方法通过一种新的VPR无训练似然函数来解释它们的不确定性。在两个基准数据集的困难查询图像上，我们证明了我们的方法匹配并超过了几种替代融合方法的性能，以及最先进的技术，这些技术提供了最佳参考图像的先验（不公平）知识。我们的方法非常适合于长期的机器人自主性，其中动态视觉环境是常见的，因为它是免费的，不可知的，并补充现有的技术，如序列匹配。
2021-01-03 cs.CV cs.RO
Learning general and distinctive 3D local deep descriptors for point cloud registration
一个有效的3D描述符应该对不同的几何变换（如缩放和旋转）保持不变，对遮挡和混乱具有鲁棒性，并且能够推广到不同的应用领域。我们提出了一种简单而有效的方法来学习通用和独特的3D局部描述符，可用于注册在不同域中捕获的点云。点云补丁被提取，规范化相对于他们的本地参考系，并编码成规模和旋转不变的紧凑描述符的深度神经网络，是不变的输入点的排列。这种设计使我们的描述符能够跨域泛化。我们在几个室内和室外数据集上评估并比较了我们的描述符与替代的手工制作和基于深度学习的描述符，这些数据集通过使用RGBD传感器和激光扫描仪重建。我们的描述符在泛化方面远远优于最新的描述符，并且在同一领域进行训练和测试的基准测试中也成为最先进的。
2022-05-12 cs.CV cs.RO
SGAD: Semantic and Geometric-aware Descriptor for Local Feature Matching
Xidian University（西电大学）；Navinfo Europe B.V（Navinfo欧洲有限公司）
本文提出SGAD网络，通过生成高区分度区域描述子实现无需图优化的直接匹配，结合分类与排序监督策略及HCRF冗余过滤器，在大幅提升局部特征匹配精度与效率的同时刷新了SOTA。
2025-08-09 cs.CV
Unconstrained Matching of 2D and 3D Descriptors for 6-DOF Pose Estimation
The University of Western Australia（西澳大学）；Murdoch University（莫道克大学）
本文提出了一种新的概念，直接匹配的特征描述符提取的二维图像与特征描述符提取的三维点云。我们使用这个概念来直接定位3D点云中的图像。我们生成匹配的2D和3D点及其相应的特征描述符的数据集，用于学习描述符匹配器分类器。为了在测试时定位图像的姿态，我们从查询图像中提取关键点和特征描述符。然后使用训练的描述符匹配器来匹配来自图像和点云的特征。匹配特征的位置被用于鲁棒的姿态估计算法中以预测查询图像的位置和方向。我们对所提出的方法进行了广泛的评估，用于室内和室外场景以及不同类型的点云，以验证我们的方法的可行性。实验结果表明，直接匹配的特征描述符从图像和点云不仅是一个可行的想法，但也可以可靠地用于估计6自由度的查询相机在任何类型的三维点云在一个无约束的方式与高精度。
2020-05-29 cs.CV cs.LG cs.RO
Calibrated Keyframe-Segment Selection for Descriptor-Agnostic LiDAR Loop Closure in Repetitive Environments
Department of Naval Architecture and Ocean Engineering（naval architecture and ocean engineering department）
该研究提出了一种无描述符的稀疏回环准入策略，用于在重复环境中稳定图结构，通过校准查询级的分段假设并验证代表性配对来减少回环因素的误入，从而提高回环闭合的精度和稳定性。
2026-10-14 cs.CV cs.RO
3DFeat-Net: Weakly Supervised Local 3D Features for Point Cloud Registration
National University of Singapore（新加坡国立大学）
本文提出了一种基于弱监督的3DFeat-Net点云匹配算法，该算法利用3DFeat-Net的弱监督特性，同时学习点云的3D特征检测器和描述符。与许多现有的作品，我们不需要手动注释的匹配点集群。相反，我们利用对齐和注意力机制来学习GPS/INS标记的3D点云的特征对应关系，而不明确指定它们。我们创建了训练和基准户外激光雷达数据集，实验表明3DSP-Net在这些重力对齐的数据集上获得了最先进的性能。
2018-07-25 cs.CV
AIR-HLoc: Adaptive Retrieved Images Selection for Efficient Visual Localisation
University College London（伦敦大学学院）
本文提出AIR-HLoc，一种基于查询与数据库图像全局描述子相似度自适应调整top-$k$值的视觉定位方法，有效缓解特征匹配瓶颈，在保持精度的同时将匹配时间减少高达30%。
2025-03-04 cs.CV
SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Defense Technology（国防科技大学）
提取鲁棒且通用的3D局部特征是点云配准和重建等下游任务的关键。现有的基于学习的局部描述符要么对旋转变换敏感，要么依赖于既不通用也不具有代表性的经典手工特征。在本文中，我们引入了一种新的，但概念上简单的神经架构，称为SpinNet，提取局部特征，这些特征是旋转不变的，同时提供足够的信息，以实现准确的配准。首先引入空间点Transformer将输入的局部曲面映射到精心设计的圆柱空间中，从而使用SO（2）等变表示实现端到端优化。然后，利用强大的基于点的3D圆柱卷积神经层的神经特征提取器来导出用于匹配的紧凑且有代表性的描述符。在室内和室外数据集上进行的大量实验表明，SpinNet的性能大大优于现有的最先进技术。更重要的是，它在具有不同传感器模态的未知场景中具有最佳的泛化能力。该代码可在https://github.com/QingyongHu/SpinNet上获得。
2021-04-09 cs.AI cs.CV cs.LG
Improving Nighttime Retrieval-Based Localization
Université de Bordeaux（波尔多大学）
室外视觉定位是许多计算机视觉系统的重要组成部分。我们提出了一种从图像定位的方法，该方法旨在明确处理白天和夜间之间发生的外观变化。正如最近的长期本地化基准测试所揭示的那样，传统的基于特征的方法和基于检索的方法仍然难以处理这样的变化。我们的新的本地化方法结合了一个国家的最先进的图像检索体系结构与特定条件的子网络，允许计算的全球图像描述符是明确依赖于捕获条件。我们表明，我们的方法提高了近300\%的因素相比，流行的VLAD为基础的方法在夜间定位的本地化。
2019-04-05 cs.CV
Visual Re-Ranking with Non-Visual Side Information
Lund University（吕勒欧大学）
提出基于图神经网络的重排序方法GCSA，通过融合非视觉侧信息提升视觉位置识别与下游定位任务的性能。
2025-06-30 cs.CV
CLAD: Keypoint Matching Using Global Line Correspondences
Morpho, Inc.（莫尔福公司）
针对传统关键点描述符在重复或弱纹理场景中匹配不可靠的问题，提出CLAD方法，利用全局线对应关系提升匹配可靠性，在相关数据集上验证有效且计算量小。
2026-10-16 cs.CV cs.RO
Real-time Image-based 6-DOF Localization in Large-Scale Environments
我们提出了一个实时的【形】的方法，已重建离线使用运动恢复结构（SFM）的大型场景内基于图像的本地化。从单目视频中，我们的方法通过有效地跟踪自然特征并将其与Sfm点云中的3D点进行匹配，连续计算精确的6自由度相机姿态。我们的主要贡献在于有效地交织一个快速的关键点跟踪器，使用廉价的二进制特征描述符与一种新的方法，直接2D到3D匹配。2D到3D匹配避免了对尺度不变特征的在线提取的需要。相反，离线我们构建了一个索引数据库，其中包含多个DAISY描述符，每个3D点在多个尺度上提取。我们的方法的效率的关键在于调用DAISY描述符提取和匹配在本地化过程中节省，并在连续帧的窗口分布此计算。这使得算法能够实时的【形】运行，而不会在长时间内出现延迟波动。我们评估的方法在大型室内和室外场景。我们的算法在笔记本电脑上以超过30 Hz的频率运行，在低功耗的移动计算机上以12 Hz的频率运行，适用于四旋翼微型飞行器上的机载计算。
2012-03-27 cs.CV cs.RO
DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points
University of Southern California（南加州大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Stanford University（斯坦福大学）
建立两幅图像之间的密集对应关系是一个基本的计算机视觉问题，通常通过匹配局部特征描述符来解决。然而，如果没有全局意识，这些局部特征通常不足以消除类似区域的歧义。计算图像之间的成对特征相关性既计算昂贵又占用内存。为了使局部特征了解全局上下文并提高其匹配精度，我们引入了DenseGAP，这是一种新的解决方案，用于使用以锚点为条件的图结构神经网络进行高效的密集对应学习。具体来说，我们首先提出了一个图形结构，利用锚点，以提供稀疏但可靠的图像间和图像内的上下文之前，并通过有向边缘传播到所有的图像点。我们还设计了一个图结构的网络，通过轻量级的消息传递层广播多级上下文，并以低内存成本生成高分辨率的特征图。最后，基于预测的特征图，我们引入了一个由粗到细的框架，用于使用循环一致性进行精确的对应预测。我们的特征描述符捕获本地和全局信息，从而实现连续的特征字段，以高分辨率查询任意点。通过对大规模室内和室外数据集进行全面的烧蚀实验和评估，我们证明了我们的方法在大多数基准上都能提高最先进的对应学习。
2022-12-22 cs.CV
FaVoR: Features via Voxel Rendering for Camera Relocalization
University of Toronto（多伦多大学）；University of Zurich（苏黎世大学）
针对现有特征匹配类相机重定位方法对视角和外观变化鲁棒性不足的问题，提出基于稀疏体素地图的FaVoR方法，通过体渲染合成新视角描述子提升匹配效果，室内精度显著优于SOTA，室外性能相当且成本更低。
2025-05-21 cs.CV cs.RO
D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features
Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）
一个成功的点云配准往往依赖于通过歧视性的3D局部特征的稀疏匹配的鲁棒建立。尽管基于学习的3D特征描述符的快速发展，很少有人注意到3D特征检测器的学习，甚至更少的两个任务的联合学习。在本文中，我们利用3D点云的3D全卷积网络，并提出了一种新颖实用的学习机制，可以密集预测每个3D点的检测分数和描述特征。特别是，我们提出了一种关键点选择策略，克服了3D点云的固有密度变化，并进一步提出了一种由训练过程中的动态特征匹配结果指导的自监督检测器丢失。最后，我们的方法在室内和室外场景下都取得了最先进的结果，在3DMatch和KITTI数据集上进行了评估，并在ETH数据集上显示了其强大的泛化能力。面向实际应用，我们表明，通过采用可靠的特征检测器，采样较少的特征就足以实现准确和快速的点云对齐。[code release]（https：//github.com/XuyangBai/D3Feat）
2020-03-06 cs.CV
LoFTR: Detector-Free Local Feature Matching with Transformers
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
提出了一种新的局部图像特征匹配方法。而不是执行图像特征检测，描述和匹配顺序，我们建议首先建立像素密集的匹配在一个粗略的水平，后来完善的好匹配在一个精细的水平。与使用成本量来搜索对应关系的密集方法相比，我们在Transformer中使用自我和交叉注意层来获得以两幅图像为条件的特征描述符。Transformer提供的全局感受野使我们的方法能够在低纹理区域产生密集的匹配，在这些区域，特征检测器通常很难产生可重复的兴趣点。在室内和室外数据集上的实验表明，LoFTR的性能大大优于最先进的方法。LoFTR在已发表的方法中，在视觉定位的两个公共基准中排名第一。
2021-04-01 cs.CV cs.RO
