Place Recognition Meet Multiple Modalitie: A Comprehensive Review, Current Challenges and Future Directions
Fuzhou University（福州大学）；Shanghai Jiaotong University（上海交通大学）；Tongji University（同济大学）
本文系统综述了地点识别中CNN、Transformer和跨模态三类方法的发展、数据集与评估指标，并指出域自适应、实时性和终身学习等未来方向。
2025-06-05 cs.CV
Single-View Place Recognition under Seasonal Changes
I3A, Universidad de Zaragoza（萨拉戈萨大学I3A）
单视图位置识别，我们可以定义为找到与给定查询图像对应的同一位置的图像，是自主导航和地图的关键能力。虽然已经有相当多的研究在这个主题，高度的图像可变性（与视点，照明或遮挡，例如）使其成为一个研究挑战。我们在这项工作中要解决的一个特殊挑战是天气变化。季节性变化可能会产生剧烈的外观变化，导致经典的低级别特征无法正确建模。我们在本文中的贡献是双重的。首先，我们对Nordland数据集进行预处理并提出一个分区，该数据集经常用于位置识别研究，但在分区上没有共识。其次，我们评估了几种神经网络结构，如预训练，连体和三元组为这个问题。我们最好的结果超越了该领域的艺术状态。一个展示我们结果的视频可以在https://youtu.be/VrlxsYZoHDM上找到。Nordland数据集的分区版本，网址为http://webdiis.unizar.es/~jmfacil/pr-nordland/。
2018-08-20 cs.CV
Unsupervised Complementary-aware Multi-process Fusion for Visual Place Recognition
Queensland University of Technology（昆士兰科技大学）
视觉位置识别（VPR）问题的一种最近的方法是同时融合多个互补VPR技术的位置识别估计。然而，先验地选择在特定部署环境中使用的最佳技术集是一个困难且未解决的挑战。此外，据我们所知，不存在可以响应于图像到图像的变化而在逐帧的基础上选择一组技术的方法。在这项工作中，我们提出了一个无监督的算法，找到最强大的VPR技术在当前的部署环境中使用，逐帧的基础上。通过分析当前查询图像和数据库图像集合之间的相似性分数来确定技术的选择，并且不需要地面实况信息。我们在各种各样的数据集和VPR技术上展示了我们的方法，并表明与各种具有挑战性的竞争方法相比，所提出的动态多进程融合（Dyn-MPF）具有优越的VPR性能，其中一些方法通过访问地面实况信息获得了不公平的优势。
2021-12-09 cs.CV
Memorable Maps: A Framework for Re-defining Places in Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
本文提出了一个认知启发的不可知框架，用于构建视觉位置识别的地图。该框架的灵感来自人类的记忆性，利用传统的图像熵的概念和计算的静态内容的图像，从而提出了一个三重标准来评估的“记忆性”的图像的视觉位置识别。创建了一个名为“ESSEX3IN 1”的数据集，由来自室内，室外和自然场景的高度混乱的图像组成。当与最先进的视觉位置识别方法结合使用时，所提出的框架为这些技术提供了显着的性能提升，ESSEX3IN 1和其他公共数据集的结果证明了这一点。
2019-03-21 cs.CV cs.RO
Deep Learning Features at Scale for Visual Place Recognition
ETH Zurich（苏黎世联邦理工学院）
深度学习技术在计算机视觉领域的成功引发了一系列对其在视觉位置识别中的实用性的初步研究，所有这些研究都使用了来自网络的通用特征，这些特征是为其他类型的识别任务而训练的。在本文中，我们训练，在大规模，两个CNN架构的特定地点识别任务，并采用多尺度特征编码方法来生成条件和视点不变的功能。为了实现这种训练，我们开发了一个大规模的特定地点数据集（SPED），其中包含数千个不同地点的数百个地点外观变化的示例，而不是目前可用的语义地点类型数据集。这个新的数据集使我们能够建立一个训练机制，将位置识别解释为分类问题。我们在几个具有挑战性的基准位置识别数据集上全面评估了我们的训练网络，并证明它们的性能比其他位置识别算法和预训练CNN平均提高了10%。通过分析网络响应及其与预训练网络的差异，我们可以深入了解网络在训练位置识别时学习到的内容，以及这些结果对该领域未来研究的意义。
2017-01-18 cs.CV cs.RO
DeepRING: Learning Roto-translation Invariant Representation for LiDAR based Place Recognition
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
基于LiDAR的位置识别对于环路闭合检测和重新定位是流行的。近年来，深度学习通过可学习的特征提取为地点识别带来了改进。然而，这些方法退化时，机器人重访以前的地方与大的视角差异。为了应对这一挑战，我们提出了DeepRING来从LiDAR扫描中学习旋转平移不变表示，以便机器人以不同的视角访问同一个地方可以具有相似的表示。DeepRING有两个关键：从正弦图中提取特征，并通过幅度谱聚合特征。这两个步骤保持了最终的表示与歧视和旋转平移不变性。此外，我们将位置识别描述为一个一次性学习问题，每个位置都是一个类，利用关系学习来构建表示相似性。在公共数据集上进行了大量实验，验证了每个组件的有效性，并表明DeepRING优于比较方法，特别是在数据集级别的泛化方面。
2022-10-20 cs.CV cs.RO
General Place Recognition Survey: Towards the Real-world Autonomy Age
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
地点识别是辅助同时定位与地图构建（SLAM）进行闭环检测和重新定位的基础模块。在过去的$20$几年中，位置识别社区取得了惊人的进展，这在计算机视觉和机器人等多个领域引起了广泛的研究兴趣和应用。然而，很少有方法在复杂的现实世界场景中表现出有前途的位置识别性能，其中长期和大规模的外观变化通常会导致失败。此外，在最先进的方法中缺乏一个集成的框架，可以处理位置识别中的所有挑战，包括外观变化，视点差异，对未知区域的鲁棒性以及现实世界应用中的效率。在这项工作中，我们调查的国家的最先进的方法，针对长期的本地化，并讨论未来的方向和机会。首先，我们调查的制定长期自治的地方识别和现实世界中的主要挑战。然后，我们回顾了最近的作品在不同的传感器模式和当前的战略，处理各种地方识别的挑战。最后，我们回顾了现有的长期本地化数据集，并介绍了我们的数据集和不同方法的评估API。这篇论文可以为新进入位置识别社区的研究人员和那些关心长期机器人自主性的人提供指导。我们还就机器人技术中经常被问到的问题提供了我们的意见：机器人是否需要长期自主的精确定位？这项工作的摘要以及我们的数据集和评估API可在https://github.com/MetaSLAM/GPRS上公开提供给机器人社区。
2022-09-09 cs.CV cs.RO
Visual Place Recognition in Forests with Depth-Aware Distillation
CSIRO Robotics, Brisbane, Australia（澳大利亚联邦科学与工业研究组织机器人实验室，布里斯班，澳大利亚）；University of Queensland, Brisbane, Australia（昆士兰大学，布里斯班，澳大利亚）；Queensland University of Technology, Brisbane, Australia（昆士兰科技大学，布里斯班，澳大利亚）
针对森林环境中视觉地点识别因植被重复、结构线索弱及外观变化大而困难的问题，提出轻量级深度感知蒸馏框架，将几何线索注入DINOv2模型，在WildCross基准上提升鲁棒性。
2026-06-12 cs.CV cs.RO
A Registration-aided Domain Adaptation Network for 3D Point Cloud Based Place Recognition
Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）
在自动驾驶和移动机器人的大规模SLAM领域，基于3D点云的地点识别由于其对白天和天气变化剧烈的变化环境的鲁棒性而引起了重大的研究兴趣。然而，这是耗时和精力成本高，以获得高质量的点云数据的位置识别模型的训练和地面真理注册在现实世界中。为此，提出了一种新的配准辅助三维领域自适应网络的点云位置识别。引入结构感知配准网络来帮助学习具有几何信息的特征，并且可以估计具有部分重叠的两个点云之间的6-DoF姿态。该模型通过GTA-V的合成虚拟LiDAR数据集进行训练，具有不同的天气和白天条件，并通过对齐全局特征来实现领域自适应。我们的结果优于最先进的3D位置识别基线，或者在现实世界的Oxford RobotCar数据集上实现与虚拟数据集上的注册可视化相当。
2021-08-04 cs.CV cs.RO
4DRaL: Bridging 4D Radar with LiDAR for Place Recognition using Knowledge Distillation
Faculty of Robot Science and Engineering, Northeastern University, Shenyang, China（东北大学机器人科学与工程学院，沈阳，中国）
本文提出4DRaL框架，利用知识蒸馏提升4D雷达的地点识别性能，通过高精度LiDAR-to-LiDAR模型指导训练，解决4D雷达数据噪声和稀疏性问题，实验表明在正常和恶劣天气下均取得最佳性能。
2026-03-27 cs.CV cs.RO
On the Performance of ConvNet Features for Place Recognition
ARC Centre of Excellence for Robotic Vision（ARC机器人视觉卓越中心）；Queensland University of Technology（昆士兰科技大学）
在深度学习在计算机视觉领域取得令人难以置信的成功之后，人们对将卷积网络（ConvNet）功能应用于机器人领域（如视觉导航和SLAM）产生了浓厚的兴趣。不幸的是，其中存在着根本性的分歧和挑战。计算机视觉数据集与机器人摄像机数据的特征非常不同，实时性能至关重要，性能优先级可能不同。本文全面评估和比较了三种最先进的ConvNets在与机器人导航特别相关的问题上的效用;视点不变性和条件不变性，并首次通过整合各种现有的（位置敏感哈希）和新的（语义搜索空间分区）优化技术，使用ConvNets与大型地图实现实时位置识别性能。我们在四个真实世界的数据集上进行了广泛的实验，以评估位置识别中的每一个具体挑战。结果表明，两个数量级的速度可以实现最小的精度下降，实现实时性能。我们证实，当面临严重的外观变化时，经过语义位置分类训练的网络在（特定）位置识别方面也表现得更好，并为网络和层最适合位置识别问题的不同方面提供了参考。
2015-07-29 cs.CV cs.RO
Visual Place Recognition with Probabilistic Vertex Voting
ETH Zurich（苏黎世联邦理工学院）
我们提出了一个新的评分概念，视觉识别的基础上最近邻描述符投票，并演示了如何自然出现的问题制定算法。基于可以使用二项分布模型来评估匹配位置的投票数的观察，可以以高精度检测循环闭合。通过将问题转换为概率框架，我们不仅消除了对常用启发式参数的需要，而且还提供了一个强大的分数来分类匹配和不匹配的地方。我们提出了基于上述评分的2D-2D姿态图顶点匹配和2D-3D地标匹配的方法。该方法通过使用紧凑（低维）的描述符和快速最近邻检索技术，保持准确性，同时足够有效的在线应用。在不同环境中的几个具有挑战性的数据集上对所提出的方法进行了评估，显示出具有高精度和高召回率的最新结果。
2018-06-07 cs.CV cs.RO
ALTO: A Large-Scale Dataset for UAV Visual Place Recognition and Localization
Carnegie Mellon University（卡内基梅隆大学）
我们提出了ALTO数据集，这是一个以视觉为中心的数据集，用于无人机视觉位置识别和定位方法的开发和基准测试。该数据集由直升机在俄亥俄州和宾夕法尼亚州上空飞行的两条长（约150公里和260公里）轨迹组成，其中包括高精度GPS-INS地面实况位置数据，高精度加速度计读数，激光高度计读数和RGB下向相机图像。此外，我们还提供了飞行路径上的参考图像，这使得该数据集适用于VPR基准测试和定位中常见的其他任务，例如图像配准和视觉里程计。据作者所知，这是此类真实世界中最大的飞行器数据集。我们的数据集可以在https://github.com/MetaSLAM/ALTO上找到。
2022-07-19 cs.CV cs.RO
Patch-NetVLAD+: Learned patch descriptor and weighted matching strategy for place recognition
在城市或室内场景等场景相似的区域进行视觉位置识别（VPR）是一个重大挑战。使用全局描述符的现有VPR方法难以捕获场景中的局部特定区域（LSR），因此在这种情况下容易出现定位混乱。因此，找到对位置识别至关重要的LSR成为关键。为了应对这一挑战，我们引入了Patch-NetVLAD+，它受到了基于补丁的VPR研究的启发。我们的方法提出了一个微调策略与三重损失，使NetVLAD适合提取补丁级描述符。此外，与现有的方法，平等地对待图像中的所有补丁，我们的方法提取补丁的LSR，目前在整个数据集的频率较低，并使他们发挥重要作用，通过分配适当的权重，他们在VPR。实验结果表明，与现有的基于补丁的方法相比，该方法的性能提高了6.35%.
2022-02-11 cs.AI cs.CV
Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots
Segway Robotics Inc.（赛格威机器人公司）
视觉位置识别和同时定位与地图构建（SLAM）最近已开始用于现实世界的自主导航任务，如食品配送。SLAM研究的现有数据集通常不能代表现场操作，从而在学术研究和实际部署之间留下了差距。作为回应，本文提出了赛格威驱动基准，一个新的和具有挑战性的数据集套件收集的车队赛格威交付机器人。每个机器人都配备了一个全局快门鱼眼摄像头、一个与片上摄像头同步的消费级IMU、两个低成本的轮式编码器以及一个可移动的高精度激光雷达，用于生成参考解决方案。由于他们在收集数据时经常在办公楼和购物中心执行任务，因此跨越一年的数据集的特点是平面运动，场景中的移动行人以及不断变化的环境和照明。这些因素通常造成严重的挑战，并且可能导致SLAM算法的失败。此外，提出了几种度量的地方识别算法进行评估。利用这些度量，在该基准上评估了样本SLAM和度量位置识别方法。我们的基准测试的第一个版本有数百个序列，覆盖超过50公里的室内地板。随着机器人舰队继续在现实生活中运作，将添加更多数据。该基准可在http://drive.segwayrobotics.com/#/dataset/download上获得。
2019-07-08 cs.CV cs.RO eess.IV
A Dataset and Application for Facial Recognition of Individual Gorillas in Zoo Environments
University of Bristol（布里斯托尔大学）
我们提出了一个视频数据集与5k+面部限界框注释在布里斯托尔动物园花园的7个西部低地大猩猩的部队。在这个数据集上进行训练，我们实现并评估了一个标准的深度学习管道，用于在动物园环境中面部识别单个大猩猩的任务。我们表明，一个基本的YOLOv3供电的应用程序是能够执行识别在92%mAP时，只利用单帧。通过检测关联跟踪和跨短tracklet的身份投票产生了97%mAP的改进的鲁棒性能。为了便于利用，以丰富动物园环境的研究能力，我们在data.bris.ac.uk上发布了代码，视频数据集，权重和地面实况注释。
2021-03-26 cs.AI cs.CV
2nd Place and 2nd Place Solution to Kaggle Landmark Recognition andRetrieval Competition 2019
Baidu Inc.（百度公司）
提出了一个基于检索的地标检索与识别挑战系统，该系统包括五个部分：特征提取与匹配，得到候选队列;数据库扩充与查询扩展搜索;识别结果的重排序与局部特征匹配。在识别挑战包括：地标和非地标识别，多个识别结果投票和重新排序使用识别和检索结果的组合。所有模型都是由PaddlePaddle框架训练和预测的。使用我们的方法，我们在Google Landmark Recognition 2019中获得了第二名，在Google Landmark Retrieval 2019中获得了第二名。源代码可以在这里找到。
2019-06-16 cs.CV
Design of an Intelligent Vision Algorithm for Recognition and Classification of Apples in an Orchard Scene
Urmia University（乌尔米耶大学）
苹果是一种营养价值和药用价值都很高的鲜食水果。季节性农场工人手工收获苹果增加了这些水果表面的物理损伤，这导致了销售质量的巨大损失。本研究的主要目的是设计一个强大的视觉算法的机器人苹果收获机。该算法能够识别和分类4类对象中发现的果园场景，包括苹果，树叶，树干和树枝，天空到两个苹果和非苹果类。从伊朗西阿塞拜疆18个苹果园的1000张捕获的苹果图像中选择了100张红色美味苹果的数字图像和100张金色美味苹果的数字图像。提出了一种图像处理算法，根据图像类的颜色特征，对图像类进行分割和提取。选择不变矩作为从分割类（例如苹果）中提取的特征。多层前馈神经网络，MFNN，被用作一种人工智能工具，用于识别和分类的图像类别。
2021-10-07 cs.CV
Place recognition: An Overview of Vision Perspective
zisu（未知）；xmut（未知）；hdu（未知）；lbxzzq（未知）；xdwangjsj（未知）；ymchen（未知）；jzhang（未知）；com（未知）
地点识别是计算机视觉和机器人领域最基本的课题之一，其任务是准确有效地识别给定查询图像的位置。尽管在这一领域积累了多年的智慧，地点识别仍然是一个悬而未决的问题，由于现实世界中的地点的外观可能会有所不同的各种方式。本文介绍了一个概述的地方识别文献。由于条件不变和视点不变的特征是长期鲁棒的视觉场所识别系统的必要因素，我们从传统的图像描述方法开始，它利用了图像检索领域的技术。近年来，随着目标检测和图像分类等相关领域的快速发展，产生了一种新的技术来改进视觉位置识别系统，即，卷积神经网络（CNN）。因此，我们随后介绍了基于CNN的视觉位置识别系统的最新进展，以自动学习更好的位置图像表示。最后，我们结束了讨论和未来的工作地点识别。
2018-12-30 cs.CV
Place recognition survey: An update on deep learning approaches
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
自动驾驶汽车（AV）越来越能够在具有动态和变化条件的复杂环境中导航。使这些智能车辆能够克服这些条件并变得更加自主的一个关键组成部分是感知和定位系统的复杂性。作为定位系统的一部分，地点识别受益于其他感知任务（如地点分类或对象识别）的最新发展，即深度学习（DL）框架的出现。本文综述了最近用于位置识别的方法和途径，特别是那些基于深度学习的方法。这项工作的贡献是双重的：调查最新的传感器，如3D LiDAR和雷达，应用于位置识别;并将各种基于DL的位置识别工作分类为监督，无监督，半监督，并行和分层类别。首先，本调查介绍了关键的地方识别概念，以上下文的读者。然后，解决传感器特性。本次调查的收益，详细阐述了各种基于DL的作品，每个框架的摘要。从这次调查中吸取的一些经验教训包括：NetVLAD对于监督式端到端学习的重要性;无监督方法在位置识别中的优势，即跨领域应用;或者最近的作品越来越倾向于寻求更高的性能，而且更高的效率。
2022-03-01 cs.CV
A Fast and Robust Place Recognition Approach for Stereo Visual Odometry Using LiDAR Descriptors
University of Minnesota Twin Cities（明尼苏达大学双城分校）
地点识别是同时定位与地图构建（SLAM）算法的核心组成部分。特别是在视觉SLAM系统中，通过测量表示这些位置的图像之间的外观相似性来识别先前访问过的地方。然而，这样的方法对视觉外观变化敏感，并且在计算上也可能是昂贵的。在本文中，我们提出了另一种方法，适应激光雷达描述符的三维点从立体视觉里程计的地方识别。3D点可能比2D视觉线索更可靠（例如，2D特征）对抗环境变化（例如，可变照明），并且这可以有益于长期部署场景中的视觉SLAM系统。立体-视觉里程计生成具有绝对比例的3D点，这使我们能够使用LiDAR描述符进行高计算效率的位置识别。通过对标准基准数据集的广泛评估，我们证明了使用3D点进行2D方法识别的准确性，效率和鲁棒性。
2020-07-26 cs.CV
Visual Place Representation and Recognition from Depth Images
USTHB University（阿尔及利亚科技大学）
本文提出了一种基于场景结构的场所识别方法。从深度视频，我们计算的3D模型，我们推导和几何描述的2D地图，从场景描述符推导出构成该算法的核心。实验结果表明了该描述子的有效性和对场景外观变化和光照变化的鲁棒性。
2021-12-27 cs.CV
Supervised Fine-tuning Evaluation for Long-term Visual Place Recognition
Tampere University（坦佩雷大学）
在本文中，我们对深度卷积神经网络的实用性进行了全面的研究，该网络具有两个最先进的池化层，这些池化层放置在卷积层之后，并以端到端的方式进行微调，用于在具有挑战性的条件下进行视觉位置识别任务，包括季节和光照变化。我们广泛地比较了深度学习的全局特征与三种不同的损失函数的性能，例如三元组，对比度和ArcFace，用于在部署期间学习架构的参数，以正确匹配的分数。为了验证我们的结果的有效性，我们使用了两个真实世界的数据集在室内和室外的位置识别。我们的研究表明，对于视觉位置识别任务，以端到端方式使用ArcFace损失的微调架构在室外数据集中的性能比其他两种损失高出约1~4%，在室内数据集中高出1~2%。
2022-11-14 cs.CV
3rd Place Solution to Google Landmark Recognition Competition 2021
ByteDance Inc.（字节跳动公司）
在本文中，我们展示了我们对Google Landmark Recognition 2021竞赛的解决方案。首先，通过各种架构（即CNN-，Transformer-和基于混合的）提取图像的嵌入，这些架构通过ArcFace损失进行优化。然后，我们应用一个有效的管道来重新排名预测调整检索分数与分类logits和非地标干扰。最终，该集成模型在私人排行榜上获得0.489分，在2021年版Google地标识别竞赛中获得第三名。
2021-10-07 cs.CV
Google Landmark Recognition 2020 Competition Third Place Solution
LINE Corp（LINE公司）；NVIDIA（英伟达）；ReadSense Ltd（阅感有限公司）；Carnegie Mellon University（卡内基梅隆大学）
我们为Google Landmark Recognition 2020竞赛提供第三名的解决方案。它是一个仅包含子中心ArcFace模型的全局特征集合。我们引入了ArcFace损失的动态余量，这是一系列可调的类大小余量函数，旨在处理GLDv2数据集的极端不平衡。渐进式微调和仔细的后处理也是解决方案的关键。我们的两支参赛队在私人排行榜上的得分分别为0.6344和0.6289，在736支参赛队中排名第三。
2020-10-11 cs.CV
OpenMPR: Recognize Places Using Multimodal Data for People with Visual Impairments
University of Huddersfield（哈德斯菲尔德大学）
位置识别在导航辅助中起着至关重要的作用，也是辅助技术的一个挑战性问题。由于数据库和查询图像之间的各种变化，位置识别容易出现错误定位。针对视障人士的穿戴式辅助设备，提出了一种开源的位置识别算法OpenMPR，利用多模态数据解决位置识别的挑战性问题。与传统的地点识别相比，OpenMPR不仅利用了多个有效的描述符，而且在图像匹配中为这些描述符分配了不同的权重。算法中引入GNSS数据，采用基于圆锥体的序列搜索算法进行鲁棒位置识别。实验结果表明，该算法能够较好地解决实际场景中的位置识别问题，在辅助导航性能上优于现有算法。在真实世界的测试数据集上，在线OpenMPR在没有光照变化的情况下在100%召回率下达到88.7%的准确率，在光照变化的情况下在99.3%召回率下达到57.8%的准确率。OpenMPR可在https://github.com/chengricky/OpenMultiPR上获得。
2019-09-15 cs.CV
CAMAL: Context-Aware Multi-layer Attention framework for Lightweight Environment Invariant Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
在过去的几年里，深度卷积神经网络（D-CNN）已经在视觉位置识别（VPR）方面表现出了最先进的（SOTA）性能，VPR是长期智能机器人视觉（视觉感知定位和导航系统）的关键组成部分。D-CNN在大规模地点数据集上进行训练后获得了著名的泛化能力，并学习了持久的图像区域，这些区域在不断变化的条件和相机视角下对于特定地点识别具有鲁棒性。然而，针对用于确定资源受限的移动机器人的近似位置的基于计算和功率密集型D-CNN的VPR算法，轻量级VPR技术是优选的。本文提出了一个计算和能量高效的CAMAL框架，该框架可以有效地捕获特定于位置的多层卷积注意力，以实现环境不变-VPR。在低4倍的功耗下，在具有挑战性的基准位置识别数据集上评估所提出的VPR框架，显示出更好的和可比的精确召回（AUC-PR）曲线下的面积，与当代VPR方法相比，图像检索性能提高了约4倍。
2020-08-13 cs.CV
Towards classification-based representation learning for place recognition on LiDAR scans
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学）
本文将自动驾驶中的位置识别构建为多类分类问题，通过为LiDAR扫描分配离散位置标签并训练编码器-解码器模型直接分类位置，在NuScenes数据集上取得与对比学习相当的性能，且在训练效率和稳定性上更具优势。
2025-11-04 cs.CV
Multi-modal Visual Place Recognition in Dynamics-Invariant Perception Space
Southeast University（东南大学）
视觉位置识别是机器人领域中的一个重要而具有挑战性的问题。在这封信中，我们第一次探索使用多模态融合的语义和视觉模态的动态不变空间，以提高在动态环境中的位置识别。我们首先设计了一个新的深度学习架构来生成静态语义分割，并直接从相应的动态图像中恢复静态图像。然后，我们创新性地利用空间金字塔匹配模型将静态语义分割编码为特征向量。并行地，使用流行的词袋模型对静态图像进行编码。在上述多模态特征的基础上，通过语义和视觉编码的联合相似度来度量查询图像与目标地标之间的相似度。大量的实验表明，所提出的方法的有效性和鲁棒性的位置识别在动态环境中。
2022-01-02 cs.CV
Uncertainty-Aware Lidar Place Recognition in Novel Environments
DATA61, CSIRO（联邦科学与工业研究组织DATA61）；Queensland University of Technology（昆士兰科技大学）
本文研究跨新环境的激光雷达地点识别可靠性问题，提出不确定性感知评估协议与综合基准，证明Ensembles方法可一致提升识别与不确定性估计性能。
2023-07-12 cs.CV
Light-weight place recognition and loop detection using road markings
KAIST（韩国科学技术院）
在本文中，我们提出了一个有效的算法，鲁棒的地方识别和循环检测使用相机信息。我们的管道纯粹依赖于道路标记的空间定位和语义信息。道路标记序列数据库的创建是在线执行的，这使得该方法适用于实时闭环视觉SLAM技术。此外，我们的算法对各种天气条件，车辆遮挡和阴影具有鲁棒性。我们已经进行了大量的实验，突出了所提出的方法的有效性和可扩展性。
2017-10-20 cs.CV
Attention-based Pyramid Aggregation Network for Visual Place Recognition
Shenzhen University（深圳大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Australian National University（澳大利亚国立大学）
视觉位置识别在城市环境中具有挑战性，通常被视为一个大规模的图像检索任务。地点识别的内在挑战在于，复杂的城市场景中经常出现汽车和树木等令人困惑的物体，具有重复结构的建筑物可能会导致过度计数和突发问题，从而降低图像表示质量。为了解决这些问题，我们提出了一个基于注意力的金字塔聚合网络（APANet），它是在一个端到端的方式进行训练的地方识别。APANet的一个主要组成部分，空间金字塔池，可以有效地编码包含地理信息的多尺寸建筑物。另一个，注意力块，被采用作为一个区域评估器，以抑制混乱的区域功能，而突出的歧视性。在测试中，我们进一步提出了一种简单而有效的PCA功率白化策略，通过合理限制过计数的影响，显着改善了广泛使用的PCA白化。实验结果表明，该算法在两个地点识别基准上的性能优于现有的方法，并且在标准图像检索数据集上具有很好的泛化能力。
2018-08-01 cs.CV
Localizing Discriminative Visual Landmarks for Place Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；UISEE Technologies Beijing Co., Ltd（北京驭势科技有限公司）；University of Chinese Academy of Sciences（中国科学院大学）
我们解决的问题，视觉位置识别与感知的变化。视觉场所识别的基本问题是生成鲁棒的图像表示，这些图像表示不仅对环境变化不敏感，而且能够区分不同的场所。利用卷积神经网络（CNN）的特征提取能力，我们进一步研究了如何定位对相似性测量有积极贡献的有区别的视觉地标，如建筑物和植被。特别地，地标定位网络（LLN）被设计为指示图像的哪些区域用于区分。在具有不同外观和视点变化的开源数据集上进行了详细的实验。所提出的方法实现了优越的性能对国家的最先进的方法。
2019-04-14 cs.CV
CGiS-Net: Aggregating Colour, Geometry and Implicit Semantic Features for Indoor Place Recognition
University of Bristol（布里斯托大学）；Zhejiang University（浙江大学）
我们描述了一种新的方法，从RGB点云室内地点识别聚合低级别的颜色和几何特征与高级别的隐式语义特征的基础上。它使用两阶段深度学习框架，其中第一阶段针对语义分割的辅助任务进行训练，第二阶段使用第一阶段中的层的特征来生成用于位置识别的区分描述符。辅助任务鼓励特征在语义上有意义，因此将RGB点云数据中的几何形状和颜色与隐含的语义信息聚合在一起。我们使用来自ScanNet数据集的室内位置识别数据集进行训练和评估，测试集包括从100个不同房间生成的3，608个点云。与传统的基于特征的方法和四种最先进的深度学习方法的比较表明，我们的方法明显优于所有五种方法，例如，前三名的平均召回率为75%，而最接近的竞争对手方法为41%。我们的代码可在：https://github.com/YuhangMing/Semantic-Indoor-Place-Recognition
2022-07-11 cs.CV
Condition-Invariant Multi-View Place Recognition
University of Zaragoza（萨拉戈萨大学）；Opel España（欧宝西班牙公司）；Bitbrain（比特脑公司）
当地点的外观发生变化时，视觉地点识别特别具有挑战性。这种变化确实很常见，例如，由于天气、夜晚/白天或季节。在本文中，我们利用最近使用深度网络的研究，并探索如何通过利用时间序列信息来改进它们。具体来说，我们为深度网络提出了3种不同的替代方案（描述符映射，融合和递归描述符），以使用序列的几个帧。我们表明，我们的方法产生更紧凑，性能最好的描述符比单视图和多视图基线在两个公共数据库的文献。
2019-02-25 cs.CV
TReR: A Lightweight Transformer Re-Ranking Approach for 3D LiDAR Place Recognition
University of Coimbra（科英布拉大学）；Freie Universität Berlin（柏林自由大学）
本文提出轻量级Transformer重排序方法TReR，仅用全局描述子对3D LiDAR地点识别候选进行重排序，在KITTI上相比alphaQE和SGV实现鲁棒性与效率的良好平衡。
2023-05-29 cs.CV
Place Recognition under Occlusion and Changing Appearance via Disentangled Representations
Xi’an Jiaotong University（西安交通大学）；McMaster University（麦克马斯特大学）
位置识别是移动机器人的一项关键而具有挑战性的任务，其目的是从数据库中检索与查询图像相同的位置捕获的图像。现有的方法往往在机器人在遮挡下自主移动时失败（例如，汽车、公共汽车、卡车）和改变外观（例如，光照变化、季节变化）。因为它们只将图像编码为一个代码，将位置特征与外观和遮挡特征纠缠在一起。为了克服这一限制，我们提出了PROCA，一个无监督的方法分解成三个代码的图像表示：一个地方代码作为一个描述符检索图像，一个外观代码捕捉外观属性，和一个闭塞代码编码闭塞内容。大量的实验表明，我们的模型优于国家的最先进的方法。我们的代码和数据可在https://github.com/rover-xingyu/PROCA上获得。
2023-02-18 cs.CV
Cross-modal Place Recognition in Image Databases using Event-based Sensors
ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
本文提出首个跨模态视觉地点识别框架，利用事件相机查询从常规图像数据库中检索图像，并在 Brisbane-Event-VPR 数据集上验证了检索与分类结合可显著提升性能。
2023-07-03 cs.CV
GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）
提出基于3D Gaussian Splatting的多模态场景识别网络GSPR，将多视角图像与LiDAR点云融合为统一场景表示，利用3D图卷积和transformer提取特征，在三个数据集上实现了SOTA性能与良好泛化。
2025-03-06 cs.CV
2nd Place Solution to Google Landmark Recognition Competition 2021
由于基于transformer的架构最近在计算机视觉方面取得了令人鼓舞的进展。在这项工作中，我们提出了在Kaggle上举行的Google Landmark Recognition 2021挑战赛的解决方案，这是对我们去年解决方案的改进，通过改变三个设计，包括（1）使用Swin和CSWin作为特征提取的骨干，（2）在完整的GLDv2上进行训练，以及（3）使用完整的GLDv2图像作为kNN搜索的索引图像集。通过这些修改，我们的解决方案在今年的竞争中显著改善了去年的解决方案。在整合Swin、CSWin、EfficientNet B7型号后，我们的完整产品线在私人排行榜上获得0.4907分，这有助于我们在竞争中获得第二名。
2021-10-07 cs.CV
GIDP: Learning a Good Initialization and Inducing Descriptor Post-enhancing for Large-scale Place Recognition
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）
大规模地点识别是一项基础但具有挑战性的任务，在自动驾驶和机器人技术中发挥着越来越重要的作用。现有的方法已经取得了可以接受的良好性能，但是，他们中的大多数都集中在设计精细的全局描述符学习网络结构。特征泛化和描述子后增强的重要性一直被忽视。在这项工作中，我们提出了一种新的方法命名为GIDP学习一个好的模板和诱导描述符姿态增强大规模的地方识别。特别地，在GIDP中分别提出了无监督的动量对比度点云预训练模块和基于重排序的描述子后增强模块。前者的目的是在训练地点识别模型之前学习点云编码网络的良好初始化，而后者的目的是通过在推理时重新排序来增强预测的全局描述符。在室内和室外数据集上的大量实验表明，我们的方法可以使用简单和通用的点云编码主干实现最先进的性能。
2022-09-23 cs.CV
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
1st Place Solution to ECCV 2022 Challenge on Out of Vocabulary Scene Text Understanding: End-to-End Recognition of Out of Vocabulary Words
ByteDance Inc.（字节跳动公司）
场景文本识别近年来引起了越来越多的兴趣，由于其在多语言翻译，自动驾驶等方面的广泛应用，在这份报告中，我们描述了我们的解决方案，以词汇场景文本理解（OOV-ST）的挑战，其目的是从自然场景图像中提取词汇（OOV）的话。我们基于oCLIP的模型在h-mean中达到28.59\%，在ECCV 2022 TiE研讨会的OOV Challenge端到端OOV单词识别轨道中排名第一。
2022-09-01 cs.CV
G2IA: Geometry-Guided Instance-Aware Retrieval and Refinement for Cross-Modal Place Recognition
Shanghai Jiao Tong University（上海交通大学）；National University of Defense Technology（国防科技大学）
提出G2IA框架，通过几何引导的实例感知检索和跨模态局部形状与空间布局验证，解决图像到点云地点识别中的模态差异和感知混淆问题。
2026-06-16 cs.CV
Register assisted aggregation for Visual Place Recognition
Nanjing University of Science and Technology（南京理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对视觉位置识别中有用特征易被误弃的问题，提出在图像 token 上加入寄存器辅助训练并在注意力重分配后丢弃的聚合方法，从而分离不稳定特征并取得优于现有方法的性能。
2024-05-19 cs.CV
3rd Place Solution to Large-scale Fine-grained Food Recognition
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；OPPO Research Institute（OPPO研究院）
本文针对大规模细粒度食物识别挑战，提出结合Arcface loss与Circle loss训练并集成模型，最终在比赛中获得第三名。
2025-10-24 cs.CV
RPR-Net: A Point Cloud-based Rotation-aware Large Scale Place Recognition Network
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）
基于点云的大规模地点识别是同时定位与地图构建（SLAM）等应用中的一个重要而具有挑战性的任务。将该问题作为一个点云检索问题，已有的方法取得了可喜的成绩。然而，如何处理旋转问题引起的灾难性倒塌仍然是探索不足。在本文中，为了解决这个问题，我们提出了一种新的基于点云的旋转感知大规模地点识别网络（RPR-Net）。特别是，为了解决这个问题，我们建议分三步学习旋转不变特征。首先，我们设计了三种新的旋转不变特征（RIF），这是低级别的功能，可以保持旋转不变的性质。其次，使用这些RIF，我们设计了一个专注的模块来学习旋转不变的内核。第三，我们将这些内核应用于以前的点云特征以生成新的特征，这是众所周知的SO（3）映射过程。通过这样做，可以学习高级场景特定的旋转不变特征。我们将上述过程称为注意旋转不变卷积（ARIConv）。为了实现地点识别的目标，我们建立了RPR-Net，它以ARIConv为基本单元，构建了一个密集的网络结构。然后，强大的全局描述符用于检索的位置识别，可以充分从RPR网络提取。在流行数据集上的实验结果表明，我们的方法实现了与现有的最先进的位置识别模型相当的结果，并在解决旋转问题时显着优于其他旋转不变的基线模型。
2022-08-28 cs.CV
MSSPlace: Multi-Sensor Place Recognition with Visual and Text Semantics
Intelligent Transport Laboratory, Moscow Institute of Physics and Technology（智能交通实验室，莫斯科物理技术学院）；Artificial Intelligence Research Institute (AIRI)（人工智能研究机构（AIRI））
MSSPlace通过整合多传感器数据和视觉文本语义，提升位置识别性能，达到最先进的效果。
2024-07-22 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
地点识别是一种识别重访地点的算法，在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品，如MLP、CNN、Transformer等，在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一，但点云Transformer网络的内存消耗大、计算量大，不利于在移动或嵌入式设备中广泛部署。为了解决这个问题，我们提出了一个二进制点云Transformer的地点识别。因此，32位全精度模型可以减少到1位模型，具有更少的内存占用和更快的二进制逐位操作。据我们所知，这是第一个可以部署在移动设备上的二进制点云Transformer，用于在线应用，如位置识别。在多个标准基准上的实验表明，该方法可以获得与相应的全精度Transformer模型相当的结果，甚至优于一些全精度深度学习方法。例如，在Oxford RobotCar数据集上，就平均召回率的度量而言，所提出的方法在顶部@1%处达到93.28%，在顶部@1%处达到85.74%。同时，在相同的Transformer结构下，模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
Object Scan Context: Object-centric Spatial Descriptor for Place Recognition within 3D Point Cloud Map
Beihang University（北京航空航天大学）；Beijing Yihang Yuanzhi Technology Co., Ltd（北京一航远志科技有限公司）
针对现有激光雷达中心描述符在距离大时失效且仅算旋转的缺陷，提出围绕主对象的局部描述符，结合几何法精确计算相对位姿，并在KITTI数据集上验证了优越性。
2023-11-13 cs.CV
Visual place recognition using landmark distribution descriptors
University of Bristol（布里斯托大学）
Suenderhauf等人最近的工作[1]证明了使用建议区域与卷积神经网络（CNN）的特征相结合来匹配视图之间的地标，从而改进了视觉位置识别。在这项工作中，我们通过引入从地标特征构建的描述符来扩展该方法，所述地标特征还对视图内的地标的空间分布进行编码。然后，匹配描述符强制视图之间的地标的相对位置的一致性。这对性能有重大影响。例如，在10个图像对数据集的实验中，每个数据集由200个城市位置组成，在观看位置和条件方面存在显着差异，我们记录了约70%的平均精度（100%召回率），相比之下，使用整个图像CNN特征获得的平均精度为58%，[1]中的方法为50%。
2016-08-15 cs.CV
Patch-NetVLAD: Multi-Scale Fusion of Locally-Global Descriptors for Place Recognition
Queensland University of Technology（昆士兰科技大学）；QUT Centre for Robotics（QUT机器人中心）
视觉位置识别是机器人和自治系统的一项具有挑战性的任务，它必须处理在不断变化的世界中的外观和视点变化的双重问题。本文介绍了补丁NetVLAD，它提供了一种新的配方，结合局部和全局描述符方法的优点，从NetVLAD残差派生补丁级功能。与现有局部关键点特征的固定空间邻域机制不同，我们的方法能够聚合和匹配在特征空间网格上定义的深度学习的局部特征。我们进一步介绍了一个多尺度融合的补丁功能，具有互补的规模（即补丁大小）通过一个完整的特征空间，并显示融合的功能是高度不变的条件（季节，结构和照明）和视点（平移和旋转）的变化。Patch-NetVLAD在计算上优于基于全局和局部特征的方法，在一系列具有挑战性的现实世界数据集上实现了最先进的视觉位置识别结果，包括在ECCV 2020上赢得Facebook Mapillary视觉位置识别挑战赛。它还可以适应用户的要求，速度优化的版本比最先进的速度快一个数量级。通过在可配置的框架中结合卓越的性能和提高的计算效率，Patch-NetVLAD非常适合增强独立的位置识别能力和SLAM系统的整体性能。
2021-03-02 cs.CV
MinkLoc++: Lidar and Monocular Image Fusion for Place Recognition
Warsaw University of Technology（华沙理工大学）；Tooploox
我们引入了一个歧视性的多模态描述符的基础上的一对传感器读数：从激光雷达的点云和RGB相机的图像。我们的描述符名为MinkLoc++，可用于机器人或自动驾驶汽车应用中的位置识别，重新定位和循环闭合目的。我们使用后期融合方法，其中每个模态被单独处理并在处理管道的最后部分融合。所提出的方法实现了国家的最先进的性能标准的地方识别基准。我们还确定了主导模态问题时，训练多模态描述符。当网络集中在对训练数据具有较大过拟合的模态时，问题就显现出来了。这在训练期间降低了损失，但导致评估集上的次优性能。在这项工作中，我们描述了如何使用深度度量学习方法来训练多模态神经网络时检测和减轻这种风险。我们的代码可在项目网站上公开获取：https://github.com/jac99/MinkLocMultimodal。
2021-04-14 cs.CV
PIC-Net: Point Cloud and Image Collaboration Network for Large-Scale Place Recognition
National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）
位置识别是自动化技术的研究热点之一，目前仍是一个悬而未决的问题，摄像机和激光雷达是这一任务中使用的两种主流传感器，基于摄像机的方法容易受到光照和季节变化的影响，激光雷达不能像图像那样获得丰富的数据，本文提出了PIC-Net（点云与图像协作网络），利用注意力机制融合图像与点云的特征，挖掘两者之间的互补信息。此外，为了提高夜间的识别性能，我们将夜间图像转换为白天的风格。对比结果表明，图像与点云的协同优于基于图像和点云的协同，注意策略和昼夜变换可以进一步提高协同性能。
2020-08-03 cs.CV
