Domain Adaptation of Learned Features for Visual Localization
Facebook Reality Labs；Seoul National University（首尔大学）；ASRI
我们在不断变化的条件下解决视觉定位问题，例如一天中的时间，天气和季节。最近基于深度神经网络学习的局部特征已经显示出优于经典手工制作的局部特征的性能。然而，在现实世界的场景中，训练图像和目标图像之间通常存在较大的域间隙，这会显着降低定位精度。虽然现有的方法利用大量的数据来解决这个问题，我们提出了一种新颖而实用的方法，只需要几个例子来减少域差距。特别是，我们提出了一个Few-Shot领域自适应框架学习的本地功能，处理不同条件下的视觉定位。实验结果表明，优于基线的性能，而使用的训练样本从目标域的数量稀少。
2020-08-21 cs.CV
Benchmarking 6DOF Outdoor Visual Localization in Changing Conditions
ETH Zürich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；Chalmers University of Technology（查尔姆斯理工大学）；Tokyo Institute of Technology（东京工业大学）；Technical University of Denmark（丹麦技术大学）；Microsoft（微软）；Inria（法国国家信息与自动化研究所）；CTU in Prague（布拉格捷克技术大学）；Centre for Mathematical Sciences, Lund University（隆德大学数学科学中心）；ENS/INRIA/CNRS UMR 8548, PSL Research University（巴黎高等师范学院/法国国家信息与自动化研究所/法国国家科学研究中心联合实验室（编号8548），巴黎高等师范学院 - 巴黎科学与人文学院（PSL Research University））；CIIRC - Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague（布拉格捷克技术大学捷克信息学、机器人学与控制论研究所（CIIRC））；WILLOW project（WILLOW项目）
视觉定位使自动驾驶汽车能够在周围环境中导航，增强现实应用程序将虚拟世界与现实世界联系起来。实用的视觉定位方法需要对各种各样的观看条件（包括昼夜变化以及天气和季节变化）具有鲁棒性，同时提供高度准确的6自由度（6DOF）相机姿态估计。在本文中，我们介绍了第一个基准数据集，专门用于分析这些因素对视觉定位的影响。使用精心创建的地面实况构成的查询图像在各种各样的条件下，我们评估各种因素对6DOF相机姿态估计精度的影响，通过广泛的实验与国家的最先进的定位方法。根据我们的研究结果，我们得出结论，不同的条件下的困难，表明长期定位是远远没有解决，并提出了有前途的途径，为未来的工作，包括基于序列的本地化方法和需要更好的本地功能。我们的基准可在visuallocalization.net上找到。
2018-04-04 cs.CV
360Loc: A Dataset and Benchmark for Omnidirectional Visual Localization with Cross-device Queries
The Hong Kong University of Science and Technology（香港科技大学）；Sun Yat-sen University（中山大学）
本文提出360Loc数据集与基准，首次探索跨设备全向视觉定位挑战，通过虚拟相机方法缓解跨设备域差距，证明全向视觉定位在复杂场景中更鲁棒。
2024-05-31 cs.CV
Constrained Visual-Inertial Localization With Application And Benchmark in Laparoscopic Surgery
Technical University of Munich（慕尼黑工业大学）；Fraunhofer HHI（弗劳恩霍夫电信研究所）
我们提出了一种新的方法来解决约束摄像机运动的视觉惯性定位问题。我们使用来自不同模态的残差来联合优化全局成本函数。残差来自IMU测量、立体特征点和对SE（3）中可能的解决方案的约束。在动态干扰频繁的设置中，残差降低了问题的复杂性，并使定位可行。我们在合适的医疗用例中验证了我们方法的优势，并生成了一个捕获腹部微创手术的数据集。我们的新型临床数据集MITI与最先进的评估数据集相当，包含校准和同步，可在https://mediatum.ub.tum.de/1621941上获得。
2022-02-22 cs.CV
Multi-Modulation Network for Audio-Visual Event Localization
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Rochester（罗切斯特大学）
我们研究的问题，本地化的视听事件，都是可听和可见的视频。现有的工作集中在编码和调整音频和视觉功能在段级，而忽略了两种模式的段之间的信息相关性和多尺度事件的建议。我们提出了一种新的多调制网络（M2N）来学习上述相关性，并利用它作为语义指导来调制相关的听觉，视觉和融合功能。特别是，在特征编码过程中，我们提出了跨模态归一化和模态内归一化。前者通过建立和利用跨模态关系来调节两种模态的特征。后者通过同一情态的事件相关语义引导来调节单个情态的特征。在融合阶段，我们提出了一个多尺度的建议调制模块和多对齐段调制模块，以引入多尺度的事件建议，并使交叉模态段之间的密集匹配。M2N利用视听事件相关信息调制的听觉、视觉和融合特征进行精确的事件定位。在AVE数据集上进行的大量实验表明，我们提出的方法在监督事件定位和跨模态定位方面都优于现有技术。
2021-08-30 cs.CV
Rethinking Visual Geo-localization for Large-Scale Applications
Politecnico di Torino（都灵理工大学）；CINI（意大利国家信息与大学研究联盟）
视觉地理定位（VG）是通过将给定照片与已知位置的大型图像数据库进行比较来估计拍摄位置的任务。为了研究现有技术如何在现实世界的城市范围内的VG应用程序上执行，我们构建了San Francisco eXtra Large，这是一个覆盖整个城市的新数据集，提供了广泛的挑战性案例，其大小比之前最大的视觉地理定位数据集大30倍。我们发现，目前的方法无法扩展到如此大的数据集，因此我们设计了一种新的高度可扩展的训练技术，称为CosPlace，它将训练作为一个分类问题，避免了常用的对比学习所需的昂贵的挖掘。我们在广泛的数据集上实现了最先进的性能，并发现CosPlace对严重的域变化具有鲁棒性。此外，我们表明，与以前的国家的最先进的，CosPlace需要大约80%的GPU内存在训练时间，它实现了更好的结果与8倍更小的描述符，铺平了道路，全市范围的现实世界的视觉地理定位。数据集、代码和训练模型可在https://github.com/gmberton/CosPlace上用于研究目的。
2022-04-07 cs.CV
AVECL-UMONS database for audio-visual event classification and localization
Numediart Institute（Numediart研究所）；University of Mons（蒙斯大学）；NECOTIS Lab（NECOTIS实验室）；University of Sherbrooke（舍布鲁克大学）
我们引入AVECL-UMons数据集，用于在办公环境中进行视听事件分类和本地化。视听数据集是由11个事件类记录在几个现实的位置在两个不同的房间。根据序列中事件的数量记录两种类型的序列。该数据集包括2662个单标记序列和2724个多标记序列，对应于总共5.24小时。该数据集可在线公开访问：https://zenodo.org/record/3965492#.X09wsobgrCI。
2020-10-02 cs.CV cs.IR cs.MM
Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention
Texas State University（德克萨斯州立大学）；University of Trento（特伦托大学）；EPFL（洛桑联邦理工学院）
视听事件定位任务的主要挑战在于如何有效地融合来自多模态的信息。最近的研究表明，注意力机制对融合过程是有益的。在本文中，我们提出了一种新的联合注意力机制与多模态融合方法的视听事件定位。特别是，我们提出了一个简洁而有效的架构，有效地学习表示从多种形式的联合方式。最初，视觉特征与听觉特征相结合，然后变成联合表示。接下来，我们利用联合表示来分别处理视觉特征和听觉特征。在这种联合注意的帮助下，产生了新的视觉和听觉特征，从而两种特征可以享受彼此的相互改进的好处。值得注意的是，联合共同关注单元是递归的，这意味着它可以被执行多次以逐渐获得更好的联合表示。在公共AVE数据集上的大量实验表明，该方法比现有方法取得了更好的结果。
2020-08-14 cs.CV cs.SD eess.AS
A Survey on Visual Map Localization Using LiDARs and Cameras
Worcester Polytechnic Institute（伍斯特理工学院）
随着自动驾驶行业逐渐成熟，视觉地图定位正迅速成为尽可能准确地定位汽车的标准方法。由于摄像头或LiDAR等视觉传感器返回的丰富数据，研究人员能够构建具有各种细节级别的不同类型的地图，并使用它们在城市环境中实现高水平的车辆定位精度和稳定性。与流行的SLAM方法相反，视觉地图定位依赖于预先构建的地图，并且仅专注于通过避免误差累积或漂移来提高定位精度。我们将视觉地图定位定义为一个两阶段的过程。在地点识别阶段，通过将视觉传感器输出与一组地理标记的感兴趣地图区域进行比较来确定车辆在地图中的初始位置。随后，在地图度量定位的阶段，通过连续地将视觉传感器的输出与正在穿越的地图的当前区域对准，在车辆在地图上移动时跟踪车辆。在本文中，我们调查，讨论和比较最新的方法，激光雷达为基础的，基于摄像头和跨模态视觉地图定位的两个阶段，在努力突出每种方法的优点和缺点。
2022-08-05 cs.CV cs.RO
Probabilistic Visual Place Recognition for Hierarchical Localization
Queensland University of Technology（昆士兰科技大学）
视觉定位技术通常包括分层定位流水线，其中视觉位置识别模块用作粗略定位器以初始化姿态细化阶段。虽然改进姿态细化步骤一直是最近许多研究的焦点，但粗定位阶段的大多数工作都集中在改进上，例如增加对外观变化的不变性，而没有改进可能是松散的误差容限。在这封信中，我们提出了两种方法，适应图像检索技术用于视觉识别的贝叶斯状态估计制定本地化。我们展示了显着的改进，使用我们的方法的粗定位阶段的定位精度，同时保留国家的最先进的性能在严重的外观变化。在Oxford RobotCar数据集上进行了广泛的实验，结果表明，我们的方法在定位图像序列的精确召回性能方面优于同类最先进的方法。此外，我们提出的方法提供了灵活性，以上下文规模的本地化延迟，以实现这些改进。改进的初始定位估计开启了利用该改进的空间先验的改进的整体定位性能和修改的姿态细化技术两者的可能性。
2021-05-07 cs.CV cs.RO
Self-Supervised Feature Learning for Long-Term Metric Visual Localization
University of Toronto（多伦多大学）
视觉定位是在已知场景中估计摄像机姿态的任务，是机器人学和计算机视觉中的一个基本问题。然而，由于照明和季节引起的环境外观变化，长期视觉定位仍然是一个挑战。虽然存在使用神经网络来解决外观变化的技术，但是这些方法通常需要地面实况姿态信息来生成准确的图像对应或在训练期间充当监督信号。在本文中，我们提出了一种新的自监督特征学习框架的度量视觉定位。我们使用基于序列的图像匹配算法跨越不同的图像序列（即，经验）来生成没有地面实况标签的图像对应。然后，我们可以对图像对进行采样，以训练一个深度神经网络，该网络使用相关的描述符和分数来学习稀疏特征，而无需地面实况姿势监督。学习到的特征可以与经典的姿态估计器一起用于视觉立体定位。我们通过与现有的Visual Teach & Repeat管道集成来验证学习到的功能，以在不同的照明条件下执行闭环定位实验，总共22.4公里。
2022-11-30 cs.CV cs.RO
Vision-based localization methods under GPS-denied conditions
Ontario Tech University（安大略理工大学）
本文综述了在GPS拒绝环境下基于视觉的定位方法，并将主流方法分为相对视觉定位（RVL）和绝对视觉定位（AVL）。对于RVL，我们讨论了光流在基于特征提取的视觉里程计（VO）解决方案中的广泛应用，并介绍了先进的光流估计方法。对于AVL，我们回顾了视觉同时定位与地图构建（VSLAM）技术的最新进展，从基于优化的方法到基于扩展卡尔曼滤波器（EKF）的方法。我们还介绍了离线地图配准和车道视觉检测方案的应用，以实现绝对视觉定位。本文比较了视觉定位的主流方法的性能和应用，并为未来的研究提供了建议。
2022-11-22 cs.CV cs.RO
Multi-Session Visual SLAM for Illumination Invariant Re-Localization in Indoor Environments
Interdisciplinary Institute of Technological Innovation (3IT)（跨学科技术创新研究所（3IT））
对于仅使用摄像头导航的机器人，室内环境中的照明变化可能导致自主导航期间的重新定位失败。在本文中，我们提出了一个多会话的视觉SLAM方法来创建一个地图，在不同的光照条件下的相同位置的多个变化。然后，可以在一天中的任何时间使用多会话地图，以提高重新定位能力。所提出的方法是独立的视觉功能的使用，这是证明了通过比较多会话之间的地图使用RTAB地图库与SURF，SIFT，BRIEF，BRISK，KAZE，DAISY和SuperPoint视觉功能创建的重新定位性能。该方法是测试六个映射和六个本地化会话记录在日落期间使用谷歌探戈手机在一个真正的公寓在30分钟的时间间隔。
2022-06-29 cs.CV cs.RO
U-ViLAR: Uncertainty-Aware Visual Localization for Autonomous Driving via Differentiable Association and Registration
Baidu Inc.（百度公司）
U-ViLAR通过可微关联和注册方法，提升自动驾驶中视觉定位的鲁棒性和精度，实验表明其在多种定位任务中表现优异。
2026-04-24 cs.CV cs.RO
Line as a Visual Sentence: Context-aware Line Descriptor for Visual Localization
KAIST（韩国科学技术院）；SNU（首尔国立大学）
除了用于图像匹配的特征点外，线特征还提供了额外的约束，以解决机器人和计算机视觉（CV）中的视觉几何问题。虽然最近的卷积神经网络（CNN）为基础的线描述符是有前途的视点变化或动态环境，我们声称，CNN架构有先天的缺点，抽象到固定尺寸的描述符的可变线长度。在本文中，我们有效地介绍了线变压器处理可变线路。受自然语言处理（NLP）任务的启发，句子可以在神经网络中很好地理解和抽象，我们将线段视为包含点（单词）的句子。通过动态地关注线上可描述的点，我们的描述符在可变线长度上表现出色。我们还提出了线签名网络共享线的几何属性的社区。作为组描述符，网络通过理解线的相对几何形状来增强线描述符。最后，我们提出了建议的线描述符和匹配的点和线定位（PL-Loc）。我们表明，视觉定位与特征点可以提高使用我们的线功能。我们验证了所提出的方法单应性估计和视觉定位。
2021-09-10 cs.CV cs.RO
A Real-Time Fusion Framework for Long-term Visual Localization
OPPO Research Institute（OPPO研究院）；Shanghai JiaoTong University（上海交通大学）；Wuhan University（武汉大学）
视觉定位是机器人应用中的一项基本任务，它将6自由度（6DoF）姿态与图像特征进行回归，以满足高精度定位要求。退化的条件，如运动模糊，照明变化和环境变化的地方，在这项任务的巨大挑战。与诸如顺序信息和惯性测量单元（IMU）输入等附加信息的融合将大大有助于解决这些问题。在本文中，我们提出了一个有效的客户端-服务器视觉定位架构，融合全球和本地的姿态估计，实现有前途的精度和效率。我们在映射和全局姿态回归模块中包括额外的几何提示，以提高测量质量。采用松耦合的融合策略来平衡计算复杂度和准确度。我们对两个典型的开源基准进行了评估，4Seasons和OpenLORIS。定量结果证明，我们的框架具有竞争力的性能，相对于其他国家的最先进的视觉定位解决方案。
2022-10-18 cs.CV cs.RO
Optimizing Fiducial Marker Placement for Improved Visual Localization
Massachusetts Institute of Technology（麻省理工学院）；Microsoft（微软）
将基准标记添加到场景中是使视觉定位算法更鲁棒的众所周知的策略。传统上，这些标记位置由熟悉视觉定位技术的人选择。本文探讨的问题，自动标记放置在一个场景。具体来说，给定一组预定的标记和场景模型，我们计算优化的标记位置的场景内，可以提高视觉定位的精度。我们的主要贡献是一个新的框架建模相机定位，结合自然场景的功能和人工基准标记添加到场景中。我们提出了优化标记放置（OMP），一个贪心算法，是基于相机定位框架。我们还设计了一个模拟框架，用于在3D模型和合成场景生成的图像上测试标记放置算法。我们已经在这个测试平台中评估了OMP，并在四个不同的场景中展示了高达20%的本地化率提高。
2023-03-17 cs.CV cs.RO
iSimLoc: Visual Global Localization for Previously Unseen Environments with Simulated Images
Carnegie Mellon University（卡内基梅隆大学）
视觉相机是超视距无人机操作中有吸引力的设备，因为它们尺寸小、重量轻、功耗低、成本低，并且可以为GPS故障提供冗余模态。然而，最先进的视觉定位算法无法匹配由于照明或视点而具有显著不同外观的视觉数据。本文提出了iSimLoc，一个条件/视点一致的分层全局重定位方法。iSimLoc的位置特征可以用于在改变外观和视点的情况下搜索目标图像。此外，我们的分层全局重新定位模块以粗到细的方式进行细化，使iSimLoc能够执行快速准确的估计。我们在一个具有外观变化的数据集和一个专注于在复杂环境中长时间飞行的大规模匹配的数据集上评估我们的方法。在我们的两个数据集上，iSimLoc在1.5s的推理时间内获得了88.7%和83.8%的成功检索率，而使用次优方法的成功检索率分别为45.8%和39.7%。这些结果证明了在一系列环境中的鲁棒定位。
2022-09-14 cs.CV cs.RO
DA4AD: End-to-End Deep Attention-based Visual Localization for Autonomous Driving
Baidu（百度）
我们提出了一个视觉定位框架的基础上，新的深度注意力感知功能的自动驾驶，实现厘米级的定位精度。视觉定位问题的传统方法依赖于手工制作的特征或道路上的人造物体。众所周知，它们要么容易因严重的外观或照明变化而导致不稳定的匹配，要么太少而无法在具有挑战性的场景中提供恒定和鲁棒的定位结果。在这项工作中，我们试图利用深度注意力机制，通过一个新的端到端的深度神经网络来搜索显著的，独特的和稳定的特征，有利于在场景中的长期匹配。此外，我们学习的特征描述符被证明是有能力建立强大的匹配，因此成功地估计最佳的相机姿态与高精度。我们使用新收集的数据集，具有高质量的地面实况轨迹和传感器之间的硬件同步，全面验证了我们方法的有效性。结果表明，与基于LiDAR的定位解决方案相比，我们的方法在各种具有挑战性的情况下实现了具有竞争力的定位精度，从而为自动驾驶提供了潜在的低成本定位解决方案。
2020-07-13 cs.CV cs.RO
Visual-Inertial Localization for Skid-Steering Robots with Kinematic Constraints
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
虽然视觉定位或SLAM在过去的几十年里取得了很大的进展，但在实际应用中，当将其部署在移动机器人上时，很少有工作在设计状态估计器时明确考虑真实机器人系统的运动学（或动力学）约束。为了促进当前国家的最先进的视觉惯性定位算法的实际部署，在这项工作中，我们提出了一个低成本的运动学约束定位系统，特别是一个滑移转向移动机器人。特别是，我们推导出一个原则的方式的机器人的运动学约束的基础上的瞬时旋转中心（ICR）模型，并将它们以紧密耦合的方式集成到基于滑动窗口光束法平差（BA）的视觉惯性估计。由于ICR模型参数是随时间变化的，例如，轨道与地形的相互作用和地形粗糙度，我们估计这些运动学参数在线随着导航状态。为此，我们进行深入的可观测性分析，并确定运动条件下的状态/参数估计是可行的。所提出的运动学约束的视觉-惯性定位系统已经在不同的地形场景中得到了广泛的验证。
2019-11-13 cs.CV cs.RO
SF-Loc: A Visual Mapping and Geo-Localization System based on Sparse Visual Structure Frames
School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）
针对现有地图辅助定位方案在建图灵活性、存储与重定位性能上的不足，提出轻量级系统SF-Loc，基于视觉结构帧实现增量建图与由粗到精定位，在跨季节城市场景中达成低存储占用与分米级稳定重定位效果。
2025-11-18 cs.CV cs.RO
VTLoc: Learning-based Tactile Contact Localization in Visual Point Clouds
Department of Engineering, King’s College London（伦敦国王学院工程系）
研究视觉与触觉融合的接触定位问题，提出VTLoc框架，通过几何多模态对齐模块和迭代定位更新器，利用视觉点云从触觉读数定位接触点，在新基准上减少对应模糊性，改善单触接触定位。
2026-07-20 cs.CV cs.RO
Deep auxiliary learning for visual localization using colorization task
Meituan group（美团集团）
视觉定位是机器人和自动驾驶最重要的组成部分之一。最近，基于CNN的方法已经显示出令人鼓舞的结果，这些方法提供了端到端回归6-DoF绝对姿态的直接公式。通常会引入几何或语义约束等附加信息来提高性能。特别是后者，可以聚合高层次的语义信息到本地化任务，但它通常需要大量的人工注释。为此，我们提出了一种新的辅助学习策略，通过引入场景特定的高层次语义的自监督表示学习任务的相机定位。作为一个强大的代理任务，图像着色任务被选为补充任务，输出像素级的彩色版本的灰度照片没有额外的注释。在我们的工作中，彩色化网络的特征表示通过设计嵌入到定位网络中，以产生用于姿态回归的判别特征。同时，为了提高定位性能，引入了注意力机制。大量的实验表明，我们的模型在室内和室外数据集上都显着提高了定位精度。
2021-07-01 cs.CV cs.RO
VVLoc: Prior-free 3-DoF Vehicle Visual Localization
Fudan University（复旦大学）；NIO（蔚来汽车）；Bosch XC（博世XC）
VVLoc通过单一神经网络实现多摄像头下的车辆拓扑与度量定位，无需先验信息，提升定位精度与效率。
2026-01-31 cs.CV cs.RO
Visual SLAM-based Localization and Navigation for Service Robots: The Pepper Case
Universidad de Chile（智利大学）；Advanced Mining Technology Center（先进采矿技术中心）；Delft University of Technology（代尔夫特理工大学）
提出了一种基于Visual-SLAM的服务机器人定位导航系统。我们的系统是建立在ORB-SLAM单目系统的顶部，但通过在估计过程中加入车轮里程计来扩展。作为一个案例研究，所提出的系统进行了验证，使用胡椒机器人，其短程激光雷达和RGB-D相机不允许机器人在大环境中进行自定位。定位系统在两种不同的环境中使用Pepper进行导航任务测试：中型实验室和大型大厅。
2018-11-20 cs.CV cs.RO
Geometric Structure Aided Visual Inertial Localization
Robotics Institute at the Hong Kong University of Science and Technology（香港科技大学机器人研究所）
视觉定位是自主导航的重要组成部分。现有的方法要么基于SLAM/SfM的视觉结构，要么基于密集映射的几何结构。为了利用这两个优点，在这项工作中，我们提出了一个完整的视觉惯性定位系统的基础上的混合地图表示，以减少计算成本，提高定位精度。特别地，我们提出了两个模块的数据关联和批量优化，分别。为此，我们开发了一个有效的数据关联模块，将地图组件与本地功能，这只需要$2$毫秒生成时间地标。对于批量优化，而不是使用视觉因素，我们开发了一个模块来估计一个姿势之前，从即时定位结果约束姿势。在EuRoC MAV数据集上的实验结果表明，与现有技术相比，该方法具有竞争力的性能。特别是，我们的系统实现了1.7厘米的平均位置误差与100%的召回。时序表明，所提出的模块减少了20- 30%的计算成本。我们将在http://github.com/hyhuang1995/gmmloc上开源我们的实现。
2020-11-09 cs.CV cs.RO
ImPosing: Implicit Pose Encoding for Efficient Visual Localization
MINES ParisTech（巴黎矿业学院）；Huawei Technologies（华为技术有限公司）
我们提出了一种新的基于学习的视觉定位的车辆，可以在城市规模的环境中实时操作的配方。视觉定位算法使用一组地理参考图像或3D场景表示来确定捕获图像的位置和方向。我们的新定位范例，名为隐式姿势编码（ImPosing），将图像和相机姿势嵌入到具有2个独立神经网络的公共潜在表示中，以便我们可以计算每个图像姿势对的相似性得分。通过以分层方式评估潜在空间中的候选者，相机位置和取向不直接回归，而是递增地细化。非常大的环境迫使竞争对手存储千兆字节的地图数据，而我们的方法是非常紧凑的独立的参考数据库的大小。在本文中，我们描述了如何有效地优化我们的学习模块，如何将它们组合起来以实现实时定位，并在各种大规模场景中展示结果，这些结果在准确性和计算效率方面明显优于先前的工作。
2022-10-28 cs.CV cs.RO
GMMLoc: Structure Consistent Visual Localization with Gaussian Mixture Models
RAM-LAB（RAM实验室）；Hong Kong University of Science and Technology（香港科技大学）
在视觉状态估计中加入先验结构信息，可以提高定位性能。在这封信中，我们的目标是解决耦合视觉因素与结构约束的准确性和效率之间的矛盾。为此，我们提出了一种跨模态的方法，跟踪摄像机在高斯混合模型（GMM）建模的先验地图。通过前端的姿态估计，有效地将局部视觉观察和地图组件相关联，同时细化来自三角测量的视觉结构。通过在联合优化中引入混合结构因子，利用局部视觉结构对摄像机位姿进行优化调整。通过在公共数据集上评估我们的完整系统，即GMMLoc，我们展示了我们的系统如何能够提供厘米级的定位精度，而只需微不足道的计算开销。此外，与最先进的视觉占主导地位的状态估计的比较研究表明，我们的方法的竞争力的性能。
2020-10-05 cs.CV cs.RO
Visual Localization of Key Positions for Visually Impaired People
Zhejiang University（浙江大学）；Kr Vision Technology Co., Ltd.（Kr视觉科技有限公司）
在现有的导航辅助设备上，定位精度受到全球导航卫星系统（GNSS）信号误差的限制。在户外旅行时，不准确的定位会让视障人士感到困惑，尤其是在大门、公交车站或十字路口等关键位置。视觉定位是提高辅助器具定位精度的一条可行途径。提出了一种基于多图像描述子的鲁棒高效视觉定位算法，该算法利用先验GNSS信号和多模态图像实现关键位置的精确定位。在实验中，我们在可穿戴系统上实现了该方法，并在实际场景下测试了视觉定位的性能。
2018-10-09 cs.CV
A Probabilistic Framework for Visual Localization in Ambiguous Scenes
KTH Royal Institute of Technology（KTH皇家理工学院）；Univrses AB（Univrses公司）
视觉定位允许自主机器人在失去其姿势时通过将其当前观察与过去的观察相匹配来重新定位。然而，模糊的场景对这样的系统提出了挑战，因为重复的结构可以从许多不同的、同样可能的相机姿势中观察到，这意味着产生单个最佳姿势假设是不够的。在这项工作中，我们提出了一个概率框架，对于一个给定的图像预测其相机姿态的任意形状的后验分布。我们这样做，通过一个新的配方相机姿态回归使用变分推理，它允许从预测的分布采样。我们的方法优于现有的方法定位在模糊的场景。代码和数据将在https://github.com/efreidun/vapor上发布。
2023-01-05 cs.CV cs.RO
Audio-Visual Event Localization in Unconstrained Videos
University of Rochester（罗切斯特大学）
在本文中，我们介绍了一个新的问题，在无约束的视频视听事件定位。我们将视听事件定义为在视频片段中既可见又可听的事件。我们收集了一个视听事件（AVE）数据集，系统地研究了三个时间定位任务：监督和弱监督视听事件定位，跨模态定位。我们开发了一个音频引导的视觉注意力机制来探索视听相关性，提出了一个双多模态残差网络（DMRN）来融合两种模态的信息，并引入了一个视听远程学习网络来处理跨模态定位。我们的实验支持以下发现：听觉和视觉模态的联合建模优于独立建模，学习的注意力可以捕捉发声对象的语义，时间对齐是视听融合的重要，建议DMRN是有效的融合视听功能，和两个模态之间的强相关性，使跨模态定位。
2018-03-23 cs.CV
Tightly-Coupled, Speed-aided Monocular Visual-Inertial Localization in Topological Map
提出一种基于拓扑地图的紧耦合速度辅助单目视觉惯性定位算法，利用IESKF融合图像对应与车速，在隧道等场景中优于现有方法。
2024-11-08 cs.CV cs.RO
Perspective from a Broader Context: Can Room Style Knowledge Help Visual Floorplan Localization?
∗ Corresponding author（通讯作者）
本文提出利用无监督预训练的房间判别器提取场景上下文信息，注入视觉平面图定位算法，以消除重复结构导致的定位模糊，在两个基准上超越现有方法。
2025-08-02 cs.CV cs.RO
Real-Time Visual Place Recognition for Personal Localization on a Mobile Device
Poznań University of Technology（波兹南理工大学）
提出了一种基于视觉位置识别的移动终端室内个人定位方法。我们在智能手机上实现了两种最先进的算法，它们代表了两种不同的视觉位置识别方法：FAB-MAP使用单个图像识别位置，ABLE-M利用图像序列。这些算法在不同结构的环境中进行评估，重点是使用移动终端相机时经常遇到的问题。从这次评估中得出的结论是指导设计的FastABLE系统，这是基于ABLE-M算法，但介绍了重大修改的概念，图像匹配。这些改进从根本上减少了处理时间并提高了可扩展性，使得可以利用移动终端的有限计算能力在长图像序列中定位用户。在实时的【形】个人定位方面，所得到的位置识别系统与ABLE-M和FAB-MAP解决方案相比都是有利的。
2017-04-27 cs.CV cs.RO
MegLoc: A Robust and Accurate Visual Localization Pipeline
Megvii（旷视科技）
在本文中，我们提出了一个视觉定位管道，即MegLoc，用于在不同场景下进行鲁棒和准确的6-DoF姿态估计，包括室内和室外场景，一天中的不同时间，一年中的不同季节，甚至几年。MegLoc在一系列具有挑战性的数据集上取得了最先进的成果，包括赢得了ICCV 2021年关于变化条件下长期视觉定位研讨会的室外和室内视觉定位挑战赛，以及ICCV 2021年关于自动驾驶基于地图定位研讨会的自动驾驶重新定位挑战赛。
2022-05-18 cs.CV
Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization
Google（谷歌）；National University of Singapore（新加坡国立大学）
映射和定位，最好是从少量的观察，是机器人的基本任务。我们通过将空间结构（可微映射）和端到端学习结合在一个新的神经网络架构中来解决这些任务：可微映射网络（DMN）。DMN构造了一个空间结构化的视图嵌入图，并使用它进行后续的视觉定位与粒子滤波。由于DMN架构是端到端可微的，因此我们可以使用梯度下降来联合学习地图表示和定位。我们将DMN应用于稀疏视觉定位，其中机器人需要在新的环境中相对于来自已知视点的少量图像进行定位。我们使用模拟环境和具有挑战性的现实世界街景数据集来评估DMN。我们发现，DMN学习有效的地图表示视觉定位。空间结构的好处随着较大的环境、用于映射的更多视点以及当训练数据稀缺时而增加。项目网址：http://sites.google.com/view/differentiable-mapping
2020-05-19 cs.CV cs.LG cs.RO
Appearance-Invariant 6-DoF Visual Localization using Generative Adversarial Networks
China Unicom（中国联通）；AI Innovation and Application Center（人工智能创新应用中心）
我们提出了一种新的视觉定位网络，当外部环境发生变化，如不同的光照，天气和季节。视觉定位网络由特征提取网络和姿态回归网络组成。特征提取网络由基于生成对抗网络CycleGAN的编码器网络组成，该网络可以从不同天气和季节的未配对样本中捕获内在外观不变的特征图。有了这样一个不变的特征，我们使用一个6自由度的姿态回归网络来解决长期的视觉定位在户外照明，天气和季节变化的存在。使用各种具有挑战性的地点识别和定位数据集来证明我们的视觉定位网络，结果表明，我们的方法在各种环境变化的情况下优于最先进的方法。
2020-12-24 cs.CV
Benchmarking Visual Localization for Autonomous Navigation
Tampere University（坦佩雷大学）
这项工作介绍了一个基于模拟器的基准在自主导航环境中的视觉定位。动态基准能够调查诸如一天中的时间、天气和相机视角等变量如何影响利用视觉定位进行闭环控制的自主智能体的导航性能。本文的实验部分研究了四个这样的变量的影响，通过评估国家的最先进的视觉定位方法的一部分，自主导航堆栈的运动规划模块。结果表明，主要变化的视觉导航的不同方法的适用性。据作者所知，所提出的基准是第一个研究现代视觉定位方法作为一个完整的导航堆栈的一部分。我们在https://github.com/lasuomela/carla_vloc_benchmark上提供基准测试。
2022-10-18 cs.CV
Visual Localization Under Appearance Change: Filtering Approaches
The University of Adelaide（阿德莱德大学）
当前位置识别研究的一个主要焦点是自动驾驶的视觉定位。在这种情况下，由于摄像机将连续运行，因此期望视频作为视觉定位算法的输入是现实的，而不是其他视觉定位工作中使用的单图像查询方法。在本文中，我们表明，利用时间连续性的测试序列显着提高视觉定位-定性和定量。虽然直观，这个想法还没有得到充分探讨，在最近的作品。为此，我们提出了两种滤波方法来利用图像序列的时间平滑性：i）隐马尔可夫模型在离散域上的滤波，ii）基于蒙特卡洛的视觉定位在连续域上的滤波。我们的方法依赖于局部特征与编码技术来表示作为一个单一的向量的图像。在合成数据集和真实数据集上的实验结果表明，我们提出的方法比现有技术（即，基于深度学习的姿态回归方法）用于显著外观变化下的视觉定位任务。我们的合成数据集和源代码在https://sites.google.com/view/g2d-software/home和https://github.com/dadung/Visual-Localization-Filtering上公开提供。
2020-11-04 cs.CV
Visual Localization Using Semantic Segmentation and Depth Prediction
OPPO Research Institute（OPPO研究院）
在本文中，我们提出了一个单目视觉定位管道利用语义和深度线索。我们应用语义一致性评价对图像检索结果进行排序，并使用一种实用的聚类技术来拒绝估计离群值。此外，我们证明了一个显着的性能提升实现了多个特征提取器的组合。此外，通过使用深度预测与深度神经网络，我们表明，大量的错误匹配的关键点被识别和消除。在2020年的长期视觉定位基准测试中，拟议的管道优于大多数现有方法。
2020-05-25 cs.CV
Is Geometry Enough for Matching in Visual Localization?
Technical University of Munich（慕尼黑工业大学）；Universidade de Lisboa（里斯本大学）
在本文中，我们建议超越成熟的方法，以视觉为基础的本地化，依赖于查询图像和3D点云之间的视觉描述符匹配。虽然通过视觉描述符匹配关键点使定位高度准确，但它具有显著的存储需求，引起了隐私问题，并需要长期更新描述符。为了优雅地解决大规模定位的实际挑战，我们提出了GoMatch，这是一种基于视觉的匹配的替代方案，它仅依赖于将图像关键点与地图匹配的几何信息，表示为一组方位向量。我们新颖的3D点的方位矢量表示，显着缓解了基于几何的匹配中的跨模态挑战，这些挑战阻止了先前的工作在现实环境中解决定位问题。通过额外的精心架构设计，GoMatch改进了先前基于几何的匹配工作，在剑桥地标和7场景上的平均中值姿态误差减少了（10.67m，95.7deg）和（1.43m，34.7deg），同时与最好的基于视觉的匹配方法相比，只需要1.5/1.7%的存储容量。这证实了其在现实世界中的定位的潜力和可行性，并为未来不需要存储视觉描述符的城市规模视觉定位方法的发展打开了大门。
2022-07-30 cs.CV
Jointly Optimized Global-Local Visual Localization of UAVs
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；City University of Hong Kong（香港城市大学）；Aerospace Information Research Institute, CAS（中国科学院空天信息创新研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对GNSS失效下无人机定位难题，提出GLVL两阶段网络，结合全局检索与局部匹配，实现实时高精度定位，在稀疏纹理场景中误差仅2.39米。
2023-10-12 cs.CV
LAVA: Layered Audio-Visual Anti-tampering Watermarking for Robust Deepfake Detection and Localization
School of Computer Science and Engineering（计算机科学与工程学院）；UNSW Sydney（新南威尔士大学悉尼分校）；School of Information and Communication Technology（信息与通信技术学院）；Griffith University（格里菲斯大学）
LAVA通过跨模态水印融合与校准感知对齐，提升深度伪造篡改检测与定位的鲁棒性，实验表明其检测性能接近完美，抗压缩与多模态错位能力强。
2026-08-11 cs.CV
Dense Semantic 3D Map Based Long-Term Visual Localization with Hybrid Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
视觉定位在许多应用中起着重要的作用。然而，由于季节和光照变化，以及天气和昼夜变化等大的外观变化，它仍然是一个很大的挑战，鲁棒的长期视觉定位算法。在本文中，我们提出了一种新的视觉定位方法，使用混合手工制作和学习功能与密集的语义3D地图。混合特征有助于我们在不同的成像条件下充分利用它们的优势，而密集的语义图为我们提供了可靠和完整的几何和语义信息，用于构建足够的具有语义一致性得分的2D-3D匹配对。在我们的流水线中，我们通过稠密模型和查询图像之间的语义一致性来检索和评分每个候选数据库图像。然后，语义一致性得分被用作软约束的加权RANSAC的Puppose求解器。长期的视觉定位基准的实验结果表明，我们的方法相比，国家的最先进的有效性。
2020-05-21 cs.CV
Semantic Visual Localization
Microsoft（微软）
在大范围视觉条件下的鲁棒视觉定位是计算机视觉中的一个基本问题。处理这个问题的困难情况不仅非常具有挑战性，而且具有高度的实际意义，例如，在用于增强现实或自主机器人的终身定位的上下文中。在本文中，我们提出了一种新的方法的基础上联合3D几何和语义的理解的世界，使它能够成功的条件下，以前的方法失败。我们的方法利用一种新的生成模型进行描述符学习，将语义场景完成作为辅助任务进行训练。由此产生的3D描述符通过编码高级别的3D几何和语义信息，对丢失的观测具有鲁棒性。在几个具有挑战性的大规模定位数据集上的实验表明，在极端视角，光照和几何变化下，定位是可靠的。
2018-04-16 cs.CV
Visual Localization Using Sparse Semantic 3D Map
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在包括季节和光照变化以及天气和昼夜变化的大范围观看条件变化下的准确和鲁棒的视觉定位是许多计算机视觉和机器人应用的关键组成部分。在这些条件下，大多数传统的方法将无法定位相机。本文提出了一种结合结构和图像的视觉定位算法。给定关于查询和数据库图像的语义信息，根据3D模型和查询图像的语义一致性对检索到的图像进行评分。然后，语义匹配得分被用作权重的RANSAC的采样和姿势是由一个标准的Pestrian求解器解决。在具有挑战性的长期视觉定位基准数据集上的实验表明，与现有的方法相比，该方法具有显着的改进。
2019-05-17 cs.CV
Self-localization Using Visual Experience Across Domains
University of Fukui（福井大学）
在这项研究中，我们的目标是解决单视图机器人自定位问题，通过使用跨域的视觉经验。虽然词袋方法构成了一种流行的单视图本地化方法，但当在不同领域学习和测试其视觉词汇时，它会严重失败。此外，我们有兴趣使用跨域设置，其中视觉词汇是在不同的季节和路线从输入查询/数据库场景学习。我们的策略是挖掘一个跨领域的视觉体验，在不同领域收集的原始视觉图像库，发现相关的视觉模式，有效地解释输入场景，并使用它们进行场景检索。特别是，我们表明，挖掘的视觉模式的查询场景的外观和姿态可以有效地和歧视性地匹配对那些数据库的场景，采用图像到类的距离和空间金字塔匹配。使用一个新的跨域数据集获得的实验结果表明，我们的系统取得了可喜的成果，尽管我们的视觉词汇被学习和测试在不同的领域。
2015-09-25 cs.CV
RELOCATE: A Simple Training-Free Baseline for Visual Query Localization Using Region-Based Representations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
RELOCATE通过基于区域的表示和双向跟踪实现长视频中视觉查询定位，无需训练并在Ego4D数据集上取得49%的精度提升。
2025-12-10 cs.CV
SuperGF: Unifying Local and Global Features for Visual Localization
Megvii（旷视科技）；Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所AIP中心）；Xi’an Jiaotong University（西安交通大学）
先进的视觉定位技术包括图像检索挑战和6自由度（DoF）相机姿态估计，如分层定位。因此，它们必须从输入图像中提取全局和局部特征。以前的方法是通过资源密集型或降低精度的手段来实现的，例如组合管道或多任务蒸馏。在这项研究中，我们提出了一种新的方法称为SuperGF，它有效地统一了局部和全局特征的视觉定位，导致定位精度和计算效率之间的更高的权衡。具体来说，SuperGF是一个基于变换的聚合模型，它直接对图像匹配特定的局部特征进行操作，并生成全局特征以供检索。我们进行实验评估，我们的方法在准确性和效率方面，证明了其优于其他方法。我们还提供了使用各种类型的局部特征的SuperGF实现，包括基于密集和稀疏学习或手工制作的描述符。
2022-12-23 cs.CV
Dual-modality seq2seq network for audio-visual event localization
National Taiwan University（台湾大学）；MOST Joint Research Center for AI Technology and All Vista Healthcare（科技部人工智能技术与全视角医疗联合研究中心）
视听事件定位要求识别视频中既可见又可听的事件（无论是在帧级还是视频级）。为了解决这个问题，我们提出了一个深度神经网络命名为视听序列到序列对偶网络（AVSDN）。该模型以每个时间段的音频和视觉特征作为输入，以序列到序列的方式学习全局和局部事件信息，可以在全监督或弱监督环境下实现。实验结果证实，我们提出的方法在这两种情况下都能与最近的深度学习方法相媲美。
2020-08-06 cs.CV
TBPos: Dataset for Large-Scale Precision Visual Localization
University of Vaasa（瓦萨大学）；Aalto University（阿尔托大学）
基于图像的定位是一个经典的计算机视觉挑战，具有几个众所周知的数据集。通常，数据集包括捕获建模场景的视觉3D数据库，以及要发现其3D姿态的查询图像。通常，查询图像是用与用于收集3D数据库的成像硬件不同的相机获取的;因此，难以获取查询图像和3D数据库之间的准确地面实况姿态。随着视觉定位算法精度的不断提高，精确的地面实况变得越来越重要。本文提出了TBPos，一种新的大规模的基于图像的定位，它提供查询图像与完全准确的地面实况构成的视觉数据集：数据库图像和查询图像已来自相同的激光扫描仪数据。在本文的实验部分中，通过基于图像的定位管道来评估所提出的数据集。
2023-02-20 cs.CV
Gaussian Splatting Feature Fields for Privacy-Preserving Visual Localization
Faculty of Electrical Engineering, Czech Technical University in Prague（1 电气工程学院，捷克技术大学普拉赫堡分校）；Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague（2 捷克信息学、机器人学与自动化研究所，捷克技术大学普拉赫堡分校）；NAVER LABS Europe（3 NAVER LABS欧洲）
本文提出高斯溅射特征场（GSFFs），结合3DGS几何与隐式特征场，通过对比学习和对齐实现隐私保护的视觉定位，在多个真实数据集上达到最先进性能。
2025-08-26 cs.CV
Open-World Distributed Robot Self-Localization with Transferable Visual Vocabulary and Both Absolute and Relative Features
Graduate School of Engineering, University of Fukui（福井大学工学研究科）
针对开放世界分布式机器人系统中视觉知识迁移共享不足的问题，提出兼具绝对与相对特征的轻量化可迁移无监督视觉词袋自定位框架，在主被动定位场景中均验证有效。
2024-09-11 cs.CV
SS-CAM: Smoothed Score-CAM for Sharper Visual Feature Localization
Carnegie Mellon University（卡内基梅隆大学）；Manipal Institute of Technology（马尼帕尔理工学院）；SRM Institute of Science and Technology（SRM科学技术学院）
由于深度卷积神经网络在高风险环境中的应用，其底层机制的解释已成为深度学习领域研究的一个重要方面。为了解释这些黑盒架构，已经应用了许多方法，以便可以分析和理解内部决策。在本文中，建立在顶部的分数CAM，我们介绍了一个增强的视觉解释的视觉锐度称为SS-CAM，它产生集中定位的对象功能在图像中通过平滑操作。我们在ILSVRC 2012验证数据集上评估了我们的方法，该数据集在忠实性和本地化任务上都优于Score-CAM。
2020-11-12 cs.CV
