UAV-VisLoc: A Large-scale Dataset for UAV Visual Localization
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);City University of Hong Kong(香港城市大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对真实场景下无人机视觉定位数据稀缺的问题,本文构建覆盖中国11地、多机型、多高度与地形的大规模 UAV-VisLoc 数据集,支持模型训练与测试。
2024-05-20 cs.CV
Continual Learning for Image-Based Camera Localization
Aalto University(阿尔托大学)
对于增强现实、自动驾驶和机器人等几种新兴技术而言,视觉定位是一个关键组成部分。使用深度神经网络从输入图像直接回归相机姿态/3D场景坐标已经显示出巨大的潜力。然而,这样的方法假设在训练期间所有场景同时可用的静态数据分布。在本文中,我们将在一个持续学习设置中处理视觉定位问题--模型将以增量方式在场景中进行训练。我们的研究结果表明,与分类域类似,非平稳数据会在深度网络中引发视觉定位的灾难性遗忘。为了解决这个问题,提出了一种基于存储和重放来自固定缓冲区的图像的强基线。此外,我们提出了一种新的采样方法的基础上覆盖分数(Buff-CS),适应现有的采样策略在缓冲过程中的视觉定位的问题。结果表明,在两个具有挑战性的数据集- 7Scenes,12 Scenes,以及19 Scenes通过合并前场景的标准缓冲方法的一致改进。
2022-04-27 cs.CV
The Aqualoc Dataset: Towards Real-Time Underwater Localization from a Visual-Inertial-Pressure Acquisition System
ONERA, Université Paris Saclay(法国航空航天实验室(ONERA),巴黎萨克雷大学);LIRMM, Université de Montpellier, CNRS(蒙彼利埃计算机、机器人与微电子实验室,蒙彼利埃大学,法国国家科学研究中心);DRASSM, Ministry of Culture(法国文化部水下与海底考古研究局)
本文提出了一种新的水下数据集从视觉惯性压力采集系统,并打算用于基准视觉里程计,视觉SLAM和多传感器SLAM解决方案。该数据集是公开的,包含用于评估的地面实况轨迹。
2018-09-19 cs.CV cs.RO
Long-Term Visual Localization in Dynamic Benthic Environments: A Dataset, Footprint-Based Ground Truth, and Visual Place Recognition Benchmark
Department of Marine Technology(海洋技术系);Norwegian University of Science and Technology(挪威科学技术大学);Trondheim, Norway(特罗姆瑟,挪威)
本文提出一个用于长期底栖环境视觉定位的 curated 数据集和基于足迹的地面真实方法,评估了八种最先进的视觉地点识别方法,发现其在该数据集上的 Recall@K 显著低于传统基准。
2026-03-04 cs.CV cs.RO
ALTO: A Large-Scale Dataset for UAV Visual Place Recognition and Localization
Carnegie Mellon University(卡内基梅隆大学)
我们提出了ALTO数据集,这是一个以视觉为中心的数据集,用于无人机视觉位置识别和定位方法的开发和基准测试。该数据集由直升机在俄亥俄州和宾夕法尼亚州上空飞行的两条长(约150公里和260公里)轨迹组成,其中包括高精度GPS-INS地面实况位置数据,高精度加速度计读数,激光高度计读数和RGB下向相机图像。此外,我们还提供了飞行路径上的参考图像,这使得该数据集适用于VPR基准测试和定位中常见的其他任务,例如图像配准和视觉里程计。据作者所知,这是此类真实世界中最大的飞行器数据集。我们的数据集可以在https://github.com/MetaSLAM/ALTO上找到。
2022-07-19 cs.CV cs.RO
Eiffel Tower: A Deep-Sea Underwater Dataset for Long-Term Visual Localization
Ifremer(法国海洋开发研究院);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Univ Brest(布雷斯特大学)
针对水下长期视觉定位研究数据匮乏的问题,本文发布了基于五年内四次深海热液喷口采集图像构建的Eiffel Tower数据集,提供基准参考并验证现有方法仍有提升空间。
2023-05-09 cs.CV cs.RO
Learning Cross-Scale Visual Representations for Real-Time Image Geo-Localization
University of Michigan(密歇根大学)
机器人定位仍然是一个具有挑战性的任务,在GPS拒绝的环境。基于本地传感器(例如,相机或IMU)的状态估计方法对于远程任务来说随着误差累积而易于漂移。在这项研究中,我们的目标是解决这个问题,通过本地化的图像观测在二维多模态地理空间地图。我们介绍了跨尺度数据集和方法,以产生额外的数据,从跨模态源。我们提出了一个框架,学习跨尺度的视觉表示没有监督。实验进行的数据从两个不同的领域,水下和空中。与现有的跨视图图像地理定位研究相比,我们的方法a)在较小尺度的多模态地图上表现更好; b)对于实时的【形】应用来说计算效率更高; c)可以直接与状态估计管道协同工作。
2022-05-14 cs.CV cs.RO
Visual Measurement Integrity Monitoring for UAV Localization
University of Toronto(多伦多大学)
无人机(UAV)越来越多地被用于安全、安保和救援任务,为此它们需要相对于其环境的精确和可靠的姿态估计。为了在依赖视觉感知时确保任务安全,必须有一种方法来评估视觉定位解决方案的完整性。然而,据我们所知,这种方法不存在基于优化的视觉定位。接收机自主完整性监测(RAIM)已广泛用于全球导航卫星系统(GNSS)应用中,例如自动飞机着陆。在本文中,我们提出了一种新的方法,灵感来自RAIM监控的完整性优化为基础的视觉定位和计算的保护水平的状态估计,即在每个方向上的最大可能的平移误差。我们还提出了一个度量,定量评估的误差界的性能。最后,我们使用EuRoC数据集验证了保护级别,并证明了建议的保护级别提供了一个显着更可靠的界限比常用的$3σ$方法。
2019-09-18 cs.CV cs.RO eess.IV
AVECL-UMONS database for audio-visual event classification and localization
Numediart Institute(Numediart研究所);University of Mons(蒙斯大学);NECOTIS Lab(NECOTIS实验室);University of Sherbrooke(舍布鲁克大学)
我们引入AVECL-UMons数据集,用于在办公环境中进行视听事件分类和本地化。视听数据集是由11个事件类记录在几个现实的位置在两个不同的房间。根据序列中事件的数量记录两种类型的序列。该数据集包括2662个单标记序列和2724个多标记序列,对应于总共5.24小时。该数据集可在线公开访问:https://zenodo.org/record/3965492#.X09wsobgrCI。
2020-10-02 cs.CV cs.IR cs.MM
Hierarchical Multi-Process Fusion for Visual Place Recognition
ARC Centre of Excellence for Robotic Vision(澳大利亚研究委员会机器人视觉卓越中心);Queensland University of Technology(昆士兰科技大学)
将多种互补技术结合在一起一直被认为是提高性能的一种方法。在视觉定位中,多传感器融合、单个感测模态的多处理融合、以及甚至不同定位技术的组合已被证明导致改进的性能。然而,仅仅将不同的定位技术融合在一起并不能说明不同定位技术的不同性能特性。在本文中,我们提出了一种新的,分层定位系统,明确受益于三个不同的特性的本地化技术:分布的本地化假设,其外观和视点不变的属性,以及由此产生的差异,在一个环境中,每个系统工作良好,失败。我们展示了两种技术部署分层工作更好地比并行融合,如何结合两种不同的技术比两个层次的一种技术,即使在单一的技术具有优越的个人性能,并开发两层和三层的分层结构,逐步提高本地化性能。最后,我们开发了一个堆叠的分层框架,其中具有互补特性的技术的本地化假设在每一层都被连接起来,从而显着提高了正确假设的保留到最终的本地化阶段。使用两个具有挑战性的数据集,我们展示了所提出的系统优于最先进的技术。
2020-01-28 cs.CV cs.RO
Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention
Texas State University(德克萨斯州立大学);University of Trento(特伦托大学);EPFL(洛桑联邦理工学院)
视听事件定位任务的主要挑战在于如何有效地融合来自多模态的信息。最近的研究表明,注意力机制对融合过程是有益的。在本文中,我们提出了一种新的联合注意力机制与多模态融合方法的视听事件定位。特别是,我们提出了一个简洁而有效的架构,有效地学习表示从多种形式的联合方式。最初,视觉特征与听觉特征相结合,然后变成联合表示。接下来,我们利用联合表示来分别处理视觉特征和听觉特征。在这种联合注意的帮助下,产生了新的视觉和听觉特征,从而两种特征可以享受彼此的相互改进的好处。值得注意的是,联合共同关注单元是递归的,这意味着它可以被执行多次以逐渐获得更好的联合表示。在公共AVE数据集上的大量实验表明,该方法比现有方法取得了更好的结果。
2020-08-14 cs.CV cs.SD eess.AS
Audio-Visual Spatial Integration and Recursive Attention for Robust Sound Source Localization
Kyung Hee University(庆熙大学)
针对声源定位中音频空间线索利用不足的问题,提出整合视听空间线索的网络与递归注意力机制,并设计两种损失以实现更鲁棒的定位。
2023-08-18 cs.AI cs.CV cs.MM
A Closer Look at Weakly-Supervised Audio-Visual Source Localization
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
音视频源定位是一项具有挑战性的任务,旨在预测视频中视觉声源的位置。由于收集探测对象的地面实况注释可能成本高昂,近年来已经提出了大量的弱监督定位方法,这些方法可以通过利用音频和视觉信号的自然共现来从没有边界框注释的数据集中学习。尽管有很大的兴趣,流行的评估协议有两个主要缺陷。首先,它们允许使用完全注释的数据集来执行早期停止,从而显著增加了训练所需的注释工作。第二,当前的评估度量假设声源在任何时候都存在。这当然是一个不切实际的假设,因此需要更好的度量来捕获模型在没有可见声源的(负)样本上的性能。为了实现这一目标,我们扩展了流行的基准测试集,Flickr SoundNet和VGG-Sound Sources,以包括负样本,并使用平衡定位准确性和召回率的指标来衡量性能。使用新的协议,我们对现有的方法进行了广泛的评估,发现大多数现有的工作都无法识别阴性,并且存在严重的过拟合问题(严重依赖于早期停止以获得最佳结果)。我们还提出了一种新的方法,解决这两个问题的视觉声源定位。特别是,我们发现,通过极端的视觉辍学和使用动量编码器,所提出的方法有效地打击过拟合,并建立了一个新的国家的最先进的性能在Flickr SoundNet和VGG-Sound Source。代码和预训练模型可在https://github.com/stoneMo/SLAVC上获得。
2022-08-30 cs.CV cs.LG cs.MM
Visual Localization of Key Positions for Visually Impaired People
Zhejiang University(浙江大学);Kr Vision Technology Co., Ltd.(Kr视觉科技有限公司)
在现有的导航辅助设备上,定位精度受到全球导航卫星系统(GNSS)信号误差的限制。在户外旅行时,不准确的定位会让视障人士感到困惑,尤其是在大门、公交车站或十字路口等关键位置。视觉定位是提高辅助器具定位精度的一条可行途径。提出了一种基于多图像描述子的鲁棒高效视觉定位算法,该算法利用先验GNSS信号和多模态图像实现关键位置的精确定位。在实验中,我们在可穿戴系统上实现了该方法,并在实际场景下测试了视觉定位的性能。
2018-10-09 cs.CV
Audio-Visual Event Localization in Unconstrained Videos
University of Rochester(罗切斯特大学)
在本文中,我们介绍了一个新的问题,在无约束的视频视听事件定位。我们将视听事件定义为在视频片段中既可见又可听的事件。我们收集了一个视听事件(AVE)数据集,系统地研究了三个时间定位任务:监督和弱监督视听事件定位,跨模态定位。我们开发了一个音频引导的视觉注意力机制来探索视听相关性,提出了一个双多模态残差网络(DMRN)来融合两种模态的信息,并引入了一个视听远程学习网络来处理跨模态定位。我们的实验支持以下发现:听觉和视觉模态的联合建模优于独立建模,学习的注意力可以捕捉发声对象的语义,时间对齐是视听融合的重要,建议DMRN是有效的融合视听功能,和两个模态之间的强相关性,使跨模态定位。
2018-03-23 cs.CV
MegLoc: A Robust and Accurate Visual Localization Pipeline
Megvii(旷视科技)
在本文中,我们提出了一个视觉定位管道,即MegLoc,用于在不同场景下进行鲁棒和准确的6-DoF姿态估计,包括室内和室外场景,一天中的不同时间,一年中的不同季节,甚至几年。MegLoc在一系列具有挑战性的数据集上取得了最先进的成果,包括赢得了ICCV 2021年关于变化条件下长期视觉定位研讨会的室外和室内视觉定位挑战赛,以及ICCV 2021年关于自动驾驶基于地图定位研讨会的自动驾驶重新定位挑战赛。
2022-05-18 cs.CV
Appearance-Invariant 6-DoF Visual Localization using Generative Adversarial Networks
China Unicom(中国联通);AI Innovation and Application Center(人工智能创新应用中心)
我们提出了一种新的视觉定位网络,当外部环境发生变化,如不同的光照,天气和季节。视觉定位网络由特征提取网络和姿态回归网络组成。特征提取网络由基于生成对抗网络CycleGAN的编码器网络组成,该网络可以从不同天气和季节的未配对样本中捕获内在外观不变的特征图。有了这样一个不变的特征,我们使用一个6自由度的姿态回归网络来解决长期的视觉定位在户外照明,天气和季节变化的存在。使用各种具有挑战性的地点识别和定位数据集来证明我们的视觉定位网络,结果表明,我们的方法在各种环境变化的情况下优于最先进的方法。
2020-12-24 cs.CV
Benchmarking Visual Localization for Autonomous Navigation
Tampere University(坦佩雷大学)
这项工作介绍了一个基于模拟器的基准在自主导航环境中的视觉定位。动态基准能够调查诸如一天中的时间、天气和相机视角等变量如何影响利用视觉定位进行闭环控制的自主智能体的导航性能。本文的实验部分研究了四个这样的变量的影响,通过评估国家的最先进的视觉定位方法的一部分,自主导航堆栈的运动规划模块。结果表明,主要变化的视觉导航的不同方法的适用性。据作者所知,所提出的基准是第一个研究现代视觉定位方法作为一个完整的导航堆栈的一部分。我们在https://github.com/lasuomela/carla_vloc_benchmark上提供基准测试。
2022-10-18 cs.CV
Visual Localization Under Appearance Change: Filtering Approaches
The University of Adelaide(阿德莱德大学)
当前位置识别研究的一个主要焦点是自动驾驶的视觉定位。在这种情况下,由于摄像机将连续运行,因此期望视频作为视觉定位算法的输入是现实的,而不是其他视觉定位工作中使用的单图像查询方法。在本文中,我们表明,利用时间连续性的测试序列显着提高视觉定位-定性和定量。虽然直观,这个想法还没有得到充分探讨,在最近的作品。为此,我们提出了两种滤波方法来利用图像序列的时间平滑性:i)隐马尔可夫模型在离散域上的滤波,ii)基于蒙特卡洛的视觉定位在连续域上的滤波。我们的方法依赖于局部特征与编码技术来表示作为一个单一的向量的图像。在合成数据集和真实数据集上的实验结果表明,我们提出的方法比现有技术(即,基于深度学习的姿态回归方法)用于显著外观变化下的视觉定位任务。我们的合成数据集和源代码在https://sites.google.com/view/g2d-software/home和https://github.com/dadung/Visual-Localization-Filtering上公开提供。
2020-11-04 cs.CV
Visual Localization Using Semantic Segmentation and Depth Prediction
OPPO Research Institute(OPPO研究院)
在本文中,我们提出了一个单目视觉定位管道利用语义和深度线索。我们应用语义一致性评价对图像检索结果进行排序,并使用一种实用的聚类技术来拒绝估计离群值。此外,我们证明了一个显着的性能提升实现了多个特征提取器的组合。此外,通过使用深度预测与深度神经网络,我们表明,大量的错误匹配的关键点被识别和消除。在2020年的长期视觉定位基准测试中,拟议的管道优于大多数现有方法。
2020-05-25 cs.CV
Is Geometry Enough for Matching in Visual Localization?
Technical University of Munich(慕尼黑工业大学);Universidade de Lisboa(里斯本大学)
在本文中,我们建议超越成熟的方法,以视觉为基础的本地化,依赖于查询图像和3D点云之间的视觉描述符匹配。虽然通过视觉描述符匹配关键点使定位高度准确,但它具有显著的存储需求,引起了隐私问题,并需要长期更新描述符。为了优雅地解决大规模定位的实际挑战,我们提出了GoMatch,这是一种基于视觉的匹配的替代方案,它仅依赖于将图像关键点与地图匹配的几何信息,表示为一组方位向量。我们新颖的3D点的方位矢量表示,显着缓解了基于几何的匹配中的跨模态挑战,这些挑战阻止了先前的工作在现实环境中解决定位问题。通过额外的精心架构设计,GoMatch改进了先前基于几何的匹配工作,在剑桥地标和7场景上的平均中值姿态误差减少了(10.67m,95.7deg)和(1.43m,34.7deg),同时与最好的基于视觉的匹配方法相比,只需要1.5/1.7%的存储容量。这证实了其在现实世界中的定位的潜力和可行性,并为未来不需要存储视觉描述符的城市规模视觉定位方法的发展打开了大门。
2022-07-30 cs.CV
Jointly Optimized Global-Local Visual Localization of UAVs
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);City University of Hong Kong(香港城市大学);Aerospace Information Research Institute, CAS(中国科学院空天信息创新研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
针对GNSS失效下无人机定位难题,提出GLVL两阶段网络,结合全局检索与局部匹配,实现实时高精度定位,在稀疏纹理场景中误差仅2.39米。
2023-10-12 cs.CV
LAVA: Layered Audio-Visual Anti-tampering Watermarking for Robust Deepfake Detection and Localization
School of Computer Science and Engineering(计算机科学与工程学院);UNSW Sydney(新南威尔士大学悉尼分校);School of Information and Communication Technology(信息与通信技术学院);Griffith University(格里菲斯大学)
LAVA通过跨模态水印融合与校准感知对齐,提升深度伪造篡改检测与定位的鲁棒性,实验表明其检测性能接近完美,抗压缩与多模态错位能力强。
2026-08-11 cs.CV
Dense Semantic 3D Map Based Long-Term Visual Localization with Hybrid Features
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
视觉定位在许多应用中起着重要的作用。然而,由于季节和光照变化,以及天气和昼夜变化等大的外观变化,它仍然是一个很大的挑战,鲁棒的长期视觉定位算法。在本文中,我们提出了一种新的视觉定位方法,使用混合手工制作和学习功能与密集的语义3D地图。混合特征有助于我们在不同的成像条件下充分利用它们的优势,而密集的语义图为我们提供了可靠和完整的几何和语义信息,用于构建足够的具有语义一致性得分的2D-3D匹配对。在我们的流水线中,我们通过稠密模型和查询图像之间的语义一致性来检索和评分每个候选数据库图像。然后,语义一致性得分被用作软约束的加权RANSAC的Puppose求解器。长期的视觉定位基准的实验结果表明,我们的方法相比,国家的最先进的有效性。
2020-05-21 cs.CV
Semantic Visual Localization
Microsoft(微软)
在大范围视觉条件下的鲁棒视觉定位是计算机视觉中的一个基本问题。处理这个问题的困难情况不仅非常具有挑战性,而且具有高度的实际意义,例如,在用于增强现实或自主机器人的终身定位的上下文中。在本文中,我们提出了一种新的方法的基础上联合3D几何和语义的理解的世界,使它能够成功的条件下,以前的方法失败。我们的方法利用一种新的生成模型进行描述符学习,将语义场景完成作为辅助任务进行训练。由此产生的3D描述符通过编码高级别的3D几何和语义信息,对丢失的观测具有鲁棒性。在几个具有挑战性的大规模定位数据集上的实验表明,在极端视角,光照和几何变化下,定位是可靠的。
2018-04-16 cs.CV
Visual Localization Using Sparse Semantic 3D Map
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在包括季节和光照变化以及天气和昼夜变化的大范围观看条件变化下的准确和鲁棒的视觉定位是许多计算机视觉和机器人应用的关键组成部分。在这些条件下,大多数传统的方法将无法定位相机。本文提出了一种结合结构和图像的视觉定位算法。给定关于查询和数据库图像的语义信息,根据3D模型和查询图像的语义一致性对检索到的图像进行评分。然后,语义匹配得分被用作权重的RANSAC的采样和姿势是由一个标准的Pestrian求解器解决。在具有挑战性的长期视觉定位基准数据集上的实验表明,与现有的方法相比,该方法具有显着的改进。
2019-05-17 cs.CV
Self-localization Using Visual Experience Across Domains
University of Fukui(福井大学)
在这项研究中,我们的目标是解决单视图机器人自定位问题,通过使用跨域的视觉经验。虽然词袋方法构成了一种流行的单视图本地化方法,但当在不同领域学习和测试其视觉词汇时,它会严重失败。此外,我们有兴趣使用跨域设置,其中视觉词汇是在不同的季节和路线从输入查询/数据库场景学习。我们的策略是挖掘一个跨领域的视觉体验,在不同领域收集的原始视觉图像库,发现相关的视觉模式,有效地解释输入场景,并使用它们进行场景检索。特别是,我们表明,挖掘的视觉模式的查询场景的外观和姿态可以有效地和歧视性地匹配对那些数据库的场景,采用图像到类的距离和空间金字塔匹配。使用一个新的跨域数据集获得的实验结果表明,我们的系统取得了可喜的成果,尽管我们的视觉词汇被学习和测试在不同的领域。
2015-09-25 cs.CV
RELOCATE: A Simple Training-Free Baseline for Visual Query Localization Using Region-Based Representations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
RELOCATE通过基于区域的表示和双向跟踪实现长视频中视觉查询定位,无需训练并在Ego4D数据集上取得49%的精度提升。
2025-12-10 cs.CV
SuperGF: Unifying Local and Global Features for Visual Localization
Megvii(旷视科技);Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所AIP中心);Xi’an Jiaotong University(西安交通大学)
先进的视觉定位技术包括图像检索挑战和6自由度(DoF)相机姿态估计,如分层定位。因此,它们必须从输入图像中提取全局和局部特征。以前的方法是通过资源密集型或降低精度的手段来实现的,例如组合管道或多任务蒸馏。在这项研究中,我们提出了一种新的方法称为SuperGF,它有效地统一了局部和全局特征的视觉定位,导致定位精度和计算效率之间的更高的权衡。具体来说,SuperGF是一个基于变换的聚合模型,它直接对图像匹配特定的局部特征进行操作,并生成全局特征以供检索。我们进行实验评估,我们的方法在准确性和效率方面,证明了其优于其他方法。我们还提供了使用各种类型的局部特征的SuperGF实现,包括基于密集和稀疏学习或手工制作的描述符。
2022-12-23 cs.CV
Dual-modality seq2seq network for audio-visual event localization
National Taiwan University(台湾大学);MOST Joint Research Center for AI Technology and All Vista Healthcare(科技部人工智能技术与全视角医疗联合研究中心)
视听事件定位要求识别视频中既可见又可听的事件(无论是在帧级还是视频级)。为了解决这个问题,我们提出了一个深度神经网络命名为视听序列到序列对偶网络(AVSDN)。该模型以每个时间段的音频和视觉特征作为输入,以序列到序列的方式学习全局和局部事件信息,可以在全监督或弱监督环境下实现。实验结果证实,我们提出的方法在这两种情况下都能与最近的深度学习方法相媲美。
2020-08-06 cs.CV
TBPos: Dataset for Large-Scale Precision Visual Localization
University of Vaasa(瓦萨大学);Aalto University(阿尔托大学)
基于图像的定位是一个经典的计算机视觉挑战,具有几个众所周知的数据集。通常,数据集包括捕获建模场景的视觉3D数据库,以及要发现其3D姿态的查询图像。通常,查询图像是用与用于收集3D数据库的成像硬件不同的相机获取的;因此,难以获取查询图像和3D数据库之间的准确地面实况姿态。随着视觉定位算法精度的不断提高,精确的地面实况变得越来越重要。本文提出了TBPos,一种新的大规模的基于图像的定位,它提供查询图像与完全准确的地面实况构成的视觉数据集:数据库图像和查询图像已来自相同的激光扫描仪数据。在本文的实验部分中,通过基于图像的定位管道来评估所提出的数据集。
2023-02-20 cs.CV
Gaussian Splatting Feature Fields for Privacy-Preserving Visual Localization
Faculty of Electrical Engineering, Czech Technical University in Prague(1 电气工程学院,捷克技术大学普拉赫堡分校);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(2 捷克信息学、机器人学与自动化研究所,捷克技术大学普拉赫堡分校);NAVER LABS Europe(3 NAVER LABS欧洲)
本文提出高斯溅射特征场(GSFFs),结合3DGS几何与隐式特征场,通过对比学习和对齐实现隐私保护的视觉定位,在多个真实数据集上达到最先进性能。
2025-08-26 cs.CV
Open-World Distributed Robot Self-Localization with Transferable Visual Vocabulary and Both Absolute and Relative Features
Graduate School of Engineering, University of Fukui(福井大学工学研究科)
针对开放世界分布式机器人系统中视觉知识迁移共享不足的问题,提出兼具绝对与相对特征的轻量化可迁移无监督视觉词袋自定位框架,在主被动定位场景中均验证有效。
2024-09-11 cs.CV
SS-CAM: Smoothed Score-CAM for Sharper Visual Feature Localization
Carnegie Mellon University(卡内基梅隆大学);Manipal Institute of Technology(马尼帕尔理工学院);SRM Institute of Science and Technology(SRM科学技术学院)
由于深度卷积神经网络在高风险环境中的应用,其底层机制的解释已成为深度学习领域研究的一个重要方面。为了解释这些黑盒架构,已经应用了许多方法,以便可以分析和理解内部决策。在本文中,建立在顶部的分数CAM,我们介绍了一个增强的视觉解释的视觉锐度称为SS-CAM,它产生集中定位的对象功能在图像中通过平滑操作。我们在ILSVRC 2012验证数据集上评估了我们的方法,该数据集在忠实性和本地化任务上都优于Score-CAM。
2020-11-12 cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Long-term Visual Localization using Semantically Segmented Images
Chalmers University of Technology(查尔姆斯理工大学);Zenuity(Zenuity(泽努蒂))
鲁棒跨季节定位是自动驾驶车辆长期视觉导航的主要挑战之一。在本文中,我们利用最近的进展,语义分割的图像,即,其中每个像素被分配与其表示的对象的类型相关的标签,以解决长期视觉定位的问题。我们表明,语义标记的3-D点地图的环境,连同语义分割的图像,可以有效地用于车辆定位,而不需要详细的特征描述符(SIFT,SURF等)。因此,我们依赖于图像分割器的训练,而不是依赖于手工制作的特征描述符。与传统的基于描述符的映射相比,所得到的映射占用的存储空间少得多。一个基于粒子滤波器的语义定位解决方案相比,一个基于SIFT功能,即使有很大的季节性变化,在一年中,我们的表现与更大的和更具描述性的SIFT功能,并能够本地化的错误低于1米的大部分时间。
2018-03-02 cs.CV
Visual Localization for Autonomous Driving: Mapping the Accurate Location in the City Maze
University of Florida(佛罗里达大学);Purdue University(普渡大学)
精确定位是自动驾驶车辆完成导航或路径规划等其他任务所需的基本能力。车辆通常使用GPS来获取位置信息。然而,当车辆在市中心行驶时,GPS的应用可能导致严峻的挑战,其中不同种类的结构可能会遮蔽GPS信号并导致不准确的定位结果。为了解决城市环境中的定位挑战,我们提出了一种新的视觉定位功能投票技术。不同于传统的基于前视图的方法,我们的方法采用三个方向(前,左,右)的意见,从而显着提高了位置预测的鲁棒性。在我们的工作中,我们工艺的三个国家的最先进的视觉定位网络,并适当地修改其架构,使它们可以应用于车辆操作的建议功能投票方法。广泛的现场测试结果表明,即使在具有挑战性的市中心设置,我们的方法也可以鲁棒地预测位置。我们的研究揭示了使用视觉定位方法来帮助自动驾驶车辆在理想的时间限制内在城市迷宫中找到准确的位置信息。
2020-10-20 cs.CV
Past and Future Motion Guided Network for Audio Visual Event Localization
近年来,视听事件本地化备受关注。它的目的是检测包含视听事件的片段,并从未经修剪的视频中识别事件类别。现有的方法利用音频引导的视觉注意力,使模型关注正在进行的事件的空间区域,致力于音频和视觉信息之间的相关性,而忽略了音频和空间运动之间的相关性。我们提出了一个过去和未来的运动提取(pf-ME)模块来挖掘视频中的视觉运动,嵌入到过去和未来的运动引导网络(PFAGN),和运动引导音频注意(MGAA)模块,以实现通过过去和未来的视觉运动聚焦在音频模态中的感兴趣的事件相关的信息。我们选择AVE作为实验验证数据集,实验表明,我们的方法在监督和弱监督设置中的性能优于最先进的。
2022-05-08 cs.CV
Hear The Flow: Optical Flow-Based Self-Supervised Visual Sound Source Localization
University at Buffalo(布法罗大学)
学习在没有明确注释的情况下定位视频中的声源是视听研究的一个新领域。这一领域的现有工作集中在创建注意力地图,以捕捉两种模式之间的相关性,以定位声音的来源。在视频中,通常,表现出运动的对象是产生声音的对象。在这项工作中,我们捕捉到这个特性,通过建模的光流在视频中作为一个更好的援助之前,在本地化的声源。我们进一步证明,流为基础的注意力的增加,大大提高了视觉声源定位。最后,我们在标准声源定位数据集上对我们的方法进行了基准测试,并在Soundnet Flickr和VGG声源数据集上实现了最先进的性能。代码:https://github.com/denfed/heartheflow.
2022-11-06 cs.CV
Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes
Center for Research on Intelligent Perception and Computing, NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心);Centre for Artificial Intelligence and Robotics, HKISI_CAS(中国科学院香港创新研究院人工智能与机器人创新中心);University of Chinese Academy of Sciences (UCAS)(中国科学院大学)
视觉场景中声源定位的目的是在给定的图像中定位发出声音的物体。最近的作品表现出令人印象深刻的本地化性能通常依赖于对比学习框架。然而,在这些方法中通常采用的底片的随机采样可能导致音频和视觉特征之间的不对准,从而引起定位中的歧义。在本文中,而不是遵循以前的文献,我们提出了自我监督预测学习(SSPL),通过显式的积极挖掘的声音定位的负自由的方法。具体来说,我们首先设计了一个三流网络,优雅地将声源与一个相应的视频帧的两个增强视图相关联,从而在音频和视觉特征之间产生语义上连贯的相似性。其次,我们介绍了一种新的预测编码模块的视听功能对齐。这样的模块帮助SSPL以渐进的方式专注于目标对象,并有效地降低了正对学习的难度。实验结果表明,SSPL优于国家的最先进的方法在两个标准的声音定位基准。特别是,SSPL在SoundNet-Flickr上实现了8.6%的cIoU和3.4%的AUC的显着改进,与之前的最佳结果相比。代码可从以下网址获得:https://github.com/zjsong/SSPL。
2022-03-25 cs.CV
Improving Feature-based Visual Localization by Geometry-Aided Matching
Zhejiang University(浙江大学);SenseTime Research(商汤科技研究院)
特征匹配在视觉定位中至关重要,其中2D-3D对应在确定相机姿态的准确性方面起着主要作用。由于噪声,足够数量的良好分布的2D-3D对应对于精确的姿态估计是必不可少的。然而,现有的2D-3D特征匹配方法依赖于在特征空间中找到最近的邻居,并使用手工制作的算法去除离群值,这可能导致潜在的匹配被错过或正确的匹配被过滤掉。在这项工作中,我们提出了一种新的方法,称为几何辅助匹配(GAM),它结合了外观信息和几何上下文来解决这个问题,并提高2D-3D特征匹配。GAM可以大大提高2D-3D匹配的召回率,同时保持高精度。我们将GAM应用到一个新的分层视觉定位流水线中,并表明GAM可以有效地提高定位的鲁棒性和准确性。大量的实验表明,GAM可以找到更多的真正的匹配比手工制作的算法和学习基线。我们提出的定位方法在多个视觉定位数据集上实现了最先进的结果。在Cambridge Landmarks数据集上的实验表明,该方法的性能优于现有的最先进的方法,比性能最好的方法快6倍。源代码可在https://github.com/openxrlab/xrlocalization上获得。
2023-03-05 cs.CV
SOUPLE: Enhancing Audio-Visual Localization and Segmentation with Learnable Prompt Contexts
Deakin University(德克萨斯大学);National Cancer Center(国立癌症中心)
SOUPLE通过可学习的上下文标记提升音频-视觉定位与分割性能,利用视觉特征生成条件上下文以连接音频与视觉输入。
2026-03-24 cs.CV
SplatLoc: 3D Gaussian Splatting-based Visual Localization for Augmented Reality
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);RayNeo(雷尼奥)
提出SplatLoc方法,利用3D高斯基元作为场景表示,通过无偏描述符解码器、显著地标选择和各向异性正则化,实现高效AR视觉定位与高质量渲染。
2024-09-21 cs.CV
Object-Guided Day-Night Visual Localization in Urban Scenes
Czech Technical University in Prague(布拉格捷克理工大学);IRL 2958 GT-CNRS(法国国家科学研究中心GT联合研究实验室(IRL 2958))
我们介绍了对象引导定位(OGuL)的基础上,一种新的方法的局部特征匹配。局部特征的直接匹配对光照的显著变化敏感。相比之下,目标检测通常经受住照明条件的剧烈变化。该方法首先检测语义对象,并建立图像之间的这些对象的对应关系。对象对应以平面单应性的形式提供图像的局部粗对准。因此,这些单应性用于指导局部特征的匹配。在标准城市定位数据集(Aachen,Extended-CMU-Season,RobotCar-Season)上的实验表明,OGuL使用与SIFT一样简单的本地特征显着改善了定位结果,其性能与最先进的基于CNN的方法进行了日夜定位训练。
2022-02-09 cs.CV
Lazy Visual Localization via Motion Averaging
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);ByteDance Inc.(字节跳动公司)
本研究提出无需3D场景重建的视觉定位方法LazyLoc,通过定制化运动平均处理数据库-查询对,精度媲美主流结构基方法,且可扩展至多查询协同定位等复杂场景。
2023-07-19 cs.CV
Semantic Pose Verification for Outdoor Visual Localization with Self-supervised Contrastive Learning
Izmir Institute of Technology(伊兹密尔理工学院);Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究院(I3A));Universidad de Zaragoza(萨拉戈萨大学)
任何城市规模的视觉定位系统都必须克服长期的外观变化,例如查询图像和数据库图像之间的光照条件变化或季节变化。由于语义内容是更强大的这种变化,我们利用语义信息,以提高视觉定位。在我们的场景中,数据库由全景图像(例如Google街景)生成的日晷视图组成,查询图像是在不同时间用标准视场相机收集的。为了改进本地化,我们检查查询和数据库图像之间的语义相似性,这并不是小事,因为摄像机的位置和视角并不完全匹配。为了学习相似性,我们建议在语义分割图像的数据集上以自监督的方式训练CNN,并进行对比学习。实验表明,这种语义相似度估计方法比像素级的相似度测量方法效果更好。最后,我们使用语义相似性分数来验证通过最先进的视觉定位方法获得的检索,并观察到基于对比学习的姿势验证将前1召回值增加到0.90,这对应于2%的改进。
2022-03-31 cs.CV
TAPL: Dynamic Part-based Visual Tracking via Attention-guided Part Localization
Nanyang Technological University(南洋理工大学);MediaTek, Inc.(联发科技股份有限公司)
基于整体对象表示的跟踪器在大的外观变化(如变形和遮挡)下性能下降。在这项工作中,我们提出了一个动态的部分为基础的跟踪器,并不断更新的目标部分表示,以适应对象的外观变化。此外,我们设计了一个注意力引导的零件定位网络,直接预测目标零件的位置,并确定最终的限界框与目标零件的分布。我们提出的跟踪器在各种基准测试中取得了令人鼓舞的结果:VOT 2018,OTB 100和GOT-10 k
2021-10-25 cs.CV
To Learn or Not to Learn: Visual Localization from Essential Matrices
Technical University of Munich(慕尼黑工业大学);Chalmers University of Technology(查尔姆斯理工大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软公司)
视觉定位是在场景中估计摄像机的问题,也是自动驾驶汽车和混合现实等计算机视觉应用中的关键组成部分。用于精确视觉定位的最先进的方法使用场景特定的表示,导致在将技术应用于新场景时构建这些模型的开销。最近,已经提出了基于相对姿态估计的基于深度学习的方法,其具有容易适应新场景的承诺。然而,已经表明,这种方法目前比最先进的方法准确性低得多。在本文中,我们有兴趣分析这种行为。为此,我们提出了一个新的框架,从相对姿态的视觉定位。在这个框架内使用经典的基于特征的方法,我们展示了最先进的性能。然后,我们用不同层次的学习替代品取代经典方法,找出深度学习方法表现不佳的原因。根据我们的分析,我们对未来的工作提出了建议。
2020-03-09 cs.CV
Object-aware Sound Source Localization via Audio-Visual Scene Understanding
Kyung Hee University(庆熙大学);KAIST AI(韩国科学技术院人工智能研究所);Sungkyunkwan University(成均馆大学)
提出基于多模态大语言模型的对象感知声音源定位框架,通过生成详细上下文区分发声与静音对象,并引入OCA和ORI损失,在MUSIC和VGGSound上显著优于现有方法。
2025-06-24 cs.CV
Re-localization acceleration with Medoid Silhouette Clustering
University of Bristol(布里斯托大学);Amazon(亚马逊)
本文提出一种基于Medoid Silhouette聚类提取关键帧的树状搜索策略,用于加速视觉重定位,在3个公开数据集上节省50%至90%时间且不降低准确率。
2024-07-30 cs.CV
CrowdDriven: A New Challenging Dataset for Outdoor Visual Localization
Chalmers University of Technology(查尔姆斯理工大学);Facebook(脸书);Czech Technical University in Prague(布拉格捷克理工大学)
视觉定位是估计在已知场景中拍摄给定图像(或图像序列)的位置和方向的问题。它是广泛的计算机视觉和机器人应用的重要组成部分,从自动驾驶汽车到增强/虚拟现实系统。视觉定位技术应该在广泛的条件下可靠和鲁棒地工作,包括季节,天气,照明和人为变化。最近的基准测试工作通过提供不同条件下的图像来模拟这一点,社区自成立以来在这些数据集上取得了快速进展。然而,它们仅限于几个地理区域,并且通常用单一设备记录。我们提出了一个新的户外场景视觉定位基准,使用众包数据覆盖广泛的地理区域和相机设备,重点关注当前算法的失败案例。使用最先进的本地化方法进行的实验表明,我们的数据集非常具有挑战性,所有评估的方法都在其最困难的部分失败。作为数据集发布的一部分,我们提供了用于生成数据集的工具,从而实现高效和有效的2D对应注释以获得参考姿势。
2021-09-09 cs.CV
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps
Beijing Institute of Technology(北京理工大学);University of Science and Technology of China(中国科学技术大学)
本文提出了一种基于单应图的视觉定位网络,用于多视角图像与标准定义地图之间的细粒度视觉定位,通过构建满足单应约束的输入对,利用单应关系引导特征融合并限制姿态输出到有效区域,提高了训练效率和定位精度。
2026-06-04 cs.CV
MM-Pyramid: Multimodal Pyramid Attentional Network for Audio-Visual Event Localization and Video Parsing
Fudan University(复旦大学)
视频中事件的识别和定位是视频理解的一项基本任务。由于事件可能发生在听觉和视觉模态,多模态的详细感知是必不可少的完整的场景理解。大多数以前的作品试图从整体的角度来分析视频。然而,它们没有考虑多尺度的语义信息,这使得模型难以定位不同长度的事件。在本文中,我们提出了一个多模态金字塔注意网络(\textbf{MM-Pyramid})的事件定位。具体来说,我们首先提出了关注特征金字塔模块。该模块通过多个堆叠金字塔单元来捕获时间金字塔特征,每个堆叠金字塔单元由固定大小的注意力块和膨胀卷积块组成。我们还设计了一个自适应语义融合模块,它利用一个单位级的注意力块和一个选择性的融合块,以集成金字塔功能交互。在视听事件定位和弱监督视听视频解析任务上的实验验证了该方法的有效性。
2022-07-12 cs.CV
EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization
Seoul National University(首尔国立大学)
提出EP2P-Loc大规模视觉定位方法,通过移除不可见3D点、无关键点检测建立2D-3D对应及由粗到细策略,并首次采用可微PnP实现端到端训练,在室内外基准上达到最先进性能。
2023-09-14 cs.CV