ConGeo: Robust Cross-view Geo-localization across Ground View Variations
Wuhan University(武汉大学);EPFL(洛桑联邦理工学院)
本文提出ConGeo,一种单视角和跨视角对比学习方法,通过强制同一地点不同地面视角变化的特征接近,增强模型对朝向和视场变化的鲁棒性,在四个基准上显著提升多个基础模型的地理定位性能。
2024-09-04 cs.CV
Temporal Attention for Cross-View Sequential Image Localization
Queensland University of Technology(昆士兰科技大学);Australian Institute for Machine Learning (AIML), University of Adelaide(阿德莱德大学澳大利亚机器学习研究所)
本文提出一种基于 Temporal Attention Module (TAM) 的跨视角序列图像细粒度定位方法,利用时序上下文信息显著降低了定位误差,并在 CVIS 和改编的 KITTI-CVL 数据集上展现出优于现有技术的精度与泛化能力。
2024-08-28 cs.CV
S-BEV: Semantic Birds-Eye View Representation for Weather and Lighting Invariant 3-DoF Localization
Ford Greenfield Labs(福特格林菲尔德实验室);University of California, Berkeley(加州大学伯克利分校);Ford AV LLC(福特自动驾驶有限责任公司)
我们描述了一个重量轻,天气和照明不变,语义鸟瞰图(S-BEV)签名的基于视觉的车辆重新定位。在路线的第一次遍历期间创建S-BEV签名的拓扑图,其用于在后续路线遍历中的粗略定位。然后训练细粒度定位器以使用其S-BEV及其粗定位输出车辆的全局3-DoF姿态。我们在vKITTI 2虚拟数据集上进行了实验,并显示了S-BEV对天气和照明的鲁棒性。我们还展示了福特AV数据集中22公里长的高速公路上的2辆车的结果。
2021-01-23 cs.CV cs.LG cs.RO
More Than Where You Are: Learning Semantics, Structure, and Geometry from Cross-View Localization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Aerospace Control Center(北京航天飞行控制中心)
研究如何在极端视角变化下通过跨视图定位让模型学习语义、结构和几何。提出CROSS框架,克服现有方法局限,经实验验证该框架在跨视图定位中性能最优,能有效学习多方面内容。
2026-07-15 cs.CV
Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization
Google(谷歌);National University of Singapore(新加坡国立大学)
映射和定位,最好是从少量的观察,是机器人的基本任务。我们通过将空间结构(可微映射)和端到端学习结合在一个新的神经网络架构中来解决这些任务:可微映射网络(DMN)。DMN构造了一个空间结构化的视图嵌入图,并使用它进行后续的视觉定位与粒子滤波。由于DMN架构是端到端可微的,因此我们可以使用梯度下降来联合学习地图表示和定位。我们将DMN应用于稀疏视觉定位,其中机器人需要在新的环境中相对于来自已知视点的少量图像进行定位。我们使用模拟环境和具有挑战性的现实世界街景数据集来评估DMN。我们发现,DMN学习有效的地图表示视觉定位。空间结构的好处随着较大的环境、用于映射的更多视点以及当训练数据稀缺时而增加。项目网址:http://sites.google.com/view/differentiable-mapping
2020-05-19 cs.CV cs.LG cs.RO
Each Part Matters: Local Patterns Facilitate Cross-view Geo-localization
Hangzhou Dianzi University(杭州电子科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
跨视图地理定位是从不同平台发现同一地理目标的图像,例如,无人机监控摄像头和卫星这是具有挑战性的,在大的视觉外观变化所造成的极端的观点变化。现有的方法通常集中于挖掘图像中心的地理目标的细粒度特征,而低估了相邻区域的上下文信息。在这项工作中,我们认为,邻近地区可以利用作为辅助信息,丰富的地理定位的判别线索。具体来说,我们引入了一个简单有效的深度神经网络,称为本地模式网络(LPN),以端到端的方式利用上下文信息。在不使用额外部分估计的情况下,LPN采用方环特征划分策略,根据到图像中心的距离提供注意力。它简化了零件匹配并支持零件式表示学习。由于采用了方环分区设计,该LPN对旋转变化具有良好的可扩展性,并在三个主流基准测试中取得了有竞争力的结果,即,大学-1652年,CVUSA和CVACT。此外,我们还表明,建议的LPN可以很容易地嵌入到其他框架,以进一步提高性能。
2021-06-06 cs.CV cs.LG
University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization
SUSTech-UTS Joint Centre of CIS, Southern University of Science and Technology(南方科技大学 SUSTech-UTS 计算机科学与工程联合中心);ReLER, AAII, University of Technology Sydney(悉尼科技大学 AAII ReLER)
我们考虑跨视图地理定位的问题。这项任务的主要挑战是学习强大的功能,对大的视点变化。现有的基准可以提供帮助,但在视点数量上是有限的。包含两个视点的图像对,例如,卫星和地面,这可能会损害特征学习。除了手机摄像头和卫星,在本文中,我们认为无人机可以作为处理地理定位问题的第三个平台。与传统的地面视图图像相比,无人机视图图像遇到的障碍较少,例如,树木,并可以提供一个全面的看法时,飞行周围的目标。为了验证无人机平台的有效性,我们引入了一个新的多视图多源基准,用于基于无人机的地理定位,命名为大学-1652。University-1652包含来自三个平台的数据,即,合成无人机、卫星和地面摄像头,对全球1,652所大学建筑进行了监控。据我们所知,University-1652是第一个基于无人机的地理定位数据集,并实现了两个新任务,即,无人机观察目标定位和无人机导航顾名思义,无人机视角目标定位是通过无人机视角图像预测目标地点的位置。另一方面,给定卫星视图查询图像,无人机导航是将无人机驾驶到查询中的感兴趣区域。我们使用这个数据集来分析各种现成的CNN特征,并在这个具有挑战性的数据集上提出一个强大的CNN基线。实验结果表明,University-1652有助于模型学习视点不变特征,在真实场景中也具有良好的泛化能力。
2020-08-16 cs.CV
Improving Cross-view Object Geo-localization: A Dual Attention Approach with Cross-view Interaction and Multi-Scale Spatial Features
针对跨视角目标地理定位中信息传递不足及边缘噪声干扰问题,提出结合跨视角交叉注意力模块(CVCAM)与多头空间注意力模块(MHSAM)的方法,并构建新数据集 G2D,实验证明其定位精度超越现有最先进水平。
2025-10-31 cs.CV
SynMVCrowd: A Large Synthetic Benchmark for Multi-view Crowd Counting and Localization
Visual Computing Research Center, College of Computer Science and Software Engineering(视觉计算研究中心,计算机科学与软件工程学院)
本文提出SynMVCrowd基准,用于更实际地评估多视角人群计数和定位任务,包含50个合成场景,具有大量多视角帧和相机视角,以及更大的人群数量,同时提出了优于现有方法的基线模型。
2026-03-25 cs.CV
MOGeo: Beyond One-to-One Cross-View Object Geo-localization
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院)
本文提出跨视图多物体地理定位任务CVMOGL,构建CMLocation基准数据集,并提出MOGeo方法,通过实验验证其在现实场景下的有效性。
2026-03-26 cs.CV
Multi-view Drone-based Geo-localization via Style and Spatial Alignment
Monash University(莫纳什大学)
本文主要研究了多视点多源定位问题,该问题是GPS定位的一个重要辅助方法,通过对无人机视点图像和卫星视点图像进行匹配,并预先标注GPS标签。为了解决这个问题,大多数现有的方法采用度量损失与加权分类块,以强制生成的公共特征空间共享的不同视点和视图源。然而,这些方法未能给予足够的重视,空间信息(特别是视点的变化)。为了解决这个问题,我们提出了一个优雅的基于方向的方法来对齐的模式,并引入一个新的分支来提取对齐的部分功能。此外,我们提供了一个风格对齐策略,以减少图像风格的变化,提高特征的统一性。为了证明所提出的方法的性能,我们进行了大量的实验上的大规模基准数据集。实验结果证实了所提出的方法相比,国家的最先进的替代品的优越性。
2020-07-09 cs.CV cs.LG stat.ML
Active View Selection for Scene-level Multi-view Crowd Counting and Localization with Limited Labeling Budget
Shenzhen University(深圳大学);City University of Hong Kong(香港城市大学)
该研究针对有限标注预算下场景级多视图人群计数与定位问题,提出主动视图选择方法AVS,结合视图与场景几何及下游任务预测,实现跨场景应用且性能优于现有方法。
2026-08-07 cs.CV
GeoCapsNet: Aerial to Ground view Image Geo-localization using Capsule Network
Shenzhen University(深圳大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
跨视图图像地理定位的任务旨在通过将查询地面视图图像与参考数据集中的GPS标记的航空(卫星)图像进行匹配来确定其地理位置(GPS坐标)。由于视点的剧烈变化,交叉视点图像的匹配具有挑战性。在本文中,我们提出了GeoCapsNet的基础上的胶囊网络的地对空图像地理定位。该网络首先通过标准卷积层从地面视图和航空图像中提取特征,胶囊层进一步编码特征以建模空间特征层次结构并增强表示能力。此外,我们引入了一个简单有效的加权软边缘三重损失与在线批量硬样本挖掘,它可以大大提高图像检索的准确性。实验结果表明,我们的GeoCapsNet显着优于国家的最先进的方法在两个基准数据集。
2019-04-12 cs.CV
Cross-View Image Sequence Geo-localization
University of Vermont(佛蒙特大学);Information Technology University(信息技术大学)
跨视图地理定位的目的是通过将查询地面视图图像与来自地理标记的航空图像的参考数据库的图像进行匹配来估计查询地面视图图像的GPS位置。为了解决这个具有挑战性的问题,最近的方法使用全景地面视图图像来增加可见度的范围。虽然有吸引力,但与有限视场(FOV)图像的视频相比,全景图像并不容易获得。在本文中,我们提出了第一个跨视图的地理定位方法,工作在一系列有限的FOV图像。我们的模型是端到端训练的,使用基于注意力的时间特征聚合模块来捕获帧内的时间结构。为了在推理过程中鲁棒地处理不同长度的序列和GPS噪声,我们提出了使用顺序丢弃方案来模拟变长序列。为了在现实环境中评估所提出的方法,我们提出了一个新的大规模数据集,包含地面视图序列以及相应的鸟瞰图像。大量的实验和比较表明,与几种竞争基线相比,所提出的方法具有优越性。
2022-11-02 cs.CV
Cross-View Image Matching for Geo-localization in Urban Environments
University of Central Florida(中佛罗里达大学)
在本文中,我们解决的问题,跨视图图像的地理定位。具体来说,我们的目标是通过在地理标记的鸟瞰图图像的参考数据库中找到匹配的图像来估计查询街景图像的GPS位置,反之亦然。为此,我们提出了一个新的框架,通过利用深度卷积神经网络(CNN)在图像分类和目标检测的巨大成功,跨视图图像地理定位。首先,我们使用Faster R-CNN来检测查询和参考图像中的建筑物。接下来,对于查询图像中的每个建筑物,我们使用在正匹配图像对和负匹配图像对上训练的Siamese网络从参考建筑物中检索$k$最近邻居。为了找到正确的NN为每个查询建设,我们开发了一个有效的多个最近邻匹配方法的基础上占主导地位的集。我们评估了一个新的数据集,包括对街景和鸟瞰图像的建议框架。实验结果表明,该方法实现了更好的地理定位精度比其他方法,并能够推广到图像在看不见的位置。
2017-03-22 cs.CV
Image-Based Geo-Localization Using Satellite Imagery
在给定查询地面视图图像的地理参考卫星地图上的定位问题是有用的,但由于视点的急剧变化而仍然具有挑战性。为此,在本文中,我们的工作扩展我们的早期工作的跨视图匹配网络(CVM-Net)的地面到空中的图像匹配任务,因为传统的图像描述符失败,由于急剧的视点变化。特别是,我们展示了更广泛的实验结果和分析我们的CVM-Net上的网络架构。此外,我们提出了一个马尔可夫定位框架,强制执行图像帧之间的时间一致性,以提高地理定位结果的情况下,地面视图图像的视频流是可用的。实验结果表明,我们提出的马尔可夫定位框架可以在我们的新加坡数据集上连续定位车辆在一个小的误差。
2019-06-02 cs.CV
GeoISF: Instance Semantic Forest Inspired Large-Scale Cross-View Geo-Localization via Ground LiDAR-to-Satellite Image
提出GeoISF管道,利用WordNet构建实例语义森林增强语义表示,弥合点云与卫星图像模态差异,在KITTI数据集上R@10指标比并行方法提升13.22倍。
2026-06-17 cs.CV
Cross-View Geo-Localization with Street-View and VHR Satellite Imagery in Decentrality Settings
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Ant Group(蚂蚁集团);Technology Innovation Center for Collaborative Applications of Natural Resources Data in GBA, Ministry of Natural Resources(自然资源部粤港澳自然资源数据协同应用技术创新中心)
针对跨视角地理定位中查询图像与参考图像中心偏移(去中心化)导致精度下降的问题,本文提出DReSS数据集和AuxGeo方法,通过BIM与PCM模块提升大去中心化下的定位精度,并在多个数据集上取得领先性能。
2025-01-03 cs.CV
UniABG: Unified Adversarial View Bridging and Graph Correspondence for Unsupervised Cross-View Geo-Localization
针对无监督跨视角地理定位的伪标签噪声问题,提出双阶段框架UniABG,通过对抗视角桥接与图对应校准实现SOTA性能,在两个基准数据集上精度大幅提升,甚至超过部分有监督方法。
2025-11-15 cs.CV
Towards Active Cross-View Object Geo-Localization
Zhejiang University(浙江大学);Beijing University of Technology(北京工业大学);Tsinghua University(清华大学);Ningbo Global Innovation Center, Zhejiang University(浙江大学宁波全球创新中心);Jinhua Institute of Zhejiang University(浙江大学金华研究院)
本文提出ActiveGeo及ActiveMoPT框架,通过三阶段训练实现智能体主动选择视角并决定停止,以最少观测提升跨视角目标定位精度,并在MoP-UAV和ActiveGeo-858上取得最优性能。
2026-09-18 cs.CV
Multi-view Optimal Transport for Multi-view Crowd Localization and Tracking
Shenzhen University(深圳大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));City University of Hong Kong(香港城市大学)
本文针对多视图人群定位中密度图监督的模糊性问题,提出基于马氏距离的多视图最优传输损失M-MVOT,利用视线方向引导代价等值线并结合物体到相机距离调整惩罚,在多个数据集上优于现有方法。
2026-10-27 cs.CV
Monocular Urban Localization using Street View
MINES ParisTech(巴黎高等矿业学院);PSL(巴黎文理研究大学);Institut VEDECOM(VEDECOM研究所)
本文提出了一种度量全球定位在城市环境中,只有一个单目摄像机和谷歌街景数据库。我们充分利用丰富的来源,从街景,并从其拓扑度量结构的好处,建立一个由粗到精的定位,即一个拓扑位置识别过程,然后通过局部束平差的度量姿态估计。我们的方法在3公里的城市环境中进行了测试,并证明了亚米精度和鲁棒性的观点变化,照明和遮挡。据我们所知,这是第一个简单地用单个摄像机和街景来研究全球城市定位的工作。
2016-06-16 cs.CV cs.RO
Cross-view Localization and Synthesis -- Datasets, Challenges and Opportunities
The Ohio State University(俄亥俄州立大学)
本文全面综述了跨视图定位与合成任务的最新进展,回顾了相关数据集与核心技术,分析了当前挑战并指出了未来研究方向。
2025-10-30 cs.CV
Satellite Image Based Cross-view Localization for Autonomous Vehicle
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61);Ford Motor Company(福特汽车公司)
针对自动驾驶依赖昂贵3D-HD地图的问题,提出用高清卫星图像作为地图,并设计GaFE、PAB与RPRB实现跨视角定位,在KITTI等数据集上将中位误差降至1米和1°以内。
2023-04-20 cs.CV
Optimal Feature Transport for Cross-View Image Geo-Localization
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Motovis Australia Pty Ltd(澳大利亚魔视智能私人有限公司)
本文解决了跨视图图像地理定位的问题,其中地面街景查询图像的地理位置通过将其与大比例尺航空地图(例如,高分辨率卫星图像)。最先进的基于深度学习的方法解决了这个问题,作为深度度量学习,其目的是学习由两个不同视图看到的场景的全局特征表示。尽管通过这种深度度量学习方法获得了有希望的结果,但是它们未能利用与定位相关的关键线索,即局部特征的空间布局。此外,很少有人注意到明显的领域差距(鸟瞰图和地面视图之间)的背景下,跨视图定位。本文提出了一种新的跨视图特征传输(CVFT)技术,明确建立跨视图域传输,有利于地面和航空图像之间的特征对齐。具体来说,我们实现了CVFT作为网络层,它将特征从一个域传输到另一个域,从而进行更有意义的特征相似性比较。我们的模型是可区分的,可以端到端学习。大规模数据集上的实验表明,我们的方法显着提高了最先进的跨视图定位性能,例如,在CVUSA数据集上,前1名的召回率从40.79%显著提高到61.43%,前10名的召回率从76.36%显著提高到90.49%。我们期待这篇论文的关键见解(即,通过域传输明确地处理域差异)也将被证明对计算机视觉中的其它类似问题有用。
2019-11-27 cs.CV
InLoc: Indoor Visual Localization with Dense Matching and View Synthesis
Tokyo Institute of Technology(东京工业大学);ETH Zürich(苏黎世联邦理工学院);CIIRC, CTU in Prague(布拉格捷克理工大学信息学、机器人学与网络学捷克研究所);Inria(法国国家信息与自动化研究所);Microsoft(微软)
我们试图预测6自由度(6DoF)的查询照片相对于一个大的室内3D地图的姿态。这项工作的贡献是三方面的。首先,我们开发了一种新的大规模视觉定位方法针对室内环境。该方法沿着三个步骤进行:(i)候选姿态的有效检索,以确保大规模环境的可扩展性,(ii)姿态估计使用密集匹配,而不是本地功能,以处理无纹理的室内场景,以及(iii)通过虚拟视图合成的姿态验证,以应对视点,场景布局和遮挡物的显着变化。其次,我们收集了一个新的数据集与参考6DoF构成大规模室内定位。查询照片由移动电话在与参考3D地图不同的时间捕获,从而呈现真实的室内定位场景。第三,我们证明,我们的方法在这些新的具有挑战性的数据上显着优于当前最先进的室内定位方法。
2018-04-08 cs.CV
InfoGeo: Information-Theoretic Object-Centric Learning for Cross-View Generalizable UAV Geo-Localization
The University of Hong Kong(香港大学)
提出InfoGeo框架,利用信息瓶颈理论通过目标中心结构对齐和跨视图知识约束,增强无人机跨视角地理定位在域偏移下的鲁棒性和泛化能力。
2026-06-16 cs.CV
Multi-view Sensor Fusion by Integrating Model-based Estimation and Graph Learning for Collaborative Object Localization
Colorado School of Mines(科罗拉多矿业学院);Toyota Motor North America(丰田北美汽车公司)
协同目标定位的目的是协同地估计从多个视图或视角观察到的目标的位置,这是多智能体系统(如联网车辆)的关键能力。为了实现协同定位,已经开发了几种基于模型的状态估计和基于学习的定位方法。鉴于其令人鼓舞的性能,基于模型的状态估计通常缺乏对多个对象之间的复杂关系进行建模的能力,而基于学习的方法通常不能融合来自任意数量的视图的观测,并且不能很好地对不确定性进行建模。在本文中,我们介绍了一种新的时空图滤波器的方法,集成了图学习和基于模型的估计进行多视图传感器融合的协作对象定位。我们的方法模型复杂的对象关系,使用一个新的时空图表示和融合多视图观察贝叶斯的方式,以提高不确定性下的位置估计。我们评估我们的方法在连接自动驾驶和多个行人定位的应用。实验结果表明,我们的方法优于以往的技术,并实现了最先进的性能协作定位。
2021-03-07 cs.CV cs.RO
AddressVLM: Cross-view Alignment Tuning for Image Address Localization using Large Vision-Language Models
State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);CASIA(中国科学院自动化所);Alibaba Cloud(阿里云);School of Intelligence Science and Technology(智能科学与技术学院);CAIR(中国科学院香港创新研究院)
本文提出AddressVLM模型,通过引入卫星图像作为宏观线索并设计跨视角对齐微调机制,结合两阶段训练协议,有效提升了大型视觉语言模型在城市细粒度街景图像地址定位任务中的准确率。
2025-08-14 cs.AI cs.CV
Seeing the Unseen: Mask-Driven Positional Encoding and Strip-Convolution Context Modeling for Cross-View Object Geo-Localization
College of Computer Science(计算机科学学院);Software Engineering, Shenzhen University(软件工程,深圳大学)
提出基于掩码的位置编码和条带卷积上下文增强的EDGeo框架,解决跨视角目标地理定位中形状信息缺失和大跨度目标问题,在CVOGL和VIGOR-Building上取得最优性能,定位精度提升3.39%。
2025-10-23 cs.CV
Pedestrian Attribute Recognition in Video Surveillance Scenarios Based on View-attribute Attention Localization
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院)
针对监控场景行人属性识别中特定属性定位不准的问题,提出基于注意力的视角-属性定位方法VALA,结合视角权重与区域注意力实现精准定位,在三个主流数据集上性能优于现有最优方法。
2021-12-20 cs.CV
CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization
Australian National University(澳大利亚国立大学);University of Technology Sydney(悉尼科技大学)
本文研究了基于跨视角视频的摄像机定位问题。任务是通过利用来自其过去观测的信息来定位查询相机,即,在先前时间戳观察到的图像的连续序列,并将它们与大型俯视卫星图像进行匹配。这项任务的关键挑战是学习一个强大的全球功能描述符的连续地面视图图像,同时考虑其域对齐参考卫星图像。为此,我们引入了CVLNet,它首先通过探索地面和头顶的几何对应关系将连续的地面视图图像投影到头顶视图中,然后利用投影图像之间的照片一致性来形成全局表示。以这种方式,跨视图域差异被桥接。由于参考卫星图像通常是预先裁剪和定期采样的,因此查询相机位置与其匹配的卫星图像中心之间总是存在不对准。出于这一动机,我们建议估计查询相机的相对位移的卫星图像相似性匹配之前。在这个位移估计过程中,我们还考虑了摄像机位置的不确定性。例如,摄像机不太可能在树上。为了评估所提出的方法的性能,我们从谷歌地图收集卫星图像的KITTI数据集,并构建了一个新的跨视图基于视频的本地化基准数据集,KITTI-CVL。大量的实验已经证明了基于视频的定位的有效性,基于单个图像的定位和每个模块的优越性,比其他替代品。
2022-08-07 cs.CV
Learning Holistic Scene Layout against View Shifts in Cross-View Geo-Localization
Wuhan University(武汉大学)
针对跨视角地理定位的视角偏移问题,提出SCM与HFIG模块,在标准基准上取得竞争力性能且在未知方向、有限视场场景下鲁棒性强。
2026-10-12 cs.CV
Cross-view and Cross-domain Underwater Localization based on Optical Aerial and Acoustic Underwater Images
Center for Computational Science - C3(计算科学中心 - C3);Universidade Federal do Rio Grande - FURG(南里奥格兰德联邦大学 - FURG)
针对港口等部分结构化环境中的水下定位问题,提出融合彩色航空图像与水下声学图像的跨域跨视角匹配框架,并在真实码头数据集上验证其相较航位推算可提升定位精度。
2022-02-16 cs.CV cs.RO
MVP: Robust Multi-View Practice for Driving Action Localization
分心驾驶每年导致数千人死亡,如何应用深度学习方法来防止这些悲剧已经成为一个关键问题。在第六届AI城市挑战赛的第三场比赛中,研究人员提供了一个高质量的视频数据集,其中包含密集的动作注释。由于数据规模小,动作边界不明确,数据集提出了一个独特的挑战,精确定位所有不同的动作,并将其分类。在本文中,我们充分利用视频之间的多视图同步,并进行强大的多视图实践(MVP)驱动动作定位。为了避免过度拟合,我们使用Kinetics-700预训练作为特征提取器来微调SlowFast。然后将不同视图的特征传递到CNOMEFORMER以生成候选行动建议。为了精确定位所有的动作,我们设计了精心的后处理,包括模型投票,阈值过滤和重复删除。结果表明,我们的MVP是强大的驾驶动作定位,达到28.49%的F1-分数在Track 3测试集。
2022-07-05 cs.CV
MFAF: An EVA02-Based Multi-scale Frequency Attention Fusion Method for Cross-View Geo-Localization
School of Electronics and Information Engineering, Harbin Institute of Technology(电子与信息工程学院,哈尔滨工业大学)
针对跨视角地理定位中特征判别难及忽略空间语义信息的问题,提出基于EVA02的多尺度频率注意力融合方法MFAF,通过多频率分支块和频率感知空间注意力模块增强特征表示,在多项基准的无人机定位与导航任务中取得竞争力表现。
2025-09-16 cs.AI cs.CV cs.LG
Where am I? Cross-View Geo-localization with Natural Language Descriptions
Sun Yat-Sen University(中山大学);Shanghai AI Laboratory(上海人工智能实验室);Sensetime Research(商汤科技研究院);Wuhan University(武汉大学)
提出基于自然语言描述的跨视图地理定位新任务,构建CVG-Text数据集并开发CrossText2Loc方法,将召回率提升10%,具备长文本检索与可解释性。
2025-04-01 cs.CV
Multi-weather Cross-view Geo-localization Using Denoising Diffusion Models
Tsinghua University(清华大学);BNRist, Tsinghua University(清华大学BNRist);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出MCGF框架,利用去噪扩散模型联合优化图像恢复与地理定位,通过共享编码器和EVA-02主干网络消除天气干扰,在多天气条件下实现了有竞争力的跨视角地理定位性能。
2024-08-28 cs.AI cs.CV
Learning Cross-view Correspondences for Geo-localization on Planetary Surfaces
AI for Space Group, Adelaide University, Australia(太空人工智能小组,阿德莱德大学,澳大利亚)
针对行星表面无卫星定位且里程计漂移的问题,提出基于物理渲染的月球表面跨视角地理定位基准数据集,并验证了基于Transformer的定位方法在行星表面的有效性。
2026-06-29 cs.CV
Warp-free Cross-view Geo-localization via Feature-space Consensus Mining
Sun Yat-sen University(中山大学);The University of Western Australia(西澳大学)
该研究针对跨视图地理定位的视角与外观差异问题,提出无几何扭曲的联合视图共识引导学习框架,在四个基准上实现最优性能。
2026-08-11 cs.CV
Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization
Technical University of Munich(慕尼黑工业大学)
基于交叉视图图像的地理定位的目标是通过将给定街景图像与地理标记的卫星图像的集合进行匹配来确定给定街景图像的位置。这个任务是众所周知的挑战,由于激烈的观点和外观之间的差异,这两个领域。我们表明,我们可以通过学习从卫星输入合成逼真的街景来明确解决这种差异。根据这一观察,我们提出了一种新的多任务架构,其中图像合成和检索被认为是共同的。这背后的基本原理是,如果我们利用它们在两个输入域中生成图像,我们可以使我们的网络偏向于学习对检索有用的潜在特征表示。据我们所知,我们是第一个方法,从卫星图像创建逼真的街景,并本地化相应的查询街景,同时在一个端到端的方式。在我们的实验中,我们获得了最先进的性能的CVUSA和CVACT基准。最后,我们展示了令人信服的卫星街景合成的定性结果。
2021-03-11 cs.CV
UniGeo: A Multi-modal Large Language Model for Text-Guided Cross-View Geo-Localization
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院);Institute of Collaborative Innovation, University of Macau(澳门大学协同创新研究院)
UniGeo是一种统一多模态大语言模型,通过地理语义学习、跨视角生成及即插即用验证模块,在文本引导无人机地理定位任务中显著提升了检索性能。
2026-08-28 cs.CV
DiffusionUavLoc: Visually Prompted Diffusion for Cross-View UAV Localization
School of Electronic and Optical Engineering, Nanjing University of Science and Technology(电子与光学工程学院,南京理工大学)
本文提出DiffusionUavLoc框架,通过无文本视觉提示和条件扩散模型融合多模态结构线索,实现无人机与卫星影像的跨视角定位,在University-1652和SUES-200上表现优异。
2025-11-09 cs.CV
Cross-view Self-localization from Synthesized Scene-graphs
University of Fukui(福井大学)
针对跨视角自定位中合成图像质量低且存储成本高的问题,提出一种结合视角不变外观特征与视角相关空间语义特征的混合场景图模型,利用图神经网络进行压缩学习与识别,并在基于Habitat模拟器的新数据集上验证了有效性。
2023-10-24 cs.CV cs.RO
Visual Cross-View Metric Localization with Dense Uncertainty Estimates
Technical University Delft(代尔夫特理工大学);TomTom(TomTom公司)
这项工作解决了视觉跨视图度量定位户外机器人。给定地面彩色图像和包含当地环境的卫星补丁,任务是确定卫星补丁内地面摄像机的位置。相关工作解决了距离传感器(激光雷达,雷达)的任务,但视觉,只有作为一个二次回归步骤后,最初的交叉视图图像检索步骤。由于本地卫星补丁也可以通过任何粗略的定位之前(例如,从GPS/GNSS,时间滤波)检索,我们放弃了图像检索目标,只专注于度量定位。我们设计了一种新的网络架构,具有更密集的卫星描述符,在瓶颈处(而不是在图像检索中的输出处)进行相似性匹配,并将密集的空间分布作为输出以捕获多模态定位模糊性。我们与使用全局图像描述符的最先进的回归基线进行比较。在最近提出的VIGOR和Oxford RobotCar数据集上的定量和定性实验结果验证了我们的设计。产生的概率与定位精度相关,甚至可以用来粗略估计地面相机的航向时,其方向是未知的。总体而言,我们的方法分别在同一区域,跨区域和跨时间进行推广时,与最先进的方法相比,中值度量定位误差分别降低了51%,37%和28%。
2022-08-17 cs.CV
Cross-view Geo-localization with Evolving Transformer
College of Computer Science and Software Engineering(计算机科学与软件工程学院);Shenzhen University(深圳大学)
在这项工作中,我们解决的问题,跨视图地理定位,估计的地理空间位置的街景图像匹配它与地理标记的航空图像的数据库。跨视图匹配任务是极具挑战性的,由于激烈的外观和几何形状的差异,跨视图。与现有的方法主要依靠CNN,在这里,我们设计了一种新的不断发展的地理定位Transformer(EgoTR),利用Transformer中的自我注意力的属性来建模全局依赖关系,从而显着减少跨视图地理定位中的视觉模糊性。我们还利用Transformer的位置编码来帮助EgoTR理解和对应地面和空中图像之间的几何配置。与对几何知识施加强假设的最先进方法相比,EgoTR通过训练目标灵活地学习位置嵌入,因此在许多现实场景中变得更加实用。虽然Transformer非常适合我们的任务,但它的香草自我注意力机制在每一层的图像块内独立交互,忽略了层之间的相关性。相反,本文提出了一个简单而有效的自交叉注意力机制,以提高学习表征的质量。自交叉注意力模型的全局依赖性相邻层之间,这涉及图像补丁之间,同时建模如何在前一层的功能演变。因此,所提出的自交叉注意导致更稳定的训练,提高了泛化能力,并鼓励表示随着网络的深入而不断进化。大量的实验表明,我们的EgoTR表现良好,对国家的最先进的方法对标准,细粒度和跨数据集跨视图地理定位任务。
2021-07-05 cs.CV
Geo-Localization via Ground-to-Satellite Cross-View Image Retrieval
Wuhan University(武汉大学);The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
目标周围视角的巨大变化和不相关的内容总是阻碍准确的图像检索及其后续任务。在本文中,我们研究了一个极具挑战性的任务:给定一个地标的地面视图图像,我们的目标是通过搜索其对应的卫星视图图像来实现跨视图的地理定位。具体而言,挑战来自地面视图和卫星视图之间的差距,这不仅包括大的视点变化(地标的某些部分可能从正视图到俯视图不可见),而且还包括高度不相关的背景(目标地标往往隐藏在周围的其他建筑物中),这使得难以学习通用表示或合适的映射。为了解决这个问题,我们利用无人机视图信息作为地面视图和卫星视图域之间的桥梁。我们提出了一个同行学习和交叉扩散(PLCD)的框架。PLCD包括三个部分:1)跨地面视图和无人机视图的对等学习,以找到可见部分,从而有利于地面-无人机交叉视图表示学习; 2)用于卫星-无人机交叉视图表示学习的基于块的网络; 3)地面-无人机空间和卫星-无人机空间之间的交叉扩散。在University-Earth和University-Google数据集上进行的大量实验表明,我们的方法明显优于最先进的方法。
2022-05-22 cs.CV
Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization
Shenzhen University(深圳大学)
在这项工作中,我们的目标是一个重要的,但较少探讨的问题,一个简单而有效的骨干特定的跨视图地理定位任务。用于跨视图地理定位任务的现有方法通常具有以下特征:1)复杂的方法,2)GPU消耗计算,以及3)严格假设空中和地面图像是中心对准或定向对准的。为了解决上述三个挑战的跨视图图像匹配,我们提出了一个新的骨干网络,命名为简单的基于注意力的图像地理定位网络(SAIG)。建议SAIG有效地代表了远程之间的相互作用补丁,以及跨视图对应的多头自我注意层。我们的SAIG的“窄深”架构提高了特征的丰富性,而不会降低性能,而其浅而有效的卷积干保留了局部性,消除了补丁边界信息的丢失。我们的SAIG在跨视图地理定位方面取得了最先进的结果,同时比以前的作品简单得多。此外,只有15.9%的模型参数和一半的输出尺寸相比,国家的最先进的,SAIG适应跨多个跨视图数据集,而不采用任何精心设计的特征聚合模块或特征对齐算法。此外,我们的SAIG在图像检索基准测试中获得了有竞争力的分数,进一步证明了它的普遍性。作为一个骨干网络,我们的SAIG是易于遵循和计算量小,这是有意义的实际场景。此外,我们提出了一个简单的空间混合特征聚合模块(SMD),可以混合和投影空间信息到一个低维空间,以生成特征描述符。(The代码可在https://github.com/yanghongji2007/SAIG上获得)
2023-02-03 cs.CV
Dynamic Contrastive Learning for Hierarchical Retrieval: A Case Study of Distance-Aware Cross-View Geo-Localization
School of Internet of Things(物联网学院);National Engineering Research Center of Communications and Networking(通信与网络国家工程研究中心)
针对距离感知跨视图地理定位问题,构建首个多视图距离标注基准DA-Campus,并提出动态对比学习框架DyCL,通过层次化空间边际逐步对齐特征,显著提升了层次化检索与整体定位准确性。
2025-06-29 cs.CV
A Unified Hierarchical Framework for Fine-grained Cross-view Geo-localization over Large-scale Scenarios
School of Electronics and Communication Engineering, the Shenzhen Campus of Sun Yat-sen University(中山大学电子与通信工程学院(深圳校区));Sun Yat-sen University(中山大学);College of Electronic Science and Technology, Aviation University of Air Force(空军工程大学电子科学与技术学院)
提出UnifyGeo统一分层框架,将检索与度量定位集成于单网络,通过多粒度表示学习和重排序机制,在VIGOR基准上显著提升细粒度跨视角地理定位性能。
2026-09-17 cs.CV
Beyond Cross-view Image Retrieval: Highly Accurate Vehicle Localization Using Satellite Image
The Australian National University(澳大利亚国立大学)
研究了地面影像与俯视卫星地图的匹配问题,提出了一种基于地面影像和俯视卫星地图的车载摄像机定位方法。现有方法通常将此问题视为跨视图图像检索,并使用学习的深度特征将地面查询图像与卫星地图的分区(例如,小块)相匹配。通过这些方法,定位精度受到卫星地图分区密度的限制(通常为数十米量级)。从传统的图像检索的智慧出发,本文提出了一种新的解决方案,可以实现高精度定位。其核心思想是将任务表述为姿态估计,并通过基于神经网络的优化来解决。具体而言,我们设计了一个两个分支{CNN},分别从地面和卫星图像中提取鲁棒的功能。为了弥合巨大的跨视图域差距,我们诉诸于几何投影模块,该模块基于相对相机姿势将卫星地图的特征投影到地面视图。为了最小化投影特征和观察特征之间的差异,我们采用可微Levenberg-Marquardt({LM})模块来迭代地搜索最佳相机姿态。整个管道是可区分的,并且端到端地运行。在标准自主车辆定位数据集上的大量实验证实了所提出方法的优越性。值得注意的是,从40 m x 40 m宽区域内的相机位置的粗略估计开始,我们的方法以80%的可能性在新的KITTI交叉视图数据集上快速将横向位置误差降低到5 m以内。
2022-09-04 cs.CV
View Consistent Purification for Accurate Cross-View Localization
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Ford Motor Company(福特汽车公司)
提出一种纯视觉稀疏跨视角自定位方法,通过视角一致关键点净化、离地物体移除、单应性变换和空间嵌入提升动态户外场景定位精度,并在 KITTI 与 Ford Multi-AV Seasonal 上超过现有方法。
2023-08-16 cs.CV
Geo$^\textbf{2}$: Geometry-Guided Cross-view Geo-Localization and Image Synthesis
Institute of Artificial Intelligence, University of Central Florida(中佛罗里达大学人工智能研究所);University of Vermont(佛蒙特大学)
本文提出Geo²框架,利用几何先验知识联合完成跨视角地理定位和双向图像合成,通过共享3D感知潜在空间和GeoFlow模型提升性能。
2026-03-26 cs.CV
Robust Drone-View Geo-Localization via Content-Viewpoint Disentanglement
Xidian University(西安电子科技大学);University of California, San Diego(加州大学圣地亚哥分校)
针对无人机与卫星视角地理定位因视角差异导致特征冲突的问题,提出CVD框架,通过建模复合流形并引入两个约束解耦内容与视角因素,在多个数据集上提升鲁棒性与泛化能力,且可即插即用、降低推理延迟。
2025-11-17 cs.CV