Sparse-to-Dense Hypercolumn Matching for Long-Term Visual Localization
Université de Bordeaux(波尔多大学)
我们提出了一种新的方法,以特征点匹配,适用于长期场景下的鲁棒性和准确的户外视觉定位。给定一个查询图像,我们首先将其与注册的参考图像数据库进行匹配,使用最近的检索技术。这为我们提供了相机姿态的第一个估计。为了改进这个估计,像以前的方法一样,我们在查询图像和检索到的参考图像上匹配2D点。然而,这一步骤容易失败,因为在可能非常不同的条件下捕获的图像中检测和匹配稀疏特征点仍然非常困难。我们的主要贡献是表明我们只需要在检索到的参考图像中提取稀疏特征点:然后我们在查询图像中穷举地搜索相应的2D位置。这种搜索可以使用卷积操作有效地执行,并且通过使用超列描述符(即,为检索而计算的图像特征)来鲁棒地执行。我们将此方法称为稀疏到密集超列匹配。由于离线重建阶段,我们知道参考图像中稀疏特征点的3D位置,因此可以从这些匹配中准确估计相机姿态。我们的实验表明,这种方法使我们能够在几个具有挑战性的户外数据集上超越最先进的技术。
2019-08-21 cs.CV
Semantic-Constraint Matching Transformer for Weakly Supervised Object Localization
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);Pazhou Lab(琶洲实验室)
针对弱监督目标定位中CNN部分激活和Transformer发散激活问题,提出语义约束匹配网络SCMN,通过局部补丁洗牌构建图像对并匹配类激活图来校准网络,在CUB-200-2011和ILSVRC上取得最先进性能。
2023-09-04 cs.CV
Single-Shot Global Localization via Graph-Theoretic Correspondence Matching
Toyohashi University of Technology(丰桥技术科学大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
提出一种基于图论最大团匹配的单次全局定位框架,通过关联语义点云地图与语义分割查询图像,实现跨模态定位并在大规模城市仿真地图上验证有效。
2023-06-06 cs.CV cs.RO
Jointly Optimized Global-Local Visual Localization of UAVs
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);City University of Hong Kong(香港城市大学);Aerospace Information Research Institute, CAS(中国科学院空天信息创新研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
针对GNSS失效下无人机定位难题,提出GLVL两阶段网络,结合全局检索与局部匹配,实现实时高精度定位,在稀疏纹理场景中误差仅2.39米。
2023-10-12 cs.CV
RIM: A Retrieval-In-Matching Framework for Cross-Domain Global Visual Localization of UAVs
University of Chinese Academy of Sciences(中国科学院大学)
研究无人机跨域全局视觉定位问题,提出检索匹配框架RIM,通过采样参考视图、两阶段微调SALAD及冻结检索器蒸馏解码器等方法,在多数据集零样本评估中表现出色,建立了高效可部署的定位管道。
2026-09-17 cs.CV
FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization
Queensland University of Technology(昆士兰理工大学)
针对直接2D-3D匹配因搜索空间歧义导致精度低的问题,提出FUSELOC方法,通过加权平均算子融合全局与局部描述符,在减少43%内存且提速1.6倍的情况下,性能接近分层方法,首次实现直接匹配算法在不影响效率的前提下受益于全局描述符。
2025-08-26 cs.CV cs.RO
Localization and Expansion: A Decoupled Framework for Point Cloud Few-shot Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室)
针对点云少样本语义分割中点级匹配脆弱和类内多样性导致的背景误激活与目标不完整问题,提出解耦定位与扩展框架DLE,通过结构定位模块和自扩展模块实现精确定位与完整目标分割,大幅超越现有方法。
2024-08-25 cs.CV
Puzzle-CAM: Improved localization via matching partial and full features
KAIST(韩国科学技术院);GYNetworks
弱监督语义分割(WSSS)被引入到缩小语义分割性能的差距,从像素级监督到图像级监督。最先进的方法是基于类别激活图(CAM)来生成伪标签以训练分割网络。WSSS的主要局限性在于,从使用图像分类器的CAM生成伪标签的过程主要集中在对象的最有区别的部分。为了解决这个问题,我们提出了Puzzle-CAM,这是一个最大限度地减少来自单独补丁和整个图像的特征之间差异的过程。我们的方法包括一个拼图模块和两个正则化项,以发现对象中最完整的区域。Puzzle-CAM可以使用图像级监控激活对象的整个区域,而无需额外的参数。%在实验中,Puzzle-CAM优于使用相同标签对PASCAL VOC 2012测试数据集进行监督的先前最先进的方法。在实验中,Puzzle-CAM在PASCAL VOC 2012数据集上使用相同的标签进行监督,其性能优于以前的最先进方法。与我们的实验相关的代码可在https://github.com/OFRIN/PuzzleCAM上获得。
2021-09-23 cs.AI cs.CV
Line as a Visual Sentence: Context-aware Line Descriptor for Visual Localization
KAIST(韩国科学技术院);SNU(首尔国立大学)
除了用于图像匹配的特征点外,线特征还提供了额外的约束,以解决机器人和计算机视觉(CV)中的视觉几何问题。虽然最近的卷积神经网络(CNN)为基础的线描述符是有前途的视点变化或动态环境,我们声称,CNN架构有先天的缺点,抽象到固定尺寸的描述符的可变线长度。在本文中,我们有效地介绍了线变压器处理可变线路。受自然语言处理(NLP)任务的启发,句子可以在神经网络中很好地理解和抽象,我们将线段视为包含点(单词)的句子。通过动态地关注线上可描述的点,我们的描述符在可变线长度上表现出色。我们还提出了线签名网络共享线的几何属性的社区。作为组描述符,网络通过理解线的相对几何形状来增强线描述符。最后,我们提出了建议的线描述符和匹配的点和线定位(PL-Loc)。我们表明,视觉定位与特征点可以提高使用我们的线功能。我们验证了所提出的方法单应性估计和视觉定位。
2021-09-10 cs.CV cs.RO
Mars Rover Localization Based on A2G Obstacle Distribution Pattern Matching
漫游车定位是大规模漫游车探测的前提条件之一。在美国宇航局的火星2020任务中,“无畏号”直升机与火星车一起携带,火星车能够获得火星地形的高分辨率图像,并有可能基于空地(A2G)图像对应进行定位。然而,考虑到火星地形的低纹理性质,以及无人机和漫游车图像之间的大视角变化,传统的图像匹配方法将难以获得有效的图像对应关系。在本文中,我们提出了一种新的管道火星车定位。结合基于图像的岩石检测和岩石分布模式匹配的算法被用来获取A2G图像对应,从而在无人机生成的地面地图中建立漫游器位置。这种方法的可行性进行评估的样本数据从火星模拟环境。所提出的方法可以作为一个可靠的协助,在未来的火星任务。
2022-10-07 cs.CV
DDM-NET: End-to-end learning of keypoint feature Detection, Description and Matching for 3D localization
Stevens Institute of Technology(史蒂文斯理工学院);Wormpex AI Research(Wormpex人工智能研究院)
在本文中,我们提出了一个端到端的框架,共同学习关键点检测,描述符表示和跨帧匹配的任务,基于图像的3D定位。现有技术已经单独地解决了这些组件中的每一个,据称旨在减轻有效地训练整体网络的困难。我们设计了一个自监督的图像变形对应损失的特征检测和匹配,相对相机姿态学习的弱监督极线约束损失,和一个方向匹配方案,检测源图像中的关键点特征,并对目标图像进行粗到细的对应搜索。我们利用这个框架来执行我们的匹配模块中的周期一致性。此外,我们提出了一种新的损失,以鲁棒地处理明确的内点/离群点匹配和不太确定的匹配。这些学习机制的集成使得能够对执行所有三个本地化组件的单个网络进行端到端训练。在公共数据集上对我们的方法进行基准测试,证明了这样一个端到端框架如何能够产生更准确的定位,其性能优于传统方法和最先进的弱监督方法。
2023-02-01 cs.CV
Cross-View Image Matching for Geo-localization in Urban Environments
University of Central Florida(中佛罗里达大学)
在本文中,我们解决的问题,跨视图图像的地理定位。具体来说,我们的目标是通过在地理标记的鸟瞰图图像的参考数据库中找到匹配的图像来估计查询街景图像的GPS位置,反之亦然。为此,我们提出了一个新的框架,通过利用深度卷积神经网络(CNN)在图像分类和目标检测的巨大成功,跨视图图像地理定位。首先,我们使用Faster R-CNN来检测查询和参考图像中的建筑物。接下来,对于查询图像中的每个建筑物,我们使用在正匹配图像对和负匹配图像对上训练的Siamese网络从参考建筑物中检索$k$最近邻居。为了找到正确的NN为每个查询建设,我们开发了一个有效的多个最近邻匹配方法的基础上占主导地位的集。我们评估了一个新的数据集,包括对街景和鸟瞰图像的建议框架。实验结果表明,该方法实现了更好的地理定位精度比其他方法,并能够推广到图像在看不见的位置。
2017-03-22 cs.CV
Skeleton Matching based approach for Text Localization in Scene Images
Mangalore University(芒格洛尔大学);KVG College of Engineering(KVG工程学院)
在本文中,我们提出了一种基于骨架匹配的方法,它有助于在场景图像中的文本定位。对输入图像进行预处理,并使用连通分量分析将其分割成块。我们使用基于形态学的方法获得分割块的骨架。将已分类的图像与数据库中的训练模板进行比较,以将其分类为文本和非文本块。此外,新设计的几何规则和形态学操作上检测到的文本块场景文本定位。在公开的标准数据集上的实验结果表明,该方法可以检测和定位各种大小、字体和颜色的文本。
2015-02-13 cs.CV
ViewBridge:Revisiting Cross-View Localization from Image Matching
Wuhan University(武汉大学);Ant Group(蚂蚁集团);The Chinese University of Hong Kong(香港中文大学)
本文从图像匹配视角重新审视跨视角定位任务,提出包含Surface Model和SimRefiner的统一框架,构建首个像素级标注跨视角图像基准CVFM,有效提升了极端视角下跨视角定位的准确性与稳定性。
2025-11-19 cs.CV
BEVMAPMATCH: Multimodal BEV Neural Map Matching for Robust Re-Localization of Autonomous Vehicles
Carnegie Mellon University(卡内基梅隆大学)
本文提出BEVMapMatch框架,利用多模态传感器融合生成鸟瞰图分割,通过交叉注意力机制检索地图片段,实现无需GNSS的鲁棒重定位,实验表明其在GNSS受限环境下的召回率显著提升。
2026-03-26 cs.CV
Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
本文讨论了无监督的发现和定位的主要对象从嘈杂的图像集合与多个对象类。这个问题的设置是完全无监督的,甚至没有图像级注释或任何单一主导类的假设。这比典型的共定位、共分割或弱监督定位任务更普遍。我们使用基于部件的区域匹配方法来解决发现和定位问题:我们使用现成的区域建议来形成对象和对象部件的一组候选边界框。这些区域使用概率Hough变换有效地在图像之间进行匹配,该概率Hough变换考虑外观和空间一致性来评估每个候选对应的置信度。通过比较候选区域的分数并选择比包含它们的其他区域突出的区域来发现和定位主导对象。在标准基准上进行的大量实验评估表明,该方法在共定位方面的性能明显优于当前最先进的方法,并在具有挑战性的混合类数据集上实现了鲁棒的对象发现。
2015-05-04 cs.CV
Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud
The University of Western Australia(西澳大学);Murdoch University(默多克大学)
我们提出了一个新的概念,直接匹配从RGB图像中提取的特征描述符,从三维点云提取的特征描述符。我们使用这个概念来本地化的位置和方向(姿态)的查询图像的相机在密集的点云。我们生成一个数据集匹配的2D和3D描述符,并用它来训练一个建议的描述符匹配算法。为了在点云中定位查询图像,我们从查询图像中提取2D关键点和描述符。然后使用描述符匹配器通过将2D描述符与点云的预提取的3D描述符进行匹配来找到对应的2D和3D关键点对。该信息用于鲁棒的姿态估计算法中,以在3D点云中定位查询图像。实验表明,直接匹配的2D和3D描述符不仅是一个可行的想法,但也实现了竞争力的准确性相比,其他国家的最先进的相机姿态定位的方法。
2019-06-14 cs.CV
Matching Query Image Against Selected NeRF Feature for Efficient and Scalable Localization
Binjiang Institute, Zhejiang University(浙江大学滨江学院);The Hong Kong Polytechnic University(香港理工大学);National University of Defense Technology(国防科技大学)
针对 NeRF 视觉定位在大规模场景中的低效与扩展难题,本文提出 MatLoc-NeRF,通过可学习特征选择、位姿感知场景划分及粗略位姿预测提升定位效率与精度。
2024-06-17 cs.CV
Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image Matching
Australian National University(澳大利亚国立大学);Huawei(华为);University of Oxford(牛津大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61所)
我们解决的问题,地面到卫星图像的地理定位,也就是说,估计相机的纬度,经度和方向(方位角),通过匹配查询图像在地面捕获的大型数据库与地理标记的卫星图像。我们的现有技术通过选择与地面查询图像匹配的最相似的卫星参考图像来将上述任务视为纯图像检索。然而,这种方法通常产生粗略的位置估计,因为检索到的卫星图像的地理标记仅对应于图像中心,而地面相机可以位于图像内的任何点。为了进一步巩固我们以前的研究成果,我们提出了一种新的几何感知的地理定位方法。我们的新方法是能够实现查询图像的细粒度定位,卫星图像的像素大小的精度,一旦其粗略的位置和方向已经确定。此外,我们提出了一个新的几何感知的图像检索管道,以提高粗定位精度。除了我们会议工作中的极坐标变换外,这个新管道还通过几何约束投影变换将卫星图像像素映射到地面视图中的地平面,以强调信息区域,例如道路结构,用于跨视图地理定位。大量的定量和定性实验证明了我们新提出的框架的有效性。我们还显着提高性能的粗定位结果相比,国家的最先进的位置召回。
2022-03-26 cs.CV
Learning Camera Localization via Dense Scene Matching
Simon Fraser University(西蒙菲莎大学);Alibaba A.I Labs(阿里巴巴人工智能实验室)
摄像机定位的目的是从RGB图像中估计6自由度摄像机姿态。传统的方法检测和匹配查询图像和预先构建的3D模型之间的兴趣点。最近基于学习的方法将场景结构编码到特定的卷积神经网络(CNN)中,因此能够从RGB图像中预测密集坐标。然而,他们中的大多数需要重新训练或重新适应一个新的场景,并有困难,在处理大规模的场景,由于网络容量有限。我们提出了一种新的方法,场景不可知的相机定位使用密集场景匹配(DSM),其中的成本体积之间构建的查询图像和场景。成本体积和对应的坐标由CNN处理以预测密集坐标。然后,可以通过Pestrian算法来解决相机姿势。此外,我们的方法可以扩展到时域,这导致在测试时间额外的性能提升。我们的场景不可知的方法实现了与现有的场景特定的方法,如KFNet,在7scenes和剑桥基准相当的准确性。这种方法也明显优于最先进的场景不可知密集坐标回归网络SANet。该守则可在https://github.com/Tangshitao/Dense-Scene-Matching上查阅。
2021-03-31 cs.CV
Loc$^2$: Interpretable Cross-View Localization via Depth-Lifted Local Feature Matching
École Polytechnique Fédérale de Lausanne(联邦理工学院洛桑校区)
Loc$^2$通过深度提升的局部特征匹配实现跨视角定位,具有高精度和可解释性,适用于复杂场景。
2026-02-25 cs.CV
Feasibility of Video-based Sub-meter Localization on Resource-constrained Platforms
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
虽然基于卫星的全球定位系统(GPS)对于某些室外应用是足够的,但许多其他应用由于其数米定位误差和较差的室内覆盖而受到阻碍。在本文中,我们研究的可行性,实时视频为基础的定位资源受限的平台。在开始定位任务之前,基于视频的定位系统下载受限目标环境(诸如一组城市街道或室内购物中心)的离线模型。然后,系统能够在模型中定位用户,仅使用视频作为输入。为了使这样的系统能够在资源受限的嵌入式系统或智能电话上运行,我们(a)提出了用于通过帧选择和有效特征匹配来有效地构建所调查路径的3D模型的技术,(b)通过多种压缩技术来显著地减小模型大小,而不牺牲定位精度,(c)提出了用于特征提取和匹配的有效且并发的技术,以实现在线定位,(d)提出了一种基于光流跟踪和交叉特征匹配的方法,以减少在线定位中的特征提取和匹配时间。基于大量的室内和室外视频,手动注释的位置地面真相,我们证明,亚米精度,实时率,是可以实现的智能手机类型的平台上,尽管具有挑战性的视频条件。
2020-02-19 cs.CV
Hue Modification Localization By Pair Matching
DISI, University of Trento, Italy(意大利特伦托大学DISI(信息工程与计算机科学系))
色相修正是对彩色图像的色相特性进行调整。对图像进行色调修改是微不足道的,并且它可以被滥用以伪造观看者的意见。由于形状、边缘或纹理信息在色调修改后保持不变,因此这种类型的操纵相对难以被检测和定位。由于小的补丁继承相同的颜色滤波器阵列(CFA)配置和去马赛克,任何失真的局部色调修改可以检测到补丁匹配在同一图像。在本文中,我们建议本地化色调修改的暹罗神经网络专门设计用于匹配两个输入。通过精心制作网络输出,我们能够形成一个热图,它可能会突出恶意区域。我们所提出的方法不仅处理未压缩的图像,但也与JPEG压缩的存在,操作通常会阻碍CFA和去马赛克文物的利用。实验结果证实了该方法的有效性。
2019-03-05 cs.CV
UAV Autonomous Localization using Macro-Features Matching with a CAD Model
University of North Dakota (UND)(北达科他大学)
近年来,自主无人机(UAV)领域的研究取得了显着进展,主要是由于它们在各种商业,工业和军事应用中的相关性。然而,在GPS拒绝环境中的无人机导航仍然是一个具有挑战性的问题,最近的研究已经通过基于传感器的方法来解决。本文提出了一种新的离线,便携式,实时室内无人机定位技术,依赖于宏观特征检测和匹配。所提出的系统利用机器学习、传统计算机视觉技术和预先存在的环境知识的支持。这项工作的主要贡献是从无人机捕获的图像中实时创建宏观特征描述向量,这些图像同时与来自计算机辅助设计(CAD)模型的离线预先存在的向量相匹配。这导致在CAD模型内的快速UAV定位。通过仿真和实验原型的实现,所提出的系统的有效性和准确性进行了评估。最终结果表明,该算法的低计算负担,以及其易于部署在GPS拒绝的环境。
2020-01-30 cs.CV
Biologically Inspired Hierarchical Model for Feature Extraction and Localization
特征提取和匹配是计算机视觉的核心问题。在所有位置和尺度上搜索特征是低效的。神经生理学证据表明,为了在数字图像中定位对象,人类视觉系统将视觉注意力集中到特定对象而忽略其他对象。大脑也有一种从粗到细的搜索机制。在本文中,我们提出了一个特征提取器和相关的层次搜索模型来模拟这样的过程。利用目标的层次化表示,通过较大尺度的匹配实现粗扫描,通过较小尺度的匹配实现精确定位。实验结果证明了该模型的有效性和效率的定位功能。
2006-04-14 cs.CV
Learning to Produce Semi-dense Correspondences for Visual Localization
School of Computing, KAIST(韩国科学技术院计算机学院);College of AI Convergence, Dongguk University(东国大学人工智能融合学院)
针对夜间、恶劣天气等苛刻条件下的视觉定位问题,提出一种基于密集关键点匹配提取半密集2D-3D匹配点的新颖定位方法,利用点推理网络推断未观测关键点的3D坐标,显著提升了相机位姿估计精度并在大规模基准上取得竞争力表现。
2024-03-20 cs.CV
Localization: A Missing Link in the Pipeline of Object Matching and Registration
Indian Institute of Technology Delhi(德里印度理工学院);Chennai Mathematical Institute(钦奈数学研究所);Medanta Hospital(梅丹塔医院)
图像配准是利用几何变换将同一物体的两幅或多幅图像对齐的过程。大多数现有的方法工作的假设位置不变性。这些方法需要以对象为中心的图像来执行匹配。此外,在两个图像中的对应点之间不存在强度水平对称性的情况下,基于学习的配准方法依赖于合成变形,这在真实场景中经常失败。为了解决这些问题,在这项工作中开发了一种组合的卷积神经网络(CNN)来执行所需的注册。整个目标分为三个子目标:目标定位、分割和匹配变换。对象定位步骤建立图像之间的初始对应关系。为此,使用了改进版的Single Shot多盒探测器。对检测到的区域进行裁剪,以使图像以对象为中心。随后,使用采用薄板样条变形的空间Transformer网络对对象进行分割和匹配。在MNIST和Caltech-101数据集上的初步实验表明,该模型能够产生准确的匹配。使用骰子系数(DC)和平均交集(mIoU)进行的定量评估表明,该方法的结果在79%和66%,分别为MNIST数据集和94%和90%,分别为加州理工学院-101数据集的值。所提出的框架扩展到CT和US图像的配准,这是从任何数据的具体假设,并具有更好的泛化能力相比,现有的基于规则的/经典的方法。
2019-01-11 cs.CV
FG$^2$: Fine-Grained Cross-View Localization by Fine-Grained Feature Matching
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本研究提出FG²细粒度跨视图定位方法,通过特征映射、高度维度选择池化生成BEV平面,结合点匹配与Procrustes对齐估计3自由度位姿,在VIGOR数据集上较SOTA降低28%平均定位误差。
2025-03-24 cs.CV
Privacy-Preserving Representations are not Enough -- Recovering Scene Content from Camera Poses
Chalmers University of Technology(查尔姆斯理工大学);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克布拉格技术大学捷克信息学、机器人学与控制论研究所);Faculty of Electrical Engineering, Czech Technical University in Prague(捷克布拉格技术大学电气工程学院)
本文揭示仅查询视觉定位服务即可从相机位姿推断场景内容,攻击不依赖算法,对隐私保护表示同样有效,证明现有隐私保护方法不足。
2023-05-08 cs.CV
OrienterNet: Visual Localization in 2D Public Maps with Neural Matching
ETH Zurich(苏黎世联邦理工学院);Meta Reality Labs(Meta现实实验室)
本文提出首个深度神经网络OrienterNet,通过将神经鸟瞰图与OpenStreetMap的2D语义地图匹配,实现亚米级精度的视觉定位,无需昂贵的3D点云,在机器人和AR场景中表现优异。
2023-04-04 cs.CV
Detection and Classification of Pole-like Landmarks for Domain-invariant 3D Point Cloud Map Matching
University of Fukui(福井大学)
本研究提出一种基于深度学习的两模块杆状地标分类方法,结合RANSAC地图匹配与自监督k-means聚类,在NCLT数据集上验证了其提升3D点云视觉自定位精度的效果。
2023-05-11 cs.CV
Fast and Robust Feature Matching for RGB-D Based Localization
University of Vigo(维戈大学);University of Freiburg(弗莱堡大学)
在本文中,我们提出了一种新的方法,全球定位使用RGB-D相机的视觉特征的地图。对于大型地图,纯图像匹配技术的性能在鲁棒性和计算成本方面有所下降。特别地,由于世界上的重复结构(例如,门口、椅子等)或者观测之间缺少关联对视觉定位提出了关键挑战。我们采用两步走的方法应对这些挑战。我们首先使用当前相机帧的特征与特征图之间的几个对应关系来估计候选姿势。通过特征空间中的邻近度建立初始对应集。在第二步骤中使用初始姿态估计来引导3D中的特征的空间匹配,即,搜索期望在地图中找到图像特征的关联。RANSAC算法用于从对应性计算姿态的精细估计。我们的方法显然优于定位的基础上的特征匹配专门在特征空间中,无论是在估计精度和鲁棒性的失败,并允许实时的(30 Hz)的全球定位。
2015-02-02 cs.CV cs.RO
Hierarchical Image Matching for UAV Absolute Visual Localization via Semantic and Structural Constraints
Institute of Automation, Chinese Academy of Sciences(自动化研究所);Guangxi University(广西大学)
针对GNSS拒止场景下无人机跨源图像匹配定位难的问题,提出融合语义结构约束粗匹配与轻量化细匹配的分层方法,构建无相对定位依赖的视觉定位 pipeline,在公开及新数据集上实现更优精度与鲁棒性。
2025-06-11 cs.CV cs.RO
Data Augmentation with Diffusion Models for Colon Polyp Localization on the Low Data Regime: How much real data is enough?
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);Technical University of Catalonia (UPC, BarcelonaTech)(加泰罗尼亚理工大学(巴塞罗那理工))
针对医学领域数据稀缺阻碍深度学习模型性能的问题,提出利用去噪扩散模型生成带定位标注的结肠镜图像进行数据增强,结合现有开放数据集训练模型,在低数据场景下基于YOLO v9开展息肉定位迁移学习实验以提升性能。
2024-11-28 cs.CV
SPVLoc: Semantic Panoramic Viewport Matching for 6D Camera Localization in Unseen Environments
Fraunhofer Heinrich Hertz Institute, HHI(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University of Berlin(柏林洪堡大学)
提出 SPVLoc,通过将查询 RGB 图像与无纹理三维模型渲染的语义全景进行视口匹配,实现无需场景训练且可泛化到未知环境的高精度6D室内相机定位。
2024-07-22 cs.CV
DeFloMat: Detection with Flow Matching for Stable and Efficient Generative Object Localization
Department of Software Convergence, Seoul Women’s University(软件融合系,首尔女子大学);Department of Radiology, Severance Hospital, Yonsei University College of Medicine(放射科,松趾医院,延世大学医学院)
DeFloMat通过结合条件流匹配和确定性流场,实现了稳定高效的生成物体定位检测,仅需3步推理即可达到43.32%的AP10:50精度,优于DiffusionDet的31.03%。
2025-12-26 cs.CV
Semantic Histogram Based Graph Matching for Real-Time Multi-Robot Global Localization in Large Scale Environment
The Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
视觉多机器人同时定位与地图构建(MR-SLAM)的核心问题是如何高效、准确地进行多机器人全局定位(MR-GL)。困难是双重的。第一个是全局定位的困难,显著的视点差异。基于外观的定位方法往往会在大的视点变化下失败。最近,语义图已经被用来克服视点变化问题。然而,这些方法非常耗时,特别是在大规模环境中。这就导致了第二个难点,即如何进行实时的【形】全局定位。本文提出了一种基于语义直方图的图匹配方法,该方法对视点变化具有鲁棒性,能够实现实时的【形】全局定位。在此基础上,我们开发了一个系统,可以准确,有效地执行MR-GL的同质和异构的机器人。实验结果表明,我们的方法比基于随机游走的语义描述符快30倍左右。此外,它实现了95%的全球定位准确度,而最先进的方法的准确度为85%。
2021-02-24 cs.CV cs.RO
Lipstick ain't enough: Beyond Color Matching for In-the-Wild Makeup Transfer
VinAI Research(VinAI研究院);VinUniversity;Stony Brook University(石溪大学)
化妆转移是将来自参考图像的化妆风格应用于源面部的任务。现实生活中的化妆是多样和野生的,不仅包括颜色变化,而且还包括图案,如贴纸,腮红和珠宝。然而,现有的作品忽略了后者的组成部分,并局限于化妆转移到颜色的操作,只集中在轻化妆风格。在这项工作中,我们提出了一个整体化妆转移框架,可以处理所有提到的化妆组件。它包括一个改进的颜色转移分支和一个新的图案转移分支,以学习所有的化妆属性,包括颜色,形状,纹理和位置。为了训练和评估这样的系统,我们还引入了新的化妆数据集,用于真实和合成的极端化妆。实验结果表明,我们的框架实现了最先进的表现在轻和极端的化妆风格。代码可在https://github.com/VinAIResearch/CPM上获得。
2021-04-05 cs.CV
From Sparse to Dense: Camera Relocalization with Scene-Specific Detector from Feature Gaussian Splatting
Zhejiang University(浙江大学);SenseTime Research(商汤科技研究院)
本文提出STDLoc,一种基于特征高斯溅射的相机重定位方法,采用稀疏到密集的定位范式,通过场景特定检测器和密集特征匹配实现无需姿态先验的高精度定位,在室内外数据集上优于现有方法。
2025-03-25 cs.CV
Image-Based Geo-Localization Using Satellite Imagery
在给定查询地面视图图像的地理参考卫星地图上的定位问题是有用的,但由于视点的急剧变化而仍然具有挑战性。为此,在本文中,我们的工作扩展我们的早期工作的跨视图匹配网络(CVM-Net)的地面到空中的图像匹配任务,因为传统的图像描述符失败,由于急剧的视点变化。特别是,我们展示了更广泛的实验结果和分析我们的CVM-Net上的网络架构。此外,我们提出了一个马尔可夫定位框架,强制执行图像帧之间的时间一致性,以提高地理定位结果的情况下,地面视图图像的视频流是可用的。实验结果表明,我们提出的马尔可夫定位框架可以在我们的新加坡数据集上连续定位车辆在一个小的误差。
2019-06-02 cs.CV
Fast and Robust Localization for Humanoid Soccer Robot via Iterative Landmark Matching
Robotics and Mechanisms Laboratory (RoMeLa), Department of Mechanical and Aerospace Engineering, University of California, Los Angeles(机器人与机制实验室(RoMeLa)、机械与航空航天工程系、加州大学洛杉矶分校)
针对人形机器人定位中MCL计算成本高、受噪声和视场限制的问题,提出基于迭代地标匹配的快速鲁棒定位方法,经对比实验和RoboCup 2024赛事验证,其速度、精度及鲁棒性均优于现有方法。
2025-05-16 cs.CV cs.RO
GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations
Weizmann Institute of Science(魏茨曼科学研究所);NVIDIA(英伟达)
GSVisLoc是用于3D高斯喷溅场景表示的视觉定位方法,通过匹配3D高斯生成的场景特征与图像特征来估计相机位姿,分三步进行,无需修改、再训练或额外图像,在标准基准上性能优且能有效推广到新场景。
2026-07-17 cs.CV
DiffVL: Diffusion-Based Visual Localization on 2D Maps via BEV-Conditioned GPS Denoising
AMAP, Alibaba Group(阿里巴巴集团AMAP);Zhejiang University(浙江大学)
DiffVL通过将视觉定位转化为GPS去噪任务,利用扩散模型在不依赖HD地图的情况下实现亚米级精度的可扩展定位。
2026-02-03 cs.CV
CLIP-Clique: Graph-based Correspondence Matching Augmented by Vision Language Models for Object-based Global Localization
Frontier Research Center, Toyota Motor Corporation (TMC)(丰田汽车公司前沿研究中心)
本文提出CLIP-Clique方法,利用视觉语言模型嵌入增强地标可区分性,并通过图论方法确定性估计内点,结合加权最小二乘位姿计算,在ScanNet和TUM数据集上验证了匹配与位姿估计精度的提升。
2024-10-04 cs.CV cs.RO
The NeRFect Match: Exploring NeRF Features for Visual Localization
NVIDIA(英伟达);Technical University of Munich(慕尼黑工业大学);Technion(以色列理工学院)
本文提出利用神经辐射场内部特征进行视觉定位,通过引入NeRFMatch匹配函数,在剑桥地标基准上实现了最先进的定位性能。
2024-08-21 cs.CV
AGL-NET: Aerial-Ground Cross-Modal Global Localization with Varying Scales
该研究提出AGL-NET跨模态全局定位方法,通过两阶段匹配与尺度-骨架损失解决图像-点云表征 gap 及尺度差异问题,无需预处理卫星地图,还构建了CARLA仿真数据集用于评估。
2024-10-09 cs.CV
More Than Where You Are: Learning Semantics, Structure, and Geometry from Cross-View Localization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Aerospace Control Center(北京航天飞行控制中心)
研究如何在极端视角变化下通过跨视图定位让模型学习语义、结构和几何。提出CROSS框架,克服现有方法局限,经实验验证该框架在跨视图定位中性能最优,能有效学习多方面内容。
2026-07-15 cs.CV
Efficient and Accurate Co-Visible Region Localization with Matching Key-Points Crop (MKPC): A Two-Stage Pipeline for Enhancing Image Matching Performance
图像匹配是计算机视觉中的一项经典而又基本的任务。在本文中,假设的共同可见区域以外的区域携带的信息很少,我们提出了一个匹配的关键点裁剪(MKPC)算法。MKPC定位,建议和作物的关键区域,这是具有很高的效率和准确性的共同可见的区域。此外,在MKPC的基础上,我们提出了一个通用的两阶段图像匹配流水线,它兼容任何图像匹配模型或组合。我们尝试将SuperPoint + SuperGlue插入到两阶段管道中,其结果表明,我们的方法增强了户外姿态估计的性能。更重要的是,在一个公平的比较条件下,我们的方法优于SOTA的图像匹配挑战2022基准,这是目前最难的户外基准的图像匹配。
2023-03-24 cs.CV cs.LG
Structure-Aware Matching for Robust UAV Thermal-to-Satellite Geo-Localization
State Key Laboratory of Spatial Datum, Henan University(河南大学空间数据基准国家重点实验室);College of Remote Sensing and Geoinformatics Engineering, Henan University(河南大学遥感与地理信息工程学院);School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);Henan Yunhuan NetLink UAV Technology Co., Ltd.(河南云环网联无人机科技有限公司)
针对无人机热成像与卫星图像的跨模态差异问题,提出结构感知匹配框架SAMF,通过DSEM和MARM模块实现鲁棒地理定位,在相关数据集上达到SOTA性能。
2026-10-12 cs.CV
BEVLoc: Cross-View Localization and Matching via Birds-Eye-View Synthesis
Carnegie Mellon University(卡内基梅隆大学);KEF Robotics(KEF机器人公司)
针对户外无GPS时地面与航拍图跨视角匹配定位难的问题,提出BEVLoc框架,通过合成BEV表示结合对比学习与难负样本挖掘,以由粗到细策略实现越野环境定位,在森林场景取得初步成果并建立基线。
2024-10-08 cs.CV cs.RO
Ground Texture Based Localization Using Compact Binary Descriptors
Robert Bosch GmbH(罗伯特·博世有限公司);Goethe University(歌德大学);Norwegian Open AI Lab(挪威开放人工智能实验室);NTNU(挪威科技大学)
基于地面纹理的定位是实现车辆高精度定位的一种有效方法。我们提出了一种自包含的方法,可以用于全局定位以及后续的本地定位更新,即它允许机器人本地化,而无需任何知识,其当前的行踪,但它也可以利用先验姿态估计,以减少计算时间显着。我们的方法是基于一种新的匹配策略,我们称之为身份匹配,这是基于紧凑的二进制特征描述符。只有当特征对的描述符相同时,标识匹配才将它们视为匹配。虽然其他全局定位方法的计算速度更快,但我们的方法达到了更高的定位成功率,并且可以在初始定位后切换到局部定位。
2020-12-18 cs.CV cs.RO
Robust Subpixel Localization of Diagonal Markers in Large-Scale Navigation via Multi-Layer Screening and Adaptive Matching
College of Aerospace Science and Engineering(航空航天科学与工程学院);National University of Defense Technology(国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(湖南省图像测量与视觉导航重点实验室)
本文提出一种多层筛选与自适应匹配相结合的方法,用于大尺度导航中实现对角标记的鲁棒子像素定位。
2026-01-13 cs.CV cs.RO
CM-Bench: A Comprehensive Cross-Modal Feature Matching Benchmark Bridging Visible and Infrared Images
School of Instrument Science and Opto-Electronics Engineering, Beijing Information Science and Technology University(北京信息科技大学仪器科学与光电工程学院);Department of Precision Instrument, Tsinghua University(清华大学精密仪器系)
本文提出CM-Bench,涵盖30种跨模态特征匹配算法,用于评估同源性估计、相对姿态估计和基于特征匹配的地理定位,包含自适应预处理和新的红外-卫星跨模态数据集。
2026-03-13 cs.CV
Graph-based Proprioceptive Localization Using a Discrete Heading-Length Feature Sequence Matching Approach
Texas A&M University(德克萨斯农工大学)
本体感觉定位是指一类新的机器人自我中心定位方法,不依赖于外部地标的感知和识别。这些方法自然不受恶劣天气、不良照明条件或其他可能阻碍诸如相机或激光测距仪的外感受传感器的极端环境条件的影响。这些方法依赖于本体感受传感器,例如惯性测量单元(IMU)和/或车轮编码器。在磁接收的辅助下,传感器可以提供车辆轨迹的基本估计,该估计用于查询先前已知的地图以获得位置。命名为基于图形的本体感受定位(GGPL),我们提供了一个低成本的后备解决方案,在具有挑战性的环境条件下的定位。作为一个机器人/车辆行驶,我们提取一个序列的标题长度值的直线段的轨迹和匹配的序列与预处理的标题长度图(HLG)从先前已知的地图抽象本地化的机器人下的图形匹配的方法。使用来自HLG的信息,我们的位置对准和验证模块补偿轨迹漂移,车轮打滑或轮胎充气水平。我们已经实现了我们的算法,并在模拟和物理实验中进行了测试。该算法成功地运行在寻找机器人的位置,并实现定位精度的水平,先验地图允许(小于10米)。
2020-05-27 cs.CV cs.RO