CoPR: Towards Accurate Visual Localization With Continuous Place-descriptor Regression
Delft University of Technology(代尔夫特理工大学)
本文提出连续地点描述符回归CoPR,通过插值和外推从稀疏参考图回归额外VPR特征描述符以加密地图,在三个数据集上平均提升VPR定位精度约30%,并与相对位姿估计形成互补。
2023-04-14 cs.CV
HD2Reg: Hierarchical Descriptors and Detectors for Point Cloud Registration
Xi’an Jiaotong University(西安交通大学);Shunan Academy of Artificial Intelligence(舜人工智能研究院)
针对点云配准中特征描述子与检测器缺乏局部和全局语义显式表征的问题,提出HD2Reg框架,通过分层对比学习、双层级关键点检测及全局到局部匹配实现更优配准效果。
2023-05-05 cs.CV
DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization
Technical University of Munich(慕尼黑工业大学);Artisense
对于大规模点云的重新定位,我们提出了第一种方法,统一了全球的地方识别和本地6DoF姿势细化。为此,我们设计了一个连体网络,直接从原始3D点联合学习3D局部特征检测和描述。它集成了FlexConv和挤压和激励(SE),以确保学习的局部描述符捕获多级几何信息和通道关系。为了检测3D关键点,我们以无监督的方式预测局部描述符的区分度。我们生成的全局描述符直接聚合学习的本地描述符与一个有效的注意力机制。以这种方式,在单个前向传递中推断局部和全局3D描述符。各种基准测试的实验表明,我们的方法实现了竞争力的结果相比,国家的最先进的方法,全球点云检索和局部点云注册。为了验证我们的3D关键点的可推广性和鲁棒性,我们证明了我们的方法在没有对视觉SLAM系统生成的点云配准进行微调的情况下也表现良好。代码和相关材料可在https://vision.in.tum.de/research/vslam/dh3d上获得。
2020-07-17 cs.CV
Unsupervised Object Discovery and Co-Localization by Deep Descriptor Transforming
The University of Adelaide(阿德莱德大学);Nanjing University(南京大学)
随着计算机视觉和机器学习应用的快速发展,可重用模型设计变得越来越重要。在本文中,我们专注于预训练深度卷积模型的可重用性。具体来说,与将预训练模型视为特征提取器不同,我们揭示了卷积层下的更多宝藏,即,卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法,称为深度描述符变换(DDT),用于评估描述符的相关性,然后获得类别一致的区域,该区域可以准确地定位一组未标记图像中的公共对象,即,无监督的对象发现。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上,DDT始终大幅优于现有的最先进的方法。此外,DDT还表现出良好的泛化能力,不可见的类别和处理噪声数据的鲁棒性。除此之外,DDT还可以用于将Web图像收集到有效的外部数据源中,以提高图像识别和目标检测的性能。
2017-07-20 cs.CV
GeoMix: Descriptor-Free Visual Localization via Global Context and Multi-Detector Training
Aalto University(阿尔托大学);Tampere University(坦佩雷大学);University of Oulu(奥卢大学)
提出GeoMix框架,通过局部方向与距离嵌入、全局上下文节点和多检测器混合训练,增强几何判别性,显著提升无描述符视觉定位精度。
2026-08-25 cs.CV
Ground Texture Based Localization Using Compact Binary Descriptors
Robert Bosch GmbH(罗伯特·博世有限公司);Goethe University(歌德大学);Norwegian Open AI Lab(挪威开放人工智能实验室);NTNU(挪威科技大学)
基于地面纹理的定位是实现车辆高精度定位的一种有效方法。我们提出了一种自包含的方法,可以用于全局定位以及后续的本地定位更新,即它允许机器人本地化,而无需任何知识,其当前的行踪,但它也可以利用先验姿态估计,以减少计算时间显着。我们的方法是基于一种新的匹配策略,我们称之为身份匹配,这是基于紧凑的二进制特征描述符。只有当特征对的描述符相同时,标识匹配才将它们视为匹配。虽然其他全局定位方法的计算速度更快,但我们的方法达到了更高的定位成功率,并且可以在初始定位后切换到局部定位。
2020-12-18 cs.CV cs.RO
Text Localization in Video Using Multiscale Weber's Local Descriptor
Mangalore University(芒格洛尔大学);KVG College of Engineering(KVG工程学院)
在本文中,我们提出了一种新的方法来检测存在于视频和场景图像的多尺度韦伯的局部描述符(MWLD)的基础上的文本。给定输入视频,镜头被识别,并且基于它们的时空关系提取关键帧。从每个关键帧中,我们使用WLD检测局部区域信息与不同的半径和相邻关系的像素值,从而获得强度增强的关键帧在多个尺度上。这些多尺度WLD关键帧合并在一起,然后使用形态学操作计算水平梯度。然后将得到的结果二值化,并基于几何特性消除假阳性。最后,我们使用连接成分分析和形态膨胀操作来确定文本区域,以帮助文本定位。在公开的标准Hua、Horizontal-1和Horizontal-2视频数据集上的实验结果表明,该方法可以准确地检测和定位视频中各种大小、字体和颜色的文本。
2015-04-15 cs.CV
FlashMix: Fast Map-Free LiDAR Localization via Feature Mixing and Contrastive-Constrained Accelerated Training
NYU Tandon School of Engineering(纽约大学坦登工程学院);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
FlashMix提出一种基于冻结主干网络和MLP混合器的无地图LiDAR定位方法,通过描述符缓冲与对比约束实现训练加速和性能提升。
2024-09-27 cs.CV
Line as a Visual Sentence: Context-aware Line Descriptor for Visual Localization
KAIST(韩国科学技术院);SNU(首尔国立大学)
除了用于图像匹配的特征点外,线特征还提供了额外的约束,以解决机器人和计算机视觉(CV)中的视觉几何问题。虽然最近的卷积神经网络(CNN)为基础的线描述符是有前途的视点变化或动态环境,我们声称,CNN架构有先天的缺点,抽象到固定尺寸的描述符的可变线长度。在本文中,我们有效地介绍了线变压器处理可变线路。受自然语言处理(NLP)任务的启发,句子可以在神经网络中很好地理解和抽象,我们将线段视为包含点(单词)的句子。通过动态地关注线上可描述的点,我们的描述符在可变线长度上表现出色。我们还提出了线签名网络共享线的几何属性的社区。作为组描述符,网络通过理解线的相对几何形状来增强线描述符。最后,我们提出了建议的线描述符和匹配的点和线定位(PL-Loc)。我们表明,视觉定位与特征点可以提高使用我们的线功能。我们验证了所提出的方法单应性估计和视觉定位。
2021-09-10 cs.CV cs.RO
Unsupervised Deep Learning-based Keypoint Localization Estimating Descriptor Matching Performance
Grupo VARPA(VARPA组);Instituto de Investigacion Biomédica de A Coruña (INIBIC)(阿罗纳生物医学研究所(INIBIC));Universidade da Coruña(科鲁纳大学);Departamento de Ciencias de la Computación y Tecnologías de la Información(计算机科学与信息技术部门)
本研究提出一种无监督视网膜图像配准流程,通过创新的无标注描述符学习与关键点检测器网络,实现了与领先有监督方法相当的性能,可适配其他领域和模态。
2026-08-14 cs.CV
Is Geometry Enough for Matching in Visual Localization?
Technical University of Munich(慕尼黑工业大学);Universidade de Lisboa(里斯本大学)
在本文中,我们建议超越成熟的方法,以视觉为基础的本地化,依赖于查询图像和3D点云之间的视觉描述符匹配。虽然通过视觉描述符匹配关键点使定位高度准确,但它具有显著的存储需求,引起了隐私问题,并需要长期更新描述符。为了优雅地解决大规模定位的实际挑战,我们提出了GoMatch,这是一种基于视觉的匹配的替代方案,它仅依赖于将图像关键点与地图匹配的几何信息,表示为一组方位向量。我们新颖的3D点的方位矢量表示,显着缓解了基于几何的匹配中的跨模态挑战,这些挑战阻止了先前的工作在现实环境中解决定位问题。通过额外的精心架构设计,GoMatch改进了先前基于几何的匹配工作,在剑桥地标和7场景上的平均中值姿态误差减少了(10.67m,95.7deg)和(1.43m,34.7deg),同时与最好的基于视觉的匹配方法相比,只需要1.5/1.7%的存储容量。这证实了其在现实世界中的定位的潜力和可行性,并为未来不需要存储视觉描述符的城市规模视觉定位方法的发展打开了大门。
2022-07-30 cs.CV
Training Semantic Descriptors for Image-Based Localization
Izmir Institute of Technology(伊兹密尔理工学院)
用于车辆定位的基于视觉的解决方案最近变得流行。我们采用基于图像检索的视觉定位方法。数据库图像与GPS坐标一起保存,并且检索到的数据库图像的位置用作查询图像的近似位置。我们表明,本地化可以通过描述符单独从语义分割的图像中提取。特别是当环境受到严重光照和季节变化时,它是可靠的。我们的实验表明,语义描述符的本地化性能可以提高到最先进的RGB图像为基础的方法的水平。
2022-02-02 cs.CV cs.LG cs.NE
SegMap: Segment-based mapping and localization using data-driven descriptors
ETH Zurich(苏黎世联邦理工学院);Sevensense Robotics AG(七感机器人股份公司)
在事先的全局地图中精确估计机器人的姿态是移动机器人的基本能力,例如自动驾驶或在灾区的探索。然而,这项任务在非结构化的动态环境中仍然具有挑战性,在这种环境中,局部特征没有足够的鉴别力,全局场景描述符仅提供粗略的信息。因此,我们提出了SegMap:一个地图表示解决方案的定位和映射的基础上提取的部分在3D点云。在段的水平上工作提供了增加的不变性的视点和局部结构的变化,并促进大规模的3D数据的实时处理。SegMap利用单个紧凑的数据驱动描述符来执行多个任务:全局定位,3D密集地图重建和语义信息抽取。SegMap的性能在多个城市驾驶和搜索和救援实验中进行了评估。我们表明,学习SegMap描述符具有优越的段检索能力,相比国家的最先进的手工制作的描述符。因此,我们实现了更高的定位精度和6%的召回率比国家的最先进的。这些基于段的定位使我们能够减少开环里程漂移高达50%。SegMap是开源的,并且易于运行演示。
2019-09-27 cs.CV cs.RO
SpatiaLoc: Leveraging Multi-Level Spatial Enhanced Descriptors for Cross-Modal Localization
Fuzhou University(福州大学);Shandong Academy of Sciences(山东省科学院);Qingdao University(青岛大学);Tongji University(同济大学)
SpatiaLoc通过多级空间增强描述符提升跨模态定位性能,采用粗到细策略结合贝塞尔曲线和频率域建模,实现更精确的机器人定位。
2026-01-07 cs.CV
Long-term Visual Localization using Semantically Segmented Images
Chalmers University of Technology(查尔姆斯理工大学);Zenuity(Zenuity(泽努蒂))
鲁棒跨季节定位是自动驾驶车辆长期视觉导航的主要挑战之一。在本文中,我们利用最近的进展,语义分割的图像,即,其中每个像素被分配与其表示的对象的类型相关的标签,以解决长期视觉定位的问题。我们表明,语义标记的3-D点地图的环境,连同语义分割的图像,可以有效地用于车辆定位,而不需要详细的特征描述符(SIFT,SURF等)。因此,我们依赖于图像分割器的训练,而不是依赖于手工制作的特征描述符。与传统的基于描述符的映射相比,所得到的映射占用的存储空间少得多。一个基于粒子滤波器的语义定位解决方案相比,一个基于SIFT功能,即使有很大的季节性变化,在一年中,我们的表现与更大的和更具描述性的SIFT功能,并能够本地化的错误低于1米的大部分时间。
2018-03-02 cs.CV
DRIP: Discriminative Rotation-Invariant Pole Landmark Descriptor for 3D LiDAR Localization
University of Fukui(福井大学)
针对3D LiDAR自定位中杆状地标判别力不足的问题,提出融合ROI多模态特征、旋转不变CNN与无监督杆词压缩的DRIP描述符,并在NCLT上验证其可提升先进杆状定位框架性能。
2024-06-17 cs.CV
Real-Time Anomalous Behavior Detection and Localization in Crowded Scenes
在本文中,我们提出了一个准确和实时的【形】异常检测和定位在拥挤的场景,并提出了两个描述符来表示异常行为的视频。我们认为视频是一组立方体补丁。基于异常发生的低可能性,以及视频中正常补丁中结构的冗余性,考虑两个(全局和局部)视图来对视频进行建模。我们的算法有两个组成部分,(1)表示补丁使用局部和全局描述符,和(2)建模的训练补丁使用一个新的表示。我们有两个高斯模型的所有训练补丁方面的全球和局部描述符。局部和全局特征基于相邻块之间的结构相似性和以无监督方式学习的特征。我们提出了一种融合策略,将这两个描述符作为我们系统的输出。实验结果表明,我们的算法执行像一个国家的最先进的方法在几个标准的数据集,但甚至是更有效的时间。
2016-01-02 cs.CV
FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization
Queensland University of Technology(昆士兰理工大学)
针对直接2D-3D匹配因搜索空间歧义导致精度低的问题,提出FUSELOC方法,通过加权平均算子融合全局与局部描述符,在减少43%内存且提速1.6倍的情况下,性能接近分层方法,首次实现直接匹配算法在不影响效率的前提下受益于全局描述符。
2025-08-26 cs.CV cs.RO
Deep Descriptor Transforming for Image Co-Localization
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);The University of Adelaide(阿德莱德大学)
随着机器学习应用的快速扩展,可重用模型设计变得越来越重要。在本文中,我们专注于预训练深度卷积模型的可重用性。具体来说,与将预训练模型视为特征提取器不同,我们揭示了卷积层下的更多宝藏,即,卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法,命名为深描述符变换(DDT),用于评估描述符的相关性,然后获得类别一致的区域,它可以准确地定位一组图像中的共同对象。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上,DDT始终大幅优于现有的最先进的方法。此外,DDT还表现出良好的泛化能力,不可见的类别和处理噪声数据的鲁棒性。
2017-05-08 cs.CV cs.LG
AdaContour: Adaptive Contour Descriptor with Hierarchical Representation
Microsoft Corporation(微软公司);Ohio State University(俄亥俄州立大学)
针对现有基于角度的轮廓描述符对非星形凸形状有损表示的问题,提出采用分层多局部表示的AdaContour自适应轮廓描述符,实验证明其表征更准确鲁棒,集成到现有检测器实现实例分割效果良好。
2024-04-12 cs.CV cs.GR
Robust Scene Coordinate Regression via Geometrically-Consistent Global Descriptors
Queensland University of Technology(昆士兰理工大学)
本文提出一种通过几何一致的全局描述符提升场景坐标回归鲁棒性的方法,无需人工标注即可在多样环境中实现高效定位。
2026-01-08 cs.CV
Generalized Correspondence Matching via Flexible Hierarchical Refinement and Patch Descriptor Distillation
Donghua University(东华大学);the Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
针对现有最先进的即插即用对应匹配方法DFM的局限性,提出灵活最近邻分层细化与块描述符蒸馏方法,拓展骨干网络适配性并降低计算量,在多数据集上实现性能超越。
2024-03-08 cs.CV
Semantic Visual Localization
Microsoft(微软)
在大范围视觉条件下的鲁棒视觉定位是计算机视觉中的一个基本问题。处理这个问题的困难情况不仅非常具有挑战性,而且具有高度的实际意义,例如,在用于增强现实或自主机器人的终身定位的上下文中。在本文中,我们提出了一种新的方法的基础上联合3D几何和语义的理解的世界,使它能够成功的条件下,以前的方法失败。我们的方法利用一种新的生成模型进行描述符学习,将语义场景完成作为辅助任务进行训练。由此产生的3D描述符通过编码高级别的3D几何和语义信息,对丢失的观测具有鲁棒性。在几个具有挑战性的大规模定位数据集上的实验表明,在极端视角,光照和几何变化下,定位是可靠的。
2018-04-16 cs.CV
Voronoi-based compact image descriptors: Efficient Region-of-Interest retrieval with VLAD and deep-learning-based descriptors
University College London(伦敦大学学院)
我们调查的问题,基于视觉查询的图像检索时,后者包括任意区域的兴趣(ROI),而不是整个图像。我们的建议是一个紧凑的图像描述符,结合了国家的最先进的基于内容的描述符提取与多层次,基于Voronoi空间分区的每个数据集图像。所提出的多级基于Voronoi的编码在感兴趣的点定位上使用空间分层K均值,并且在每个单元上计算基于内容的描述符。为了降低匹配的复杂度,同时不降低检索性能:(i)利用空间层次K-均值的树结构对局部相似性最大值进行自顶向下的剪枝;(ii)提出了一种新的图像相似性评分,它将来自所有分区级别的相关信息组合成一个单一的相似性度量;(iii)我们将我们的建议与用于量化描述符表示内的最优比特分配的新颖且有效的方法相结合。通过导出基于Voronoi的VLAD描述符(称为Fast-VVLAD)和基于Voronoi的深度卷积神经网络(CNN)描述符(称为Fast-VD CNN),我们证明了我们的基于Voronoi的框架对描述符基础是不可知的,并且可以很容易地插入到现有的框架中。通过在两个标准数据集中的一系列ROI查询,结果表明,基于Voronoi的描述符实现了与传统的基于网格的空间搜索相当或更高的平均精度,同时提供了超过两倍的复杂性降低。最后,除了ROI查询,我们表明,Voronoi分割提高了紧凑的CNN描述符的几何不变性,从而导致竞争力的性能,目前的最先进的整个图像检索。
2017-03-20 cs.CV
2D Image Features Detector And Descriptor Selection Expert System
Tecnalia Research and Innovation(泰克纳利亚研究与创新中心);University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU))
从图像中检测和描述关键点是计算机视觉中的一个研究热点。一些方法,如SIFT,SURF或ORB,在计算上非常有效。本文针对一个具体的工业零件目标识别问题,提出了一种基于层次分类的解决方案。减少实例的数量会带来更好的性能,事实上,这就是使用分层分类所寻求的。我们证明,这种方法比只使用一种方法,如ORB,SIFT或FREAK,尽管相当慢。
2020-06-04 cs.CV
Robot Localization Using a Learned Keypoint Detector and Descriptor with a Floor Camera and a Feature Rich Industrial Floor
Fraunhofer IML(弗劳恩霍夫物流研究所)
提出KOALA框架,利用深度神经网络从工业地板图像提取关键点特征,无需可读标记即可实现高精度机器人定位,位置误差2cm,有效解决机器人绑架问题。
2025-04-04 cs.CV cs.RO
Learning Local Feature Descriptor with Motion Attribute for Vision-based Localization
Alibaba Group(阿里巴巴集团);Beihang University(北京航空航天大学);Peking University(北京大学)
近年来,基于摄像机的定位已被广泛用于机器人应用,大多数提出的算法依赖于从记录的图像中提取的局部特征。为了获得更好的性能,用于开环定位的特征需要是短期全局静态的,而用于重新定位或环路闭合检测的特征需要是长期静态的。因此,可以利用局部特征点的运动属性来提高定位性能,例如,从移动的人或车辆提取的特征点由于其不稳定性而可以从这些系统中排除。在本文中,我们设计了一个完全卷积网络(FCN),命名为MD-Net,同时执行运动属性估计和特征描述。MD-Net有一个共享的主干网络来从输入图像中提取特征,两个网络分支来完成每个子任务。使用MD-Net,我们可以在获得运动属性的同时避免增加更多的计算量。实验结果表明,该方法可以学习不同的局部特征描述符,以及运动属性,只有使用一个FCN,由一个大幅度优于竞争的方法。我们还表明,该算法可以集成到一个基于视觉的定位算法,以提高估计精度显着。
2019-08-07 cs.CV cs.RO
Appearance-based indoor localization: A comparison of patch descriptor performance
Imperial College London(帝国理工学院)
视觉是最重要的感官之一,人类在航行中广泛使用它。我们评估了不同类型的图像和视频帧描述符,这些描述符可用于确定独特的视觉地标,以便根据他们携带的相机所看到的内容来定位一个人。为此,我们创建了一个数据库,其中包含超过3公里的视频序列,并以沿不同走廊行驶距离的形式提供地面实况。使用该数据库,可以评估定位的准确性-在知道用户在哪条路线上方面-以及在沿着特定路线的位置方面。对于每种类型的描述符,我们还测试了不同的技术来编码视觉结构,并在行程之间搜索以估计用户的位置。这些技术包括单帧描述符、使用帧序列的描述符以及彩色和非彩色描述符。我们发现单帧索引在这个特定的数据集中工作得更好。这可能是因为拿着相机的人的运动使得视频太依赖于一个特定旅程的单个步骤和运动。我们的研究结果表明,基于外观的信息可以是室内导航数据的一个额外来源,增强了无线电信号强度指示器(RSSI)所提供的信息。这种视觉信息可以通过众包低分辨率视频馈送来收集,从而允许不同用户的旅程彼此关联,并且在不需要显式地图的情况下推断位置。这为基于同时定位与地图构建(SLAM)算法的方法提供了补充方法。
2015-03-11 cs.CV cs.RO
3D Segmentation Learning from Sparse Annotations and Hierarchical Descriptors
Carnegie Mellon University(卡内基梅隆大学);SZ DJI Technology Co(深圳市大疆创新科技有限公司)
3D语义分割的主要障碍之一是为完全监督训练生成昂贵的逐点注释所需的大量努力。为了减轻手动工作,我们提出了GIDSeg,一种新的方法,可以同时学习分割稀疏注释通过推理的全球区域结构和个人的邻近属性。GIDSeg通过一个动态边缘卷积网络和一个内核化的身份描述符来描述全局和个体关系。集成效果是通过赋予一个细粒度的感受野低分辨率体素化地图。在我们的GIDSeg中,还设计了一个对抗性学习模块,以进一步增强联合特征分布中身份描述符的条件约束。尽管明显的简单性,我们提出的方法实现了卓越的性能比国家的最先进的推理3D密集分割,只有稀疏的注释。特别是,使用原始数据的$5\%$注释,GIDSeg优于其他3D分割方法。
2021-06-06 cs.CV cs.RO
Scalable and Efficient Hierarchical Visual Topological Mapping
Lero - the Science Foundation Ireland Research Centre(Lero——爱尔兰科学基金会研究中心);Maynooth University(梅努斯大学);Valeo Vision Sytems(法雷奥视觉系统公司)
本文系统比较分层视觉拓扑建图中的全局描述子,提出以连续性和独特性量化可扩展性,发现无监督VAE描述子在17.6公里轨迹上显著加速且保持召回率。
2024-04-07 cs.CV cs.RO
NeuraLoc: Visual Localization in Neural Implicit Map with Dual Complementary Features
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);RayNeo(雷尼奥公司)
本文提出NeuraLoc,通过隐式学习三维关键点描述子场和语义上下文特征场,并利用描述子相似度分布对齐构建匹配图,在降低存储和加速训练的同时实现高精度六自由度视觉定位。
2025-03-08 cs.CV
From Coarse to Fine: Robust Hierarchical Localization at Large Scale
ETH Zürich(苏黎世联邦理工学院);Sevensense Robotics AG(Sevensense机器人股份公司)
鲁棒且准确的视觉定位是许多应用的基本能力,例如自动驾驶、移动机器人或增强现实。然而,这仍然是一项具有挑战性的任务,特别是对于大规模的环境和存在显着的外观变化。最先进的方法不仅要解决这些问题,而且对于某些实时应用程序来说往往过于资源密集。在本文中,我们提出了HF-Net,一种基于单片CNN的分层定位方法,该方法同时预测局部特征和全局描述符,以实现准确的6-DoF定位。我们利用粗到细的定位范式:我们首先执行一个全球检索,以获得位置假设,只有后来匹配这些候选地方的本地功能。这种分层的方法产生显着的运行时间节省,使我们的系统适合实时操作。通过利用学习的描述符,我们的方法在大的外观变化中实现了显着的定位鲁棒性,并在两个具有挑战性的大规模定位基准上设置了新的最先进的技术。
2019-04-08 cs.CV
Hierarchical Metric Learning and Matching for 2D and 3D Geometric Correspondences
NEC Laboratories America, Inc.(美国NEC实验室公司);University of California, San Diego(加州大学圣迭戈分校);Google Cloud AI(谷歌云人工智能);Microsoft Hololens(微软HoloLens)
兴趣点描述符推动了计算机视觉中几乎所有问题的进展。深度神经网络的最新进展使得特定于任务的学习描述符在许多问题上优于手工制作的描述符。我们证明了常用的度量学习方法不能最佳地利用卷积神经网络(CNN)中学习的特征层次,特别是当应用于几何特征匹配任务时。虽然应用于CNN的最深层的度量损失通常被期望产生与任务无关的理想特征,但事实上,不断增长的感受野以及跨步效应导致较浅的特征在高精度匹配任务中更好。我们利用这种洞察力以及在特征层次结构的多个级别上的显式监督来更好地正则化,以在几何匹配任务的背景下学习更有效的描述符。此外,我们建议在CNN的不同层使用激活图,作为通常用于匹配任务的多分辨率图像金字塔的有效和原则性替代。我们提出了具体的CNN架构,采用这些想法,并评估他们在多个数据集的2D和3D几何匹配以及光流,展示了最先进的结果和泛化跨数据集。
2018-08-02 cs.CV
A Hierarchical Descriptor Framework for On-the-Fly Anatomical Location Matching between Longitudinal Studies
Siemens Medical Solutions(西门子医疗解决方案公司)
本文提出基于分层稀疏采样描述符与分层搜索的医学图像解剖位置即时匹配方法,无需训练或配准,在 Deep Lesion Tracking 上更准确且速度提升24倍。
2023-09-23 cs.CV eess.IV
Hierarchical Attention Fusion for Geo-Localization
Fudan University(复旦大学);University of Florida(佛罗里达大学);Purdue University(普渡大学)
地理定位是计算机视觉中的一项关键任务。在这项工作中,我们投的地理定位作为一个二维图像检索任务。目前的2D地理定位的最先进的方法是不鲁棒的定位场景与激烈的规模变化,因为他们只利用一个语义级别的图像表示的功能。为了解决这个问题,我们引入了一个层次化的注意力融合网络,使用多尺度特征进行地理定位。我们从卷积神经网络(CNN)中提取分层特征图,并将提取的特征有机地融合到图像表示中。我们的训练是自我监督的,使用自适应权重来控制每个层次的特征强调的注意力。图像检索和大规模地理定位基准测试的评价结果表明,我们的方法优于现有的国家的最先进的方法。代码可在此处获得:\url{https://github.com/YanLiqi/HAF}。
2021-02-18 cs.CV
Delta Descriptors: Change-Based Place Representation for Robust Visual Localization
Queensland University of Technology(昆士兰科技大学);Monash University(蒙纳士大学)
视觉位置识别具有挑战性,因为有很多因素会导致一个地方的外观发生变化,从昼夜周期到季节变化再到大气条件。近年来,已经开发了大量方法来解决这一挑战,包括深度学习的图像描述符,域转换和顺序滤波,所有这些方法都具有通用性和速度敏感性等缺点。在本文中,我们提出了一种新的描述符,来自跟踪任何学习的全局描述符随时间的变化,称为三角洲描述符。增量描述符通过考虑沿路线观察到的地点之间的时间差异,以无监督的方式减轻在原始描述符匹配空间中引起的偏移。像所有其他方法一样,Delta描述符有一个缺点-帧到帧的波动性-可以通过将它们与顺序滤波方法相结合来克服。使用两个基准数据集,我们首先单独展示了Delta描述符的高性能,然后在与基于序列的匹配相结合时展示了新的最先进的性能。我们还提出的结果表明,该方法与四种不同的底层描述符类型,和其他两个有益的属性相比,现有的技术的三角洲描述符:其增加的固有鲁棒性的变化,在相机运动和降低的性能退化率,作为降维应用。源代码可在https://github.com/oravus/DeltaDescriptors上获得。
2020-07-30 cs.CV cs.IR cs.LG
Residual Learning for Image Point Descriptors
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所);ETH Zürich(苏黎世联邦理工学院)
本文提出一种利用手工描述符知识仅学习残差部分的图像点描述符方法,实现50倍收敛加速,并在匹配、相机定位和SfM任务中取得优于纯学习或手工描述符的性能。
2023-12-24 cs.CV cs.RO
MatChA: Cross-Algorithm Matching with Feature Augmentation
KTH Royal Institute of Technology(皇家理工学院);Ericsson Research(爱立信研究)
针对不同设备使用不同稀疏特征提取算法导致视觉定位失败的问题,提出首个通过特征描述符增强和潜在空间转换实现跨检测器特征匹配的方法,显著提升了跨特征场景下的图像匹配与定位性能。
2025-06-27 cs.CV
GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization
ITMO University(ITMO大学);Robotics Center(机器人中心);T-Tech
针对现有视觉定位方法优化复杂、精度有限的问题,提出将轻量XFeat关键点描述子集成到3DGS的两阶段定位方法,通过2D-3D匹配粗定位加光度损失优化精调,在室内外基准上优于NeRFMatch等同类方法。
2025-03-20 cs.AI cs.CV cs.LG
NinjaDesc: Content-Concealing Visual Descriptors via Adversarial Learning
Reality Labs, Meta(Meta现实实验室);Imperial College London(帝国理工学院)
根据最近的分析隐私有关的场景启示视觉描述符,我们开发的描述符,隐藏输入图像内容。特别是,我们提出了一个对抗性学习框架,用于训练防止图像重建的视觉描述符,同时保持匹配精度。我们让特征编码网络和图像重建网络相互竞争,使得特征编码器试图用其生成的描述符来阻止图像重建,而重建器试图从描述符中恢复输入图像。实验结果表明,与我们的方法获得的视觉描述符显着恶化的图像重建质量与对应匹配和摄像机定位性能的影响最小。
2022-03-29 cs.CV
Deep SIMBAD: Active Landmark-based Self-localization Using Ranking -based Scene Descriptor
University of Fukui(福井大学)
基于地标的机器人自定位最近作为用于跨域(例如,时间、天气和季节)。然而,基于地标的自定位对于被动观察者(例如,手动机器人控制),因为许多视点可能无法提供有效的地标视图。在这项研究中,我们考虑了一个积极的自我定位任务的积极观察者,并提出了一种新的强化学习(RL)为基础的下一个最佳视图(NBV)规划。我们的贡献如下。(1)基于SIMPAD的VPR:我们将基于地标的紧凑场景描述问题表述为SIMBAD(基于相似性的模式识别),并进一步提出了其深度学习扩展。(2)VPR到NBV的知识转移:我们解决了不确定性下RL的挑战(即,主动自定位)。(3)基于NNQL的NBV:我们将可用的VPR作为经验数据库,采用最近邻近似Q学习(NNQL)。结果显示了一个非常紧凑的数据结构,它将VPR和NBV压缩到单个增量倒排索引中。在公开的NCLT数据集上的实验验证了该方法的有效性。
2021-09-06 cs.CV cs.RO
A2-GNN: Angle-Annular GNN for Visual Descriptor-free Camera Relocalization
Aalto University(阿尔托大学);University of Oulu(奥卢大学)
本文提出A2-GNN,一种角度环形图神经网络,通过聚类邻居并嵌入距离和角度信息,实现无视觉描述符的高精度、低计算开销的相机重定位。
2025-02-27 cs.CV
NeRF-Loc: Visual Localization with Conditional Neural Radiance Field
Tencent(腾讯)
本文提出NeRF-Loc方法,利用条件神经辐射场和transformer直接匹配隐式3D描述符与2D图像,并引入外观适应层提升跨域鲁棒性,在多个基准上取得更高定位精度。
2023-04-17 cs.CV
SeqNet: Learning Descriptors for Sequence-based Hierarchical Place Recognition
QUT Centre for Robotics(昆士兰科技大学机器人中心);School of Electrical Engineering and Robotics, QUT(昆士兰科技大学电气工程与机器人学院);Queensland University of Technology (QUT)(昆士兰科技大学)
视觉位置识别(VPR)是将来自相机的当前视觉图像与存储在环境的参考地图中的图像进行匹配的任务。虽然最初的VPR系统使用简单的直接图像方法或手工制作的视觉功能,但最近的工作集中在学习更强大的视觉功能,并通过某种形式的顺序匹配器/过滤器或分层匹配过程进一步提高性能。在这两种情况下,基于初始单图像的系统的性能仍然远远不够完美,对序列匹配或(在分层系统的情况下)姿态细化阶段施加了巨大的压力。在本文中,我们提出了一种新的混合系统,创建一个高性能的初始匹配假设生成器,使用短的学习顺序描述符,使选择性控制顺序分数聚合使用单个图像学习描述符。序列描述符是使用称为SeqNet的时间卷积网络生成的,使用一维卷积对短图像序列进行编码,然后将其与参考数据集的相应时间描述符进行匹配,以提供位置匹配假设的有序列表。然后,我们使用来自单独管道的入围单个图像学习描述符进行选择性顺序分数聚合,以产生整体位置匹配假设。在具有挑战性的基准数据集上进行的综合实验表明,该方法在使用相同数量的序列信息的情况下优于最近的最先进的方法。源代码和补充材料可以在https://github.com/oravus/seqNet上找到。
2021-02-24 cs.AI cs.CV cs.IR
Exact and Deterministic Patch Descriptor Retrieval via Hierarchical Normalization
提出一种基于层次归一化的精确最近邻搜索方法,通过分支定界策略仅评估少量数据库条目,实现与穷举搜索相同的确定性结果,在UBC补丁数据集上获得12-14倍加速。
2026-06-26 cs.CV
Convolutional Cross-View Pose Estimation
Delft University of Technology(代尔夫特理工大学)
提出一种端到端跨视角姿态估计方法,通过匹配地面与航空图像描述符,利用对比学习和粗到细定位解码器,在VIGOR和KITTI上显著降低定位误差,并在Oxford RobotCar上实现实时可靠姿态估计。
2023-12-22 cs.CV
Descriptellation: Deep Learned Constellation Descriptors
ETH Zurich(苏黎世联邦理工学院);The University of Queensland(昆士兰大学);Arrival Ltd(Arrival有限公司)
当前的全局定位描述符通常在巨大的视点或外观变化下挣扎。一个可能的改进是添加语义对象的拓扑信息。然而,手工制作的拓扑描述符很难调整,并且对环境噪声、剧烈的视角变化、对象遮挡或误检测不鲁棒。为了解决这个问题,我们通过将语义上有意义的对象星座建模为图,并使用深度图卷积网络将星座映射到描述符,来制定一种基于学习的方法。我们证明了我们的深度学习星座描述符(描述)在两个真实世界的数据集的有效性。虽然描述是在随机生成的模拟数据集上训练的,但它在现实世界的数据集上显示出良好的泛化能力。描述也优于最先进的和手工制作的星座描述符的全球定位,是强大的不同类型的噪声。该代码可在https://github.com/ethz-asl/Descriptellation上公开获取。
2022-09-14 cs.CV cs.RO
How to Reduce Localization Ambiguity? Geometry-Semantic Constrained BEV Representation Learning for Satellite-Ground Localization
The Hong Kong Polytechnic University(香港理工大学);Southern University of Science and Technology(南方科技大学);Wuhan University(武汉大学);The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对卫星-地面定位中的几何与描述符歧义,提出GeoSem-BEV方法,通过径向深度、垂直高度和共享语义监督约束BEV表示学习,显著降低方向误差。
2026-10-01 cs.CV
A Hyperdimensional One Place Signature to Represent Them All: Stackable Descriptors For Visual Place Recognition
QUT Centre for Robotics(昆士兰理工大学机器人中心);Queensland University of Technology(昆士兰理工大学)
提出超维单一地点特征(HOPS),通过融合多条件参考集描述子,在无计算代价下提升视觉地点识别的召回性能、计算效率和可扩展性。
2025-06-27 cs.CV
Real-Time Anomaly Detection and Localization in Crowded Scenes
Malek Ashtar University of Technology(马利克·阿什塔尔理工大学);Iran University of Science and Technology(伊朗科技大学);Auckland University of Technology(奥克兰理工大学)
在本文中,我们提出了一种方法,用于实时的【形】异常检测和定位在拥挤的场景。每个视频被定义为一组不重叠的立方体补丁,并使用两个局部和全局描述符进行描述。这些描述符从不同方面捕获视频属性。通过结合简单且具有成本效益的高斯分类器,我们可以区分视频中的正常活动和异常活动。局部和全局特征基于相邻块之间的结构相似性,并且使用稀疏自动编码器以无监督的方式学习特征。实验结果表明,我们的算法是一个国家的最先进的程序在UCSD ped2和UMN基准,但更有效的时间。实验证实,我们的系统可以可靠地检测和定位异常,只要他们在视频中发生。
2015-11-21 cs.CV
GPU-accelerated Hierarchical Panoramic Image Feature Retrieval for Indoor Localization
The Graduate Center and City College, CUNY(纽约市立大学研究生中心与城市学院)
室内定位有许多应用,例如商业基于位置的服务(LBS)、机器人导航和盲人辅助导航。本文将室内定位问题转化为一个多媒体检索问题,利用全景图像特征对可视地标进行建模,并通过GPU加速的并行检索算法计算用户位置。为了解决场景的相似性问题,我们采用了基于多幅图像的检索策略和二维聚合方法来估计最终的检索位置。在校园建筑真实数据上的实验证明了实时响应(14fps)和鲁棒定位。
2020-06-16 cs.CV
Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression
Graduate School of Information Science and Engineering, Ritsumeikan University(立命馆大学信息科学与工程研究生院);College of Information Science, Ritsumeikan University(立命馆大学信息科学学院)
针对 KSCR 在数据不足时性能受限的问题,本文提出利用 NeRF 生成新视角合成关键点描述子,以低成本将定位精度提升至多 50%。
2024-03-20 cs.CV
Biologically Inspired Hierarchical Model for Feature Extraction and Localization
特征提取和匹配是计算机视觉的核心问题。在所有位置和尺度上搜索特征是低效的。神经生理学证据表明,为了在数字图像中定位对象,人类视觉系统将视觉注意力集中到特定对象而忽略其他对象。大脑也有一种从粗到细的搜索机制。在本文中,我们提出了一个特征提取器和相关的层次搜索模型来模拟这样的过程。利用目标的层次化表示,通过较大尺度的匹配实现粗扫描,通过较小尺度的匹配实现精确定位。实验结果证明了该模型的有效性和效率的定位功能。
2006-04-14 cs.CV
DeepPointMap: Advancing LiDAR SLAM with Unified Neural Descriptors
Fudan University(复旦大学)
针对点云SLAM中定位精度与地图尺寸难以兼顾的问题,本文提出统一架构DeepPointMap,通过神经网络提取稀疏神经描述符,实现内存高效的地图表示与精确多尺度定位,并成功扩展至多智能体协作SLAM。
2023-12-05 cs.CV cs.LG cs.RO