Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Digging Into Self-Supervised Learning of Feature Descriptors
Aalto University（阿尔托大学）
用于学习局部图像描述符的基于全监督CNN的方法在广泛的几何任务中表现出显着的效果。然而，他们中的大多数需要每像素的地面实况关键点对应数据，这是难以获得的规模。为了解决这一挑战，最近的弱监督和自监督方法可以从相对相机姿势或仅使用合成刚性变换（如单应性）来学习特征描述符。在这项工作中，我们专注于了解现有的自我监督方法的局限性，并提出了一套改进，结合导致强大的特征描述符。我们发现，增加搜索空间从在对在批硬负挖掘带来一致的改善。为了提高特征描述符的区分度，我们提出了一种从粗到精的方法，通过使用全局视觉图像描述符从更宽的搜索空间中挖掘局部硬否定。我们证明了合成单应性变换，颜色增强和真实感图像风格化的组合产生有用的表示，是视点和照明不变的。通过所提出的方法学习的特征描述符在各种几何基准（如基于图像的定位，稀疏特征匹配和图像检索）上具有竞争力并超过其完全和弱监督的对应物。
2021-10-10 cs.CV
Improving Nighttime Retrieval-Based Localization
Université de Bordeaux（波尔多大学）
室外视觉定位是许多计算机视觉系统的重要组成部分。我们提出了一种从图像定位的方法，该方法旨在明确处理白天和夜间之间发生的外观变化。正如最近的长期本地化基准测试所揭示的那样，传统的基于特征的方法和基于检索的方法仍然难以处理这样的变化。我们的新的本地化方法结合了一个国家的最先进的图像检索体系结构与特定条件的子网络，允许计算的全球图像描述符是明确依赖于捕获条件。我们表明，我们的方法提高了近300\%的因素相比，流行的VLAD为基础的方法在夜间定位的本地化。
2019-04-05 cs.CV
Face Attribute Prediction Using Off-the-Shelf CNN Features
KTH Royal Institute of Technology（KTH皇家理工学院）
从野外人脸图像中预测属性是一个具有挑战性的计算机视觉问题。为了从包含人脸的图像中自动描述人脸属性，传统上需要级联三个技术模块-人脸定位，人脸描述符构造和属性分类-在一个管道中。作为一个典型的分类问题，人脸属性预测已经使用深度学习来解决。目前最先进的性能是通过使用两个级联的卷积神经网络（CNN）来实现的，CNN是专门训练来学习人脸定位和属性描述的。在本文中，我们尝试了一种利用CNN深度表示能力的替代方法。结合传统的人脸定位技术，我们使用现成的架构训练的人脸识别来建立面部描述符。认识到可描述的人脸属性是多种多样的，我们的人脸描述符是从不同属性的CNN的不同级别构建的，以最好地促进人脸属性预测。在两个大型数据集LFWA和CelebA上的实验表明，我们的方法完全可以与最先进的方法相媲美。我们的研究结果不仅证明了一种有效的人脸属性预测方法，而且还提出了一个重要的问题：如何利用现成的CNN表示的能力来完成新的任务。
2016-06-21 cs.CV
Semantic Regularization: Improve Few-shot Image Classification by Reducing Meta Shift
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；University of Bath（巴斯大学）
Few-Shot图像分类要求分类器鲁棒地处理看不见的类，即使每个类只有几个样本。最近的进展得益于元学习过程，其中形成情景任务以训练能够适应类变化的模型。然而，这些任务是相互独立的，现有的工作主要依赖于有限的样本的个人支持集在一个单一的Meta任务。这种策略会导致跨多个任务的严重Meta转移问题，这意味着学习的原型或类描述符并不稳定，因为每个任务只涉及自己的支持集。为了避免这个问题，我们提出了一个简洁的语义正则化网络学习一个共同的语义空间下的元学习框架。在这个空间中，所有的类描述符可以通过学习的语义基础进行正则化，这可以有效地解决Meta移位问题。其关键是训练一个类编码器和解码器结构，该结构能够将样本嵌入特征编码到具有训练好的语义基础的语义域中，并从解码器中生成更稳定、更通用的类描述符。我们通过在三个基准数据集（MiniImageNet，TieredImageNet和CUB）上与以前的方法进行广泛的比较来评估我们的工作。结果表明，语义正则化模块比基线方法提高了4%-7%的性能，并取得了与当前最先进的模型竞争的结果。
2020-03-09 cs.CV
A new approach to descriptors generation for image retrieval by analyzing activations of deep neural network layers
Czestochowa University of Technology（琴斯托霍瓦理工大学）；Southeast University（东南大学）；University of Social Sciences（社会科学大学）
在本文中，我们考虑使用深度神经网络的基于内容的图像检索任务的描述符构建问题。基于全连接层激活的神经代码的思想通过合并卷积层中包含的信息来扩展。众所周知，网络卷积部分的神经元总数很大，其中大多数对最终分类决策的影响很小。因此，在本文中，我们提出了一种新的算法，使我们能够提取最重要的神经元激活，并利用这些信息来构建有效的描述符。由从全连接层和卷积层获取的值组成的描述符完美地表示了整个图像内容。使用这些描述符检索的图像在语义上与查询图像非常匹配，并且它们在其他次要图像特征（如背景、纹理或颜色分布）上也相似。基于IMAGENET1M数据集，使用VGG 16神经网络对所提出的描述符的这些特征进行了实验验证。
2020-07-13 cs.CV
VLASE: Vehicle Localization by Aggregating Semantic Edges
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；University of Utah（犹他大学）
在本文中，我们提出了VLASE，一个框架，使用图像的语义边缘特征，以实现道路上的定位。语义边缘特征表示边缘轮廓，该边缘轮廓将诸如建筑物-天空、道路-人行道和建筑物-地面的不同对象对分开。虽然先前的工作已经显示出有希望的结果，利用突出的类，如天空和建筑物之间的边界使用天际线，我们推广这种方法来考虑语义边缘功能，从19个不同的类。我们的定位算法很简单，但非常强大。我们使用最近推出的CASENet架构提取语义边缘特征，并利用VLAD框架进行图像检索。我们的实验表明，我们实现了一些国家的最先进的定位算法，如SIFT-VLAD及其深度变体NetVLAD的改进。我们使用消融研究来研究不同语义类的重要性，并表明我们的统一方法相比于单个突出特征（如天际线）具有更好的性能。
2018-07-06 cs.CV cs.RO
Large-Scale Topological Radar Localization Using Learned Descriptors
Warsaw University of Technology（华沙理工大学）
在这项工作中，我们提出了一种基于雷达扫描图像使用学习描述符的大规模拓扑定位方法。我们提出了一个简单而有效的深度网络架构，从雷达扫描图像计算旋转不变的判别全局描述符。在MulRan和Oxford Radar RobotCar两个大规模驾驶数据集上对该方法的性能和泛化能力进行了实验评估。此外，我们提出了一个基于雷达和基于激光雷达的定位使用学习的全局描述符的比较评估。我们的代码和训练模型在项目网站上公开提供。
2021-10-06 cs.CV
Deep Descriptor Transforming for Image Co-Localization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；The University of Adelaide（阿德莱德大学）
随着机器学习应用的快速扩展，可重用模型设计变得越来越重要。在本文中，我们专注于预训练深度卷积模型的可重用性。具体来说，与将预训练模型视为特征提取器不同，我们揭示了卷积层下的更多宝藏，即，卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法，命名为深描述符变换（DDT），用于评估描述符的相关性，然后获得类别一致的区域，它可以准确地定位一组图像中的共同对象。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上，DDT始终大幅优于现有的最先进的方法。此外，DDT还表现出良好的泛化能力，不可见的类别和处理噪声数据的鲁棒性。
2017-05-08 cs.CV cs.LG
Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
我们提出了一个新的概念，直接匹配从RGB图像中提取的特征描述符，从三维点云提取的特征描述符。我们使用这个概念来本地化的位置和方向（姿态）的查询图像的相机在密集的点云。我们生成一个数据集匹配的2D和3D描述符，并用它来训练一个建议的描述符匹配算法。为了在点云中定位查询图像，我们从查询图像中提取2D关键点和描述符。然后使用描述符匹配器通过将2D描述符与点云的预提取的3D描述符进行匹配来找到对应的2D和3D关键点对。该信息用于鲁棒的姿态估计算法中，以在3D点云中定位查询图像。实验表明，直接匹配的2D和3D描述符不仅是一个可行的想法，但也实现了竞争力的准确性相比，其他国家的最先进的相机姿态定位的方法。
2019-06-14 cs.CV
Ground Texture Based Localization Using Compact Binary Descriptors
Robert Bosch GmbH（罗伯特·博世有限公司）；Goethe University（歌德大学）；Norwegian Open AI Lab（挪威开放人工智能实验室）；NTNU（挪威科技大学）
基于地面纹理的定位是实现车辆高精度定位的一种有效方法。我们提出了一种自包含的方法，可以用于全局定位以及后续的本地定位更新，即它允许机器人本地化，而无需任何知识，其当前的行踪，但它也可以利用先验姿态估计，以减少计算时间显着。我们的方法是基于一种新的匹配策略，我们称之为身份匹配，这是基于紧凑的二进制特征描述符。只有当特征对的描述符相同时，标识匹配才将它们视为匹配。虽然其他全局定位方法的计算速度更快，但我们的方法达到了更高的定位成功率，并且可以在初始定位后切换到局部定位。
2020-12-18 cs.CV cs.RO
Line as a Visual Sentence: Context-aware Line Descriptor for Visual Localization
KAIST（韩国科学技术院）；SNU（首尔国立大学）
除了用于图像匹配的特征点外，线特征还提供了额外的约束，以解决机器人和计算机视觉（CV）中的视觉几何问题。虽然最近的卷积神经网络（CNN）为基础的线描述符是有前途的视点变化或动态环境，我们声称，CNN架构有先天的缺点，抽象到固定尺寸的描述符的可变线长度。在本文中，我们有效地介绍了线变压器处理可变线路。受自然语言处理（NLP）任务的启发，句子可以在神经网络中很好地理解和抽象，我们将线段视为包含点（单词）的句子。通过动态地关注线上可描述的点，我们的描述符在可变线长度上表现出色。我们还提出了线签名网络共享线的几何属性的社区。作为组描述符，网络通过理解线的相对几何形状来增强线描述符。最后，我们提出了建议的线描述符和匹配的点和线定位（PL-Loc）。我们表明，视觉定位与特征点可以提高使用我们的线功能。我们验证了所提出的方法单应性估计和视觉定位。
2021-09-10 cs.CV cs.RO
Panoramic Annular Localizer: Tackling the Variation Challenges of Outdoor Localization Using Panoramic Annular Images and Active Deep Descriptors
Zhejiang University（浙江大学）
视觉定位是一个有吸引力的问题，估计相机定位从数据库图像的基础上查询图像。它是各种应用的关键任务，如自动驾驶汽车，辅助导航和增强现实。该任务的挑战性问题在于查询和数据库图像之间的各种外观变化，包括光照变化，动态对象变化和视点变化。为了解决这些问题，本文提出了一种结合全景环形透镜和鲁棒深度图像描述子的全景环形定位器。将单摄像机拍摄的全景环形图像进行处理后送入NetVLAD网络，形成主动深度描述子，利用序贯匹配生成定位结果。在公共数据集和现场进行的实验表明了该系统的有效性。
2019-07-15 cs.CV
Leveraging Deep Visual Descriptors for Hierarchical Efficient Localization
ETH Zürich（苏黎世联邦理工学院）
许多机器人应用需要精确的姿态估计，尽管在大型和不断变化的环境中运行。这可以通过视觉定位来解决，使用预先计算的周围环境的3D模型。姿态估计相当于使用局部描述符找到查询图像中的2D关键点与模型中的3D点之间的对应关系。然而，机器人平台的计算能力通常有限，这使得这项任务在大规模环境中具有挑战性。二进制特征描述符显着加快了这种2D-3D匹配，并已成为流行的机器人社区，但也强烈削弱了鲁棒性感知混淆和视点，照明和场景结构的变化。在这项工作中，我们建议利用深度学习的最新进展来执行有效的分层定位。我们首先使用学习的图像范围的全局描述符在地图级别进行定位，然后仅根据候选位置中计算的2D-3D匹配来估计精确的姿势。这限制了本地搜索，从而允许有效地利用强大的非二进制描述符，这些描述符通常在资源受限的设备上被忽略。我们的方法可以在流行的移动平台上实时运行时实现最先进的本地化性能，从而为机器人研究带来新的前景。
2018-09-18 cs.CV
SegMap: Segment-based mapping and localization using data-driven descriptors
ETH Zurich（苏黎世联邦理工学院）；Sevensense Robotics AG（七感机器人股份公司）
在事先的全局地图中精确估计机器人的姿态是移动机器人的基本能力，例如自动驾驶或在灾区的探索。然而，这项任务在非结构化的动态环境中仍然具有挑战性，在这种环境中，局部特征没有足够的鉴别力，全局场景描述符仅提供粗略的信息。因此，我们提出了SegMap：一个地图表示解决方案的定位和映射的基础上提取的部分在3D点云。在段的水平上工作提供了增加的不变性的视点和局部结构的变化，并促进大规模的3D数据的实时处理。SegMap利用单个紧凑的数据驱动描述符来执行多个任务：全局定位，3D密集地图重建和语义信息抽取。SegMap的性能在多个城市驾驶和搜索和救援实验中进行了评估。我们表明，学习SegMap描述符具有优越的段检索能力，相比国家的最先进的手工制作的描述符。因此，我们实现了更高的定位精度和6%的召回率比国家的最先进的。这些基于段的定位使我们能够减少开环里程漂移高达50%。SegMap是开源的，并且易于运行演示。
2019-09-27 cs.CV cs.RO
Delta Descriptors: Change-Based Place Representation for Robust Visual Localization
Queensland University of Technology（昆士兰科技大学）；Monash University（蒙纳士大学）
视觉位置识别具有挑战性，因为有很多因素会导致一个地方的外观发生变化，从昼夜周期到季节变化再到大气条件。近年来，已经开发了大量方法来解决这一挑战，包括深度学习的图像描述符，域转换和顺序滤波，所有这些方法都具有通用性和速度敏感性等缺点。在本文中，我们提出了一种新的描述符，来自跟踪任何学习的全局描述符随时间的变化，称为三角洲描述符。增量描述符通过考虑沿路线观察到的地点之间的时间差异，以无监督的方式减轻在原始描述符匹配空间中引起的偏移。像所有其他方法一样，Delta描述符有一个缺点-帧到帧的波动性-可以通过将它们与顺序滤波方法相结合来克服。使用两个基准数据集，我们首先单独展示了Delta描述符的高性能，然后在与基于序列的匹配相结合时展示了新的最先进的性能。我们还提出的结果表明，该方法与四种不同的底层描述符类型，和其他两个有益的属性相比，现有的技术的三角洲描述符：其增加的固有鲁棒性的变化，在相机运动和降低的性能退化率，作为降维应用。源代码可在https://github.com/oravus/DeltaDescriptors上获得。
2020-07-30 cs.CV cs.IR cs.LG
Cross-Descriptor Visual Localization and Mapping
ETH Zürich（苏黎世联邦理工学院）；Microsoft MR & AI Lab（微软混合现实与人工智能实验室）
视觉定位和映射是大多数混合现实和机器人系统的关键技术。大多数最先进的方法依赖于局部特征来建立图像之间的对应关系。在本文中，我们提出了三种新的场景定位和映射，需要不断更新的功能表示和能力，以匹配不同的功能类型。虽然定位和映射是一个基本的计算机视觉问题，但传统的设置假设在地图的整个演化过程中使用相同的局部特征。因此，每当底层特征发生变化时，整个过程都要从头开始重复。然而，这在实践中通常是不可能的，因为原始图像通常不被存储，并且重建地图可能导致所附数字内容的丢失。为了克服当前方法的局限性，我们提出了跨描述符定位和映射的第一个原则性解决方案。我们的数据驱动的方法是不可知的特征描述符类型，具有较低的计算要求，并与描述算法的数量线性扩展。大量的实验证明了我们的方法对各种手工制作和学习功能的最先进的基准测试的有效性。
2021-09-21 cs.CV
GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization
ITMO University（ITMO大学）；Robotics Center（机器人中心）；T-Tech
针对现有视觉定位方法优化复杂、精度有限的问题，提出将轻量XFeat关键点描述子集成到3DGS的两阶段定位方法，通过2D-3D匹配粗定位加光度损失优化精调，在室内外基准上优于NeRFMatch等同类方法。
2025-03-20 cs.AI cs.CV cs.LG
CoPR: Towards Accurate Visual Localization With Continuous Place-descriptor Regression
Delft University of Technology（代尔夫特理工大学）
本文提出连续地点描述符回归CoPR，通过插值和外推从稀疏参考图回归额外VPR特征描述符以加密地图，在三个数据集上平均提升VPR定位精度约30%，并与相对位姿估计形成互补。
2023-04-14 cs.CV
FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization
Queensland University of Technology（昆士兰理工大学）
针对直接2D-3D匹配因搜索空间歧义导致精度低的问题，提出FUSELOC方法，通过加权平均算子融合全局与局部描述符，在减少43%内存且提速1.6倍的情况下，性能接近分层方法，首次实现直接匹配算法在不影响效率的前提下受益于全局描述符。
2025-08-26 cs.CV cs.RO
Semantic SuperPoint: A Deep Semantic Descriptor
São Carlos School of Engineering（圣卡洛斯工程学院）；University of São Paulo（圣保罗大学）
几种SLAM方法受益于语义信息的使用。大多数集成测光方法与高级语义，如目标检测和语义分割。我们建议在共享编码器架构中添加语义分割解码器将有助于描述符解码器学习语义信息，从而改进特征提取器。这将是比仅使用高级语义信息更鲁棒的方法，因为它将在描述符中固有地学习并且将不依赖于语义预测的最终质量。为了添加这些信息，我们利用多任务学习方法来提高准确性并平衡每个任务的性能。根据HPatches数据集上的检测和匹配度量对所提出的模型进行评估。结果表明，语义超点模型的性能优于基线模型。
2022-11-02 cs.CV
DeepPointMap: Advancing LiDAR SLAM with Unified Neural Descriptors
Fudan University（复旦大学）
针对点云SLAM中定位精度与地图尺寸难以兼顾的问题，本文提出统一架构DeepPointMap，通过神经网络提取稀疏神经描述符，实现内存高效的地图表示与精确多尺度定位，并成功扩展至多智能体协作SLAM。
2023-12-05 cs.CV cs.LG cs.RO
Unsupervised Object Discovery and Co-Localization by Deep Descriptor Transforming
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
随着计算机视觉和机器学习应用的快速发展，可重用模型设计变得越来越重要。在本文中，我们专注于预训练深度卷积模型的可重用性。具体来说，与将预训练模型视为特征提取器不同，我们揭示了卷积层下的更多宝藏，即，卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法，称为深度描述符变换（DDT），用于评估描述符的相关性，然后获得类别一致的区域，该区域可以准确地定位一组未标记图像中的公共对象，即，无监督的对象发现。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上，DDT始终大幅优于现有的最先进的方法。此外，DDT还表现出良好的泛化能力，不可见的类别和处理噪声数据的鲁棒性。除此之外，DDT还可以用于将Web图像收集到有效的外部数据源中，以提高图像识别和目标检测的性能。
2017-07-20 cs.CV
GeoMix: Descriptor-Free Visual Localization via Global Context and Multi-Detector Training
Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）；University of Oulu（奥卢大学）
提出GeoMix框架，通过局部方向与距离嵌入、全局上下文节点和多检测器混合训练，增强几何判别性，显著提升无描述符视觉定位精度。
2026-08-25 cs.CV
Text Localization in Video Using Multiscale Weber's Local Descriptor
Mangalore University（芒格洛尔大学）；KVG College of Engineering（KVG工程学院）
在本文中，我们提出了一种新的方法来检测存在于视频和场景图像的多尺度韦伯的局部描述符（MWLD）的基础上的文本。给定输入视频，镜头被识别，并且基于它们的时空关系提取关键帧。从每个关键帧中，我们使用WLD检测局部区域信息与不同的半径和相邻关系的像素值，从而获得强度增强的关键帧在多个尺度上。这些多尺度WLD关键帧合并在一起，然后使用形态学操作计算水平梯度。然后将得到的结果二值化，并基于几何特性消除假阳性。最后，我们使用连接成分分析和形态膨胀操作来确定文本区域，以帮助文本定位。在公开的标准Hua、Horizontal-1和Horizontal-2视频数据集上的实验结果表明，该方法可以准确地检测和定位视频中各种大小、字体和颜色的文本。
2015-04-15 cs.CV
Robot Localization Using a Learned Keypoint Detector and Descriptor with a Floor Camera and a Feature Rich Industrial Floor
Fraunhofer IML（弗劳恩霍夫物流研究所）
提出KOALA框架，利用深度神经网络从工业地板图像提取关键点特征，无需可读标记即可实现高精度机器人定位，位置误差2cm，有效解决机器人绑架问题。
2025-04-04 cs.CV cs.RO
FlashMix: Fast Map-Free LiDAR Localization via Feature Mixing and Contrastive-Constrained Accelerated Training
NYU Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
FlashMix提出一种基于冻结主干网络和MLP混合器的无地图LiDAR定位方法，通过描述符缓冲与对比约束实现训练加速和性能提升。
2024-09-27 cs.CV
Learning Local Feature Descriptor with Motion Attribute for Vision-based Localization
Alibaba Group（阿里巴巴集团）；Beihang University（北京航空航天大学）；Peking University（北京大学）
近年来，基于摄像机的定位已被广泛用于机器人应用，大多数提出的算法依赖于从记录的图像中提取的局部特征。为了获得更好的性能，用于开环定位的特征需要是短期全局静态的，而用于重新定位或环路闭合检测的特征需要是长期静态的。因此，可以利用局部特征点的运动属性来提高定位性能，例如，从移动的人或车辆提取的特征点由于其不稳定性而可以从这些系统中排除。在本文中，我们设计了一个完全卷积网络（FCN），命名为MD-Net，同时执行运动属性估计和特征描述。MD-Net有一个共享的主干网络来从输入图像中提取特征，两个网络分支来完成每个子任务。使用MD-Net，我们可以在获得运动属性的同时避免增加更多的计算量。实验结果表明，该方法可以学习不同的局部特征描述符，以及运动属性，只有使用一个FCN，由一个大幅度优于竞争的方法。我们还表明，该算法可以集成到一个基于视觉的定位算法，以提高估计精度显着。
2019-08-07 cs.CV cs.RO
Appearance-based indoor localization: A comparison of patch descriptor performance
Imperial College London（帝国理工学院）
视觉是最重要的感官之一，人类在航行中广泛使用它。我们评估了不同类型的图像和视频帧描述符，这些描述符可用于确定独特的视觉地标，以便根据他们携带的相机所看到的内容来定位一个人。为此，我们创建了一个数据库，其中包含超过3公里的视频序列，并以沿不同走廊行驶距离的形式提供地面实况。使用该数据库，可以评估定位的准确性-在知道用户在哪条路线上方面-以及在沿着特定路线的位置方面。对于每种类型的描述符，我们还测试了不同的技术来编码视觉结构，并在行程之间搜索以估计用户的位置。这些技术包括单帧描述符、使用帧序列的描述符以及彩色和非彩色描述符。我们发现单帧索引在这个特定的数据集中工作得更好。这可能是因为拿着相机的人的运动使得视频太依赖于一个特定旅程的单个步骤和运动。我们的研究结果表明，基于外观的信息可以是室内导航数据的一个额外来源，增强了无线电信号强度指示器（RSSI）所提供的信息。这种视觉信息可以通过众包低分辨率视频馈送来收集，从而允许不同用户的旅程彼此关联，并且在不需要显式地图的情况下推断位置。这为基于同时定位与地图构建（SLAM）算法的方法提供了补充方法。
2015-03-11 cs.CV cs.RO
Unsupervised Deep Learning-based Keypoint Localization Estimating Descriptor Matching Performance
Grupo VARPA（VARPA组）；Instituto de Investigacion Biomédica de A Coruña (INIBIC)（阿罗纳生物医学研究所（INIBIC））；Universidade da Coruña（科鲁纳大学）；Departamento de Ciencias de la Computación y Tecnologías de la Información（计算机科学与信息技术部门）
本研究提出一种无监督视网膜图像配准流程，通过创新的无标注描述符学习与关键点检测器网络，实现了与领先有监督方法相当的性能，可适配其他领域和模态。
2026-08-14 cs.CV
Is Geometry Enough for Matching in Visual Localization?
Technical University of Munich（慕尼黑工业大学）；Universidade de Lisboa（里斯本大学）
在本文中，我们建议超越成熟的方法，以视觉为基础的本地化，依赖于查询图像和3D点云之间的视觉描述符匹配。虽然通过视觉描述符匹配关键点使定位高度准确，但它具有显著的存储需求，引起了隐私问题，并需要长期更新描述符。为了优雅地解决大规模定位的实际挑战，我们提出了GoMatch，这是一种基于视觉的匹配的替代方案，它仅依赖于将图像关键点与地图匹配的几何信息，表示为一组方位向量。我们新颖的3D点的方位矢量表示，显着缓解了基于几何的匹配中的跨模态挑战，这些挑战阻止了先前的工作在现实环境中解决定位问题。通过额外的精心架构设计，GoMatch改进了先前基于几何的匹配工作，在剑桥地标和7场景上的平均中值姿态误差减少了（10.67m，95.7deg）和（1.43m，34.7deg），同时与最好的基于视觉的匹配方法相比，只需要1.5/1.7%的存储容量。这证实了其在现实世界中的定位的潜力和可行性，并为未来不需要存储视觉描述符的城市规模视觉定位方法的发展打开了大门。
2022-07-30 cs.CV
A Novel Image Descriptor with Aggregated Semantic Skeleton Representation for Long-term Visual Place Recognition
College of Information Science and Engineering, NorthEastern Universerty（东北大学信息科学与工程学院）；Neusoft Reach Automotive Technology Company（东软睿驰汽车技术公司）
在同时定位与地图构建（SLAM）系统中，闭环可以消除累积误差，这是由视觉位置识别（VPR）完成的，VPR是一种通过匹配特定场景描述符从一组预先存储的序列图像中检索当前场景的任务。在城市场景中，由于季节和光照等因素引起的外观变化给场景描述符的鲁棒性带来了很大的挑战。语义分割图像不仅能提供物体的形状信息，而且能提供物体的类别和空间关系，不受场景外观变化的影响。在局部聚集描述符向量（VLAD）的基础上，提出了一种新的基于聚集语义骨架表示（SSR）的图像描述符SSR-VLAD，用于描述环境变化剧烈的VPR。一幅图像的SSR-VLAD聚合了每个类别的语义骨架特征，并编码了图像语义信息的时空分布信息。我们在三个具有挑战性的城市场景的公共数据集上进行了一系列实验。与CoHOG、NetVLAD、LOST-X和Region-VLAD等四种VPR方法相比，SSR-VLAD匹配的VPR方法在保持较好实时性的同时，性能优于其他方法。
2022-02-08 cs.CV
Semantic Softmax Loss for Zero-Shot Learning
Tianjin University（天津大学）
零样本学习（Zero-Shot Learning，简称ZRL）的一个典型的流水线是将视觉特征和类语义描述符集成到具有线性或双线性模型的多模态框架中。然而，视觉特征和类语义描述符位于不同的结构空间，线性或双线性模型不能很好地捕捉不同模态之间的语义交互。在这封信中，我们提出了一种非线性的方法，通过将类语义描述符嵌入到多类分类网络的softmax层中，通过语义Softmax损失来将BML作为多类分类问题。为了缩小视觉特征和语义描述符之间的结构差异，我们进一步使用L2规范化约束的视觉特征和视觉原型之间的差异与语义描述符重建。三个基准数据集的结果，即，AwA、CUB和SUN实验表明，该方法能够稳定地提高分类性能，并在zero-shot分类和zero-shot检索方面达到了最先进的性能。
2017-05-22 cs.CV
Residual Learning for Image Point Descriptors
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所）；ETH Zürich（苏黎世联邦理工学院）
本文提出一种利用手工描述符知识仅学习残差部分的图像点描述符方法，实现50倍收敛加速，并在匹配、相机定位和SfM任务中取得优于纯学习或手工描述符的性能。
2023-12-24 cs.CV cs.RO
Automated Map Reading: Image Based Localisation in 2-D Maps Using Binary Semantic Descriptors
University of Bristol（布里斯托大学）
我们描述了一种新的方法，在城市环境中使用图像和2-D地图之间的语义匹配图像的本地化。它与绝大多数现有的使用图像到图像数据库匹配的方法形成对比。我们使用高度紧凑的二进制描述符来表示位置的语义特征，与现有方法相比显着提高了可扩展性，并具有对可变成像条件具有更大不变性的潜力。这种方法也更类似于人类的地图阅读，使其更适合人类与系统的交互。二进制描述符指示离散观看方向上是否存在与建筑物和路口相关的语义特征。我们使用CNN分类器来检测图像中的特征，并将描述符估计与从2-D地图中获得的位置标记描述符数据库进行匹配。孤立地说，这些描述符没有足够的区分力，但是当沿着一条路线顺序连接时，它们的组合变得非常独特，即使在使用非完美分类器时也允许定位。通过考虑路线上的左转弯或右转弯，性能得到进一步改善。使用Google StreetView和OpenStreetMap数据获得的实验结果表明，该方法具有相当大的潜力，使用对应于约200米的路线，实现约85%的定位精度。
2018-03-02 cs.CV cs.RO
Deep SIMBAD: Active Landmark-based Self-localization Using Ranking -based Scene Descriptor
University of Fukui（福井大学）
基于地标的机器人自定位最近作为用于跨域（例如，时间、天气和季节）。然而，基于地标的自定位对于被动观察者（例如，手动机器人控制），因为许多视点可能无法提供有效的地标视图。在这项研究中，我们考虑了一个积极的自我定位任务的积极观察者，并提出了一种新的强化学习（RL）为基础的下一个最佳视图（NBV）规划。我们的贡献如下。(1)基于SIMPAD的VPR：我们将基于地标的紧凑场景描述问题表述为SIMBAD（基于相似性的模式识别），并进一步提出了其深度学习扩展。(2)VPR到NBV的知识转移：我们解决了不确定性下RL的挑战（即，主动自定位）。(3)基于NNQL的NBV：我们将可用的VPR作为经验数据库，采用最近邻近似Q学习（NNQL）。结果显示了一个非常紧凑的数据结构，它将VPR和NBV压缩到单个增量倒排索引中。在公开的NCLT数据集上的实验验证了该方法的有效性。
2021-09-06 cs.CV cs.RO
SpatiaLoc: Leveraging Multi-Level Spatial Enhanced Descriptors for Cross-Modal Localization
Fuzhou University（福州大学）；Shandong Academy of Sciences（山东省科学院）；Qingdao University（青岛大学）；Tongji University（同济大学）
SpatiaLoc通过多级空间增强描述符提升跨模态定位性能，采用粗到细策略结合贝塞尔曲线和频率域建模，实现更精确的机器人定位。
2026-01-07 cs.CV
Long-term Visual Localization using Semantically Segmented Images
Chalmers University of Technology（查尔姆斯理工大学）；Zenuity（Zenuity（泽努蒂））
鲁棒跨季节定位是自动驾驶车辆长期视觉导航的主要挑战之一。在本文中，我们利用最近的进展，语义分割的图像，即，其中每个像素被分配与其表示的对象的类型相关的标签，以解决长期视觉定位的问题。我们表明，语义标记的3-D点地图的环境，连同语义分割的图像，可以有效地用于车辆定位，而不需要详细的特征描述符（SIFT，SURF等）。因此，我们依赖于图像分割器的训练，而不是依赖于手工制作的特征描述符。与传统的基于描述符的映射相比，所得到的映射占用的存储空间少得多。一个基于粒子滤波器的语义定位解决方案相比，一个基于SIFT功能，即使有很大的季节性变化，在一年中，我们的表现与更大的和更具描述性的SIFT功能，并能够本地化的错误低于1米的大部分时间。
2018-03-02 cs.CV
DRIP: Discriminative Rotation-Invariant Pole Landmark Descriptor for 3D LiDAR Localization
University of Fukui（福井大学）
针对3D LiDAR自定位中杆状地标判别力不足的问题，提出融合ROI多模态特征、旋转不变CNN与无监督杆词压缩的DRIP描述符，并在NCLT上验证其可提升先进杆状定位框架性能。
2024-06-17 cs.CV
Real-Time Anomalous Behavior Detection and Localization in Crowded Scenes
在本文中，我们提出了一个准确和实时的【形】异常检测和定位在拥挤的场景，并提出了两个描述符来表示异常行为的视频。我们认为视频是一组立方体补丁。基于异常发生的低可能性，以及视频中正常补丁中结构的冗余性，考虑两个（全局和局部）视图来对视频进行建模。我们的算法有两个组成部分，（1）表示补丁使用局部和全局描述符，和（2）建模的训练补丁使用一个新的表示。我们有两个高斯模型的所有训练补丁方面的全球和局部描述符。局部和全局特征基于相邻块之间的结构相似性和以无监督方式学习的特征。我们提出了一种融合策略，将这两个描述符作为我们系统的输出。实验结果表明，我们的算法执行像一个国家的最先进的方法在几个标准的数据集，但甚至是更有效的时间。
2016-01-02 cs.CV
Descriptellation: Deep Learned Constellation Descriptors
ETH Zurich（苏黎世联邦理工学院）；The University of Queensland（昆士兰大学）；Arrival Ltd（Arrival有限公司）
当前的全局定位描述符通常在巨大的视点或外观变化下挣扎。一个可能的改进是添加语义对象的拓扑信息。然而，手工制作的拓扑描述符很难调整，并且对环境噪声、剧烈的视角变化、对象遮挡或误检测不鲁棒。为了解决这个问题，我们通过将语义上有意义的对象星座建模为图，并使用深度图卷积网络将星座映射到描述符，来制定一种基于学习的方法。我们证明了我们的深度学习星座描述符（描述）在两个真实世界的数据集的有效性。虽然描述是在随机生成的模拟数据集上训练的，但它在现实世界的数据集上显示出良好的泛化能力。描述也优于最先进的和手工制作的星座描述符的全球定位，是强大的不同类型的噪声。该代码可在https://github.com/ethz-asl/Descriptellation上公开获取。
2022-09-14 cs.CV cs.RO
Learning Semantic Facial Descriptors for Accurate Face Animation
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
针对人脸动画中基于模型方法难保身份和无模型方法难精确传递运动的问题，提出在可学习解耦向量空间中学习语义面部描述子，通过学习正交基向量解耦身份与运动子空间，实现优于SOTA的身份保留与运动传递。
2025-01-29 cs.CV
Robust Scene Coordinate Regression via Geometrically-Consistent Global Descriptors
Queensland University of Technology（昆士兰理工大学）
本文提出一种通过几何一致的全局描述符提升场景坐标回归鲁棒性的方法，无需人工标注即可在多样环境中实现高效定位。
2026-01-08 cs.CV
Semantic Face Compression for Metaverse: A Compact 3D Descriptor Based Approach
City University of Hong Kong（香港城市大学）；Peking University（北京大学）；Alibaba Group U.S.（阿里巴巴集团美国公司）
本文提出一种基于紧凑 3D 人脸描述符的元宇宙虚拟化身语义人脸压缩方法，允许直接传输供 AI 理解的描述符，在无需人类参与下实现高效的语义通信，其率精度性能显著优于 VVC 标准。
2023-09-24 cs.AI cs.CV
Semantic Visual Localization
Microsoft（微软）
在大范围视觉条件下的鲁棒视觉定位是计算机视觉中的一个基本问题。处理这个问题的困难情况不仅非常具有挑战性，而且具有高度的实际意义，例如，在用于增强现实或自主机器人的终身定位的上下文中。在本文中，我们提出了一种新的方法的基础上联合3D几何和语义的理解的世界，使它能够成功的条件下，以前的方法失败。我们的方法利用一种新的生成模型进行描述符学习，将语义场景完成作为辅助任务进行训练。由此产生的3D描述符通过编码高级别的3D几何和语义信息，对丢失的观测具有鲁棒性。在几个具有挑战性的大规模定位数据集上的实验表明，在极端视角，光照和几何变化下，定位是可靠的。
2018-04-16 cs.CV
Cross-Domain Semantic Segmentation with Large Language Model-Assisted Descriptor Generation
Zagazig University（宰加济格大学）
本文提出LangSeg方法，利用大语言模型生成的细粒度子类描述符结合预训练ViT，在无需大量重训练下实现跨域语义分割，在ADE20K和COCO-Stuff上mIoU最高提升6.1%。
2025-01-27 cs.CV
Semantic Deep Intermodal Feature Transfer: Transferring Feature Descriptors Between Imaging Modalities
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
在困难的环境条件下，RGB摄像机的视野可能会受到雾、灰尘或困难的照明情况的限制。由于热成像摄像机可显示热辐射，因此它们不受RGB摄像机的限制。然而，因为RGB和热成像在外观上显著不同，所以常见的、最先进的特征描述符不适合用于这些成像模态之间的模态间特征匹配。因此，使用RGB相机创建的视觉地图目前不能用于使用热成像相机的定位。在本文中，我们介绍了语义深度多式联运特征转移（Se-DIFT），一种将图像特征描述符从视觉转移到热谱的方法，反之亦然。为此，我们使用深度卷积编码器-解码器架构结合全局特征向量来预测不同成像模式中的潜在特征外观。由于热图像的表示不仅受到可以从RGB图像中提取的特征的影响，因此我们引入了全局特征向量来增强自动编码器的编码。全局特征向量包含关于场景的热历史的附加信息，该信息是从外部数据源自动提取的。通过增强编码器的编码，我们减少了超过7%的预测相比，传统的U-Net架构的预测的L1错误。为了评估我们的方法，我们使用Se-DIFT匹配RGB和热图像中检测到的图像特征描述符。随后，我们使用我们的方法对SIFT、SURF和ORB特征的联运可转移性进行了竞争性比较。
2019-07-26 cs.CV cs.LG eess.IV
Robust Change Detection Based on Neural Descriptor Fields
推理环境变化的能力对于机器人长时间运行至关重要。希望代理在操作期间捕获更改，以便可以跟踪操作，以确保工作会话的顺利进行。然而，不同的视角和累积的定位误差使机器人很容易错误地检测到周围世界的变化，这是由于低观测重叠和漂移的对象关联。在本文中，基于最近提出的类别级神经描述符字段（NDF），我们开发了一种对象级的在线变化检测方法，该方法对部分重叠的观测和噪声定位结果具有鲁棒性。利用NDF的形状完备性和SE（3）-等方差性，我们用紧凑的形状编码来表示对象，该形状编码从部分观测中编码完整的对象形状。然后，对象被组织在一个空间的树结构的基础上恢复的对象中心从NDF对象邻域的快速查询。通过形状码相似性关联对象和比较局部对象-邻居空间布局，我们提出的方法证明了低观测重叠和定位噪声的鲁棒性。我们在合成和真实世界的序列上进行实验，与多个基线方法相比，实现了改进的变化检测结果。项目网页：https://yilundu.github.io/ndf_change
2022-08-01 cs.CV cs.LG cs.RO
SphereVLAD++: Attention-based and Signal-enhanced Viewpoint Invariant Descriptor
University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
基于LiDAR的定位方法是最后一英里交付和自动驾驶等大规模导航任务的基本模块，定位鲁棒性高度依赖于视点和3D特征提取。我们以前的工作提供了一个视点不变的描述符来处理视点差异，然而，全球描述符遭受低信噪比在无监督聚类，降低了可区分的特征提取能力。在这项工作中，我们开发了一个注意力增强的视点不变的地方识别方法SphereVLAD++。SphereVLAD++将点云投影到每个独特区域的球面透视图上，并捕获局部特征及其与全局3D几何分布的依赖关系之间的上下文连接。作为回报，全局描述符中的聚集元素以局部和全局几何为条件，并支持Sphere VLAD的原始视点不变属性。在实验中，我们评估了SphereVLAD++在公共KITTI 360数据集和匹兹堡市自行生成的数据集上的本地化性能。实验结果表明，SphereVLAD++在较小甚至完全反向的视点差异下，检索成功率分别为0.69%和15.81%，优于其他同类方法。低计算要求和高时间效率也有助于其应用于低成本机器人。
2022-10-03 cs.CV cs.RO
COMPASS: COmpact Multi-channel Prior-map And Scene Signature for Floor-Plan-Based Visual Localization
Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg (UL)（自动化与机器人研究组，安全、可靠性与信任跨学科中心（SnT），卢森堡大学（UL））
本文提出COMPASS算法，利用平面图中的几何和语义先验信息，通过多通道径向描述符估计配备双鱼眼相机的机器人姿态，验证了跨模态结构匹配的可行性。
2026-04-28 cs.CV cs.RO
SSC: Semantic Scan Context for Large-Scale Place Recognition
Zhejiang University（浙江大学）
地点识别为SLAM系统提供了纠正累积错误的能力。与包含丰富纹理特征的图像不同，点云几乎是纯几何信息，这使得基于点云的地点识别具有挑战性。现有的作品通常编码低级特征，如坐标，法线，反射强度等，作为局部或全局描述符来表示场景。此外，他们往往忽略了点云之间的翻译匹配描述符。与现有的方法不同，我们探索使用高层次的功能，即语义，以提高描述符的表示能力。此外，在匹配描述符时，我们尝试校正点云之间的平移以提高准确性。具体而言，我们提出了一种新的全局描述符，语义扫描上下文，探索语义信息，更有效地表示场景。我们还提出了一个两步全局语义ICP，以获得用于对齐点云的3D姿态（x，y，yaw），以提高匹配性能。我们在KITTI数据集上的实验表明，我们的方法比最先进的方法有很大的优势。我们的代码可在https://github.com/lilin-hitcrt/SSC上获得。
2021-07-10 cs.CV cs.RO
SceneEncoder: Scene-Aware Semantic Segmentation of Point Clouds with A Learnable Scene Descriptor
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；School of Computer Science and Software Engineering, East China Normal University（华东师范大学计算机科学与软件工程学院）
在语义分割中，除了局部特征外，全局信息也起着至关重要的作用，但目前的研究工作往往未能明确地提取出有意义的全局信息并充分利用它，本文提出了一种场景编码器模块，以增强全局信息的场景感知引导效果。该模块预测一个场景描述符，该描述符学习表示场景中存在的对象的类别，并通过过滤掉不属于该场景的类别来直接指导点级语义分割。此外，为了减少局部区域的分割噪声，设计了一种区域相似性损失机制，将区分特征传播到具有相同标签的相邻点，从而增强了逐点特征的区分能力。我们将我们的方法集成到几个流行的网络中，并在基准数据集ScanNet和ShapeNet上进行了广泛的实验。结果表明，我们的方法大大提高了基线的性能，达到了最先进的性能。
2020-01-24 cs.CV
Analysis of feature detector and descriptor combinations with a localization experiment for various performance metrics
Istanbul Technical University（伊斯坦布尔理工大学）
本文通过移动机器人室内实验，比较不同特征检测器与描述符组合在图像匹配中的性能，分析不同组合在精度、时间、角度差等五项指标下的表现。
2017-10-17 cs.CV cs.SY eess.SY
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
