3rd Place Solution to Google Landmark Recognition Competition 2021
ByteDance Inc.（字节跳动公司）
在本文中，我们展示了我们对Google Landmark Recognition 2021竞赛的解决方案。首先，通过各种架构（即CNN-，Transformer-和基于混合的）提取图像的嵌入，这些架构通过ArcFace损失进行优化。然后，我们应用一个有效的管道来重新排名预测调整检索分数与分类logits和非地标干扰。最终，该集成模型在私人排行榜上获得0.489分，在2021年版Google地标识别竞赛中获得第三名。
2021-10-07 cs.CV
Inside Out Visual Place Recognition
University of Amsterdam（阿姆斯特丹大学）
视觉位置识别（VPR）通常涉及户外图像的定位。然而，局部化包含室外场景的一部分的室内场景对于广泛的应用可以具有很大的价值。在本文中，我们介绍了由内而外的视觉位置识别（IOVPR），一个任务，旨在本地化图像的基础上，通过窗口可见的室外场景。对于这项任务，我们提出了新的大规模数据集阿姆斯特丹-XXXL，在阿姆斯特丹拍摄的图像，其中包括640万全景街景图像和1000个用户生成的室内查询。此外，我们引入了一个新的训练协议由内而外的数据增强，以适应视觉位置识别方法定位室内图像，展示了由内而外的视觉位置识别的潜力。我们经验表明，我们提出的数据增强计划的好处在一个较小的规模，同时证明了这种大规模的数据集现有的方法的困难。通过这项新任务，我们的目标是鼓励IOVPR方法的发展。数据集和代码可在https://github.com/saibr/IOVPR上获得，用于研究目的
2021-11-26 cs.CV
Google Landmark Recognition 2020 Competition Third Place Solution
LINE Corp（LINE公司）；NVIDIA（英伟达）；ReadSense Ltd（阅感有限公司）；Carnegie Mellon University（卡内基梅隆大学）
我们为Google Landmark Recognition 2020竞赛提供第三名的解决方案。它是一个仅包含子中心ArcFace模型的全局特征集合。我们引入了ArcFace损失的动态余量，这是一系列可调的类大小余量函数，旨在处理GLDv2数据集的极端不平衡。渐进式微调和仔细的后处理也是解决方案的关键。我们的两支参赛队在私人排行榜上的得分分别为0.6344和0.6289，在736支参赛队中排名第三。
2020-10-11 cs.CV
OpenMPR: Recognize Places Using Multimodal Data for People with Visual Impairments
University of Huddersfield（哈德斯菲尔德大学）
位置识别在导航辅助中起着至关重要的作用，也是辅助技术的一个挑战性问题。由于数据库和查询图像之间的各种变化，位置识别容易出现错误定位。针对视障人士的穿戴式辅助设备，提出了一种开源的位置识别算法OpenMPR，利用多模态数据解决位置识别的挑战性问题。与传统的地点识别相比，OpenMPR不仅利用了多个有效的描述符，而且在图像匹配中为这些描述符分配了不同的权重。算法中引入GNSS数据，采用基于圆锥体的序列搜索算法进行鲁棒位置识别。实验结果表明，该算法能够较好地解决实际场景中的位置识别问题，在辅助导航性能上优于现有算法。在真实世界的测试数据集上，在线OpenMPR在没有光照变化的情况下在100%召回率下达到88.7%的准确率，在光照变化的情况下在99.3%召回率下达到57.8%的准确率。OpenMPR可在https://github.com/chengricky/OpenMultiPR上获得。
2019-09-15 cs.CV
Learning Semantics for Visual Place Recognition through Multi-Scale Attention
Polytechnic University of Turin（都灵理工大学）；CINI - Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家大学信息学联盟）
在本文中，我们解决的任务，视觉识别（VPR），其目标是检索正确的GPS坐标的一个给定的查询图像对一个巨大的地理标记的画廊。虽然最近的工作已经表明，结合语义和外观信息的建筑描述符是有益的，但当前最先进的方法选择自上而下定义的重要语义内容。在这里，我们提出了第一个VPR算法，它从数据的视觉外观和语义内容中学习鲁棒的全局嵌入，通过多尺度注意力模块识别位置来动态引导分割过程。在各种场景下的实验验证了这种新方法，并证明了其对最先进的方法的性能。最后，我们提出了第一个适合于地点识别和分割任务的合成世界数据集。
2022-01-25 cs.CV
CAMAL: Context-Aware Multi-layer Attention framework for Lightweight Environment Invariant Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
在过去的几年里，深度卷积神经网络（D-CNN）已经在视觉位置识别（VPR）方面表现出了最先进的（SOTA）性能，VPR是长期智能机器人视觉（视觉感知定位和导航系统）的关键组成部分。D-CNN在大规模地点数据集上进行训练后获得了著名的泛化能力，并学习了持久的图像区域，这些区域在不断变化的条件和相机视角下对于特定地点识别具有鲁棒性。然而，针对用于确定资源受限的移动机器人的近似位置的基于计算和功率密集型D-CNN的VPR算法，轻量级VPR技术是优选的。本文提出了一个计算和能量高效的CAMAL框架，该框架可以有效地捕获特定于位置的多层卷积注意力，以实现环境不变-VPR。在低4倍的功耗下，在具有挑战性的基准位置识别数据集上评估所提出的VPR框架，显示出更好的和可比的精确召回（AUC-PR）曲线下的面积，与当代VPR方法相比，图像检索性能提高了约4倍。
2020-08-13 cs.CV
Towards classification-based representation learning for place recognition on LiDAR scans
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学）
本文将自动驾驶中的位置识别构建为多类分类问题，通过为LiDAR扫描分配离散位置标签并训练编码器-解码器模型直接分类位置，在NuScenes数据集上取得与对比学习相当的性能，且在训练效率和稳定性上更具优势。
2025-11-04 cs.CV
Multi-modal Visual Place Recognition in Dynamics-Invariant Perception Space
Southeast University（东南大学）
视觉位置识别是机器人领域中的一个重要而具有挑战性的问题。在这封信中，我们第一次探索使用多模态融合的语义和视觉模态的动态不变空间，以提高在动态环境中的位置识别。我们首先设计了一个新的深度学习架构来生成静态语义分割，并直接从相应的动态图像中恢复静态图像。然后，我们创新性地利用空间金字塔匹配模型将静态语义分割编码为特征向量。并行地，使用流行的词袋模型对静态图像进行编码。在上述多模态特征的基础上，通过语义和视觉编码的联合相似度来度量查询图像与目标地标之间的相似度。大量的实验表明，所提出的方法的有效性和鲁棒性的位置识别在动态环境中。
2022-01-02 cs.CV
Uncertainty-Aware Lidar Place Recognition in Novel Environments
DATA61, CSIRO（联邦科学与工业研究组织DATA61）；Queensland University of Technology（昆士兰科技大学）
本文研究跨新环境的激光雷达地点识别可靠性问题，提出不确定性感知评估协议与综合基准，证明Ensembles方法可一致提升识别与不确定性估计性能。
2023-07-12 cs.CV
Light-weight place recognition and loop detection using road markings
KAIST（韩国科学技术院）
在本文中，我们提出了一个有效的算法，鲁棒的地方识别和循环检测使用相机信息。我们的管道纯粹依赖于道路标记的空间定位和语义信息。道路标记序列数据库的创建是在线执行的，这使得该方法适用于实时闭环视觉SLAM技术。此外，我们的算法对各种天气条件，车辆遮挡和阴影具有鲁棒性。我们已经进行了大量的实验，突出了所提出的方法的有效性和可扩展性。
2017-10-20 cs.CV
City-Scale Visual Place Recognition with Deep Local Features Based on Multi-Scale Ordered VLAD Pooling
KAIST（韩国科学技术院）
该研究针对城市级视觉地点识别的挑战，提出基于卷积神经网络激活的多尺度有序VLAD池化方法以嵌入空间信息，构建全自动识别系统，同时发布新数据集并通过实验给出性能提升见解。
2023-05-01 cs.CV
Attention-based Pyramid Aggregation Network for Visual Place Recognition
Shenzhen University（深圳大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Australian National University（澳大利亚国立大学）
视觉位置识别在城市环境中具有挑战性，通常被视为一个大规模的图像检索任务。地点识别的内在挑战在于，复杂的城市场景中经常出现汽车和树木等令人困惑的物体，具有重复结构的建筑物可能会导致过度计数和突发问题，从而降低图像表示质量。为了解决这些问题，我们提出了一个基于注意力的金字塔聚合网络（APANet），它是在一个端到端的方式进行训练的地方识别。APANet的一个主要组成部分，空间金字塔池，可以有效地编码包含地理信息的多尺寸建筑物。另一个，注意力块，被采用作为一个区域评估器，以抑制混乱的区域功能，而突出的歧视性。在测试中，我们进一步提出了一种简单而有效的PCA功率白化策略，通过合理限制过计数的影响，显着改善了广泛使用的PCA白化。实验结果表明，该算法在两个地点识别基准上的性能优于现有的方法，并且在标准图像检索数据集上具有很好的泛化能力。
2018-08-01 cs.CV
Localizing Discriminative Visual Landmarks for Place Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；UISEE Technologies Beijing Co., Ltd（北京驭势科技有限公司）；University of Chinese Academy of Sciences（中国科学院大学）
我们解决的问题，视觉位置识别与感知的变化。视觉场所识别的基本问题是生成鲁棒的图像表示，这些图像表示不仅对环境变化不敏感，而且能够区分不同的场所。利用卷积神经网络（CNN）的特征提取能力，我们进一步研究了如何定位对相似性测量有积极贡献的有区别的视觉地标，如建筑物和植被。特别地，地标定位网络（LLN）被设计为指示图像的哪些区域用于区分。在具有不同外观和视点变化的开源数据集上进行了详细的实验。所提出的方法实现了优越的性能对国家的最先进的方法。
2019-04-14 cs.CV
CGiS-Net: Aggregating Colour, Geometry and Implicit Semantic Features for Indoor Place Recognition
University of Bristol（布里斯托大学）；Zhejiang University（浙江大学）
我们描述了一种新的方法，从RGB点云室内地点识别聚合低级别的颜色和几何特征与高级别的隐式语义特征的基础上。它使用两阶段深度学习框架，其中第一阶段针对语义分割的辅助任务进行训练，第二阶段使用第一阶段中的层的特征来生成用于位置识别的区分描述符。辅助任务鼓励特征在语义上有意义，因此将RGB点云数据中的几何形状和颜色与隐含的语义信息聚合在一起。我们使用来自ScanNet数据集的室内位置识别数据集进行训练和评估，测试集包括从100个不同房间生成的3，608个点云。与传统的基于特征的方法和四种最先进的深度学习方法的比较表明，我们的方法明显优于所有五种方法，例如，前三名的平均召回率为75%，而最接近的竞争对手方法为41%。我们的代码可在：https://github.com/YuhangMing/Semantic-Indoor-Place-Recognition
2022-07-11 cs.CV
Condition-Invariant Multi-View Place Recognition
University of Zaragoza（萨拉戈萨大学）；Opel España（欧宝西班牙公司）；Bitbrain（比特脑公司）
当地点的外观发生变化时，视觉地点识别特别具有挑战性。这种变化确实很常见，例如，由于天气、夜晚/白天或季节。在本文中，我们利用最近使用深度网络的研究，并探索如何通过利用时间序列信息来改进它们。具体来说，我们为深度网络提出了3种不同的替代方案（描述符映射，融合和递归描述符），以使用序列的几个帧。我们表明，我们的方法产生更紧凑，性能最好的描述符比单视图和多视图基线在两个公共数据库的文献。
2019-02-25 cs.CV
TReR: A Lightweight Transformer Re-Ranking Approach for 3D LiDAR Place Recognition
University of Coimbra（科英布拉大学）；Freie Universität Berlin（柏林自由大学）
本文提出轻量级Transformer重排序方法TReR，仅用全局描述子对3D LiDAR地点识别候选进行重排序，在KITTI上相比alphaQE和SGV实现鲁棒性与效率的良好平衡。
2023-05-29 cs.CV
Manifold-Kernels Comparison in MKPLS for Visual Speech Recognition
语音识别是一个具有挑战性的问题。由于声学的限制，使用视觉信息是必不可少的，以提高在现实生活中的无约束的情况下的识别精度。一种常见的方法是将视觉识别建模为非线性优化问题。测量视觉单位之间的距离对于解决这个问题至关重要。将视觉单位嵌入流形并使用流形核是测量这些距离的一种方法。这项工作的目的是评估性能的几个流形内核解决视觉语音识别的问题。我们展示了每个内核背后的理论。我们应用流形核偏最小二乘框架OuluVs和AvLetters数据库，并显示所有内核之间的经验比较。这个框架提供了一种方便的方式来探索不同的内核。
2016-01-22 cs.CV
Visual Recognition by Request
Tsinghua University（清华大学）；Huawei Inc.（华为公司）
人类具有无限粒度的视觉语义识别能力，但现有的视觉识别算法无法实现这一目标。在本文中，我们建立了一个新的范式命名为视觉识别的请求（ViRReq），以弥补这一差距。关键在于将视觉识别分解为命名为请求的原子任务，并利用知识库（分层和基于文本的字典）来辅助任务定义。ViRReq允许（i）从高度不完整的注释中学习复杂的整体-部分层次结构，以及（ii）以最小的努力插入新概念。我们还建立了一个坚实的基线，通过集成语言驱动的识别到最近的语义和实例分割方法，并证明其灵活的识别能力，CPP和ADE 20 K，两个数据集与层次整体部分注释。
2022-12-10 cs.CV
Ranking-aware Continual Learning for LiDAR Place Recognition
Shanghai Research Institute for Intelligent Autonomous System, Tongji University, Shanghai, China（上海智能自主系统研究院，同济大学）；Department of Computer Science and Technology, School of Electronics and Information Engineering, Tongji University, Shanghai, China（计算机科学与技术系，电子信息工程学院，同济大学）；MOE Key Lab of Embedded System and Service Computing, Tongji University, Shanghai, China（教育部嵌入式系统与服务计算重点实验室，同济大学）；Institute of Intelligent Vehicles, Tongji University, Shanghai, China（智能车辆研究院，同济大学）；SAIC Intelligent Technology (Shanghai) Co. Ltd, Shanghai, China（上汽智能科技（上海）有限公司）；College of Surveying and Geo-Informatics, Tongji University, Shanghai, China（测绘地理信息学院，同济大学）
针对激光雷达地点识别中的灾难性遗忘问题，提出KDF持续学习框架，通过排序感知蒸馏损失与新旧模型知识融合提升跨环境识别表现。
2025-05-12 cs.CV
Place Recognition under Occlusion and Changing Appearance via Disentangled Representations
Xi’an Jiaotong University（西安交通大学）；McMaster University（麦克马斯特大学）
位置识别是移动机器人的一项关键而具有挑战性的任务，其目的是从数据库中检索与查询图像相同的位置捕获的图像。现有的方法往往在机器人在遮挡下自主移动时失败（例如，汽车、公共汽车、卡车）和改变外观（例如，光照变化、季节变化）。因为它们只将图像编码为一个代码，将位置特征与外观和遮挡特征纠缠在一起。为了克服这一限制，我们提出了PROCA，一个无监督的方法分解成三个代码的图像表示：一个地方代码作为一个描述符检索图像，一个外观代码捕捉外观属性，和一个闭塞代码编码闭塞内容。大量的实验表明，我们的模型优于国家的最先进的方法。我们的代码和数据可在https://github.com/rover-xingyu/PROCA上获得。
2023-02-18 cs.CV
Cross-modal Place Recognition in Image Databases using Event-based Sensors
ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
本文提出首个跨模态视觉地点识别框架，利用事件相机查询从常规图像数据库中检索图像，并在 Brisbane-Event-VPR 数据集上验证了检索与分类结合可显著提升性能。
2023-07-03 cs.CV
GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）
提出基于3D Gaussian Splatting的多模态场景识别网络GSPR，将多视角图像与LiDAR点云融合为统一场景表示，利用3D图卷积和transformer提取特征，在三个数据集上实现了SOTA性能与良好泛化。
2025-03-06 cs.CV
2nd Place Solution to Google Landmark Recognition Competition 2021
由于基于transformer的架构最近在计算机视觉方面取得了令人鼓舞的进展。在这项工作中，我们提出了在Kaggle上举行的Google Landmark Recognition 2021挑战赛的解决方案，这是对我们去年解决方案的改进，通过改变三个设计，包括（1）使用Swin和CSWin作为特征提取的骨干，（2）在完整的GLDv2上进行训练，以及（3）使用完整的GLDv2图像作为kNN搜索的索引图像集。通过这些修改，我们的解决方案在今年的竞争中显著改善了去年的解决方案。在整合Swin、CSWin、EfficientNet B7型号后，我们的完整产品线在私人排行榜上获得0.4907分，这有助于我们在竞争中获得第二名。
2021-10-07 cs.CV
GIDP: Learning a Good Initialization and Inducing Descriptor Post-enhancing for Large-scale Place Recognition
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）
大规模地点识别是一项基础但具有挑战性的任务，在自动驾驶和机器人技术中发挥着越来越重要的作用。现有的方法已经取得了可以接受的良好性能，但是，他们中的大多数都集中在设计精细的全局描述符学习网络结构。特征泛化和描述子后增强的重要性一直被忽视。在这项工作中，我们提出了一种新的方法命名为GIDP学习一个好的模板和诱导描述符姿态增强大规模的地方识别。特别地，在GIDP中分别提出了无监督的动量对比度点云预训练模块和基于重排序的描述子后增强模块。前者的目的是在训练地点识别模型之前学习点云编码网络的良好初始化，而后者的目的是通过在推理时重新排序来增强预测的全局描述符。在室内和室外数据集上的大量实验表明，我们的方法可以使用简单和通用的点云编码主干实现最先进的性能。
2022-09-23 cs.CV
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
Place recognition in gardens by learning visual representations: data set and benchmark analysis
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
视觉位置识别是摄像机定位和环路闭合检测系统的重要组成部分。它只涉及基于视觉线索的先前访问过的地方的识别。虽然这是一个广泛研究的问题，室内和城市环境，最近使用的机器人自动化的农业和园艺任务已经产生了新的问题，由于具有挑战性的外观花园般的环境。花园场景主要包含绿色，以及重复的图案和纹理。由于缺乏在花园和自然环境中记录的可用数据，使得视觉定位算法的改进变得困难。在本文中，我们提出了一个扩展版本的TB-Places数据集，这是专为测试算法的视觉识别。它包含在不同季节的真实花园中记录的地面真实相机姿势的图像，具有不同的光照条件。我们为所有可能的图像对构建并发布了一个基础事实，表明它们是否描绘了同一个地方。我们提出了一个基准分析的结果，基于卷积神经网络的整体图像描述和地方识别的方法。我们训练现有网络（即ResNet，DenseNet和VGG NetVLAD）作为具有对比损失函数的双向架构的骨干。我们得到的结果表明，学习花园定制的表示有助于提高性能，虽然泛化能力是有限的。
2019-06-28 cs.CV
1st Place Solution to ECCV 2022 Challenge on Out of Vocabulary Scene Text Understanding: End-to-End Recognition of Out of Vocabulary Words
ByteDance Inc.（字节跳动公司）
场景文本识别近年来引起了越来越多的兴趣，由于其在多语言翻译，自动驾驶等方面的广泛应用，在这份报告中，我们描述了我们的解决方案，以词汇场景文本理解（OOV-ST）的挑战，其目的是从自然场景图像中提取词汇（OOV）的话。我们基于oCLIP的模型在h-mean中达到28.59\%，在ECCV 2022 TiE研讨会的OOV Challenge端到端OOV单词识别轨道中排名第一。
2022-09-01 cs.CV
G2IA: Geometry-Guided Instance-Aware Retrieval and Refinement for Cross-Modal Place Recognition
Shanghai Jiao Tong University（上海交通大学）；National University of Defense Technology（国防科技大学）
提出G2IA框架，通过几何引导的实例感知检索和跨模态局部形状与空间布局验证，解决图像到点云地点识别中的模态差异和感知混淆问题。
2026-06-16 cs.CV
Register assisted aggregation for Visual Place Recognition
Nanjing University of Science and Technology（南京理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对视觉位置识别中有用特征易被误弃的问题，提出在图像 token 上加入寄存器辅助训练并在注意力重分配后丢弃的聚合方法，从而分离不稳定特征并取得优于现有方法的性能。
2024-05-19 cs.CV
ST-ABN: Visual Explanation Taking into Account Spatio-temporal Information for Video Recognition
Chubu University（中部大学）
在深度神经网络的推理过程中，人们很难对决策进行解释。视觉解释是解释深度学习决策的一种方法。它通过可视化突出区分区域的注意力地图来分析2D CNN的决策。在视频识别中，视觉解释用于解释决策过程是更加困难的，因为它不仅需要考虑空间信息，而且还需要考虑时间信息，这与静止图像的情况不同。在本文中，我们提出了一种视觉解释方法称为时空注意分支网络（ST-ABN）的视频识别。它使空间和时间信息的视觉解释。ST-ABN在网络推理过程中获得空间和时间信息的重要性，并将其应用于识别处理，以提高识别性能和视觉可解释性。使用Something-Something数据集V1 \& V2的实验结果表明，ST-ABN能够同时考虑空间和时间信息并提高识别性能的视觉解释。
2021-10-29 cs.CV
3rd Place Solution to Large-scale Fine-grained Food Recognition
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；OPPO Research Institute（OPPO研究院）
本文针对大规模细粒度食物识别挑战，提出结合Arcface loss与Circle loss训练并集成模型，最终在比赛中获得第三名。
2025-10-24 cs.CV
RPR-Net: A Point Cloud-based Rotation-aware Large Scale Place Recognition Network
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）
基于点云的大规模地点识别是同时定位与地图构建（SLAM）等应用中的一个重要而具有挑战性的任务。将该问题作为一个点云检索问题，已有的方法取得了可喜的成绩。然而，如何处理旋转问题引起的灾难性倒塌仍然是探索不足。在本文中，为了解决这个问题，我们提出了一种新的基于点云的旋转感知大规模地点识别网络（RPR-Net）。特别是，为了解决这个问题，我们建议分三步学习旋转不变特征。首先，我们设计了三种新的旋转不变特征（RIF），这是低级别的功能，可以保持旋转不变的性质。其次，使用这些RIF，我们设计了一个专注的模块来学习旋转不变的内核。第三，我们将这些内核应用于以前的点云特征以生成新的特征，这是众所周知的SO（3）映射过程。通过这样做，可以学习高级场景特定的旋转不变特征。我们将上述过程称为注意旋转不变卷积（ARIConv）。为了实现地点识别的目标，我们建立了RPR-Net，它以ARIConv为基本单元，构建了一个密集的网络结构。然后，强大的全局描述符用于检索的位置识别，可以充分从RPR网络提取。在流行数据集上的实验结果表明，我们的方法实现了与现有的最先进的位置识别模型相当的结果，并在解决旋转问题时显着优于其他旋转不变的基线模型。
2022-08-28 cs.CV
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University（中山大学）
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中，我们提出了一个端到端的自我监督框架，名为视听对比学习（AVCL），学习有区别的视听表示动作识别。具体来说，我们设计了一个基于注意力的多模态融合模块（AMFM）融合音频和视觉模态。为了对齐异构视听模态，我们构建了一个新的相关引导表示对齐模块（CGRA）。为了从未标记的视频中学习监督信息，我们提出了一种新的自监督对比学习模块（SelfCL）。此外，我们建立了一个新的视听动作识别数据集，名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明，我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
MSSPlace: Multi-Sensor Place Recognition with Visual and Text Semantics
Intelligent Transport Laboratory, Moscow Institute of Physics and Technology（智能交通实验室，莫斯科物理技术学院）；Artificial Intelligence Research Institute (AIRI)（人工智能研究机构（AIRI））
MSSPlace通过整合多传感器数据和视觉文本语义，提升位置识别性能，达到最先进的效果。
2024-07-22 cs.CV
BPT: Binary Point Cloud Transformer for Place Recognition
Nanjing University of Science and Technology（南京理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）
地点识别是一种识别重访地点的算法，在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品，如MLP、CNN、Transformer等，在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一，但点云Transformer网络的内存消耗大、计算量大，不利于在移动或嵌入式设备中广泛部署。为了解决这个问题，我们提出了一个二进制点云Transformer的地点识别。因此，32位全精度模型可以减少到1位模型，具有更少的内存占用和更快的二进制逐位操作。据我们所知，这是第一个可以部署在移动设备上的二进制点云Transformer，用于在线应用，如位置识别。在多个标准基准上的实验表明，该方法可以获得与相应的全精度Transformer模型相当的结果，甚至优于一些全精度深度学习方法。例如，在Oxford RobotCar数据集上，就平均召回率的度量而言，所提出的方法在顶部@1%处达到93.28%，在顶部@1%处达到85.74%。同时，在相同的Transformer结构下，模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
2023-03-02 cs.CV
Object Scan Context: Object-centric Spatial Descriptor for Place Recognition within 3D Point Cloud Map
Beihang University（北京航空航天大学）；Beijing Yihang Yuanzhi Technology Co., Ltd（北京一航远志科技有限公司）
针对现有激光雷达中心描述符在距离大时失效且仅算旋转的缺陷，提出围绕主对象的局部描述符，结合几何法精确计算相对位姿，并在KITTI数据集上验证了优越性。
2023-11-13 cs.CV
Visual place recognition using landmark distribution descriptors
University of Bristol（布里斯托大学）
Suenderhauf等人最近的工作[1]证明了使用建议区域与卷积神经网络（CNN）的特征相结合来匹配视图之间的地标，从而改进了视觉位置识别。在这项工作中，我们通过引入从地标特征构建的描述符来扩展该方法，所述地标特征还对视图内的地标的空间分布进行编码。然后，匹配描述符强制视图之间的地标的相对位置的一致性。这对性能有重大影响。例如，在10个图像对数据集的实验中，每个数据集由200个城市位置组成，在观看位置和条件方面存在显着差异，我们记录了约70%的平均精度（100%召回率），相比之下，使用整个图像CNN特征获得的平均精度为58%，[1]中的方法为50%。
2016-08-15 cs.CV
Mid-level Representation for Visual Recognition
Università degli Studi di Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
视觉识别是人工智能的基本挑战之一，其目标是理解视觉数据的语义。特别是采用中级表征，改变了视觉识别的范式。中级图像/视频表示涉及发现和训练一组中级视觉模式（例如，部分和属性）并利用它们来表示给定的图像/视频。利用视觉现象的运动和外观信息，可以从图像和视频中提取中间模式。本论文的目标是采用中级表示不同的高级视觉识别任务，即（i）图像理解和（ii）视频理解。在图像理解的情况下，我们专注于目标检测/识别任务。我们研究发现和学习一组中级补丁用于表示对象类别的图像。我们特别采用的判别补丁的子类感知的webly监督的方式。此外，我们还研究了采用基于子类的模型消除数据集偏倚所提供的结果。
2015-12-23 cs.CV
Patch-NetVLAD: Multi-Scale Fusion of Locally-Global Descriptors for Place Recognition
Queensland University of Technology（昆士兰科技大学）；QUT Centre for Robotics（QUT机器人中心）
视觉位置识别是机器人和自治系统的一项具有挑战性的任务，它必须处理在不断变化的世界中的外观和视点变化的双重问题。本文介绍了补丁NetVLAD，它提供了一种新的配方，结合局部和全局描述符方法的优点，从NetVLAD残差派生补丁级功能。与现有局部关键点特征的固定空间邻域机制不同，我们的方法能够聚合和匹配在特征空间网格上定义的深度学习的局部特征。我们进一步介绍了一个多尺度融合的补丁功能，具有互补的规模（即补丁大小）通过一个完整的特征空间，并显示融合的功能是高度不变的条件（季节，结构和照明）和视点（平移和旋转）的变化。Patch-NetVLAD在计算上优于基于全局和局部特征的方法，在一系列具有挑战性的现实世界数据集上实现了最先进的视觉位置识别结果，包括在ECCV 2020上赢得Facebook Mapillary视觉位置识别挑战赛。它还可以适应用户的要求，速度优化的版本比最先进的速度快一个数量级。通过在可配置的框架中结合卓越的性能和提高的计算效率，Patch-NetVLAD非常适合增强独立的位置识别能力和SLAM系统的整体性能。
2021-03-02 cs.CV
LRS3-TED: a large-scale dataset for visual speech recognition
University of Oxford（牛津大学）
本文介绍了一种新的多模态数据集的视觉和视听语音识别。它包括超过400小时的TED和TEDx视频的面部轨迹，以及相应的字幕和单词对齐边界。与其他可用于一般研究的公共数据集相比，新数据集的规模要大得多。
2018-10-28 cs.CV
MinkLoc++: Lidar and Monocular Image Fusion for Place Recognition
Warsaw University of Technology（华沙理工大学）；Tooploox
我们引入了一个歧视性的多模态描述符的基础上的一对传感器读数：从激光雷达的点云和RGB相机的图像。我们的描述符名为MinkLoc++，可用于机器人或自动驾驶汽车应用中的位置识别，重新定位和循环闭合目的。我们使用后期融合方法，其中每个模态被单独处理并在处理管道的最后部分融合。所提出的方法实现了国家的最先进的性能标准的地方识别基准。我们还确定了主导模态问题时，训练多模态描述符。当网络集中在对训练数据具有较大过拟合的模态时，问题就显现出来了。这在训练期间降低了损失，但导致评估集上的次优性能。在这项工作中，我们描述了如何使用深度度量学习方法来训练多模态神经网络时检测和减轻这种风险。我们的代码可在项目网站上公开获取：https://github.com/jac99/MinkLocMultimodal。
2021-04-14 cs.CV
PIC-Net: Point Cloud and Image Collaboration Network for Large-Scale Place Recognition
National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）
位置识别是自动化技术的研究热点之一，目前仍是一个悬而未决的问题，摄像机和激光雷达是这一任务中使用的两种主流传感器，基于摄像机的方法容易受到光照和季节变化的影响，激光雷达不能像图像那样获得丰富的数据，本文提出了PIC-Net（点云与图像协作网络），利用注意力机制融合图像与点云的特征，挖掘两者之间的互补信息。此外，为了提高夜间的识别性能，我们将夜间图像转换为白天的风格。对比结果表明，图像与点云的协同优于基于图像和点云的协同，注意策略和昼夜变换可以进一步提高协同性能。
2020-08-03 cs.CV
Place Recognition Meet Multiple Modalitie: A Comprehensive Review, Current Challenges and Future Directions
Fuzhou University（福州大学）；Shanghai Jiaotong University（上海交通大学）；Tongji University（同济大学）
本文系统综述了地点识别中CNN、Transformer和跨模态三类方法的发展、数据集与评估指标，并指出域自适应、实时性和终身学习等未来方向。
2025-06-05 cs.CV
Deep Visual City Recognition Visualization
Delft University of Technology（代尔夫特理工大学）
了解城市在视觉上的差异对规划者、居民和历史学家来说是很有趣的。我们研究了由卷积神经网络（CNN）学习的用于城市识别的深度特征的解释。给定一个经过训练的城市识别网络，我们首先使用已知的Grad-CAM技术生成加权掩模，并选择图像中最具歧视性的区域。由于图像分类标签是城市名称，它不包含对象的信息，是类歧视，我们研究了两种方法的深层表示的可解释性。(i)采用无监督的方法对视觉解释中出现的对象进行聚类。(ii)一个预先训练好的语义分割模型被用来在像素级标记对象，然后我们引入统计措施来定量评估区分对象的可解释性。研究了网络结构和随机初始化对CNN特征在城市识别中的可解释性的影响。结果表明，网络结构会影响学习的视觉表征的可解释性大于不同的初始化。
2019-05-06 cs.CV
Multi-modal Text Recognition Networks: Interactive Enhancements between Visual and Semantic Features
KAIST（韩国科学技术院）；NAVER Corp.（NAVER公司）；Upstage（Upstage公司）
语言知识通过提供语义来细化字符序列，为场景文本识别带来了巨大的好处。然而，由于语言知识已被单独应用于输出序列，以前的方法没有充分利用语义来理解文本识别的视觉线索。本文介绍了一种新的方法，称为多模态文本识别网络（MATRN），使视觉和语义特征之间的相互作用，以更好的识别性能。具体来说，MATRN识别视觉和语义特征对，并将空间信息编码为语义特征。在空间编码的基础上，通过参照其他模态中的相关特征来增强视觉和语义特征。此外，MATRN通过在训练阶段隐藏与字符相关的视觉线索来刺激将语义特征结合到视觉特征中。我们的实验表明，MATRN实现国家的最先进的性能在七个基准与大利润率，而天真的两种方式的组合显示不太有效的改进。进一步的烧蚀研究证明了我们提出的组件的有效性。我们的实现可以在https://github.com/wp03052/MATRN上获得。
2022-08-13 cs.CV
"Knights": First Place Submission for VIPriors21 Action Recognition Challenge at ICCV 2021
Center for Research in Computer Vision (CRCV), University of Central Florida（中佛罗里达大学计算机视觉研究中心）；Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
本技术报告介绍了我们的方法“骑士”，以解决动作识别任务的一个小子集的动力学-400即动力学400 ViPriors不使用任何额外的数据。我们的方法有3个主要组成部分：最先进的时间对比自监督预训练，视频Transformer模型和光流模态。随着标准测试时间增强的使用，我们提出的解决方案在Kinetics 400 ViPriors测试集上达到了73%，这是数据高效计算机视觉动作识别挑战赛ICCV 2021中所有其他参赛作品中最好的。
2021-10-14 cs.CV
UniLoc: Towards Universal Place Recognition Using Any Single Modality
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
UniLoc提出一种通用地点识别方法，支持任意单一模态（自然语言、图像或点云），通过层次化匹配和自注意力池化模块，在KITTI-360上实现跨模态优越性能。
2024-12-16 cs.CV
Single-View Place Recognition under Seasonal Changes
I3A, Universidad de Zaragoza（萨拉戈萨大学I3A）
单视图位置识别，我们可以定义为找到与给定查询图像对应的同一位置的图像，是自主导航和地图的关键能力。虽然已经有相当多的研究在这个主题，高度的图像可变性（与视点，照明或遮挡，例如）使其成为一个研究挑战。我们在这项工作中要解决的一个特殊挑战是天气变化。季节性变化可能会产生剧烈的外观变化，导致经典的低级别特征无法正确建模。我们在本文中的贡献是双重的。首先，我们对Nordland数据集进行预处理并提出一个分区，该数据集经常用于位置识别研究，但在分区上没有共识。其次，我们评估了几种神经网络结构，如预训练，连体和三元组为这个问题。我们最好的结果超越了该领域的艺术状态。一个展示我们结果的视频可以在https://youtu.be/VrlxsYZoHDM上找到。Nordland数据集的分区版本，网址为http://webdiis.unizar.es/~jmfacil/pr-nordland/。
2018-08-20 cs.CV
Are State-of-the-art Visual Place Recognition Techniques any Good for Aerial Robotics?
University of Essex（埃塞克斯大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）；University of Nevada（内华达大学）
视觉位置识别（VPR）在过去的几年里在匹配性能和计算优势方面取得了重大进展。然而，这些评估是针对地面移动平台进行的，不能推广到空中平台。空中机器人所经历的视点变化程度是复杂的，其处理能力和机载存储器受到有效载荷大小和电池额定值的限制。因此，在本文中，我们收集了$8$国家的最先进的VPR技术，以前已经评估了地面平台和比较$2$最近提出的空中位置识别数据集与三个主要重点：a）匹配性能b）处理功耗c）预计的内存需求。这给出了一个鸟瞰图的适用性，当代VPR研究空中机器人，并奠定了挑战的性质，空中VPR。
2019-05-22 cs.CV
Visual Speech Recognition
Mu'tah University（穆塔大学）
唇读是用来理解或解释讲话没有听到它，一种技术，特别是掌握了听力困难的人。唇读的能力使听力障碍者能够与他人沟通并参与社会活动，否则这将是困难的。计算机视觉、模式识别和信号处理领域的最新进展使得人们对自动化唇读这一具有挑战性的任务越来越感兴趣。事实上，将人类的唇读能力自动化，这一过程被称为视觉语音识别（VSR）（有时也称为语音阅读），可以为其他新颖的相关应用打开大门。在过去的十年中，VSR由于其在诸如人机交互（HCI）、视听语音识别（AVSR）、说话人识别、说话人头像、手语识别和视频监控等应用中的潜在用途而受到了极大的关注。它的主要目的是通过只使用语音过程中产生的视觉信号来识别口语单词。因此，VSR处理语音的视觉域，并且涉及图像处理、人工智能、目标检测、模式识别、统计建模等。
2014-09-03 cs.CV
Doubly Right Object Recognition: A Why Prompt for Visual Rationales
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
许多视觉识别模型仅根据其分类准确性进行评估，这是一个他们获得强大性能的指标。在本文中，我们调查是否计算机视觉模型也可以提供正确的理由，他们的预测。我们提出了一个“双重权利”的对象识别基准，其中的度量要求模型同时产生正确的标签以及正确的理由。我们发现，最先进的视觉模型，如CLIP，往往提供不正确的理由，他们的分类预测。然而，通过将基本原理从语言模型转移到视觉表示中，通过定制的数据集，我们表明我们可以学习“为什么提示”，它适应大型视觉表示以产生正确的基本原理。可视化和实证实验表明，除了zero-shot传输到看不见的任务和数据集外，我们的提示显着提高了双右对象识别的性能。
2023-03-22 cs.CV
Memorable Maps: A Framework for Re-defining Places in Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
本文提出了一个认知启发的不可知框架，用于构建视觉位置识别的地图。该框架的灵感来自人类的记忆性，利用传统的图像熵的概念和计算的静态内容的图像，从而提出了一个三重标准来评估的“记忆性”的图像的视觉位置识别。创建了一个名为“ESSEX3IN 1”的数据集，由来自室内，室外和自然场景的高度混乱的图像组成。当与最先进的视觉位置识别方法结合使用时，所提出的框架为这些技术提供了显着的性能提升，ESSEX3IN 1和其他公共数据集的结果证明了这一点。
2019-03-21 cs.CV cs.RO
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性，本文研究了基于变换器的网络特征提取方法，提出了一种基于层次Transformer的位置识别方法（HiTPR）。HiTPR由四个主要部分组成：点单元生成、短程Transformer（SRT）、长程Transformer（LRT）和全局描述符聚合。具体地说，点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中，我们提取每个点细胞的局部特征。而在LRT中，我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性，例如在Oxford RobotCar数据集上，前1%和前1分别达到93.71%和86.63%。
2022-04-12 cs.CV
TransVPR: Transformer-based place recognition with multi-level attention aggregation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
视觉位置识别对于自动驾驶导航和移动机器人定位等应用是一项具有挑战性的任务。复杂场景中的干扰元素往往会导致视觉场所感知的偏差。为了解决这个问题，它是至关重要的，以整合信息，只有任务相关的区域到图像表示。本文提出了一种基于视觉Transformer的全局位置识别模型TransVPR。它得益于Transformers中自我注意操作的理想属性，可以自然地聚合任务相关的特征。来自Transformer的多个级别的关注（其聚焦于不同的感兴趣区域）被进一步组合以生成全局图像表示。此外，从Transformer层过滤的融合注意力掩模的输出令牌被认为是关键补丁描述符，这是用来执行空间匹配重新排序的候选人检索的全局图像特征。整个模型允许端到端训练，具有单一目标和图像级监督。TransVPR在几个真实世界的基准测试中实现了最先进的性能，同时保持了较低的计算时间和存储要求。
2022-04-13 cs.CV
