Sequential Place Learning: Heuristic-Free High-Performance Long-Term Place Recognition
近十年来，使用手工制作的序列分析的顺序匹配一直是基于路线的位置识别的标准实践，用于增强成对相似性结果。然而，这些算法的精度召回性能显着下降时，搜索短时间窗口（TW）的长度，同时要求高的计算和存储成本的大型机器人数据集的自主导航研究。在这里，受生物系统的影响，即使没有视觉，也能稳健地导航时空尺度，我们通过顺序过程开发了一种联合视觉和位置表示学习技术，并设计了一种基于学习的CNN+LSTM架构，可通过时间反向传播进行训练，用于视点和外观不变的位置识别。我们的方法，顺序位置学习（SPL），是基于一个CNN函数，从一个单一的遍历视觉编码的环境，从而减少存储容量，而LSTM时间融合每个视觉嵌入与相应的位置数据-从任何来源的运动估计-直接顺序推理。与经典的两级流水线相反，例如，match-then-temporally-filter，我们的网络直接消除了误报率，同时联合学习从单个单目图像序列进行序列匹配，即使使用短TW。因此，我们证明了我们的模型优于15种经典方法，同时在4个具有挑战性的基准数据集上设置了新的最先进的性能标准，其中一个可以被认为以100%的召回率和100%的精度解决，正确匹配极端阳光-黑暗变化下的所有地方。此外，我们还表明，在729公里的路线上，SPL的部署速度比经典方法快70倍，其中包括35，768个连续帧。大量的实验表明，…基线代码可在https://github.com/…
2021-03-02 cs.AI cs.CV cs.LG
SeqNet: Learning Descriptors for Sequence-based Hierarchical Place Recognition
QUT Centre for Robotics（昆士兰科技大学机器人中心）；School of Electrical Engineering and Robotics, QUT（昆士兰科技大学电气工程与机器人学院）；Queensland University of Technology (QUT)（昆士兰科技大学）
视觉位置识别（VPR）是将来自相机的当前视觉图像与存储在环境的参考地图中的图像进行匹配的任务。虽然最初的VPR系统使用简单的直接图像方法或手工制作的视觉功能，但最近的工作集中在学习更强大的视觉功能，并通过某种形式的顺序匹配器/过滤器或分层匹配过程进一步提高性能。在这两种情况下，基于初始单图像的系统的性能仍然远远不够完美，对序列匹配或（在分层系统的情况下）姿态细化阶段施加了巨大的压力。在本文中，我们提出了一种新的混合系统，创建一个高性能的初始匹配假设生成器，使用短的学习顺序描述符，使选择性控制顺序分数聚合使用单个图像学习描述符。序列描述符是使用称为SeqNet的时间卷积网络生成的，使用一维卷积对短图像序列进行编码，然后将其与参考数据集的相应时间描述符进行匹配，以提供位置匹配假设的有序列表。然后，我们使用来自单独管道的入围单个图像学习描述符进行选择性顺序分数聚合，以产生整体位置匹配假设。在具有挑战性的基准数据集上进行的综合实验表明，该方法在使用相同数量的序列信息的情况下优于最近的最先进的方法。源代码和补充材料可以在https://github.com/oravus/seqNet上找到。
2021-02-24 cs.AI cs.CV cs.IR
TRAIL: Trajectory-Aware Visual Place Recognition against Unordered Databases
Visual Geometry Group (VGG), University of Oxford（牛津大学视觉几何组（VGG））；Helsing（赫尔辛公司）
TRAIL提出一种基于条件随机场的轨迹感知视觉地点识别框架，利用查询序列上下文在无序数据库中定位图像，无需数据库序列结构，作为轻量级后处理层可将基线性能提升高达8.3个百分点。
2026-09-09 cs.CV
VDNA-PR: Using General Dataset Representations for Robust Sequential Visual Place Recognition
University of Oxford（牛津大学）；Mobile Robotics Group (MRG)（移动机器人学组（MRG））
本文提出VDNA-PR方法，利用通用数据集表示VDNA生成鲁棒视觉位置识别描述符，通过轻量编码器提升对室内和航拍等严重域偏移的鲁棒性。
2024-03-14 cs.CV cs.RO
Sequence-Based Filtering for Visual Route-Based Navigation: Analysing the Benefits, Trade-offs and Design Choices
University of Essex（埃塞克斯大学）；Delft University of Technology（代尔夫特理工大学）；Queensland University of Technology（昆士兰科技大学）
视觉位置识别（VPR）是在环境、视角和外观变化的情况下，利用视觉信息正确回忆先前访问过的地方的能力。VPR中的一个新兴趋势是在基于单帧的位置匹配技术之上使用基于序列的过滤方法来进行基于路线的导航。这种组合导致不同程度的潜在位置匹配性能提升，但计算成本增加。这提出了一些有趣的研究问题：性能提升（由于顺序过滤）如何在基于单帧的匹配方法的整个范围内变化？序列匹配长度如何影响性能曲线？哪些特定的组合在性能和计算之间提供了良好的权衡？然而，缺乏以前的工作，看看这些重要的问题和大部分的基于序列的过滤工作，迄今已被使用，没有一个系统的方法。为了弥合这一研究差距，本文进行了深入的调查单帧为基础的地方匹配技术和使用基于序列的过滤这些方法的顶部的性能之间的关系。它分析了基于单帧和顺序技术的不同组合的个体权衡、属性和限制。一些国家的最先进的VPR方法和广泛使用的公共数据集被用来呈现的结果，包含了一些有意义的见解VPR社区。
2021-03-02 cs.CV
MRS-VPR: a multi-resolution sampling based global visual place recognition method
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Biorobotics Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所生物机器人实验室）
地点识别和环路闭合检测对于长期视觉导航任务来说具有挑战性。SeqSLAM被认为是在变化的环境条件和变化的视角下实现长期本地化的最成功的方法之一。它依赖于一个蛮力，耗时的顺序匹配方法。本文提出了一种多分辨率、基于采样的地点识别方法MRS-VPR，该方法可以显著提高顺序匹配的匹配效率和准确性。该方法的新颖之处在于由粗到细的搜索流水线和基于粒子滤波的全局采样方案，能够在长期导航任务中平衡匹配效率和精度。此外，当测试序列的规模比参考序列小得多时，我们的模型比SeqSLAM好得多。我们的实验表明，所提出的方法是有效的定位短期内的长期参考轨迹，而不会失去准确性相比，SeqSLAM。
2019-02-26 cs.CV cs.RO
Pose-Graph Attentional Graph Neural Network for Lidar Place Recognition
CSIRO（联邦科学与工业研究组织）；Queensland University of Technology（昆士兰科技大学）；The University of Queensland（昆士兰大学）
本文提出P-GAT位姿图注意力图神经网络，通过比较序列与非序列子图节点并利用时空信息进行激光雷达位置识别，在域适应等场景下显著优于现有SOTA方法。
2023-11-23 cs.CV cs.RO
Fashion-IQ 2020 Challenge 2nd Place Team's Solution
Search Solutions；NAVER/LINE Vision
本文致力于VAA团队在CVPR 2020中提交Fashion-IQ挑战赛的方法。给定一对图像和文本，我们提出了一种新的多模态合成方法，RTIC，可以有效地结合到一个语义空间的文本和图像模态。我们提取由CNN和序列模型编码的图像和文本特征（例如，LSTM或GRU）。为了强调目标和候选之间的特征的残差的意义，RTIC由N个块组成，具有通道方向的注意模块。然后，我们将编码后的残差与候选图像的特征相加，得到一个合成特征。我们还探索了一种集成策略，使用不同的模型，与最好的单个模型相比，性能得到了显着提高。最后，我们的方法在Fashion-IQ 2020挑战赛中获得第二名，在排行榜上的测试得分为48.02。
2020-07-13 cs.CV
ConvSequential-SLAM: A Sequence-based, Training-less Visual Place Recognition Technique for Changing Environments
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；School of Electrical Engineering and Computer Science, Queensland University of Technology（昆士兰科技大学电气与计算机工程学院）
视觉位置识别（VPR）是在不断变化的视角和外观下正确回忆以前访问过的地方的能力。存在大量手工制作和基于深度学习的VPR技术，其中前者遭受外观变化，后者具有显著的计算需求。在本文中，我们提出了一种新的手工制作的VPR技术，在具有挑战性的条件下实现最先进的位置匹配性能。我们的技术结合了现有的两种无训练VPR技术SeqSLAM和CoHOG中的最佳技术，它们分别对条件和视点变化具有鲁棒性。这种混合，即ConvSequential-SLAM，利用顺序信息和块归一化来处理外观变化，同时使用区域卷积匹配来实现视点不变性。我们分析查询帧之间的内容重叠，以找到一个最小的序列长度，同时也重新使用图像熵信息的环境为基础的序列长度调整。国家的最先进的性能相比，报告8当代VPR技术在4个公共数据集。还提供了关于序列长度的定性见解和消融研究。
2020-09-28 cs.CV
WildCross: A Cross-Modal Large Scale Benchmark for Place Recognition and Metric Depth Estimation in Natural Environments
CSIRO Robotics, Data61, CSIRO（联邦科学与工业研究组织Data61机器人部门）；Queensland University of Technology（昆士兰科技大学）
WildCross是一个用于自然环境中地方识别和度量深度估计的跨模态大规模基准，通过提供大规模数据集和实验验证，推动多模态机器人感知技术的发展。
2026-03-02 cs.CV
Delta Descriptors: Change-Based Place Representation for Robust Visual Localization
Queensland University of Technology（昆士兰科技大学）；Monash University（蒙纳士大学）
视觉位置识别具有挑战性，因为有很多因素会导致一个地方的外观发生变化，从昼夜周期到季节变化再到大气条件。近年来，已经开发了大量方法来解决这一挑战，包括深度学习的图像描述符，域转换和顺序滤波，所有这些方法都具有通用性和速度敏感性等缺点。在本文中，我们提出了一种新的描述符，来自跟踪任何学习的全局描述符随时间的变化，称为三角洲描述符。增量描述符通过考虑沿路线观察到的地点之间的时间差异，以无监督的方式减轻在原始描述符匹配空间中引起的偏移。像所有其他方法一样，Delta描述符有一个缺点-帧到帧的波动性-可以通过将它们与顺序滤波方法相结合来克服。使用两个基准数据集，我们首先单独展示了Delta描述符的高性能，然后在与基于序列的匹配相结合时展示了新的最先进的性能。我们还提出的结果表明，该方法与四种不同的底层描述符类型，和其他两个有益的属性相比，现有的技术的三角洲描述符：其增加的固有鲁棒性的变化，在相机运动和降低的性能退化率，作为降维应用。源代码可在https://github.com/oravus/DeltaDescriptors上获得。
2020-07-30 cs.CV cs.IR cs.LG
RLSS: A Deep Reinforcement Learning Algorithm for Sequential Scene Generation
KAUST（阿卜杜拉国王科技大学）
我们提出RLSS：一个强化学习算法的顺序场景生成。这是基于采用生成问题的近端策略优化（PPO）算法。特别是，我们考虑如何有效地减少行动空间，包括在学习过程中的贪婪搜索算法。我们的实验表明，我们的方法收敛相对大量的行动，并学习生成场景与预定义的设计目标。这种方法是在虚拟场景中反复放置对象。在每一步中，网络选择放置哪些对象，并选择导致最大回报的位置。如果最后一个动作导致了期望的属性，则分配高奖励，而违反约束则受到惩罚。我们证明了我们的方法的能力，有效地产生合理的和多样化的场景，通过解决室内规划问题，并产生愤怒的小鸟水平。
2022-06-01 cs.CV cs.LG
Convolutional Neural Network-based Place Recognition
Queensland University of Technology（昆士兰科技大学）
最近，卷积神经网络（CNN）已被证明在各种分类任务上实现了最先进的性能。在本文中，我们首次提出了一种基于CNN模型的位置识别技术，通过将CNN学习的强大功能与空间和顺序滤波器相结合。将该系统应用于70公里的基准位置识别数据集，我们在100%的精度下实现了75%的召回率提高，显着优于所有以前的最先进的技术。我们还对所有21层的位置识别功能的实用性进行了全面的性能比较，包括基准数据集和具有更显著视角变化的第二个数据集。
2014-11-06 cs.CV cs.LG cs.NE
EchoVPR: Echo State Networks for Visual Place Recognition
The University of Sheffield（谢菲尔德大学）；Macquarie University（麦考瑞大学）；University of Sussex（萨塞克斯大学）；Institute for Neuroinformatics（神经信息学研究所）
识别先前访问过的位置是自主导航中一项重要但尚未解决的任务。当前的视觉位置识别（VPR）基准通常挑战模型从包括空间和时间分量的序列数据集中恢复查询图像（或多个图像）的位置。最近，回声状态网络（ESN）品种已被证明在解决需要时空建模的机器学习任务方面特别强大。这些网络是简单但功能强大的神经架构，在多个时间尺度和非线性高维表示上表现出记忆，可以发现数据中的时间关系，同时仍然保持学习时间的线性。在本文中，我们提出了一系列的ESN和分析其适用性的VPR问题。我们报告说，在预处理的卷积神经网络中添加ESN，与六个标准基准测试中的五个（GardensPoint，SPEDTest，ESSEX3IN 1，Oxford RobotCar和Nordland）的非递归网络相比，性能大幅提升，表明ESN能够捕获VPR问题中固有的时间结构。此外，我们表明，包括ESN的模型可以优于类领先的VPR模型，也利用了数据的顺序动态。最后，我们的研究结果表明，ESN提高泛化能力，鲁棒性和准确性，进一步支持其适用于VPR应用程序。
2022-02-10 cs.CV cs.LG cs.RO
Application of sequential processing of computer vision methods for solving the problem of detecting the edges of a honeycomb block
Reshetnev Siberian State University of Science and Technology（列舍特涅夫西伯利亚国立科技大学）；Siberian Federal University（西伯利亚联邦大学）
本文介绍了霍夫变换的蜂窝块图像的应用。描述了从蜂窝块切割模具的问题。一些图像变换被认为是提高霍夫算法的效率。考虑使用简单阈值获得二值图像的方法、使用Otsu二值化获得二值图像的方法以及Canny边缘检测算法。考虑了二进制骨架（二进制化）的方法，其中骨架是使用2个主要的形态学操作获得的：膨胀和腐蚀。作为一些实验的结果，揭示了处理原始图像的最佳顺序，其允许获得最大数目的面的坐标。这个结果允许人们选择切割蜂窝块的最佳位置，这将提高所得形状的质量。
2020-10-26 cs.CV cs.RO
Deep Sequential Mosaicking of Fetoscopic Videos
University College London（伦敦大学学院）；KU Leuven University（鲁汶大学）；University Hospital Leuven（鲁汶大学医院）
双胎输血综合征的治疗需要胎镜下激光光凝胎盘血管病变，以调节两个胎儿的血流。有限的视野（FoV）和低视觉质量在胎儿镜检查过程中，使其具有挑战性，以确定所有的血管连接。镶嵌可以对齐多个重叠图像以生成具有增加的FoV的图像，然而，现有技术由于视觉质量低、纹理缺乏而不适用于胎儿镜检查，并且因此由于随时间积累的漂移而在较长序列中失败。深度学习技术可以帮助克服这些挑战。因此，我们提出了一个新的广义深度顺序镶嵌（DSM）框架，从不同的设置，如模拟，幻影，和真实的环境中捕获的胎儿镜视频。DSM通过提出受控数据增强和离群值拒绝方法，将现有的基于深度图像的单应性模型扩展到序列数据。与现有方法不同，DSM可以处理由于镜面高光和相邻帧之间的反射而引起的视觉变化，从而减少累积漂移。我们使用5个不同的胎儿镜视频进行实验验证和比较，以证明我们的框架的鲁棒性。
2019-07-15 cs.CV cs.LG eess.IV
Why-So-Deep: Towards Boosting Previously Trained Models for Visual Place Recognition
CUHK（香港中文大学）；PolyU（香港理工大学）；HKUST（香港科技大学）
基于深度学习的图像检索技术用于环闭合检测表现出令人满意的性能。然而，在不同地理区域基于先前训练的模型实现高水平性能仍然具有挑战性。本文研究了在新环境下同时定位与地图构建（SLAM）系统中如何部署它们的问题。一般的基线方法使用额外的信息，如GPS，连续的关键帧跟踪，并重新训练整个环境，以提高召回率。我们提出了一种新的方法来提高图像检索的基础上以前训练的模型。我们提出了一种智能方法，MAQBOOL，以放大预训练模型的力量，以获得更好的图像召回及其在实时多智能体SLAM系统中的应用。我们实现了可比的图像检索结果在一个低的描述符维数（512-D），相比，高描述符维数（4096-D）的国家的最先进的方法。我们使用空间信息来提高图像检索的召回率。
2022-01-10 cs.CV cs.RO
Mode-as-Sequence: Translating Multimodal Motion Prediction into Unified Sequential Mode Modeling
City University of Hong Kong（香港城市大学）；City University of Hong Kong (Dongguan)（香港城市大学（东莞））；Hon Hai Research Institute（富士康研究学院）；Mohamed bin Zayed University of Artificial Intelligence（莫莫丁·宾·扎耶德人工智能大学）
提出Mode-as-Sequence框架，将无序模式集转化为有序模式序列并显式建模模式间依赖，通过ModeSeq和Parallel ModeSeq两种实例化方法解决多模态运动预测中的模式坍塌和置信度排序问题，在Waymo数据集上取得领先性能。
2026-05-21 cs.AI cs.CV
Fast, Compact and Highly Scalable Visual Place Recognition through Sequence-based Matching of Overloaded Representations
Queensland University of Technology（昆士兰科技大学）
视觉位置识别算法权衡了三个关键特征：它们的存储占用空间，它们的计算需求，以及它们的最终性能，通常用召回率来表示。重要的先前工作已经研究了高度紧凑的位置表示，次线性计算缩放和次线性存储缩放技术，但总是涉及一个或多个这些方面的重大妥协，并且只在相对较小的数据集上进行了演示。在本文中，我们提出了一种新的地方识别系统，使第一次的组合超紧凑的地方表示，近次线性存储缩放和极其轻量级的计算要求。我们的方法利用了机器人领域中许多空间数据固有的顺序性，并通过故意粗标量量化的哈希来反转典型的目标标准，这种哈希会导致更多的冲突，但可以通过基于序列的匹配来解决。这是第一次，我们展示了如何在一个新的非常大的1000万个位置数据集上实现有效的位置识别率，每个位置只需要8个字节的存储和37K的酉运算，就可以实现超过50%的召回率，以匹配100帧的序列，而传统的最先进的方法既要消耗1300倍的计算，又要失败。我们目前的分析调查的有效性，我们的散列过载的方法根据不同大小的量化向量长度，比较近距离匹配与实际的匹配选择和量化的方差重新缩放的数据的影响。
2020-03-12 cs.CV cs.LG cs.RO
SeqNetVLAD vs PointNetVLAD: Image Sequence vs 3D Point Clouds for Day-Night Place Recognition
Queensland University of Technology（昆士兰科技大学）；QUT Centre for Robotics（昆士兰科技大学机器人中心）
位置识别是移动机器人定位和导航的关键能力。基于图像或视觉位置识别（VPR）是一个具有挑战性的问题，因为场景外观和摄像机视角可以显着改变时，地方重新访问。与传统的序列分数聚合或基于单个图像的技术相比，最近基于“顺序表示”的VPR方法已经显示出有希望的结果。在这些努力的同时，随着基于深度学习的点云处理的进步，也在探索基于3D点云的地点识别。然而，一个关键的问题仍然存在：是一个明确的3D结构为基础的地方表示总是优于一个隐式的“空间”表示的RGB图像序列的基础上，可以固有地学习场景结构。在这个扩展的摘要中，我们试图通过考虑类似的“度量跨度”来表示位置来比较这两种方法。我们比较了基于3D点云的方法（PointNetVLAD）与基于图像序列的方法（SeqNet等），并展示了基于图像序列的技术方法，甚至可以超越基于点云的方法在给定的度量范围内所实现的性能。这些性能变化可以归因于输入传感器的数据丰富度以及移动机器人的数据积累策略的差异。虽然对于这两种不同的模式来说，完美的苹果对苹果的比较可能是不可行的，但所提出的比较朝着回答有关空间表征的更深层次问题的方向迈出了一步，这些问题与自动驾驶和增强/虚拟现实等几个应用有关。源代码可在https://github.com/oravus/seqNet公开获取。
2021-06-22 cs.AI cs.CV cs.IR
