The Oxford Spires Dataset: Benchmarking Large-Scale LiDAR-Visual Localisation, Reconstruction and Radiance Field Methods
Oxford Robotics Inst., Dept. of Eng. Science, Univ. of Oxford, UK(牛津大学机器人研究所、工程科学系);Group of Automation, Robotics and Computer Vision (AUROVA), University of Alicante, Spain(自动化、机器人与计算机视觉小组(AUROVA)、阿尔基兰特大学)
本文提出牛津尖塔大规模多模态数据集及定位、重建和新视角合成基准,揭示辐射场方法过拟合训练姿态、泛化差且重建不如MVS的局限。
2025-09-10 cs.CV cs.RO
AIR-HLoc: Adaptive Retrieved Images Selection for Efficient Visual Localisation
University College London(伦敦大学学院)
本文提出AIR-HLoc,一种基于查询与数据库图像全局描述子相似度自适应调整top-$k$值的视觉定位方法,有效缓解特征匹配瓶颈,在保持精度的同时将匹配时间减少高达30%。
2025-03-04 cs.CV
egenioussBench: A New Dataset for Geospatial Visual Localisation
Autonomous Systems, Center for Vision, Automation(自主系统,视觉、自动化中心)
本文提出一个基于地理参考数据的视觉定位基准,包含城市级空中3D网格和CityGML LoD2模型,通过智能手机图像和高精度地面真值实现大规模可扩展定位挑战。
2026-05-06 cs.CV
SOLVR: Submap Oriented LiDAR-Visual Re-Localisation
Technical University of Munich(慕尼黑工业大学);CSIRO(澳大利亚联邦科学与工业研究组织);Queensland University of Technology(昆士兰科技大学)
SOLVR提出统一的激光雷达-视觉重定位流程,通过立体深度预测、概率占据融合、灵活正样本定义和加权最小二乘配准,在KITTI及KITTI360上实现最先进的地点识别与远距离配准精度。
2025-02-05 cs.CV
Inductive Visual Localisation: Factorised Training for Superior Generalisation
University of Oxford(牛津大学)
端到端训练的递归神经网络(RNN)已成功应用于需要处理序列的许多问题,如图像描述,机器翻译和文本识别。然而,RNN通常很难泛化到比训练过程中遇到的序列更长的序列。在这项工作中,我们建议优化神经网络明确归纳。其思想是首先将问题分解为一系列归纳步骤,然后显式地训练RNN来重现这些步骤。泛化是因为RNN不允许学习任意的内部状态;相反,它的任务是模仿有效状态的演变。特别地,该状态被限制为跟踪在先前步骤中已经被考虑的输入图像的部分的空间存储器映射。RNN是针对单个归纳步骤进行训练的,除了所需的输出之外,它还对内存进行更新。我们评估我们的方法在两个不同的视觉识别问题,涉及视觉序列:(1)文本定位,即联合本地化和阅读的文本在图像中包含多行(或一块)的文本,和(2)顺序计数的对象在空中图像。我们表明,递归模型的归纳训练增强了它们在具有挑战性的图像数据集上的泛化能力。
2018-07-21 cs.CV
CNN-Based Camera Pose Estimation and Localisation of Scan Images for Aircraft Visual Inspection
Pillar of Engineering Product Development(工程产品发展中心);Singapore University of Technology and Design(新加坡科技设计大学);ST Engineering Aerospace Ltd.(ST工程航空航天有限公司)
本文提出基于CNN的无基础设施方法,用于飞机视觉检测中扫描图像的相机姿态估计与定位,通过领域随机化和几何优化提升精度。
2025-11-24 cs.CV cs.RO
Improved Visually Prompted Keyword Localisation in Real Low-Resource Settings
Electrical and Electronic Engineering(电气与电子工程);Stellenbosch University(斯泰伦博斯大学);National University of Science and Technology(国家科学与技术大学);\textsc{Politehnica} Bucharest(布加勒斯特理工大学)
本文提出了一种无需转录的少样本学习方法,用于在低资源语言中实现视觉提示关键词本地化,并在约鲁巴语言上验证了其有效性。
2025-11-26 cs.CL cs.CV eess.AS
Cascade Learning Localises Discriminant Features in Visual Scene Classification
University of Southampton(南安普顿大学)
本文比较端到端与级联学习在视觉场景分类中的特征定位能力,发现级联学习能更准确地定位判别性区域,并在YOLO检测框架上比端到端方法mAP提升2%。
2023-11-30 cs.CV
Variational State-Space Models for Localisation and Dense 3D Mapping in 6 DoF
Volkswagen Group(大众集团);Machine Learning Research Lab(机器学习研究实验室)
我们解决的问题,6自由度的本地化和三维密集重建空间环境中的近似贝叶斯推断在深状态空间模型。我们的方法利用了多视图几何和刚体动力学的学习和领域知识。这导致了世界的表达性预测模型,这在当前最先进的视觉SLAM解决方案中通常是缺失的。结合变分推断,神经网络和可微raycaster确保我们的模型是服从端到端的基于梯度的优化。我们评估我们的方法对现实的无人机飞行数据,接近最先进的视觉惯性里程计系统的性能。我们证明了该模型的生成预测和规划的适用性。
2021-03-15 cs.CV cs.LG stat.ML
Large-Scale Mapping of Human Activity using Geo-Tagged Videos
University of California, Merced(加州大学默塞德分校);University of Southern California(南加州大学)
本文是第一次使用地理标记视频的视觉内容来执行人类活动的时空映射。我们利用最近基于深度学习的视频分析框架,称为隐藏双流网络,来识别YouTube视频中的一系列活动。该框架是有效的,并且可以实时的或更快地运行,这对于识别在流视频中发生的事件或减少分析已经捕获的视频的延迟是重要的。这对于在智慧城市应用中使用视频非常重要。我们进行了一系列的实验,以显示我们的方法是能够准确地映射活动的空间和时间。我们还展示了使用视觉内容的标签/标题的优势。
2017-11-28 cs.CV cs.CY cs.MM
SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation
The University of Melbourne(墨尔本大学);Singapore Management University(新加坡管理大学)
SurFITR数据集旨在解决监控场景中伪造检测与定位的挑战,通过多模态LLM生成大量高质量伪造图像,提升检测模型在不同场景下的性能。
2026-04-08 cs.AI cs.CV cs.MM
Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
我们提出了一个简单而有效的自监督框架视听表示学习,本地化的声源在视频中。为了理解是什么使得能够学习有用的表示,我们系统地研究了数据增强的效果,并揭示了(1)数据增强的组合起着关键作用,即明确地鼓励视听表示对各种变换保持不变~({ \em变换不变性});(2)强制几何一致性实质上提高了学习表示的质量,即,检测到的声源应当遵循应用于输入视频帧的相同变换~({ \em变换等方差})。大量的实验表明,我们的模型显着优于以前的方法在两个声音定位基准,即,Flickr-SoundNet和VGG-Sound。此外,我们还评估了音频检索和跨模态检索任务。在这两种情况下,我们的自监督模型表现出优越的检索性能,甚至与音频检索中的监督方法竞争。这表明,所提出的框架学习强大的多模态表示,有利于声音的本地化和推广到进一步的应用。\textit{All codes will be available}。
2022-08-15 cs.CV cs.MM cs.SD
The Solution for Temporal Sound Localisation Task of ICCV 1st Perception Test Challenge 2023
Nanjing University of Science and Technology(南京理工大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Alibaba(阿里巴巴)
针对时序声音定位任务,本文融合自监督预训练视觉特征与互补音频特征,并利用多尺度 Transformer 训练,在 ICCV 2023 挑战赛中取得 0.33 mAP、赛道第二。
2024-07-01 cs.CV cs.LG cs.SD
On the Application of Efficient Neural Mapping to Real-Time Indoor Localisation for Unmanned Ground Vehicles
Newcastle University(纽卡斯尔大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本研究评估了隐式神经映射在真实机器人场景中的适用性,通过约束2维空间并增加训练数据,训练出能在嵌入式平台实时推理的紧凑模型,在UGV上实现了9cm平均精度的航点导航,并发布了含数万样本的新颖定位数据集。
2024-01-02 cs.AI cs.CV cs.RO
Navigating the Landscape for Real-time Localisation and Mapping for Robotics and Virtual and Augmented Reality
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Stanford University(斯坦福大学)
在低功耗下对3D环境进行实时的【形】视觉理解是一个巨大的计算挑战。它通常被称为SLAM(同步定位和地图),是家用和工业机器人、自动驾驶汽车、虚拟和增强现实等应用的核心。本文描述了一项重大研究工作的结果,该研究工作旨在通过支持应用专家选择和配置适当的算法和适当的硬件以及编译路径,来组装实现SLAM交付所需的算法、架构、工具和系统软件,以满足其性能、准确性和能耗目标。我们提出的主要贡献是(1)用于SLAM算法的系统定量评估的工具和方法,(2)关于多个目标的算法和实现设计空间的自动化,机器学习引导的探索,(3)端到端仿真工具,以实现针对各种SLAM算法方法的特定算法要求的异构加速架构的优化,以及(4)用于在受管的、JIT编译的、自适应的运行时上下文中在适当的情况下交付加速的、自适应的SLAM解决方案的工具。
2018-08-20 cs.CV cs.LG cs.RO
Container Localisation and Mass Estimation with an RGB-D Camera
DITEN, University of Genoa, Italy(热力学与能源技术研究所,热那亚大学,意大利)
本文提出一种基于单个RGB-D相机的方法,通过自动选择候选容器并平均轻量级模型预测,在CORSMAL数据集上以71.08%的得分实现不同光照和填充条件下的空容器质量估计。
2022-03-02 cs.CV cs.RO eess.IV
Collaborative Visual Place Recognition through Federated Learning
Politecnico di Torino(都灵理工大学)
本研究通过联邦学习(FL)重新审视视觉位置识别(VPR)任务,提出FedVPR框架以解决VPR数据缺乏明确类别、需集中式数据挖掘及客户端设备异构性等关键挑战,为FL中的图像检索任务开辟了新方向。
2024-04-20 cs.CV
Momo: Monocular Motion Estimation on Manifolds
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
关于车辆位置的知识对于自动驾驶是不可或缺的。为了应用全局定位方法,必须知道可以从视觉里程计获得的姿态先验。先验知识的质量和鲁棒性决定了定位的成功。Momo是一种单目帧到帧运动估计方法,为此目的提供高质量的视觉里程计。通过考虑车辆的运动模型,姿态先验的可靠性和准确性显着提高。我们表明,特别是在低结构的环境中,莫莫优于最先进的。此外,该方法的设计,使多个摄像机有或没有重叠可以集成。对KITTI数据集和适当的多相机数据集的评估表明,即使只有100- 300个特征匹配,先验估计也具有高精度和实时性。
2017-08-01 cs.CV
Whose Emotion Matters? Speaking Activity Localisation without Prior Knowledge
University of Hamburg(汉堡大学)
针对 MELD 标签对齐噪声和多人场景说话者定位问题,本文利用主动说话者检测与 ASR 构建 MELD-FAIR,并训练多模态 ERC 模型,证明面部线索优于既有视觉特征。
2023-08-15 cs.CV cs.LG cs.NE
Visual Appearance Analysis of Forest Scenes for Monocular SLAM
University of Edinburgh(爱丁堡大学)
单目同步定位和制图(SLAM)是一种廉价且节能的方法,可使无人机(UAV)安全地导航管理的森林并收集对监测树木健康至关重要的数据。然而,SLAM研究大多是在结构化的人类环境中进行的,因此对非结构化森林的适应性很差。在本文中,我们比较了最先进的单目SLAM系统对森林数据的性能,并使用视觉外观统计来描述森林和其他环境之间的差异,包括逼真的模拟森林。我们发现,SLAM系统的斗争,但最简单的森林地形,并确定关键属性(照明变化和场景中的运动)区分森林场景从“经典”的城市数据集。这些差异让我们深入了解是什么使森林更难绘制地图,并为有针对性的改进开辟了道路。我们还证明,即使是看起来令人印象深刻的模拟人眼可能无法正确反映他们模拟的环境的困难属性,并提供更密切地模仿自然场景的建议。
2019-07-05 cs.CV cs.RO
A Hybrid Technique for Plant Disease Identification and Localisation in Real-time
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Washington(华盛顿大学);National P.G. College(国立PG学院);C.S.A. University of Agriculture & Technology(CSA农业与技术大学)
本文提出一种结合四叉树分解与特征学习的混合方法,用于在无人机和机器人平台上实现高分辨率图像的实时植物病害识别与定位,在四种病害类别上F1分数约0.80。
2024-12-27 cs.CV
Collection and Evaluation of a Long-Term 4D Agri-Robotic Dataset
Lincoln Centre for Autonomous Systems (LCAS)(林肯自主系统中心(LCAS));University of Lincoln(林肯大学)
长期自主是机器人最需要的能力之一。在很长的时间范围内反复执行相同任务的可能性,提供高标准的可重复性和鲁棒性,这是很有吸引力的。长期的自主性可以在采用机器人系统进行精准农业方面发挥关键作用,例如帮助人类在大型果园中监测和收获作物。考虑到这一范围,我们报告了一个持续的努力,在长期部署的自主移动机器人在葡萄园的数据汇集跨越多个月。主要目的是收集同一地区不同时间点的数据,以便能够分析环境变化对制图和定位任务的影响。在这项工作中,我们提出了一个基于地图的本地化研究采取4个数据会话。当预构建的地图在视觉上与环境的当前外观不同时,我们确定了预期的失败,并且我们预计LTS-Net是一种旨在提取稳定的时间特征以改善长期4D定位结果的解决方案。
2022-11-25 cs.CV cs.LG cs.RO
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations
University of Georgia(佐治亚大学);Stanford University(斯坦福大学);Google Inc(谷歌公司);Carnegie Mellon University(卡内基梅隆大学)
针对地理标记图像标签稀缺问题,提出自监督对比空间预训练(CSP)框架,利用双编码器结合地理信息学习表征,在iNat2018和fMoW上提升性能,其中iNat2018相对提升10-34%。
2023-05-09 cs.AI cs.CV cs.LG
HuMemSLAM: Efficient Human-Inspired Semantic Place Recognition for Robust Visual SLAM
Oxford Brookes University(牛津布鲁克斯大学)
针对传统视觉SLAM在感知混叠和变化下的脆弱性,本文提出类人语义地点识别方法HuMem-VPR并集成到ORB-SLAM3形成HuMemSLAM,利用自下而上感知与自上而下推理结合,实现高准确率、低延迟的地点识别,显著提升召回率并减少几何后端负担。
2026-09-16 cs.CV cs.RO
Keypoint Semantic Integration for Improved Feature Matching in Outdoor Agricultural Environments
University of Lincoln(林肯大学);TU Delft(代尔夫特理工大学);ETH Zurich(苏黎世联邦理工学院)
针对葡萄园等户外农业场景中因重复结构导致的特征匹配感知混叠问题,提出关键点语义集成技术以增强描述子独特性,并在相对位姿估计和视觉定位任务中将匹配准确率提升12.6%。
2025-03-11 cs.CV cs.RO
Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments
Montanuniversität Leoben(莱奥本矿业大学);Middlesex University(密德萨斯大学)
提出Pro-Bench基准,包含多领域RGB帧和丰富查询,系统评估16种开放词汇模型在真实环境中的提示鲁棒性,发现其强依赖架构,并揭示聚合mAP掩盖的恢复差异。
2026-09-24 cs.CV cs.RO
Visual Perception and Modelling in Unstructured Orchard for Apple Harvesting Robots
视觉感知和建模是非结构化果园机器人采摘的基本任务。本文开发了一个框架的视觉感知和建模的机器人收获水果的果园环境。开发的框架包括视觉感知,场景映射,水果建模。视觉感知模块利用深度学习模型在工作场景中执行多用途视觉感知任务;场景映射模块应用CIMap来表示环境中的多类对象或元素;水果建模模块估计对象的几何属性并估计每个水果的正确访问姿势。开发的框架在苹果园实施和评估。实验结果表明,视觉感知和建模算法可以准确地检测和定位水果,并在真实的果园环境中建模的工作场景。视觉感知模块联合对水果检测和分割的$F_{1}$评分和平均交集分别为0.833和0.852。在中心定位和姿态估计方面的水果建模的准确度分别为0.955和0.923。总体而言,本文提出了一种准确的视觉感知和建模算法。
2019-12-29 cs.CV
CortexNet: a Generic Network Family for Robust Visual Temporal Representations
Purdue University(普渡大学)
在过去的五年里,我们已经观察到,在监督下训练的前馈神经网络在视觉相关任务中表现非常出色。这些模型在静态图像中的对象识别、定位和检测方面实现了超人的性能。然而,有必要确定最佳策略,采用这些网络与时间视觉输入,并获得一个强大的和稳定的视频数据表示。受人类视觉系统的启发,我们提出了一个深度神经网络家族,CortexNet,它不仅具有自下而上的前馈连接,而且还模拟了我们视觉皮层中存在的丰富的自上而下的反馈和横向连接。我们介绍了两种训练方案-无监督的MatchNet和弱监督的TempoNet模式-其中网络通过学习自我运动线索以及如何自动跟踪当前场景中的多个对象来学习如何正确预测视频剪辑中的后续帧或其主要主体的身份。在https://engineering.purdue.edu/elab/CortexNet/上找到该项目的网站。
2017-06-14 cs.CV
Uncovering the Metaverse within Everyday Environments: a Coarse-to-Fine Approach
University of Cambridge(剑桥大学);University of Nottingham(诺丁汉大学);University of Nottingham Ningbo China(宁波诺丁汉大学)
本文提出一种基于Artcode视觉标记的由粗到细的定位方法,用于在日常环境中发现隐藏的元宇宙链接,实验证明其有效并开启了新的交互机会。
2024-04-11 cs.CV cs.HC
Localising In Complex Scenes Using Balanced Adversarial Adaptation
ARC Centre of Excellence for Robotic Vision(澳大利亚研究委员会机器人视觉卓越中心);Monash University(莫纳什大学)
领域自适应和生成式建模通过利用模拟环境中丰富的准确标记数据,共同减轻了数据汇集和标记的昂贵性质。在这项工作中,我们研究的性能之间存在的差距表示优化本地化的模拟环境和应用程序的这种表示在现实世界中设置。我们的方法利用模拟和现实世界的环境之间共享的几何相似性,同时保持对视觉差异的不变性。这是通过优化表示提取器来实现的,以将模拟和真实表示投影到共享表示空间中。我们的方法使用了一种对称对抗方法,该方法鼓励表示提取器隐藏从中提取特征的域,同时保留源域和目标域之间有利于本地化的鲁棒属性。我们通过将室内人居模拟环境(Matterport3D和ESTA)优化的表示适应真实世界的室内环境(主动视觉数据集)来评估我们的方法,表明它与完全监督的方法相比是有利的。
2020-11-09 cs.CV cs.LG
[Re] Boosting the Visual Interpretability of CLIP via Adversarial Fine-Tuning
University of Amsterdam(阿姆斯特丹大学);student.uva.nl(阿姆斯特丹大学学生网络(注:此处为学生所属域名,实际机构为阿姆斯特丹大学))
本文复现ICLR 2025的CLIP对抗微调研究,提出带能量指向游戏损失的显著图引导正则化扩展,可提升定位指标且对零样本精度影响可控,重构代码库支持系统性实验。
2026-10-14 cs.CV
Fracture Detection and Localisation in Wrist and Hand Radiographs using Detection Transformer Variants
针对腕部和手部骨折X光片人工诊断慢且易出错的问题,本研究将RT-DETR和Co-DETR模型应用于专有临床数据集,发现Co-DETR表现更优,集成pipeline泛化能力强,可提升诊断速度和可靠性。
2025-08-19 cs.AI cs.CV eess.IV
Residual Connection Networks in Medical Image Processing: Exploration of ResUnet++ Model Driven by Human Computer Interaction
Lanzhou Jiaotong University(兰州交通大学);Northeastern University(东北大学);Vanderbilt University(范德堡大学)
本文提出ResUnet++混合模型,融合ResNet残差块与Unet++架构并结合人机交互原则,在LGG分割数据集上实现98.17%的Jaccard Loss,旨在提升脑肿瘤检测定位性能与临床交互可用性。
2024-12-30 cs.CV eess.IV
Efficient and Compact Convolutional Neural Network Architectures for Non-temporal Real-time Fire Detection
Durham University(杜伦大学)
自动视觉火灾探测用于补充传统的火灾探测传感器系统(烟雾/热量)。在这项工作中,我们研究了不同的卷积神经网络(CNN)架构及其变体的非时间实时的【形】边界检测的火灾像素区域的视频(或静态)图像。通过实验分析提出了两种降低复杂度的紧凑型CNN架构(NasNet-A-OnFire和ShuffleNetV 2-OnFire),以优化该任务的计算效率。结果改进了当前最先进的火灾检测解决方案,实现了95%的全帧二进制分类准确率和97%的超像素定位准确率。我们显着实现了分类速度的2.3倍的二进制分类和1.3倍的超像素定位,运行时间分别为40 fps和18 fps,优于该领域的先前工作,为火灾区域检测提供了一个高效,强大和实时的【形】的解决方案。随后在低功耗设备(Nvidia Xavier-NX,通过ShuffleNetV 2-OnFire实现49 fps的全帧分类)上的实现证明了我们的架构适用于各种实际部署应用。
2020-10-17 cs.CV cs.LG
CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic Data
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
我们提出了一个视觉定位系统,学习估计相机在现实世界中的姿态与合成数据的帮助。尽管近年来取得了重大进展,但大多数基于学习的视觉定位方法都针对单个领域,需要密集的地理标记图像数据库才能正常工作。为了缓解数据稀缺问题并提高神经定位模型的可扩展性,我们引入了TOPO-DataGen,这是一种多功能的合成数据生成工具,可以在现实和虚拟世界之间平滑地遍历,取决于地理相机的视角。提出了新的大规模模拟到真实基准数据集,以展示和评估所述合成数据的效用。我们的实验表明,合成数据一般提高神经网络的性能对真实数据。此外,我们引入CrossLoc,一种跨模态视觉表示学习方法,通过自我监督,充分利用场景坐标地面实况来进行姿态估计。在没有任何额外数据的情况下,CrossLoc的性能明显优于最先进的方法,并实现了更高的实际数据样本效率。我们的代码和数据集都可以在https://crossloc.github.io/上找到。
2022-03-30 cs.AI cs.CV cs.RO
Underwater inspection and intervention dataset
Heriot-Watt University(赫瑞-瓦特大学);The University of Edinburgh(爱丁堡大学)
本文提出了一种新的数据集的视觉导航和同步定位和映射(SLAM)算法的发展,以及水下干预任务。它不同于现有的数据集,因为它包含水下运动跟踪系统捕获的车辆位置的地面实况。该数据集包含无失真和校正的立体图像以及立体相机设置的校准参数。此外,这些实验是在受控环境中进行和记录的,在受控环境中可以生成电流和波浪,从而使数据集能够覆盖各种条件-从平静的水到波浪和强度很大的电流。
2021-07-28 cs.CV
Hardware-Aware Feature Extraction Quantisation for Real-Time Visual Odometry on FPGA Platforms
Embedded Vision Systems Group, Department of Automatic Control and Robotics(嵌入式视觉系统组,自动控制与机器人系);AGH University of Krakow, Poland(克拉科夫AGH大学,波兰)
提出基于量化SuperPoint的FPGA嵌入式视觉里程计特征提取方案,利用Brevitas和FINN进行硬件感知优化,在640x480分辨率下达54fps,超越现有方法。
2025-07-10 cs.CV eess.IV