CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
深度生成模型的巨大进步导致了逼真的图像合成。虽然取得了令人信服的结果，但大多数方法都是在二维图像域中操作，忽略了我们世界的三维性质。因此，最近的几项工作提出了3D感知的生成模型，即，场景在3D中建模，然后可区分地渲染到图像平面。这导致了令人印象深刻的3D一致性，但引入这种偏差是有代价的：相机也需要建模。目前的方法假设固定的内在和预先定义的相机姿态范围内的先验。因此，对于真实世界的数据，通常需要进行参数调优，如果数据分布不匹配，结果会降低。我们的关键假设是，学习相机生成器与图像生成器联合导致更有原则的3D感知图像合成方法。此外，我们建议将场景分解为背景和前景模型，从而实现更高效和更清晰的场景表示。在从原始的、无姿态的图像集合进行训练的同时，我们学习了一个3D和相机感知的生成模型，该模型不仅忠实地恢复了图像，而且还恢复了相机数据分布。在测试时，我们的模型生成图像，并对相机以及场景的形状和外观进行显式控制。
2021-03-31 cs.CV cs.LG
Keypoint-based object tracking and localization using networks of low-power embedded smart cameras
Arab Academy for Science & Technology（阿拉伯科学技术学院）
对象跟踪和定位是一项复杂的任务，通常需要超出低功耗嵌入式摄像机能力的处理能力。本文提出了一种新的方法，实时目标跟踪和定位使用多视图二进制关键点描述符。所提出的方法提供了处理能力，准确性和网络带宽之间的折衷，并已使用多个分布式低功耗智能相机进行了测试。此外，提出了多种优化技术，以提高低功耗嵌入式系统的关键点描述符的性能。
2017-11-09 cs.CV
CaLDiff: Camera Localization in NeRF via Pose Diffusion
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所）；ETH Zürich（苏黎世联邦理工学院）；State University of New York (SUNY) at Korea（纽约州立大学韩国分校）
针对NeRF中相机定位问题，提出CaLDiff方法，利用扩散模型迭代调整相机姿态，并结合姿态反演细化，在真实数据上显著优于现有方法。
2023-12-23 cs.CV
REST: Real-to-Synthetic Transform for Illumination Invariant Camera Localization
Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
准确的摄像机定位是跟踪系统的重要组成部分。然而，定位结果受光照的影响很大。包括在各种照明条件下收集的数据可以提高定位算法对照明变化的鲁棒性。然而，这是非常繁琐和耗时的。通过使用合成图像，可以在不同的照明和天气条件下容易地积累各种各样的视图。尽管不断改进处理能力和渲染算法，但合成图像并不完全匹配同一场景的真实图像，即真实图像和合成图像之间存在差距，这也影响了相机定位的准确性。为了减少这种差距的影响，我们引入了“真实到合成转换（REST）”。REST是一个类似于自动编码器的网络，它将真实的功能转换为它们的合成对应物。然后，可以将转换后的特征与累积的数据库进行匹配，以实现鲁棒的相机定位。在我们的实验中，REST将可变光照条件下的特征匹配精度提高了约30%。此外，我们的系统优于使用合成图像训练的最先进的基于CNN的相机定位方法。我们相信我们的方法可以用来初始化本地跟踪和简化数据积累的照明鲁棒定位。
2018-03-26 cs.CV
Cluster-Wise Ratio Tests for Fast Camera Localization
University of California, Irvine（加州大学尔湾分校）
用于相机定位的特征点匹配遭受可扩展性问题。即使当与3D场景点相关联的特征描述符是局部唯一的时，随着覆盖范围的增长，相似或重复的特征也变得越来越常见。因此，用于识别可靠图像特征点的标准距离比率测试过于严格，并拒绝了许多良好的候选匹配。我们提出了一个简单的粗到细的策略，使用保守的近似鲁棒的本地比率测试，可以有效地计算使用全球近似k-最近邻搜索。我们将这些前向匹配视为相机姿态空间中的投票，并使用它们来优先考虑候选相机姿态集群内的后向匹配，利用通过对3D模型相机姿态图进行聚类而捕获的特征共可见性。这种方法在各种流行的基准上实现了最先进的摄像机定位结果，优于使用更复杂的数据结构和对摄像机姿态进行更严格假设的几种方法。我们还对一个包含全局重复结构的困难测试数据集进行了诊断分析，这表明我们的方法成功地适应了大规模图像定位的挑战。
2017-05-20 cs.CV
Pole-based Vehicle Localization with Vector Maps: A Camera-LiDAR Comparative Study
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）
针对城市环境中GNSS定位受干扰的问题，本文对比了LiDAR几何提取与轻量网络相机检测两种杆状地物定位方案，验证了多相机视觉方法在开阔道路下的高精度定位效果。
2024-12-11 cs.CV cs.LG
Camera-based Image Forgery Localization using Convolutional Neural Networks
University Federico II of Naples（那不勒斯费德里科二世大学）
相机指纹是许多图像取证任务的宝贵工具。一个众所周知的例子是光响应非均匀性（PRNU）噪声模式，一个强大的设备指纹。在这里，为了解决图像伪造定位问题，我们依赖于noiseprint，这是最近提出的一种基于CNN的相机模型指纹。训练CNN以最小化相同模型块之间的距离，否则最大化距离。因此，噪声印记解释了模型相关伪影，就像PRNU解释了设备相关非均匀性一样。然而，与PRNU不同的是，它只受到高级场景内容残差的轻微影响。实验结果表明，所提出的基于噪声印记的伪造定位方法优于基于PRNU的参考。
2018-08-29 cs.CV
A Robust Anchor-based Method for Multi-Camera Pedestrian Localization
Shanghai University of Finance and Economics（上海财经大学）；CUE Group（CUE集团）；Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
针对相机参数偏差导致视觉行人定位不准的问题，提出基于固定位置锚点的鲁棒定位方法，经理论分析和多数据集实验验证，该方法可显著提升精度，对相机参数噪声具有强鲁棒性。
2024-10-25 cs.CV eess.IV
Real-time Localization of a Soccer Ball from a Single Camera
Yandex
本文提出一种基于单台转播摄像机的实时三维足球轨迹重建方法，通过含 W 个离散模式的多模式状态模型在标准 CPU 上实现低延迟与厘米级精度。
2025-06-09 cs.CV cs.LG
TLGAN: document Text Localization using Generative Adversarial Nets
Data Analytic Laboratory（数据分析实验室）；Samsung Life Insurance（三星人寿保险）
从数字图像中定位文本是光学字符识别任务的第一步。传统的基于图像处理的文本定位对于特定的例子来说是足够的。然而，一般的文本本地化仅由最近的基于深度学习的模式存档。在这里，我们提出了文档文本定位生成对抗网络（TLGAN），它是深度神经网络，用于从数字图像中执行文本定位。TLGAN是一种通用且易于训练的文本本地化模型，需要少量数据。在扫描收据OCR和信息抽取（SROIE）上仅训练来自Robust Reading Challenge的10个标记收据图像，TLGAN对SROIE测试数据实现了99.83%的准确率和99.64%的召回率。我们的TLGAN是一个实用的文本本地化解决方案，只需最少的数据标记和模型训练工作，即可产生最先进的性能。
2020-10-22 cs.CV cs.LG
Learning Less is More - 6D Camera Localization via 3D Surface Regression
自动驾驶和增强现实等热门研究领域重新激发了人们对基于图像的相机定位的兴趣。在这项工作中，我们解决了在给定的3D环境中从单个RGB图像预测6D相机姿态的任务。随着神经网络的出现，以前的工作要么学习整个摄像机定位过程，或摄像机定位管道的多个组件。我们的主要贡献是证明和解释，学习这个管道的单个组件是足够的。该组件是用于密集地回归所谓的场景坐标的全卷积神经网络，定义输入图像与3D场景空间之间的对应关系。神经网络被预先添加到新的端到端可训练流水线。我们的系统是高效的，高度准确的，强大的训练，并表现出出色的泛化能力。它在室内和室外数据集上始终超过最先进的水平。有趣的是，即使在训练过程中没有使用场景的3D模型，我们的方法也超过了现有的技术，因为网络能够自动发现3D场景几何形状，仅从单视图约束。
2018-03-27 cs.CV
Beyond Controlled Environments: 3D Camera Re-Localization in Changing Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Chalmers University of Technology（查尔姆斯理工大学）；CIIRC, Czech Technical University in Prague（捷克布拉格捷克理工大学信息、机器人与控制研究所）；Five AI Ltd.（Five AI有限公司）；Google Inc.（谷歌公司）
长期的相机重新定位是众多计算机视觉和机器人应用的重要任务。虽然存在针对照明、天气和季节变化的各种户外基准，但对室内发生的外观变化的关注要少得多。这导致了流行的室内基准测试（专注于静态场景）与许多现实应用感兴趣的室内环境之间的不匹配。在本文中，我们调整了3RScan -一个最近推出的室内RGB-D数据集，用于对象实例重新定位-创建RIO 10，这是一个新的长期相机重新定位基准，专注于室内场景。我们提出了新的指标来评估相机重新定位，并探讨如何国家的最先进的相机重新定位器执行根据这些指标。我们还详细研究了不同类型的场景变化如何影响不同方法的性能，基于在给定的RGB-D帧中检测这种变化的新方法。我们的研究结果清楚地表明，长期的室内重新定位是一个未解决的问题。我们的基准测试和工具可在waldjohannau.github.io/RIO10上公开获取
2020-08-05 cs.CV
EgoCOL: Egocentric Camera pose estimation for Open-world 3D object Localization @Ego4D challenge 2023
Universidad de los Andes（洛斯安第斯大学）；Google Research Zürich（谷歌苏黎世研究院）
本文提出 EgoCOL 方法，通过独立利用视频和扫描的稀疏相机位姿重建，实现开放世界 3D 物体定位中的以自我为中心的相机位姿估计，在 Ego4D 基准上估计的相机位姿数量显著超越基线。
2023-06-29 cs.CV
Video-Based Camera Localization Using Anchor View Detection and Recursive 3D Reconstruction
Tokyo Institute of Technology（东京工业大学）；Olympus Corporation（奥林巴斯公司）
在本文中，我们介绍了一种新的摄像机定位策略，设计用于在具有挑战性的工业情况下，如工业零件检测捕获的图像序列。为了处理损害标准3D重建管道的特殊外观，我们通过选择序列中的关键帧（称为锚点）来利用场景的先验知识，这些关键帧粗略地连接到某个位置。然后，我们的方法按时间顺序寻找每个帧的位置，同时递归地更新可以提供当前相机位置和周围3D结构的增强3D模型。在一个实际的工业情况的实验中，我们的方法可以定位超过99%的帧在输入序列，而标准的定位方法无法重建一个完整的摄像机轨迹。
2021-07-07 cs.CV
Visual Camera Re-Localization from RGB and RGB-D Images Using DSAC
Niantic；Heidelberg University（海德堡大学）
我们描述了一个基于学习的系统，估计相机的位置和方向从一个单一的输入图像相对于一个已知的环境。该系统是灵活的w.r.t.在测试和培训时可获得的信息量，以满足不同的应用。输入图像可以是RGB-D或RGB，并且环境的3D模型可以用于训练，但不是必需的。在最小的情况下，我们的系统在训练时只需要RGB图像和地面真实姿势，在测试时只需要单个RGB图像。该框架由一个深度神经网络和完全可微的姿势优化。神经网络预测所谓的场景坐标，即输入图像与环境的3D场景空间之间的密集对应。姿态优化使用可微RANSAC（DSAC）实现姿态参数的鲁棒拟合以促进端到端训练。该系统是DSAC++的扩展，被称为DSAC*，可在各种基于RGB的重新定位的公共数据集上实现最先进的准确性，并在基于RGB-D的重新定位上实现有竞争力的准确性。
2020-10-09 cs.CV cs.LG
Uncertainty-Aware DNN for Multi-Modal Camera Localization
Università degli Studi di Milano - Bicocca（米兰比可卡大学）；Universidad de Alcalá（阿尔卡拉大学）
摄像机定位，即，相机姿态回归代表了计算机视觉中的重要任务，因为它具有许多实际应用，例如在智能车辆及其定位的背景下。对回归不确定性进行可靠的估计也很重要，因为这将使我们能够捕捉到危险的本地化失败。在文献中，深度神经网络（DNN）中的不确定性估计通常通过采样方法（例如蒙特卡罗丢弃（MCD）和深度包围（DE））来执行，代价是不期望的执行时间或硬件资源的增加。在这项工作中，我们考虑了一种名为深度证据回归（DER）的不确定性估计方法，该方法避免了任何采样技术，提供了直接的不确定性估计。我们的目标是提供一个系统的方法来拦截基于DNN架构的相机定位系统的定位失败，通过分析所产生的不确定性。我们建议利用CMRNet（一种用于多模态图像与LiDAR地图配准的DNN方法），通过修改其内部配置来允许在KITTI数据集上进行广泛的实验活动。实验部分突出了CMRNet的主要缺陷，并证明了我们的建议不会损害原来的本地化性能，但也提供了，在同一时间，必要的自省措施，将允许最终用户采取相应的行动。
2023-03-09 cs.CV
GSplatLoc: Ultra-Precise Camera Localization via 3D Gaussian Splatting
Southeast University Chengxian College（东南大学晨曦学院）
本研究提出GSplatLoc相机定位方法，通过3D高斯溅射可微渲染将位姿估计转化为梯度优化问题，在Replica等数据集上实现远超现有方法的精度，为稠密建图定位设立新基准，可应用于机器人与AR领域。
2025-05-17 cs.CV
Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences
Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）
现有地图中的轻量级相机定位对于基于视觉的导航至关重要。目前，视觉和视觉惯性里程计（VO\&VIO）技术已成熟用于状态估计，但在环路闭合时不可避免地会出现累积漂移和姿态跳跃。为了克服这些问题，我们提出了一种有效的单目相机定位方法，在以前的激光雷达地图使用直接的2D-3D线对应。为了处理LiDAR点云和图像之间的外观差异和模态间隙，从LiDAR地图中离线提取几何3D线，而从视频序列中在线提取鲁棒的2D线。通过VIO的姿态预测，我们可以有效地获得粗略的2D-3D线对应。然后，通过最小化对应的投影误差和拒绝离群值来迭代优化相机位姿和2D-3D对应。在EurocMav数据集和我们收集的数据集上的实验结果表明，该方法可以有效地估计相机姿态，而不会在结构化环境中积累漂移或姿态跳跃。
2020-07-31 cs.CV
Monocular Person Localization under Camera Ego-motion
Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology (SUSTech)（机器人与计算机视觉实验室，南方科技大学）；Department of Electronic and Electrical Engineering, SUSTech（电子与电气工程系，南方科技大学）
本研究提出了一种基于四点模型的单目相机自身运动下的人体定位方法，通过优化联合估计相机姿态和人体三维位置，提升了定位准确性并应用于机器人系统。
2025-11-24 cs.CV cs.RO
Automatic Construction of Real-World Datasets for 3D Object Localization using Two Cameras
LISPEN（LISPEN实验室）；Arts et Métiers ParisTech（巴黎高等工艺学院）
与分类不同，位置标签不能由人类手动分配。因此，生成用于精确对象定位的监督是一项艰巨的任务。本文详细介绍了一种使用工业机器人生成位置标签的方法，该方法使用真实世界的图像创建用于3D对象定位的大型数据集。通过了解机器人的几何形状，我们能够自动同步两个摄像头的图像和物体的3D位置。我们使用KUKA LBR iiwa机器人将其应用于生成具有立体图像的螺丝刀定位数据集。然后，该数据集可以用于训练CNN回归器，以从一组两个标准未校准相机学习端到端立体对象定位。
2018-09-11 cs.CV cs.RO
ViFi-Loc: Multi-modal Pedestrian Localization using GAN with Camera-Phone Correspondences
Rutgers University（罗格斯大学）；Toyota Motor North America（丰田汽车北美公司）
在智慧城市和车联网（V2X）系统中，获取行人的准确位置对交通安全至关重要。目前的系统采用摄像头和无线传感器，通过传感器融合来检测和估计人的位置。然而，当多模态数据不相关联时，标准融合算法变得不适用。例如，行人在摄像机视野之外，或者来自摄像机模态的数据丢失。为了应对这一挑战，并为行人提供更准确的位置估计，我们提出了一种生成对抗网络（GAN）架构。在训练过程中，它学习行人的摄像头-手机数据对应之间的潜在联系。在推理过程中，它仅基于由GPS、IMU和FTM组成的行人电话数据生成精确的位置估计。结果表明，我们的GAN产生的三维坐标在1至2米的定位误差在5个不同的户外场景。我们进一步表明，该模型支持自学习。所生成的坐标可以与行人的限界框坐标相关联，以获得附加的相机-电话数据对应关系。这允许在推断期间自动收集数据汇集。在对扩展数据集进行微调后，定位精度提高了26%。
2022-11-22 cs.CV
CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization
Australian National University（澳大利亚国立大学）；University of Technology Sydney（悉尼科技大学）
本文研究了基于跨视角视频的摄像机定位问题。任务是通过利用来自其过去观测的信息来定位查询相机，即，在先前时间戳观察到的图像的连续序列，并将它们与大型俯视卫星图像进行匹配。这项任务的关键挑战是学习一个强大的全球功能描述符的连续地面视图图像，同时考虑其域对齐参考卫星图像。为此，我们引入了CVLNet，它首先通过探索地面和头顶的几何对应关系将连续的地面视图图像投影到头顶视图中，然后利用投影图像之间的照片一致性来形成全局表示。以这种方式，跨视图域差异被桥接。由于参考卫星图像通常是预先裁剪和定期采样的，因此查询相机位置与其匹配的卫星图像中心之间总是存在不对准。出于这一动机，我们建议估计查询相机的相对位移的卫星图像相似性匹配之前。在这个位移估计过程中，我们还考虑了摄像机位置的不确定性。例如，摄像机不太可能在树上。为了评估所提出的方法的性能，我们从谷歌地图收集卫星图像的KITTI数据集，并构建了一个新的跨视图基于视频的本地化基准数据集，KITTI-CVL。大量的实验已经证明了基于视频的定位的有效性，基于单个图像的定位和每个模块的优越性，比其他替代品。
2022-08-07 cs.CV
CMRNet++: Map and Camera Agnostic Monocular Visual Localization in LiDAR Maps
University of Freiburg（弗莱堡大学）；Università di Milano - Bicocca（米兰比可卡大学）
本地化是自主机器人的关键和关键推动因素。虽然深度学习在许多计算机视觉任务中取得了重大进展，但它仍然没有对改善度量视觉定位能力产生相当大的影响。主要障碍之一是现有的基于卷积神经网络（CNN）的姿势回归方法无法推广到以前看不见的地方。我们最近推出的CMRNet通过在LiDAR地图中实现地图独立的单目定位，有效地解决了这一限制。在本文中，我们现在通过引入CMRNet++更进一步，CMRNet++是一个更加强大的模型，不仅可以有效地推广到新的地方，而且与相机参数无关。我们通过将深度学习与几何技术相结合，并将度量推理移出学习过程来实现这种能力。通过这种方式，网络的权重不会与特定的相机绑定。CMRNet++在三个具有挑战性的自动驾驶数据集上进行了广泛的评估，KITTI、Argoverse和Lyft5的研究表明，CMRNet++的性能远远优于CMRNet和其他基线。更重要的是，我们首次展示了深度学习方法在全新环境中准确定位的能力，无需任何重新训练或微调，并且独立于相机参数。
2020-05-22 cs.CV cs.LG cs.RO
Geometry-Aware Learning of Maps for Camera Localization
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达公司（NVIDIA））
地图是基于图像的相机定位和视觉SLAM系统中的关键组件：它们用于建立图像之间的几何约束，校正相对姿态估计中的漂移，以及在丢失跟踪后重新定位相机。然而，地图的确切定义通常是特定于应用程序的，并且是针对不同场景手工制作的（例如，3D地标，线条，平面，视觉词袋）。我们建议将地图表示为一个名为MapNet的深度神经网络，它可以学习数据驱动的地图表示。与之前的学习地图工作不同，MapNet利用廉价且无处不在的感官输入，如视觉里程计和GPS，以及图像，并将它们融合在一起用于相机定位。由这些输入表示的几何约束，传统上用于光束法平差或姿态图优化，在MapNet训练中被公式化为损失项，并在推理过程中使用。除了直接提高定位精度外，这还允许我们更新MapNet（即，地图）。我们还提出了一种新的相机旋转参数化，它更适合于基于深度学习的相机姿态回归。在室内7场景数据集和室外Oxford RobotCar数据集上的实验结果表明，与以前的工作相比，性能有了显着的提高。MapNet项目的网页是https://goo.gl/mRB3Au。
2018-04-02 cs.CV
Synfeal: A Data-Driven Simulator for End-to-End Camera Localization
University of Aveiro（阿威罗大学）；Institute of Electronics and Informatics Engineering of Aveiro（阿威罗电子与信息工程研究所）
本文提出开源数据驱动模拟器 Synfeal，通过真实三维重建合成大规模相机定位数据集，证明其优于现有数据生成方法，并首次揭示数据集规模与定位性能的正相关关系。
2023-05-29 cs.AI cs.CV cs.RO
Face Recognition with Machine Learning in OpenCV_ Fusion of the results with the Localization Data of an Acoustic Camera for Speaker Identification
Ostbayerische Technische Hochschule Regensburg（雷根斯堡东巴伐利亚技术大学）
研究利用OpenCV机器学习进行人脸识别，追踪面部与声源位置后融合数据，实现对场景精确实时描述，为多通道语音增强等应用提供支持。
2026-07-28 cs.CV cs.LG
DistillPose: Lightweight Camera Localization Using Auxiliary Learning
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
我们提出了一个轻量级的基于检索的管道来预测从RGB图像的6DOF相机构成。我们的管道使用卷积神经网络（CNN）将查询图像编码为特征向量。最近邻查找查找姿态方面最近的数据库图像。连体卷积神经网络将来自最近邻数据库图像的相对姿态回归到查询图像。然后将相对姿态应用于最近的相邻绝对姿态以获得查询图像的最终绝对姿态预测。我们的模型是一个浓缩版本的NN网络，减少了98.87%的参数，信息检索特征向量的大小87.5%，推理时间89.18%，而没有显着降低定位精度。
2021-08-09 cs.CV
AtLoc: Attention Guided Camera Localization
University of Oxford（牛津大学）
深度学习在相机定位方面取得了令人印象深刻的成果，但目前的单图像技术通常缺乏鲁棒性，导致较大的离群值。在某种程度上，这已经通过顺序（多图像）或几何约束方法来解决，这些方法可以学习拒绝动态对象和照明条件以实现更好的性能。在这项工作中，我们证明了注意力可以用来迫使网络专注于几何上更鲁棒的对象和特征，即使只使用单个图像作为输入，也可以在常见的基准测试中实现最先进的性能。通过公共室内和室外数据集提供了广泛的实验证据。通过显着性图的可视化，我们展示了网络如何学习拒绝动态对象，从而获得卓越的全局相机姿态回归性能。源代码可在https://github.com/BingCS/AtLoc上获得。
2019-10-28 cs.CV
Continual Learning for Image-Based Camera Localization
Aalto University（阿尔托大学）
对于增强现实、自动驾驶和机器人等几种新兴技术而言，视觉定位是一个关键组成部分。使用深度神经网络从输入图像直接回归相机姿态/3D场景坐标已经显示出巨大的潜力。然而，这样的方法假设在训练期间所有场景同时可用的静态数据分布。在本文中，我们将在一个持续学习设置中处理视觉定位问题--模型将以增量方式在场景中进行训练。我们的研究结果表明，与分类域类似，非平稳数据会在深度网络中引发视觉定位的灾难性遗忘。为了解决这个问题，提出了一种基于存储和重放来自固定缓冲区的图像的强基线。此外，我们提出了一种新的采样方法的基础上覆盖分数（Buff-CS），适应现有的采样策略在缓冲过程中的视觉定位的问题。结果表明，在两个具有挑战性的数据集- 7Scenes，12 Scenes，以及19 Scenes通过合并前场景的标准缓冲方法的一致改进。
2022-04-27 cs.CV
A Survey on Visual Map Localization Using LiDARs and Cameras
Worcester Polytechnic Institute（伍斯特理工学院）
随着自动驾驶行业逐渐成熟，视觉地图定位正迅速成为尽可能准确地定位汽车的标准方法。由于摄像头或LiDAR等视觉传感器返回的丰富数据，研究人员能够构建具有各种细节级别的不同类型的地图，并使用它们在城市环境中实现高水平的车辆定位精度和稳定性。与流行的SLAM方法相反，视觉地图定位依赖于预先构建的地图，并且仅专注于通过避免误差累积或漂移来提高定位精度。我们将视觉地图定位定义为一个两阶段的过程。在地点识别阶段，通过将视觉传感器输出与一组地理标记的感兴趣地图区域进行比较来确定车辆在地图中的初始位置。随后，在地图度量定位的阶段，通过连续地将视觉传感器的输出与正在穿越的地图的当前区域对准，在车辆在地图上移动时跟踪车辆。在本文中，我们调查，讨论和比较最新的方法，激光雷达为基础的，基于摄像头和跨模态视觉地图定位的两个阶段，在努力突出每种方法的优点和缺点。
2022-08-05 cs.CV cs.RO
Deep Camera Pose Regression Using Pseudo-LiDAR
University of Toronto Mississauga（多伦多大学密西沙加校区）
一个精确而强大的大规模定位系统是自动驾驶汽车和增强现实等活跃研究领域不可或缺的组成部分。为此，已经提出了许多从RGB或RGB-D图像预测6DOF相机姿态的学习算法。然而，以前的方法通常采用与RGB图像相同的方式处理数据，通常将深度图作为附加通道添加到RGB图像中，并将其通过卷积神经网络（CNN）。在本文中，我们表明，将深度图转换为伪激光雷达信号，以前被证明是有用的3D目标检测，是一个更好的表示摄像机定位任务的投影点云，可以准确地确定6自由度摄像机姿态。这是通过首先比较专门在伪LiDAR表示上操作的网络的定位精度与专门在深度图上操作的网络来证明的。然后，我们提出了FusionLoc，一种新的架构，使用伪激光雷达回归6DOF相机姿势。FusionLoc是一种双流神经网络，旨在解决在RGB-D图像上运行的典型2D CNN的常见问题。将此架构的结果与使用7场景数据集的各种其他最先进的深度姿态回归实现进行比较。研究结果表明，FusionLoc的性能优于许多其他相机定位方法，平均比RGB-D PoseNet精确0.33米和4.35°。通过证明在深度图上使用伪LiDAR信号进行定位的有效性，在实现大规模定位系统时存在新的考虑因素。
2022-02-28 cs.CV cs.LG cs.RO
Random Forests versus Neural Networks - What's Best for Camera Localization?
University of Oxford（牛津大学）；Technische Universität Dresden（德累斯顿工业大学）
这项工作解决了给定单个输入RGB图像的已知3D场景中的相机定位的任务。现有技术的方法通过两个步骤来实现这一点：首先，针对图像中的每个像素回归其3D场景坐标，随后，使用这些坐标经由RANSAC来估计最终的6D相机姿态。为了解决第一步，通常使用随机森林（RF）。另一方面，神经网络（NN）在许多密集回归任务中占主导地位，但测试时间效率不高。我们提出一个问题：这两种方法中哪一种最适合相机定位？为了解决这个问题，我们做了两个方法的贡献：（1）一个测试时间有效的NN架构，我们称之为从RF导出和初始化的ForestNet，以及（2）一个新的完全可微的鲁棒平均技术，用于回归集成，可以用NN进行端到端的训练。我们的实验结果表明，对于场景坐标回归，传统的NN架构优于测试时间有效的RF和ForestNets，但是，这并不能转化为最终的6D相机姿态精度，其中RF和ForestNets的性能略好。总而言之，我们最好的方法，具有强大平均值的ForestNet，具有同等的快速和轻量级RF，在7场景数据集上改进了摄像机定位的最新技术。虽然这项工作的重点是场景坐标回归相机定位，我们的创新也可以应用于其他连续回归任务。
2017-07-13 cs.CV cs.RO
Visual Camera Re-Localization Using Graph Neural Networks and Relative Pose Supervision
ETH Zurich（苏黎世联邦理工学院）；Niantic；University College London（伦敦大学学院）
视觉重新定位意味着使用单个图像作为输入来估计相机相对于预先记录的环境的位置和方向。得分最高的方法是“基于结构的”，并且需要查询相机的内在函数作为模型的输入，并进行仔细的几何优化。当缺少内在函数时，方法通过做出各种其他假设来竞争准确性。这会产生相当好的本地化分数，但模型在某些方面是“狭窄的”，例如，需要昂贵的测试时计算、深度传感器或多个查询帧。相比之下，我们提出的方法几乎没有特殊的假设，并且在训练和测试中相当轻量级。我们的姿势回归网络只从训练场景的相对姿势中学习。为了进行推理，它构建了一个将查询图像连接到训练对象的图，并使用了一个图神经网络（GNN），其中节点上有图像表示，边缘上有图像对表示。通过在它们之间有效地传递消息，两种表示类型都被细化以产生一致的相机姿态估计。我们验证了我们的方法在标准室内（7场景）和室外（剑桥地标）相机重新定位基准的有效性。我们的相对姿势回归方法与绝对姿势回归网络的准确性相匹配，同时保留了相对姿势模型的测试时间速度和推广到非训练场景的能力。
2021-04-12 cs.CV
Reloc3r: Large-Scale Training of Relative Camera Pose Regression for Generalizable, Fast, and Accurate Visual Localization
The University of Hong Kong（香港大学）；Aalto University（阿尔托大学）；ETH Zurich（苏黎世联邦理工学院）；VIVO（维沃公司）；University of Oulu（奥卢大学）
针对现有深度视觉定位方法泛化性与准确性不足的问题，提出Reloc3r框架，结合相对位姿回归网络与极简运动平均模块，经800万图像对训练后，在6个公开数据集上实现实时准确的跨场景视觉定位。
2025-03-21 cs.CV
Wearable camera-based human absolute localization in large warehouses
Czech Technical University in Prague（布拉格捷克理工大学）
在机器人仓库中，与机器人自主移动的任何地方一样，一个主要问题是在人类操作员干预机器人工作区域期间对其进行定位或检测。本文介绍了一种用于大型仓库的可穿戴人体定位系统，该系统利用用于自动导引车（AGV）定位的预安装基础设施。单目俯视摄像头检测地面节点，识别它们并计算人类的绝对位置，以允许人类和AGV在同一工作空间中安全合作和共存。在操作人员周围设置一个虚拟安全区域，该区域内的任何AGV都会立即停止。为了避免由于机器人和人类操作员之间的短距离而触发紧急停止，必须修改机器人的轨迹，使得它们不干扰人类。本文的目的是展示一种绝对视觉定位方法，工作在具有挑战性的环境中的自动化仓库与低强度的光，大规模变化的环境，并使用单独的单目相机放置在人体上。
2020-07-20 cs.CV
CenterLoc3D: Monocular 3D Vehicle Localization Network for Roadside Surveillance Cameras
单目三维车辆定位是智能交通系统（ITS）和协同车辆基础设施系统（CVIS）中的一项重要任务，通常通过单目三维车辆检测来实现。然而，由于固有的成像机制，单目相机无法直接获得深度信息，从而导致更具挑战性的单目3D任务。目前大多数单目3D车辆检测方法利用2D检测器和附加的几何模块，这降低了效率。在本文中，我们提出了一个三维车辆定位网络CenterLoc3D路边单目摄像机，直接预测图像空间中的质心和八个顶点，三维边界框的尺寸没有二维检测器。为了提高三维车辆定位的精度，我们提出了一个加权融合模块和空间约束嵌入CenterLoc3D的损失。首先，通过摄像机标定求解二维图像空间与三维世界空间的变换矩阵;其次，车辆类型，质心，八个顶点，三维车辆包围盒的尺寸是由CenterLoc3D获得。最后，通过摄像机标定和CenterLoc3D算法得到三维世界空间的质心，进行三维车辆定位。据我们所知，这是路边单目摄像机3D车辆定位的第一个应用。因此，我们还提出了一个基准，包括数据集（SVLD-3D），注释工具（LabelImg-3D），和评估指标。通过实验验证，该方法具有较高的准确性和实时性。（字数有限，详情请看文章）
2023-01-05 cs.AI cs.CV
Learning Camera Localization via Dense Scene Matching
Simon Fraser University（西蒙菲莎大学）；Alibaba A.I Labs（阿里巴巴人工智能实验室）
摄像机定位的目的是从RGB图像中估计6自由度摄像机姿态。传统的方法检测和匹配查询图像和预先构建的3D模型之间的兴趣点。最近基于学习的方法将场景结构编码到特定的卷积神经网络（CNN）中，因此能够从RGB图像中预测密集坐标。然而，他们中的大多数需要重新训练或重新适应一个新的场景，并有困难，在处理大规模的场景，由于网络容量有限。我们提出了一种新的方法，场景不可知的相机定位使用密集场景匹配（DSM），其中的成本体积之间构建的查询图像和场景。成本体积和对应的坐标由CNN处理以预测密集坐标。然后，可以通过Pestrian算法来解决相机姿势。此外，我们的方法可以扩展到时域，这导致在测试时间额外的性能提升。我们的场景不可知的方法实现了与现有的场景特定的方法，如KFNet，在7scenes和剑桥基准相当的准确性。这种方法也明显优于最先进的场景不可知密集坐标回归网络SANet。该守则可在https://github.com/Tangshitao/Dense-Scene-Matching上查阅。
2021-03-31 cs.CV
Scale Drift Correction of Camera Geo-Localization using Geo-Tagged Images
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
从单目视频中定位摄像机是视频分析和自主导航的基础任务。虽然3D重建是获得相机姿态的关键技术，但在大环境中的单目3D重建往往会导致旋转，平移，特别是尺度误差的积累：称为尺度漂移的问题。为了克服这些错误，我们提出了一个新的框架，集成了增量运动恢复结构（SfM）和规模漂移校正方法，利用地理标记的图像，如谷歌街景提供的。我们的校正方法首先通过使用地理标记的图像获得重建的3D地图坐标系和世界坐标系之间的稀疏6-DoF对应关系。然后，通过在Sim（3）约束下应用位姿图优化和光束法平差来校正尺度漂移。大规模数据集上的实验结果表明，该框架不仅能够有效地纠正尺度漂移，而且能够在更大尺度的环境中实现精确的地理定位。
2018-08-26 cs.CV
Motion-based Camera Localization System in Colonoscopy Videos
University of Michigan（密歇根大学）；Michigan Institute for Data Science（密歇根数据科学研究所）；Michigan Center for Integrative Research in Critical Care（密歇根重症监护整合研究中心）
光学结肠镜是许多胃肠道疾病的重要诊断和预后工具，包括癌症筛查和分期、肠道出血、腹泻、腹部症状评估和炎症性肠病评估。考虑到人类对结肠镜检查结果的定性解释中存在的主观性，结肠镜检查的自动评估是令人感兴趣的。摄像机的定位对于解释结肠镜检查所评估疾病的意义和背景至关重要。在这项研究中，我们提出了一个摄像机定位系统来估计摄像机的相对位置，并将结肠分为解剖段。摄像机定位系统从非信息帧检测和去除开始。然后建立了一个自训练的端到端卷积神经网络来估计摄像机的运动，其中提出了几种策略，以提高其对内窥镜视频的鲁棒性和泛化能力。使用所估计的相机运动，可以导出相机轨迹并且计算相对位置索引。基于估计的位置索引，通过构造结肠模板来执行解剖结肠段分类。所提出的运动估计算法进行了评估的外部数据集包含地面真相的相机姿势。实验结果表明，该方法的性能优于其他方法。使用从常规临床实践中收集的结肠镜视频进一步验证相对位置指数估计和解剖区域分类。这种验证产生的平均精度为0.754，这是大大高于使用其他方法建立的位置指数获得的性能分类。
2021-02-11 cs.AI cs.CV
Persistent Nature: A Generative Model of Unbounded 3D Worlds
MIT（麻省理工学院）；Google Research（谷歌研究院）；Cornell Tech（康奈尔理工学院）
尽管越来越逼真的图像质量，最近的3D图像生成模型通常在具有有限相机运动的固定范围的3D体积上操作。我们调查的任务，无条件合成无界的自然场景，使任意大的摄像机运动，同时保持一个持久的3D世界模型。我们的场景表示包括一个可扩展的，平面场景布局网格，它可以从任意的相机构成通过3D解码器和体渲染，和一个全景天窗渲染。基于这种表示，我们学习一个生成世界模型只从单视图的互联网照片。我们的方法可以模拟通过3D景观的长途飞行，同时保持全局场景的一致性-例如，返回到起点会产生相同的场景视图。我们的方法使场景外推超出了当前3D生成模型的固定范围，同时还支持与自回归3D预测模型相反的持久的、独立于相机的世界表示。我们的项目页面：https://chail.github.io/persistent-nature/。
2023-03-23 cs.CV cs.LG
3D Visual Perception for Self-Driving Cars using a Multi-Camera System: Calibration, Mapping, Localization, and Obstacle Detection
University of California Berkeley（加州大学伯克利分校）；DSO National Laboratories（新加坡国防科技研究院）；National University of Singapore（新加坡国立大学）；Graz University of Technology（格拉茨技术大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
摄像头是自动驾驶汽车的关键外感受传感器，因为它们成本低，体积小，提供有关环境的外观信息，并在各种天气条件下工作。它们可以用于多种目的，如视觉导航和障碍物检测。我们可以使用环绕多摄像头系统来覆盖汽车周围的360度全视野。通过这种方式，我们避免了可能导致事故的盲点。为了最大限度地减少环绕感知所需的相机数量，我们使用鱼眼相机。因此，用于3D映射、视觉定位、障碍物检测等的标准视觉流水线需要进行调整，以充分利用多个相机的可用性，而不是单独对待每个相机。此外，必须支持鱼眼图像的处理。在本文中，我们描述了摄像机校准和后续处理流水线的多鱼眼摄像机系统开发的V-Charge项目的一部分。该项目旨在为自动驾驶汽车提供自动代客泊车服务。我们的管道能够精确校准多摄像头系统，构建用于视觉导航的稀疏3D地图，根据这些地图视觉定位汽车，生成准确的密集地图，以及基于实时深度地图提取检测障碍物。
2017-08-31 cs.CV
Privacy-Preserving Visual Localization with Event Cameras
Seoul National University（首尔国立大学）；Snap Inc.（Snap公司）
本文提出基于事件相机的客户端—服务器视觉定位流程，结合事件转图像、分割推理与轻量级滤波，在低功耗、鲁棒定位的同时保护网络与传感器层级隐私。
2025-10-18 cs.CV
Continuous Localization and Mapping of a Pan Tilt Zoom Camera for Wide Area Tracking
University of Florence（佛罗伦萨大学）
云台（PTZ）摄像机是支持远场场景中的对象识别和识别的强大工具。然而，PTZ摄像机在真实环境中的有效使用由于以下事实而变得复杂：需要连续的在线摄像机校准，并且由摄像机致动器提供的绝对摇摄、倾斜和变焦位置值不能被使用，因为它们不与视频流同步。因此，必须直接从帧的视觉内容中提取精确的校准。此外，大的和突然的尺度变化，场景背景的变化，由于相机的操作和相机运动补偿的需要，使这些相机的目标跟踪极具挑战性。在本文中，我们提出了一种解决方案，提供连续在线校准的PTZ摄像机，这是强大的快速摄像机运动，由于照明或移动物体和规模超过数千个地标的环境变化。该方法直接导出目标在3D世界平面中的位置与2D图像中的对应比例和位置之间的关系，并且允许即使在远距离和任何缩放水平下也具有高且稳定的准确度的多个目标的实时跟踪。
2015-03-23 cs.CV
Measurement-Calibrated Multi-Camera Fusion for Vision-Based Indoor Localization
Rosenheim Technical University of Applied Sciences（罗森海姆应用技术大学）
提出测量校准融合方法，通过显式量化单相机定位误差（单应校准、人体检测、运动跟踪）来优化多相机数据融合，实验表明该方法虽未显著提升绝对精度，但有效降低了轨迹方差并提高了运动平滑性。
2026-06-12 cs.AI cs.CV
A Feasibility Study on Indoor Localization and Multi-person Tracking Using Sparsely Distributed Camera Network with Edge Computing
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
本文研究在大型室内空间中利用39套配备TPU的边缘计算摄像头系统实现隐私保护的多人定位与跟踪，实验取得1.41米平均定位误差和88.6%跟踪准确率，验证了该方案的可行性。
2023-11-29 cs.AI cs.CV
3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning
Meituan-Dianping Group（美团点评集团）
摄像机定位是自动驾驶车辆和移动机器人进行全局定位以进一步进行环境感知、路径规划和运动控制的基础和关键组成部分。最近，基于卷积神经网络的端到端方法已经被大量研究以实现甚至超过基于3D几何的传统方法。在这项工作中，我们提出了一个紧凑的网络绝对相机姿态回归。受这些传统方法的启发，本文还引入了一个三维场景几何感知的约束，充分利用了所有可用的信息，包括运动、深度和图像内容。我们通过定义像素级光度损失和图像级结构相似性损失，将此约束作为正则化项添加到我们提出的网络中。为了对我们的方法进行基准测试，使用我们提出的方法和最先进的技术对包括室内和室外环境在内的不同具有挑战性的场景进行了测试。实验结果表明，该方法在预测精度和收敛效率上都有明显的提高。
2020-05-13 cs.CV
Did You Steal My Shot? Pioneering Camera Motion Plagiarism Detection in Generative Videos
Hohai University（河海大学）
针对生成视频中相机运动抄袭问题，构建首个基准并提出结合涡量线索的光流增强表示，实现比最强基线高3.02倍的检测性能。
2026-09-22 cs.CV cs.MM
RADA: Robust Adversarial Data Augmentation for Camera Localization in Challenging Weather
University of Oxford（牛津大学）；Monash University Indonesia（蒙纳士大学印度尼西亚校区）；University of Edinburgh（爱丁堡大学）
摄像机定位是许多机器人应用中的一个基本和关键问题。近年来，使用深度学习进行基于摄像头的定位已经成为一个热门的研究方向。然而，它们对大的域偏移缺乏鲁棒性，这可能是由训练和测试数据集之间的季节或光照变化引起的。数据增强是解决这一问题的一种有吸引力的方法，因为它不需要提供额外的数据。然而，现有的增强方法盲目地扰动所有像素，因此无法获得令人满意的性能。为了克服这个问题，我们提出了RADA，一个系统，其目的是集中在扰动图像的几何信息部分。因此，它学会生成最小的图像扰动，这些扰动仍然能够困扰网络。我们表明，当这些例子被用作增强，它大大提高了鲁棒性。我们表明，我们的方法优于以前的增强技术，并实现了高达两倍的精度比SOTA定位模型（例如，AtLoc和MapNet）在“看不见的”具有挑战性的天气条件下进行测试。
2021-12-05 cs.CV cs.NE
GEN-SLAM: Generative Modeling for Monocular Simultaneous Localization and Mapping
Ford Greenfield Labs（福特格林菲尔德实验室）；KULeuven（鲁汶大学）
我们提出了一个基于深度学习的系统，用于任何移动机器人都必不可少的定位和避障双重任务。我们的系统从传统的几何SLAM学习，并使用单个相机输出相机在环境中的拓扑姿态以及周围障碍物的深度图。我们使用CNN在拓扑图中进行定位，并使用条件VAE输出相机图像的深度，条件是该拓扑位置估计。我们证明了我们的单目定位和深度估计系统在模拟和真实数据集上的有效性。
2019-02-06 cs.CV
Flexible Camera Calibration Using a New Analytical Radial Undistortion Formula with Application to Mobile Robot Localization
3D计算机视觉中的大多数算法依赖于针孔相机模型，因为它的简单性，而几乎所有的成像设备引入一定量的非线性失真，其中径向失真是最严重的部分。径向失真的常用方法是通过多项式近似，它将失真特定参数引入相机模型，并需要估计这些失真参数。径向畸变估计的任务是找到一个径向畸变模型，允许容易的失真以及令人满意的精度。本文提出了一种新的径向畸变模型，并给出了一个简单的不畸变解析公式，它也属于多项式近似的范畴。实验结果表明，采用该径向畸变模型，可以获得满意的精度。新的径向畸变模型的一个应用是非迭代黄线对准与校准的摄像机上ODIS，机器人内置的我们的CSOIS。
2003-07-20 cs.CV
Self-localization on a 3D map by fusing global and local features from a monocular camera
Meijo University（名古屋大学）
本研究提出结合CNN与视觉Transformer的方法，提升单目相机在动态障碍物环境下的3D地图自定位精度。
2025-12-18 cs.CV cs.RO
Generative Photography: Scene-Consistent Camera Control for Realistic Text-to-Image Synthesis
Purdue University（普渡大学）；NVIDIA（英伟达）
针对现有文本到图像模型无法按相机设置生成场景一致图像的问题，提出生成式摄影框架，通过维度提升和微分相机内参学习实现相机内参控制，生成比SD3和FLUX更一致的逼真图像。
2025-03-25 cs.CV
Learning Neural Volumetric Pose Features for Camera Localization
University of Science and Technology of China（中国科学技术大学）；Alibaba Cloud（阿里云）；Zhejiang University（浙江大学）
本研究提出新型神经体积位姿特征PoseMap，结合APR架构与增强NeRF模块，实现自监督在线对齐，在室内外基准场景中性能提升显著，超越现有APR方法的精度水平。
2024-07-12 cs.CV
From Sparse to Dense: Camera Relocalization with Scene-Specific Detector from Feature Gaussian Splatting
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
本文提出STDLoc，一种基于特征高斯溅射的相机重定位方法，采用稀疏到密集的定位范式，通过场景特定检测器和密集特征匹配实现无需姿态先验的高精度定位，在室内外数据集上优于现有方法。
2025-03-25 cs.CV
