Towards Effective Multi-Moving-Camera Tracking: A New Dataset and Lightweight Link Model
School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院）；Institute of Integrated Science and Technology, Hosei University（法政大学综合科学技术研究所）；Frontiers Science Center for Intelligent Autonomous Systems, Tongji University（同济大学智能自主系统前沿科学中心）
本文聚焦多目标多移动相机跟踪，提出新数据集MMCT，并设计轻量级无外观链接模型Linker缓解SCT身份切换，结合颜色迁移模块提取跨相机一致特征提升ICT，构建了性能显著提升的MTMMC跟踪系统。
2024-04-23 cs.CV
Star Tracking using an Event Camera
The University of Adelaide（阿德莱德大学）；University of Queensland（昆士兰大学）；Western Sydney University（西悉尼大学）
星跟踪器主要是光学设备，用于通过识别和跟踪恒星模式来估计航天器的姿态。目前，大多数恒星跟踪器使用传统的光学传感器。在这篇应用论文中，我们提出了使用事件传感器进行恒星跟踪。使用事件传感器进行恒星跟踪有两个潜在的好处：更低的功耗和更高的运行速度。我们的主要贡献是制定一个算法管道，从事件数据，包括新的配方旋转平均和光束调整的恒星跟踪。此外，我们还发布了一个数据集的恒星跟踪使用事件相机。通过这项工作，我们将使用事件相机的恒星跟踪问题引入计算机视觉社区，他们在SLAM和几何优化方面的专业知识可以用于这一商业上重要的应用。
2019-04-13 cs.CV
UAVD4L: A Large-Scale Dataset for UAV 6-DoF Localization
National University of Defense Technology（国防科技大学）
针对GPS拒止环境下无人机定位数据集规模小、视角单一、缺乏真值和内置传感器数据的问题，本文提出大规模6自由度定位数据集UAVD4L及两阶段定位流程UAVLoc，并基于此构建三维地面目标跟踪系统，实验验证了其有效性。
2024-01-11 cs.CV
Tracking Revisited using RGBD Camera: Baseline and Benchmark
Hong Kong University of Science and Technology（香港科技大学）；Massachusetts Institute of Technology（麻省理工学院）
尽管在过去的十年中有了显著的进步，但是由于诸如遮挡和模型漂移等问题，跟踪仍然是一个非常具有挑战性的计算机视觉任务。最近，深度传感器（例如Microsoft Kinect）的日益普及使得以低成本获得深度数据变得容易。这可能是跟踪的游戏规则改变者，因为深度信息可以用于防止模型漂移和处理遮挡。在本文中，我们构建了一个基准数据集，包含100个具有高度多样性的RGBD视频，包括可变形对象，各种遮挡条件和移动摄像机。本文提出了一种简单但强大的RGBD跟踪基线模型，并对几种现有的RGBD跟踪算法进行了定量比较，实验结果表明，引入深度信息和遮挡推理可以显著提高跟踪性能。数据集、评估细节、基线算法的源代码以及提交新模型的说明将在接受后在线提供。
2012-12-12 cs.CV
The Interstate-24 3D Dataset: a new benchmark for 3D multi-camera vehicle tracking
Vanderbilt University（范德堡大学）
该文提出一个由高速公路多摄像头视频组成的三维车辆跟踪基准数据集，含87.7万个标注框，并评测了现有跟踪流程，旨在推动自动驾驶影响研究。
2023-08-28 cs.CV
NeuroLoc: Encoding Navigation Cells for 6-DOF Camera Localization
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）；School of Geospatial Information, Information Engineering University（信息工程大学地理信息学院）；University of Shanghai for Science and Technology（上海科技大学）；Fujian (Quanzhou) Institute of Advanced Manufacturing Technology, China（福建（泉州）先进制造技术研究院）
受生物大脑导航机制启发，提出NeuroLoc相机定位方法，通过位置细胞驱动的Hebbian学习模块、头方向细胞启发的注意力嵌入及3D网格中心预测，提升了复杂环境下单张图像位姿回归的鲁棒性与精度。
2025-05-02 cs.CV cs.NE cs.RO
Synthetic Defocus and Look-Ahead Autofocus for Casual Videography
University of California, Berkeley（加州大学伯克利分校）；Facebook Research（Facebook研究院）；Chapman University（查普曼大学）
在电影中，大型摄像机镜头可以创造出美丽的浅景深（DOF），但却使对焦变得困难和昂贵。准确的电影聚焦通常依赖于脚本和人来实时控制聚焦。业余摄像师通常渴望电影般的对焦，但无法实现。我们要么牺牲浅自由度，如在智能手机视频中;要么努力提供准确的对焦，如在大型摄像机的视频中。本文是关于一种新的方法，在追求电影的重点，休闲录像。我们提出了一个系统，该系统从智能手机拍摄的深自由度视频中合成渲染可重聚焦视频，并分析未来的视频帧，为当前帧提供上下文感知的自动聚焦。为了创建可重新聚焦的视频，我们扩展了最近为静态摄影设计的机器学习方法，为机器训练提供了一个新的数据集，一个更适合电影聚焦的渲染模型，以及一个时间相干性的过滤解决方案。为了准确地为每一帧选择焦点，我们演示了自动对焦，它可以查看即将到来的视频帧，并应用AI辅助模块，如运动、面部、音频和显著性检测。我们还表明，自动对焦受益于机器学习和具有焦点注释的大规模视频数据集，在那里我们使用我们的RVR-LAAF GUI有效地创建这个相当大的数据集。例如，我们提供一个浅自由度视频，其中自动对焦在每个人开始说话之前过渡到她身上。这对于传统的相机自动对焦来说是不可能的，因为它需要看到未来。
2019-05-21 cs.CV cs.GR
Egocentric 6-DoF Tracking of Small Handheld Objects
Google Inc.（谷歌公司）
虚拟和增强现实技术在过去几年中有了显著的增长。这种系统的关键组件是跟踪3D空间中的盔装显示器和控制器的姿态的能力。我们从以自我为中心的相机角度解决了手持控制器的高效6自由度跟踪问题。我们收集了HMD Controller数据集，其中包括超过540，000个立体图像对，标记有手持控制器的完整6自由度姿态。我们提出的SSD-AF-Stereo 3D模型在3D关键点预测中实现了33.5毫米的平均误差，并与控制器上的IMU传感器结合使用，以实现6自由度跟踪。我们还提出了基于模型的全6自由度跟踪方法的结果。我们所有的模型都在实时的移动CPU推理的严格约束下运行。
2018-04-16 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中，我们提出了一种新的方法为6度的自由度（6-DoF）的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上，我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据，并alsocperformed实验与真实数据。
2021-03-29 cs.CV
MODEST: Multi-Optics Depth-of-Field Stereo Dataset
本文提出首个高分辨率立体DSLR数据集，涵盖18000张图像，系统变化焦距和光圈，用于研究单目和立体深度估计及景深渲染等任务。
2026-08-06 cs.AI cs.CV cs.LG
Deep 6-DOF Tracking
Université Laval（拉瓦尔大学）
我们提出了一种时间6-DOF跟踪方法，该方法利用深度学习在现实世界捕获的具有挑战性的数据集上实现最先进的性能。我们的方法是更准确和更强大的闭塞比现有的最佳性能的方法，同时保持实时性能。为了评估其有效性，我们评估了我们的方法在各种条件下的几个具有挑战性的RGBD序列的真实对象。值得注意的是，我们系统地评估鲁棒性闭塞通过一系列的序列，其中被跟踪的对象越来越闭塞。最后，我们的方法纯粹是数据驱动的，不需要任何手工设计的功能：强大的跟踪是从数据中自动学习的。
2017-08-15 cs.CV
Robust 6-DoF Object Pose Tracking with Built-In Recovery under Occlusions and Rapid Object Motions
Woven by Toyota, Inc.（丰田编织公司）；University of Bonn（波恩大学）；University of Bonn, Center for Robotics, and the Lamarr Institute for Machine Learning and Artificial Intelligence（波恩大学机器人中心以及拉玛尔机器学习与人工智能研究所）
针对RGB-D数据中未见物体的6自由度跟踪问题，尤其是遮挡和快速运动场景，提出结合关键点匹配与优化对齐及故障检测恢复模块的方法，在多场景评估中表现出色，是鲁棒6自由度物体跟踪的重要进展。
2026-07-28 cs.CV
Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera
Computational Media Innovation Centre, Victoria University of Wellington（惠灵顿维多利亚大学计算媒体创新中心）；School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学工程与计算机科学学院）
六自由度（6-DoF）视频通过使用户能够在捕获的场景中以广泛的视野移动来提供远程呈现。与需要复杂相机设置的方法相比，基于摄影测量的基于图像的渲染方法可以处理以任何姿势捕获的图像，这更适合于普通用户。然而，现有的基于图像的渲染方法是基于透视图像的。当用于重建6-DoF视图时，它通常需要捕获数百张图像，这使得数据捕获成为一个繁琐且耗时的过程。与传统的透视图像相比，360°图像在Single Shot中捕获整个周围视图，从而为6-DoF视图重建提供更快的捕获过程。本文提出了一种新的方法来提供6自由度的经验，在一个广泛的区域使用非结构化的收集360°全景由传统的360°相机捕获。我们的方法包括360°数据采集，新颖的深度估计，以产生一个高质量的球形深度全景，和高保真的自由视点生成。我们使用在各种环境中捕获的数据，将我们的方法与最先进的方法进行了比较。我们的方法在测试场景中表现出更好的视觉质量和鲁棒性。
2022-03-31 cs.CV
Deep-Geometric 6 DoF Localization from a Single Image in Topo-metric Maps
KU Leuven（鲁汶大学）；Ford（福特公司）；Ford Greenfield Labs（福特格林菲尔德实验室）
我们描述了一种深度几何定位器，它能够从先前映射的环境中的单个图像中估计相机的完整6自由度（DoF）全局姿态。我们的地图是一个拓扑度量的，与离散的拓扑节点，其6自由度构成是已知的。我们地图中的每个拓扑节点也由一组点组成，其2D特征和3D位置作为映射过程的一部分存储。对于映射阶段，我们利用立体相机和常规立体视觉SLAM管道。在定位阶段，我们拍摄单个摄像头图像，使用深度学习将其定位到拓扑节点，并在匹配的2D特征（及其在拓扑图中的3D位置）上使用几何算法（PALK）来确定摄像头的完整6 DoF全局一致姿态。我们的方法离婚的映射和定位算法和传感器（立体声和单声道），并允许准确的6自由度姿态估计在先前映射的环境中使用一个单一的相机。凭借手机和无人机等单摄像头设备中潜在的VR/AR和定位应用，我们的混合算法与完全基于深度学习的Pose-Net相比毫不逊色，后者可以在模拟和真实环境中从单个图像中回归姿势。
2020-02-04 cs.CV
4-DoF Tracking for Robot Fine Manipulation Tasks
University of Alberta（阿尔伯塔大学）
本文介绍了两种基于学习和配准的视觉跟踪器，并评估了它们在基于图像的视觉伺服中的应用。它们可以跟踪具有四个自由度（DoF）的物体运动，正如我们将在这里展示的那样，这对于许多精细操作任务来说是足够的。这些跟踪器中的一个是新开发的基于学习的跟踪器，其依赖于学习判别相关滤波器，而另一个是最近的基于8 DoF RANSAC的跟踪器的改进，其适应于用于跟踪4 DoF运动的新的外观模型。这两个跟踪器显示提供优越的性能，以几个国家的最先进的跟踪器在现有的数据集上的操作任务。此外，还提出了一个新的数据集，具有挑战性的序列，从机器人安装的手眼（EIH）相机捕获的精细操作任务。这些序列在实际任务中遇到了各种挑战，包括抖动相机移动，运动模糊，剧烈的比例变化和部分遮挡。这些序列的定量和定性结果用于表明这两个跟踪器对故障具有鲁棒性，同时提供高精度，使其适合此类精细操作任务。
2017-04-04 cs.CV
EffLoc: Lightweight Vision Transformer for Efficient 6-DOF Camera Relocalization
South China University of Technology（华南理工大学）；National University of Defense Technology（国防科技大学）
本文提出EffLoc，一种轻量级视觉Transformer，通过分层结构和顺序组注意力模块实现高效的单图像6-DoF相机重定位，在精度和效率上超越AtLoc和MapNet等现有方法。
2024-02-21 cs.CV
TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation
Temple University（天普大学）；Stony Brook University（石溪大学）
摄像机姿态估计或摄像机重新定位是许多计算机视觉任务（诸如视觉里程计、从运动恢复结构运动恢复结构（SfM）和SLAM）中的核心。在本文中，我们提出了一个神经网络的方法与图形Transformer骨干，即transCamP，以解决相机重新定位问题。与姿势回归主要由光度一致性指导的先前工作相比，TransCamP有效地将图像特征、相机姿势信息和帧间相对相机运动融合到编码的图形属性中，并且相反地朝向图形一致性和准确性进行训练，从而产生显著更高的计算效率。通过利用具有边缘特征的图Transformer层并启用张量化邻接矩阵，TransCamP动态捕获全局注意力，从而赋予姿态图以不断演变的结构，以实现更高的鲁棒性和准确性。此外，可选的时间Transformer层主动增强了顺序输入的时空帧间关系。对各种公共基准的拟议网络的评估表明，TransCamP优于最先进的方法。
2021-05-28 cs.CV
ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究旨在解决单目视频中6-DoF姿态跟踪问题，核心方法是将其转化为视频到视频转换，利用视频扩散模型生成代理视频，通过现成求解器恢复姿态。主要贡献是在无额外输入下实现高精度，且可扩展到多种场景。
2026-07-08 cs.CV
Novel View Synthesis from only a 6-DoF Camera Pose by Two-stage Networks
Northwestern Polytechnical University（西北工业大学）
新颖的视图合成是计算机视觉和机器人领域的一个具有挑战性的问题。不同于现有的工作，这需要参考图像或三维模型的场景，以生成新的视图下的图像，我们提出了一种新的范式，这个问题。也就是说，我们直接从6-DoF相机姿态合成新颖的视图。虽然这种设置是最直接的方式，有很少的作品解决它。然而，我们的实验表明，一个简洁的CNN，我们可以得到一个有意义的参数模型，可以重建正确的场景图像只从6自由度的姿态。为此，我们提出了一种两阶段学习策略，它由两个连续的CNN组成：GenNet和RefineNet。GenNet从相机姿态生成粗略图像。RefineNet是一个生成对抗网络，可以细化粗糙的图像。通过这种方式，我们解耦映射和纹理细节绘制之间的几何关系。在公开数据集上进行的大量实验证明了该方法的有效性。我们认为该范式具有很高的研究和应用价值，可能成为新视图合成的一个重要方向。
2020-10-22 cs.CV
An Event-based Algorithm for Simultaneous 6-DOF Camera Pose Tracking and Mapping
Department of Electrical and Computer Engineering, Isfahan University of Technology（电子与计算机工程系，伊斯法罕理工大学）
本文提出一种基于事件相机的6自由度位姿跟踪与建图算法，通过自适应事件窗口生成运动补偿图像，并引入惯性版本，在公开数据集上取得与最先进方法相当或更优的精度。
2025-07-17 cs.CV
6-DoF Object Tracking with Event-based Optical Flow and Frames
Humanoid Sensing and Perception, Istituto Italiano di Tecnologia（人形感知与感知，意大利技术研究所）；Event-driven Perception for Robotics, Istituto Italiano di Tecnologia（机器人驱动感知，意大利技术研究所）；University of Genoa（热那亚大学）
针对传统相机跟踪高速目标存在帧率限制和运动模糊的问题，本工作结合事件相机的高时间分辨率与RGB相机的丰富视觉信息，提出基于事件光流与RGB全局姿态估计器融合的方法，实现高速目标的6自由度姿态跟踪，在合成与真实数据上验证了有效性。
2025-08-20 cs.CV
Single Image Deblurring and Camera Motion Estimation with Depth Map
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）
曝光过程中的相机抖动是手持摄影的一个主要问题，因为它会导致图像模糊，破坏拍摄图像的细节。在现实世界中，这种模糊主要是由相机运动和复杂的场景结构引起的。虽然已经基于关于场景结构或相机运动的各种假设提出了相当多的现有方法，但是很少有现有方法可以处理真实的6 DoF相机运动。在本文中，我们提出联合估计6 DoF相机运动，并通过利用它们的潜在几何关系来消除相机运动引起的不均匀模糊，并将单个模糊图像及其深度图（直接深度测量或学习的深度图）作为输入。我们制定我们的联合去模糊和6自由度相机运动估计作为一个能量最小化的问题，这是解决在一个替代的方式。我们的模型能够恢复6自由度相机运动和潜在的干净图像，这也可以实现从单个模糊图像生成清晰序列的目标。在具有挑战性的真实世界和合成数据集上的实验表明，在我们提出的框架内可以很好地解决相机抖动引起的图像模糊问题。
2019-03-01 cs.CV
Performance Analysis and Robustification of Single-query 6-DoF Camera Pose Estimation
Tampere University of Technology（坦佩雷理工大学）；Universidad Industrial de Santander（桑坦德工业大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们考虑一个单查询6自由度相机姿态估计与参考图像和点云，即通过使用参考图像和点云估计相机的位置和方向的问题。在这项工作中，我们进行了系统的比较，三个国家的最先进的6自由度相机姿态估计的策略，即基于特征，基于光度和基于互信息的方法。在两个标准数据集上，从成功率、平移误差和最大方向误差等方面对所研究的方法的性能进行了评估。在结果分析的基础上，我们提出了一种混合的方法，它结合了基于特征的和基于互信息的姿态估计方法，因为它提供了互补的属性姿态估计。实验结果表明：（1）在环境方差较大的情况下，混合方法的平均识别成功率分别比基于特征和基于互信息的方法高25.1%和5.8%;（2）在查询图像和参考图像在类似成像条件下被捕获的情况下，混合方法与基于特征的方法类似地执行，但是以明显的余量优于基于光度的方法和基于互信息的方法;（3）当在查询图像和参考图像之间找到至少4个一致的匹配点时，基于特征的方法始终比基于互信息的方法和基于光度的方法更准确。
2018-08-17 cs.CV
RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking
Université Laval（拉瓦尔大学）；Thales Digital Solutions（泰雷兹数字解决方案）；Inria（法国国家信息与自动化研究所）
增强现实设备需要多个传感器来执行诸如定位和跟踪之类的各种任务。目前，流行的相机大多是基于帧的（例如RGB和深度），这会带来高数据带宽和功耗。由于需要低功率和更灵敏的增强现实系统，仅使用基于帧的传感器对需要来自增强现实的高频数据的各种算法施加了限制。因此，基于事件的传感器由于其低功率、带宽和延迟以及其非常高频率的数据采集能力而变得越来越流行。在本文中，我们提出，第一次，使用基于事件的相机，以提高速度的三维物体跟踪在6自由度。此应用程序需要处理非常高的对象速度，以传达引人注目的AR体验。为此，我们提出了一个新的系统，它结合了最近的RGB-D传感器（Kinect Azure）与事件相机（DAVIS 346）。我们开发了一种深度学习方法，该方法将现有的RGB-D网络与一种新型的基于事件的网络以级联方式相结合，并证明我们的方法使用我们的RGB-D-E管道显着提高了最先进的基于帧的6-DOF对象跟踪器的鲁棒性。
2020-08-05 cs.CV
L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
随着神经形态技术的成熟，其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是，事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作，我们提出了一种事件相机和激光雷达之间的直接，时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波，从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法，消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
Full-DoF Egomotion Estimation for Event Cameras Using Geometric Solvers
Independent Researcher（独立研究者）；College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航空航天学院）；Mobile Perception Lab, ShanghaiTech University（上海科技大学移动感知实验室）
本文提出统一框架下的多种稀疏几何求解器，利用线段诱导的事件流形，在无需IMU或运动先验条件下首次实现事件相机全自由度自运动估计，并通过Adam优化和一阶旋转近似提升效率。
2025-05-06 cs.CV
Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
我们提出了一个新的概念，直接匹配从RGB图像中提取的特征描述符，从三维点云提取的特征描述符。我们使用这个概念来本地化的位置和方向（姿态）的查询图像的相机在密集的点云。我们生成一个数据集匹配的2D和3D描述符，并用它来训练一个建议的描述符匹配算法。为了在点云中定位查询图像，我们从查询图像中提取2D关键点和描述符。然后使用描述符匹配器通过将2D描述符与点云的预提取的3D描述符进行匹配来找到对应的2D和3D关键点对。该信息用于鲁棒的姿态估计算法中，以在3D点云中定位查询图像。实验表明，直接匹配的2D和3D描述符不仅是一个可行的想法，但也实现了竞争力的准确性相比，其他国家的最先进的相机姿态定位的方法。
2019-06-14 cs.CV
How to track your dragon: A Multi-Attentional Framework for real-time RGB-D 6-DOF Object Pose Tracking
National Technical University of Athens（雅典国家技术大学）；TU Darmstadt（达姆施塔特工业大学）
我们提出了一种新的多注意力卷积架构来解决单个已知对象的实时的【形】RGB-D 6D对象姿态跟踪问题。这样的问题提出了源自对象的性质及其与其环境的相互作用的多重挑战，先前的方法未能完全解决这些问题。该框架通过将多个并行的软空间注意模块集成到多任务卷积神经网络（CNN）架构中来封装背景杂波和遮挡处理的方法。此外，我们考虑了对象的3D模型和姿态空间的特殊几何属性，并且在训练期间使用更复杂的方法进行数据增强。所提供的实验结果证实了所提出的多注意力架构的有效性，因为它提高了最先进的（SoA）跟踪性能的平均得分为34.03%的平移和40.01%的旋转，当测试最完整的数据集设计，到目前为止，RGB-D对象跟踪的问题。
2020-09-15 cs.CV
Minimal Solvers for Full DoF Motion Estimation from Asynchronous Tracks
Microsoft Spatial AI Lab（微软空间人工智能实验室）
针对异步点轨迹下相机全自由度运动估计的非多项式问题，提出多项式近似方法，分类并确定最小问题代数次数，开发低次数问题的最小求解器并验证，代码将开源。
2025-08-24 cs.CV
Monocular Rotational Odometry with Incremental Rotation Averaging and Loop Closure
School of Computer Science, University of Adelaide（阿德莱德大学计算机科学学院）
估计相机的绝对方位对于姿态估计任务是必不可少的。已建立的方法是首先执行视觉里程计（VO）或视觉SLAM（V-SLAM），并且从由VO或V-SLAM估计的相机姿态（6 DOF）检索相机取向（3 DOF）。除了在估计全6 DOF相机姿态中的冗余之外，该方法的一个缺点是由于对结构和运动的基本约束而对估计地图（3D场景点）连同6 DOF姿态的依赖性。为了简化绝对方向估计的任务，我们制定了单目旋转里程计问题，并设计了一个快速算法，以准确地估计相机的方向与2D-2D特征匹配单独。支撑我们的系统是一个新的增量旋转平均快速和恒定时间迭代更新方法。此外，我们的系统维护视图图，其1）允许求解环路闭合以移除相机定向漂移，以及2）可用于热启动V-SLAM系统。我们在真实世界的数据集上进行了大量的定量实验，以证明我们的增量相机方向求解器的准确性。最后，我们展示了我们的算法对V-SLAM的好处：1）解决已知的旋转问题来估计相机和周围地图的轨迹，以及2）使V-SLAM系统能够跟踪纯旋转运动。
2020-10-05 cs.CV
A Simple and Effective Point-based Network for Event Camera 6-DOFs Pose Relocalization
本文提出点基网络PEPNet，直接以事件点云为输入，结合层次化结构和A-Bi-LSTM提取时空特征，以极低计算资源在室内外数据集上实现事件相机六自由度位姿重定位的SOTA性能。
2024-03-28 cs.CV
PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking
LIGM（加斯帕尔·蒙日信息学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
在没有先验知识的情况下估计新物体的相对姿态是一个困难的问题，而这是机器人学和增强现实中非常需要的能力。我们提出了一种方法，用于跟踪RGB视频序列中的对象的6D运动时，既没有训练图像，也没有三维几何形状的对象。与以前的工作相比，我们的方法可以立即考虑开放世界中的未知对象，而不需要任何先验信息或特定的训练阶段。我们考虑两种架构，一个基于两个帧，另一个依赖于一个Transformer编码器，它可以利用任意数量的过去的帧。我们训练我们的架构只使用合成渲染域随机化。我们在具有挑战性的数据集上的结果与以前需要更多信息（目标对象的训练图像，3D模型和/或深度数据）的工作相当。我们的源代码可以在https://github.com/nv-nguyen/pizza上找到
2022-10-01 cs.CV
CyberLoc: Towards Accurate Long-term Visual Localization
Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
本技术报告介绍了CyberLoc，这是一种基于图像的视觉定位管道，可在具有挑战性的条件下进行稳健而准确的长期姿态估计。所提出的方法包括顺序连接的四个模块。首先，应用映射模块来构建场景的精确3D映射，如果在不同条件下存在多个参考序列，则每个参考序列一个映射。其次，执行基于单个图像的定位流水线（检索-匹配-PSNR）以估计每个查询图像的6-DoF相机姿态，每个3D地图一个。第三，提出了一个共识集最大化模块，以过滤出离群的6-DoF相机姿态，并输出一个6-DoF相机姿态的查询。最后，提出了一个鲁棒的姿态细化模块来优化6-DoF查询姿态，将候选全局6-DoF相机姿态及其对应的全局2D-3D匹配、连续查询图像之间的稀疏2D-2D特征匹配以及查询序列的SLAM姿态作为输入。在4seasons数据集上的实验表明，该方法具有较高的准确性和鲁棒性。特别是，我们的方法赢得了ECCV 2022自动驾驶基于地图的定位研讨会（MLAD-ECCV 2022）的本地化挑战。
2023-01-06 cs.CV
Event-based, 6-DOF Camera Tracking from Photometric Depth Maps
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
事件摄像机是生物启发的视觉传感器，输出像素级亮度变化，而不是标准的强度帧。这些摄像机不会出现运动模糊，并且具有非常高的动态范围，这使得它们能够在高速运动期间或在以高动态范围为特征的场景中提供可靠的视觉信息。这些特性以及极低的功耗使事件摄像机成为VR/AR和视频游戏应用中标准摄像机的理想补充。考虑到这些应用，本文解决了从现有的光度深度图（即，强度加深度信息）。我们的方法在每个事件到达时跟踪事件相机的6-DOF姿态，从而几乎消除了延迟。我们成功地在室内和室外场景中评估了该方法，并表明-由于事件相机的技术优势-我们的管道在以高速运动为特征的场景中工作，这仍然是标准相机无法访问的。
2017-10-31 cs.CV cs.RO
DOF-GS:Adjustable Depth-of-Field 3D Gaussian Splatting for Post-Capture Refocusing, Defocus Rendering and Blur Removal
State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学）；School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 DOF-GS 框架，将有限孔径相机与可微散焦渲染引入 3DGS，可从含未标定散焦模糊的多视图图像中恢复清晰场景，并支持拍摄后重对焦、景深调节和全焦渲染。
2025-06-07 cs.CV
$\text{DC}^2$: Dual-Camera Defocus Control by Learning to Refocus
Google（谷歌）；University of Maryland, College Park（马里兰大学帕克分校）
提出$\ ext{DC}^2$双摄像头散焦控制系统，利用图像重新聚焦作为代理任务，在散焦去模糊、散景渲染和图像重新聚焦上超越现有技术，实现拍摄后创意散焦控制。
2023-04-06 cs.CV
An equalised global graphical model-based approach for multi-camera object tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）
非重叠多摄像机视觉目标跟踪通常包括两个步骤：单摄像机目标跟踪和摄像机间目标跟踪。大多数跟踪方法都是针对同一场景下的单摄像机目标跟踪，而对于实际监控场景，需要进行多摄像机间的目标跟踪，单摄像机跟踪方法无法有效地实现目标跟踪。在本文中，我们试图提高整体的多摄像机目标跟踪性能的全局图模型与改进的相似性度量。该方法区别对待单摄像机跟踪和摄像机间跟踪的相似性，并在全局图模型中得到优化。实验结果表明，该方法在单摄像机跟踪效果较差的情况下也能取得较好的效果。
2016-07-19 cs.CV
A Framework for Evaluating 6-DOF Object Trackers
Université Laval（拉瓦尔大学）
我们提出了一个具有挑战性和现实的新数据集评估6自由度的目标跟踪算法。现有的数据集显示出严重的局限性--特别是，不切实际的合成数据，或具有大基准标记的真实数据--阻止社区获得最新技术水平的准确图片。使用基于商业运动捕捉系统的数据采集流水线来获取真实对象相对于Kinect V2相机的准确地面真实姿态，我们建立了一个包含总共297个校准序列的数据集。它们是在三种不同的情况下获得的，以评估跟踪器的性能：稳定性，对遮挡的鲁棒性和在人与物体之间具有挑战性的交互过程中的准确性。我们进行了广泛的研究，深6自由度跟踪架构，并确定了一组最佳参数。我们增强了架构和训练方法，训练6自由度跟踪器，可以鲁棒地概括训练过程中从未见过的对象，并表现出良好的性能相比，以前的方法专门训练的对象跟踪。
2018-09-06 cs.CV
How to improve CNN-based 6-DoF camera pose estimation
KU Leuven（鲁汶大学）
卷积神经网络（CNN）和迁移学习最近已经用于6自由度（6-DoF）相机姿态估计。虽然它们不能达到与基于视觉SLAM的方法相同的精度，并且仅限于特定的环境，但它们在鲁棒性方面表现出色，甚至可以应用于单个图像。在本文中，我们研究了PoseNet [1]，并研究了基于数据集特征的修改，以提高姿态估计的准确性。特别是，我们强调了视场对图像分辨率的重要性;我们提出了一个数据增强方案来减少过拟合;我们研究了长短期记忆（LSTM）单元的影响。最后，我们结合这些修改，并提高PoseNet的性能，单目CNN为基础的相机姿态回归。
2019-11-28 cs.AI cs.CV cs.LG
Challenge of Multi-Camera Tracking
University of Chinese Academy of Sciences（中国科学院大学）
多摄像机跟踪与单摄像机跟踪有很大的不同，它面临着新的技术和系统架构的挑战。通过分析现有算法的特点和不足，总结了多摄像机跟踪中存在的问题，并对未来的研究方向进行了展望。
2017-02-06 cs.CV
Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image Matching
Australian National University（澳大利亚国立大学）；Huawei（华为）；University of Oxford（牛津大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61所）
我们解决的问题，地面到卫星图像的地理定位，也就是说，估计相机的纬度，经度和方向（方位角），通过匹配查询图像在地面捕获的大型数据库与地理标记的卫星图像。我们的现有技术通过选择与地面查询图像匹配的最相似的卫星参考图像来将上述任务视为纯图像检索。然而，这种方法通常产生粗略的位置估计，因为检索到的卫星图像的地理标记仅对应于图像中心，而地面相机可以位于图像内的任何点。为了进一步巩固我们以前的研究成果，我们提出了一种新的几何感知的地理定位方法。我们的新方法是能够实现查询图像的细粒度定位，卫星图像的像素大小的精度，一旦其粗略的位置和方向已经确定。此外，我们提出了一个新的几何感知的图像检索管道，以提高粗定位精度。除了我们会议工作中的极坐标变换外，这个新管道还通过几何约束投影变换将卫星图像像素映射到地面视图中的地平面，以强调信息区域，例如道路结构，用于跨视图地理定位。大量的定量和定性实验证明了我们新提出的框架的有效性。我们还显着提高性能的粗定位结果相比，国家的最先进的位置召回。
2022-03-26 cs.CV
Ninja Codes: Neurally Generated Fiducial Markers for Stealthy 6-DoF Tracking
Osaka University（大阪大学）；Kyoto University（京都大学）
本文提出Ninja Codes，一种由神经网络生成的隐匿式标记，能自然融入真实环境，通过编码网络将任意图像转换为标记，用于机器人和增强现实等领域的隐匿六自由度跟踪。
2026-04-11 cs.CV cs.HC
Deep Convolutional Neural Network for 6-DOF Image Localization
Tsinghua University（清华大学）
本文提出了一种精确、鲁棒的六自由度图像定位方法。我们的方法有两个关键点，1。基于点云模型的海量照片自动合成与标注;使用深度卷积神经网络回归进行姿态估计。我们的模型可以直接从图像中回归6-DOF相机姿势，准确地描述它是在哪里以及如何捕获的。我们在户外数据集上实现了1米和1度的精度，该数据集覆盖了我们校园内约2英亩的土地。
2016-11-08 cs.CV
A Wide-area, Low-latency, and Power-efficient 6-DoF Pose Tracking System for Rigid Objects
Siemens Healthineers（西门子医疗）
位置敏感检测器（PSD）提供了以高精度跟踪单个有源标记的两个（或三个）自由度（DoF）位置的可能性，同时具有快速响应时间和高更新频率以及低延迟，所有这些都使用非常简单的信号处理电路。然而，由于缺乏方向测量、有限的跟踪范围以及对环境变化的敏感性，它们不是特别适合于6-DoF对象姿态跟踪系统。我们提出了一种新的6自由度姿态跟踪系统的刚性物体跟踪需要一个单一的主动标记。所提出的系统使用基于立体的PSD对和多个惯性测量单元（IMU）。这是基于一种实用的方法来识别和控制红外发光二极管（IR-LED）有源标记的功率，目的是增加跟踪工作空间并降低功耗。我们提出的跟踪系统验证了三种不同的工作空间大小和静态和动态的位置精度，使用三种不同的动态运动模式的机械臂机械手。结果表明，该系统的静态位置均方根误差为0.6mm。动态位置均方根误差为0.7-0.9mm。在不同的动态运动条件下，定位均方根误差在0.04 ~ 0.9 °之间。总的来说，我们提出的跟踪系统是能够跟踪一个刚性物体的姿态与亚毫米精度在工作空间的中间范围和亚度精度的所有工作空间下的实验室设置。
2022-01-10 cs.CV cs.RO cs.SY
Keypoint-based Dynamic Object 6-DoF Pose Tracking via Event Camera
ShanghaiTech University（上海科技大学）；ShanghaiTech Automation and Robotics (STAR) Center（上海科技大学自动化与机器人中心）；School of Information Science and Technology（信息科学与技术学院）；WLSA Shanghai Academy（WLSA上海研究院）
本文提出基于关键点的动态物体姿态估计方法，利用事件相机高动态范围和低延迟特性，结合关键点检测与跟踪，通过EPnP算法实现6自由度姿态估计，实验表明方法在准确性和鲁棒性上优于现有技术。
2026-04-25 cs.CV cs.RO
Boosting 3-DoF Ground-to-Satellite Camera Localization Accuracy via Geometry-Guided Cross-View Transformer
The Australian National University（澳大利亚国立大学）；Ford Motor Company（福特汽车公司）
针对基于图像检索的跨视图地对星定位精度低的问题，提出几何引导跨视图Transformer结合神经位姿优化器与不确定性引导空间相关的方法，在KITTI数据集上大幅提升3自由度定位精度。
2023-07-20 cs.CV
LapaTrack-3D: 6 DoF pre-operative shape tracking for laparoscopic surgery
United Imaging Research Institute of Intelligent Imaging（联影智能影像研究院）；University of Michigan（密歇根大学）；United Imaging（联影医疗）
提出LapaTrack-3D，一种基于改进ORB-SLAM2的单目腹腔镜6自由度跟踪算法，利用3D形状先验和图像增强，实现稳健的术中-术前对齐，处理速率13Hz。
2026-09-18 cs.CV cs.RO
Multi-Target, Multi-Camera Tracking by Hierarchical Clustering: Recent Progress on DukeMTMC Project
Megvii Inc.（旷视科技）
虽然许多方法在单摄像机跟踪中表现良好，但多摄像机跟踪仍然是一个具有挑战性的问题，很少受到关注。DukeMTMC是一个大规模的，注释良好的多摄像机跟踪基准，在这一领域取得了很大的进展。这份报告致力于简要介绍我们在DukeMTMC上的方法，并表明简单的层次聚类与训练有素的人员重新识别功能可以在这个数据集上获得良好的结果。
2017-12-27 cs.CV
Robust Ego and Object 6-DoF Motion Estimation and Tracking
Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
利用摄像机的信息跟踪场景中物体的自运动和运动的问题被称为多体视觉里程计，是一项具有挑战性的任务。针对动态多体视觉里程计，提出了一种鲁棒的估计和跟踪方法。一个紧凑和有效的框架，提出了利用语义实例级分割和准确的光流估计的最新进展。提出了一种新的公式，联合优化SE（3）运动和光流，提高了跟踪点的质量和运动估计精度。该方法在虚拟KITTI数据集上进行了评估，并在真实KITTI数据集上进行了测试，证明了其对自动驾驶应用的适用性。为了社区的利益，我们将源代码公开。
2020-07-28 cs.CV cs.RO
VGQ-CNN: Moving Beyond Fixed Cameras and Top-Grasps for Grasp Quality Prediction
Hamilton Institute（汉密尔顿研究所）；Maynooth University（梅努斯大学）
我们提出了通用抓取质量卷积神经网络（VGQ-CNN），一个用于6自由度抓取的抓取质量预测网络。VGQ-CNN可用于评估从各种摄像机姿势或移动机器人中看到的物体的抓握，而无需重新训练网络。通过将抓取方向明确定义为网络的输入，VGQ-CNN可以评估6-DOF抓取姿势，超越了大多数基于图像的抓取评估方法（如GQ-CNN）中使用的4-DOF抓取。为了训练VGQ-CNN，我们生成了新的Versatile Grasp数据集（VG-GNN），其中包含从各种相机姿势中观察到的6-DOF抓握。VGQ-CNN在我们的测试分割中实现了82.1%的平衡准确度，同时推广到各种相机姿势。与此同时，它在头顶摄像机和顶部抓取方面实现了具有竞争力的性能，与GQ-CNN的76.6%相比，其平衡准确率为74.2%。我们还提出了一种改进的网络架构，FAST-VGQ-CNN，它使用共享编码器架构来加速推理，并且可以在CPU上在12 ms内进行128次抓取质量预测。代码和数据可在https://aucoroboticsmu.github.io/vgq-cnn/上获得。
2022-06-23 cs.CV cs.RO
Multi-target multi-camera vehicle tracking using transformer-based camera link model and spatial-temporal information
University of Washington（华盛顿大学）
针对车辆多摄像头跟踪中搜索空间大且忽略时空信息的问题，提出基于Transformer的相机链接模型并结合时空过滤，在Cityflow V2上取得73.68% IDF1。
2023-04-13 cs.CV
Synthehicle: Multi-Vehicle Multi-Camera Tracking in Virtual Cities
Technical University of Munich（慕尼黑工业大学）
智能交通路线或事故预防等智能城市应用依赖于计算机视觉方法进行精确的车辆定位和跟踪。由于缺乏准确标记的数据，从多个摄像头检测和跟踪3D车辆证明是具有挑战性的探索。我们提出了一个大规模的合成数据集多车辆跟踪和分割在多个重叠和不重叠的摄像机视图。与现有的数据集不同，这些数据集仅为2D边界框提供跟踪地面实况，我们的数据集还包含相机和世界坐标中的3D边界框的完美标签，深度估计，以及实例，语义和全景分割。该数据集由17个小时的标记视频材料组成，来自64个不同的白天，下雨，黎明和夜晚场景的340个摄像机记录，使其成为迄今为止最广泛的多目标多摄像机跟踪数据集。我们提供用于检测、车辆重新识别以及单摄像机和多摄像机跟踪的基线。代码和数据是公开的。
2022-08-30 cs.CV
EDoF-NeRF: extended depth-of-field neural radiance fields using a coded aperture camera
Department of Information Physics and Computing, Graduate School of Information Science and Technology, The University of Tokyo（信息物理与计算系，信息科学与技术研究生学校，东京大学）
提出一种通过编码孔径相机扩展景深的方法，构建高保真神经辐射场，实现从不同视角图像渲染新视图，并验证其优于传统孔径相机。
2026-06-18 cs.CV eess.IV physics.optics
Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking
Australian National University（澳大利亚国立大学）；Tsinghua University（清华大学）
多目标多相机跟踪（MTMCT）系统跨相机跟踪目标。由于目标轨迹的连续性，跟踪系统通常将其数据关联限制在局部邻域内。在单摄像机跟踪中，局部邻域是指连续的帧;在多摄像机跟踪中，它是指目标可能连续出现的相邻摄像机。对于相似性估计，跟踪系统通常采用从重新识别（re-ID）角度学习的外观特征。与跟踪不同，re-ID通常不能访问轨迹线索，轨迹线索可以将搜索空间限制在局部邻域。由于re-ID透视图具有全局匹配的特性，因此需要学习全局外观特征。我们认为，本地匹配过程中的跟踪和重新ID外观特征的全球性质之间的不匹配可能会损害MTMCT的性能。为了适应MTMCT中的局部匹配过程，在这项工作中，我们引入了局部感知外观度量（LAAM）。具体来说，我们设计了一个单摄像机跟踪的摄像机内度量，和多摄像机跟踪的摄像机间度量。这两个指标都是用从其相应的局部邻域采样的数据对进行训练的，而不是从re-ID角度进行全局采样。我们表明，本地学习的指标可以成功地应用于几个全球学习的重新识别功能。通过所提出的方法，我们报告了DukeMTMC数据集的最新性能，以及CityFlow数据集的大幅改进。
2019-11-27 cs.CV
