Robust Estimation of Similarity Transformation for Visual Object Tracking
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Singapore Management University（新加坡管理大学）
现有的基于相关滤波器的跟踪方法大多只估计简单的轴对齐的边界框，很少有能够恢复底层的相似性变换。为了解决这个具有挑战性的问题，在本文中，我们提出了一种新的相关滤波器为基础的跟踪器与一种新的鲁棒估计的相似变换的大位移。为了有效地搜索在这样一个大的4自由度空间中的实时性，我们制定了两个2自由度的子问题的问题，并应用一个有效的块坐标下降求解器来优化估计结果。具体来说，我们采用了一个有效的相位相关计划，同时处理尺度和旋转的变化，在对数极坐标。此外，相关滤波器的变体被用于单独地预测平移运动。我们的实验结果表明，该跟踪器实现了非常有前途的预测性能相比，国家的最先进的视觉对象跟踪方法，同时仍然保留了传统的相关滤波器为基础的跟踪方法的高效性和简单性的优点。
2018-11-07 cs.CV
Instant 3D Object Tracking with Applications in Augmented Reality
Google Research（谷歌研究院）
三维物体姿态跟踪是增强现实应用的重要组成部分。我们提出了一个即时运动跟踪系统，跟踪一个对象的姿态在空间（由其3D限界框表示）在移动设备上实时。我们的系统不需要任何事先的感官校准或初始化功能。我们采用深度神经网络来检测物体并估计其初始3D姿态。然后使用鲁棒平面跟踪器跟踪估计的位姿。我们的跟踪器能够在移动设备上实时执行相对规模的9自由度跟踪。通过有效地结合使用CPU和GPU，我们在移动设备上实现了26-FPS+的性能。
2020-06-23 cs.CV
Egocentric 6-DoF Tracking of Small Handheld Objects
Google Inc.（谷歌公司）
虚拟和增强现实技术在过去几年中有了显著的增长。这种系统的关键组件是跟踪3D空间中的盔装显示器和控制器的姿态的能力。我们从以自我为中心的相机角度解决了手持控制器的高效6自由度跟踪问题。我们收集了HMD Controller数据集，其中包括超过540，000个立体图像对，标记有手持控制器的完整6自由度姿态。我们提出的SSD-AF-Stereo 3D模型在3D关键点预测中实现了33.5毫米的平均误差，并与控制器上的IMU传感器结合使用，以实现6自由度跟踪。我们还提出了基于模型的全6自由度跟踪方法的结果。我们所有的模型都在实时的移动CPU推理的严格约束下运行。
2018-04-16 cs.CV
End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking
Xiamen University（厦门大学）；Edith Cowan University（伊迪斯科文大学）
事件摄像机是一种异步生物视觉传感器，在计算机视觉和人工智能领域显示出巨大的潜力。然而，事件摄像机的应用对象级运动估计或跟踪仍处于起步阶段。这项工作背后的主要思想是提出一种新的深度神经网络来学习和回归用于基于事件的对象跟踪的参数对象级运动/变换模型。为了实现这一目标，我们提出了一个同步的时间表面与线性时间衰减（TSLTD）表示，有效地编码的时空信息的异步视网膜事件到TSLTD帧清晰的运动模式。我们将TSLTD帧序列馈送到一个新的视网膜运动回归网络（RMRNet），以执行端到端的5-DoF对象运动回归。我们的方法相比，国家的最先进的对象跟踪方法，是基于传统的相机或事件相机。实验结果表明，我们的方法在处理各种具有挑战性的环境，如快速运动和低光照条件下的优越性。
2020-02-14 cs.CV
3D Multi-Object Tracking with Differentiable Pose Estimation
Technical University of Munich（慕尼黑工业大学）
本文提出了一种新的室内环境下基于RGB-D序列的联合三维多目标跟踪与重建方法。为此，我们在每帧中检测和重建对象，同时预测密集的对应映射到一个规范化的对象空间。我们利用这些对应关系来通知图神经网络，以解决所有对象的最佳，时间一致的7-DoF姿态轨迹。我们的方法的新颖性是双重的：首先，我们提出了一种新的基于图形的方法，随着时间的推移，可微姿态估计学习最佳姿态轨迹;第二，我们提出了一个联合制定的重建和姿态估计沿时间轴的鲁棒性和几何一致的多对象跟踪。为了验证我们的方法，我们引入了一个新的合成数据集，包括2381个独特的室内序列，共有60 k个渲染的RGB-D图像，用于多对象跟踪，其中移动对象和摄像机位置来自合成的3D-FRONT数据集。我们证明，我们的方法提高了24.8%，超过现有的最先进的方法的所有测试序列的累积MOTA分数。在对合成和真实世界序列的几次消融中，我们证明了我们基于图的完全端到端可学习的方法在跟踪性能上有显著的提高。
2022-06-28 cs.CV
Deep 6-DOF Tracking
Université Laval（拉瓦尔大学）
我们提出了一种时间6-DOF跟踪方法，该方法利用深度学习在现实世界捕获的具有挑战性的数据集上实现最先进的性能。我们的方法是更准确和更强大的闭塞比现有的最佳性能的方法，同时保持实时性能。为了评估其有效性，我们评估了我们的方法在各种条件下的几个具有挑战性的RGBD序列的真实对象。值得注意的是，我们系统地评估鲁棒性闭塞通过一系列的序列，其中被跟踪的对象越来越闭塞。最后，我们的方法纯粹是数据驱动的，不需要任何手工设计的功能：强大的跟踪是从数据中自动学习的。
2017-08-15 cs.CV
4-DoF Tracking for Robot Fine Manipulation Tasks
University of Alberta（阿尔伯塔大学）
本文介绍了两种基于学习和配准的视觉跟踪器，并评估了它们在基于图像的视觉伺服中的应用。它们可以跟踪具有四个自由度（DoF）的物体运动，正如我们将在这里展示的那样，这对于许多精细操作任务来说是足够的。这些跟踪器中的一个是新开发的基于学习的跟踪器，其依赖于学习判别相关滤波器，而另一个是最近的基于8 DoF RANSAC的跟踪器的改进，其适应于用于跟踪4 DoF运动的新的外观模型。这两个跟踪器显示提供优越的性能，以几个国家的最先进的跟踪器在现有的数据集上的操作任务。此外，还提出了一个新的数据集，具有挑战性的序列，从机器人安装的手眼（EIH）相机捕获的精细操作任务。这些序列在实际任务中遇到了各种挑战，包括抖动相机移动，运动模糊，剧烈的比例变化和部分遮挡。这些序列的定量和定性结果用于表明这两个跟踪器对故障具有鲁棒性，同时提供高精度，使其适合此类精细操作任务。
2017-04-04 cs.CV
KV-Tracker: Real-Time Pose Tracking with Transformers
Dyson Robotics Lab, Imperial College London（戴森机器人实验室，帝国理工学院伦敦）
KV-Tracker通过基于Transformer的快速缓存机制实现实时姿态跟踪与场景重建，无需深度信息或物体先验，达到27 FPS的高帧率。
2025-12-27 cs.CV
e-TLD: Event-based Framework for Dynamic Object Tracking
Temasek Laboratories, National University of Singapore（新加坡国立大学淡马锡实验室）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出了一个长期的目标跟踪框架，在一般跟踪条件下的运动事件摄像机。作为这些革命性相机的首个同类产品，跟踪框架通过在线学习对对象使用判别式表示，并在对象返回视野时检测和重新跟踪对象。其中一个关键的新颖性是使用一个基于事件的本地滑动窗口技术，在混乱和纹理背景的场景中可靠地跟踪。此外，贝叶斯自举被用来协助实时处理和提高对象表示的区分能力。另一方面，当对象重新进入相机的视场时，数据驱动的全局滑动窗口检测器定位对象以进行后续跟踪。大量的实验表明，所提出的框架跟踪和检测各种形状和大小的任意对象，包括动态对象，如人类的能力。这是一个显着的改进相比，早期的作品，简单地跟踪对象，只要他们是在简单的背景设置可见。在三种运动设置下，即平移，旋转和6-DOF，使用五个不同对象的地面真实位置，报告了基于事件的跟踪框架的定量测量，并对各种性能问题提出了重要见解。最后，在C++中的实时实现突出了在实验室设置中的缩放，旋转，视点和遮挡场景下的跟踪能力。
2020-09-02 cs.CV
ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究旨在解决单目视频中6-DoF姿态跟踪问题，核心方法是将其转化为视频到视频转换，利用视频扩散模型生成代理视频，通过现成求解器恢复姿态。主要贡献是在无额外输入下实现高精度，且可扩展到多种场景。
2026-07-08 cs.CV
Jacobian Computation for Cumulative B-Splines on SE(3) and Application to Continuous-Time Object Tracking
I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究所）
在本文中，我们提出了一种方法，估计$SE(3)$连续轨迹（方向和平移）的动态刚性对象存在于场景中，从多个RGB-D视图。具体来说，我们将对象轨迹拟合到累积B样条曲线，这使我们能够在任何中间时间戳处插值，不仅可以插值它们的姿态，还可以插值它们的线速度和角速度以及加速度。此外，我们得出在这项工作中的分析$SE(3)$雅可比矩阵所需的优化，适用于任何其他方法，使用这种类型的曲线。据我们所知，这是第一个提出6-DoF连续时间对象跟踪的工作，由于我们的分析推导，我们支持显着降低计算成本。我们评估我们的建议在合成数据和在一个公共的基准，显示出竞争力的本地化和显着改善速度估计相比，离散时间的方法。
2022-05-24 cs.CV cs.RO
An Event-based Algorithm for Simultaneous 6-DOF Camera Pose Tracking and Mapping
Department of Electrical and Computer Engineering, Isfahan University of Technology（电子与计算机工程系，伊斯法罕理工大学）
本文提出一种基于事件相机的6自由度位姿跟踪与建图算法，通过自适应事件窗口生成运动补偿图像，并引入惯性版本，在公开数据集上取得与最先进方法相当或更优的精度。
2025-07-17 cs.CV
Stereo Event-based, 6-DOF Pose Tracking for Uncooperative Spacecraft
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）
针对非合作航天器在轨位姿跟踪难题，提出基于立体事件流直线重建、事件—投影直线对应及6自由度连续优化的跟踪方法，并构建含仿真与真实事件的数据集，验证了精度与有效性。
2025-03-17 cs.CV
PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking
LIGM（加斯帕尔·蒙日信息学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
在没有先验知识的情况下估计新物体的相对姿态是一个困难的问题，而这是机器人学和增强现实中非常需要的能力。我们提出了一种方法，用于跟踪RGB视频序列中的对象的6D运动时，既没有训练图像，也没有三维几何形状的对象。与以前的工作相比，我们的方法可以立即考虑开放世界中的未知对象，而不需要任何先验信息或特定的训练阶段。我们考虑两种架构，一个基于两个帧，另一个依赖于一个Transformer编码器，它可以利用任意数量的过去的帧。我们训练我们的架构只使用合成渲染域随机化。我们在具有挑战性的数据集上的结果与以前需要更多信息（目标对象的训练图像，3D模型和/或深度数据）的工作相当。我们的源代码可以在https://github.com/nv-nguyen/pizza上找到
2022-10-01 cs.CV
Line-based 6-DoF Object Pose Estimation and Tracking With an Event Camera
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航天科学与工程学院）；ShanghaiTech University（上海科技大学）
本文提出一种基于事件相机和线特征的六自由度物体姿态估计与跟踪方法，通过分支定界初始化、事件-线匹配和鲁棒距离优化实现高动态场景下的精确跟踪，并构建了事件运动物体数据集验证其性能。
2024-08-06 cs.CV
Ninja Codes: Neurally Generated Fiducial Markers for Stealthy 6-DoF Tracking
Osaka University（大阪大学）；Kyoto University（京都大学）
本文提出Ninja Codes，一种由神经网络生成的隐匿式标记，能自然融入真实环境，通过编码网络将任意图像转换为标记，用于机器人和增强现实等领域的隐匿六自由度跟踪。
2026-04-11 cs.CV cs.HC
LapaTrack-3D: 6 DoF pre-operative shape tracking for laparoscopic surgery
United Imaging Research Institute of Intelligent Imaging（联影智能影像研究院）；University of Michigan（密歇根大学）；United Imaging（联影医疗）
提出LapaTrack-3D，一种基于改进ORB-SLAM2的单目腹腔镜6自由度跟踪算法，利用3D形状先验和图像增强，实现稳健的术中-术前对齐，处理速率13Hz。
2026-09-18 cs.CV cs.RO
Keypoint-based Dynamic Object 6-DoF Pose Tracking via Event Camera
ShanghaiTech University（上海科技大学）；ShanghaiTech Automation and Robotics (STAR) Center（上海科技大学自动化与机器人中心）；School of Information Science and Technology（信息科学与技术学院）；WLSA Shanghai Academy（WLSA上海研究院）
本文提出基于关键点的动态物体姿态估计方法，利用事件相机高动态范围和低延迟特性，结合关键点检测与跟踪，通过EPnP算法实现6自由度姿态估计，实验表明方法在准确性和鲁棒性上优于现有技术。
2026-04-25 cs.CV cs.RO
Robust Ego and Object 6-DoF Motion Estimation and Tracking
Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
利用摄像机的信息跟踪场景中物体的自运动和运动的问题被称为多体视觉里程计，是一项具有挑战性的任务。针对动态多体视觉里程计，提出了一种鲁棒的估计和跟踪方法。一个紧凑和有效的框架，提出了利用语义实例级分割和准确的光流估计的最新进展。提出了一种新的公式，联合优化SE（3）运动和光流，提高了跟踪点的质量和运动估计精度。该方法在虚拟KITTI数据集上进行了评估，并在真实KITTI数据集上进行了测试，证明了其对自动驾驶应用的适用性。为了社区的利益，我们将源代码公开。
2020-07-28 cs.CV cs.RO
Event-based, 6-DOF Camera Tracking from Photometric Depth Maps
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
事件摄像机是生物启发的视觉传感器，输出像素级亮度变化，而不是标准的强度帧。这些摄像机不会出现运动模糊，并且具有非常高的动态范围，这使得它们能够在高速运动期间或在以高动态范围为特征的场景中提供可靠的视觉信息。这些特性以及极低的功耗使事件摄像机成为VR/AR和视频游戏应用中标准摄像机的理想补充。考虑到这些应用，本文解决了从现有的光度深度图（即，强度加深度信息）。我们的方法在每个事件到达时跟踪事件相机的6-DOF姿态，从而几乎消除了延迟。我们成功地在室内和室外场景中评估了该方法，并表明-由于事件相机的技术优势-我们的管道在以高速运动为特征的场景中工作，这仍然是标准相机无法访问的。
2017-10-31 cs.CV cs.RO
BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects
NVIDIA（英伟达）
我们提出了一种近实时的方法，用于从单目RGBD视频序列中跟踪未知对象的6-DoF，同时执行对象的神经3D重建。我们的方法适用于任意刚性物体，即使在视觉纹理基本上是缺席的。假设对象仅在第一帧中被分割。不需要额外的信息，也不对交互代理进行任何假设。我们方法的关键是神经对象场，它与姿势图优化过程同时学习，以便将信息稳健地积累到捕获几何形状和外观的一致3D表示中。一个动态的内存帧池被自动维护，以促进这些线程之间的通信。我们的方法处理具有挑战性的序列与大的姿态变化，部分和完全遮挡，无纹理的表面，和镜面高光。我们展示了HO 3D，YCBInEOAT和BEHAVE数据集的结果，表明我们的方法显着优于现有的方法。项目页面：https://bundlesdf.github.io
2023-03-24 cs.AI cs.CV cs.GR
UAVD4L: A Large-Scale Dataset for UAV 6-DoF Localization
National University of Defense Technology（国防科技大学）
针对GPS拒止环境下无人机定位数据集规模小、视角单一、缺乏真值和内置传感器数据的问题，本文提出大规模6自由度定位数据集UAVD4L及两阶段定位流程UAVLoc，并基于此构建三维地面目标跟踪系统，实验验证了其有效性。
2024-01-11 cs.CV
6N-DoF Pose Tracking for Tensegrity Robots
Rutgers University（罗格斯大学）；Yale University（耶鲁大学）
张拉整体机器人，由压缩元件（杆）和柔性拉伸元件（例如，电缆）具有多种优点，包括柔性、低重量和抗机械冲击。然而，这些机器人的软硬混合特性也使定位和跟踪其状态的能力变得复杂。这项工作旨在解决这一领域公认的重大挑战，即，张拉整体机器人的状态估计通过一种无标记的、基于视觉的方法，以及新型的、可以测量机器人线缆长度的机载传感器。特别是，提出了一种迭代优化过程，以跟踪从RGB-D视频的张拉整体机器人的每个刚性元件的6自由度姿态，以及从电缆传感器的端盖距离测量。为了确保刚性元件的姿态估计在物理上是可行的，即，它们不会导致杆之间或与环境的碰撞，在优化过程中引入了物理约束。真实世界的实验进行了3杆张拉整体机器人，它执行运动步态。给定运动捕捉系统的地面真实数据，该方法实现了小于1厘米的平移误差和3度的旋转误差，这显着优于替代品。同时，该方法可以提供准确的姿态估计整个机器人的运动，而运动捕捉往往会失败，由于闭塞。
2022-10-13 cs.CV cs.RO
Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging Conditions
Beijing Institute of Technology（北京理工大学）；ShanghaiTech University（上海科技大学）
本文提出一种基于半稠密地图与事件流三维-二维配准的纯事件相机六自由度跟踪方法，通过极性感知配准和遮挡点剔除提升鲁棒性与速度，在挑战性条件下实现高精度跨模态跟踪。
2024-01-16 cs.CV cs.RO
Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis
Carnegie Mellon University（卡内基梅隆大学）；RWTH Aachen University（亚琛工业大学）；Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
本文提出 Dynamic 3D Gaussians，通过持久属性与局部刚性约束让 3D Gaussians 随时间运动旋转，从而联合实现动态新视图合成与稠密 6-DOF 跟踪。
2023-08-18 cs.CV
DeepTAM: Deep Tracking and Mapping
University of Freiburg（弗莱堡大学）
我们提出了一个基于关键帧的密集相机跟踪和深度图估计系统，这是完全学习的。对于跟踪，我们估计当前相机图像和合成视点之间的小姿态增量。这大大简化了学习问题，并消除了相机运动的数据集偏差。此外，我们表明，生成大量的姿势假设导致更准确的预测。对于映射，我们在以当前深度估计为中心的成本量中积累信息。映射网络然后将成本体积和关键帧图像组合以更新深度预测，从而有效地利用深度测量和基于图像的先验。我们的方法产生国家的最先进的结果，很少的图像，是强大的噪声相机构成。我们证明，我们的6自由度跟踪的性能与RGB-D跟踪算法的竞争。我们与强大的经典算法和深度学习驱动的密集深度算法进行了比较。
2018-08-07 cs.CV
Motion Aware ViT-based Framework for Monocular 6-DoF Spacecraft Pose Estimation
Interdisciplinary Centre for Security, Reliability and Trust (SnT) University of Luxembourg（安全、可靠性与信任跨学科研究中心（SnT）卢森堡大学）
提出一种将运动感知热图与光流集成到ViT编码器的框架，用于单目6自由度航天器姿态估计，在SPADES-RGB上训练并在SPARK-2024上验证，性能优于单图像基线且泛化良好。
2025-09-07 cs.CV
Keypoint-Based Category-Level Object Pose Tracking from an RGB Sequence with Uncertainty Estimation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个单阶段，类别级6自由度姿态估计算法，同时检测和跟踪对象的实例在一个已知的类别。我们的方法将单目RGB视频的前一帧和当前帧以及前一帧的预测作为输入，以预测边界长方体和6-DoF姿势（按比例）。在内部，深度网络预测图像坐标中对象关键点（边界长方体的顶点）的分布，然后在使用Pestra计算最终姿态之前，一种新的概率过滤过程在估计值之间进行整合。我们的框架允许系统在预测当前帧时考虑以前的不确定性，从而使预测比单帧方法更准确和稳定。大量的实验表明，我们的方法优于现有的方法具有挑战性的Objectron基准的注释对象视频。我们还展示了我们的工作在增强现实设置的可用性。
2022-05-23 cs.CV cs.RO
You Only Scan Once: A Dynamic Scene Reconstruction Pipeline for 6-DoF Robotic Grasping of Novel Objects
Advanced Robotics Centre, National University of Singapore（新加坡国立大学先进机器人中心）；Integrative Sciences and Engineering Programme, National University of Singapore Graduate School（新加坡国立大学研究生院整合科学与工程项目）
针对遮挡和动态环境导致抓取规划受限的问题，本文提出两阶段动态场景重建流水线，通过网格重建、新物体位姿跟踪与实时点云变换，显著提升6-DoF抓取算法精度。
2024-04-04 cs.CV cs.RO
VidLoc: A Deep Spatio-Temporal Model for 6-DoF Video-Clip Relocalization
University of Oxford（牛津大学）；University of Warwick（华威大学）
机器学习技术，即卷积神经网络（CNN）和回归森林，最近在执行单目图像的6-DoF定位方面显示出很大的前景。然而，在大多数情况下，图像序列，而不是只有单个图像，是容易获得的。在这个程度上，没有一个提出的基于学习的方法利用时间平滑度的有价值的约束，通常导致每帧误差大于相机运动的情况。在本文中，我们提出了一个经常性的模型进行6自由度定位的视频剪辑。我们发现，即使只考虑短序列（20帧），姿态估计平滑和定位误差可以大大减少。最后，我们考虑从我们的模型中获得概率姿态估计的方法。我们在开放的真实世界自动驾驶和室内定位数据集上评估了我们的方法。
2017-07-31 cs.CV
OrthoTrack: Continuous 6-DoF UAV Trajectory Estimation Anchored in Public Orthophotos
ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Microsoft（微软公司）
提出OrthoTrack，利用公开正射影像和表面模型实现无训练、实时、无漂移的连续六自由度无人机轨迹估计，无需GPS或后处理对齐。
2026-06-25 cs.CV
DOF-GS:Adjustable Depth-of-Field 3D Gaussian Splatting for Post-Capture Refocusing, Defocus Rendering and Blur Removal
State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学）；School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出 DOF-GS 框架，将有限孔径相机与可微散焦渲染引入 3DGS，可从含未标定散焦模糊的多视图图像中恢复清晰场景，并支持拍摄后重对焦、景深调节和全焦渲染。
2025-06-07 cs.CV
IMD: A 6-DoF Pose Estimation Benchmark for Industrial Metallic Objects
KTH Royal Institute of Technology（皇家理工学院）；ABB Corporate Research（ABB企业研究）
针对工业金属物体无纹理、高反射导致现有6D位姿估计基准泛化性差的问题，提出包含45个工业部件的IMD数据集与基准，支持视频分割、6D位姿跟踪和单样本位姿估计，评估先进模型并确立工业场景基线。
2025-09-15 cs.CV
Full-DoF Egomotion Estimation for Event Cameras Using Geometric Solvers
Independent Researcher（独立研究者）；College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航空航天学院）；Mobile Perception Lab, ShanghaiTech University（上海科技大学移动感知实验室）
本文提出统一框架下的多种稀疏几何求解器，利用线段诱导的事件流形，在无需IMU或运动先验条件下首次实现事件相机全自由度自运动估计，并通过Adam优化和一阶旋转近似提升效率。
2025-05-06 cs.CV
GTR: Gaussian Splatting Tracking and Reconstruction of Unknown Objects Based on Appearance and Geometric Complexity
Woven by Toyota, Inc.（丰田公司）；Toyota Research Institute（丰田研究院）
本文提出 GTR，融合 3D Gaussian Splatting、混合几何/外观跟踪与关键帧选择，并配套挑战性基准，以提升未知复杂物体的 6-DoF 跟踪与高保真重建效果。
2025-05-17 cs.CV cs.RO
Localization and Tracking of User-Defined Points on Deformable Objects for Robotic Manipulation
ArtiMinds Robotics（ArtiMinds机器人公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文介绍了一种有效的程序来定位用户定义的点的表面上的可变形的物体，并跟踪他们的位置在3D空间随着时间的推移。为了处理可变形对象的无限多个自由度，我们提出了一个离散化的变形场，这是在运行时使用多步非线性求解器管道估计。由此产生的高维能量最小化问题描述了离线定义的参考模型和预处理的相机图像之间的偏差。一个额外的正则化项允许对对象的隐藏区域进行假设，并增加求解器的数值稳定性。我们的方法能够以数据并行的方式在线解决定位问题，使其非常适合于工业制造过程中对非刚性物体的感知。
2021-05-19 cs.CV cs.RO
L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
随着神经形态技术的成熟，其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是，事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作，我们提出了一种事件相机和激光雷达之间的直接，时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波，从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法，消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
Argoverse: 3D Tracking and Forecasting with Rich Maps
Argo AI（Argo AI公司）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
我们介绍了Argoverse -两个数据集，旨在支持自动驾驶汽车机器学习任务，如3D跟踪和运动预测。Argoverse由匹兹堡和迈阿密的自动驾驶车队收集。Argoverse 3D Tracking数据集包括来自7个相机的360度图像，具有重叠的视场，来自远程LiDAR的3D点云，6-DOF姿态和3D轨迹注释。值得注意的是，它是唯一一个提供前向立体图像的现代AV数据集。Argoverse运动预测数据集包括超过300，000个5秒跟踪场景，其中识别了特定车辆以进行轨迹预测。Argoverse是第一个包含“高清地图”的自动驾驶汽车数据集，其中包含290公里的地图车道以及几何和语义元数据。在我们的基线实验中，我们说明了详细的地图信息，如车道方向，可驾驶区域和地面高度，提高了3D对象跟踪和运动预测的准确性。我们的跟踪和预测实验只是对机器人感知中使用丰富地图的初步探索。我们希望Argoverse将使研究界能够更深入地探讨这些问题。
2019-11-06 cs.CV cs.RO
Simultaneous Semantic and Collision Learning for 6-DoF Grasp Pose Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Bytedance AI Lab（字节跳动人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
对于机器人来说，在复杂的场景中抓取一直是一个很大的挑战，这是因为机器人需要能够很好地理解场景和物体信息。以往的工作通常假设对象的几何信息是可用的，或者利用逐步的，多阶段的策略来预测可行的6自由度抓取位姿。在这项工作中，我们建议将6自由度抓取姿态估计正式化为同时多任务学习问题。在一个统一的框架中，我们共同预测可行的6-DoF把握姿势，实例语义分割和碰撞信息。整个框架是联合优化和端到端差异化的。我们的模型进行了评估，以及在大规模的基准和真正的机器人系统。在公共数据集上，我们的方法比现有的最先进的方法有很大的优势（+4.08 AP）。我们还展示了我们的模型在一个真正的机器人平台上的实现，并表明机器人可以准确地把握目标物体在混乱的情况下，具有很高的成功率。项目链接：https://openbyterobotics.github.io/sscl
2021-09-26 cs.CV cs.RO
STOPNet: Multiview-based 6-DoF Suction Detection for Transparent Objects on Production Lines
Peking University（北京大学）；Galbot；New York University（纽约大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
针对深度相机难以感知透明物体导致现有6自由度吸附检测方法失效的问题，提出仅用RGB输入、基于多视图立体视觉的STOPNet框架，可实时获取高质量吸附位姿且泛化性强，显著优于基线方法，适配工业需求。
2023-10-09 cs.AI cs.CV cs.RO
