Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains
Rutgers University（罗格斯大学）；Amazon（亚马逊）
跟踪视频序列中的物体的6D姿态对于机器人操作是重要的。这项工作提出了se（3）-TrackNet，这是一种用于长期6D姿态跟踪的数据驱动优化方法。它的目的是确定最佳的相对姿态给定的当前RGB-D观察和合成图像的条件下，以前的最佳估计和对象的模型。在这种情况下的关键贡献是一种新的神经网络架构，它适当地解开特征编码，以帮助减少域移位，并通过李代数有效的3D方向表示。因此，即使仅用合成数据训练网络，也可以在真实图像上有效地工作。多个基准测试的综合实验表明，se（3）-TrackNet实现了一致的鲁棒估计，并且优于其他方法，即使它们是用真实图像训练的。该方法在90.9Hz下实时运行。有关该项目的代码、数据和补充视频，请访问www.example.com
2022-02-09 cs.CV cs.RO
PixTrack: Precise 6DoF Object Pose Tracking using NeRF Templates and Feature-metric Alignment
Giant AI, Inc.（巨量人工智能公司）
PixTrack是一个基于视觉的6DoF物体位姿跟踪框架，通过NeRF和深度特征度量对齐，在无需数据标注或轨迹平滑的情况下，实现了高精度、鲁棒且无抖动的单目RGB和RGB-D图像位姿估计，并支持高效的CPU多进程多目标跟踪。
2024-02-14 cs.AI cs.CV cs.LG
Color-Pair Guided Robust Zero-Shot 6D Pose Estimation and Tracking of Cluttered Objects on Edge Devices
Department of Mechanical Engineering, University of Washington（华盛顿大学机械工程系）
针对边缘设备上新物体在复杂光照下的零样本 6D 姿态估计与跟踪问题，提出共享光照不变颜色对特征的统一框架，兼顾鲁棒初始配准、轻量运动回归与突变姿态下的高保真跟踪。
2025-09-28 cs.CV cs.RO
se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains
Rutgers University（罗格斯大学）
跟踪视频序列中的物体的6D姿态对于机器人操作是重要的。然而，该任务引入了多个挑战：（i）机器人操纵涉及显著的遮挡;（ii）数据和注释是麻烦的并且难以针对6D姿态收集，这使机器学习解决方案复杂化，以及（iii）增量误差漂移通常在长期跟踪中累积，从而需要重新初始化对象的姿态。这项工作提出了一种数据驱动的优化方法，用于长期的6D姿态跟踪。它的目的是确定最佳的相对姿态给定的当前RGB-D观察和合成图像的条件下，以前的最佳估计和对象的模型。在这种情况下的关键贡献是一种新的神经网络架构，它适当地解开特征编码，以帮助减少域移位，并通过李代数有效的3D方向表示。因此，即使仅用合成数据训练网络，也可以在真实图像上有效地工作。在基准上的综合实验-现有的以及具有与对象操作相关的显著遮挡的新数据集-表明，所提出的方法实现了一致的鲁棒估计，并且优于替代方案，即使它们是用真实图像训练的。该方法也是计算效率最高的替代方案，并实现了90.9Hz的跟踪频率。
2020-07-27 cs.CV cs.GR cs.LG
GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos
Tongji University（同济大学）；Beijing Institute of Control Engineering（北京控制工程研究所）
本文提出 GSGTrack，仅利用 RGB 视频，通过 3D Gaussian Splatting、图几何优化、轮廓损失和几何一致图像对选择实现未知物体 6DoF 位姿跟踪与重建。
2024-12-03 cs.CV cs.RO
6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints
Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA Research（英伟达研究院）
我们提出了6-PACK，这是一种深度学习方法，用于在RGB-D数据上进行类别级6D对象姿态跟踪。我们的方法实时跟踪已知的对象类别，如碗，笔记本电脑和杯子的新对象实例。6-PACK学习用少量的3D关键点来压缩表示对象，基于这些关键点，可以通过关键点匹配来估计对象实例的帧间运动。这些关键点是端到端学习的，无需人工监督，以便最有效地进行跟踪。我们的实验表明，我们的方法在NOCS类别级6D姿态估计基准上的性能大大优于现有方法，并支持物理机器人执行简单的基于视觉的闭环操作任务。我们的代码和视频可以在https://sites.google.com/view/6packtracking上找到。
2019-10-23 cs.CV cs.RO
GarmentTracking: Category-Level Garment Pose Tracking
Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
针对类别级服装姿态跟踪任务，提出含VR-Garment记录系统、VR-Folding数据集及GarmentTracking端到端跟踪框架的完整方案，该框架在非刚性变形场景下性能优异，速度与精度均超基线，为相关研究提供平台。
2025-04-15 cs.CV cs.RO
RGBTrack: Fast, Robust Depth-Free 6D Pose Estimation and Tracking
Department of Computer Science, Rutgers, the State University of New Jersey（计算机科学系，新泽西州立大学拉特格斯分校）
RGBTrack是一种仅依赖RGB数据的实时6D姿态估计与跟踪框架，通过二分搜索和渲染比较机制免深度推断，结合XMem跟踪、卡尔曼滤波和状态机实现鲁棒跟踪，在基准上达到竞争精度和实时性能。
2025-06-20 cs.CV cs.RO
ArtReg: Visuo-Tactile based Pose Tracking and Manipulation of Unseen Articulated Objects
RoboTac Lab, BMW Group（RoboTac实验室，宝马集团）；University of Glasgow（格拉斯哥大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出 ArtReg 方法，将视觉-触觉点云融入 SE(3) 无迹卡尔曼滤波进行位姿跟踪，无需先验知识即可检测关节并闭环操作未见关节物体，实验证明其鲁棒性和精度优于现有方法。
2025-11-09 cs.CV cs.RO
BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models
Rutgers（罗格斯大学）
跟踪视频序列中的物体的6D姿态对于机器人操作是重要的。然而，大多数先前的努力通常假设目标对象的CAD模型至少在类别级别上可用于离线训练或在线模板匹配期间。这项工作提出了BundleTrack，6D姿态跟踪的新对象，它不依赖于3D模型，无论是在实例或类别级别的一般框架。它利用深度学习最新进展的互补属性进行分割和鲁棒的特征提取，以及内存增强的姿态图优化以实现时空一致性。这使得在各种具有挑战性的场景下，包括显著的遮挡和物体运动，都能实现长期、低漂移的跟踪。给出两个公共基准的综合实验表明，所提出的方法显着优于最先进的类别级6D跟踪或动态SLAM方法。当与依赖于对象实例CAD模型的最先进的方法相比时，尽管所提出的方法的信息要求降低，但仍实现了相当的性能。CUDA中的高效实现为整个框架提供了10Hz的实时性能。代码可在：https://github.com/wenbowen123/BundleTrack
2021-08-01 cs.AI cs.CV cs.GR
CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds
Peking University（北京大学）；Stanford University（斯坦福大学）；Shandong University（山东大学）；UCSD（加州大学圣地亚哥分校）；Tencent AI Lab（腾讯AI实验室）；Beijing Institute for General AI（北京通用人工智能研究院）
在这项工作中，我们解决了问题的类别级在线姿态跟踪的对象从点云序列。这是第一次，我们提出了一个统一的框架，可以处理新的刚性对象实例的9DoF姿态跟踪，以及从已知类别的铰接对象的每部分姿态跟踪。这里，包括6D姿态和3D尺寸的9DoF姿态等效于具有自由6D姿态的3D非模态限界框表示。给定当前帧的深度点云和上一帧的估计姿态，我们的新型端到端流水线学习准确更新姿态。我们的流水线由三个模块组成：1）一个姿势规范化模块，用于规范化输入深度点云的姿势; 2）RotationNet，一个直接回归小帧间增量旋转的模块; 3）CoordinateNet，一个预测规范化坐标和分割的模块，支持3D大小和平移的分析计算。利用姿势规范化点云中的小姿势机制，我们的方法通过结合密集坐标预测和直接旋转回归来整合两个世界的最佳效果，从而产生针对9DoF姿势精度优化的端到端可微分流水线（而不使用不可微分RANSAC）。我们广泛的实验表明，我们的方法在类别级刚性对象姿态（NOCS-REAL 275）和铰接对象姿态基准（SAPIEN，BMVC）上以最快的FPS ~12实现了新的最先进的性能。
2021-10-21 cs.CV
SHREC 2022: pothole and crack detection in the road pavement using images and RGB-D data
Istituto di Matematica Applicata e Tecnologie Informatiche ‘E. Magenes’ - CNR（意大利国家研究委员会“E. 马涅斯”应用数学与信息技术研究所）；University of Chile（智利大学）；University of Science, Ho Chi Minh City（胡志明市科学大学）；Viet Nam National University, Ho Chi Minh City（胡志明市越南国家大学）；John von Neumann Institute（约翰·冯·诺依曼研究所）
本文介绍了提交给SHREC 2022轨道评价路面坑槽和裂缝检测的方法。共7个不同的运行的道路表面的语义分割进行了比较，6个从参与者加上基线方法。所有方法都利用了深度学习技术，并且使用相同的环境（即：一个单字节笔记本）。由3836个语义分割图像/掩码对和797个用最新深度相机收集的RGB-D视频剪辑组成的训练集可供参与者使用。然后在验证集中的496个图像/掩模对上、在测试集中的504个图像/掩模对上以及最后在8个视频剪辑上对该方法进行评估。结果的分析是基于图像分割的定量指标和视频剪辑的定性分析。参与情况和结果表明，该方案非常有趣，在这种情况下使用RGB-D数据仍然具有挑战性。
2022-07-12 cs.CV cs.GR
FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
NVIDIA（英伟达）
提出统一基础模型FoundationPose，通过神经隐式表示和对比学习等方法，在无需微调的情况下实现了新物体的6D位姿估计与跟踪，大幅优于现有专门方法。
2024-03-26 cs.AI cs.CV cs.RO
Visibility Constrained Generative Model for Depth-based 3D Facial Pose Tracking
Beihang University（北京航空航天大学）；University of Electronic Science and Technology（电子科技大学）；Nanyang Technological University（南洋理工大学）；Rutgers University（罗格斯大学）
在本文中，我们提出了一个生成框架，统一了基于深度的3D人脸姿态跟踪和人脸模型自适应的飞行中，在无约束的情况下，严重的闭塞和任意的面部表情变化。具体来说，我们引入了一个统计的3D变形模型，灵活地描述了表面上的点的分布的人脸模型，与一个有效的可切换的在线适应，逐渐捕捉跟踪对象的身份，并迅速构建一个合适的人脸模型时，主体的变化。此外，与采用基于ICP的面部姿态估计的现有技术不同，为了提高对遮挡的鲁棒性，我们提出了基于面部模型相对于输入点云的可见性来正则化姿态的射线可见性约束。Biwi和ICT-3DHP数据集上的消融研究和实验结果表明，所提出的框架是有效的，并且优于最先进的基于深度的完整方法。
2019-05-06 cs.CV
ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究旨在解决单目视频中6-DoF姿态跟踪问题，核心方法是将其转化为视频到视频转换，利用视频扩散模型生成代理视频，通过现成求解器恢复姿态。主要贡献是在无额外输入下实现高精度，且可扩展到多种场景。
2026-07-08 cs.CV
Exploring Category-level Articulated Object Pose Tracking on SE(3) Manifolds
针对铰接物体因运动学约束导致位姿跟踪研究不足的问题，提出SE(3)流形上基于点对特征（PPF）的PPF-Tracker框架，通过准规范化、位姿投票与语义约束提升跟踪效果，推动相关领域发展。
2025-11-08 cs.AI cs.CV cs.MM
TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）；Snap Inc.（Snap公司）
TrackNeRF通过引入跨视角特征轨迹并强制重投影一致性，实现全局一致的几何重建和更精确的位姿优化，在稀疏和噪声视角下显著优于现有方法。
2024-08-20 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
POSEFusion: Pose-guided Selective Fusion for Single-view Human Volumetric Capture
Tsinghua University（清华大学）；Google（谷歌）
我们提出了姿势引导选择性融合（POSEFusion），一种单视图人体体积捕获方法，利用基于跟踪的方法和无跟踪推理来实现高保真和动态的3D重建。通过提出一种新的重构框架，该框架包含姿态引导的关键帧选择和鲁棒的隐式曲面融合，该方法充分利用了基于跟踪的方法和无需跟踪的推理方法的优点，最终实现了动态曲面细节的高保真重构，即使是在不可见区域。我们制定的关键帧选择作为一个动态规划问题，以保证重建序列的时间连续性。此外，新的鲁棒隐式曲面融合涉及一个自适应的混合权重，以保持高保真的表面细节和自动碰撞处理方法来处理潜在的自碰撞。总体而言，我们的方法可以从单个RGBD相机在可见和不可见区域中进行高保真和动态捕获，结果和实验表明，我们的方法优于最先进的方法。
2021-03-29 cs.CV
HO-Cap: A Capture System and Dataset for 3D Reconstruction and Pose Tracking of Hand-Object Interaction
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
本文提出 HO-Cap 采集系统与数据集，利用多 RGBD 相机和 HoloLens 结合半自动标注方法，高效采集手-物交互视频并重建三维形状与跟踪姿态，为具身智能和机器人操作提供人类示范数据。
2025-03-11 cs.CV
Simultaneous Multi-View Camera Pose Estimation and Object Tracking with Square Planar Markers
Instituto Maimónides de Investigación Biomédica de Córdoba (IMIBIC)（科尔多瓦迈蒙尼德生物医学研究所）；Universidad de Córdoba（科尔多瓦大学）
对象跟踪是许多应用中的关键方面，例如医学中的增强现实（例如，跟踪手术器械）或机器人技术。方形平面标记已经成为流行的跟踪工具，因为它们的姿态可以从它们的四个角估计。虽然使用单个标记和单个相机相当大地限制了工作区域，但是使用附接到对象的多个标记需要估计它们的相对位置，这对于高精度跟踪来说不是微不足道的。同样，使用多个相机需要估计它们的外部参数，这也是一个每当相机移动时必须重复的繁琐过程。这项工作提出了一种新的方法，同时解决上述问题。从一个视频序列显示了一组刚性的平面标记记录从多个摄像机，所提出的方法是能够自动获得的三维配置的标记，外部参数的摄像机，和相对姿态之间的标记和摄像机在每一帧。我们的实验表明，我们的方法可以获得高度准确的结果，估计这些参数使用低分辨率相机。一旦获得参数，就可以以低计算成本实时的完成对对象的跟踪。所提出的方法是一个步骤，在开发具有成本效益的解决方案，用于对象跟踪。
2021-03-16 cs.CV
KineFuse: Kinematic-Aware Haptic Fusion for In-Hand Occluded-Object Pose Tracking
Center for Humanoid Research, KIST（韩国科学技术院人形机器人研究中心）；Korea University（韩国大学）
研究如何利用多手指手上的稀疏触觉信号补充预训练视觉姿态跟踪器以应对遮挡，提出运动感知手指级编码器，经多级别评估对比，验证其能提升跟踪成功率，在下游任务表现更好并提供真实世界演示。
2026-07-17 cs.RO
ActivePose: Active 6D Object Pose Estimation and Tracking for Robotic Manipulation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学）；Shanghai Jiao Tong University（上海交通大学）；Istituto Italiano di Tecnologia（意大利理工学院）；The Hong Kong Polytechnic University（香港理工大学）；D-Robotics（D-机器人）
ActivePose通过结合视觉-语言模型与机器人想象力，实现主动6D物体姿态估计与跟踪，提升机器人操作的可靠性。
2026-03-07 cs.RO
Pose Estimation and Tracking for ASIST
Naval Air Warfare Center Aircraft Division（海军航空作战中心飞机分部）
本文提出PETA原型系统，利用Faster R-CNN和HRNet等计算机视觉算法实时估计直升机相对RSD的位姿，无需额外硬件安装，旨在恢复ASIST系统能力并降低操作员认知负荷。
2023-11-30 cs.CV
Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild
Peking University（北京大学）；Beijing Institute for General AI（北京通用人工智能研究院）；Virginia Tech（弗吉尼亚理工大学）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）
在这项工作中，我们解决了具有挑战性的任务，联合跟踪手对象的姿势和重建他们的形状从深度点云序列在野外，给定的初始姿势在帧0。我们首次提出了一个基于点云的手关节跟踪网络，HandTrackNet，估计帧间的手关节运动。我们的HandTrackNet提出了一种新的手部姿势规范化模块，以减轻跟踪任务，产生准确和强大的手关节跟踪。然后，我们的管道通过将预测的手部关节转换为基于模板的参数化手部模型MANO来重建整只手。对于对象跟踪，我们设计了一个简单而有效的模块，估计对象SDF从第一帧，并进行基于优化的跟踪。最后，采用联合优化步骤进行手和物体的联合推理，消除了遮挡引起的模糊性，并进一步细化了手的姿态。在训练期间，整个流水线只看到纯粹的合成数据，这些数据是用足够的变化和深度模拟合成的，以便于泛化。整个管道与泛化差距有关，因此可以直接转换为真实的野外数据。我们在两个真实的手部对象交互数据集上评估了我们的方法，例如HO3D和DexYCB，没有任何微调。我们的实验表明，所提出的方法显着优于以前的国家的最先进的基于深度的手和对象的姿态估计和跟踪方法，运行在帧速率为9 FPS。
2022-09-24 cs.CV
SuperPose: Improved 6D Pose Estimation with Robust Tracking and Mask-Free Initialization
本文提出SuperPose，通过集成FoundationPose、SAM2和LightGlue，仅需CAD模型和一次点击即可实现免掩码初始化的鲁棒6D姿态估计与跟踪，有效解决跟踪丢失和对称物体问题。
2024-10-20 cs.CV
Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space
South China University of Technology（华南理工大学）；DexForce Co. Ltd.（DexForce有限公司）；Peng Cheng Laboratory（鹏城实验室）；SmartMore Technology Co. Ltd.（思谋科技有限公司）；Pazhou Laboratory（琶洲实验室）
作为SE（3）-等变深度特征学习的基本组成部分，可控卷积最近已经证明了其在3D语义分析中的优势。然而，这些优点是由密集的体积数据上的昂贵计算带来的，这阻止了其用于本质上稀疏的3D数据的有效处理的实际使用。在本文中，我们提出了一种新的设计稀疏可控卷积（SS-Conv），以解决这个缺点; SS-Conv大大加快了可控卷积与稀疏张量，同时严格保持SE（3）-等方差的属性。基于SS-Conv，我们提出了一种用于精确估计对象姿态的通用流水线，其中关键设计是一个充分利用SE（3）-等方差并能够进行有效姿态细化的转向模块。为了验证我们的设计，我们进行了彻底的实验上的三个任务的3D对象的语义分析，包括实例级的6D姿态估计，类别级的6D姿态和大小估计，和类别级的6D姿态跟踪。我们提出的基于SS-Conv的管道在三个任务评估的几乎所有指标上都优于现有方法。消融研究还显示了我们的SS-Conv在准确性和效率方面优于替代卷积。我们的代码在https://github.com/Gorilla-Lab-SCUT/SS-Conv上公开发布。
2021-11-14 cs.CV
Towards Head Motion Compensation Using Multi-Scale Convolutional Neural Networks
Hamburg University of Technology（汉堡工业大学）；eemagine Medical Imaging Solutions GmbH（eemagine医学影像解决方案有限公司）
头部姿态估计和跟踪在各种医学应用中是有用的。随着像Kinect这样的RGBD相机的出现，通过直接从点云估计头部姿势来进行无标记跟踪已经变得可行。一个具体的医疗应用是机器人辅助经颅磁刺激（TMS），其中任何患者的运动都可以在机器人的帮助下进行补偿。为了提高患者舒适度，重要的是在没有标记的情况下跟踪头部。在这方面，我们使用两种不同的方法来解决头部姿态估计问题。在第一种方法中，我们建立在更传统的基于模型的头部跟踪方法的基础上，其中头部模型根据要跟踪的特定头部而变形，并且变形的模型用于跟踪点云流中的头部。在第二种方法中，我们提出了一种新的多尺度卷积神经网络架构，用于更准确的姿态回归。此外，我们概述了一个系统的数据集采集策略，使用安装在机器人上的头部幻影和地面实况标签，使用高度精确的跟踪系统。
2018-07-10 cs.CV
JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and Tracking
Stanford University（斯坦福大学）；Monash University（莫纳什大学）
在人类环境中运行的自主机器人系统必须了解其周围环境，以做出准确和安全的决策。在具有近距离人机交互和机器人导航的拥挤人类场景中，深入理解需要通过人体姿势估计和跟踪来推理人体运动和身体动态。然而，现有的数据集要么不提供姿势注释，要么包括与机器人应用无关的场景类型。许多数据集还缺乏在拥挤的人类场景中发现的姿势和遮挡的多样性。为了解决这一限制，我们引入了JRDB-Pose，这是一个大规模的数据集和基准，用于使用从社交导航机器人捕获的视频进行多人姿势估计和跟踪。该数据集包含具有拥挤的室内和室外位置以及各种尺度和遮挡类型的挑战场景。JRDB-Pose为每个关键点的遮挡标签和整个场景中一致的轨迹ID提供了人类姿势注释。一个公共的评估服务器可用于对一个保留的测试集进行公平的评估。JRDB-Pose可在https://jrdb.erc.monash.edu/上获得。
2023-03-12 cs.CV cs.RO
DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects
School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院）；School of Mechanical Engineering, Xi’an Jiaotong University（西安交通大学机械工程学院）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
DynamicPose通过VIO补偿、深度引导2D跟踪和VIO引导卡尔曼滤波的分层细化，在无需重新训练的情况下实现快速运动相机与物体场景下的实时鲁棒6D位姿跟踪。
2025-08-16 cs.CV cs.RO
Enhancing Generalizable 6D Pose Tracking of an In-Hand Object with Tactile Sensing
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qizhi Institute（上海期智研究院）；Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系）；Northwestern Polytechnical University（西北工业大学）；Center on Frontiers of Computing Studies, Peking University（北京大学计算与前沿研究中心）；Shanghai AI Laboratory（上海人工智能实验室）
提出TEG-Track，一种融合触觉感知的6D姿态跟踪系统，通过优化或回归物体速度增强视觉跟踪器，在合成和真实场景中提升泛化性能，并开源数据集与代码。
2023-12-23 cs.CV cs.RO
OmniPose6D: Towards Short-Term Object Pose Tracking in Dynamic Scenes from Monocular RGB
Meta；Georgia Institute of Technology（佐治亚理工学院）
针对动态场景单目RGB短期物体姿态跟踪，提出大规模合成数据集OmniPose6D、基准框架及不确定性感知关键点细化网络，在真实数据集上性能优于基线。
2025-08-02 cs.CV cs.RO
ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking
Istituto Italiano di Tecnologia（意大利技术研究院）
6D物体姿态跟踪在机器人和计算机视觉领域得到了广泛的研究。最有前途的解决方案，利用深度神经网络和/或过滤和优化，在标准基准测试中表现出显着的性能。然而，据我们所知，这些还没有经过彻底的测试，对快速物体运动。这种情况下的跟踪性能会显著下降，特别是对于那些不能实现实时的【形】性能并引入不可忽略的延迟的方法。在这项工作中，我们介绍了ROFT，卡尔曼滤波方法的6D对象的姿态和速度跟踪从流的RGB-D图像。通过利用实时的【形】光流，ROFT将低帧速率卷积神经网络的延迟输出用于实例分割和具有RGB-D输入流的6D对象姿态估计，以实现快速和精确的6D对象姿态和速度跟踪。我们测试我们的方法上新引入的真实感数据集，快速YCB，其中包括快速移动的对象从YCB模型集，并在数据集上的对象和手部姿态估计HO-3D。结果表明，我们的方法优于最先进的方法，为6D对象姿态跟踪，同时还提供6D对象速度跟踪。作为补充材料，提供了一个显示实验的视频。
2021-11-06 cs.CV cs.RO
VIPose: Real-time Visual-Inertial 6D Object Pose Tracking
New York University, Tandon School of Engineering（纽约大学坦登工程学院）
估计物体的6D姿态对于机器人任务是有益的，例如运输、自主导航、操纵以及在机器人之外的场景中，例如虚拟和增强现实。相对于单个图像姿态估计，姿态跟踪考虑跨多个帧的时间信息，以克服可能的检测不一致性并提高姿态估计效率。在这项工作中，我们引入了一种名为VIPose的新型深度神经网络（DNN），它结合了惯性和相机数据来解决实时的【形】跟踪问题。其关键贡献是设计了一种新型DNN架构，该架构融合了视觉和惯性特征，以预测连续图像帧之间的对象相对6D姿态。然后通过连续组合相对姿态来估计总体6D姿态。我们的方法显示了显着的姿态估计结果，严重闭塞的对象，众所周知是非常具有挑战性的处理现有的最先进的解决方案。所提出的方法的有效性进行了验证，一个新的数据集称为VIYCB与RGB图像，IMU数据，并采用自动标记技术创建准确的6D姿态注释。该方法提供了与最先进的技术相当的精度性能，但具有实时的【形】的额外好处。
2021-08-01 cs.CV cs.RO
A Flexible-Frame-Rate Vision-Aided Inertial Object Tracking System for Mobile Devices
Chunghwa Telecom Co. Ltd（中华电信股份有限公司）；National Taiwan University（国立台湾大学）；Tokyo Institute of Technology（东京工业大学）
针对移动设备AR应用的高帧率高精度物体跟踪需求，提出带偏差自校正与位姿检测的客户端-服务器架构视觉-惯性融合系统，支持最高120FPS灵活帧率，在低端设备上也能实现准确鲁棒的实时跟踪。
2022-10-22 cs.CV cs.RO
Pose-Assisted Multi-Camera Collaboration for Active Object Tracking
Peking University（北京大学）；Beijing Film Academy（北京电影学院）；Shanghai Jiao Tong University（上海交通大学）；Deepwise AI Lab（深睿人工智能实验室）
主动对象跟踪（AOT）对于许多基于视觉的应用至关重要，例如，移动机器人、智能监控。然而，在复杂场景中部署主动跟踪时存在许多挑战，例如，目标经常被障碍物遮挡。在本文中，我们将单摄像机AOT扩展到多摄像机设置，其中摄像机以协作方式跟踪目标。为了实现摄像机之间的有效协作，我们提出了一种新的姿态辅助多摄像机协作系统，它使一个摄像机与其他人合作，通过共享摄像机的主动目标跟踪的姿态。在该系统中，每个摄像头都配备了两个控制器和一个切换器：基于视觉的控制器根据观察到的图像跟踪目标。基于姿态的控制器根据其他相机的姿态来移动相机。在每一步中，切换器根据目标的可见性决定从两个控制器采取哪一个动作。实验结果表明，我们的系统优于所有的基线，并能够推广到看不见的环境。代码和演示视频可在我们的网站https://sites.google.com/view/pose-assistedcollaboration上获得。
2020-01-15 cs.CV cs.MA cs.RO
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center（京东硅谷研究中心）
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类：自上而下和自下而上的方法。在本文中，遵循自顶向下的方法，我们的目标是建立一个强大的基线系统，三个模块：人体候选人检测器，单人姿势估计器和人体姿势跟踪器。首先，我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后，使用级联金字塔网络来估计相应的人体姿态。最后，我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联，即，为了多目标姿态跟踪的目的，为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验，以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战：姿态估计和姿态跟踪。
2019-01-23 cs.CV
Keypoint-Based Category-Level Object Pose Tracking from an RGB Sequence with Uncertainty Estimation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个单阶段，类别级6自由度姿态估计算法，同时检测和跟踪对象的实例在一个已知的类别。我们的方法将单目RGB视频的前一帧和当前帧以及前一帧的预测作为输入，以预测边界长方体和6-DoF姿势（按比例）。在内部，深度网络预测图像坐标中对象关键点（边界长方体的顶点）的分布，然后在使用Pestra计算最终姿态之前，一种新的概率过滤过程在估计值之间进行整合。我们的框架允许系统在预测当前帧时考虑以前的不确定性，从而使预测比单帧方法更准确和稳定。大量的实验表明，我们的方法优于现有的方法具有挑战性的Objectron基准的注释对象视频。我们还展示了我们的工作在增强现实设置的可用性。
2022-05-23 cs.CV cs.RO
Estimating Metric Poses of Dynamic Objects Using Monocular Visual-Inertial Fusion
Hong Kong University of Science and Technology（香港科技大学）；Tencent Inc（腾讯公司）
单目3D对象跟踪系统通常仅具有最大比例的姿态估计结果，而没有被跟踪对象的任何先验知识。在本文中，我们提出了一种新的想法来恢复度量尺度的任意动态对象，通过优化世界帧中的对象的轨迹，没有运动假设。通过在时域中引入一个额外的约束，我们的单目视觉惯性跟踪系统可以获得连续的六个自由度（6-DoF）的姿态估计没有尺度模糊。我们的方法既不需要固定的多相机也不需要深度传感器设置来实现尺度可观测性，相反，单目传感套件内的IMU为相机本身和跟踪对象提供尺度信息。我们建立在我们的单目视觉惯性系统（VINS）的顶部，以获得准确的状态估计的单目相机在世界帧的建议系统。整个系统由二维目标跟踪器、基于目标区域的视觉光束法平差（BA）、VINS和基于相关分析的尺度估计器组成。与地面实况的实验比较证明了我们的3D跟踪性能的跟踪精度，而移动增强现实（AR）演示显示了潜在应用的可行性。
2018-08-21 cs.CV cs.RO
GloPro: Globally-Consistent Uncertainty-Aware 3D Human Pose Estimation & Tracking in the Wild
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
GloPro首次融合视觉线索与运动模型，预测包含形状、姿态和根姿态的3D人体网格不确定性分布，在严重遮挡下仍能实时实现高精度全局一致的人体轨迹估计与跟踪。
2023-09-20 cs.CV cs.RO
RRTrack: Robust and Recoverable Object 6D Pose Tracking for Dynamic Scenes
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；College of Future Information Technology, Fudan University（复旦大学未来信息技术学院）
研究针对动态场景中物体6D姿态跟踪难题，提出RRTrack。它采用2D-6D闭环跟踪策略，集成记忆视频对象分割与6D姿态细化，还有双库模板匹配模块。在合成基准和真实世界实验中验证，相比FoundationPose有显著提升，兼具高效与鲁棒性。
2026-07-28 cs.CV cs.RO
Markerless Suture Needle 6D Pose Tracking with Robust Uncertainty Estimation for Autonomous Minimally Invasive Robotic Surgery
University of California San Diego（加州大学圣地亚哥分校）
缝合针定位是自主缝合的必要条件。由于无标记检测的不一致性，自主缝合中的先前方法通常依赖于基准标记而不是无标记检测方案来定位缝合针。然而，基准标记对于现实世界的应用是不实用的，并且在外科手术中经常会被环境因素遮挡（例如，血液）。因此，在这项工作中，我们提出了一个强大的跟踪方法，估计6D姿态的缝合针时，使用不一致的检测。我们根据缝合针的几何形状定义观察模型，该几何形状捕获检测的不确定性，并以概率的方式暂时融合它们。在我们的实验中，我们比较了不同排列的观察模型在缝合针定位任务，以显示其有效性。我们提出的方法优于以前的方法定位缝合针。我们还证明了所提出的跟踪方法在一个自主缝合针重握任务和体外环境。
2022-04-04 cs.CV cs.RO
Fast Pose Tracking of Rigid Objects with Compact Pose Graph Optimization
University of Technology Nuremberg（纽伦堡工业大学）；Lund University（隆德大学）
本文提出一种基于紧凑位姿图优化的轻量级跟踪模块，将其应用于多种对应估计方法，实现了低成本、高精度的刚体长时6D位姿跟踪。
2026-10-09 cs.CV
Real-Time Constrained 6D Object-Pose Tracking of An In-Hand Suture Needle for Minimally Invasive Robotic Surgery
University of California San Diego（加州大学圣地亚哥分校）
自主机器人一直是外科机器人技术长期追求的目标。在分阶段环境之外，缝合针的准确定位是在现实世界中自动化各种缝合针操作任务的关键基础。以往的工作在对夹持器夹持的针进行定位时，通常是分别跟踪它们，而没有考虑它们之间的关系。由于在物体和仪器的立体三角测量中可能出现的重大误差，它们的重建可能经常不一致。这可能导致不切实际的工具针抓取重建是不可行的。相反，一个明显的策略，以提高本地化将是杠杆作用，从接触产生的约束，从而约束重建的对象和仪器到一个共同可行的空间。在这项工作中，我们认为可行的抓持约束时，跟踪的6D姿态的手缝合针。我们提出了一个重新参数化的技巧来定义一个新的状态空间来描述一个针的姿势，把握约束可以很容易地定义和满足。我们提出的状态空间和可行的抓取约束，然后纳入贝叶斯滤波器的实时的【形】针定位。在实验中，我们表明，我们的约束方法优于以前的无约束/约束的跟踪方法，并证明了将可行的抓取约束自动化缝合针操作任务的重要性。
2022-10-21 cs.CV cs.RO
Keypoint-based Dynamic Object 6-DoF Pose Tracking via Event Camera
ShanghaiTech University（上海科技大学）；ShanghaiTech Automation and Robotics (STAR) Center（上海科技大学自动化与机器人中心）；School of Information Science and Technology（信息科学与技术学院）；WLSA Shanghai Academy（WLSA上海研究院）
本文提出基于关键点的动态物体姿态估计方法，利用事件相机高动态范围和低延迟特性，结合关键点检测与跟踪，通过EPnP算法实现6自由度姿态估计，实验表明方法在准确性和鲁棒性上优于现有技术。
2026-04-25 cs.CV cs.RO
Markerless 3D human pose tracking through multiple cameras and AI: Enabling high accuracy, robustness, and real-time performance
Istituto Italiano di Tecnologia（意大利理工学院）；Politecnico di Milano（米兰理工大学）
提出一种结合多相机视图与AI 2D姿态估计的无标记3D人体运动跟踪框架，利用WLS算法从多视角2D估计计算3D运动，集成于Open-VICO框架，实验证明其高精度与实时性。
2023-03-31 cs.CV cs.RO
Event-Based high-speed low-latency fiducial marker tracking
Technical University of Vienna（维也纳技术大学）；AIT Austrian Institute of Technology（奥地利技术研究院）
运动和动态环境，特别是在具有挑战性的照明条件下，仍然是鲁棒机器人应用的一个悬而未决的问题。在本文中，我们提出了一个端到端的管道实时，低延迟，6度的自由度的基准标记的姿态估计。而不是通过传统的基于帧的方法来实现姿态估计，我们采用基于事件的传感器的高速能力，使用连续事件直接细化空间变换。此外，我们引入了一种新的双向验证过程，通过回溯估计的姿态来检测跟踪错误，从而评估跟踪的质量。这种方法允许我们以高达156 kHz的速率实现姿态估计，同时仅依赖于CPU资源。我们的方法的平均端到端的延迟是3毫秒。实验结果表明，机器人任务，如视觉伺服在快速动作感知回路的突出潜力。
2021-10-12 cs.CV cs.RO
Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking
Stevens Institute of Technology（史蒂文斯理工学院）；Wormpex AI Research（Wormpex AI研究院）；National University of Singapore（新加坡国立大学）
多人姿态估计和跟踪是视频理解的关键步骤。大多数最先进的方法依赖于首先估计每个帧中的姿态，然后才实现数据关联和细化。尽管取得了令人鼓舞的结果，这样的策略是不可避免地容易错过检测，特别是在严重混乱的场景，因为这种跟踪检测范式，本质上，在很大程度上依赖于视觉证据，是不存在的情况下，闭塞。在本文中，我们提出了一种新的在线方法来学习姿态动态，这是独立的姿态检测在当前的名气，因此，即使在具有挑战性的情况下，包括遮挡，可以作为一个强大的估计。具体来说，我们通过一个图神经网络~（GNN），明确占时空和视觉信息的动态预测。它将历史姿势轨迹作为输入，并直接预测每个轨迹的下一帧中的相应姿势。然后，预测的姿态将与检测到的姿态（如果有的话）在同一帧处聚合，以便产生最终姿态，从而潜在地恢复被估计器遗漏的被遮挡关节。在PoseTrack 2017和PoseTrack 2018数据集上的实验表明，该方法在人体姿态估计和跟踪任务上都取得了优于现有技术的结果。
2021-06-07 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
PoseTrack: A Benchmark for Human Pose Estimation and Tracking
MPI for Informatics（马克斯·普朗克信息学研究所）；University of Bonn（波恩大学）；Amazon Research（亚马逊研究院）；Google Research（谷歌研究院）
人体姿势和运动是分析视频的重要线索，有强有力的证据表明，基于身体姿势的表示对于各种任务（如活动识别，内容检索和社交信号处理）非常有效。在这项工作中，我们的目标是通过建立“PoseTrack”，一个新的基于视频的人体姿势估计和关节跟踪的大规模基准，并汇集了从事视觉人体分析的研究人员社区，进一步推进最先进的技术。该基准测试包括三个竞争轨道，重点是i）单帧多人姿态估计，ii）视频中的多人姿态估计，以及iii）多人铰接跟踪。为了促进基准测试和挑战，我们收集，注释和发布了一个新的%大规模基准测试数据集，该数据集的特点是视频中有多个人，并标记了人的轨迹和关节姿势。提供了一个集中的评估服务器，以允许参与者在保留的测试集上进行评估。我们设想，拟议的基准将通过提供一个大型的和有代表性的训练数据集，以及提供一个平台，客观地评估和比较所提出的方法，刺激富有成效的研究。该基准可以在https://posetrack.net上免费访问。
2018-04-10 cs.CV
Combining detection and tracking for human pose estimation in videos
AWS Rekognition
我们提出了一种新的自上而下的方法，解决了多人的人体姿态估计和跟踪视频中的问题。与现有的自上而下的方法相比，我们的方法不受其人检测器的性能限制，可以预测未本地化的人实例的姿势。它通过在时间上向前和向后传播已知的人的位置并搜索这些区域中的姿势来实现这种能力。我们的方法由三个部分组成：（i）一个剪辑跟踪网络，同时对小视频剪辑进行身体关节检测和跟踪;（ii）一个视频跟踪管道，将剪辑跟踪网络产生的固定长度轨迹合并为任意长度的轨迹;以及（iii）一个时空合并过程，根据空间和时间平滑项细化关节位置。由于我们的剪辑跟踪网络和我们的合并过程的精度，我们的方法产生非常准确的联合预测，并可以修复常见的错误在困难的情况下，如严重纠缠的人。我们的方法在PoseTrack 2017和2018数据集以及所有自上而下和自下而下的方法上实现了联合检测和跟踪的最新结果。
2020-03-30 cs.CV
Low-cost LIDAR based Vehicle Pose Estimation and Tracking
Carnegie Mellon University（卡内基梅隆大学）
通过低成本的LIDAR检测周围的车辆已经引起了极大的关注。在低成本LIDAR中，车辆呈现多层L形。基于我们以前的优化/标准为基础的L形拟合算法，我们在这里提出了一个数据驱动和基于模型的方法来鲁棒的车辆分割和跟踪。新方法使用T-联动RANSAC采取有限数量的噪声数据，并对噪声进行鲁棒分割。与我们以前的方法相比，T-Linkage RANSAC对观测不确定性更宽容，即，被观察目标的边数，并摆脱了L形假设。此外，车辆跟踪系统与多模型关联（MMA）的分割结果，它提供了平滑的跟踪对象的轨迹。来自低成本多层LIDAR的手动标记数据集也将与论文一起发布。在数据集上的实验表明，新方法优于以前的基于多准则。新算法也可以实时运行。
2019-10-03 cs.CV cs.RO
A Gated Attention Transformer for Multi-Person Pose Tracking
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对多人姿态跟踪中跨帧姿态关联的难题，提出门控注意力Transformer，通过门控机制调整嵌入权重，结合姿态条件重识别网络与门控注意力匹配层实现遮挡重识别与姿态-轨迹关联，在PoseTrack数据集上开展评估。
2023-08-21 cs.CV
Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey
Zhengzhou University（郑州大学）；Amazon Prime Video（亚马逊Prime Video）
本文全面综述了基于深度学习的人体姿态估计、跟踪与动作识别技术，探讨了现有方法的优势与局限，并强调了将三者整合至视频统一框架的方法及未来研究方向。
2023-10-19 cs.CV
