YCB-M: A Multi-Camera RGB-D Dataset for Object Recognition and 6DoF Pose Estimation
DFKI Niedersachsen Lab (DFKI NI)（DFKI下萨克森实验室（DFKI NI））
虽然近年来已经引入了各种各样的3D相机，但用于对象识别和姿态估计的大多数公开可用的数据集都集中在一个相机上。在这项工作中，我们提出了一个由7个不同的3D相机捕获的32个场景的数据集，总共49，294帧。这允许评估姿态估计算法对所使用的相机的细节的灵敏度，以及开发更独立于相机模型的更鲁棒的算法。反之亦然，我们的数据集使研究人员能够对来自几种不同相机和深度传感技术的数据进行定量比较，并在为特定任务选择相机之前评估其算法。我们数据集中的场景包含来自公共基准YCB对象和模型集的20个不同对象[1]，[2]。我们为每个对象提供完整的地面真实6DoF姿势，每像素分割，2D和3D边界框以及每个对象的遮挡量的测量。我们还使用我们的数据集在最先进的对象识别和姿态估计系统上对相机进行了初步评估[3]。
2020-09-29 cs.CV cs.RO
Two-hand Global 3D Pose Estimation Using Monocular RGB
Brigham Young University（杨百翰大学）
我们解决了具有挑战性的任务，估计全球3D关节位置的双手通过只有单目RGB输入图像。我们提出了一种新的基于多级卷积神经网络的流水线，该流水线准确地分割和定位手，尽管双手之间的遮挡和复杂的背景噪声，并且在没有任何深度信息的情况下估计2D和3D规范关节位置。全局关节相对于摄像机原点的位置计算使用的手姿态估计和关键骨的实际长度与一种新的投影算法。为了训练CNN来完成这项新任务，我们引入了一个大规模的合成3D手部姿势数据集。我们证明了我们的系统优于以前的作品3D规范的手姿态估计基准数据集与RGB的唯一信息。此外，我们提出了第一个工作，实现准确的全球3D手跟踪双手使用RGB的唯一输入，并提供广泛的定量和定性评估。
2020-08-25 cs.CV
Fusing Monocular RGB Images with AIS Data to Create a 6D Pose Estimation Dataset for Marine Vessels
University of Hamburg（汉堡大学）
针对纯AIS位置信息的局限性，本文提出融合单目RGB图像（YOLOX-X检测）与AIS数据生成船舶6D位姿数据集的技术，通过PnP变换降低投影误差，构建公开BONK-pose数据集。
2025-08-20 cs.CV cs.RO
IndustryShapes: An RGB-D Benchmark dataset for 6D object pose estimation of industrial assembly components and tools
National Technical University of Athens（希腊国家技术大学）
IndustryShapes是首个提供RGB-D静态上boarding序列的工业装配组件和工具6D姿态估计基准数据集，包含多样化的复杂场景和多模态数据，用于评估实例级和新物体姿态估计方法。
2026-02-05 cs.CV cs.RO
MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）
本文提出仅用RGB数据的MINT-RVAE方法，通过合成序列生成、新损失函数与训练策略缓解类别不平衡，实现帧级人机交互意图预测，AUROC达0.95并超越先前工作。
2025-09-26 cs.CV cs.RO
Towards Real-World Aerial Vision Guidance with Categorical 6D Pose Tracker
Hunan University（湖南大学）；National Engineering Research Centre for Robot Visual Perception and Control（国家机器人视觉感知与控制技术工程研究中心）；Nanyang Technological University（南洋理工大学）
本文提出类别级6D位姿跟踪器Robust6DoF和位姿感知离散伺服策略PAD-Servo，解决空中视觉引导中视点快速变化和帧间差异问题，并在公开基准和真实空中机器人应用中验证了有效性。
2024-01-15 cs.CV cs.RO
FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images
University of Freiburg（弗莱堡大学）；Adobe Research（Adobe研究院）
从单个RGB图像估计3D手部姿势是一个高度模糊的问题，依赖于无偏的训练数据集。在本文中，我们分析了在现有数据集上训练时的跨数据集泛化。我们发现，这些方法在它们训练的数据集上表现良好，但不能推广到其他数据集或野外场景。因此，我们引入了第一个大规模的，多视图的手数据集，伴随着3D手的姿势和形状注释。为了注释这个真实世界的数据集，我们提出了一个迭代的，半自动的“人在回路”的方法，其中包括手拟合优化，以推断每个样本的3D姿态和形状。我们表明，在我们的数据集上训练的方法在其他数据集上测试时始终表现良好。此外，数据集允许我们训练一个网络，从单个RGB图像预测完整的关节手形状。评估集可以作为关节手形状估计的基准。
2019-09-13 cs.CV cs.LG cs.RO
Learning to Estimate 3D Hand Pose from Single RGB Images
University of Freiburg（弗赖堡大学）
低成本的消费级深度相机和深度学习已经实现了从单个深度图像进行合理的3D手部姿势估计。在本文中，我们提出了一种方法，估计3D手姿态从常规的RGB图像。由于缺少深度信息，该任务具有更多的模糊性。为此，我们提出了一个深度网络，它可以学习网络隐式3D清晰度先验。与图像中检测到的关键点一起，该网络产生了对3D姿态的良好估计。我们介绍了一个大规模的三维手部姿势数据集的基础上合成的手模型训练所涉及的网络。在包括手语识别在内的多种测试集上的实验证明了在单色图像上进行三维手势估计的可行性。
2017-10-15 cs.CV
Indirect Object-to-Robot Pose Estimation from an External Monocular RGB Camera
NVIDIA（英伟达）
我们提出了一个机器人抓取系统，使用一个单一的外部单目RGB相机作为输入。通过组合两个神经网络的输出来间接计算物体到机器人的姿态：一个估计物体到相机的姿态，另一个估计机器人到相机的姿态。这两个网络都完全基于合成数据进行训练，依靠域随机化来弥合模拟与真实之间的差距。由于后者网络执行在线摄像机校准，因此摄像机可以在执行过程中自由移动，而不会影响抓取质量。实验结果分析了摄像机的位置，图像分辨率和姿势细化的情况下，抓住几个家庭对象的效果。我们还提出了一套新的28纹理的家用玩具杂货店的对象，已被选定为其他研究人员访问的结果。为了帮助研究的可重复性，我们提供了3D扫描纹理模型，以及用于姿态估计的预训练权重。
2020-08-26 cs.RO
AnyHand: A Large-Scale Synthetic Dataset for RGB(-D) Hand Pose Estimation
University of California, San Diego（加州大学圣迭戈分校）；Lambda, Inc（Lambda公司）；Imperial College London（伦敦帝国理工学院）；Nanyang Technological University（南洋理工大学）
AnyHand通过提供大规模RGB-D图像和丰富的几何标注，提升了3D手姿态估计的性能，证明了数据多样性和质量对模型效果的重要性。
2026-06-05 cs.CV
SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
基于RGB图像的三维手势估计已经研究了很长时间。然而，大多数研究都是基于独立的静态图像进行逐帧估计。在本文中，我们试图不仅考虑手的外观，而且将运动中的手的时间运动信息纳入学习框架中，以获得更好的3D手部姿势估计性能，这导致需要具有连续RGB手部图像的大规模数据集。我们提出了一种新的方法，生成一个合成的数据集，模仿自然的人类手部动作，通过重新设计的注释现存的静态手部姿势数据集的姿势流。与生成的数据集，我们训练一个新提出的经常性框架，利用视觉时间的功能，从序列图像的合成手在运动中，并强调时间平滑的时间一致性约束的估计。我们的新的训练策略分离的框架的递归层在域微调从合成到真实允许保存的视觉-时间特征从顺序合成的手图像。因此，顺序估计的手部姿势产生自然和平滑的手部运动，这导致更鲁棒的估计。我们表明，利用时间信息的3D手姿态估计显着提高了一般的姿态估计优于国家的最先进的方法在手姿态估计基准的实验。
2020-07-10 cs.CV
InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image
ECE & ASRI, Seoul National University（首尔大学电气与计算机工程系及自动化与系统研究所）；Facebook Reality Labs（Facebook现实实验室）
分析手与手的交互是更好地理解人类行为的关键一步。然而，大多数的研究，在三维手部姿态估计集中在孤立的单手的情况下。因此，我们首先提出（1）一个大规模的数据集，InterHand2.6M，和（2）一个基线网络，InterNet，用于从单个RGB图像进行3D交互手部姿势估计。所提出的InterHand2.6M由来自多个主体的各种姿势下的\textbf{2.6M labeled single and interacting hand frames}组成。我们的InterNet同时执行3D单个和交互式手部姿势估计。在我们的实验中，我们证明了利用InterHand2.6M中的交互手部数据时，3D交互手部姿势估计准确度的大幅提高。我们还报告了InterHand2.6M上的InterNet的准确性，这是这个新数据集的强大基线。最后，我们展示了3D交互式手姿态估计结果从一般的图像。我们的代码和数据集可以在https://mks0601.github.io/InterHand2.6M/上找到。
2020-08-21 cs.CV
First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations
Imperial College London（帝国理工学院）
在这项工作中，我们研究了使用3D手的姿势来识别第一人称动态手部动作与3D对象交互。为了实现这一目标，我们收集了RGB-D视频序列，包括超过100 K帧的45个日常手部动作类别，涉及26个不同的对象在几个手配置。为了获得手部姿势注释，我们使用了自己的mo-cap系统，该系统通过6个磁传感器和逆运动学自动推断手部模型的21个关节中的每个关节的3D位置。此外，我们记录了6D对象的姿态，并提供了一个子集的手对象交互序列的3D对象模型。据我们所知，这是第一个能够使用3D手部姿势研究第一人称手部动作的基准。我们通过18种基线/最先进的方法对RGB-D和基于姿势的动作识别进行了广泛的实验评估。测量使用外观特征、姿势及其组合的影响，并评估不同的训练/测试协议。最后，我们评估如何准备的3D手姿态估计领域时，手被严重遮挡的对象在自我中心的观点和动作识别的影响。从结果中，我们看到了与其他数据模式相比，使用手部姿势作为动作识别提示的明显优势。我们的数据集和实验可能对3D手部姿势估计，6D物体姿势和机器人以及动作识别的社区感兴趣。
2018-04-10 cs.CV
MSDA: Monocular Self-supervised Domain Adaptation for 6D Object Pose Estimation
Tampere University（坦佩雷大学）；University of Oulu（奥卢大学）
从真实图像中获取标记的6D姿态是一项昂贵且耗时的任务。虽然很容易获得大量的合成RGB图像，但由于合成域与真实域之间的差距，在其上训练的模型会遭受明显的性能下降。为了减轻这种退化，我们提出了一种实用的自我监督领域自适应方法，利用真正的RGB（-D）数据，而不需要真正的姿势标签。我们首先使用合成RGB图像对模型进行预训练，然后使用真实RGB（-D）图像对预训练模型进行微调。微调过程是自我监督的基于RGB的姿态感知一致性和深度引导的对象距离伪标签，这不需要耗时的在线可微分渲染。我们建立了我们的领域自适应方法的基础上，最近的姿态估计器SC 6D和评估它的YCB视频数据集。我们的实验表明，我们的方法实现了与其完全监督的对应物相当的性能，同时优于现有的最先进的方法。
2023-02-14 cs.CV
3D Hand Shape and Pose Estimation from a Single RGB Image
Nanyang Technological University（南洋理工大学）；Wormpex AI Research（Wormpex AI研究院）；Snap Inc.（Snap公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
这项工作解决了一个新的和具有挑战性的问题，估计完整的3D手的形状和姿势从一个单一的RGB图像。现有的基于单目RGB图像的三维手部分析方法大多只关注手部关键点的三维位置估计，不能完整地表达手部的三维形状。相比之下，我们提出了一种基于图卷积神经网络（图CNN）的方法来重建一个完整的3D网格的手表面，包含更丰富的信息的3D手的形状和姿态。为了训练具有完全监督的网络，我们创建了一个包含地面真实3D网格和3D姿态的大规模合成数据集。当在没有3D地面实况的真实世界数据集上微调网络时，我们提出了一种弱监督方法，即利用深度图作为训练中的弱监督。通过对我们提出的新数据集和两个公共数据集的广泛评估，我们表明，我们提出的方法可以产生准确和合理的3D手部网格，并可以实现优越的3D手部姿态估计精度时，与国家的最先进的方法相比。
2019-04-20 cs.CV
Adaptive Wasserstein Hourglass for Weakly Supervised Hand Pose Estimation from Monocular RGB
Tsinghua University（清华大学）；Kwai（快手）
标记训练集不足是单目RGB图像三维手势估计的瓶颈之一。合成数据集包含大量具有精确注释的图像，但与真实世界数据集的明显差异影响了泛化。几乎没有做过什么工作来弥合这两个领域之间的巨大差异。在本文中，我们提出了一个领域自适应方法称为自适应Wasserstein沙漏（AW沙漏）的弱监督的3D手姿态估计，其目的是区分差异，并探索合成和真实世界的数据集的共同特征（如手的结构）。学习共同特征有助于网络关注姿势相关信息。特征的相似性使得更容易实施域不变约束。在训练期间，基于这些共同特征与从完全注释的合成数据集学习的3D姿态之间的关系，网络在2D注释和深度图像的帮助下恢复弱标记的真实世界数据集的3D姿态是有益的。在测试过程中，网络使用RGB输入预测3D姿态。
2019-09-11 cs.AI cs.CV
Robust 6D Object Pose Estimation by Learning RGB-D Features
National University of Singapore（新加坡国立大学）
准确的6D物体位姿估计是机器人操作和抓取的基础。以前的方法遵循局部优化方法，最小化最近点对之间的距离来处理对称对象的旋转模糊性。在这项工作中，我们提出了一种新的离散-连续的旋转回归公式来解决这个局部最优问题。我们在SO（3）中对旋转锚点进行均匀采样，并预测每个锚点与目标的约束偏差，以及用于选择最佳预测的不确定性得分。此外，通过聚集指向3D中心的逐点向量来检测对象位置。在LINEMOD和YCB-Video两个基准测试上的实验表明，该方法的性能优于现有的方法。我们的代码可在https://github.com/mentian/object-posenet上获得。
2020-03-09 cs.CV
Skeleton Transformer Networks: 3D Human Pose and Skinned Mesh from Single RGB Image
National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））；CNRS-AIST JRL (Joint Robotics Laboratory), UMI3218/RL（法国国家科学研究中心-国立先进工业科学技术研究所联合机器人实验室（UMI3218/RL））
在本文中，我们提出了骨架Transformer网络（transformernet），一个端到端的框架，不仅可以预测3D关节位置，但也3D角姿态（骨骼旋转）的人体骨骼从一个单一的彩色图像。这反过来又允许我们生成蒙皮网格动画。在这里，我们提出了一个两步回归方法。第一步回归骨骼旋转，以便通过考虑骨骼结构获得初始解。第二步使用称为交叉热图的3D姿态表示基于热图回归器执行细化，交叉热图堆叠xy和zy坐标的热图。通过使用建议的3D人体姿势数据集（由3D骨骼角姿势注释的图像组成）训练网络，我们证明了AtrietonNet可以从单个图像中预测完整的3D人体姿势（关节位置和骨骼旋转）。
2018-12-29 cs.CV
T-LESS: An RGB-D Dataset for 6D Pose Estimation of Texture-less Objects
Czech Technical University in Prague（布拉格捷克理工大学）；Foundation for Research and Technology – Hellas（研究与科技基金会-赫拉斯）
我们介绍了T-LESS，一个新的公共数据集，用于估计无纹理刚性物体的6D姿态，即平移和旋转。该数据集具有30个行业相关的对象，没有显着的纹理，没有歧视性的颜色或反射特性。这些物体在形状和/或大小上表现出对称性和相互相似性。与其他数据集相比，一个独特的属性是一些对象是其他对象的一部分。该数据集包括使用三个同步传感器捕获的训练和测试图像，特别是结构光和飞行时间RGB-D传感器以及高分辨率RGB相机。每个传感器大约有39 K个训练图像和10 K个测试图像。此外，为每个对象提供两种类型的3D模型，即手动创建的CAD模型和半自动重建的模型。训练图像在黑色背景下描绘单个对象。测试图像源自具有不同复杂度的二十个测试场景，其从具有几个孤立对象的简单场景增加到具有几个对象的多个实例并且具有大量杂乱和遮挡的非常具有挑战性的场景。这些图像是从对象/场景周围的系统采样视图球体捕获的，并且用所有建模对象的准确地面真实6D姿态进行注释。初步评估结果表明，6D对象姿态估计的最新技术有足够的改进空间，特别是在具有显著遮挡的困难情况下。T-LESS数据集可在cmp.felk.cvut.cz/t-less在线获得。
2017-01-19 cs.AI cs.CV cs.RO
3D Hand Pose and Shape Estimation from RGB Images for Keypoint-Based Hand Gesture Recognition
Sapienza University（罗马第一大学）；University of Udine（乌迪内大学）；University of Bristol（布里斯托大学）
从2D图像估计手的3D姿态是一个研究得很好的问题，并且是诸如虚拟现实、增强现实和手势识别的若干现实应用的要求。目前，可以从单个RGB图像计算合理的估计，特别是当使用多任务学习方法来迫使系统在确定手的姿势时考虑手的形状时。然而，根据用于表示手的方法，在现实生活中的任务中，性能可能会大大下降，这表明需要稳定的描述才能获得令人满意的结果。在本文中，我们提出了一个基于关键点的端到端的框架，三维手和姿态估计，并成功地将其应用到手势识别的任务作为一个研究案例。具体来说，在对图像进行标准化的预处理步骤之后，所提出的流水线使用从RGB图像生成2D热图和手部轮廓的多任务语义特征提取器、预测手部和相机视图参数的视点编码器、稳定的手部估计器来生成3D手部姿势和形状，以及在学习阶段联合指导所有组件的损失函数。在3D姿态和形状估计基准数据集上进行测试，以评估所提出的框架，该框架获得了最先进的性能。我们的系统还在两个手势识别基准数据集上进行了评估，并且显著优于其他基于关键点的方法，这表明它是一种有效的解决方案，能够生成稳定的手部姿势和形状的3D估计。
2022-05-09 cs.CV
CM-EVS: Sparse Panoramic RGB-D-Pose Data for Complete Scene Coverage
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；Vorynel（沃伊内尔）；Xinjiang University（新疆大学）；Wuhan Polytechnic University（武汉职业技术学院）；Tianjin University（天津大学）
本文提出CM-EVS，通过COVER算法生成稀疏全景RGB-D-姿态数据，实现低冗余且可追溯的完整场景覆盖，提升3D学习的几何一致性。
2026-09-29 cs.CV cs.GR cs.LG
UNOPose: Unseen Object Pose Estimation with an Unposed RGB-D Reference Image
Tsinghua University（清华大学）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌公司）
针对单张无姿态 RGB-D 参考图下的未见物体 6DoF 姿态估计，本文提出 UNOPose 方法与基准，通过 SE(3) 不变参考帧和重叠感知对应加权实现由粗到精估计。
2025-03-17 cs.CV
KGNv2: Separating Scale and Pose Prediction for Keypoint-based 6-DoF Grasp Synthesis on RGB-D input
Georgia Institute of Technology（佐治亚理工学院）
针对基于关键点的6自由度抓取合成依赖精准关键点预测的问题，提出KGNv2网络分离位姿与尺度预测并重构关键点输出空间，在RGB-D输入下大幅优于基线，且具备仿真到现实的迁移能力。
2023-05-01 cs.AI cs.CV cs.LG
HiPose: Hierarchical Binary Surface Encoding and Correspondence Pruning for RGB-D 6DoF Object Pose Estimation
Zhejiang University（浙江大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）；Technische Universität München（慕尼黑工业大学）；Google（谷歌公司）
HiPose提出一种基于分层二值表面编码和由粗到精3D-3D对应关系剪枝的RGB-D 6DoF姿态估计方法，在多个基准上超越所有免优化方法并达到实时高精度。
2024-04-07 cs.CV
MV-ROPE: Multi-view Constraints for Robust Category-level Object Pose and Size Estimation
ShanghaiTech University（上海科技大学）；Midea RoboZone（美的机器人区）
针对单视角RGB-D方法依赖高精度深度图且忽略视频时间信息的问题，提出基于多视角约束的框架MV-ROPE，结合尺度感知SLAM、轻量级位姿预测和位姿图优化，在深度缺失或质量受限时表现鲁棒。
2024-03-22 cs.CV
PhoCaL: A Multi-Modal Dataset for Category-Level Object Pose Estimation with Photometrically Challenging Objects
Technical University of Munich（慕尼黑工业大学）；Toyota Motor Europe（丰田汽车欧洲公司）
物体姿态估计对于机器人应用和增强现实是至关重要的。除了实例级6D对象姿态估计方法之外，估计类别级姿态和形状已经成为一个有前途的趋势。因此，一个新的研究领域需要得到精心设计的数据集的支持。为了向社区提供具有高质量地面实况注释的基准，我们引入了一个多模态数据集，用于对具有光度挑战性的对象（称为PhoCaL）进行类别级对象姿态估计。PhoCaL包含60个高品质的3D模型，包括8个类别的家居物品，包括高反射，透明和对称的物体。我们开发了一种新的机器人支持的多模式（RGB，深度，偏振）数据采集和注释过程。它可确保不透明纹理、有光泽和透明物体的姿态精度达到亚毫米级，无运动模糊，并实现完美的相机同步。为了为我们的数据集设定基准，在PhoCaL的挑战性场景中评估了最先进的RGB-D和单眼RGB方法。
2022-05-18 cs.CV
Estimating the Pose of a Euro Pallet with an RGB Camera based on Synthetic Training Data
Institute for Technical Logistics（技术物流研究所）；Hamburg University of Technology（汉堡工业大学）
估计托盘和其他物流对象的姿态对于各种用例至关重要，例如自动化物料处理或跟踪。计算机视觉、计算能力和机器学习的创新为基于摄像头和神经网络的无设备定位开辟了新的机会。训练网络需要具有注释姿态的大型图像数据集。手动注释，尤其是6D姿势的手动注释，是一个极其劳动密集型的过程。因此，较新的方法通常利用合成训练数据来自动化生成带注释的图像数据集的过程。在这项工作中，产生的合成训练数据的6D位姿估计托盘。然后，数据用于训练深度对象姿态估计（DOPE）算法。通过实验验证了该算法的可行性，证明了基于红绿蓝（RGB）相机的标准化欧式托盘6D位姿估计的可行性。在不同的照明条件下，从三个不同的数据集的结果的比较显示了适当的数据集设计的相关性，以实现准确和鲁棒的定位。定量评估显示，优选数据集的平均位置误差小于20 cm。公开提供了经过验证的训练数据集和欧洲托盘的真实感模型。
2022-10-12 cs.CV cs.SY eess.IV
SDFEst: Categorical Pose and Shape Estimation of Objects from RGB-D using Signed Distance Fields
KTH Royal Institute of Technology（KTH皇家理工学院）
对世界的丰富几何理解是许多机器人应用（如规划和操作）的重要组成部分。在本文中，我们提出了一个模块化的管道，从RGB-D图像给定其类别的对象的姿态和形状估计。我们的方法的核心是一个生成的形状模型，我们将其与一个新的初始化网络和一个可微分的渲染器集成，以实现从单个或多个视图的6D姿态和形状估计。我们调查使用离散签署的距离场作为一个有效的形状表示快速分析合成优化。我们的模块化框架支持多视图优化和可扩展性。我们证明了我们的方法的好处，在几个实验中的合成和真实数据的国家的最先进的方法。我们在https://github.com/roym899/sdfest上公开了我们的方法。
2022-07-11 cs.CV cs.RO
On the Evaluation of RGB-D-based Categorical Pose and Shape Estimation
KTH Royal Institute of Technology（瑞典皇家理工学院）
近来，已经提出了用于对象的6D姿态和形状估计的各种方法。通常，这些方法根据平均精度和具有倒角距离的重建质量来评估它们的姿态估计。在这项工作中，我们需要在这个主要的评估协议，包括指标和数据集的关键看。我们提出了一组新的指标，为Redwood数据集提供了新的注释，并在公平的比较中评估了最先进的方法。我们发现，现有的方法不能很好地推广到无约束的方向，实际上是严重偏向于直立的对象。我们提供了一个易于使用的评估工具箱，具有定义良好的指标，方法和数据集接口，可以轻松地与各种最先进的方法进行评估和比较（请参阅https://github.com/roym899/pose_and_shape_evaluation）。
2022-02-21 cs.CV cs.RO
FSD: Fast Self-Supervised Single RGB-D to Categorical 3D Objects
Georgia Institute of Technology（佐治亚理工学院）；Toyota Research Institute（丰田研究院）
本文提出 FSD 方法，通过多阶段训练管线结合 2D 监督与 3D 自监督损失，实现单张 RGB-D 图像的类别级 3D 物体形状、尺寸和 6D 位姿快速预测，在 NOCS 测试集上 mAP 提升 16.4% 并支持近实时运行。
2023-10-19 cs.CV cs.RO
RGBTrack: Fast, Robust Depth-Free 6D Pose Estimation and Tracking
Department of Computer Science, Rutgers, the State University of New Jersey（计算机科学系，新泽西州立大学拉特格斯分校）
RGBTrack是一种仅依赖RGB数据的实时6D姿态估计与跟踪框架，通过二分搜索和渲染比较机制免深度推断，结合XMem跟踪、卡尔曼滤波和状态机实现鲁棒跟踪，在基准上达到竞争精度和实时性能。
2025-06-20 cs.CV cs.RO
You Only Pose Once: A Minimalist's Detection Transformer for Monocular RGB Category-level 9D Multi-Object Pose Estimation
PIT IN Co.（PIT IN公司）
YOPO提出了一种单阶段的检测转换器，通过端到端训练实现类别级9D多目标姿态估计，取得了新的状态-of-the-art成果。
2026-03-10 cs.CV cs.RO
6D Robotic Assembly Based on RGB-only Object Pose Estimation
Tsinghua University（清华大学）
基于视觉的机器人装配是一项关键而又具有挑战性的任务，因为与多个物体的交互需要高精度。在本文中，我们提出了一个集成的6D机器人系统，感知，把握，操纵和组装块紧公差。为了提供一个现成的RGB唯一的解决方案，我们的系统是建立在一个单目6D对象姿态估计网络训练，利用基于物理的渲染的合成图像。随后，姿态引导的6D变换以及无碰撞装配被提出来构造具有任意初始姿态的任何设计结构。我们新颖的3轴校准操作通过解开6D姿态估计和机器人装配进一步提高了精度和鲁棒性。定量和定性的结果表明，我们提出的6D机器人装配系统的有效性。
2022-08-27 cs.CV cs.RO
3D Human Pose Estimation in RGBD Images for Robotic Task Learning
University of Freiburg（弗莱堡大学）
我们提出了一种方法来估计3D人体姿态在现实世界中的单位从一个单一的RGBD图像，并表明它超过了性能的单目3D姿态估计方法从颜色以及姿态估计专门从深度。我们的方法建立在强大的人类关键点检测器的彩色图像，并结合了深度提升到3D。我们结合系统与我们的示教学习框架，指导服务机器人，而不需要标记。在现实世界中的实验表明，我们的方法使PR2机器人模仿从人类教师观察到的操作动作。
2018-03-13 cs.CV cs.RO
Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy
Zhejiang University（浙江大学）
目前基于RGB的6D物体姿态估计方法在数据集和现实世界应用中取得了显着的性能。然而，从单个2D图像特征预测6D姿态容易受到来自环境变化和无纹理或光滑物体表面的干扰。因此，基于RGB的方法通常比基于RGBD的方法实现更少的竞争结果，基于RGBD的方法部署图像特征和3D结构特征两者。为了缩小这一性能差距，本文提出了一个6D对象姿态估计的框架，从2个RGB图像中学习隐式3D信息。结合学习的3D信息和2D图像特征，我们建立了场景和对象模型之间更稳定的对应关系。为了寻求最好地利用RGB输入的3D信息的方法，我们对三种不同的方法进行了研究，包括早期融合，中期融合和后期融合。我们确定中融合方法是恢复最精确的3D关键点的最佳方法，可用于对象姿态估计。实验表明，我们的方法优于国家的最先进的基于RGB的方法，并取得了相当的结果与基于RGBD的方法。
2022-07-01 cs.CV cs.RO
6D Pose Estimation via Keypoint Heatmap Regression with RGB-D Residual Neural Networks
Politecnico di Torino（托里诺理工学院）
本文提出基于关键点热图回归的模块化框架，结合YOLOv10m进行目标检测与ResNet18预测RGB图像的2D热图，利用PnP RANSAC算法估计6D位姿，并通过RGB-D交叉融合架构提升性能，最终在LINEMOD数据集上达到92.41%的准确率。
2026-05-08 cs.CV cs.RO
Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications
De Montfort University（德蒙福特大学）；University of Lincoln（林肯大学）
在本文中，我们提出了蘑菇检测，定位和3D姿态估计算法，使用从低成本消费者RGB-D传感器获得的RGB-D数据。我们将RGB和深度信息用于不同的目的。首先从RGB颜色中提取蘑菇的初始轮廓位置，然后将初始轮廓位置和原始图像提供给活动轮廓进行蘑菇分割。然后，这些分割的蘑菇被用作圆形霍夫变换的输入，用于每个蘑菇检测，包括其中心和半径。一旦知道每个蘑菇在RGB图像中的中心位置，我们就使用深度信息在3D空间中定位它，即在世界坐标系中。如果在每个蘑菇的检测中心处缺少深度信息，我们从每个蘑菇的半径内最近的可用深度信息进行估计。我们还使用预先准备的直立蘑菇模型估计每个蘑菇的3D姿态。我们使用一个全球注册，然后局部细化注册的方法，这个3D姿态估计。从估计的3D姿态，我们只使用四元数表示的旋转部分作为每个蘑菇的方向。蘑菇的这些估计的（X，Y，Z）位置、直径和取向用于机器人拾取应用。我们在3D打印和真实蘑菇上进行了广泛的实验，这表明我们的方法具有有趣的性能。
2022-01-08 cs.CV cs.RO
Learning Implicit Probability Distribution Functions for Symmetric Orientation Estimation from RGB Images Without Pose Labels
University of Bonn（波恩大学）
物体位姿估计是机器人自主操作的必要前提，但对称性的存在增加了位姿估计任务的复杂性。用于对象姿态估计的现有方法输出单个6D姿态。因此，他们缺乏推理对称性的能力。最近，通过神经网络将对象方向建模为SO（3）流形上的非参数概率分布，取得了令人印象深刻的结果。然而，获取大规模数据集来训练姿态估计模型仍然是一个瓶颈。为了解决这个问题，我们引入了一个自动姿势标记计划。给定没有对象姿态注释和3D对象模型的RGB-D图像，我们设计了一个由点云配准和渲染和比较验证组成的两阶段流水线，为每个图像生成多个对称的伪地面真实姿态标签。使用生成的姿势标签，我们训练ImplicitPDF模型来估计给定RGB图像的方向假设的可能性。SO（3）流形的一个有效的分层采样使得能够在多个分辨率下容易地生成完整的对称集。在推断期间，使用梯度上升来估计目标对象的最可能的取向。我们评估建议的自动姿势标记方案和ImplicitPDF模型上的真实感数据集和T-Less数据集，证明了所提出的方法的优点。
2022-11-21 cs.CV cs.RO
SilhoNet: An RGB Method for 6D Object Pose Estimation
University of Michigan（密歇根大学）
自主机器人操作涉及估计要操作的对象的平移和取向作为6自由度（6D）姿势。使用RGB-D数据的方法在解决这个问题方面取得了巨大成功。然而，在某些情况下，成本约束或工作环境可能会限制RGB-D传感器的使用。当仅限于单目相机数据时，物体姿态估计问题是非常具有挑战性的。在这项工作中，我们介绍了一种新的方法，称为SilhoNet预测6D物体姿态从单目图像。我们使用卷积神经网络（CNN）管道，该管道采用感兴趣区域（ROI）建议，同时预测具有相关遮挡掩模和3D平移向量的对象的中间轮廓表示。然后从预测的轮廓回归3D取向。我们表明，我们的方法在YCB-Video数据集上实现了比两个最先进的网络更好的整体性能，用于从单目图像输入进行6D姿态估计。
2020-05-07 cs.CV cs.RO
Real-time marker-less multi-person 3D pose estimation in RGB-Depth camera networks
University of Padova（帕多瓦大学）；UCLA（加州大学洛杉矶分校）
本文提出了一种新的系统来估计和跟踪校准的RGB深度相机网络中的多个人的3D姿态。每个人的多视图3D姿态由中心节点计算，该中心节点从网络的每个相机接收单视图结果。通过使用用于2D姿态估计的CNN并借助于传感器深度将所得骨架扩展到3D来计算每个单视图结果。该系统是无标记，多人，独立于背景，不做任何假设的人的外观和初始姿势。该系统提供了实时的【形】结果，因此非常适合需要用户交互的应用。实验结果表明，这项工作的有效性相对于基线多视图方法在不同的情况下。为了促进基于这项工作的研究和应用，我们在OpenPTrack中发布了源代码，OpenPTrack是一个用于RGB-D人员跟踪的开源项目。
2017-10-17 cs.CV cs.RO
Active 6D Pose Estimation for Textureless Objects using Multi-View RGB Frames
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究学院）；Robotics Institute（机器人研究所）；Epson Canada Ltd（加拿大爱普生有限公司）
本文提出基于多视角RGB图像的无纹理物体6D位姿主动估计方法，通过两步分解过程提升准确性和效率，并引入主动感知策略减少位姿不确定性。
2025-12-15 cs.CV cs.RO
Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos
The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；TransGP；Texas A&M University（德克萨斯农工大学）
从以自我为中心的RGB视频中理解动态手部运动和动作是一项基本但具有挑战性的任务，因为自遮挡和模糊性。为了解决遮挡和模糊性，我们开发了一个基于变换的框架，利用时间信息进行鲁棒估计。注意到不同的时间粒度和手势估计和动作识别之间的语义相关性，我们建立了一个网络层次结构与两个级联的Transformer编码器，其中第一个利用短期的时间线索的手势估计，后者聚合每帧的姿势和对象信息在一个较长的时间跨度来识别的动作。我们的方法在两个第一人称手部动作基准上取得了有竞争力的结果，即FPHA和H2O。广泛的消融研究验证了我们的设计选择。
2023-03-29 cs.CV cs.RO
GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos
Tongji University（同济大学）；Beijing Institute of Control Engineering（北京控制工程研究所）
本文提出 GSGTrack，仅利用 RGB 视频，通过 3D Gaussian Splatting、图几何优化、轮廓损失和几何一致图像对选择实现未知物体 6DoF 位姿跟踪与重建。
2024-12-03 cs.CV cs.RO
Single-Stage Keypoint-Based Category-Level Object Pose Estimation from an RGB Image
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
关于6-DoF对象姿态估计的先前工作主要集中在实例级处理上，其中纹理CAD模型可用于被检测的每个对象。类别级6自由度姿态估计是开发在非结构化真实世界场景中操作的机器人视觉系统的重要一步。在这项工作中，我们提出了一个单阶段，基于关键点的方法，用于类别级对象姿态估计，使用单个RGB图像作为输入，在已知类别内的未知对象实例上进行操作。所提出的网络执行2D目标检测，检测2D关键点，估计6自由度姿态，并回归相对边界长方体尺寸。这些数量是以顺序的方式估计的，利用最近的convGRU思想将信息从更容易的任务传播到更困难的任务。我们在设计选择中倾向于简单：通用长方体顶点坐标，单级网络和单目RGB输入。我们在具有挑战性的Objectron基准上进行了广泛的实验，在3D IoU指标上优于最先进的方法（比MobilePose单阶段方法高27.6%，比相关的两阶段方法高7.1%）。
2022-05-12 cs.CV cs.RO
Learning Local RGB-to-CAD Correspondences for Object Pose Estimation
George Mason University（乔治梅森大学）；Siemens Corporate Technology（西门子企业技术研究院）
我们考虑的问题，三维物体的姿态估计。虽然最近的工作主要集中在RGB域，但对精确注释的图像的依赖限制了它们的通用性和可扩展性。另一方面，容易获得的对象的CAD模型是丰富的数据源，提供了大量的合成渲染图像。在本文中，我们解决了这个关键问题，现有的方法需要昂贵的3D姿态注释，提出了一种新的方法，匹配RGB图像的CAD模型的对象姿态估计。与现有工作相比，我们的关键创新包括消除对CAD模型的真实世界纹理或RGB图像的显式3D姿态注释的需求。我们通过一系列目标来实现这一目标，这些目标学习如何选择关键点，并在RGB图像和CAD模型渲染中实施视点和模态不变性。我们进行了大量的实验，以证明所提出的方法可以可靠地估计RGB图像中的对象姿态，以及推广到训练过程中看不到的对象实例。
2019-07-31 cs.CV cs.LG cs.RO
RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images
Qing Yuan Research Institute（庆元研究院）；MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；AI Institute（人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
一般物体抓取是机器人领域中一个重要而尚未解决的问题。目前的大多数方法要么生成的抓取姿势很少的自由度，无法覆盖大部分的成功把握，或只采取不稳定的深度图像或点云作为输入，这可能会导致在某些情况下，穷人的结果。在本文中，我们提出了RGBD-Grasp，这是一个通过将7-DoF抓取检测解耦为两个子任务来解决这个问题的管道，其中RGB和深度信息分别处理。在第一阶段中，提出了一种类似于卷积神经网络的编码器-解码器的角度-视图网络（AVN）来预测图像的每个位置处的抓持器的SO（3）方向。因此，快速分析搜索（FAS）模块计算开口宽度和夹持器到夹持点的距离。通过解耦抓取检测问题并引入稳定的RGB模态，我们的流水线满足了对高质量深度图像的要求，并且对深度传感器噪声具有鲁棒性。我们在GraspNet-1Billion数据集上实现了最先进的结果，并与几个基线进行了比较。在配备英特尔Realsense摄像头和Robotiq双指夹持器的UR 5机器人上进行的真实机器人实验显示，无论是在单个物体场景还是在杂乱场景中，成功率都很高。我们的代码和训练模型将公开提供。
2021-03-03 cs.CV cs.RO
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology（航空航天科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（图像测量与视觉导航省级重点实验室）
本文提出DKPMV流程，仅用多视角RGB图像通过密集关键点融合与三阶段渐进优化策略进行无纹理物体6D位姿估计，在ROBI数据集上超越现有RGB方法并多数超越RGB-D方法。
2025-10-13 cs.CV cs.RO
Combining RGB and Points to Predict Grasping Region for Robotic Bin-Picking
Shanghai Jiao Tong University（上海交通大学）
本文重点研究了杂乱场景下的机器人拣货任务。由于物体的多样性和放置的杂乱性，在抓取之前识别和估计它们的姿态是非常困难的。在这里，我们使用U-net，一种特殊的卷积神经网络（CNN），结合RGB图像和深度信息来预测拾取区域，而无需识别和姿态估计。比较了RGB、RGB-D和RGB-Points三种视觉输入方式的网络效率。我们发现RGB点输入可以获得95.74%的精度。
2019-04-24 cs.CV cs.RO
SplatPose: Geometry-Aware 6-DoF Pose Estimation from Single RGB Image via 3D Gaussian Splatting
Harbin Institute of Technology（哈尔滨工业大学）；Zhengzhou Research Institute, Harbin Institute of Technology（哈尔滨工业大学郑州研究院）；School of Information Science and Technology, Harbin Institute of Technology (Shen Zhen)（哈尔滨工业大学（深圳）信息科学与技术学院）；Jianghuai Advance Technology Center（江淮先进技术中心）
SplatPose提出结合3D高斯溅射与双分支架构及DARS-Net注意力机制，仅凭单张RGB图像实现高精度6-DoF位姿估计，在多个基准上达到最先进水平。
2025-03-07 cs.CV cs.RO
A 3D Object Detection and Pose Estimation Pipeline Using RGB-D Images
Guangdong University of Technology（广东工业大学）
三维目标检测和位姿估计在机器人领域有着广泛的应用前景，因此近几十年来得到了广泛的研究。然而，仍然存在挑战，当我们的目标是检测多个对象，同时保持低误报率在杂乱的环境中。提出了一种基于RGB-D图像的鲁棒的3D目标检测和姿态估计流水线，该流水线可以同时检测多个目标，同时减少误报。检测从模板匹配开始，并产生一组模板匹配。聚类算法，然后组相似的空间位置的模板，并产生多个对象的假设。一个评分函数评估的假设使用其相关的模板和非最大值抑制被用来删除重复的结果的基础上的分数。最后，点云处理算法的组合被用来计算对象的三维姿态。通过计算模型点和场景点之间的重叠来验证现有的对象假设。实验表明，我们的方法提供了竞争力的结果相比，国家的最先进的，可以应用于机器人随机装箱。
2017-03-11 cs.CV cs.RO
Keypoint-Based Category-Level Object Pose Tracking from an RGB Sequence with Uncertainty Estimation
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个单阶段，类别级6自由度姿态估计算法，同时检测和跟踪对象的实例在一个已知的类别。我们的方法将单目RGB视频的前一帧和当前帧以及前一帧的预测作为输入，以预测边界长方体和6-DoF姿势（按比例）。在内部，深度网络预测图像坐标中对象关键点（边界长方体的顶点）的分布，然后在使用Pestra计算最终姿态之前，一种新的概率过滤过程在估计值之间进行整合。我们的框架允许系统在预测当前帧时考虑以前的不确定性，从而使预测比单帧方法更准确和稳定。大量的实验表明，我们的方法优于现有的方法具有挑战性的Objectron基准的注释对象视频。我们还展示了我们的工作在增强现实设置的可用性。
2022-05-23 cs.CV cs.RO
Real-time RGBD-based Extended Body Pose Estimation
Samsung AI Center – Moscow（三星人工智能中心（莫斯科））；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一个系统的实时的【形】RGBD为基础的三维人体姿态估计。我们使用参数化的3D可变形人体网格模型（SMPL-X）作为表示，重点研究了Kinect Azure RGB-D摄像头的身体姿态、手部姿态和面部表情参数的实时的【形】估计。我们训练身体姿势和面部表情参数的估计器。这两种估计器都使用先前发布的地标提取器作为输入和自定义注释数据集进行监督，而手部姿势则直接通过先前发布的方法进行估计。我们将这些估计器的预测组合成一个时间平滑的人体姿势。我们训练的面部表情提取器上的一个大的说话的脸数据集，我们与面部表情参数注释。对于身体姿势，我们收集并注释了从5个Kinect Azure RGB-D摄像头的钻机捕获的56人的数据集，并将其与大型运动捕获AMASS数据集一起使用。我们的RGB-D身体姿势模型优于最先进的仅使用RGB的方法，并且与较慢的基于RGB-D优化的解决方案相比，其准确度相同。合并后的系统在具有单个GPU的服务器上以30 FPS运行。代码将在https://saic-violet.github.io/rgbd-kinect-pose上提供
2021-03-05 cs.CV
RGBD-Dog: Predicting Canine Pose from RGBD Sensors
University of Bath（巴斯大学）；UNIST（蔚山科学技术院）
从没有标记的图像中自动提取动物\reb{3D}姿态在一系列科学领域中是令人感兴趣的。迄今为止，大多数工作都是根据关节位置的2D标签从RGB图像预测动物姿势。然而，由于获得训练数据的困难性质，没有3D动物运动的地面实况数据集可用于定量评估这些方法。此外，缺乏3D动物姿态数据也使得难以以与身体姿态预测的流行领域类似的方式来训练3D姿态预测方法。在我们的工作中，我们专注于从RGBD图像的3D犬姿态估计的问题，记录了不同品种的狗与几个微软Kinect v2，同时通过运动捕捉系统获得的3D地面真实骨架。我们从这些数据中生成合成RGBD图像的数据集。训练堆叠的沙漏网络来预测3D关节位置，然后使用形状和姿势的先验模型来约束3D关节位置。我们评估我们的模型在合成和真实的RGBD图像，并将我们的结果与以前发表的工作拟合犬模型的图像进行比较。最后，尽管我们的训练集只包含狗的数据，但视觉检查表明，当其他四足动物（例如马或猫）的姿势与我们的训练集中包含的姿势相似时，我们的网络可以对它们的图像进行良好的预测。
2020-04-16 cs.CV
RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images
Imperial College London（帝国理工学院）；Rakuten Institute of Technology（乐天技术研究所）
本文提出了一种从RGB图像中估计手部姿势的方法，该方法在训练时使用外部大规模深度图像数据集以及成对的深度和RGB图像作为特权信息。我们表明，在训练过程中提供深度信息显着提高了测试过程中从RGB图像进行姿态估计的性能。我们探索使用这种特权信息的不同方式：（1）使用深度数据来初始训练基于深度的网络，（2）使用来自成对深度图像的基于深度的网络的特征来约束中级RGB网络权重，以及（3）使用从深度数据获得的前景掩模来抑制来自背景区域的响应。通过使用成对的RGB和深度图像，我们能够监督基于RGB的网络学习中间层特征，这些特征模仿相应的基于深度的网络，该网络是在大规模的、准确注释的深度数据上训练的。在测试过程中，当只有RGB图像可用时，我们的方法可以生成准确的3D手部姿势预测。我们的方法也进行了测试，对2D手姿态估计。在三个公开数据集上的实验表明，该方法优于现有的基于RGB图像输入的手势估计方法。
2018-11-18 cs.CV
