3D Hand Shape and Pose Estimation from a Single RGB Image
Nanyang Technological University(南洋理工大学);Wormpex AI Research(Wormpex AI研究院);Snap Inc.(Snap公司);State University of New York at Buffalo(纽约州立大学布法罗分校)
这项工作解决了一个新的和具有挑战性的问题,估计完整的3D手的形状和姿势从一个单一的RGB图像。现有的基于单目RGB图像的三维手部分析方法大多只关注手部关键点的三维位置估计,不能完整地表达手部的三维形状。相比之下,我们提出了一种基于图卷积神经网络(图CNN)的方法来重建一个完整的3D网格的手表面,包含更丰富的信息的3D手的形状和姿态。为了训练具有完全监督的网络,我们创建了一个包含地面真实3D网格和3D姿态的大规模合成数据集。当在没有3D地面实况的真实世界数据集上微调网络时,我们提出了一种弱监督方法,即利用深度图作为训练中的弱监督。通过对我们提出的新数据集和两个公共数据集的广泛评估,我们表明,我们提出的方法可以产生准确和合理的3D手部网格,并可以实现优越的3D手部姿态估计精度时,与国家的最先进的方法相比。
2019-04-20 cs.CV
Robust 6D Object Pose Estimation by Learning RGB-D Features
National University of Singapore(新加坡国立大学)
准确的6D物体位姿估计是机器人操作和抓取的基础。以前的方法遵循局部优化方法,最小化最近点对之间的距离来处理对称对象的旋转模糊性。在这项工作中,我们提出了一种新的离散-连续的旋转回归公式来解决这个局部最优问题。我们在SO(3)中对旋转锚点进行均匀采样,并预测每个锚点与目标的约束偏差,以及用于选择最佳预测的不确定性得分。此外,通过聚集指向3D中心的逐点向量来检测对象位置。在LINEMOD和YCB-Video两个基准测试上的实验表明,该方法的性能优于现有的方法。我们的代码可在https://github.com/mentian/object-posenet上获得。
2020-03-09 cs.CV
Skeleton Transformer Networks: 3D Human Pose and Skinned Mesh from Single RGB Image
National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST));CNRS-AIST JRL (Joint Robotics Laboratory), UMI3218/RL(法国国家科学研究中心-国立先进工业科学技术研究所联合机器人实验室(UMI3218/RL))
在本文中,我们提出了骨架Transformer网络(transformernet),一个端到端的框架,不仅可以预测3D关节位置,但也3D角姿态(骨骼旋转)的人体骨骼从一个单一的彩色图像。这反过来又允许我们生成蒙皮网格动画。在这里,我们提出了一个两步回归方法。第一步回归骨骼旋转,以便通过考虑骨骼结构获得初始解。第二步使用称为交叉热图的3D姿态表示基于热图回归器执行细化,交叉热图堆叠xy和zy坐标的热图。通过使用建议的3D人体姿势数据集(由3D骨骼角姿势注释的图像组成)训练网络,我们证明了AtrietonNet可以从单个图像中预测完整的3D人体姿势(关节位置和骨骼旋转)。
2018-12-29 cs.CV
3D Hand Pose and Shape Estimation from RGB Images for Keypoint-Based Hand Gesture Recognition
Sapienza University(罗马第一大学);University of Udine(乌迪内大学);University of Bristol(布里斯托大学)
从2D图像估计手的3D姿态是一个研究得很好的问题,并且是诸如虚拟现实、增强现实和手势识别的若干现实应用的要求。目前,可以从单个RGB图像计算合理的估计,特别是当使用多任务学习方法来迫使系统在确定手的姿势时考虑手的形状时。然而,根据用于表示手的方法,在现实生活中的任务中,性能可能会大大下降,这表明需要稳定的描述才能获得令人满意的结果。在本文中,我们提出了一个基于关键点的端到端的框架,三维手和姿态估计,并成功地将其应用到手势识别的任务作为一个研究案例。具体来说,在对图像进行标准化的预处理步骤之后,所提出的流水线使用从RGB图像生成2D热图和手部轮廓的多任务语义特征提取器、预测手部和相机视图参数的视点编码器、稳定的手部估计器来生成3D手部姿势和形状,以及在学习阶段联合指导所有组件的损失函数。在3D姿态和形状估计基准数据集上进行测试,以评估所提出的框架,该框架获得了最先进的性能。我们的系统还在两个手势识别基准数据集上进行了评估,并且显著优于其他基于关键点的方法,这表明它是一种有效的解决方案,能够生成稳定的手部姿势和形状的3D估计。
2022-05-09 cs.CV
Tracking Fast by Learning Slow: An Event-based Speed Adaptive Hand Tracker Leveraging Knowledge in RGB Domain
City University of Hong Kong(香港城市大学)
基于单目RGB视频的3D手部跟踪方法容易受到运动模糊的影响,而事件相机作为一种具有高时间分辨率和动态范围的传感器,具有稀疏输出和低功耗的特点,自然适合于此任务。然而,获得快速移动的手的3D注释是困难的构建基于事件的手跟踪数据集。针对基于事件摄像机的手部跟踪问题,提出了一种基于事件的速度自适应手部跟踪器(ESAHT)。我们启用了一个在慢动作手部跟踪数据集上训练的CNN模型,这使得该模型能够利用基于RGB的手部跟踪解决方案的知识来处理快速手部跟踪任务。为了实现我们的解决方案,我们构建了第一个3D手跟踪数据集捕获的事件摄像机在现实世界的环境中,想出了两个数据增强方法来缩小慢动作和快动作数据之间的域差距,开发了一个速度自适应的事件流分割方法来处理不同移动速度的手运动,并介绍了一个新的事件到帧表示方法自适应不同长度的事件流。实验表明,我们的解决方案优于基于RGB以及以前的基于事件的解决方案在快速的手跟踪任务,我们的代码和数据集将公开。
2023-02-28 cs.CV
UNOPose: Unseen Object Pose Estimation with an Unposed RGB-D Reference Image
Tsinghua University(清华大学);Technical University of Munich(慕尼黑工业大学);Google(谷歌公司)
针对单张无姿态 RGB-D 参考图下的未见物体 6DoF 姿态估计,本文提出 UNOPose 方法与基准,通过 SE(3) 不变参考帧和重叠感知对应加权实现由粗到精估计。
2025-03-17 cs.CV
Adaptive Wasserstein Hourglass for Weakly Supervised Hand Pose Estimation from Monocular RGB
Tsinghua University(清华大学);Kwai(快手)
标记训练集不足是单目RGB图像三维手势估计的瓶颈之一。合成数据集包含大量具有精确注释的图像,但与真实世界数据集的明显差异影响了泛化。几乎没有做过什么工作来弥合这两个领域之间的巨大差异。在本文中,我们提出了一个领域自适应方法称为自适应Wasserstein沙漏(AW沙漏)的弱监督的3D手姿态估计,其目的是区分差异,并探索合成和真实世界的数据集的共同特征(如手的结构)。学习共同特征有助于网络关注姿势相关信息。特征的相似性使得更容易实施域不变约束。在训练期间,基于这些共同特征与从完全注释的合成数据集学习的3D姿态之间的关系,网络在2D注释和深度图像的帮助下恢复弱标记的真实世界数据集的3D姿态是有益的。在测试过程中,网络使用RGB输入预测3D姿态。
2019-09-11 cs.AI cs.CV
Event-RGB Fusion for Spacecraft Pose Estimation Under Harsh Lighting
AI for Space Group(空间人工智能小组);The University of Adelaide(阿德莱德大学)
针对航天器位姿估计中单一传感器在恶劣光照下的局限性,提出基于分束棱镜对齐与RANSAC融合的事件-RGB位姿估计方法,结合dropout不确定性检测极端条件,并构建了公开的真实数据集验证其有效性。
2025-11-02 cs.CV cs.RO
HiPose: Hierarchical Binary Surface Encoding and Correspondence Pruning for RGB-D 6DoF Object Pose Estimation
Zhejiang University(浙江大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道工业大学);Technische Universität München(慕尼黑工业大学);Google(谷歌公司)
HiPose提出一种基于分层二值表面编码和由粗到精3D-3D对应关系剪枝的RGB-D 6DoF姿态估计方法,在多个基准上超越所有免优化方法并达到实时高精度。
2024-04-07 cs.CV
MV-ROPE: Multi-view Constraints for Robust Category-level Object Pose and Size Estimation
ShanghaiTech University(上海科技大学);Midea RoboZone(美的机器人区)
针对单视角RGB-D方法依赖高精度深度图且忽略视频时间信息的问题,提出基于多视角约束的框架MV-ROPE,结合尺度感知SLAM、轻量级位姿预测和位姿图优化,在深度缺失或质量受限时表现鲁棒。
2024-03-22 cs.CV
PhoCaL: A Multi-Modal Dataset for Category-Level Object Pose Estimation with Photometrically Challenging Objects
Technical University of Munich(慕尼黑工业大学);Toyota Motor Europe(丰田汽车欧洲公司)
物体姿态估计对于机器人应用和增强现实是至关重要的。除了实例级6D对象姿态估计方法之外,估计类别级姿态和形状已经成为一个有前途的趋势。因此,一个新的研究领域需要得到精心设计的数据集的支持。为了向社区提供具有高质量地面实况注释的基准,我们引入了一个多模态数据集,用于对具有光度挑战性的对象(称为PhoCaL)进行类别级对象姿态估计。PhoCaL包含60个高品质的3D模型,包括8个类别的家居物品,包括高反射,透明和对称的物体。我们开发了一种新的机器人支持的多模式(RGB,深度,偏振)数据采集和注释过程。它可确保不透明纹理、有光泽和透明物体的姿态精度达到亚毫米级,无运动模糊,并实现完美的相机同步。为了为我们的数据集设定基准,在PhoCaL的挑战性场景中评估了最先进的RGB-D和单眼RGB方法。
2022-05-18 cs.CV
Identity-Aware Hand Mesh Estimation and Personalization from RGB Images
University of California - Irvine(加州大学欧文分校);Reality Labs at Meta(Meta现实实验室)
基于单目RGB图像的手部三维网格重建在AR/VR领域有着巨大的应用潜力,因此受到了越来越多的关注。大多数最先进的方法都试图以匿名的方式处理此任务。具体而言,即使在用户在连续记录会话中不变的实际应用中实际上可用,也会忽略对象的身份。在本文中,我们提出了一个身份感知的手网格估计模型,它可以纳入由主体的内在形状参数所表示的身份信息。我们证明了身份信息的重要性,通过比较所提出的身份感知模型的基线,对待主题匿名。此外,为了处理测试对象不可见的用例,我们提出了一种新的个性化管道,仅使用对象的几个未标记的RGB图像来校准固有形状参数。在两个大规模公共数据集上的实验验证了我们所提出的方法的最新性能。
2022-09-22 cs.CV
OmniPose6D: Towards Short-Term Object Pose Tracking in Dynamic Scenes from Monocular RGB
Meta;Georgia Institute of Technology(佐治亚理工学院)
针对动态场景单目RGB短期物体姿态跟踪,提出大规模合成数据集OmniPose6D、基准框架及不确定性感知关键点细化网络,在真实数据集上性能优于基线。
2025-08-02 cs.CV cs.RO
CAP-Net: A Unified Network for 6D Pose and Size Estimation of Categorical Articulated Parts from a Single RGB-D Image
Fudan University(复旦大学);Huawei, Noah’s Ark Lab(华为诺亚实验室)
本文提出单阶段统一网络CAP-Net,结合RGB-D特征端到端估计类别级关节部件的6D位姿与尺寸,并构建最大RGB-D关节数据集RGBD-Art,显著超越现有方法且具备良好仿真到真实迁移能力。
2025-06-02 cs.CV cs.RO
FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images
University of Freiburg(弗莱堡大学);Adobe Research(Adobe研究院)
从单个RGB图像估计3D手部姿势是一个高度模糊的问题,依赖于无偏的训练数据集。在本文中,我们分析了在现有数据集上训练时的跨数据集泛化。我们发现,这些方法在它们训练的数据集上表现良好,但不能推广到其他数据集或野外场景。因此,我们引入了第一个大规模的,多视图的手数据集,伴随着3D手的姿势和形状注释。为了注释这个真实世界的数据集,我们提出了一个迭代的,半自动的“人在回路”的方法,其中包括手拟合优化,以推断每个样本的3D姿态和形状。我们表明,在我们的数据集上训练的方法在其他数据集上测试时始终表现良好。此外,数据集允许我们训练一个网络,从单个RGB图像预测完整的关节手形状。评估集可以作为关节手形状估计的基准。
2019-09-13 cs.CV cs.LG cs.RO
RGB-D-Based Categorical Object Pose and Shape Estimation: Methods, Datasets, and Evaluation
KTH Royal Institute of Technology(KTH皇家理工学院)
最近,已经提出了用于在每个类别级别上对对象进行6D姿态和形状估计的各种方法。这项工作提供了该领域的方法,数据集和评估协议的概述。首先,概述了现有的工作和他们的共性和差异。其次,我们对主要的评估协议进行了批判性的研究,包括指标和数据集。基于这些发现,我们提出了一组新的指标,为Redwood数据集提供了新的注释,并在公平的比较中评估了最先进的方法。结果表明,现有的方法不能很好地推广到无约束的方向,实际上是严重偏向于直立的对象。我们提供了一个易于使用的评估工具箱,其中包含定义良好的指标、方法和数据集接口,可以与各种最先进的方法进行评估和比较(https://github.com/roym899/pose_and_shape_evaluation)。
2023-01-19 cs.CV cs.RO
YCB-M: A Multi-Camera RGB-D Dataset for Object Recognition and 6DoF Pose Estimation
DFKI Niedersachsen Lab (DFKI NI)(DFKI下萨克森实验室(DFKI NI))
虽然近年来已经引入了各种各样的3D相机,但用于对象识别和姿态估计的大多数公开可用的数据集都集中在一个相机上。在这项工作中,我们提出了一个由7个不同的3D相机捕获的32个场景的数据集,总共49,294帧。这允许评估姿态估计算法对所使用的相机的细节的灵敏度,以及开发更独立于相机模型的更鲁棒的算法。反之亦然,我们的数据集使研究人员能够对来自几种不同相机和深度传感技术的数据进行定量比较,并在为特定任务选择相机之前评估其算法。我们数据集中的场景包含来自公共基准YCB对象和模型集的20个不同对象[1],[2]。我们为每个对象提供完整的地面真实6DoF姿势,每像素分割,2D和3D边界框以及每个对象的遮挡量的测量。我们还使用我们的数据集在最先进的对象识别和姿态估计系统上对相机进行了初步评估[3]。
2020-09-29 cs.CV cs.RO
MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院)
本文提出仅用RGB数据的MINT-RVAE方法,通过合成序列生成、新损失函数与训练策略缓解类别不平衡,实现帧级人机交互意图预测,AUROC达0.95并超越先前工作。
2025-09-26 cs.CV cs.RO
Estimating the Pose of a Euro Pallet with an RGB Camera based on Synthetic Training Data
Institute for Technical Logistics(技术物流研究所);Hamburg University of Technology(汉堡工业大学)
估计托盘和其他物流对象的姿态对于各种用例至关重要,例如自动化物料处理或跟踪。计算机视觉、计算能力和机器学习的创新为基于摄像头和神经网络的无设备定位开辟了新的机会。训练网络需要具有注释姿态的大型图像数据集。手动注释,尤其是6D姿势的手动注释,是一个极其劳动密集型的过程。因此,较新的方法通常利用合成训练数据来自动化生成带注释的图像数据集的过程。在这项工作中,产生的合成训练数据的6D位姿估计托盘。然后,数据用于训练深度对象姿态估计(DOPE)算法。通过实验验证了该算法的可行性,证明了基于红绿蓝(RGB)相机的标准化欧式托盘6D位姿估计的可行性。在不同的照明条件下,从三个不同的数据集的结果的比较显示了适当的数据集设计的相关性,以实现准确和鲁棒的定位。定量评估显示,优选数据集的平均位置误差小于20 cm。公开提供了经过验证的训练数据集和欧洲托盘的真实感模型。
2022-10-12 cs.CV cs.SY eess.IV
Real-time RGBD-based Extended Body Pose Estimation
Samsung AI Center – Moscow(三星人工智能中心(莫斯科));Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一个系统的实时的【形】RGBD为基础的三维人体姿态估计。我们使用参数化的3D可变形人体网格模型(SMPL-X)作为表示,重点研究了Kinect Azure RGB-D摄像头的身体姿态、手部姿态和面部表情参数的实时的【形】估计。我们训练身体姿势和面部表情参数的估计器。这两种估计器都使用先前发布的地标提取器作为输入和自定义注释数据集进行监督,而手部姿势则直接通过先前发布的方法进行估计。我们将这些估计器的预测组合成一个时间平滑的人体姿势。我们训练的面部表情提取器上的一个大的说话的脸数据集,我们与面部表情参数注释。对于身体姿势,我们收集并注释了从5个Kinect Azure RGB-D摄像头的钻机捕获的56人的数据集,并将其与大型运动捕获AMASS数据集一起使用。我们的RGB-D身体姿势模型优于最先进的仅使用RGB的方法,并且与较慢的基于RGB-D优化的解决方案相比,其准确度相同。合并后的系统在具有单个GPU的服务器上以30 FPS运行。代码将在https://saic-violet.github.io/rgbd-kinect-pose上提供
2021-03-05 cs.CV
RGBD-Dog: Predicting Canine Pose from RGBD Sensors
University of Bath(巴斯大学);UNIST(蔚山科学技术院)
从没有标记的图像中自动提取动物\reb{3D}姿态在一系列科学领域中是令人感兴趣的。迄今为止,大多数工作都是根据关节位置的2D标签从RGB图像预测动物姿势。然而,由于获得训练数据的困难性质,没有3D动物运动的地面实况数据集可用于定量评估这些方法。此外,缺乏3D动物姿态数据也使得难以以与身体姿态预测的流行领域类似的方式来训练3D姿态预测方法。在我们的工作中,我们专注于从RGBD图像的3D犬姿态估计的问题,记录了不同品种的狗与几个微软Kinect v2,同时通过运动捕捉系统获得的3D地面真实骨架。我们从这些数据中生成合成RGBD图像的数据集。训练堆叠的沙漏网络来预测3D关节位置,然后使用形状和姿势的先验模型来约束3D关节位置。我们评估我们的模型在合成和真实的RGBD图像,并将我们的结果与以前发表的工作拟合犬模型的图像进行比较。最后,尽管我们的训练集只包含狗的数据,但视觉检查表明,当其他四足动物(例如马或猫)的姿势与我们的训练集中包含的姿势相似时,我们的网络可以对它们的图像进行良好的预测。
2020-04-16 cs.CV
RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images
Imperial College London(帝国理工学院);Rakuten Institute of Technology(乐天技术研究所)
本文提出了一种从RGB图像中估计手部姿势的方法,该方法在训练时使用外部大规模深度图像数据集以及成对的深度和RGB图像作为特权信息。我们表明,在训练过程中提供深度信息显着提高了测试过程中从RGB图像进行姿态估计的性能。我们探索使用这种特权信息的不同方式:(1)使用深度数据来初始训练基于深度的网络,(2)使用来自成对深度图像的基于深度的网络的特征来约束中级RGB网络权重,以及(3)使用从深度数据获得的前景掩模来抑制来自背景区域的响应。通过使用成对的RGB和深度图像,我们能够监督基于RGB的网络学习中间层特征,这些特征模仿相应的基于深度的网络,该网络是在大规模的、准确注释的深度数据上训练的。在测试过程中,当只有RGB图像可用时,我们的方法可以生成准确的3D手部姿势预测。我们的方法也进行了测试,对2D手姿态估计。在三个公开数据集上的实验表明,该方法优于现有的基于RGB图像输入的手势估计方法。
2018-11-18 cs.CV
A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms
ICube, University of Strasbourg, CNRS, IHU Strasbourg(ICube实验室,斯特拉斯堡大学,法国国家科学研究中心,斯特拉斯堡大学医院);University Hospital of Strasbourg(斯特拉斯堡大学医院)
已经提出了许多方法用于单视图和多视图RGB图像中的人体姿态估计。然而,某些环境,例如手术室,对于最先进的RGB方法仍然非常具有挑战性。在本文中,我们提出了一种从RGB-D图像进行多视图3D人体姿态估计的方法,并证明了使用额外的深度通道进行姿态细化的好处,而不仅仅是用于生成改进的功能。所提出的方法允许联合检测和估计的姿态,而不知道先验的场景中存在的人数。我们在一个新的多视图RGB-D数据集上评估了这种方法,该数据集是在现场手术期间获得的,并用地面真实3D姿势进行了注释。
2017-01-25 cs.CV
PERF-Net: Pose Empowered RGB-Flow Net
Google Research(谷歌研究院)
近年来,视频动作识别文献中的许多作品表明,两个流模型(结合空间和时间输入流)是必要的,以实现最先进的性能。在本文中,我们展示了包含另一个基于从每个帧估计的人体姿势的流的好处-特别是通过在输入RGB帧上渲染姿势。乍一看,这个额外的流似乎是多余的,因为人体姿势完全由RGB像素值决定-然而,我们表明(也许令人惊讶),这个简单而灵活的添加可以提供互补的增益。利用这一洞察力,我们提出了一个新的模型,我们称之为PERF-Net(Pose Empowered RGB-Flow Net的缩写),它通过蒸馏技术将这个新的姿势流与标准的RGB和基于流的输入流相结合,并表明我们的模型在许多人类动作识别数据集中的性能大大优于最先进的模型,同时不需要在推理时显式计算流或姿势。提议的姿势流也是ActivityNet Kinetics Challenge 2020获奖解决方案的一部分。
2021-10-20 cs.CV
HPERL: 3D Human Pose Estimation from RGB and LiDAR
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);Birla Institute of Technology and Science (BITS) Pilani(博拉理工学院皮拉尼校区);University of Applied Sciences Mannheim(曼海姆应用科学大学);University of Kaiserslautern - TUK(凯泽斯劳滕大学)
野外人体姿态估计在各个领域都有巨大的潜力,从动画和动作识别到自动驾驶的意图识别和预测。目前的最新技术仅集中在用于预测3D人体姿势的RGB和RGB-D方法上。然而,不使用精确的LiDAR深度信息限制了性能,并导致非常不准确的绝对姿态估计。随着LiDAR传感器在机器人和自动驾驶汽车上变得越来越便宜和普遍,我们提出了一种使用RGB和LiDAR的端到端架构,以前所未有的精度预测绝对3D人体姿势。此外,我们引入了一种弱监督方法,使用PedX [1]的2D姿势注释生成3D预测。这允许在3D人体姿态估计领域中的许多新机会。
2020-10-16 cs.CV
Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition
The University of Western Australia(西澳大利亚大学)
我们提出了人体姿态模型,表示RGB和深度图像的人体构成独立的服装纹理,背景,照明条件,身体形状和相机的观点。学习这种通用模型需要训练图像,其中所有因素都因每个人的姿势而异。获取此类数据的成本高得令人望而却步。因此,我们开发了一个综合训练数据的框架。首先,我们从一个大的语料库的真实运动捕获的人体骨架数据学习代表性的人体姿势。接下来,我们将具有不同体型的合成3D人类适合每个姿势,并从180个相机视点渲染每个姿势,同时随机改变服装纹理,背景和照明。采用生成对抗网络来最小化合成图像分布与真实图像分布之间的差距。然后学习CNN模型,将人体姿势转移到共享的高级不变空间。然后将学习的CNN模型用作来自人类动作视频的真实RGB和深度帧的不变特征提取器,并且通过傅立叶时间金字塔对时间变化进行建模。最后,使用线性SVM进行分类。在三个基准交叉视图人体动作数据集上的实验表明,该算法在RGB和RGB-D动作识别方面明显优于现有方法。
2018-05-01 cs.CV
SSD-6D: Making RGB-based 3D detection and 6D pose estimation great again
Toyota Research Institute(丰田研究院);Technical University of Munich(慕尼黑工业大学);Siemens R&D(西门子研发中心)
我们提出了一种新的方法来检测三维模型的实例,并估计他们的6D姿态从RGB数据在Single Shot。为此,我们扩展了流行的SSD范式,以覆盖整个6D姿态空间和合成模型数据上的训练。我们的方法竞争或超越了当前最先进的方法,这些方法在多个具有挑战性的数据集上利用RGB-D数据。此外,我们的方法在10 Hz左右产生这些结果,这比相关方法快很多倍。为了提高可重复性,我们将我们的训练网络和检测代码公开提供。
2017-11-27 cs.CV
RCGNet: RGB-based Category-Level 6D Object Pose Estimation with Geometric Guidance
School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学);Zhongyuan University of Technology(中州大学)
本文提出RCGNet,一种仅用RGB图像的类别级6D位姿估计方法,通过Transformer预测融合几何特征、几何引导算法增强表示,并用RANSAC-PnP求解位姿,在基准数据集上取得优于已有RGB方法的精度。
2025-08-19 cs.CV
Using a single RGB frame for real time 3D hand pose estimation in the wild
Institute of Computer Science, FORTH(FORTH 计算机科学研究所);Computer Science Department, UOC(克里特大学计算机科学系)
我们提出了一种使用单个商品RGB相机实时估计一个或多个人手的完整3D姿态的方法。最近在该领域的工作显示了令人印象深刻的进展,使用RGBD输入。然而,自从RGBD传感器的引入以来,对于单眼彩色输入的情况几乎没有进展。我们利用深度学习的最新进展,将其与生成手部姿势估计技术的功能相结合,以实现在不受限制的场景中实时单目3D手部姿势估计。更具体地说,给定RGB图像和相关的相机校准信息,我们采用最先进的检测器来定位手。给定图像中的一只手,我们运行OpenPose的预训练网络来估计手关节的2D位置。最后,非线性最小二乘最小化拟合的3D模型的手估计的2D关节位置,恢复的3D手姿势。广泛的实验结果提供了与现有技术的比较以及该方法在野外的定性评估。
2017-12-11 cs.CV
Fast 3D Pose Refinement with RGB Images
Georgia Institute of Technology(佐治亚理工学院)
位姿估计是机器人操作、自主车辆导航等许多机器人和感知任务中的重要步骤。当前最先进的位姿估计方法依赖于结构复杂、推理时间长的深度神经网络。虽然非常强大,但它们需要移动机器人通常无法提供的计算能力。我们提出了一种基于CNN的姿态细化系统,该系统从计算成本较低的算法中获得粗略估计的3D姿态以及对象的限界框图像,并返回高度细化的姿态。在YCB-Video数据集上的实验表明,该系统可以用最少的训练数据将三维姿态精确到极高的精度。
2019-11-17 cs.CV
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
虽然最近在3D人体姿态估计方面取得了显着的改进,但大多数先前的方法仅处理单人情况。在这项工作中,我们首先提出了一个完全基于学习的,相机距离感知自顶向下的方法,从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测,绝对三维人体根定位,根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果,而无需任何地面实况信息,并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
Robust RGB-based 6-DoF Pose Estimation without Real Pose Annotations
Tsinghua University(清华大学);EPFL CVLab(洛桑联邦理工学院计算机视觉实验室);ClearSpace(ClearSpace公司)
虽然在从单个RGB图像进行6-DoF对象姿态估计方面已经取得了很大进展,但当前的主要方法严重依赖于真实注释数据。因此,它们对严重的遮挡保持敏感,因为用注释数据覆盖所有可能的遮挡是棘手的。在本文中,我们介绍了一种方法来鲁棒性和准确地估计6自由度姿态在具有挑战性的条件下,而不使用任何真正的姿态注释。为此,我们利用直觉,即网络从图像和从其合成改变以模仿遮挡的对应物预测的姿势应该是一致的,并将其转换为自监督的损失函数。我们在LINEMOD,Occluded-LINEMOD,YCB和新的随机化LINEMOD数据集上的实验证明了我们方法的鲁棒性。我们在LINEMOD上实现了最先进的性能,而OccludedLINEMOD在没有真实姿势设置的情况下,甚至优于在Occluded-LINEMOD训练期间依赖真实注释的方法。
2020-08-19 cs.CV
Geometry Depth Consistency in RGBD Relative Pose Estimation
Brown University(布朗大学)
本文提出几何深度约束(GDC)和Nested RANSAC方法,通过利用RGBD图像的深度一致性过滤对应关系,减少外点并显著加速位姿估计中的RANSAC过程。
2024-01-01 cs.CV
SchemaPose: RGB-Based Category-Level Pose Estimation with Parametric Category Schema
Shanghai Jiao Tong University(上海交通大学)
针对仅RGB下类别级9D位姿估计的挑战,本文提出SchemaPose框架,通过参数化模式建模类别规律与实例变化,实验显示其在同类RGB方法中性能最优。
2026-10-14 cs.CV
Unified Category-Level Object Detection and Pose Estimation from RGB Images using 3D Prototypes
Saarland University(萨尔兰大学);University of Technology Nuremberg(纽伦堡技术大学)
本文提出一种基于3D原型的统一模型,将RGB图像的类别级目标检测与姿态估计集成于单一框架,在REAL275上平均提升22.9%,并展现出更强的鲁棒性。
2025-08-04 cs.CV
Semantic Pose using Deep Networks Trained on Synthetic RGB-D
Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心);Georg-August University of Göttingen(哥廷根乔治-奥古斯特大学)
在这项工作中,我们解决的问题,从RGB-D图像的室内场景理解。具体来说,我们建议找到常见的家具类,它们的空间范围,以及它们的姿态相对于广义类模型的实例。为了实现这一点,我们使用了一个深度、广度、多输出的卷积神经网络(CNN),它可以同时预测可能对象的类别、姿势和位置。为了克服缺乏大型注释的RGB-D训练集(特别是那些有姿势的训练集),我们使用了一个动态渲染管道,在训练的同时生成逼真的杂乱房间场景。然后,我们对相对少量的公开注释的RGB-D数据进行迁移学习,发现我们的模型能够成功地注释即使是极具挑战性的真实场景。重要的是,我们经过训练的网络能够以非常高的准确度理解高度杂乱场景的噪声和稀疏观察,从非常有限的线索集推断类别和姿势。此外,我们的神经网络只有中等深度,并串联计算类,姿势和位置,因此整体运行时间比现有方法快得多,在几秒钟内在GPU上并行估计所有输出参数。
2015-08-04 cs.CV
DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation
University of California, Irvine(加州大学欧文分校);Tencent America(腾讯美国);Amazon(亚马逊);National Chiao Tung University(国立交通大学)
从RGB图像中估计3D手部姿态对于广泛的潜在应用是必不可少的,但由于从RGB图像中推断深度信息存在大量模糊性,因此具有挑战性。最先进的估计器通过在训练过程中正则化3D手部姿势估计模型来解决这个问题,以加强预测的3D姿势和地面真实深度图之间的一致性。然而,这些估计器在训练过程中依赖于RGB图像和成对的深度图。在这项研究中,我们提出了一种条件生成对抗网络(GAN)模型,称为深度图像引导GAN(DGGAN),以生成基于输入RGB图像的真实深度图,并使用合成的深度图来正则化3D手势估计模型,因此不需要地面真实深度图。在多个基准数据集上的实验结果表明,DGGAN生成的合成深度图在正则化姿态估计模型方面非常有效,获得了新的最先进的结果估计精度,在RHD、STB和MHP数据集上,平均3D端点误差(EPE)分别显著降低了4.7%、16.5%和6.8%。
2020-12-06 cs.CV
Object Level Depth Reconstruction for Category Level 6D Object Pose Estimation From Monocular RGB Image
Renmin University of China(中国人民大学);Nanjing University of Science and Technology(南京理工大学);Nreal;Tsinghua University(清华大学)
最近,基于RGBD的类别级6D对象姿态估计在性能上取得了有希望的改进,然而,对深度信息的要求阻碍了更广泛的应用。为了解决这个问题,本文提出了一种新的方法命名为对象级深度重建网络(OLD-Net),仅以RGB图像作为输入的类别级6D对象位姿估计。我们建议通过将类别级形状变形为对象级深度和规范的NOCS表示来直接从单目RGB图像预测对象级深度。引入了两个新的模块,即归一化全球位置提示(NGPH)和形状感知解耦深度重建(SDDR)模块,以学习高保真的对象级深度和精细的形状表示。最后,通过将预测的规范表示与反向投影的对象级深度对齐来求解6D对象姿态。在具有挑战性的CAMERA 25和REAL 275数据集上进行的大量实验表明,我们的模型虽然简单,但具有最先进的性能。
2022-08-28 cs.CV
iPose: Instance-Aware 6D Pose Estimation of Partly Occluded Objects
Heidelberg University(海德堡大学)
我们解决的任务,已知的刚性物体的6D姿态估计从单一的输入图像的情况下,对象被部分遮挡。最近的基于RGB-D的方法对中等程度的遮挡是鲁棒的。对于RGB输入,以前的方法都不能很好地处理部分遮挡的对象。我们的主要贡献是提出了第一个基于深度学习的系统,该系统可以从RGB-D和RGB输入中估计部分遮挡对象的准确姿态。我们通过一个新的实例感知管道实现了这一点,该管道将6D对象姿态估计分解为一系列更简单的步骤,其中每个步骤都删除了问题的特定方面。第一步使用实例分割网络定位图像中的所有已知对象,从而消除周围的杂波和遮挡物。第二步使用编码器-解码器网络将像素密集地映射到3D对象表面位置(所谓的对象坐标),从而消除对象外观。第三步,也是最后一步,使用几何优化预测6D姿态。我们证明,我们显着优于国家的最先进的姿态估计部分遮挡对象的RGB和RGB-D输入。
2018-06-18 cs.CV
GIVEPose: Gradual Intra-class Variation Elimination for RGB-based Category-Level Object Pose Estimation
Tsinghua University(清华大学);Pengcheng Laboratory(鹏城实验室)
针对基于RGB的类别级物体姿态估计中NOCS图存在类内变异导致结果欠佳的问题,提出结合NOCS图与新型IVFC图的GIVEPose框架,实现渐进式类内变异消除,性能显著优于现有最先进的RGB方法。
2025-03-20 cs.CV
Pushing the Envelope for RGB-based Dense 3D Hand Pose Estimation via Neural Rendering
Imperial College London(帝国理工学院);UNIST(蔚山科学技术院)
由于固有的2D-3D映射模糊性和有限的训练数据,从单个RGB图像估计3D手部网格具有挑战性。我们采用了一个紧凑的参数化三维手模型,代表可变形和关节手网格。为了实现RGB图像的模型拟合,我们在三个方面进行了研究和贡献:1)神经渲染:受最近人体工作的启发,我们的手部网格估计器(HME)由神经网络和可微分渲染器实现,由2D分割掩码和3D骨架监督。HME在估计不同的手形方面表现出良好的性能,并提高了姿态估计精度。2)迭代测试细化:我们的拟合函数是可微的。我们使用梯度迭代地改进初始估计,本着迭代模型拟合方法(如ICP)的精神。这一想法得到了最新人体研究的支持。3)自数据增强:收集用于训练的大小的RGB网格(或分割掩码)-骨架三元组是一个很大的障碍。一旦模型成功地拟合到输入RGB图像,它的网格,即形状和关节,是真实的,我们在估计的密集手部姿势之上增加视点。使用三个基于RGB的基准测试的实验表明,我们的框架在3D姿态估计方面提供了超越最先进的精度,并恢复了密集的3D手部形状。上述每个技术组件都有意义地提高了消融研究的准确性。
2019-04-09 cs.CV
mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
估计3D人体姿势和运动的能力,也称为人体姿势估计(HPE),使许多基于家庭的健康监测应用成为可能,例如远程康复训练。已经出现了几种可能的解决方案,使用从RGB相机、深度传感器、毫米波(mmWave)雷达和可穿戴惯性传感器等传感器。尽管HPE之前在数据集和基准方面做出了努力,但很少有数据集利用多种模式并专注于基于家庭的健康监测。为了弥补这一差距,我们提出了mRI,这是一个多模态3D人体姿态估计数据集,具有毫米波,RGB-D和惯性传感器。我们的数据集由来自20名进行康复训练的受试者的超过160 k个同步帧组成,并支持HPE和动作检测的基准。我们使用我们的数据集进行了大量的实验,并描绘了每种模态的强度。我们希望MRI的发布能够促进姿势估计、多模态学习和动作理解的研究,更重要的是促进基于家庭的健康监测的应用。
2022-10-15 cs.CV
UniPose: Unified Cross-modality Pose Prior Propagation towards RGB-D data for Weakly Supervised 3D Human Pose Estimation
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(多谱段信息智能处理技术国家重点实验室,人工智能与自动化学院,华中科技大学)
提出 UniPose 框架,通过自监督跨模态传播将RGB图像中的2D姿态先验迁移至RGB-D点云,并以伪真值驱动3D提升,在无需3D标注的情况下达到接近全监督的性能。
2025-09-27 cs.CV
An Iterative Regression Approach for Face Pose Estimation from RGB Images
本文提出了一种迭代优化的人脸姿态检测和定位方法--显式形状回归。学习回归函数以找出整个面部形状并最小化对齐误差。在检测过程中,采用级联学习框架来增强形状约束。结合两级提升回归、形状索引特征和基于相关性的特征选择方法来提高性能。在本文中,我们已经解释了ESR的变形物体一样的人脸姿态估计的优势,并揭示其一般应用的方法。在实验中,我们比较了不同工作的结果,并证明了在不同情况下的准确性和鲁棒性。
2017-09-10 cs.CV
SimpleDepthPose: Fast and Reliable Human Pose Estimation with RGBD-Images
University of Augsburg(奥格斯堡大学)
本文提出SimpleDepthPose算法,利用RGBD深度信息实现多视角多人姿态估计,具备良好泛化性、快速运行性能和关键点适应性,并已开源。
2025-03-07 cs.CV
FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams
FlowDance是一种结合并行姿态与RGB流的音乐驱动舞蹈视频生成框架,通过时间步感知姿态注入和持久身份注入优化,构建了高分辨率野外舞蹈数据集,在相关任务上表现优异。
2026-08-18 cs.CV
Human Pose Estimation from RGB Input Using Synthetic Training Data
我们解决的问题,估计使用RGB图像输入的人的姿势。更具体地说,我们使用随机森林分类器将像素分类为基于关节的身体部位类别,这与著名的Kinect姿势估计器非常相似[11],[12]。但是,我们使用的是纯RGB输入,即没有深度。由于随机森林需要大量的训练样本,我们使用计算机图形生成的合成训练数据。此外,我们假设我们可以访问大量具有限界框标签的真实图像,例如由行人检测器或跟踪系统提取。我们提出了一个新的目标函数的随机森林训练,使用弱标记的数据从目标域,鼓励学习者选择的功能,从合成源域推广到真正的目标域。我们在公开可用的数据集上证明了[6],所提出的目标函数产生的分类器显著优于使用标准熵目标训练的基线分类器[10]。
2014-05-27 cs.CV
3D Hand Pose Detection in Egocentric RGB-D Images
Aragon Institute of Engineering Research (i3A), Universidad de Zaragoza(阿拉贡工程研究所(i3A),萨拉戈萨大学);University of California, Irvine(加州大学欧文分校)
我们专注于从自我中心的观点每天的手姿态估计的任务。对于这项任务,我们表明,深度传感器是特别有用的提取近场交互的相机佩戴者与他/她的环境。尽管最近在使用Kinect类传感器的全身姿势估计方面取得了进展,但RGB-D图像中可靠的单目手部姿势估计仍然是一个未解决的问题。当从第一人称视角分析执行日常活动的手时,由于对象操作和有限的视场引起的严重遮挡,该问题大大加剧。我们的系统解决了这些困难,利用强大的先验的观点和构成的歧视性跟踪检测框架。我们的先验操作通过一个逼真的自我中心的场景,这是用来生成训练数据学习基于深度的姿势分类器的合成模型。我们评估我们的方法上的注释数据集的真实自我为中心的对象操作场景,并比较商业和学术的方法。我们的方法为以自我为中心的RGB-D图像中的手部检测和姿态估计提供了最先进的性能。
2014-11-29 cs.CV
3D-UGCN: A Unified Graph Convolutional Network for Robust 3D Human Pose Estimation from Monocular RGB Images
Beijing Institute of Petrochemical Technology(北京石油化工学院)
本文提出改进的统一图卷积网络3D-UGCN,通过处理3D人体姿态数据并改善骨架序列,解决单视角视频中因遮挡导致的人体姿态缺失问题,提升了3D人体姿态估计的鲁棒性。
2024-07-23 cs.CV
RGB-based Category-level Object Pose Estimation via Decoupled Metric Scale Recovery
ShanghaiTech University(上海科技大学);Tencent(腾讯);Australian National University(澳大利亚国立大学)
本文提出一种基于RGB的类别级物体位姿估计新流水线,通过解耦6D位姿和尺寸估计、利用单目估计器提取几何信息并基于类别统计恢复度量尺度,有效缓解单目尺度模糊问题,在旋转精度上优于现有最先进方法。
2023-10-18 cs.CV
A Unified Deep Framework for Joint 3D Pose Estimation and Action Recognition from a Single RGB Camera
Cerema Research Center(Cerema研究中心);Aparnix;Cortexica Vision Systems Ltd.(Cortexica视觉系统有限公司);Vingroup Big Data Institute (VinBDI)(Vingroup大数据研究所(VinBDI))
我们提出了一个基于深度学习的多任务框架,用于从RGB视频序列中进行联合3D人体姿势估计和动作识别。我们的方法分为两个阶段。首先,我们运行实时2D姿态检测器来确定身体重要关键点的精确像素位置。然后设计并训练双流神经网络以将检测到的2D关键点映射到3D姿态。在第二,我们部署的高效神经架构搜索(ENAS)算法,以找到一个最佳的网络架构,用于通过基于图像的中间表示和执行动作识别的估计3D姿态的时空演变建模。在Human3.6M、MSR 3D和SBU Kinect Interaction数据集上的实验验证了该方法在目标任务上的有效性。此外,我们表明,我们的方法需要一个低的计算预算的培训和推理。
2019-07-16 cs.CV
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video
MPI Informatics(马克斯·普朗克信息学研究所);Technical University of Munich(慕尼黑工业大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
跟踪和重建交互中双手的3D姿态和几何形状是一个具有挑战性的问题,其与包括AR/VR、机器人或手语识别在内的若干人机交互应用高度相关。现有的工作要么局限于更简单的跟踪设置(例如,仅考虑单手或两个空间上分离的手),或者依赖于不太普遍的传感器,诸如深度相机。相比之下,在这项工作中,我们提出了第一个实时的【形】方法,从一个单一的RGB相机,明确考虑密切的相互作用的骨骼姿势和3D表面几何的手的运动捕捉。为了解决RGB数据中固有的深度模糊性,我们提出了一种新的多任务CNN,该CNN回归多个互补的信息片段,包括分割、与3D手模型的密集匹配和2D关键点位置,以及新提出的手内相对深度和手间距离图。这些预测随后用于生成模型拟合框架中,以便估计双手的3D手模型的姿势和形状参数。我们通过广泛的消融研究实验验证了我们的RGB双手跟踪和3D重建管道的各个组件。此外,我们证明了我们的方法提供了以前看不见的双手跟踪性能从RGB,并在定量和定性上优于现有的基于RGB的方法,没有明确设计的双手互动。此外,我们的方法甚至可以与基于深度实时的【形】方法相提并论。
2021-06-22 cs.CV
Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images
KTH(瑞典皇家理工学院);Stanford University(斯坦福大学)
我们开发了一个系统,从RGB图像,显示了一只手,这是持有一个新的对象从一个已知的类别在3D建模手对象的相互作用。我们设计了一个卷积神经网络(CNN)用于手持物体的姿态和形状估计,称为HOPS-Net,并利用以前的工作来估计手的姿态和配置。我们利用的洞察力,手的信息,促进对象的姿态和形状的估计,将手到对象的姿态和形状的训练和推理,以及估计的姿态的细化。该网络在与人手交互的对象的大型合成数据集上进行训练。为了弥合真实图像和合成图像之间的差距,我们采用了一种图像到图像的转换模型(增强CycleGAN),该模型在合成渲染的情况下生成逼真的纹理对象。这提供了一种可扩展的方法来生成用于训练HOPS-Net的注释数据。我们的定量实验表明,即使是嘈杂的手参数显着帮助对象的姿态和形状估计。定性的实验结果表明,由一只手“在野外”举行的对象的姿态和形状估计。
2019-11-11 cs.CV
How to track your dragon: A Multi-Attentional Framework for real-time RGB-D 6-DOF Object Pose Tracking
National Technical University of Athens(雅典国家技术大学);TU Darmstadt(达姆施塔特工业大学)
我们提出了一种新的多注意力卷积架构来解决单个已知对象的实时的【形】RGB-D 6D对象姿态跟踪问题。这样的问题提出了源自对象的性质及其与其环境的相互作用的多重挑战,先前的方法未能完全解决这些问题。该框架通过将多个并行的软空间注意模块集成到多任务卷积神经网络(CNN)架构中来封装背景杂波和遮挡处理的方法。此外,我们考虑了对象的3D模型和姿态空间的特殊几何属性,并且在训练期间使用更复杂的方法进行数据增强。所提供的实验结果证实了所提出的多注意力架构的有效性,因为它提高了最先进的(SoA)跟踪性能的平均得分为34.03%的平移和40.01%的旋转,当测试最完整的数据集设计,到目前为止,RGB-D对象跟踪的问题。
2020-09-15 cs.CV