You Only Pose Once: A Minimalist's Detection Transformer for Monocular RGB Category-level 9D Multi-Object Pose Estimation
PIT IN Co.(PIT IN公司)
YOPO提出了一种单阶段的检测转换器,通过端到端训练实现类别级9D多目标姿态估计,取得了新的状态-of-the-art成果。
2026-03-10 cs.CV cs.RO
6D Robotic Assembly Based on RGB-only Object Pose Estimation
Tsinghua University(清华大学)
基于视觉的机器人装配是一项关键而又具有挑战性的任务,因为与多个物体的交互需要高精度。在本文中,我们提出了一个集成的6D机器人系统,感知,把握,操纵和组装块紧公差。为了提供一个现成的RGB唯一的解决方案,我们的系统是建立在一个单目6D对象姿态估计网络训练,利用基于物理的渲染的合成图像。随后,姿态引导的6D变换以及无碰撞装配被提出来构造具有任意初始姿态的任何设计结构。我们新颖的3轴校准操作通过解开6D姿态估计和机器人装配进一步提高了精度和鲁棒性。定量和定性的结果表明,我们提出的6D机器人装配系统的有效性。
2022-08-27 cs.CV cs.RO
3D Human Pose Estimation in RGBD Images for Robotic Task Learning
University of Freiburg(弗莱堡大学)
我们提出了一种方法来估计3D人体姿态在现实世界中的单位从一个单一的RGBD图像,并表明它超过了性能的单目3D姿态估计方法从颜色以及姿态估计专门从深度。我们的方法建立在强大的人类关键点检测器的彩色图像,并结合了深度提升到3D。我们结合系统与我们的示教学习框架,指导服务机器人,而不需要标记。在现实世界中的实验表明,我们的方法使PR2机器人模仿从人类教师观察到的操作动作。
2018-03-13 cs.CV cs.RO
Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy
Zhejiang University(浙江大学)
目前基于RGB的6D物体姿态估计方法在数据集和现实世界应用中取得了显着的性能。然而,从单个2D图像特征预测6D姿态容易受到来自环境变化和无纹理或光滑物体表面的干扰。因此,基于RGB的方法通常比基于RGBD的方法实现更少的竞争结果,基于RGBD的方法部署图像特征和3D结构特征两者。为了缩小这一性能差距,本文提出了一个6D对象姿态估计的框架,从2个RGB图像中学习隐式3D信息。结合学习的3D信息和2D图像特征,我们建立了场景和对象模型之间更稳定的对应关系。为了寻求最好地利用RGB输入的3D信息的方法,我们对三种不同的方法进行了研究,包括早期融合,中期融合和后期融合。我们确定中融合方法是恢复最精确的3D关键点的最佳方法,可用于对象姿态估计。实验表明,我们的方法优于国家的最先进的基于RGB的方法,并取得了相当的结果与基于RGBD的方法。
2022-07-01 cs.CV cs.RO
6D Pose Estimation via Keypoint Heatmap Regression with RGB-D Residual Neural Networks
Politecnico di Torino(托里诺理工学院)
本文提出基于关键点热图回归的模块化框架,结合YOLOv10m进行目标检测与ResNet18预测RGB图像的2D热图,利用PnP RANSAC算法估计6D位姿,并通过RGB-D交叉融合架构提升性能,最终在LINEMOD数据集上达到92.41%的准确率。
2026-05-08 cs.CV cs.RO
Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications
De Montfort University(德蒙福特大学);University of Lincoln(林肯大学)
在本文中,我们提出了蘑菇检测,定位和3D姿态估计算法,使用从低成本消费者RGB-D传感器获得的RGB-D数据。我们将RGB和深度信息用于不同的目的。首先从RGB颜色中提取蘑菇的初始轮廓位置,然后将初始轮廓位置和原始图像提供给活动轮廓进行蘑菇分割。然后,这些分割的蘑菇被用作圆形霍夫变换的输入,用于每个蘑菇检测,包括其中心和半径。一旦知道每个蘑菇在RGB图像中的中心位置,我们就使用深度信息在3D空间中定位它,即在世界坐标系中。如果在每个蘑菇的检测中心处缺少深度信息,我们从每个蘑菇的半径内最近的可用深度信息进行估计。我们还使用预先准备的直立蘑菇模型估计每个蘑菇的3D姿态。我们使用一个全球注册,然后局部细化注册的方法,这个3D姿态估计。从估计的3D姿态,我们只使用四元数表示的旋转部分作为每个蘑菇的方向。蘑菇的这些估计的(X,Y,Z)位置、直径和取向用于机器人拾取应用。我们在3D打印和真实蘑菇上进行了广泛的实验,这表明我们的方法具有有趣的性能。
2022-01-08 cs.CV cs.RO
Learning Implicit Probability Distribution Functions for Symmetric Orientation Estimation from RGB Images Without Pose Labels
University of Bonn(波恩大学)
物体位姿估计是机器人自主操作的必要前提,但对称性的存在增加了位姿估计任务的复杂性。用于对象姿态估计的现有方法输出单个6D姿态。因此,他们缺乏推理对称性的能力。最近,通过神经网络将对象方向建模为SO(3)流形上的非参数概率分布,取得了令人印象深刻的结果。然而,获取大规模数据集来训练姿态估计模型仍然是一个瓶颈。为了解决这个问题,我们引入了一个自动姿势标记计划。给定没有对象姿态注释和3D对象模型的RGB-D图像,我们设计了一个由点云配准和渲染和比较验证组成的两阶段流水线,为每个图像生成多个对称的伪地面真实姿态标签。使用生成的姿势标签,我们训练ImplicitPDF模型来估计给定RGB图像的方向假设的可能性。SO(3)流形的一个有效的分层采样使得能够在多个分辨率下容易地生成完整的对称集。在推断期间,使用梯度上升来估计目标对象的最可能的取向。我们评估建议的自动姿势标记方案和ImplicitPDF模型上的真实感数据集和T-Less数据集,证明了所提出的方法的优点。
2022-11-21 cs.CV cs.RO
SilhoNet: An RGB Method for 6D Object Pose Estimation
University of Michigan(密歇根大学)
自主机器人操作涉及估计要操作的对象的平移和取向作为6自由度(6D)姿势。使用RGB-D数据的方法在解决这个问题方面取得了巨大成功。然而,在某些情况下,成本约束或工作环境可能会限制RGB-D传感器的使用。当仅限于单目相机数据时,物体姿态估计问题是非常具有挑战性的。在这项工作中,我们介绍了一种新的方法,称为SilhoNet预测6D物体姿态从单目图像。我们使用卷积神经网络(CNN)管道,该管道采用感兴趣区域(ROI)建议,同时预测具有相关遮挡掩模和3D平移向量的对象的中间轮廓表示。然后从预测的轮廓回归3D取向。我们表明,我们的方法在YCB-Video数据集上实现了比两个最先进的网络更好的整体性能,用于从单目图像输入进行6D姿态估计。
2020-05-07 cs.CV cs.RO
Real-time marker-less multi-person 3D pose estimation in RGB-Depth camera networks
University of Padova(帕多瓦大学);UCLA(加州大学洛杉矶分校)
本文提出了一种新的系统来估计和跟踪校准的RGB深度相机网络中的多个人的3D姿态。每个人的多视图3D姿态由中心节点计算,该中心节点从网络的每个相机接收单视图结果。通过使用用于2D姿态估计的CNN并借助于传感器深度将所得骨架扩展到3D来计算每个单视图结果。该系统是无标记,多人,独立于背景,不做任何假设的人的外观和初始姿势。该系统提供了实时的【形】结果,因此非常适合需要用户交互的应用。实验结果表明,这项工作的有效性相对于基线多视图方法在不同的情况下。为了促进基于这项工作的研究和应用,我们在OpenPTrack中发布了源代码,OpenPTrack是一个用于RGB-D人员跟踪的开源项目。
2017-10-17 cs.CV cs.RO
Event-RGB Fusion for Spacecraft Pose Estimation Under Harsh Lighting
AI for Space Group(空间人工智能小组);The University of Adelaide(阿德莱德大学)
针对航天器位姿估计中单一传感器在恶劣光照下的局限性,提出基于分束棱镜对齐与RANSAC融合的事件-RGB位姿估计方法,结合dropout不确定性检测极端条件,并构建了公开的真实数据集验证其有效性。
2025-11-02 cs.CV cs.RO
OmniPose6D: Towards Short-Term Object Pose Tracking in Dynamic Scenes from Monocular RGB
Meta;Georgia Institute of Technology(佐治亚理工学院)
针对动态场景单目RGB短期物体姿态跟踪,提出大规模合成数据集OmniPose6D、基准框架及不确定性感知关键点细化网络,在真实数据集上性能优于基线。
2025-08-02 cs.CV cs.RO
Active 6D Pose Estimation for Textureless Objects using Multi-View RGB Frames
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究学院);Robotics Institute(机器人研究所);Epson Canada Ltd(加拿大爱普生有限公司)
本文提出基于多视角RGB图像的无纹理物体6D位姿主动估计方法,通过两步分解过程提升准确性和效率,并引入主动感知策略减少位姿不确定性。
2025-12-15 cs.CV cs.RO
Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos
The University of Hong Kong(香港大学);Microsoft Research Asia(微软亚洲研究院);TransGP;Texas A&M University(德克萨斯农工大学)
从以自我为中心的RGB视频中理解动态手部运动和动作是一项基本但具有挑战性的任务,因为自遮挡和模糊性。为了解决遮挡和模糊性,我们开发了一个基于变换的框架,利用时间信息进行鲁棒估计。注意到不同的时间粒度和手势估计和动作识别之间的语义相关性,我们建立了一个网络层次结构与两个级联的Transformer编码器,其中第一个利用短期的时间线索的手势估计,后者聚合每帧的姿势和对象信息在一个较长的时间跨度来识别的动作。我们的方法在两个第一人称手部动作基准上取得了有竞争力的结果,即FPHA和H2O。广泛的消融研究验证了我们的设计选择。
2023-03-29 cs.CV cs.RO
GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos
Tongji University(同济大学);Beijing Institute of Control Engineering(北京控制工程研究所)
本文提出 GSGTrack,仅利用 RGB 视频,通过 3D Gaussian Splatting、图几何优化、轮廓损失和几何一致图像对选择实现未知物体 6DoF 位姿跟踪与重建。
2024-12-03 cs.CV cs.RO
Single-Stage Keypoint-Based Category-Level Object Pose Estimation from an RGB Image
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
关于6-DoF对象姿态估计的先前工作主要集中在实例级处理上,其中纹理CAD模型可用于被检测的每个对象。类别级6自由度姿态估计是开发在非结构化真实世界场景中操作的机器人视觉系统的重要一步。在这项工作中,我们提出了一个单阶段,基于关键点的方法,用于类别级对象姿态估计,使用单个RGB图像作为输入,在已知类别内的未知对象实例上进行操作。所提出的网络执行2D目标检测,检测2D关键点,估计6自由度姿态,并回归相对边界长方体尺寸。这些数量是以顺序的方式估计的,利用最近的convGRU思想将信息从更容易的任务传播到更困难的任务。我们在设计选择中倾向于简单:通用长方体顶点坐标,单级网络和单目RGB输入。我们在具有挑战性的Objectron基准上进行了广泛的实验,在3D IoU指标上优于最先进的方法(比MobilePose单阶段方法高27.6%,比相关的两阶段方法高7.1%)。
2022-05-12 cs.CV cs.RO
Learning Local RGB-to-CAD Correspondences for Object Pose Estimation
George Mason University(乔治梅森大学);Siemens Corporate Technology(西门子企业技术研究院)
我们考虑的问题,三维物体的姿态估计。虽然最近的工作主要集中在RGB域,但对精确注释的图像的依赖限制了它们的通用性和可扩展性。另一方面,容易获得的对象的CAD模型是丰富的数据源,提供了大量的合成渲染图像。在本文中,我们解决了这个关键问题,现有的方法需要昂贵的3D姿态注释,提出了一种新的方法,匹配RGB图像的CAD模型的对象姿态估计。与现有工作相比,我们的关键创新包括消除对CAD模型的真实世界纹理或RGB图像的显式3D姿态注释的需求。我们通过一系列目标来实现这一目标,这些目标学习如何选择关键点,并在RGB图像和CAD模型渲染中实施视点和模态不变性。我们进行了大量的实验,以证明所提出的方法可以可靠地估计RGB图像中的对象姿态,以及推广到训练过程中看不到的对象实例。
2019-07-31 cs.CV cs.LG cs.RO
RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images
Qing Yuan Research Institute(庆元研究院);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);AI Institute(人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
一般物体抓取是机器人领域中一个重要而尚未解决的问题。目前的大多数方法要么生成的抓取姿势很少的自由度,无法覆盖大部分的成功把握,或只采取不稳定的深度图像或点云作为输入,这可能会导致在某些情况下,穷人的结果。在本文中,我们提出了RGBD-Grasp,这是一个通过将7-DoF抓取检测解耦为两个子任务来解决这个问题的管道,其中RGB和深度信息分别处理。在第一阶段中,提出了一种类似于卷积神经网络的编码器-解码器的角度-视图网络(AVN)来预测图像的每个位置处的抓持器的SO(3)方向。因此,快速分析搜索(FAS)模块计算开口宽度和夹持器到夹持点的距离。通过解耦抓取检测问题并引入稳定的RGB模态,我们的流水线满足了对高质量深度图像的要求,并且对深度传感器噪声具有鲁棒性。我们在GraspNet-1Billion数据集上实现了最先进的结果,并与几个基线进行了比较。在配备英特尔Realsense摄像头和Robotiq双指夹持器的UR 5机器人上进行的真实机器人实验显示,无论是在单个物体场景还是在杂乱场景中,成功率都很高。我们的代码和训练模型将公开提供。
2021-03-03 cs.CV cs.RO
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology(航空航天科学与工程学院,国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(图像测量与视觉导航省级重点实验室)
本文提出DKPMV流程,仅用多视角RGB图像通过密集关键点融合与三阶段渐进优化策略进行无纹理物体6D位姿估计,在ROBI数据集上超越现有RGB方法并多数超越RGB-D方法。
2025-10-13 cs.CV cs.RO
Combining RGB and Points to Predict Grasping Region for Robotic Bin-Picking
Shanghai Jiao Tong University(上海交通大学)
本文重点研究了杂乱场景下的机器人拣货任务。由于物体的多样性和放置的杂乱性,在抓取之前识别和估计它们的姿态是非常困难的。在这里,我们使用U-net,一种特殊的卷积神经网络(CNN),结合RGB图像和深度信息来预测拾取区域,而无需识别和姿态估计。比较了RGB、RGB-D和RGB-Points三种视觉输入方式的网络效率。我们发现RGB点输入可以获得95.74%的精度。
2019-04-24 cs.CV cs.RO
SplatPose: Geometry-Aware 6-DoF Pose Estimation from Single RGB Image via 3D Gaussian Splatting
Harbin Institute of Technology(哈尔滨工业大学);Zhengzhou Research Institute, Harbin Institute of Technology(哈尔滨工业大学郑州研究院);School of Information Science and Technology, Harbin Institute of Technology (Shen Zhen)(哈尔滨工业大学(深圳)信息科学与技术学院);Jianghuai Advance Technology Center(江淮先进技术中心)
SplatPose提出结合3D高斯溅射与双分支架构及DARS-Net注意力机制,仅凭单张RGB图像实现高精度6-DoF位姿估计,在多个基准上达到最先进水平。
2025-03-07 cs.CV cs.RO
A 3D Object Detection and Pose Estimation Pipeline Using RGB-D Images
Guangdong University of Technology(广东工业大学)
三维目标检测和位姿估计在机器人领域有着广泛的应用前景,因此近几十年来得到了广泛的研究。然而,仍然存在挑战,当我们的目标是检测多个对象,同时保持低误报率在杂乱的环境中。提出了一种基于RGB-D图像的鲁棒的3D目标检测和姿态估计流水线,该流水线可以同时检测多个目标,同时减少误报。检测从模板匹配开始,并产生一组模板匹配。聚类算法,然后组相似的空间位置的模板,并产生多个对象的假设。一个评分函数评估的假设使用其相关的模板和非最大值抑制被用来删除重复的结果的基础上的分数。最后,点云处理算法的组合被用来计算对象的三维姿态。通过计算模型点和场景点之间的重叠来验证现有的对象假设。实验表明,我们的方法提供了竞争力的结果相比,国家的最先进的,可以应用于机器人随机装箱。
2017-03-11 cs.CV cs.RO
Keypoint-Based Category-Level Object Pose Tracking from an RGB Sequence with Uncertainty Estimation
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个单阶段,类别级6自由度姿态估计算法,同时检测和跟踪对象的实例在一个已知的类别。我们的方法将单目RGB视频的前一帧和当前帧以及前一帧的预测作为输入,以预测边界长方体和6-DoF姿势(按比例)。在内部,深度网络预测图像坐标中对象关键点(边界长方体的顶点)的分布,然后在使用Pestra计算最终姿态之前,一种新的概率过滤过程在估计值之间进行整合。我们的框架允许系统在预测当前帧时考虑以前的不确定性,从而使预测比单帧方法更准确和稳定。大量的实验表明,我们的方法优于现有的方法具有挑战性的Objectron基准的注释对象视频。我们还展示了我们的工作在增强现实设置的可用性。
2022-05-23 cs.CV cs.RO
A Dataset for Improved RGBD-based Object Detection and Pose Estimation for Warehouse Pick-and-Place
Rutgers University(罗格斯大学);Federal University of Espirito Santo(圣埃斯皮里图联邦大学)
机器人技术的一个重要的物流应用涉及机械手,机械手可以拾取和放置放在仓库货架上的物体。该任务的一个关键方面对应于使用视觉数据检测货架中已知对象的姿态。解决这个问题可以通过使用RGB-D传感器来帮助,该传感器还提供视觉数据之外的深度信息。然而,这仍然是一个具有挑战性的问题,因为需要解决多个问题,例如货架内的低照明,杂乱,无纹理和反射物体以及深度传感器的限制。本文提供了一个新的丰富的数据集,以推进最先进的基于RGBD的3D对象姿态估计,这是集中在解决仓库拾取和放置任务时出现的挑战。公开的数据集包括数千张图像和相应的地面实况数据,这些图像和数据是在不同姿势和杂乱条件下的第一次亚马逊采摘挑战赛期间使用的对象。每张图像都附有地面真实信息,以帮助评估目标检测算法。为了显示数据集的实用性,本文评估了最近基于RGBD的姿态估计算法。基于该算法在数据集上的测量性能,应用各种修改和改进来提高检测的准确性。这些步骤可以很容易地应用到各种不同的方法,用于对象姿态检测和提高性能的仓库拾取和放置的领域。
2016-02-20 cs.CV cs.RO
Real-time RGBD-based Extended Body Pose Estimation
Samsung AI Center – Moscow(三星人工智能中心(莫斯科));Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一个系统的实时的【形】RGBD为基础的三维人体姿态估计。我们使用参数化的3D可变形人体网格模型(SMPL-X)作为表示,重点研究了Kinect Azure RGB-D摄像头的身体姿态、手部姿态和面部表情参数的实时的【形】估计。我们训练身体姿势和面部表情参数的估计器。这两种估计器都使用先前发布的地标提取器作为输入和自定义注释数据集进行监督,而手部姿势则直接通过先前发布的方法进行估计。我们将这些估计器的预测组合成一个时间平滑的人体姿势。我们训练的面部表情提取器上的一个大的说话的脸数据集,我们与面部表情参数注释。对于身体姿势,我们收集并注释了从5个Kinect Azure RGB-D摄像头的钻机捕获的56人的数据集,并将其与大型运动捕获AMASS数据集一起使用。我们的RGB-D身体姿势模型优于最先进的仅使用RGB的方法,并且与较慢的基于RGB-D优化的解决方案相比,其准确度相同。合并后的系统在具有单个GPU的服务器上以30 FPS运行。代码将在https://saic-violet.github.io/rgbd-kinect-pose上提供
2021-03-05 cs.CV
RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images
Imperial College London(帝国理工学院);Rakuten Institute of Technology(乐天技术研究所)
本文提出了一种从RGB图像中估计手部姿势的方法,该方法在训练时使用外部大规模深度图像数据集以及成对的深度和RGB图像作为特权信息。我们表明,在训练过程中提供深度信息显着提高了测试过程中从RGB图像进行姿态估计的性能。我们探索使用这种特权信息的不同方式:(1)使用深度数据来初始训练基于深度的网络,(2)使用来自成对深度图像的基于深度的网络的特征来约束中级RGB网络权重,以及(3)使用从深度数据获得的前景掩模来抑制来自背景区域的响应。通过使用成对的RGB和深度图像,我们能够监督基于RGB的网络学习中间层特征,这些特征模仿相应的基于深度的网络,该网络是在大规模的、准确注释的深度数据上训练的。在测试过程中,当只有RGB图像可用时,我们的方法可以生成准确的3D手部姿势预测。我们的方法也进行了测试,对2D手姿态估计。在三个公开数据集上的实验表明,该方法优于现有的基于RGB图像输入的手势估计方法。
2018-11-18 cs.CV
A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms
ICube, University of Strasbourg, CNRS, IHU Strasbourg(ICube实验室,斯特拉斯堡大学,法国国家科学研究中心,斯特拉斯堡大学医院);University Hospital of Strasbourg(斯特拉斯堡大学医院)
已经提出了许多方法用于单视图和多视图RGB图像中的人体姿态估计。然而,某些环境,例如手术室,对于最先进的RGB方法仍然非常具有挑战性。在本文中,我们提出了一种从RGB-D图像进行多视图3D人体姿态估计的方法,并证明了使用额外的深度通道进行姿态细化的好处,而不仅仅是用于生成改进的功能。所提出的方法允许联合检测和估计的姿态,而不知道先验的场景中存在的人数。我们在一个新的多视图RGB-D数据集上评估了这种方法,该数据集是在现场手术期间获得的,并用地面真实3D姿势进行了注释。
2017-01-25 cs.CV
Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation
我们提出了一种新的学习方法来从RGB-D图像中恢复看不见的对象实例的6D姿态和大小。为了处理类内形状变化,我们提出了一个深度网络,通过从预先学习的分类形状先验中显式地建模变形来重建3D对象模型。此外,我们的网络推断对象实例的深度观察与重建的3D模型之间的密集对应关系,以联合估计6D对象的姿态和大小。我们设计了一个自动编码器,它在一组对象模型上进行训练,并计算每个类别的平均潜在嵌入,以学习类别形状先验。在合成数据集和真实数据集上进行的大量实验表明,我们的方法明显优于现有技术。我们的代码可在https://github.com/mentian/object-deformnet上获得。
2020-07-16 cs.CV
G6D: Geometric Learning-Free RGB-D 6D Pose Solver for Robotic Manipulation
Tsinghua University(清华大学);Sapient Intelligence
针对机器人操作中6D姿态估计对GPU资源依赖高、可解释性差的问题,提出无学习、几何驱动的G6D求解器,通过模板匹配与轮廓深度一致性优化,无需预训练模型,在多个数据集及真实实验中表现优异。
2026-09-22 cs.CV cs.RO
Model-Based Underwater 6D Pose Estimation from RGB
TII ARRC;Hipert s.r.l(希佩特有限公司);University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学)
提出一种基于2D目标检测的水下RGB 6D位姿估计方法,在包含33,920个合成和10个真实场景的开源数据集上验证,精度比端到端方法提升8%,并成功应用于水下机械臂抓取任务。
2023-09-15 cs.CV cs.RO
PERF-Net: Pose Empowered RGB-Flow Net
Google Research(谷歌研究院)
近年来,视频动作识别文献中的许多作品表明,两个流模型(结合空间和时间输入流)是必要的,以实现最先进的性能。在本文中,我们展示了包含另一个基于从每个帧估计的人体姿势的流的好处-特别是通过在输入RGB帧上渲染姿势。乍一看,这个额外的流似乎是多余的,因为人体姿势完全由RGB像素值决定-然而,我们表明(也许令人惊讶),这个简单而灵活的添加可以提供互补的增益。利用这一洞察力,我们提出了一个新的模型,我们称之为PERF-Net(Pose Empowered RGB-Flow Net的缩写),它通过蒸馏技术将这个新的姿势流与标准的RGB和基于流的输入流相结合,并表明我们的模型在许多人类动作识别数据集中的性能大大优于最先进的模型,同时不需要在推理时显式计算流或姿势。提议的姿势流也是ActivityNet Kinetics Challenge 2020获奖解决方案的一部分。
2021-10-20 cs.CV
SDF-based RGB-D Camera Tracking in Neural Scene Representations
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses AB公司)
我们考虑在神经场景表示中跟踪移动RGB-D相机的6D姿态的问题。最近出现了不同的这种表示,我们调查他们的相机跟踪任务的适用性。特别是,我们建议使用基于符号距离场的表示来跟踪RGB-D相机,并表明与基于密度的表示相比,跟踪可以加快,这使得在计算时间有限时能够进行更鲁棒和准确的姿态估计。
2022-05-04 cs.CV cs.RO
HPERL: 3D Human Pose Estimation from RGB and LiDAR
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);Birla Institute of Technology and Science (BITS) Pilani(博拉理工学院皮拉尼校区);University of Applied Sciences Mannheim(曼海姆应用科学大学);University of Kaiserslautern - TUK(凯泽斯劳滕大学)
野外人体姿态估计在各个领域都有巨大的潜力,从动画和动作识别到自动驾驶的意图识别和预测。目前的最新技术仅集中在用于预测3D人体姿势的RGB和RGB-D方法上。然而,不使用精确的LiDAR深度信息限制了性能,并导致非常不准确的绝对姿态估计。随着LiDAR传感器在机器人和自动驾驶汽车上变得越来越便宜和普遍,我们提出了一种使用RGB和LiDAR的端到端架构,以前所未有的精度预测绝对3D人体姿势。此外,我们引入了一种弱监督方法,使用PedX [1]的2D姿势注释生成3D预测。这允许在3D人体姿态估计领域中的许多新机会。
2020-10-16 cs.CV
A real-time RGB-D perception pipeline for autonomous impact hammers in mining: self-filtering, rock segmentation and rock-breaking poses generation
Advanced Mining Technology Center (AMTC) and Department of Electrical Engineering, Universidad de Chile(智利大学先进采矿技术中心(AMTC)和电气工程系)
本文针对采矿中冲击锤操作自动化问题,提出实时RGB-D感知管道,结合图像实例分割与点云处理,能生成破岩姿态和3D表示,在嵌入式硬件上约10Hz运行,实验证明适用于实时自主冲击锤操作。
2026-07-24 cs.CV cs.RO
Pose Prior Learner: Unsupervised Categorical Prior Learning for Pose Estimation
Deep NeuroCognition Lab, Nanyang Technological University, Singapore(深神经认知实验室,南洋理工大学,新加坡)
姿态先验学习器通过自监督学习为物体类别学习通用姿态先验,提升遮挡图像中的姿态估计准确性。
2026-03-09 cs.CV
6D Pose Estimation with Correlation Fusion
Institute for Infocomm Research, Agency for Science, Technology and Research(资讯通信研究院,科技研究局)
6D物体位姿估计广泛应用于机器人任务,如抓取和操作。使用仅RGB图像的现有方法容易受到严重遮挡和光照不良的影响,因此重要的是用深度信息来补充它们。然而,使用RGB-D数据的现有方法不能充分利用RGB和深度模态之间的一致和互补信息。在本文中,我们提出了一种新的方法,有效地考虑内部和跨两个模态与注意力机制学习的歧视性和紧凑的多模态功能的相关性。然后,有效的融合策略,帧内和帧间相关模块进行了探索,以确保有效的信息流之间的RGB和深度。据我们所知,这是第一个工作,探索有效的内和间模态融合的6D姿态估计。实验结果表明,我们的方法可以达到最先进的性能在LineMOD和YCB-Video数据集。我们还表明,所提出的方法可以通过提供准确的对象姿态估计,有利于现实世界的机器人抓取任务。
2021-04-06 cs.CV cs.RO
Learning Human Pose Models from Synthesized Data for Robust RGB-D Action Recognition
The University of Western Australia(西澳大利亚大学)
我们提出了人体姿态模型,表示RGB和深度图像的人体构成独立的服装纹理,背景,照明条件,身体形状和相机的观点。学习这种通用模型需要训练图像,其中所有因素都因每个人的姿势而异。获取此类数据的成本高得令人望而却步。因此,我们开发了一个综合训练数据的框架。首先,我们从一个大的语料库的真实运动捕获的人体骨架数据学习代表性的人体姿势。接下来,我们将具有不同体型的合成3D人类适合每个姿势,并从180个相机视点渲染每个姿势,同时随机改变服装纹理,背景和照明。采用生成对抗网络来最小化合成图像分布与真实图像分布之间的差距。然后学习CNN模型,将人体姿势转移到共享的高级不变空间。然后将学习的CNN模型用作来自人类动作视频的真实RGB和深度帧的不变特征提取器,并且通过傅立叶时间金字塔对时间变化进行建模。最后,使用线性SVM进行分类。在三个基准交叉视图人体动作数据集上的实验表明,该算法在RGB和RGB-D动作识别方面明显优于现有方法。
2018-05-01 cs.CV
YCB-M: A Multi-Camera RGB-D Dataset for Object Recognition and 6DoF Pose Estimation
DFKI Niedersachsen Lab (DFKI NI)(DFKI下萨克森实验室(DFKI NI))
虽然近年来已经引入了各种各样的3D相机,但用于对象识别和姿态估计的大多数公开可用的数据集都集中在一个相机上。在这项工作中,我们提出了一个由7个不同的3D相机捕获的32个场景的数据集,总共49,294帧。这允许评估姿态估计算法对所使用的相机的细节的灵敏度,以及开发更独立于相机模型的更鲁棒的算法。反之亦然,我们的数据集使研究人员能够对来自几种不同相机和深度传感技术的数据进行定量比较,并在为特定任务选择相机之前评估其算法。我们数据集中的场景包含来自公共基准YCB对象和模型集的20个不同对象[1],[2]。我们为每个对象提供完整的地面真实6DoF姿势,每像素分割,2D和3D边界框以及每个对象的遮挡量的测量。我们还使用我们的数据集在最先进的对象识别和姿态估计系统上对相机进行了初步评估[3]。
2020-09-29 cs.CV cs.RO
Two-hand Global 3D Pose Estimation Using Monocular RGB
Brigham Young University(杨百翰大学)
我们解决了具有挑战性的任务,估计全球3D关节位置的双手通过只有单目RGB输入图像。我们提出了一种新的基于多级卷积神经网络的流水线,该流水线准确地分割和定位手,尽管双手之间的遮挡和复杂的背景噪声,并且在没有任何深度信息的情况下估计2D和3D规范关节位置。全局关节相对于摄像机原点的位置计算使用的手姿态估计和关键骨的实际长度与一种新的投影算法。为了训练CNN来完成这项新任务,我们引入了一个大规模的合成3D手部姿势数据集。我们证明了我们的系统优于以前的作品3D规范的手姿态估计基准数据集与RGB的唯一信息。此外,我们提出了第一个工作,实现准确的全球3D手跟踪双手使用RGB的唯一输入,并提供广泛的定量和定性评估。
2020-08-25 cs.CV
Fusing Monocular RGB Images with AIS Data to Create a 6D Pose Estimation Dataset for Marine Vessels
University of Hamburg(汉堡大学)
针对纯AIS位置信息的局限性,本文提出融合单目RGB图像(YOLOX-X检测)与AIS数据生成船舶6D位姿数据集的技术,通过PnP变换降低投影误差,构建公开BONK-pose数据集。
2025-08-20 cs.CV cs.RO
IndustryShapes: An RGB-D Benchmark dataset for 6D object pose estimation of industrial assembly components and tools
National Technical University of Athens(希腊国家技术大学)
IndustryShapes是首个提供RGB-D静态上boarding序列的工业装配组件和工具6D姿态估计基准数据集,包含多样化的复杂场景和多模态数据,用于评估实例级和新物体姿态估计方法。
2026-02-05 cs.CV cs.RO
MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院)
本文提出仅用RGB数据的MINT-RVAE方法,通过合成序列生成、新损失函数与训练策略缓解类别不平衡,实现帧级人机交互意图预测,AUROC达0.95并超越先前工作。
2025-09-26 cs.CV cs.RO
OptiGrasp: Optimized Grasp Pose Detection Using RGB Images for Warehouse Picking Robots
University of Washington(华盛顿大学);Amazon Robotics(亚马逊机器人公司)
OptiGrasp利用基础模型仅凭RGB图像实现仓库机器人的吸盘抓取位姿检测,摆脱对深度传感器的依赖,在仅用合成数据训练的情况下实现82.3%的真实世界抓取成功率。
2024-09-29 cs.CV cs.RO
SSD-6D: Making RGB-based 3D detection and 6D pose estimation great again
Toyota Research Institute(丰田研究院);Technical University of Munich(慕尼黑工业大学);Siemens R&D(西门子研发中心)
我们提出了一种新的方法来检测三维模型的实例,并估计他们的6D姿态从RGB数据在Single Shot。为此,我们扩展了流行的SSD范式,以覆盖整个6D姿态空间和合成模型数据上的训练。我们的方法竞争或超越了当前最先进的方法,这些方法在多个具有挑战性的数据集上利用RGB-D数据。此外,我们的方法在10 Hz左右产生这些结果,这比相关方法快很多倍。为了提高可重复性,我们将我们的训练网络和检测代码公开提供。
2017-11-27 cs.CV
Grasping the Inconspicuous
Automation and Control Institute (ACIN)(自动化与控制研究所);TU Wien(维也纳工业大学)
透明物体在日常生活中很常见,因此有许多应用需要机器人抓取。对于非透明物体,存在许多针对物体抓取的解决方案。然而,由于透明物体的独特视觉特性,标准3D传感器会产生噪声或失真的测量结果。现代方法通过改进有噪声的深度测量或使用深度的某种中间表示来解决这个问题。为此,我们研究了仅用于透明物体抓取的RGB图像的深度学习6D姿态估计。为了训练和测试基于RGB的对象姿态估计的适用性,我们构建了具有6D姿态注释的仅RGB图像的数据集。实验证明了RGB图像空间对透明物体抓取的有效性。
2022-11-15 cs.CV cs.RO
CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and Categorical 6D Pose and Size Estimation
Georgia Institute of Technology(佐治亚理工学院);Toyota Research Institute(丰田研究院)
本文研究了从单视图RGB-D观测同时进行多目标3D重建、6D姿态和尺寸估计的复杂任务。与实例级姿态估计相比,我们专注于一个更具挑战性的问题,其中CAD模型在推理时不可用。现有的方法主要遵循一个复杂的多阶段流水线,首先定位和检测图像中的每个对象实例,然后回归到它们的3D网格或6D姿态。这些方法在复杂的多对象场景中存在高计算成本和低性能,其中可能存在遮挡。因此,我们提出了一个简单的一阶段的方法来预测的3D形状和估计的6D姿态和大小联合在一个无边界框的方式。特别是,我们的方法将对象实例视为空间中心,其中每个中心表示对象的完整形状及其6D姿态和大小。通过这种逐像素表示,我们的方法可以实时(40 FPS)重建多个新对象实例,并在单次向前传递中预测它们的6D姿态和大小。通过大量的实验,我们证明了我们的方法在多对象ShapeNet和NOCS数据集上分别显著优于所有形状完成和分类6D姿态和大小估计基线,对于新的真实世界对象实例,6D姿态的mAP绝对提高了12.6%。
2022-03-03 cs.CV cs.LG cs.RO
RCGNet: RGB-based Category-Level 6D Object Pose Estimation with Geometric Guidance
School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学);Zhongyuan University of Technology(中州大学)
本文提出RCGNet,一种仅用RGB图像的类别级6D位姿估计方法,通过Transformer预测融合几何特征、几何引导算法增强表示,并用RANSAC-PnP求解位姿,在基准数据集上取得优于已有RGB方法的精度。
2025-08-19 cs.CV
Using a single RGB frame for real time 3D hand pose estimation in the wild
Institute of Computer Science, FORTH(FORTH 计算机科学研究所);Computer Science Department, UOC(克里特大学计算机科学系)
我们提出了一种使用单个商品RGB相机实时估计一个或多个人手的完整3D姿态的方法。最近在该领域的工作显示了令人印象深刻的进展,使用RGBD输入。然而,自从RGBD传感器的引入以来,对于单眼彩色输入的情况几乎没有进展。我们利用深度学习的最新进展,将其与生成手部姿势估计技术的功能相结合,以实现在不受限制的场景中实时单目3D手部姿势估计。更具体地说,给定RGB图像和相关的相机校准信息,我们采用最先进的检测器来定位手。给定图像中的一只手,我们运行OpenPose的预训练网络来估计手关节的2D位置。最后,非线性最小二乘最小化拟合的3D模型的手估计的2D关节位置,恢复的3D手姿势。广泛的实验结果提供了与现有技术的比较以及该方法在野外的定性评估。
2017-12-11 cs.CV
GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);Rock Universe;KU Leuven(鲁汶大学);INSAIT;University of Amsterdam(阿姆斯特丹大学)
提出GlORIE-SLAM,一种仅RGB的稠密SLAM系统,采用点云神经表示和DSPO层优化位姿深度,结合回环检测与全局BA,在多个数据集上达到先进精度。
2024-05-27 cs.CV cs.RO
Fast 3D Pose Refinement with RGB Images
Georgia Institute of Technology(佐治亚理工学院)
位姿估计是机器人操作、自主车辆导航等许多机器人和感知任务中的重要步骤。当前最先进的位姿估计方法依赖于结构复杂、推理时间长的深度神经网络。虽然非常强大,但它们需要移动机器人通常无法提供的计算能力。我们提出了一种基于CNN的姿态细化系统,该系统从计算成本较低的算法中获得粗略估计的3D姿态以及对象的限界框图像,并返回高度细化的姿态。在YCB-Video数据集上的实验表明,该系统可以用最少的训练数据将三维姿态精确到极高的精度。
2019-11-17 cs.CV
Sparse Color-Code Net: Real-Time RGB-Based 6D Object Pose Estimation on Edge Devices
University of Washington(华盛顿大学)
本文提出稀疏颜色编码网络 SCCN,通过利用物体几何稀疏性加速 PnP 计算,并结合像素级对称性表示解决对称物体歧义,在 Jetson AGX Xavier 边缘设备上实现高精度实时 6D 姿态估计。
2024-06-05 cs.CV cs.RO
Towards Real-World Aerial Vision Guidance with Categorical 6D Pose Tracker
Hunan University(湖南大学);National Engineering Research Centre for Robot Visual Perception and Control(国家机器人视觉感知与控制技术工程研究中心);Nanyang Technological University(南洋理工大学)
本文提出类别级6D位姿跟踪器Robust6DoF和位姿感知离散伺服策略PAD-Servo,解决空中视觉引导中视点快速变化和帧间差异问题,并在公开基准和真实空中机器人应用中验证了有效性。
2024-01-15 cs.CV cs.RO
Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image
Seoul National University(首尔国立大学);Kwangwoon University(光云大学)
虽然最近在3D人体姿态估计方面取得了显着的改进,但大多数先前的方法仅处理单人情况。在这项工作中,我们首先提出了一个完全基于学习的,相机距离感知自顶向下的方法,从一个单一的RGB图像的三维多人姿态估计。所提出的系统的管道由人体检测,绝对三维人体根定位,根相对三维单人姿势估计模块。我们的系统实现了与最先进的3D单人姿势估计模型相当的结果,而无需任何地面实况信息,并且在公开数据集上显着优于以前的3D多人姿势估计方法。该代码可在https://github.com/mks0601/3DMPPE_ROOTNET_RELEASE、https://github.com/mks0601/3DMPPE_POSENET_RELEASE上获得。
2019-08-17 cs.CV
FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images
University of Freiburg(弗莱堡大学);Adobe Research(Adobe研究院)
从单个RGB图像估计3D手部姿势是一个高度模糊的问题,依赖于无偏的训练数据集。在本文中,我们分析了在现有数据集上训练时的跨数据集泛化。我们发现,这些方法在它们训练的数据集上表现良好,但不能推广到其他数据集或野外场景。因此,我们引入了第一个大规模的,多视图的手数据集,伴随着3D手的姿势和形状注释。为了注释这个真实世界的数据集,我们提出了一个迭代的,半自动的“人在回路”的方法,其中包括手拟合优化,以推断每个样本的3D姿态和形状。我们表明,在我们的数据集上训练的方法在其他数据集上测试时始终表现良好。此外,数据集允许我们训练一个网络,从单个RGB图像预测完整的关节手形状。评估集可以作为关节手形状估计的基准。
2019-09-13 cs.CV cs.LG cs.RO
Learning to Estimate 3D Hand Pose from Single RGB Images
University of Freiburg(弗赖堡大学)
低成本的消费级深度相机和深度学习已经实现了从单个深度图像进行合理的3D手部姿势估计。在本文中,我们提出了一种方法,估计3D手姿态从常规的RGB图像。由于缺少深度信息,该任务具有更多的模糊性。为此,我们提出了一个深度网络,它可以学习网络隐式3D清晰度先验。与图像中检测到的关键点一起,该网络产生了对3D姿态的良好估计。我们介绍了一个大规模的三维手部姿势数据集的基础上合成的手模型训练所涉及的网络。在包括手语识别在内的多种测试集上的实验证明了在单色图像上进行三维手势估计的可行性。
2017-10-15 cs.CV