Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies（达闼科技）
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务：物体定位、物体姿态估计和抓取估计。具体地说，目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿，包括基于对应关系的方法、基于模板的方法和基于投票的方法，其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法，其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位，而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计，而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外，还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors
Duke University（杜克大学）；Brown University（布朗大学）
我们介绍了一种新的方法，类别级的姿态估计，产生的分布预测的姿态，通过整合3D形状估计从生成对象模型与分割信息。给定对象的输入深度图像，我们的可变时间方法使用混合密度网络架构来产生3DOF姿态上的多模态分布;然后将该分布与先验概率相结合，以鼓励观察到的输入和预测的对象姿态之间的轮廓一致性。我们的方法在类别级3DOF姿态估计方面显着优于当前最先进的技术--输出点估计，并且没有显式地包含形状和分割信息--在Pix 3D和ShapeNet数据集上进行测量。
2019-05-28 cs.CV cs.RO
RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）
6-从单目图像中估计DoF对象姿态是具有挑战性的，并且通常需要后细化过程来进行高精度估计。在本文中，我们提出了一个框架的基础上的递归神经网络（RNN）的对象姿态细化，这是错误的初始姿态和遮挡鲁棒性。在循环迭代期间，对象姿态细化被公式化为基于估计的对应场（在渲染图像和观察图像之间）的非线性最小二乘问题。然后通过可微Levenberg-Marquardt（LM）算法解决问题，从而实现端到端训练。在每次迭代中交替进行对应场估计和位姿细化，以恢复目标位姿。此外，为了提高对遮挡的鲁棒性，我们引入了一种基于3D模型和观察到的2D图像的学习描述符的一致性检查机制，该机制在姿态优化期间降低了不可靠的对应关系。在LINEMOD、Occlusion-LINEMOD和YCB-Video数据集上进行的大量实验验证了我们方法的有效性，并展示了最先进的性能。
2022-04-10 cs.CV cs.RO
Object Pose Estimation using Mid-level Visual Representations
George Mason University（乔治梅森大学）
这项工作提出了一种新的姿态估计模型的对象类别，可以有效地转移到以前看不见的环境。用于姿态估计的深度卷积网络模型（CNN）通常在专门针对目标检测、姿态估计或3D重建而策划的数据集上进行训练和评估，这需要大量的训练数据。在这项工作中，我们提出了一个模型的姿态估计，可以用少量的数据进行训练，并建立在通用的中级表示\cite{taskonomy2018}（如表面法线估计和重新着色）的顶部。这些表示是在大型数据集上训练的，而不需要姿势和对象注释。稍后，使用一个小型的CNN神经网络来改进预测，该网络利用对象掩码和轮廓检索。该方法在Pix 3D数据集\cite{pix3d}上取得了优异的性能，当只有25%的训练数据可用时，该方法比现有模型提高了近35%.我们表明，该方法是有利的，当涉及到泛化和转移到新的环境。为此，我们在具有挑战性的主动视觉数据集\cite{Ammirato2017ADF}上为常见的家具类别引入了一个新的姿势估计基准，并评估了在Pix 3D数据集上训练的模型。
2022-03-02 cs.CV cs.RO
Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset
UC San Diego（加州大学圣地亚哥分校）
目标的6维位姿估计是计算机视觉和机器人研究中的基本问题之一。虽然最近已经在将姿态估计推广到同一类别内的新对象实例（即类别级6D姿态估计）方面做出了很多努力，但是在给定有限数量的注释数据的约束环境中，它仍然受到限制。在本文中，我们收集了Wild6D，一个新的未标记的RGBD对象视频数据集，具有不同的实例和背景。我们利用这些数据来推广类别级的6D对象姿态估计在野外与半监督学习。我们提出了一个名为Rendering for Pose estimation网络RePoNet的新模型，该模型使用自由地面实况与合成数据以及真实世界数据上的轮廓匹配目标函数进行联合训练。在不对真实数据使用任何3D注释的情况下，我们的方法在以前的数据集和我们的Wild6D测试集（带有手动注释进行评估）上的性能大大优于最先进的方法。Wild6D数据的项目页面：https://oasisyang.github.io/semi-pose。
2022-06-30 cs.CV cs.RO
Privacy-Preserving Pose Estimation for Human-Robot Interaction
Cornell University（康奈尔大学）
位姿估计是非语言人机交互的一项重要技术。也就是说，在一个人的空间中存在摄像头会引起隐私问题，并可能导致对机器人的不信任。在本文中，我们提出了一种隐私保护的相机为基础的姿态估计方法。所提出的系统包括一个用户控制的半透明过滤器，覆盖相机和图像增强模块，旨在促进姿势估计从过滤（阴影）图像，而从来没有捕捉清晰的图像的用户。我们评估系统的性能，一个新的过滤图像数据集，考虑到距离相机，背景杂波，和电影厚度的影响。基于我们的研究结果，我们得出结论，我们的系统可以保护人类的隐私，同时有效地检测人类的姿势信息。
2020-11-14 cs.CV cs.RO
Category-Level and Open-Set Object Pose Estimation for Robotics
Automation and Control Institute, Faculty of Electrical Engineering, TU Wien（自动化与控制研究所，电气工程学院，维也纳技术大学）
本文比较了类别级6D物体位姿估计的数据集、精度指标和算法，并分析了如何弥合类别级与开集位姿估计以实现泛化，提供可操作建议。
2025-04-28 cs.CV cs.RO
TransGrasp: Grasp Pose Estimation of a Category of Objects by Transferring Grasps from Only One Labeled Instance
Dalian University of Technology（大连理工大学）
抓取位姿估计是机器人与现实世界交互的一个重要问题。然而，大多数现有的方法需要事先获得精确的3D对象模型或大量的抓取注释用于训练。为了避免这些问题，我们提出了TransGrasp，一个类别级的把握姿态估计方法，预测把握一类对象的构成标记只有一个对象实例。具体来说，我们执行跨类别的对象的形状对应的基础上，他们的抓取姿势转移，并提出了一个抓取姿势细化模块，以进一步微调抓取器的抓取姿势，以确保成功的把握。实验证明了该方法的有效性，实现高质量的把握与转让掌握构成。我们的代码可在https://github.com/yanjh97/TransGrasp上获得。
2022-07-25 cs.CV cs.RO
Continuous close-range 3D object pose estimation
Aalborg University Copenhagen（奥尔堡大学哥本哈根校区）；Lund University（隆德大学）
在未来生产线的背景下，移除固定装置将是提高自动化系统在装配和物流操作中的灵活性的基本步骤。基于视觉的3D位姿估计是机器人任务执行期间准确处理可能未放置在固定位置的对象的必要条件。工业任务为物体的鲁棒姿态估计带来了多重挑战，例如困难的物体属性，紧凑的周期时间和相机视图的限制。特别是，当与对象交互时，我们必须处理对象的近距离局部视图，这对典型的基于视图的姿态估计方法提出了新的挑战。在本文中，我们提出了一种基于梯度上升粒子滤波器的三维姿态估计方法，该方法集成了新的观测，以提高姿态估计。因此，我们可以在任务执行期间在线应用该方法，以节省宝贵的周期时间。与其他基于视图的姿态估计方法相比，我们在全6维空间中对潜在视图进行建模，这使我们能够处理近距离部分对象视图。我们展示了一个真正的装配任务，在该算法通常收敛到正确的姿态在10-15次迭代的平均精度小于8毫米的方法。
2020-10-02 cs.CV cs.RO
Learning Implicit Probability Distribution Functions for Symmetric Orientation Estimation from RGB Images Without Pose Labels
University of Bonn（波恩大学）
物体位姿估计是机器人自主操作的必要前提，但对称性的存在增加了位姿估计任务的复杂性。用于对象姿态估计的现有方法输出单个6D姿态。因此，他们缺乏推理对称性的能力。最近，通过神经网络将对象方向建模为SO（3）流形上的非参数概率分布，取得了令人印象深刻的结果。然而，获取大规模数据集来训练姿态估计模型仍然是一个瓶颈。为了解决这个问题，我们引入了一个自动姿势标记计划。给定没有对象姿态注释和3D对象模型的RGB-D图像，我们设计了一个由点云配准和渲染和比较验证组成的两阶段流水线，为每个图像生成多个对称的伪地面真实姿态标签。使用生成的姿势标签，我们训练ImplicitPDF模型来估计给定RGB图像的方向假设的可能性。SO（3）流形的一个有效的分层采样使得能够在多个分辨率下容易地生成完整的对称集。在推断期间，使用梯度上升来估计目标对象的最可能的取向。我们评估建议的自动姿势标记方案和ImplicitPDF模型上的真实感数据集和T-Less数据集，证明了所提出的方法的优点。
2022-11-21 cs.CV cs.RO
JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and Tracking
Stanford University（斯坦福大学）；Monash University（莫纳什大学）
在人类环境中运行的自主机器人系统必须了解其周围环境，以做出准确和安全的决策。在具有近距离人机交互和机器人导航的拥挤人类场景中，深入理解需要通过人体姿势估计和跟踪来推理人体运动和身体动态。然而，现有的数据集要么不提供姿势注释，要么包括与机器人应用无关的场景类型。许多数据集还缺乏在拥挤的人类场景中发现的姿势和遮挡的多样性。为了解决这一限制，我们引入了JRDB-Pose，这是一个大规模的数据集和基准，用于使用从社交导航机器人捕获的视频进行多人姿势估计和跟踪。该数据集包含具有拥挤的室内和室外位置以及各种尺度和遮挡类型的挑战场景。JRDB-Pose为每个关键点的遮挡标签和整个场景中一致的轨迹ID提供了人类姿势注释。一个公共的评估服务器可用于对一个保留的测试集进行公平的评估。JRDB-Pose可在https://jrdb.erc.monash.edu/上获得。
2023-03-12 cs.CV cs.RO
PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
NVIDIA Research（英伟达研究院）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
估计已知物体的6D姿态对于机器人与现实世界交互非常重要。由于对象的多样性以及对象之间的杂乱和遮挡所引起的场景的复杂性，该问题是具有挑战性的。在这项工作中，我们介绍了PoseCNN，一个新的卷积神经网络的6D对象姿态估计。PoseCNN通过在图像中定位对象的中心并预测其与相机的距离来估计对象的3D平移。通过回归到四元数表示来估计对象的3D旋转。我们还引入了一个新的损失函数，使PoseCNN能够处理对称对象。此外，我们贡献了一个大规模的视频数据集的6D对象姿态估计命名为YCB-Video数据集。我们的数据集提供了来自YCB数据集的21个对象的准确6D姿态，这些对象在92个视频中观察到，具有133，827帧。我们对YCB-Video数据集和OccludedLINEMOD数据集进行了广泛的实验，以证明PoseCNN对遮挡具有高度鲁棒性，可以处理对称对象，并仅使用彩色图像作为输入提供准确的姿态估计。当使用深度数据来进一步细化姿势时，我们的方法在具有挑战性的OccludedLINEMOD数据集上实现了最先进的结果。我们的代码和数据集可以在https://rse-lab.cs.washington.edu/projects/posecnn/上找到。
2018-05-26 cs.CV cs.RO
Pose Estimation Based on 3D Models
本文提出了一种基于渲染图像训练集的姿态估计系统，该系统利用物体类别和紧限界框知识，预测真实图像中物体的姿态。提出了一种基于块的多类分类算法，并采用迭代的方法提高了分类精度。我们在姿态估计任务上实现了最先进的性能。
2015-06-20 cs.CV cs.LG cs.RO
OSSID: Online Self-Supervised Instance Detection by (and for) Pose Estimation
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
实时物体位姿估计是许多机器人操作算法所必需的。然而，用于对象姿态估计的最先进方法是针对特定对象集进行训练的;因此，这些方法需要重新训练以估计每个新对象的姿态，通常需要数十天的GPU训练以获得最佳性能。在本文中，我们提出了OSSID框架，利用一个缓慢的zero-shot姿态估计器来自我监督快速检测算法的训练。然后，这种快速检测器可以用于过滤姿态估计器的输入，从而大大提高其推理速度。我们表明，这种自监督训练超过了现有的zero-shot检测方法在两个广泛使用的对象姿态估计和检测数据集上的性能，而不需要任何人类注释。此外，我们表明，由于能够过滤掉图像的大部分，因此用于姿态估计的方法具有明显更快的推理速度。因此，我们用于检测器的自监督在线学习的方法（使用来自缓慢姿态估计器的伪标签进行训练）导致实时速度的准确姿态估计，而不需要人类注释。补充材料和代码可在https://georgegu1997.github.io/OSSID/上找到
2022-04-27 cs.AI cs.CV cs.RO
Robot Structure Prior Guided Temporal Attention for Camera-to-Robot Pose Estimation from Image Sequence
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本研究聚焦单视角图像序列的在线相机到机器人位姿估计问题，提出结合机器人结构先验引导的时序注意力方法，服务于机器人与环境交互的核心需求。
2023-07-22 cs.RO
An Empirical Evaluation of Various Information Gain Criteria for Active Tactile Action Selection for Pose Estimation
BMW Group（宝马集团）；University of Glasgow（格拉斯哥大学）；Radboud University（拉德堡德大学）
在文献中，已经将使用多模态感知（诸如视觉和触觉感知）的准确的物体位姿估计用于自主机器人操作器。由于视觉和触觉数据的密度变化，我们以前提出了一种新的概率贝叶斯滤波器为基础的方法，称为姿态不变四元数滤波器（TIQF）的姿态估计。由于触觉数据汇集是耗时的，因此主动触觉数据汇集通过推理多个潜在动作以获得最大预期信息增益而被优选。在本文中，我们经验性地评估各种信息增益标准的背景下，物体姿态估计的动作选择。我们证明了我们提出的TIQF姿态估计方法与各种信息增益标准的适应性和有效性。我们发现在所有选定的标准与稀疏测量的姿态精度方面的性能相似。
2022-05-10 cs.RO
Ki-Pode: Keypoint-based Implicit Pose Distribution Estimation of Rigid Objects
刚体的6维位姿估计是计算机视觉中的一个基本问题。传统上，姿态估计涉及单个最佳估计的确定。然而，一个单一的估计是无法表达的视觉模糊，这在许多情况下是不可避免的，由于对象的对称性或遮挡的识别功能。不能考虑姿态中的模糊性可能导致后续方法的失败，这在失败成本高时是不可接受的。完整的姿态分布的估计，相反，单一的估计，非常适合表达的姿态不确定性。受此启发，我们提出了一种新的姿态分布估计方法。一个隐式公式的概率分布的对象姿态是来自一个中间表示的对象作为一组关键点。这确保姿态分布估计具有高水平的可解释性。此外，我们的方法是基于保守的近似，这导致可靠的估计。该方法已被评估的YCB-V和T-LESS数据集上的旋转分布估计的任务，并在所有对象上可靠地执行。
2022-09-20 cs.AI cs.CV cs.LG
A Hierarchical Approach to Active Pose Estimation
Technische Universität Darmstadt（达姆施塔特工业大学）
创建能够在大环境中发现和操纵物体的移动机器人是一个活跃的研究课题。这些机器人不仅需要能够搜索特定的物体，而且还需要经常依赖于环境观测来估计它们的姿态，这在存在遮挡的情况下甚至更加困难。因此，为了解决这个问题，我们提出了一个简单的分层方法来估计所需对象的姿态。使用RGB图像操作的主动视觉搜索模块首先获得对象2D姿态的粗略估计，然后是使用点云数据的计算成本更高的主动姿态估计模块。我们的经验表明，处理图像特征，以获得更丰富的观察速度的搜索和姿态估计计算，相比，一个二进制的决定，表明对象是否在当前图像。
2022-03-08 cs.RO
AMR-Pose: An Active LED Marker-Based Relative Pose Estimation Framework With Probabilistic Switching PnP for Cooperative AUVs
Peking University（北京大学）
本文提出AMR-Pose框架，采用含红、蓝LED的标记模块，结合PSwPnP算法实现协作AUV的鲁棒相对位姿估计，经水池及闭环实验验证其准确性与实时性。
2026-08-14 cs.RO
StereoPose: Category-Level 6D Transparent Object Pose Estimation from Stereo Images via Back-View NOCS
The Chinese University of Hong Kong（香港中文大学）；University of California, Berkeley（加州大学伯克利分校）；Dyson Robot Learning Lab（戴森机器人学习实验室）；Hong Kong Centre for Logistics Robotics（香港物流机器人中心）
大多数现有的类别级姿态估计方法依赖于对象点云。然而，当考虑透明对象时，深度相机通常无法捕获有意义的数据，从而导致具有严重伪影的点云。没有高质量的点云，现有的方法不适用于具有挑战性的透明对象。为了解决这个问题，我们提出了StereoPose，这是一种用于类别级对象姿态估计的新型立体图像框架，非常适合透明对象。对于纯立体图像的鲁棒估计，我们开发了一个管道，该管道将类别级姿态估计分解为对象大小估计、初始姿态估计和姿态细化。StereoPose然后基于归一化对象坐标空间~（NOCS）中的表示来估计对象姿态。为了解决图像内容锯齿的问题，我们进一步定义了一个后视图的透明对象的NOCS地图。后视图NOCS旨在减少由内容混叠引起的网络学习模糊性，并利用透明对象背面的信息线索进行更准确的姿态估计。为了进一步提高立体框架的性能，StereoPose配备了用于立体特征融合的视差注意模块和用于提高网络预测的立体视图一致性的极线损失。在公共TOD数据集上的大量实验证明了所提出的StereoPose框架在类别级6D透明对象姿态估计方面的优越性。
2022-11-03 cs.AI cs.CV cs.LG
Object Pose Estimation by Camera Arm Control Based on the Next Viewpoint Estimation
Meijo University（名古屋大学）
针对零售展示机器人对简单形状产品的姿态估计，提出联合估计下一视点与姿态的神经网络，使姿态估计成功率提升至77.3%，并实现84.2%的产品展示率。
2025-04-24 cs.AI cs.RO
Multi-Robot Relative Pose Estimation in SE(2) with Observability Analysis: A Comparison of Extended Kalman Filtering and Robust Pose Graph Optimization
Inha University（仁荷大学）
本研究针对多机器人相对位姿估计的可观测性，比较EKF与鲁棒PGO在仿真和硬件实验中的精度，提出不同感知通信结构下的估计方案。
2024-02-04 cs.CV cs.RO cs.SY
