Suction Grasp Region Prediction using Self-supervised Learning for Object Picking in Dense Clutter
Shanghai Jiao Tong University（上海交通大学）
研究了机器人在杂乱环境下的拣选任务。由于拣仓作业中姿态的多样性、堆垛类型的多样性和背景的复杂性，在抓取之前对其进行姿态识别和估计是非常困难的。本文将Resnet与卷积神经网络（CNN）的一种特殊框架--U-net结构相结合，在不需要识别和姿态估计的情况下预测拾取区域。使机器人采摘系统能够从零开始学习采摘技能。同时，我们用在线样本对网络进行端到端的训练。在本文的最后，进行了几个实验来证明我们的方法的性能。
2019-04-24 cs.CV cs.LG cs.RO
Reconstruction-Aware Cryo-EM Particle Picking
Keio University（庆应义塾大学）；Keio AI Research Center（庆应AI研究中心）；Carnegie Mellon University（卡内基梅隆大学）
该研究将冷冻电镜颗粒挑选、污染去除、二维分类选择整合为感知重构的单一流程，采用CryoTransformer等组件，实现更优三维分辨率，指出颗粒选择应基于重构效果判断。
2026-09-01 cs.CV q-bio.BM
SynPick: A Dataset for Dynamic Bin Picking Scene Understanding
University of Bonn（波恩大学）
我们提出了SynPick，一个合成数据集的动态场景理解在装箱方案。与现有的数据集相比，我们的数据集既位于现实的工业应用领域-受着名的亚马逊机器人挑战赛（ARC）的启发-又具有动态场景，其中包含我们为ARC 2017开发的挑选启发式选择的真实挑选动作。该数据集与流行的BOP数据集格式兼容。我们详细描述了数据集的生成过程，包括使用NVIDIA PhysX物理引擎的对象排列生成和操纵模拟。为了覆盖大的动作空间，我们执行无目标和有目标的拾取动作，以及随机移动动作。为了建立对象感知的基线，在数据集上评估最先进的姿态估计方法。我们证明了有用的操作过程中，而不是单镜头估计，即使与天真的过滤方法跟踪构成。生成器的源代码和数据集是公开的。
2021-07-10 cs.CV cs.RO
Off-the-shelf bin picking workcell with visual pose estimation: A case study on the world robot summit 2018 kitting task
University of Southern Denmark（南丹麦大学）；Mærsk Mc-Kinney Møller Institute（马士基·麦金尼·穆勒研究所）
本文针对世界机器人峰会套件装配中的料箱拣选难题，结合新型视觉传感器、位姿估计算法与基于力的抓取构建工作站，并在赛事测试中取得超过所有参赛队的成绩。
2023-09-28 cs.CV cs.RO
Pose estimation and bin picking for deformable products
Georgia Tech Research Institute（佐治亚理工学院研究院）
制造应用中的机器人系统通常假定已知的物体几何形状和外观。这简化了3D感知算法的任务，并允许操纵更具确定性。然而，由于天然食品的可变性和可变形性，这些方法不容易转移到农业和食品领域。我们展示了一种应用于家禽产品的方法，该方法允许使用吸盘夹具从无序的垃圾箱中拾取整只鸡，使用深度学习方法估计其姿势，并将其放置在可以进一步处理的规范方向上。我们的机器人系统进行了实验评估，并能够推广到对象的变化，并在现实世界的环境中实现高精度的箱子拾取和姿态估计任务。
2019-11-12 cs.CV cs.RO
An Efficient Method for Accurate Pose Estimation and Error Correction of Cuboidal Objects
Embedded Systems and robotics, Tata Consultancy Services, Research and Innovation（嵌入式系统与机器人，塔塔咨询服务，研究与创新）
针对高精度自主抓取长方体物体的需求，本文提出一种线性时间的位姿误差估计与修正方法，以替代执行时间开销大且误差不确定的局部配准算法，实现高效精确的位姿估计。
2025-05-08 cs.CV cs.RO
Large-scale 6D Object Pose Estimation Dataset for Industrial Bin-Picking
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））；University of Stuttgart（斯图加特大学）
在本文中，我们介绍了一个新的公共数据集的6D物体姿态估计和实例分割的工业bin-picking。该数据集包括合成场景和真实世界场景。对于两者，提供点云、深度图像和包括6D姿态（位置和取向）、可见性分数和每个对象的分割掩模的注释。随着原始数据，提出了一种方法，用于精确注释现实世界的场景。据我们所知，这是第一个用于6D对象姿态估计和用于bin-picking的实例分割的公共数据集，其中包含用于基于学习的方法的充分注释的数据。此外，它通常是用于对象姿态估计的最大公共数据集之一。该数据集可在http://www.bin-picking.ai/en/dataset.html上公开获得。
2019-12-06 cs.AI cs.CV cs.RO
Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking
The Chinese University of Hong Kong（香港中文大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提出了一个迭代的自训练框架，用于模拟到真实的6D物体姿态估计，以促进具有成本效益的机器人抓取。在给定的场景下，我们建立了一个真实感模拟器来合成丰富的虚拟数据，并以此来训练初始位姿估计网络。然后，该网络扮演教师模型的角色，为未标记的真实数据生成姿势预测。有了这些预测，我们进一步设计了一个全面的自适应选择方案来区分可靠的结果，并利用它们作为伪标签来更新学生模型，以进行真实数据的姿态估计。为了不断提高伪标签的质量，我们通过将训练好的学生模型作为新的教师来重复上述步骤，并使用改进的教师模型重新标记真实数据。我们在公共基准测试和我们新发布的数据集上评估了我们的方法，分别实现了11.49%和22.62%的ADD（-S）改进。我们的方法也能够提高机器人拣箱成功率19.54%，展示了机器人应用的迭代模拟到真实解决方案的潜力。
2022-07-21 cs.AI cs.CV cs.LG
Combining RGB and Points to Predict Grasping Region for Robotic Bin-Picking
Shanghai Jiao Tong University（上海交通大学）
本文重点研究了杂乱场景下的机器人拣货任务。由于物体的多样性和放置的杂乱性，在抓取之前识别和估计它们的姿态是非常困难的。在这里，我们使用U-net，一种特殊的卷积神经网络（CNN），结合RGB图像和深度信息来预测拾取区域，而无需识别和姿态估计。比较了RGB、RGB-D和RGB-Points三种视觉输入方式的网络效率。我们发现RGB点输入可以获得95.74%的精度。
2019-04-24 cs.CV cs.RO
Object Pose Distribution Estimation for Determining Revolution and Reflection Uncertainty in Point Clouds
SDU Robotics（SDU机器人研究所）；The Mærsk Mc-Kinney Møller Institute（马士基麦金尼莫勒研究所）；University of Southern Denmark（南部丹麦大学）
本文提出了一种基于深度学习的点云姿态分布估计方法，无需RGB输入，用于评估旋转和反射的不确定性。
2025-12-08 cs.CV
ViTa-Zero: Zero-shot Visuotactile Object 6D Pose Estimation
Amazon（亚马逊）；Brown University（布朗大学）；Northeastern University（东北大学）
针对机器人操作中视觉触觉6D位姿估计泛化难问题，提出ViTa-Zero零样本框架，以视觉模型为主干，基于触觉和本体感受的物理约束（弹簧-质量系统建模交互）优化，实验显示相比FoundationPose性能显著提升。
2025-04-17 cs.CV cs.RO
The ACRV Picking Benchmark (APB): A Robotic Shelf Picking Benchmark to Foster Reproducible Research
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）；Amazon Robotics LLC（亚马逊机器人有限责任公司）；University of Adelaide（阿德莱德大学）
本文提出ACRV摘取基准(APB)，通过42个常见物品、广泛可用的货架和精确的物品排列指南，提供可重复的机器人摘取基准，支持完整机器人系统的比较。
2016-12-14 cs.AI cs.CV cs.RO
Multi-View Keypoints for Reliable 6D Object Pose Estimation
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Technical University of Munich（慕尼黑工业大学）
6D物体姿态估计是机器人技术中的一个基本组成部分，可以实现与环境的有效交互。这在箱子拾取应用中尤其具有挑战性，其中许多对象是低特征和反射的，并且相同类型的对象之间的自遮挡是常见的。我们提出了一种新的多视图方法，利用已知的相机转换从手眼设置结合热图和关键点估计到3D空间上的概率密度图。其结果是一个强大的方法，是可扩展的视图的数量。它依赖于由关键点概率和点云对齐误差组成的置信度得分，这允许可靠地拒绝误报。我们证明了在ROBI数据集中各种困难的低特征和反射物体上的平均姿态估计误差约为0.5mm和2度，同时也超过了最先进的正确检测率，使用ADD误差的10%物体直径阈值测量。
2023-03-29 cs.CV
Methodology to analyze the accuracy of 3D objects reconstructed with collaborative robot based monocular LSD-SLAM
Reutlingen University（罗伊特林根大学）；University of Stellenbosch（斯泰伦博斯大学）
SLAM系统主要应用于机器人导航，而SLAM用于诸如拣箱任务的运动规划的可行性研究很少。物体和环境的精确3D重建对于规划运动和计算最佳夹持器姿态以抓取物体是重要的。在这项工作中，我们提出的方法来分析使用LSD-SLAM系统与安装到协作机器人的夹具单目摄像机重建的3D环境的精度。我们讨论并提出了一个解决方案的位姿空间转换问题。最后，我们提出了几个标准来分析三维重建的精度。这些可以用作指导方针，以提高单目LSD-SLAM和其他基于SLAM的解决方案的3D重建的准确性。
2018-03-06 cs.CV cs.RO
OptiGrasp: Optimized Grasp Pose Detection Using RGB Images for Warehouse Picking Robots
University of Washington（华盛顿大学）；Amazon Robotics（亚马逊机器人公司）
OptiGrasp利用基础模型仅凭RGB图像实现仓库机器人的吸盘抓取位姿检测，摆脱对深度传感器的依赖，在仅用合成数据训练的情况下实现82.3%的真实世界抓取成功率。
2024-09-29 cs.CV cs.RO
Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications
De Montfort University（德蒙福特大学）；University of Lincoln（林肯大学）
在本文中，我们提出了蘑菇检测，定位和3D姿态估计算法，使用从低成本消费者RGB-D传感器获得的RGB-D数据。我们将RGB和深度信息用于不同的目的。首先从RGB颜色中提取蘑菇的初始轮廓位置，然后将初始轮廓位置和原始图像提供给活动轮廓进行蘑菇分割。然后，这些分割的蘑菇被用作圆形霍夫变换的输入，用于每个蘑菇检测，包括其中心和半径。一旦知道每个蘑菇在RGB图像中的中心位置，我们就使用深度信息在3D空间中定位它，即在世界坐标系中。如果在每个蘑菇的检测中心处缺少深度信息，我们从每个蘑菇的半径内最近的可用深度信息进行估计。我们还使用预先准备的直立蘑菇模型估计每个蘑菇的3D姿态。我们使用一个全球注册，然后局部细化注册的方法，这个3D姿态估计。从估计的3D姿态，我们只使用四元数表示的旋转部分作为每个蘑菇的方向。蘑菇的这些估计的（X，Y，Z）位置、直径和取向用于机器人拾取应用。我们在3D打印和真实蘑菇上进行了广泛的实验，这表明我们的方法具有有趣的性能。
2022-01-08 cs.CV cs.RO
MooMIns -- Monocular 3D Reconstruction and Object Pose Estimation from Multiple Instances
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
提出MooMIns方法，利用单张图像中同一物体的多个实例提供隐式多视图几何，通过反向高斯泼溅实现3D重建和6D姿态估计，避免深度先验导致的幻觉。
2026-06-15 cs.CV
Reinforcement Learning for Picking Cluttered General Objects with Dense Object Descriptors
National Yang Ming Chiao Tung University（阳明交通大学）；Academia Sinica（中央研究院）
针对杂乱通用物体拾取难题，本文提出密集描述符 CODs，并结合预训练网络中间输出与强化学习训练无监督拾取策略，在两倍杂乱度环境中实现 96.69% 的未见物体拾取率。
2023-04-20 cs.CV cs.RO
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
本文针对精确抓取应用中物体姿态估计和抓取过程的误差问题，提出模块化框架。通过物体姿态分布估计和第二视角模块降低姿态不确定性，用独立模块补偿抓取误差，经真实场景测试，该框架能提高效率，是解决相关不确定性的首个可互换模块框架。
2026-07-16 cs.CV cs.RO
xperception -- Making Robotic Grasping Easier
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
研究针对高混合低产量制造中机器人操作灵活性问题，提出零样本6D姿态估计技术xperception，利用CAD模型和基础模型语义特征，基于FreeZe算法实现毫米级精确估计，为相关行业机器人自动化提供了可扩展方案。
2026-07-21 cs.CV cs.RO
TransPose: A Transformer-based 6D Object Pose Estimation Network with Depth Refinement
City, University of London（伦敦城市大学）
本文提出仅用 RGB 输入的 Transformer 6D 位姿估计网络 TransPose，通过轻量深度估计、Transformer 检测头与深度细化模块提升精度，并在水果采摘场景中优于现有方法。
2023-07-09 cs.AI cs.CV
Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
提出Spot-Compose框架，结合3D重建的开放词汇实例分割与抓取姿态估计，实现点云中动态目标拾取和抽屉打开，真实实验中分别达到51%和82%成功率。
2024-04-18 cs.CV cs.RO
Recovering 6D Object Pose and Predicting Next-Best-View in the Crowd
Imperial College London（帝国理工学院）；Center for Research & Technology Hellas (CERTH)（希腊研究与技术中心（CERTH））
人群中的目标检测和6D姿态估计（具有多个对象实例、严重前景遮挡和背景干扰的场景）已经成为许多快速发展的技术领域（诸如机器人和增强现实）中的重要问题。具有手动设计特征的基于单镜头的6D姿态估计器仍然无法解决上述挑战，这促使研究转向无监督特征学习和下一个最佳视图估计。在这项工作中，我们提出了一个完整的框架，为基于单镜头的6D对象姿态估计和下一个最佳视图预测的基础上霍夫森林，最先进的对象姿态估计，共同执行分类和回归。而不是使用手动设计的功能，我们a）提出了一个无监督的功能，从深度不变的补丁使用稀疏自动编码器和b）提供了一个广泛的评估各种最先进的功能。此外，利用Hough Forests的叶节点中进行的聚类，我们学会了估计其他视图中不确定性的减少，制定选择下一个最佳视图的问题。为了进一步提高姿态估计，我们提出了一个改进的联合注册和假设验证模块作为最后的细化步骤，以拒绝错误的检测。我们提供了两个额外的具有挑战性的数据集，灵感来自现实场景，以广泛评估最先进的技术和我们的框架。一个与家庭环境有关，另一个描述了主要在工业环境中发现的垃圾箱拾取场景。我们表明，我们的框架在公共和我们的数据集上都显着优于最先进的技术。
2016-04-19 cs.CV
Reasoning and Learning a Perceptual Metric for Self-Training of Reflective Objects in Bin-Picking with a Low-cost Camera
Department of Mechanical Engineering, National University of Singapore（机械工程系，新加坡国立大学）；University of Delaware（德雷塞尔大学）
本文针对低成本相机料箱抓取中反射金属物体的深度稀疏与标注难题，提出结合MoPR位姿推理、SaL-BGMM对称滤波和WR-InfoNCE度量学习的自训练框架，在ROBI与Self-ROBI数据集上取得领先性能。
2025-08-16 cs.CV cs.RO
Monocular One-Shot Metric-Depth Alignment for RGB-Based Robot Grasping
Department of Computer Science, Rutgers University（计算机科学系，罗格斯大学）
提出MOMA框架，通过一次性自适应对齐从单张RGB图像恢复度量深度，无需额外训练，在透明物体和真实抓取任务中表现优异。
2025-06-20 cs.CV cs.RO
Point Pair Feature based Object Detection for Random Bin Picking
KU Leuven（鲁汶大学）
点对特征是自由形状3D目标检测和姿态估计的流行表示。在本文中，他们的表现，在工业随机箱采摘上下文中进行了研究。提出了一种生成具有代表性的合成数据集的新方法。这允许调查的影响，高度的混乱和存在的自相似功能，这是典型的我们的应用程序。我们提供了文献中提出的解决方案的概述，并讨论其优点和缺点。一个简单的探试法，大大降低了计算复杂性的介绍，这导致在改进的鲁棒性，速度和准确性相比，天真的方法。
2016-12-05 cs.CV
GenCOPE: Syn2Real Generalized Category-Level Object Pose Estimation for Robotic Picking
提出GenCOPE，仅用合成数据训练实现类别级物体姿态估计的域泛化，通过2D/3D语义一致性与交叉一致性学习，以轻量高效架构在真实场景中取得优越性能。
2026-10-02 cs.CV
SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation In Bin-picking Scenarios
International Graduate School at Shenzhen, Tsinghua University（清华大学深圳国际研究生院）；Tencent Robotics X（腾讯Robotics X实验室）
针对料箱抓取中对称物体和域差距导致的6D姿态估计精度问题，提出SD-Net，通过对称感知关键点预测和自训练域自适应，在公开数据集上达到96%平均精度并超越现有方法8%。
2024-03-14 cs.AI cs.CV
Object Rearrangement Using Learned Implicit Collision Functions
NVIDIA（英伟达）；UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
机器人物体重排结合了拾取和放置物体的技能。当对象模型不可用时，典型的碰撞检查模型可能无法预测具有遮挡的部分点云中的碰撞，使得无碰撞抓取或放置轨迹的生成具有挑战性。我们提出了一个学习碰撞模型，接受场景和查询对象点云，并预测场景内的6DOF对象姿势的碰撞。我们在100万个场景/对象点云对和20亿个碰撞查询的合成集上训练模型。我们利用学习的碰撞模型作为模型预测路径积分（MPPI）政策的一部分，在桌面重排任务，并表明该政策可以计划无碰撞的把握和放置对象看不见的训练在模拟和物理杂乱的场景与弗兰卡熊猫机器人。在模拟碰撞查询数据集上，学习模型的准确性优于传统管道和学习消融9.8%，并且比性能最佳的基线快75倍。视频和补充材料可在https://research.nvidia.com/publication/2021-03_Object-Rearrangement-Using上获得。
2021-03-26 cs.CV cs.RO
Multi-Task Deep Networks for Depth-Based 6D Object Pose and Joint Registration in Crowd Scenarios
Imperial College（帝国理工学院）
在箱子拾取场景中，感兴趣对象的多个实例随机堆叠在一堆中，因此，这些实例固有地受到挑战：严重的遮挡，混乱和相似的干扰物。然而，大多数现有的方法是单个孤立的对象实例，而最近的一些方法处理人群的情况下，后细化帐户多个对象的关系。在本文中，我们解决了在深度模态中通过深度神经网络中的多任务学习来恢复箱子拾取场景中的多个实例的6D姿态。我们的架构联合学习多个子任务：单个对象的2D检测、深度和3D姿态估计;以及多个对象的联合配准。对于训练数据生成，物理上合理的对象姿态配置的深度图像由物理模拟中的3D对象模型生成，这产生了要学习的各种遮挡模式。我们采用了最先进的对象检测器，并通过网络进一步估计2D偏移，以改善未对准的2D检测。深度和3D姿态估计器被设计为每次检测生成多个假设。这允许关节配准网络学习遮挡模式并去除物理上不可信的姿势假设。我们将我们的架构应用于合成（我们自己的和Sileane数据集）和真实（公共Bin-Picking数据集）数据，表明它在平均精度上显著优于最先进的方法15-31%。
2018-06-11 cs.CV
RGB-D Object Detection and Semantic Segmentation for Autonomous Manipulation in Clutter
University of Bonn（波恩大学）；University of Adelaide（阿德莱德大学）
在杂乱的环境中进行自主机器人操作是一项挑战。在复杂的场景中，必须感知到大量不同的物体，这些物体通常在有限的空间中被部分遮挡并嵌入许多干扰物中。为了应对这些挑战，我们开发了一种结合目标检测和语义分割的深度学习方法。利用RGB-D摄像机采集操作场景，并提出了一种深度融合方法。采用预训练的特征使得从小型注释机器人数据集学习成为可能。我们在两个具有挑战性的数据集上评估了我们的方法：一个是为2016年亚马逊拣选挑战赛捕获的，我们的团队NimbRo在Stowing任务中获得第二名，在拣选任务中获得第三名，另一个是在灾难响应场景中捕获的。实验表明，目标检测和语义分割是相辅相成的，可以结合起来，产生可靠的目标感知。
2018-10-01 cs.CV
Robust 6D Object Pose Estimation in Cluttered Scenes using Semantic Segmentation and Pose Regression Networks
University of Bonn（波恩大学）
目标位姿估计是机器人在复杂环境中进行自主操作的重要前提。仓库等现实世界的装箱设置带来了额外的挑战，例如，不断地添加新对象。大多数现有的物体姿态估计方法假设物体的3D模型是预先可用的。我们提出了一个管道，需要最少的人为干预和规避依赖的3D模型的可用性，通过快速数据采集方法和合成数据生成过程。这项工作建立在以前的工作上的语义分割的混乱bin-picking场景，以隔离在混乱的个别对象。在合成场景上训练附加网络以从从分割结果中提取的裁剪的以对象为中心的编码来估计对象姿态。所提出的方法进行评估的合成验证数据集和杂乱的现实世界的场景。
2018-10-08 cs.CV
JENGA: Object selection and pose estimation for robotic grasping from a stack
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
针对结构化堆叠场景的机器人抓取需求，提出基于相机-IMU的优先抓取上层无遮挡物体的目标选择与6DoF位姿估计方法，构建配套基准数据集与评估指标，验证了方法有效性与任务挑战性，并完成建筑砖块抓取部署。
2025-06-16 cs.CV cs.RO
Domain Independent Unsupervised Learning to grasp the Novel Objects
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
基于视觉的抓取的主要挑战之一是与新物体交互时可行抓取区域的选择。最近的方法利用卷积神经网络（CNN）的能力来以高计算能力和时间为代价实现准确的抓取。在本文中，我们提出了一种新的无监督学习为基础的可行的抓取区域的选择算法。无监督学习是在没有任何外部标签的情况下对数据集进行模式推断。我们在图像平面上应用k-均值聚类来识别抓取区域，然后使用轴分配方法。我们定义了一个新的概念，抓取决定指数（GDI）选择最佳的抓取姿势在图像平面。我们在杂乱或孤立的环境中对2017年亚马逊机器人挑战赛和2016年亚马逊拣选挑战赛的标准对象进行了几次实验。我们将结果与基于先验学习的方法进行比较，以验证我们的算法对于不同领域中各种新对象的鲁棒性和自适应性。
2020-01-09 cs.CV cs.RO eess.IV
MetaGraspNet: A Large-Scale Benchmark Dataset for Scene-Aware Ambidextrous Bin Picking via Physics-based Metaverse Synthesis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Waterloo（滑铁卢大学）
鉴于问题的复杂性，从各种传感器模态到高度纠缠的物体布局，再到不同的物品属性和夹持器类型，自动分拣对视觉驱动的机器人系统提出了重大挑战。现有的方法通常从一个角度解决问题。不同的物品和复杂的垃圾桶场景需要不同的拣选策略以及先进的推理。因此，要构建强大而有效的机器学习算法来解决这一复杂任务，需要大量全面和高质量的数据。在现实世界中收集这样的数据将过于昂贵和时间限制，因此从可扩展性的角度来看是棘手的。为了解决这个大而多样的数据问题，我们从最近兴起的元宇宙概念中汲取灵感，并引入了MetaGraspNet，这是一个通过基于物理的元宇宙合成构建的大规模照片般逼真的bin拾取数据集。所提出的数据集包含82种不同物品类型的217k RGBD图像，具有平行钳口和真空夹持器的目标检测、非模态感知、关键点检测、操作顺序和双向抓握标签的完整注释。我们还提供了一个真实的数据集，包括超过2.3k的完全注释的高质量RGBD图像，分为5个难度级别和一个看不见的对象集，以评估不同的对象和布局属性。最后，我们进行了大量的实验，表明我们提出的真空密封模型和合成数据集达到了最先进的性能，并推广到现实世界的用例。
2022-08-08 cs.CV cs.RO
Planning Robot Placement for Object Grasping
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用科学大学）；University of Bremen（不来梅大学）
本文提出先筛选无碰撞且可抓取的机器人放置位置再评估最优候选的方法，利用可达性、RGB-D图像和占用栅格地图，在服务机器人流程中通过实验验证优于固定导航基线。
2024-05-26 cs.CV cs.RO
XYZ-IBD: Benchmarking Robust 6D Object Pose Estimation under Real-World Industrial Complexity
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；XYZ Robotics；ROBOX；Google（谷歌）
XYZ-IBD是一个专门针对工业分拣的高精度基准，包含75个多视角真实场景，通过高密度随机堆叠和多实例模糊性反映真实机器人操作挑战，验证了工业视觉中6D姿态估计的性能退化问题。
2026-06-29 cs.CV
An Integrated Approach to Robotic Object Grasping and Manipulation
Computer and Information Systems Engineering Department, NED University of Engineering and Technology, Pakistan（计算机与信息系统工程系，纳迪大学工程与技术学院，巴基斯坦）
针对仓储货架拣物的位置不确定性难题，研究开发了一套集成式机器人系统，无需预先掌握物品摆放信息即可自主调整策略，高效定位并取回目标物品，完成模拟订单拣选任务。
2025-07-29 cs.CV cs.RO
Good Grasps Only: A data engine for self-supervised fine-tuning of pose estimation using grasp poses for verification
University of Southern Denmark（南丹麦大学）；SDU Robotics（SDU机器人研究所）；Mærsk Mc-Kinney Møller Institute（马士基麦克-金ney穆勒学院）
针对料箱拣选场景下位姿估计方案快速部署需求，提出一种借助零样本位姿估计、用抓取位姿验证的自监督微调数据引擎，可运行中自动获取数据微调，在四物体测试中性能优于基于CAD训练的SOTA方法。
2024-12-12 cs.CV cs.RO
A 3D Object Detection and Pose Estimation Pipeline Using RGB-D Images
Guangdong University of Technology（广东工业大学）
三维目标检测和位姿估计在机器人领域有着广泛的应用前景，因此近几十年来得到了广泛的研究。然而，仍然存在挑战，当我们的目标是检测多个对象，同时保持低误报率在杂乱的环境中。提出了一种基于RGB-D图像的鲁棒的3D目标检测和姿态估计流水线，该流水线可以同时检测多个目标，同时减少误报。检测从模板匹配开始，并产生一组模板匹配。聚类算法，然后组相似的空间位置的模板，并产生多个对象的假设。一个评分函数评估的假设使用其相关的模板和非最大值抑制被用来删除重复的结果的基础上的分数。最后，点云处理算法的组合被用来计算对象的三维姿态。通过计算模型点和场景点之间的重叠来验证现有的对象假设。实验表明，我们的方法提供了竞争力的结果相比，国家的最先进的，可以应用于机器人随机装箱。
2017-03-11 cs.CV cs.RO
STOW: Discrete-Frame Segmentation and Tracking of Unseen Objects for Warehouse Picking Robots
University of Washington（华盛顿大学）；NVIDIA（英伟达）
针对仓储等场景离散帧下未知物体分割跟踪难题，提出带高效帧间通信transformer的联合分割跟踪新范式，构建对应合成与真实数据集，实验性能显著优于现有方法。
2023-11-04 cs.AI cs.CV cs.RO
Real-Time 6D Object Pose Estimation on CPU
OMRON Corporation（欧姆龙公司）；SenseTime Japan Ltd.（商汤日本有限公司）；Chukyo Univ.（中京大学）
我们提出了一种快速，准确的6D物体姿态估计从RGB-D图像。我们提出的方法是基于模板匹配，由三个主要的技术组成部分，PCOF-MOD（多模态PCOF），平衡姿态树（BPT）和最佳的内存重排的粗到精的搜索。我们的模型模板上的密集采样的观点和PCOF-MOD，显式地处理一定范围的3D对象的姿态，提高了对背景杂波的鲁棒性。BPT是一种有效的基于树的数据结构，用于大量模板和重新排列的特征图上的模板匹配，其中附近的特征线性对齐，加速了姿态估计。在桌面和bin-picking数据集上的实验评估表明，与包括最近的基于CNN的方法在内的最新技术相比，我们的方法具有更高的准确性和更快的速度。此外，我们的模型模板可以在几分钟内从3D CAD中训练出来，并且姿势估计在CPU上接近实时的【形】（23 fps）运行。这些功能适合任何实际应用。
2019-08-26 cs.CV cs.RO
Instance Segmentation for Autonomous Log Grasping in Forestry Operations
Université Laval（拉瓦尔大学）
木材原木采摘是一项具有挑战性的任务自动化。事实上，原木通常是杂乱的配置，随机定向和重叠。目前的原木拣选自动化工作通常假设原木的姿态是已知的，很少考虑实际的感知问题。在本文中，我们直接解决后者，使用数据驱动的方法。首先，我们介绍一个新的数据集，名为TimberSeg 1.0，它是密集注释的，即，包括边界框和日志的像素级掩码注释。该数据集包括220幅图像，其中包含2500个单独分割的日志。使用我们的数据集，然后我们比较三个神经网络架构的任务，个别日志检测和分割;两个基于区域的方法和一个基于注意力的方法。不出所料，我们的结果表明，轴对齐的建议，没有考虑到日志的方向性，表现不佳与19.03 mAP。一个旋转感知的建议方法显着提高结果到31.83 mAP。更有趣的是，基于transformer的方法，在旋转上没有任何归纳偏差，优于其他两种方法，在我们的数据集上实现了57.53的mAP。我们的用例展示了基于区域的方法对于杂乱、细长对象的局限性。它还强调了基于注意力的方法在这一特定任务上的潜力，因为它们直接在像素级上工作。这些令人鼓舞的结果表明，这样的感知系统可以用来帮助操作员在短期内，或完全自动化日志采摘操作在未来。
2022-10-18 cs.CV cs.RO
Targeted Hard Sample Synthesis Based on Estimated Pose and Occlusion Error for Improved Object Pose Estimation
University of Toronto（多伦多大学）；Institute for Aerospace Studies（航空航天研究所）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Technical University of Munich（慕尼黑工业大学）
针对6D目标位姿估计在料箱抓取场景中因无纹理、复杂位姿和同类遮挡导致的精度问题，提出一种模型无关的难样本合成方法，通过定位高误差区域生成针对性训练样本，使多个ROBI-dataset目标的检测率最高提升20%。
2024-12-13 cs.CV
VFM-VLM: Vision Foundation Model and Vision Language Model based Visual Comparison for 3D Pose Estimation
Dept. of Electronic Engineering Yeungnam University Advanced Visual Intelligence Lab（电子工程系 韩国又南大学 高级视觉智能实验室）
本文比较了基于CLIP和DINOv2的视觉模型在3D姿态估计中的性能，展示了两者在语义理解和几何精度上的互补优势，为机器人抓取应用提供了模型选择依据。
2025-12-09 cs.AI cs.CV
A Dataset for Improved RGBD-based Object Detection and Pose Estimation for Warehouse Pick-and-Place
Rutgers University（罗格斯大学）；Federal University of Espirito Santo（圣埃斯皮里图联邦大学）
机器人技术的一个重要的物流应用涉及机械手，机械手可以拾取和放置放在仓库货架上的物体。该任务的一个关键方面对应于使用视觉数据检测货架中已知对象的姿态。解决这个问题可以通过使用RGB-D传感器来帮助，该传感器还提供视觉数据之外的深度信息。然而，这仍然是一个具有挑战性的问题，因为需要解决多个问题，例如货架内的低照明，杂乱，无纹理和反射物体以及深度传感器的限制。本文提供了一个新的丰富的数据集，以推进最先进的基于RGBD的3D对象姿态估计，这是集中在解决仓库拾取和放置任务时出现的挑战。公开的数据集包括数千张图像和相应的地面实况数据，这些图像和数据是在不同姿势和杂乱条件下的第一次亚马逊采摘挑战赛期间使用的对象。每张图像都附有地面真实信息，以帮助评估目标检测算法。为了显示数据集的实用性，本文评估了最近基于RGBD的姿态估计算法。基于该算法在数据集上的测量性能，应用各种修改和改进来提高检测的准确性。这些步骤可以很容易地应用到各种不同的方法，用于对象姿态检测和提高性能的仓库拾取和放置的领域。
2016-02-20 cs.CV cs.RO
Open Challenges for Monocular Single-shot 6D Object Pose Estimation
该研究聚焦机器人领域常用的单目单次6D物体姿态估计问题，梳理跨领域最新成果确立技术现状，识别出遮挡处理、新物体姿态估计等核心挑战与有前景的研究方向，为相关研究提供指引。
2023-07-20 cs.CV
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics（亚马逊机器人公司）；Rutgers University（罗格斯大学）
本文介绍了Amazon Robotic Manipulation Benchmark（ARMBench），这是一个大规模的、以对象为中心的基准数据集，用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象，非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景，在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集，收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据，对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获，即，预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战，即1）在混乱中的对象分割，2）对象识别，和3）缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
ReorientDiff: Diffusion Model based Reorientation for Object Manipulation
Institute for Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）
本文提出 ReorientDiff，一种基于扩散模型的物体重新定向规划方法，利用视觉输入和语言提示生成中间位姿，并通过隐式迭代细化实现 95.2% 的仿真成功率，为提升操作泛化性提供了有效途径。
2023-09-15 cs.CV cs.RO
Appearance Consensus Driven Self-Supervised Human Mesh Recovery
Indian Institute of Science, Bangalore（印度科学理工学院）；Google Research（谷歌研究院）
我们提出了一个自我监督的人体网格恢复框架，在没有任何配对监督的情况下，从单目图像中推断人体姿势和形状。最近的进展已经转移到直接回归参数化人体模型的参数的兴趣，通过监督他们的大规模数据集与2D地标注释。这限制了这种方法在来自未标记的野生环境的图像上操作的普遍性。认识到这一点，我们提出了一个新的外观共识驱动的自我监督的目标。为了有效地解开前景（FG）的人，我们依赖于图像对描绘同一个人（一致的FG）在不同的姿势和背景（BG），这是从未标记的野生视频。建议FG外观一致性目标使用一种新的，可微分的颜色恢复模块，以获得顶点颜色，而不需要任何外观网络，通过有效实现颜色拾取和反射对称。我们实现了国家的最先进的结果，基于标准模型的3D姿态估计基准在可比的监督水平。此外，由此产生的彩色网格预测打开了我们的框架用于各种外观相关的任务以外的姿势和形状估计，从而建立我们优越的泛化能力。
2020-08-04 cs.CV
Augmented Skeleton Space Transfer for Depth-based Hand Pose Estimation
Imperial College London（伦敦帝国学院）；University of Bath（巴斯大学）
成功训练基于深度的3D手部姿态估计器（HPE）的关键是提供涵盖不同相机视角、形状和姿态变化的全面数据集。然而，收集这样的注释数据集是具有挑战性的。我们建议通过生成新的数据库条目来完善现有数据库。关键思想是在骨架空间中合成数据（而不是在深度图空间中合成），这使得能够以简单直观的方式操纵数据录入。由于以这种方式生成的骨架条目没有相应的深度图条目，因此我们通过训练一个单独的手部姿势生成器（HPG）来利用它们，该生成器从骨架条目合成深度图。通过在单个统一优化框架中训练HPG和HPE，强制1）HPE与成对的深度和骨架条目一致;（2）HPG-HPE组合满足循环一致性（HPG-HPE的输入和输出都是骨架），通过新生成的未配对骨架，我们的算法构造了一个HPE，它对超出现有数据库覆盖范围的变化具有鲁棒性。我们的训练算法采用生成对抗网络（GAN）的训练过程。作为一个副产品，我们获得了一个手姿势识别器（HPD），能够挑选出逼真的手姿势。我们的算法利用这种能力来完善测试中的初始骨架估计，进一步提高准确性。我们在四个具有挑战性的基准数据集（ICVL，MSRA，NYU和Big Hand 2.2M数据集）上测试了我们的算法，并证明我们的方法在定量和定性上优于或与最先进的方法相当。
2018-05-11 cs.CV
BioDet: Boosting Industrial Object Detection with Image Preprocessing Strategies
Technical University of Munich（慕尼黑技术大学）；XYZ Robotics（XYZ机器人）
针对工业环境中目标检测在杂乱、光照不足等条件下性能退化的问题，提出基于低光增强和基础模型开词汇检测引导背景去除的即插即用预处理流程，显著提升检测精度且开销极小。
2025-10-23 cs.CV
On Self-Contact and Human Pose
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
虽然许多人的图像包含某种形式的自我接触，但当前的3D人体姿势和形状（HPS）回归方法通常无法估计这种接触。为了解决这个问题，我们开发了新的数据集和方法，显着提高人体姿态估计与自我接触。首先，我们创建了一个3D接触姿势（3DCP）数据集，其中包含适合3D扫描的SMPL-X身体以及来自AMASS的姿势，我们对其进行了优化以确保良好的接触。其次，我们利用它来创建通过Amazon Mechanical Turk收集的图像的Mimic-The-Pose（MTP）数据集，其中包含通过自我接触模仿3DCP姿势的人。第三，我们开发了一种新的HPS优化方法，SMPLify-XMC，包括接触约束，并在拟合过程中使用已知的3DCP身体姿势来创建MTP图像的近地面真实姿势。第四，为了获得更多的图像多样性，我们使用离散自接触（DSC）信息标记野外图像数据集，并使用另一种新的优化方法SMPLify-DC，该方法在姿势优化期间利用离散接触。最后，我们在SPIN训练过程中使用我们的数据集来学习一个新的3D人体姿势回归器，称为TUCH（Towards Understanding Contact in Humans）。我们表明，新的自接触训练数据显着提高了3D人体姿态估计扣留测试数据和现有的数据集，如3DPW。我们的方法不仅提高了自接触姿态的结果，而且还提高了非接触姿态的精度。代码和数据可在https://tuch.…
2021-04-08 cs.CV
FAST GDRNPP: Improving the Speed of State-of-the-Art 6D Object Pose Estimation
Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）；Technical University Darmstadt（达姆施塔特工业大学）；University of Siegen（锡根大学）
本研究通过采用更小骨干网络、参数剪枝和知识蒸馏技术，在保持准确性的前提下显著提升GDRNPP模型的6D物体姿态估计推理速度。
2024-09-18 cs.AI cs.CV
