Combining RGB and Points to Predict Grasping Region for Robotic Bin-Picking
Shanghai Jiao Tong University（上海交通大学）
本文重点研究了杂乱场景下的机器人拣货任务。由于物体的多样性和放置的杂乱性，在抓取之前识别和估计它们的姿态是非常困难的。在这里，我们使用U-net，一种特殊的卷积神经网络（CNN），结合RGB图像和深度信息来预测拾取区域，而无需识别和姿态估计。比较了RGB、RGB-D和RGB-Points三种视觉输入方式的网络效率。我们发现RGB点输入可以获得95.74%的精度。
2019-04-24 cs.CV cs.RO
Pose estimation and bin picking for deformable products
Georgia Tech Research Institute（佐治亚理工学院研究院）
制造应用中的机器人系统通常假定已知的物体几何形状和外观。这简化了3D感知算法的任务，并允许操纵更具确定性。然而，由于天然食品的可变性和可变形性，这些方法不容易转移到农业和食品领域。我们展示了一种应用于家禽产品的方法，该方法允许使用吸盘夹具从无序的垃圾箱中拾取整只鸡，使用深度学习方法估计其姿势，并将其放置在可以进一步处理的规范方向上。我们的机器人系统进行了实验评估，并能够推广到对象的变化，并在现实世界的环境中实现高精度的箱子拾取和姿态估计任务。
2019-11-12 cs.CV cs.RO
Learning Based Industrial Bin-picking Trained with Approximate Physics Simulator
Graduate School of Engineering Science, Osaka University（大阪大学工程科学研究生院）；Intelligent Systems Research Institute, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所智能系统研究所）
在本研究中，我们解决的问题，从随机堆叠堆中挑选一个对象。由于物体和手指之间接触的复杂物理现象使得难以以高成功率执行箱子拾取，因此我们考虑引入基于学习的方法。为了在合理的时间内收集足够数量的训练数据，我们引入了一个物理模拟器，其中近似用于碰撞检查。本文首先利用CNN（卷积神经网络）建立了基于学习的机器人拣箱算法。并利用CNN得到了平行颚夹持器的最佳抓取姿态。最后，我们表明，如果我们使用精确的3D模型来生成桩的深度图像作为CNN的输入，则在碰撞检查中引入的近似效果会放松。
2018-05-23 cs.RO
A Topological Solution of Entanglement for Complex-shaped Parts in Robotic Bin-picking
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）
本文讨论了在拣箱过程中，一次只能拣出一个物体，避免物体纠缠的问题。为了应对复杂形状的物体严重纠缠在一起的困难情况，我们提出了一种基于拓扑的方法，可以在单个深度图像上生成非纠缠的抓取位置。其核心技术是纠缠图，这是一个特征图，以衡量纠缠的可能性，从输入图像。我们使用纠缠图来选择可能包含可抓取对象的区域。考虑到机器人手与物体的碰撞，从选定的区域中检测出最佳抓取姿态。实验结果表明，我们的分析方法提供了一个更全面和直观的观察纠缠和超过以前的学习为基础的工作的成功率。特别是，我们基于拓扑的方法不依赖于任何对象模型或耗时的训练过程，因此可以轻松适应更复杂的装箱场景。
2022-03-01 cs.RO
Picking Bins Empty: A Hierarchical Hybrid Approach with Online Self-Learning of Grasp Points for Reliable Industrial Bin-Picking
University of Stuttgart（斯图加特大学）；Mercedes-Benz AG（梅赛德斯-奔驰公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；DLR Institute of Robotics and Mechatronics（德国航空航天中心机器人与机电一体化研究所）；Fraunhofer Institute for Industrial Engineering (IAO)（弗劳恩霍夫工业工程研究所）
本文针对工业料箱拣选需完全清空且无人工干预的挑战，提出四层分层混合方法，结合基于模型与无模型技术，通过在线自学习提升抓取性能，在汽车零件实验中实现100%料箱清空率，优于基线方法。
2026-08-31 cs.RO
Large-scale 6D Object Pose Estimation Dataset for Industrial Bin-Picking
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））；University of Stuttgart（斯图加特大学）
在本文中，我们介绍了一个新的公共数据集的6D物体姿态估计和实例分割的工业bin-picking。该数据集包括合成场景和真实世界场景。对于两者，提供点云、深度图像和包括6D姿态（位置和取向）、可见性分数和每个对象的分割掩模的注释。随着原始数据，提出了一种方法，用于精确注释现实世界的场景。据我们所知，这是第一个用于6D对象姿态估计和用于bin-picking的实例分割的公共数据集，其中包含用于基于学习的方法的充分注释的数据。此外，它通常是用于对象姿态估计的最大公共数据集之一。该数据集可在http://www.bin-picking.ai/en/dataset.html上公开获得。
2019-12-06 cs.AI cs.CV cs.RO
Bin-picking of novel objects through category-agnostic-segmentation: RGB matters
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）
本文提出一种结合物体中心实例分割与仿真训练的类别无关分割方法，通过域随机化应对深度噪声，在真实分拣抓取中实现对透明与不透明新物体高达98%和97%的准确率，超越现有基准。
2023-12-27 cs.RO
FPCC: Fast Point Cloud Clustering based Instance Segmentation for Industrial Bin-picking
Hokkaido University（北海道大学）；Tohoku University（东北大学）
实例分割是机器人、自动驾驶汽车和人机交互等众多现实应用中的重要预处理任务。与深度学习在二维（2D）图像任务上的快速发展相比，基于深度学习的三维点云实例分割仍有很大的发展空间。特别是，区分大量的同一类的被遮挡物体是一个极具挑战性的问题，这是在机器人装箱。在通常的拣箱场景中，许多相同的对象被堆叠在一起，并且对象的模型是已知的。因此，语义信息可以被忽略;相反，在箱子挑选的重点放在实例的分割。基于这一任务需求，我们提出了一种快速点云聚类（FPCC）的实例分割的装箱场景。FPCC包括一个名为FPCC-Net的网络和一个快速聚类算法。FPCC-网有两个分支，一个用于推断聚类的几何中心，另一个用于描述每个点的特征。FPCC-Net提取每个点的特征，同时推断每个实例的几何中心点。在此之后，所提出的聚类算法聚类的特征嵌入空间中的最接近的几何中心的其余点。实验结果表明，FPCC算法在拣箱场景中的计算效率也优于现有算法。我们的代码和数据可在https://github.com/xyjbaal/FPCC上获得。
2022-04-13 cs.CV cs.RO
SynPick: A Dataset for Dynamic Bin Picking Scene Understanding
University of Bonn（波恩大学）
我们提出了SynPick，一个合成数据集的动态场景理解在装箱方案。与现有的数据集相比，我们的数据集既位于现实的工业应用领域-受着名的亚马逊机器人挑战赛（ARC）的启发-又具有动态场景，其中包含我们为ARC 2017开发的挑选启发式选择的真实挑选动作。该数据集与流行的BOP数据集格式兼容。我们详细描述了数据集的生成过程，包括使用NVIDIA PhysX物理引擎的对象排列生成和操纵模拟。为了覆盖大的动作空间，我们执行无目标和有目标的拾取动作，以及随机移动动作。为了建立对象感知的基线，在数据集上评估最先进的姿态估计方法。我们证明了有用的操作过程中，而不是单镜头估计，即使与天真的过滤方法跟踪构成。生成器的源代码和数据集是公开的。
2021-07-10 cs.CV cs.RO
Data Generation for Learning to Grasp in a Bin-picking Scenario
Wuhan University（武汉大学）
深度学习的兴起极大地改变了机器人抓取的管道，从基于模型的方法到数据驱动的流。沿着这条线，大规模的抓取数据，无论是从模拟或从现实世界的例子收集变得非常重要。在本文中，我们提出了我们最近的工作，数据生成模拟一个垃圾箱采摘场景。从YCB对象数据集中选取77个对象，使用PyBullet生成数据集，其中考虑了不同的环境条件，包括光照、相机姿态、传感器噪声等。总共收集了10万个数据样本，包括地面真值分割、RGB、6D姿态和点云。所有数据示例，包括源代码，都可以在线获得。
2021-08-14 cs.RO
Learning to Dexterously Pick or Separate Tangled-Prone Objects for Industrial Bin Picking
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Osaka University（大阪大学）
本文提出 PickNet 与 PullNet 结合的自监督学习方法，通过抓取、丢入缓冲箱和拉动分离策略，实现工业料箱中易缠绕物体的灵巧拣选，成功率达90%。
2023-07-07 cs.RO
ROBI: A Multi-View Dataset for Reflective Objects in Robotic Bin-Picking
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Robotics Institute（机器人研究所）；Epson Canada（爱普生加拿大公司）
在机器人拣箱应用中，感知无纹理、高反射的零件是一项有价值但具有挑战性的任务。高光泽度可能会在RGB图像中引入虚假边缘和不准确的深度测量，特别是在严重混乱的bin场景中。在本文中，我们提出了ROBI（反射对象在BIns）数据集，一个公共数据集的6D对象姿态估计和多视图深度融合的机器人装箱方案。ROBI数据集包括总共63个使用两个主动立体摄像头捕获的垃圾箱拾取场景：一个高成本的Ensenso传感器和一个低成本的RealSense传感器。对于每个场景，单色/RGB图像和深度图是从场景周围的采样视图球体捕获的，并且用可见对象的准确6D姿态和相关联的可见性分数来注释。为了评估深度融合的性能，我们使用高成本的Ensenso相机拍摄了地面真实深度图，对象涂有防反射扫描喷雾。为了展示数据集的实用性，我们在完整数据集上评估了6D对象姿态估计和多视图深度融合的代表算法。评估结果表明，高反射物体的困难，特别是在困难的情况下，由于深度数据质量下降，严重的遮挡和混乱的场景。ROBI数据集可在https://www.trailab.utias.utoronto.ca/robi上在线获得。
2021-10-07 cs.RO
Fast and Robust Bin-picking System for Densely Piled Industrial Objects
Zhejiang University（浙江大学）
物体抓取，也被称为捡箱，是工业机器人面临的最常见的任务之一。虽然在相关主题中已经做了很多工作，但抓取随机堆放的对象仍然是一个挑战，因为现有的许多工作要么缺乏鲁棒性，要么花费太多资源。在本文中，我们开发了一个快速和强大的箱子拾取系统，抓取密集堆积的对象自适应和安全。该系统首先采用改进的基于密度的噪声空间聚类算法（DBSCAN）进行点云分割，该算法结合区域生长算法进行改进，并采用八叉树加快计算速度。然后，系统使用主成分分析（PCA）进行粗配准，并使用迭代最近点（ICP）进行精配准。我们提出了一个把握风险评分（GRS）来评估每个对象的碰撞概率，稳定性的对象，和整个桩的稳定性。通过对Anno机器人的实际测试，验证了该方法在速度和鲁棒性方面的先进性。
2020-12-04 cs.RO
A Closed-Loop Bin Picking System for Entangled Wire Harnesses using Bimanual and Dynamic Manipulation
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Osaka University（大阪大学）
本文提出一种基于双臂动态操作和触觉反馈闭环框架的工业线束箱体拾取系统，通过实时检测缠绕并动态调整抓取姿态，在使用两种长线束的真实实验中实现了91.2%的总体成功率。
2023-06-26 cs.RO
3D Object Segmentation for Shelf Bin Picking by Humanoid with Deep Learning and Occupancy Voxel Grid Map
The University of Tokyo（东京大学）
在货架等狭窄空间中拾取物体是仿人机器人从环境中提取目标物体的重要任务。然而，在这些情况下，在相机和对象之间存在许多遮挡，并且由于缺乏三维传感器输入，这使得难以三维地分割目标对象。我们解决这个问题，积累分割结果与多个摄像机角度，并生成体素模型的目标对象。我们的方法包括两个部分：第一是用卷积网络对输入图像进行对象概率预测，第二是生成用于对象分割的体素网格图。我们评估的方法与挑选任务实验的目标对象在狭窄的货架箱。我们的方法生成密集的3D对象段，即使有遮挡，和真正的机器人成功地挑选目标对象从狭窄的空间。
2020-01-16 cs.CV cs.RO
A Low-Cost, High-Speed, and Robust Bin Picking System for Factory Automation Enabled by a Non-Stop, Multi-View, and Active Vision Scheme
针对金属件料箱拣选中3D数据稀疏噪声及多视角传感速度慢的问题，提出一种将多视角主动视觉与机器人运动任务紧密耦合的“手上传感器”系统，通过并行化和连续路径决策实现高速鲁棒拣选，实验显示平均拣选完成率超97.75%且传感仅占节拍时间0.635秒。
2024-10-01 cs.CV cs.RO
Initial Experiments on Learning-Based Randomized Bin-Picking Allowing Finger Contact with Neighboring Objects
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Kanazawa University（金泽大学）；Toyota Motors Co., Ltd.（丰田汽车公司）
提出了一种基于学习的随机装箱方法。当双指夹持器试图从堆中拾取物体时，手指通常会接触相邻的物体。即使手指接触相邻对象，也会根据相邻对象的配置成功拾取目标对象。在我们所提出的方法中，我们使用的视觉信息对邻近的物体训练的机器人。对应于物体的抓握姿势，该拾取器预测即使手指接触相邻物体拾取是否将成功。我们研究两种学习算法，线性支持向量机（SVM）和随机森林（RF）的方法。通过使用这两种方法，我们证明了采摘的成功率显着高于传统的方法没有学习。
2016-07-11 cs.RO
End-to-end deep learning-based framework for path planning and collision checking: bin picking application
University of Victoria（维多利亚大学）；Apera AI（阿佩拉人工智能公司）
提出端到端 PPCNet，通过双网络顺序生成并验证无碰撞路径点，结合模仿学习与几何碰撞函数逼近，在料箱拣选实验中显著降低规划时间。
2023-03-31 cs.RO cs.SY eess.SY
Experiments on Learning Based Industrial Bin-picking with Iterative Visual Recognition
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Kanazawa University（金泽大学）；Toyota Motors Co., Ltd.（丰田汽车公司）
本文展示了基于学习的随机装箱结合迭代视觉识别的实验结果。我们使用随机森林来预测机器人是否会成功地选择一个对象，考虑到手指和相邻对象之间的碰撞，给定的深度图像的桩。为了使深度传感器准确，我们考虑通过使用连接在手腕上的深度传感器合并从不同角度捕获的桩的多个深度图像来估计对象的姿态。我们表明，即使机器人被预测为失败，在挑选一个对象与一个单一的深度图像，由于其大的遮挡区域，它最终被预测为成功后，合并多个深度图像。此外，我们证明了随机森林可以用少量的训练数据进行训练。
2018-05-22 cs.RO
Low Cost Bin Picking Solution for E-Commerce Warehouse Fulfillment Centers
Addverb Technologies Pvt. Ltd.（Addverb科技私人有限公司）
近年来，电子商业履行仓库的吞吐量需求急剧增加。这导致了各种自动化解决方案正在开发的项目采摘和运动。在本文中，我们解决的问题，机械手挑选异构项目随机放置在一个箱子。传统的解决方案需要将物品拣选成以有序的方式放置在箱子中，并且预先知道物品的确切尺寸。这种解决方案在现实世界中表现不佳，因为箱子中的物品很少以有序的方式放置，并且电子商业供应商几乎每天都添加新产品。我们提出了一个具有成本效益的解决方案，可以应对上述挑战。我们的解决方案包括一个双传感器系统，包括一个常规的RGB相机和一个3D ToF深度传感器。我们提出了一种新的算法，融合这些传感器的数据，以提高对象分割，同时保持姿态估计的准确性，特别是在闭塞的环境和紧密包装箱。我们实验验证我们的系统的性能，通过使用ABB IRB 1200机器人挑选箱子。我们还表明，我们的系统保持了高水平的姿态估计的准确性，是独立的盒子，纹理，遮挡或方向的尺寸。我们进一步表明，我们的系统是计算成本较低，并保持一致的检测时间为1秒。我们还讨论了这种方法可以很容易地扩展到所有形状的对象。
2021-09-24 cs.RO
Efficient End-to-End Detection of 6-DoF Grasps for Robotic Bin Picking
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tuebingen（蒂宾根大学）
针对料箱拣选可达性受限导致可行6-DoF抓取不足的问题，提出基于Power-Spherical分布的端到端概率抓取模型，从单张深度图生成多样无碰撞抓取，并在仿真与真实机器人上达到约90%清空率。
2024-05-10 cs.RO
Probabilistic Multi-View Fusion of Active Stereo Depth Maps for Robotic Bin-Picking
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Robotics Institute（机器人研究所）；Epson Canada Ltd.（爱普生加拿大有限公司）
多视点深度图的可靠融合已成为许多三维重建流水线中的重要问题。在这项工作中，我们研究其对机器人装箱任务，如6D物体姿态估计的影响。物体姿态估计的性能在很大程度上依赖于深度数据的质量。然而，由于发光表面和杂乱场景的普遍存在，工业级深度相机通常无法从单个视点感测深度或生成不可靠的测量结果。为此，我们提出了一种新的概率框架，场景重建机器人箱采摘。基于主动立体相机数据，我们首先明确估计深度测量的不确定性，以减轻噪声和离群值的不利影响。然后，将不确定性估计纳入概率模型中，用于增量地更新场景。为了广泛评估传统的融合方法以及我们自己的方法，我们将发布一个新的代表性数据集，每个bin和策展部分都有多个视图。在整个数据集上，我们证明了我们的框架优于传统的融合方法，重建误差减少了12.8%，检测率提高了6.1%。该数据集将在https://www.trailab.utias.utoronto.ca/robi上提供。
2021-03-19 cs.RO
GOMP: Grasp-Optimized Motion Planning for Bin Picking
University of California at Berkeley（加州大学伯克利分校）
快速可靠的机器人拣仓是自动化仓库的关键挑战，通常以每小时拣货量（PPH）衡量。我们探索增加PPH使用更快的运动的基础上优化了一组候选人的把握。这组抓取的来源是双重的：（1）抓取分析工具，如Dex-Net生成多个候选抓取，以及（2）这些抓取中的每一个都有一个机器人抓取器可以旋转的自由度。在本文中，我们提出了抓取优化运动规划（GOMP），一种算法，加快了执行的垃圾箱采摘机器人的操作，将机器人动力学和一组候选人的把握，由一个把握规划到一个优化的运动规划。我们计算运动优化与序列二次规划（SQP）和迭代更新的信赖域占非凸性质的问题。在我们的公式中，我们将运动限制在机器人的机械限制范围内，同时避开障碍物。我们进一步转换的问题，以时间最小化，反复缩短的时间范围的轨迹，直到SQP是不可行的。在UR 5的实验中，GOMP实现了9倍于基线规划器的加速。
2020-03-05 cs.RO
Pseudo-Labeling and Contextual Curriculum Learning for Online Grasp Learning in Robotic Bin Picking
Technical University Dortmund（多特蒙德工业大学）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）
提出 SSL-ConvSAC，将带奖励反馈像素作为标签并结合半监督学习、强化学习与上下文课程，实现机器人料箱拣选的在线抓取学习。
2024-03-04 cs.AI cs.RO
Model-free Grasping with Multi-Suction Cup Grippers for Robotic Bin Picking
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出一种与夹爪设计无关的多吸盘无模型抓取位姿预测方法，通过神经网络预测逐像素抓取质量并结合优化步骤确定最优夹爪选择与位姿，同时引入自动标注方法，在真实工业料箱拣选场景中验证了有效性。
2023-07-31 cs.AI cs.RO
Non-Markov Policies to Reduce Sequential Failures in Robot Bin Picking
The AUTOLab at University of California, Berkeley（加州大学伯克利分校AUTOLab实验室）
使用深度学习的新一代自动化垃圾箱拣选系统正在发展，以支持日益增长的电子商务需求。为了适应各种各样的产品，许多自动化系统包括多种夹持器类型和/或工具更换器。然而，对于某些对象，连续抓取失败是常见的：当计算抓取未能提升和移除对象时，箱子通常保持不变;由于传感器输入是一致的，系统一遍又一遍地重试相同的抓取，导致平均每小时成功拾取（MPPH）的显着减少。基于一个实证研究的顺序故障，我们描述了一类“顺序故障对象”（SFO）-对象容易顺序故障的基础上一个新的分类。然后，我们提出了三个非马尔可夫采摘政策，将过去的失败记忆修改后续行动。在SFO模型和EGAD数据集上的仿真实验表明，非马尔可夫策略在顺序故障率和MPPH方面明显优于马尔可夫策略。在对50堆12个SFO的物理实验中，最有效的非马尔可夫策略比Dex-Net马尔可夫策略增加了107%的MPPH。
2020-07-20 cs.AI cs.RO
MetaGraspNet: A Large-Scale Benchmark Dataset for Scene-Aware Ambidextrous Bin Picking via Physics-based Metaverse Synthesis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Waterloo（滑铁卢大学）
鉴于问题的复杂性，从各种传感器模态到高度纠缠的物体布局，再到不同的物品属性和夹持器类型，自动分拣对视觉驱动的机器人系统提出了重大挑战。现有的方法通常从一个角度解决问题。不同的物品和复杂的垃圾桶场景需要不同的拣选策略以及先进的推理。因此，要构建强大而有效的机器学习算法来解决这一复杂任务，需要大量全面和高质量的数据。在现实世界中收集这样的数据将过于昂贵和时间限制，因此从可扩展性的角度来看是棘手的。为了解决这个大而多样的数据问题，我们从最近兴起的元宇宙概念中汲取灵感，并引入了MetaGraspNet，这是一个通过基于物理的元宇宙合成构建的大规模照片般逼真的bin拾取数据集。所提出的数据集包含82种不同物品类型的217k RGBD图像，具有平行钳口和真空夹持器的目标检测、非模态感知、关键点检测、操作顺序和双向抓握标签的完整注释。我们还提供了一个真实的数据集，包括超过2.3k的完全注释的高质量RGBD图像，分为5个难度级别和一个看不见的对象集，以评估不同的对象和布局属性。最后，我们进行了大量的实验，表明我们提出的真空密封模型和合成数据集达到了最先进的性能，并推广到现实世界的用例。
2022-08-08 cs.CV cs.RO
Deep Workpiece Region Segmentation for Bin Picking
Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）；University of Stuttgart（斯图加特大学）
对于大多数工业箱拾取解决方案，通过将CAD模型与从3D传感器获得的点云进行匹配来定位工件的位姿。从点云中的箱底部区分平坦工件对工件的定位提出了挑战，这导致错误或幻影检测。在本文中，我们提出了一个框架，解决了这个问题，自动分割工件区域从非工件区域的点云数据。它是通过应用在模拟和真实数据上训练的完全卷积神经网络实时的完成的。我们的新技术，自动生成真实的点云标签的真实数据已被标记。随着实时的工件分割，我们的框架还有助于提高检测到的工件的数量和估计正确的对象姿态。此外，由于用于对象姿态估计的搜索空间的减小，它将计算时间减少了约1 s。
2019-09-08 cs.CV cs.LG cs.RO
Seg2Grasp: A Robust Modular Suction Grasping in Bin Picking
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；Artificial Intelligence Institute, Seoul National University（首尔国立大学人工智能研究所）；Department of Computer Science, Seoul National University（首尔国立大学计算机科学系）
研究针对非结构化环境中无序抓取难题，提出Seg2Grasp模块化方法，经分割、抓取、分类三步流程，利用多种技术确定吸力点与识别物体，实际实验证明该方法在成功率和适应性上优于现有方法，是工业自动无序抓取有力工具。
2026-07-21 cs.AI cs.RO
Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking
The Chinese University of Hong Kong（香港中文大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提出了一个迭代的自训练框架，用于模拟到真实的6D物体姿态估计，以促进具有成本效益的机器人抓取。在给定的场景下，我们建立了一个真实感模拟器来合成丰富的虚拟数据，并以此来训练初始位姿估计网络。然后，该网络扮演教师模型的角色，为未标记的真实数据生成姿势预测。有了这些预测，我们进一步设计了一个全面的自适应选择方案来区分可靠的结果，并利用它们作为伪标签来更新学生模型，以进行真实数据的姿态估计。为了不断提高伪标签的质量，我们通过将训练好的学生模型作为新的教师来重复上述步骤，并使用改进的教师模型重新标记真实数据。我们在公共基准测试和我们新发布的数据集上评估了我们的方法，分别实现了11.49%和22.62%的ADD（-S）改进。我们的方法也能够提高机器人拣箱成功率19.54%，展示了机器人应用的迭代模拟到真实解决方案的潜力。
2022-07-21 cs.AI cs.CV cs.LG
MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy
University of Waterloo（滑铁卢大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对机器人料箱抓取中传感器故障导致的可靠性问题，提出MMRNet，通过多模态冗余、门控融合与动态集成学习，以及多模态一致性分数，提升系统输出可靠性。
2023-05-07 cs.CV cs.LG cs.RO
PS6D: Point Cloud Based Symmetry-Aware 6D Object Pose Estimation in Robot Bin-Picking
Institute of Robotics and Automatic Information System, Nankai University（南开大学机器人与自动信息系统研究所）；Mech-Mind（梅卡曼德）
针对工业工件锈蚀、高反射和无纹理场景，本文提出基于点云的PS6D框架，利用注意力多尺度特征、对称性感知损失与两阶段聚类实现6D位姿估计，性能显著提升并已工业部署。
2024-05-18 cs.RO
SDT-6D: Fully Sparse Depth-Transformer for Staged End-to-End 6D Pose Estimation in Industrial Multi-View Bin Picking
Institute for Applications of Machine Learning and Intelligent Systems（机器学习与智能系统应用研究所）；University of Applied Science Munich（慕尼黑应用科学大学）
SDT-6D提出了一种基于稀疏深度-变换器的端到端6D姿态估计方法，通过分阶段热图机制和密度感知稀疏变换器块，实现高分辨率下的高效姿态预测。
2025-12-09 cs.CV cs.RO
Suction Grasp Region Prediction using Self-supervised Learning for Object Picking in Dense Clutter
Shanghai Jiao Tong University（上海交通大学）
研究了机器人在杂乱环境下的拣选任务。由于拣仓作业中姿态的多样性、堆垛类型的多样性和背景的复杂性，在抓取之前对其进行姿态识别和估计是非常困难的。本文将Resnet与卷积神经网络（CNN）的一种特殊框架--U-net结构相结合，在不需要识别和姿态估计的情况下预测拾取区域。使机器人采摘系统能够从零开始学习采摘技能。同时，我们用在线样本对网络进行端到端的训练。在本文的最后，进行了几个实验来证明我们的方法的性能。
2019-04-24 cs.CV cs.LG cs.RO
Pickalo: Leveraging 6D Pose Estimation for Low-Cost Industrial Bin Picking
MESH Facility (formerly iCub Tech), Istituto Italiano di Tecnologia（意大利技术研究院MESH设施（原iCub Tech））；AMI laboratory, Istituto Italiano di Tecnologia（意大利技术研究院AMI实验室）；Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所（ISIR））；Generative Bionics（Generative Bionics公司）；Camozzi Automation SpA（Camozzi自动化股份公司）
Pickalo通过低成本硬件实现6D位姿估计，结合深度估计和姿态缓冲模块，在工业环境中实现高效率的装箱拾取，达到每小时600次拾取，成功率达96-99%。
2026-10-14 cs.AI cs.RO
Stereo Vision Based Single-Shot 6D Object Pose Estimation for Bin-Picking by a Robot Manipulator
我们提出了一种快速，准确的方法，6D物体位姿估计的机械零件的机器人机械手的装箱。我们扩展了单镜头立体视觉的注意力架构的应用程序。我们的卷积神经网络模型从没有深度信息的左图像或右图像回归到对象位置和旋转。然后，立体特征匹配模块，指定为立体网格注意，生成立体网格匹配地图。我们的方法的重点是只计算视差的对象发现的注意力从立体图像，而不是计算一个点云在整个图像。然后，通过三角测量的原理，使用视差值来计算到对象的深度。我们的方法还实现了快速的处理速度的姿态估计的单镜头架构，它是可能的处理一个1024 × 1024像素的图像在75毫秒的Jetson AGX Xavier实现与半浮动模型。弱纹理的机械部件被用于验证该方法。首先，我们创建原始的合成数据集，用于训练和评估所提出的模型。该数据集是通过在虚拟空间中捕获和渲染多种类型机械零件的大量3D模型而创建的。最后，我们使用一个机器人机械手与电磁夹持器拿起机械零件在混乱的状态，以验证我们的方法在实际场景中的有效性。当来自我们的立体相机的所提出的方法使用原始立体图像来检测黑色钢螺钉、不锈钢螺钉和直流电机部件时，即，对于转子铁心、整流子盖和转子壳，分箱成功率分别为76.3%、64.0%、50.5%、89.1%和64.2%。
2020-05-28 cs.CV cs.RO
Fast Object Learning and Dual-arm Coordination for Cluttered Stowing, Picking, and Packing
University of Bonn（波恩大学）
从杂乱的垃圾箱中进行机器人拣选是一项艰巨的任务，亚马逊机器人技术对此提出了挑战。2017年亚马逊机器人挑战赛（ARC）要求将物品存放到存储系统中，挑选特定物品并将其包装到盒子中。在本文中，我们描述了团队NimbRo Picking的入口。我们的深度对象感知管道可以使用自定义转盘捕获系统和迁移学习快速有效地适应新项目。它生成高质量的物品段，并在其上找到抓取姿势。规划组件协调两个机器人手臂之间的操作动作，最大限度地减少执行时间。该系统已在ARC上成功演示，我们的团队在拣选任务和最终的堆取任务中都获得了第二名。我们还评估各个组件。
2018-10-06 cs.RO
Reasoning and Learning a Perceptual Metric for Self-Training of Reflective Objects in Bin-Picking with a Low-cost Camera
Department of Mechanical Engineering, National University of Singapore（机械工程系，新加坡国立大学）；University of Delaware（德雷塞尔大学）
本文针对低成本相机料箱抓取中反射金属物体的深度稀疏与标注难题，提出结合MoPR位姿推理、SaL-BGMM对称滤波和WR-InfoNCE度量学习的自训练框架，在ROBI与Self-ROBI数据集上取得领先性能。
2025-08-16 cs.CV cs.RO
Multi-Object Grasping -- Generating Efficient Robotic Picking and Transferring Policy
University of South Florida（南佛罗里达大学）
在容器之间传输多个对象是许多应用程序的常见任务。在机器人技术中，一个标准的方法是每次拿起一个物体并将其转移。然而，抓取和拾取多个物体并立即将它们转移到一起更有效。本文提出了一套新的策略，有效地抓住多个物体在一个箱子，将它们转移到另一个。该策略使得机器人手能够识别最佳的准备好的手配置（预抓取），并基于要抓取的物体的期望数量来计算屈曲协同。本文还提出了一种方法，使用马尔可夫决策过程（MDP）建模时，所需的数量是大于一个单一的把握能力的采摘转移例程。使用MDP模型，所提出的方法可以生成一个最佳的采摘转移例程，最大限度地减少转移的数量，代表效率。所提出的方法已在仿真环境和一个真正的机器人系统进行了评估。结果表明，该方法减少了59%的转移和电梯的数量相比，最佳的单对象拾取转移解决方案的58%。
2021-12-18 cs.RO
Compliant Suction Gripper with Seamless Deployment and Retraction for Robust Picking against Depth and Tilt Errors
Seoul National University（首尔国立大学）
由于视觉系统中的深度和倾斜误差，在非结构化环境中应用吸力抓持器是一项具有挑战性的任务，需要额外的成本来进行精细的感测和控制。为了减少额外的成本，已经提出了具有顺应性主体或机构的吸力抓持器;然而，它们的笨重和有限的容许误差阻碍了它们在具有大误差的复杂环境中的使用。在这里，我们提出了一个紧凑的吸力抓手，可以在很宽的距离和倾斜角度范围内拾取物体，而无需精心的传感和控制。插入弹簧的夹持器主体展开并符合远距离和倾斜的物体，直到吸盘完全密封物体，并立即缩回，同时保持物体。这种无缝的展开和缩回是通过将夹持器主体和吸盘连接到相同的真空源来实现的，该真空源耦合夹持器主体的真空拾取和缩回。实验结果表明，所设计的夹持器能够抓取79 mm（初始长度的1.4倍）以内的物体，并且能够抓取倾角最大为60°的物体。通过实验验证了该夹持器的可行性，包括从同一拾取高度拾取不同高度的物体和透明物体的分仓拾取。
2022-11-29 cs.RO
A Learning Framework for Robust Bin Picking by Customized Grippers
University of California, Berkeley（加州大学伯克利分校）；FANUC Advanced Research Lab.（发那科高级研究实验室）
定制的夹具具有专门设计的手指，以增加与工件的接触面积，并提高抓持鲁棒性。然而，由于对象的变化，表面接触和夹具的结构约束，用于定制夹具的抓取规划是具有挑战性的。在本文中，我们提出了一个学习框架，以规划强大的掌握定制的抓手在实时。学习框架包含一个低层次的优化为基础的规划器，以搜索最佳的把握物体形状变化下的本地，和一个高层次的学习为基础的资源管理器，学习掌握探索以前的把握经验的基础上。基于优化的规划器使用迭代曲面拟合（ISF），同时搜索最佳的抓手变换和手指位移，通过最小化曲面拟合误差。基于高级学习的探索器训练基于区域的卷积神经网络（R-CNN）以提出好的优化区域，从而避免ISF陷入坏的局部最优，提高避碰性能。所提出的RCNN-ISF学习框架能够考虑夹持器的结构约束，从以前的经验中学习抓取探索策略，并实时规划杂波环境中的最优抓取。通过实验验证了算法的有效性。
2019-03-05 cs.AI cs.RO
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
本文针对精确抓取应用中物体姿态估计和抓取过程的误差问题，提出模块化框架。通过物体姿态分布估计和第二视角模块降低姿态不确定性，用独立模块补偿抓取误差，经真实场景测试，该框架能提高效率，是解决相关不确定性的首个可互换模块框架。
2026-07-16 cs.CV cs.RO
Learning suction graspability considering grasp quality and robot reachability for bin-picking
本文针对料箱拣选提出直观的几何抓取质量指标与可达性指标，并训练 SG-U-Net++ 同时预测像素级抓取质量与可达性，实现 560 PPH 拣选速度。
2021-11-04 cs.LG cs.RO
Bayesian Optimization for Developmental Robotics with Meta-Learning by Parameters Bounds Reduction
LIRIS, CNRS UMR 5205 Ecole Centrale de Lyon（里昂中央理工学院 LIRIS 实验室（法国国家科学研究中心 UMR 5205））
在机器人技术中，方法和软件通常需要优化超参数，以便有效地执行特定任务，例如从不同对象的同质堆中进行工业装箱。我们提出了一个发展框架的基础上长期记忆和推理模块（贝叶斯优化，视觉相似性和参数边界减少），允许机器人使用元学习机制，提高这种连续和约束参数优化的效率。新的优化被视为机器人的学习，可以利用过去的经验（存储在情节和过程存储器中），以通过使用从具有新任务的机器人实现的最佳优化计算的减少的参数边界来缩小搜索空间（例如，基于存储在语义记忆中的对象的视觉相似性，从相似对象的同质堆中进行装箱）。作为例子，我们已经面对系统的9个连续的超参数的约束优化的专业软件（Kamido）在工业机器人手臂装箱任务，每次都需要正确地处理新的对象的一个步骤。我们使用模拟器为8个不同的对象创建装箱任务（7个在模拟中，一个在真实设置中，没有和有来自其他类似对象的经验的元学习）尽管优化预算很小，但仍实现了良好的结果，当使用元学习时，性能更好（总体成功率为84.3% vs 78.9%，每次优化的小预算为30次迭代）（p值=0.036）。
2020-07-30 cs.AI cs.LG cs.RO
A Hybrid Approach for Learning to Shift and Grasp with Elaborate Motion Primitives
Bosch Center for Artificial Intelligence（博世人工智能中心）
机器人在现实世界中的许多可能的应用领域取决于机器人抓取物体的能力。因此，机器人抓取多年来一直是一个活跃的研究领域。通过我们的出版物，我们致力于使机器人能够抓取，特别关注垃圾箱拾取应用。由于物体的通常杂乱和非结构化的布置以及通过简单的自上而下的抓握对物体的通常有限的可抓握性，箱子拾取尤其具有挑战性。为了应对这些挑战，我们提出了一个完全自我监督的强化学习方法的基础上的混合离散-连续适应软演员-评论家（SAC）。我们采用参数化的运动原语推和抓运动，以使一个灵活的适应性强的行为，我们考虑的困难设置。此外，我们使用数据增强来提高样本效率。我们证明了我们提出的方法具有挑战性的采摘场景中，平面把握学习或动作离散化方法将面临很多困难
2021-11-02 cs.AI cs.RO
Uncertainty-driven Exploration Strategies for Online Grasp Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Stuttgart（斯图加特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对未见场景的在线抓取适应问题，提出一种基于不确定性的在线学习RL框架，通过贝叶斯与分布集成估计指导探索，显著提升了真实料箱拾取的抓取性能。
2024-04-24 cs.AI cs.RO
ViTA-Seg: Vision Transformer for Amodal Segmentation in Robotics
Department of Electrical；Learning (RPL), KTH Royal Institute of Technology, 114 28, Stockholm, Sweden, (e-mail: )
ViTA-Seg是一种用于机器人抓取的视觉Transformer框架，通过双头架构实现高效的无遮挡分割，提升机器人操作的实时性和鲁棒性。
2025-12-10 cs.CV cs.RO
DoPose-6D dataset for object segmentation and 6D pose estimation
TU Dortmund University（多特蒙德工业大学）
场景理解是决定机器人抓取和操作智能化程度的关键。这是一个可以使用不同技术来解决的问题：可见对象分割，不可见对象分割或6D姿态估计。这些技术甚至可以扩展到多视图。这些问题的大部分工作都依赖于合成数据集，因为缺乏足够大的真实数据集来进行训练，而仅仅使用可用的真实数据集进行评估。这促使我们引入一个新的数据集（称为DoPose-6D）。该数据集包含用于6D姿态估计、对象分割和多视图注释的注释，这些注释适用于所有上述技术。该数据集包含两种类型的场景箱拾取和桌面，该数据集收集的主要动机是箱拾取。我们在看不见的对象分割的背景下说明了该数据集的效果，并提供了一些关于混合合成和真实数据进行训练的见解。我们训练了一个实用于工业和机器人抓取应用的Mask R-CNN模型。最后，我们展示了我们的数据集如何提高Mask R-CNN模型的性能。我们的DoPose-6D数据集、训练的网络模型、管道代码和ROS驱动程序可在线获取。
2022-11-28 cs.RO
MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion
Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics – and the Center for Robotics and the Lamarr Institute for Machine Learning and Artificial Intelligence, University of Bonn, Germany（自主智能系统小组，计算机科学研究所VI——智能系统与机器人——以及机器人中心和拉马尔人工智能与机器学习研究所，波恩大学，德国）
MOTPose通过基于注意力的时序融合方法，实现动态视频序列中多目标的6D姿态估计，提升了姿态和物体检测的准确性。
2024-03-14 cs.RO
JENGA: Object selection and pose estimation for robotic grasping from a stack
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
针对结构化堆叠场景的机器人抓取需求，提出基于相机-IMU的优先抓取上层无遮挡物体的目标选择与6DoF位姿估计方法，构建配套基准数据集与评估指标，验证了方法有效性与任务挑战性，并完成建筑砖块抓取部署。
2025-06-16 cs.CV cs.RO
Learning a Generative Transition Model for Uncertainty-Aware Robotic Manipulation
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））；University of Aberdeen（阿伯丁大学）
机器人学习的现实世界的操作任务仍然具有挑战性和耗时，即使行动往往是简化的单步操作原语。为了补偿移除的时间依赖性，我们还学习了一个图像到图像的过渡模型，该模型能够预测下一个状态，包括其不确定性。我们将这种方法应用于箱子拾取，即使用抓取以及尽可能快地进行预抓取操作来清空箱子的任务。过渡模型在操作动作之前和之后使用多达42000对真实世界图像进行训练。我们的方法实现了两个重要的技能：首先，对于法兰安装相机的应用，通过跳过图像测量，每小时拾取数（PPH）可以增加约15%。其次，我们使用该模型提前计划动作序列并优化时间相关的奖励，例如最大限度地减少清空垃圾箱所需的动作数量。我们评估这两个改进与真实的机器人实验，并实现超过700 PPH的YCB框和块测试。
2021-07-06 cs.RO
iPack: Intuitive Bin Packing with Large Language Models
University of Technology Nuremberg（图恩大学）；Friedrich-Alexander University of Erlangen–Nuremberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）；Technical University of Munich（慕尼黑技术大学）
提出LLM-Pack方法，利用语言和视觉基础模型生成模仿人类策略的杂货装箱顺序，无需专门训练即可处理新物品，模块化设计便于升级。
2026-06-11 cs.RO
Good Grasps Only: A data engine for self-supervised fine-tuning of pose estimation using grasp poses for verification
University of Southern Denmark（南丹麦大学）；SDU Robotics（SDU机器人研究所）；Mærsk Mc-Kinney Møller Institute（马士基麦克-金ney穆勒学院）
针对料箱拣选场景下位姿估计方案快速部署需求，提出一种借助零样本位姿估计、用抓取位姿验证的自监督微调数据引擎，可运行中自动获取数据微调，在四物体测试中性能优于基于CAD训练的SOTA方法。
2024-12-12 cs.CV cs.RO
6D Assembly Pose Estimation by Point Cloud Registration for Robot Manipulation
Tampere University（坦佩雷大学）
本文提出一种基于RGB-D与CAD模型的6D装配位姿估计方法，通过语义分割和点云配准实现精确装配，并通过实验验证其有效性。
2023-12-05 cs.RO
