Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking
The Chinese University of Hong Kong（香港中文大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提出了一个迭代的自训练框架，用于模拟到真实的6D物体姿态估计，以促进具有成本效益的机器人抓取。在给定的场景下，我们建立了一个真实感模拟器来合成丰富的虚拟数据，并以此来训练初始位姿估计网络。然后，该网络扮演教师模型的角色，为未标记的真实数据生成姿势预测。有了这些预测，我们进一步设计了一个全面的自适应选择方案来区分可靠的结果，并利用它们作为伪标签来更新学生模型，以进行真实数据的姿态估计。为了不断提高伪标签的质量，我们通过将训练好的学生模型作为新的教师来重复上述步骤，并使用改进的教师模型重新标记真实数据。我们在公共基准测试和我们新发布的数据集上评估了我们的方法，分别实现了11.49%和22.62%的ADD（-S）改进。我们的方法也能够提高机器人拣箱成功率19.54%，展示了机器人应用的迭代模拟到真实解决方案的潜力。
2022-07-21 cs.AI cs.CV cs.LG
ViTA-Seg: Vision Transformer for Amodal Segmentation in Robotics
Department of Electrical；Learning (RPL), KTH Royal Institute of Technology, 114 28, Stockholm, Sweden, (e-mail: )
ViTA-Seg是一种用于机器人抓取的视觉Transformer框架，通过双头架构实现高效的无遮挡分割，提升机器人操作的实时性和鲁棒性。
2025-12-10 cs.CV cs.RO
SD-Net: Symmetric-Aware Keypoint Prediction and Domain Adaptation for 6D Pose Estimation In Bin-picking Scenarios
International Graduate School at Shenzhen, Tsinghua University（清华大学深圳国际研究生院）；Tencent Robotics X（腾讯Robotics X实验室）
针对料箱抓取中对称物体和域差距导致的6D姿态估计精度问题，提出SD-Net，通过对称感知关键点预测和自训练域自适应，在公开数据集上达到96%平均精度并超越现有方法8%。
2024-03-14 cs.AI cs.CV
Off-the-shelf bin picking workcell with visual pose estimation: A case study on the world robot summit 2018 kitting task
University of Southern Denmark（南丹麦大学）；Mærsk Mc-Kinney Møller Institute（马士基·麦金尼·穆勒研究所）
本文针对世界机器人峰会套件装配中的料箱拣选难题，结合新型视觉传感器、位姿估计算法与基于力的抓取构建工作站，并在赛事测试中取得超过所有参赛队的成绩。
2023-09-28 cs.CV cs.RO
MOTPose: Multi-object 6D Pose Estimation for Dynamic Video Sequences using Attention-based Temporal Fusion
Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics – and the Center for Robotics and the Lamarr Institute for Machine Learning and Artificial Intelligence, University of Bonn, Germany（自主智能系统小组，计算机科学研究所VI——智能系统与机器人——以及机器人中心和拉马尔人工智能与机器学习研究所，波恩大学，德国）
MOTPose通过基于注意力的时序融合方法，实现动态视频序列中多目标的6D姿态估计，提升了姿态和物体检测的准确性。
2024-03-14 cs.RO
Combining RGB and Points to Predict Grasping Region for Robotic Bin-Picking
Shanghai Jiao Tong University（上海交通大学）
本文重点研究了杂乱场景下的机器人拣货任务。由于物体的多样性和放置的杂乱性，在抓取之前识别和估计它们的姿态是非常困难的。在这里，我们使用U-net，一种特殊的卷积神经网络（CNN），结合RGB图像和深度信息来预测拾取区域，而无需识别和姿态估计。比较了RGB、RGB-D和RGB-Points三种视觉输入方式的网络效率。我们发现RGB点输入可以获得95.74%的精度。
2019-04-24 cs.CV cs.RO
Pose estimation and bin picking for deformable products
Georgia Tech Research Institute（佐治亚理工学院研究院）
制造应用中的机器人系统通常假定已知的物体几何形状和外观。这简化了3D感知算法的任务，并允许操纵更具确定性。然而，由于天然食品的可变性和可变形性，这些方法不容易转移到农业和食品领域。我们展示了一种应用于家禽产品的方法，该方法允许使用吸盘夹具从无序的垃圾箱中拾取整只鸡，使用深度学习方法估计其姿势，并将其放置在可以进一步处理的规范方向上。我们的机器人系统进行了实验评估，并能够推广到对象的变化，并在现实世界的环境中实现高精度的箱子拾取和姿态估计任务。
2019-11-12 cs.CV cs.RO
FPCC: Fast Point Cloud Clustering based Instance Segmentation for Industrial Bin-picking
Hokkaido University（北海道大学）；Tohoku University（东北大学）
实例分割是机器人、自动驾驶汽车和人机交互等众多现实应用中的重要预处理任务。与深度学习在二维（2D）图像任务上的快速发展相比，基于深度学习的三维点云实例分割仍有很大的发展空间。特别是，区分大量的同一类的被遮挡物体是一个极具挑战性的问题，这是在机器人装箱。在通常的拣箱场景中，许多相同的对象被堆叠在一起，并且对象的模型是已知的。因此，语义信息可以被忽略;相反，在箱子挑选的重点放在实例的分割。基于这一任务需求，我们提出了一种快速点云聚类（FPCC）的实例分割的装箱场景。FPCC包括一个名为FPCC-Net的网络和一个快速聚类算法。FPCC-网有两个分支，一个用于推断聚类的几何中心，另一个用于描述每个点的特征。FPCC-Net提取每个点的特征，同时推断每个实例的几何中心点。在此之后，所提出的聚类算法聚类的特征嵌入空间中的最接近的几何中心的其余点。实验结果表明，FPCC算法在拣箱场景中的计算效率也优于现有算法。我们的代码和数据可在https://github.com/xyjbaal/FPCC上获得。
2022-04-13 cs.CV cs.RO
3D Object Segmentation for Shelf Bin Picking by Humanoid with Deep Learning and Occupancy Voxel Grid Map
The University of Tokyo（东京大学）
在货架等狭窄空间中拾取物体是仿人机器人从环境中提取目标物体的重要任务。然而，在这些情况下，在相机和对象之间存在许多遮挡，并且由于缺乏三维传感器输入，这使得难以三维地分割目标对象。我们解决这个问题，积累分割结果与多个摄像机角度，并生成体素模型的目标对象。我们的方法包括两个部分：第一是用卷积网络对输入图像进行对象概率预测，第二是生成用于对象分割的体素网格图。我们评估的方法与挑选任务实验的目标对象在狭窄的货架箱。我们的方法生成密集的3D对象段，即使有遮挡，和真正的机器人成功地挑选目标对象从狭窄的空间。
2020-01-16 cs.CV cs.RO
A Low-Cost, High-Speed, and Robust Bin Picking System for Factory Automation Enabled by a Non-Stop, Multi-View, and Active Vision Scheme
针对金属件料箱拣选中3D数据稀疏噪声及多视角传感速度慢的问题，提出一种将多视角主动视觉与机器人运动任务紧密耦合的“手上传感器”系统，通过并行化和连续路径决策实现高速鲁棒拣选，实验显示平均拣选完成率超97.75%且传感仅占节拍时间0.635秒。
2024-10-01 cs.CV cs.RO
JENGA: Object selection and pose estimation for robotic grasping from a stack
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
针对结构化堆叠场景的机器人抓取需求，提出基于相机-IMU的优先抓取上层无遮挡物体的目标选择与6DoF位姿估计方法，构建配套基准数据集与评估指标，验证了方法有效性与任务挑战性，并完成建筑砖块抓取部署。
2025-06-16 cs.CV cs.RO
Two-Stage Grasping: A New Bin Picking Framework for Small Objects
本文提出两阶段抓取框架，通过密度估计与粗略抓取、精细分割与抓取推挤两阶段，实现杂乱小物体的精确拾取，实验验证其有效性。
2023-05-06 cs.RO
Learning Efficient Policies for Picking Entangled Wire Harnesses: An Approach to Industrial Bin Picking
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
线束是制造业中必不可少的连接部件，但在工业任务中实现自动化具有挑战性，例如拣选。它们很长，很灵活，当随机放置在垃圾箱中时往往会纠缠在一起。这使得机器人很难在密集的混乱中抓住一个。此外，由于线束的可变形部件和刚性部件的组合建模的困难，在仿真中训练或收集数据是具有挑战性的。在这项工作中，而不是直接解除线束，我们建议抓住和提取目标后，一个圆形的轨迹，直到它是解开。我们从真实世界的数据中学习一种策略，可以从视觉观察中推断抓握和分离动作。我们的政策，使机器人能够有效地挑选和分离纠缠的线束，最大限度地提高成功率和减少执行时间。为了评估我们的政策，我们提出了一套现实世界的实验挑选线束。我们的政策实现了84.6%的整体成功率，而基线为49.2%。我们还评估了我们的政策的有效性，在不同的混乱情况下，使用看不见的线束类型。结果表明，我们的方法是可行的，在工业箱拾取处理线束。
2023-01-07 cs.RO
Iterative Visual Recognition for Learning Based Randomized Bin-Picking
National Inst. of Advanced Industrial Science and Technology（产业技术综合研究所）；Osaka Univ.（大阪大学）；Kanazawa Univ.（金泽大学）；Toyota Motors Co. Ltd.（丰田汽车公司）
本文提出了一种基于学习的随机拣箱迭代视觉识别系统。由于在执行当前拾取试验时随机堆叠的物体上的配置与在执行先前拾取试验时的配置仅部分不同，因此我们考虑仅通过使用在当前拾取试验时拍摄的视觉图像的一部分来检测物体的姿态，其中该视觉图像与在先前拾取试验时拍摄的视觉图像不同。通过使用该方法，我们不需要在每次拾取试验时尝试检测堆中包括的所有对象的姿态。假设3D视觉传感器连接在机械手的手腕，我们首先解释一种方法来确定一个3D视觉传感器的姿态最大化随机堆叠的物体的可见性。然后，我们解释了一种用于检测随机堆叠对象的姿势的方法。我们所提出的方法的有效性得到了证实，实验中使用的双臂机械手的三维视觉传感器和两个手指的手连接在右手腕和左手腕，分别。
2016-08-01 cs.RO
Multi-Arm Bin-Picking in Real-Time: A Combined Task and Motion Planning Approach
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technical University of Berlin（柏林工业大学）；RWTH Aachen University（亚琛工业大学）
自动拣箱是实现全自动化制造和仓库的先决条件。为了成功地从非结构化箱子中拾取物品，机器人需要首先检测对物体的可能抓取，决定要移除的物体，并因此规划和执行可行的轨迹以取回所选择的物体。过去几年来，在解决这些问题方面取得了重大进展。然而，当多个机器人手臂合作的决策和规划问题变得指数困难。我们提出了一个集成的多臂装箱拾取流水线（IMAPIP），并证明它能够可靠地从一个箱子中拾取物体在实时的【形】使用多个机器人手臂。IMAPIP首先在高层次上使用集成在组合任务和运动规划框架中的几何感知策略来解决多臂装箱任务。然后，我们在运动规划级别上使用BIT* 算法规划与此策略一致的运动。我们表明，这种集成的解决方案，使机器人手臂的合作。在我们的实验中，我们表明，所提出的几何感知策略优于基线，通过使用两个机器人手臂将箱子拾取时间增加28%。该策略对容器位置和对象数量的变化具有鲁棒性。我们还表明，IMAPIP成功地扩展到四个机器人手臂在附近工作。
2022-11-20 cs.RO
SDT-6D: Fully Sparse Depth-Transformer for Staged End-to-End 6D Pose Estimation in Industrial Multi-View Bin Picking
Institute for Applications of Machine Learning and Intelligent Systems（机器学习与智能系统应用研究所）；University of Applied Science Munich（慕尼黑应用科学大学）
SDT-6D提出了一种基于稀疏深度-变换器的端到端6D姿态估计方法，通过分阶段热图机制和密度感知稀疏变换器块，实现高分辨率下的高效姿态预测。
2025-12-09 cs.CV cs.RO
Learning Based Industrial Bin-picking Trained with Approximate Physics Simulator
Graduate School of Engineering Science, Osaka University（大阪大学工程科学研究生院）；Intelligent Systems Research Institute, National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所智能系统研究所）
在本研究中，我们解决的问题，从随机堆叠堆中挑选一个对象。由于物体和手指之间接触的复杂物理现象使得难以以高成功率执行箱子拾取，因此我们考虑引入基于学习的方法。为了在合理的时间内收集足够数量的训练数据，我们引入了一个物理模拟器，其中近似用于碰撞检查。本文首先利用CNN（卷积神经网络）建立了基于学习的机器人拣箱算法。并利用CNN得到了平行颚夹持器的最佳抓取姿态。最后，我们表明，如果我们使用精确的3D模型来生成桩的深度图像作为CNN的输入，则在碰撞检查中引入的近似效果会放松。
2018-05-23 cs.RO
A Topological Solution of Entanglement for Complex-shaped Parts in Robotic Bin-picking
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）
本文讨论了在拣箱过程中，一次只能拣出一个物体，避免物体纠缠的问题。为了应对复杂形状的物体严重纠缠在一起的困难情况，我们提出了一种基于拓扑的方法，可以在单个深度图像上生成非纠缠的抓取位置。其核心技术是纠缠图，这是一个特征图，以衡量纠缠的可能性，从输入图像。我们使用纠缠图来选择可能包含可抓取对象的区域。考虑到机器人手与物体的碰撞，从选定的区域中检测出最佳抓取姿态。实验结果表明，我们的分析方法提供了一个更全面和直观的观察纠缠和超过以前的学习为基础的工作的成功率。特别是，我们基于拓扑的方法不依赖于任何对象模型或耗时的训练过程，因此可以轻松适应更复杂的装箱场景。
2022-03-01 cs.RO
Picking Bins Empty: A Hierarchical Hybrid Approach with Online Self-Learning of Grasp Points for Reliable Industrial Bin-Picking
University of Stuttgart（斯图加特大学）；Mercedes-Benz AG（梅赛德斯-奔驰公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；DLR Institute of Robotics and Mechatronics（德国航空航天中心机器人与机电一体化研究所）；Fraunhofer Institute for Industrial Engineering (IAO)（弗劳恩霍夫工业工程研究所）
本文针对工业料箱拣选需完全清空且无人工干预的挑战，提出四层分层混合方法，结合基于模型与无模型技术，通过在线自学习提升抓取性能，在汽车零件实验中实现100%料箱清空率，优于基线方法。
2026-08-31 cs.RO
Bin-picking of novel objects through category-agnostic-segmentation: RGB matters
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）
本文提出一种结合物体中心实例分割与仿真训练的类别无关分割方法，通过域随机化应对深度噪声，在真实分拣抓取中实现对透明与不透明新物体高达98%和97%的准确率，超越现有基准。
2023-12-27 cs.RO
Deep Workpiece Region Segmentation for Bin Picking
Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）；University of Stuttgart（斯图加特大学）
对于大多数工业箱拾取解决方案，通过将CAD模型与从3D传感器获得的点云进行匹配来定位工件的位姿。从点云中的箱底部区分平坦工件对工件的定位提出了挑战，这导致错误或幻影检测。在本文中，我们提出了一个框架，解决了这个问题，自动分割工件区域从非工件区域的点云数据。它是通过应用在模拟和真实数据上训练的完全卷积神经网络实时的完成的。我们的新技术，自动生成真实的点云标签的真实数据已被标记。随着实时的工件分割，我们的框架还有助于提高检测到的工件的数量和估计正确的对象姿态。此外，由于用于对象姿态估计的搜索空间的减小，它将计算时间减少了约1 s。
2019-09-08 cs.CV cs.LG cs.RO
Data Generation for Learning to Grasp in a Bin-picking Scenario
Wuhan University（武汉大学）
深度学习的兴起极大地改变了机器人抓取的管道，从基于模型的方法到数据驱动的流。沿着这条线，大规模的抓取数据，无论是从模拟或从现实世界的例子收集变得非常重要。在本文中，我们提出了我们最近的工作，数据生成模拟一个垃圾箱采摘场景。从YCB对象数据集中选取77个对象，使用PyBullet生成数据集，其中考虑了不同的环境条件，包括光照、相机姿态、传感器噪声等。总共收集了10万个数据样本，包括地面真值分割、RGB、6D姿态和点云。所有数据示例，包括源代码，都可以在线获得。
2021-08-14 cs.RO
Learning to Dexterously Pick or Separate Tangled-Prone Objects for Industrial Bin Picking
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Osaka University（大阪大学）
本文提出 PickNet 与 PullNet 结合的自监督学习方法，通过抓取、丢入缓冲箱和拉动分离策略，实现工业料箱中易缠绕物体的灵巧拣选，成功率达90%。
2023-07-07 cs.RO
Fast and Robust Bin-picking System for Densely Piled Industrial Objects
Zhejiang University（浙江大学）
物体抓取，也被称为捡箱，是工业机器人面临的最常见的任务之一。虽然在相关主题中已经做了很多工作，但抓取随机堆放的对象仍然是一个挑战，因为现有的许多工作要么缺乏鲁棒性，要么花费太多资源。在本文中，我们开发了一个快速和强大的箱子拾取系统，抓取密集堆积的对象自适应和安全。该系统首先采用改进的基于密度的噪声空间聚类算法（DBSCAN）进行点云分割，该算法结合区域生长算法进行改进，并采用八叉树加快计算速度。然后，系统使用主成分分析（PCA）进行粗配准，并使用迭代最近点（ICP）进行精配准。我们提出了一个把握风险评分（GRS）来评估每个对象的碰撞概率，稳定性的对象，和整个桩的稳定性。通过对Anno机器人的实际测试，验证了该方法在速度和鲁棒性方面的先进性。
2020-12-04 cs.RO
A Closed-Loop Bin Picking System for Entangled Wire Harnesses using Bimanual and Dynamic Manipulation
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Osaka University（大阪大学）
本文提出一种基于双臂动态操作和触觉反馈闭环框架的工业线束箱体拾取系统，通过实时检测缠绕并动态调整抓取姿态，在使用两种长线束的真实实验中实现了91.2%的总体成功率。
2023-06-26 cs.RO
MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy
University of Waterloo（滑铁卢大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对机器人料箱抓取中传感器故障导致的可靠性问题，提出MMRNet，通过多模态冗余、门控融合与动态集成学习，以及多模态一致性分数，提升系统输出可靠性。
2023-05-07 cs.CV cs.LG cs.RO
Initial Experiments on Learning-Based Randomized Bin-Picking Allowing Finger Contact with Neighboring Objects
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Kanazawa University（金泽大学）；Toyota Motors Co., Ltd.（丰田汽车公司）
提出了一种基于学习的随机装箱方法。当双指夹持器试图从堆中拾取物体时，手指通常会接触相邻的物体。即使手指接触相邻对象，也会根据相邻对象的配置成功拾取目标对象。在我们所提出的方法中，我们使用的视觉信息对邻近的物体训练的机器人。对应于物体的抓握姿势，该拾取器预测即使手指接触相邻物体拾取是否将成功。我们研究两种学习算法，线性支持向量机（SVM）和随机森林（RF）的方法。通过使用这两种方法，我们证明了采摘的成功率显着高于传统的方法没有学习。
2016-07-11 cs.RO
Experiments on Learning Based Industrial Bin-picking with Iterative Visual Recognition
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Kanazawa University（金泽大学）；Toyota Motors Co., Ltd.（丰田汽车公司）
本文展示了基于学习的随机装箱结合迭代视觉识别的实验结果。我们使用随机森林来预测机器人是否会成功地选择一个对象，考虑到手指和相邻对象之间的碰撞，给定的深度图像的桩。为了使深度传感器准确，我们考虑通过使用连接在手腕上的深度传感器合并从不同角度捕获的桩的多个深度图像来估计对象的姿态。我们表明，即使机器人被预测为失败，在挑选一个对象与一个单一的深度图像，由于其大的遮挡区域，它最终被预测为成功后，合并多个深度图像。此外，我们证明了随机森林可以用少量的训练数据进行训练。
2018-05-22 cs.RO
Low Cost Bin Picking Solution for E-Commerce Warehouse Fulfillment Centers
Addverb Technologies Pvt. Ltd.（Addverb科技私人有限公司）
近年来，电子商业履行仓库的吞吐量需求急剧增加。这导致了各种自动化解决方案正在开发的项目采摘和运动。在本文中，我们解决的问题，机械手挑选异构项目随机放置在一个箱子。传统的解决方案需要将物品拣选成以有序的方式放置在箱子中，并且预先知道物品的确切尺寸。这种解决方案在现实世界中表现不佳，因为箱子中的物品很少以有序的方式放置，并且电子商业供应商几乎每天都添加新产品。我们提出了一个具有成本效益的解决方案，可以应对上述挑战。我们的解决方案包括一个双传感器系统，包括一个常规的RGB相机和一个3D ToF深度传感器。我们提出了一种新的算法，融合这些传感器的数据，以提高对象分割，同时保持姿态估计的准确性，特别是在闭塞的环境和紧密包装箱。我们实验验证我们的系统的性能，通过使用ABB IRB 1200机器人挑选箱子。我们还表明，我们的系统保持了高水平的姿态估计的准确性，是独立的盒子，纹理，遮挡或方向的尺寸。我们进一步表明，我们的系统是计算成本较低，并保持一致的检测时间为1秒。我们还讨论了这种方法可以很容易地扩展到所有形状的对象。
2021-09-24 cs.RO
Efficient End-to-End Detection of 6-DoF Grasps for Robotic Bin Picking
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tuebingen（蒂宾根大学）
针对料箱拣选可达性受限导致可行6-DoF抓取不足的问题，提出基于Power-Spherical分布的端到端概率抓取模型，从单张深度图生成多样无碰撞抓取，并在仿真与真实机器人上达到约90%清空率。
2024-05-10 cs.RO
GOMP: Grasp-Optimized Motion Planning for Bin Picking
University of California at Berkeley（加州大学伯克利分校）
快速可靠的机器人拣仓是自动化仓库的关键挑战，通常以每小时拣货量（PPH）衡量。我们探索增加PPH使用更快的运动的基础上优化了一组候选人的把握。这组抓取的来源是双重的：（1）抓取分析工具，如Dex-Net生成多个候选抓取，以及（2）这些抓取中的每一个都有一个机器人抓取器可以旋转的自由度。在本文中，我们提出了抓取优化运动规划（GOMP），一种算法，加快了执行的垃圾箱采摘机器人的操作，将机器人动力学和一组候选人的把握，由一个把握规划到一个优化的运动规划。我们计算运动优化与序列二次规划（SQP）和迭代更新的信赖域占非凸性质的问题。在我们的公式中，我们将运动限制在机器人的机械限制范围内，同时避开障碍物。我们进一步转换的问题，以时间最小化，反复缩短的时间范围的轨迹，直到SQP是不可行的。在UR 5的实验中，GOMP实现了9倍于基线规划器的加速。
2020-03-05 cs.RO
XYZ-IBD: Benchmarking Robust 6D Object Pose Estimation under Real-World Industrial Complexity
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；XYZ Robotics；ROBOX；Google（谷歌）
XYZ-IBD是一个专门针对工业分拣的高精度基准，包含75个多视角真实场景，通过高密度随机堆叠和多实例模糊性反映真实机器人操作挑战，验证了工业视觉中6D姿态估计的性能退化问题。
2026-06-29 cs.CV
DBPF: A Framework for Efficient and Robust Dynamic Bin-Picking
T Stone Robotics Institute（T Stone机器人研究所）；the Chinese University of Hong Kong（香港中文大学）；Hong Kong Centre for Logistics Robotics (HKCLR)（香港物流机器人中心）；University of California at Berkeley（加州大学伯克利分校）
针对传统机器人料箱拣选依赖静态场景的局限，提出动态料箱拣选框架DBPF，结合趋势感知可操作性网络等设计，实现动态场景下零碰撞、84%的拣选成功率，性能显著优于基线。
2024-03-25 cs.RO cs.SY eess.SY
Suction Grasp Region Prediction using Self-supervised Learning for Object Picking in Dense Clutter
Shanghai Jiao Tong University（上海交通大学）
研究了机器人在杂乱环境下的拣选任务。由于拣仓作业中姿态的多样性、堆垛类型的多样性和背景的复杂性，在抓取之前对其进行姿态识别和估计是非常困难的。本文将Resnet与卷积神经网络（CNN）的一种特殊框架--U-net结构相结合，在不需要识别和姿态估计的情况下预测拾取区域。使机器人采摘系统能够从零开始学习采摘技能。同时，我们用在线样本对网络进行端到端的训练。在本文的最后，进行了几个实验来证明我们的方法的性能。
2019-04-24 cs.CV cs.LG cs.RO
Pseudo-Labeling and Contextual Curriculum Learning for Online Grasp Learning in Robotic Bin Picking
Technical University Dortmund（多特蒙德工业大学）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）
提出 SSL-ConvSAC，将带奖励反馈像素作为标签并结合半监督学习、强化学习与上下文课程，实现机器人料箱拣选的在线抓取学习。
2024-03-04 cs.AI cs.RO
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
本文针对精确抓取应用中物体姿态估计和抓取过程的误差问题，提出模块化框架。通过物体姿态分布估计和第二视角模块降低姿态不确定性，用独立模块补偿抓取误差，经真实场景测试，该框架能提高效率，是解决相关不确定性的首个可互换模块框架。
2026-07-16 cs.CV cs.RO
Model-free Grasping with Multi-Suction Cup Grippers for Robotic Bin Picking
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出一种与夹爪设计无关的多吸盘无模型抓取位姿预测方法，通过神经网络预测逐像素抓取质量并结合优化步骤确定最优夹爪选择与位姿，同时引入自动标注方法，在真实工业料箱拣选场景中验证了有效性。
2023-07-31 cs.AI cs.RO
Non-Markov Policies to Reduce Sequential Failures in Robot Bin Picking
The AUTOLab at University of California, Berkeley（加州大学伯克利分校AUTOLab实验室）
使用深度学习的新一代自动化垃圾箱拣选系统正在发展，以支持日益增长的电子商务需求。为了适应各种各样的产品，许多自动化系统包括多种夹持器类型和/或工具更换器。然而，对于某些对象，连续抓取失败是常见的：当计算抓取未能提升和移除对象时，箱子通常保持不变;由于传感器输入是一致的，系统一遍又一遍地重试相同的抓取，导致平均每小时成功拾取（MPPH）的显着减少。基于一个实证研究的顺序故障，我们描述了一类“顺序故障对象”（SFO）-对象容易顺序故障的基础上一个新的分类。然后，我们提出了三个非马尔可夫采摘政策，将过去的失败记忆修改后续行动。在SFO模型和EGAD数据集上的仿真实验表明，非马尔可夫策略在顺序故障率和MPPH方面明显优于马尔可夫策略。在对50堆12个SFO的物理实验中，最有效的非马尔可夫策略比Dex-Net马尔可夫策略增加了107%的MPPH。
2020-07-20 cs.AI cs.RO
Seg2Grasp: A Robust Modular Suction Grasping in Bin Picking
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；Artificial Intelligence Institute, Seoul National University（首尔国立大学人工智能研究所）；Department of Computer Science, Seoul National University（首尔国立大学计算机科学系）
研究针对非结构化环境中无序抓取难题，提出Seg2Grasp模块化方法，经分割、抓取、分类三步流程，利用多种技术确定吸力点与识别物体，实际实验证明该方法在成功率和适应性上优于现有方法，是工业自动无序抓取有力工具。
2026-07-21 cs.AI cs.RO
PS6D: Point Cloud Based Symmetry-Aware 6D Object Pose Estimation in Robot Bin-Picking
Institute of Robotics and Automatic Information System, Nankai University（南开大学机器人与自动信息系统研究所）；Mech-Mind（梅卡曼德）
针对工业工件锈蚀、高反射和无纹理场景，本文提出基于点云的PS6D框架，利用注意力多尺度特征、对称性感知损失与两阶段聚类实现6D位姿估计，性能显著提升并已工业部署。
2024-05-18 cs.RO
RGBSQGrasp: Inferring Local Superquadric Primitives from Single RGB Image for Graspability-Aware Bin Picking
University of Michigan（密歇根大学）；University of Waterloo（滑铁卢大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University College London（伦敦大学学院）
RGBSQGrasp通过单目RGB图像推断抓取姿态，利用超二次曲面原语提升托盘拾取任务的抓取稳定性和适应性。
2025-11-22 cs.RO cs.SY eess.SY
Fast Object Learning and Dual-arm Coordination for Cluttered Stowing, Picking, and Packing
University of Bonn（波恩大学）
从杂乱的垃圾箱中进行机器人拣选是一项艰巨的任务，亚马逊机器人技术对此提出了挑战。2017年亚马逊机器人挑战赛（ARC）要求将物品存放到存储系统中，挑选特定物品并将其包装到盒子中。在本文中，我们描述了团队NimbRo Picking的入口。我们的深度对象感知管道可以使用自定义转盘捕获系统和迁移学习快速有效地适应新项目。它生成高质量的物品段，并在其上找到抓取姿势。规划组件协调两个机器人手臂之间的操作动作，最大限度地减少执行时间。该系统已在ARC上成功演示，我们的团队在拣选任务和最终的堆取任务中都获得了第二名。我们还评估各个组件。
2018-10-06 cs.RO
Pickalo: Leveraging 6D Pose Estimation for Low-Cost Industrial Bin Picking
MESH Facility (formerly iCub Tech), Istituto Italiano di Tecnologia（意大利技术研究院MESH设施（原iCub Tech））；AMI laboratory, Istituto Italiano di Tecnologia（意大利技术研究院AMI实验室）；Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所（ISIR））；Generative Bionics（Generative Bionics公司）；Camozzi Automation SpA（Camozzi自动化股份公司）
Pickalo通过低成本硬件实现6D位姿估计，结合深度估计和姿态缓冲模块，在工业环境中实现高效率的装箱拾取，达到每小时600次拾取，成功率达96-99%。
2026-10-14 cs.AI cs.RO
Cluttered Food Grasping with Adaptive Fingers and Synthetic-Data Trained Object Detection
Preferred Networks, Inc.（首选网络公司）
食品包装行业处理的食品种类繁多，形状和大小各异，甚至在一种食品。菜单也是多样的，经常变化，使自动化的拾取和放置困难。一种流行的装箱方法是首先通过使用实例分割方法来识别托盘中的每一块食物。然而，人类注释训练这些方法是不可靠的，并且容易出错，因为食物被紧密地包装在一起，边界不清楚，视觉相似性使得难以分离碎片。为了解决这个问题，我们提出了一种方法，训练纯粹的合成数据和成功地转移到现实世界中使用sim 2 real的方法，通过创建数据集的填充食品托盘使用高质量的3d模型的真实件的食物的训练实例分割模型。另一个问题是，食物在抓取过程中容易损坏。我们通过引入两种额外的方法来解决这个问题-一种新颖的自适应手指机制，当发生碰撞时被动缩回，以及一种过滤抓握过程中可能对相邻食物造成损害的方法。我们证明了所提出的方法对几种真正的食物的有效性。
2022-03-10 cs.CV cs.RO
Multi-Object Grasping -- Generating Efficient Robotic Picking and Transferring Policy
University of South Florida（南佛罗里达大学）
在容器之间传输多个对象是许多应用程序的常见任务。在机器人技术中，一个标准的方法是每次拿起一个物体并将其转移。然而，抓取和拾取多个物体并立即将它们转移到一起更有效。本文提出了一套新的策略，有效地抓住多个物体在一个箱子，将它们转移到另一个。该策略使得机器人手能够识别最佳的准备好的手配置（预抓取），并基于要抓取的物体的期望数量来计算屈曲协同。本文还提出了一种方法，使用马尔可夫决策过程（MDP）建模时，所需的数量是大于一个单一的把握能力的采摘转移例程。使用MDP模型，所提出的方法可以生成一个最佳的采摘转移例程，最大限度地减少转移的数量，代表效率。所提出的方法已在仿真环境和一个真正的机器人系统进行了评估。结果表明，该方法减少了59%的转移和电梯的数量相比，最佳的单对象拾取转移解决方案的58%。
2021-12-18 cs.RO
Compliant Suction Gripper with Seamless Deployment and Retraction for Robust Picking against Depth and Tilt Errors
Seoul National University（首尔国立大学）
由于视觉系统中的深度和倾斜误差，在非结构化环境中应用吸力抓持器是一项具有挑战性的任务，需要额外的成本来进行精细的感测和控制。为了减少额外的成本，已经提出了具有顺应性主体或机构的吸力抓持器;然而，它们的笨重和有限的容许误差阻碍了它们在具有大误差的复杂环境中的使用。在这里，我们提出了一个紧凑的吸力抓手，可以在很宽的距离和倾斜角度范围内拾取物体，而无需精心的传感和控制。插入弹簧的夹持器主体展开并符合远距离和倾斜的物体，直到吸盘完全密封物体，并立即缩回，同时保持物体。这种无缝的展开和缩回是通过将夹持器主体和吸盘连接到相同的真空源来实现的，该真空源耦合夹持器主体的真空拾取和缩回。实验结果表明，所设计的夹持器能够抓取79 mm（初始长度的1.4倍）以内的物体，并且能够抓取倾角最大为60°的物体。通过实验验证了该夹持器的可行性，包括从同一拾取高度拾取不同高度的物体和透明物体的分仓拾取。
2022-11-29 cs.RO
Unknown Object Segmentation through Domain Adaptation
Wuhan University（武汉大学）；University of the West of England（西英格兰大学）
在杂乱场景中分割未知物体的能力对机器人抓取有着深远的影响。深度学习的兴起极大地改变了机器人抓取的管道，从基于模型的方法到数据驱动的流，这通常需要从仿真或真实世界的例子中收集大规模的抓取数据。在本文中，我们提出了一个模拟到真实的框架，将在模拟中学习的对象分割模型转移到现实世界中。首先，在仿真中收集数据样本，包括RGB，6D姿态和点云。其次，我们还提出了一种基于GAN的领域自适应未知目标分割方法，该方法由图像平移模块和图像分割模块组成。图像平移模块用于缩小真实感差距，分割模块负责分割模板的生成。我们使用上述方法在一个bin-picking场景中对未知对象进行分割实验。实验结果表明，仿真学习的分割模型可以用于实际数据的分割。
2021-08-09 cs.RO
A Learning Framework for Robust Bin Picking by Customized Grippers
University of California, Berkeley（加州大学伯克利分校）；FANUC Advanced Research Lab.（发那科高级研究实验室）
定制的夹具具有专门设计的手指，以增加与工件的接触面积，并提高抓持鲁棒性。然而，由于对象的变化，表面接触和夹具的结构约束，用于定制夹具的抓取规划是具有挑战性的。在本文中，我们提出了一个学习框架，以规划强大的掌握定制的抓手在实时。学习框架包含一个低层次的优化为基础的规划器，以搜索最佳的把握物体形状变化下的本地，和一个高层次的学习为基础的资源管理器，学习掌握探索以前的把握经验的基础上。基于优化的规划器使用迭代曲面拟合（ISF），同时搜索最佳的抓手变换和手指位移，通过最小化曲面拟合误差。基于高级学习的探索器训练基于区域的卷积神经网络（R-CNN）以提出好的优化区域，从而避免ISF陷入坏的局部最优，提高避碰性能。所提出的RCNN-ISF学习框架能够考虑夹持器的结构约束，从以前的经验中学习抓取探索策略，并实时规划杂波环境中的最优抓取。通过实验验证了算法的有效性。
2019-03-05 cs.AI cs.RO
Learning suction graspability considering grasp quality and robot reachability for bin-picking
本文针对料箱拣选提出直观的几何抓取质量指标与可达性指标，并训练 SG-U-Net++ 同时预测像素级抓取质量与可达性，实现 560 PPH 拣选速度。
2021-11-04 cs.LG cs.RO
End-to-end deep learning-based framework for path planning and collision checking: bin picking application
University of Victoria（维多利亚大学）；Apera AI（阿佩拉人工智能公司）
提出端到端 PPCNet，通过双网络顺序生成并验证无碰撞路径点，结合模仿学习与几何碰撞函数逼近，在料箱拣选实验中显著降低规划时间。
2023-03-31 cs.RO cs.SY eess.SY
Bayesian Optimization for Developmental Robotics with Meta-Learning by Parameters Bounds Reduction
LIRIS, CNRS UMR 5205 Ecole Centrale de Lyon（里昂中央理工学院 LIRIS 实验室（法国国家科学研究中心 UMR 5205））
在机器人技术中，方法和软件通常需要优化超参数，以便有效地执行特定任务，例如从不同对象的同质堆中进行工业装箱。我们提出了一个发展框架的基础上长期记忆和推理模块（贝叶斯优化，视觉相似性和参数边界减少），允许机器人使用元学习机制，提高这种连续和约束参数优化的效率。新的优化被视为机器人的学习，可以利用过去的经验（存储在情节和过程存储器中），以通过使用从具有新任务的机器人实现的最佳优化计算的减少的参数边界来缩小搜索空间（例如，基于存储在语义记忆中的对象的视觉相似性，从相似对象的同质堆中进行装箱）。作为例子，我们已经面对系统的9个连续的超参数的约束优化的专业软件（Kamido）在工业机器人手臂装箱任务，每次都需要正确地处理新的对象的一个步骤。我们使用模拟器为8个不同的对象创建装箱任务（7个在模拟中，一个在真实设置中，没有和有来自其他类似对象的经验的元学习）尽管优化预算很小，但仍实现了良好的结果，当使用元学习时，性能更好（总体成功率为84.3% vs 78.9%，每次优化的小预算为30次迭代）（p值=0.036）。
2020-07-30 cs.AI cs.LG cs.RO
A Hybrid Approach for Learning to Shift and Grasp with Elaborate Motion Primitives
Bosch Center for Artificial Intelligence（博世人工智能中心）
机器人在现实世界中的许多可能的应用领域取决于机器人抓取物体的能力。因此，机器人抓取多年来一直是一个活跃的研究领域。通过我们的出版物，我们致力于使机器人能够抓取，特别关注垃圾箱拾取应用。由于物体的通常杂乱和非结构化的布置以及通过简单的自上而下的抓握对物体的通常有限的可抓握性，箱子拾取尤其具有挑战性。为了应对这些挑战，我们提出了一个完全自我监督的强化学习方法的基础上的混合离散-连续适应软演员-评论家（SAC）。我们采用参数化的运动原语推和抓运动，以使一个灵活的适应性强的行为，我们考虑的困难设置。此外，我们使用数据增强来提高样本效率。我们证明了我们提出的方法具有挑战性的采摘场景中，平面把握学习或动作离散化方法将面临很多困难
2021-11-02 cs.AI cs.RO
Uncertainty-driven Exploration Strategies for Online Grasp Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Stuttgart（斯图加特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对未见场景的在线抓取适应问题，提出一种基于不确定性的在线学习RL框架，通过贝叶斯与分布集成估计指导探索，显著提升了真实料箱拾取的抓取性能。
2024-04-24 cs.AI cs.RO
Constrained Generative Sampling of 6-DoF Grasps
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；NVIDIA Corporation（英伟达公司）
针对任务指定部位的抓取需求，本文提出约束式6-DoF生成抓取网络VCGS，并构建含1400余万样本的CONG数据集，实验显示其成功率和采样效率均显著优于GraspNet。
2023-08-17 cs.RO
