Kinematics of continuum planar grasping
Department of Mechanical and Aerospace Engineering, University of South Florida(南佛罗里达大学机械与航空航天工程系)
本文提出分析框架研究软连续体臂抓取平面物体时的几何特性,通过优化控制理论确定最优抓取配置,并提出连续体抓取质量度量标准。
2026-04-10 cs.RO cs.SY eess.SY
Sample Efficient Grasp Learning Using Equivariant Models
Northeastern University(东北大学)
在平面抓取检测中,目标是从场景的图像学习到$\mathrm{SE}(2)$中的一组可行抓取姿势的函数。在本文中,我们认识到,最佳把握功能是$\mathrm{SE}(2)$ -等变的,可以使用等变卷积神经网络建模。因此,我们能够显着提高抓取学习的样本效率,仅在600次抓取尝试后就获得了抓取函数的良好近似。这是足够少的,我们可以在大约1.5小时内学会完全掌握物理机器人。
2022-02-18 cs.RO
SGDN: Segmentation-Based Grasp Detection Network For Unsymmetrical Three-Finger Gripper
Shandong University(山东大学)
在本文中,我们提出了基于分割的抓取检测网络(SGDN)预测一个可行的机器人抓持的非对称三指机器人手爪使用RGB图像。对目标的可行抓取应该是具有相同抓取角度和宽度的抓取区域的集合。也就是说,一个简化的平面抓取表示应该是像素级的,而不是像五维抓取表示那样的区域级的,因此,我们提出了一个像素级的抓取表示--有向基固定三角形。它也更适用于不对称的三指夹持器,在抓取某些物体时不能对称抓取,抓取角度在[0,2π)而不是平行板夹持器的[0,π)。为了预测RGB图像中合适的抓取区域及其对应的抓取角度和宽度,SGDN使用DeepLabv 3+作为特征提取器,在重新标注的Cornell Grasp数据集上,该模型在图像分割和对象分割上分别达到了96.8%和92.27%的准确率,并获得与现有技术方法一致的准确预测。
2020-05-17 cs.RO
Push-MOG: Efficient Pushing to Consolidate Polygonal Objects for Multi-Object Grasping
UC Berkeley(加州大学伯克利分校);University of Leeds(利兹大学)
提出Push-MOG算法,利用平行夹爪执行叉式推动动作以聚合多边形物体形成可抓取簇,从而实现多物体抓取,在物理清理实验中使每次行程平均抓取物体数提高34%。
2023-06-24 cs.RO
Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics
University of California, Berkeley(加州大学伯克利分校);Siemens Corporation, Corporate Technology(西门子公司企业技术部)
为了减少鲁棒机器人抓取计划的深度学习的数据汇集时间,我们探索从670万个点云,抓取和分析抓取度量的合成数据集进行训练,这些数据是从Dex-Net 1.0的数千个3D模型中生成的,这些模型在桌子上随机摆姿势。我们使用由此产生的数据集Dex-Net 2.0来训练抓取质量卷积神经网络(GQ-CNN)模型,该模型可以快速预测深度图像中抓取成功的概率,其中抓取被指定为相对于RGB-D传感器的平面位置,角度和深度。在ABB YuMi上进行了超过1,000次试验,比较了单个物体的抓取规划方法,结果表明,仅使用Dex-Net 2.0的合成数据训练的GQ-CNN可以在0.8秒内规划抓取,在8个具有对抗几何形状的已知物体上的成功率为93%,并且比将点云注册到预先计算的物体和索引抓取数据集快3倍。Dex-Net 2.0抓取规划器在10个新型刚性物体的数据集上也具有最高的成功率,并在40个新型家用物体的数据集上实现了99%的精度(69个抓取中有一个假阳性被归类为鲁棒),其中一些是铰接或可变形的。代码、数据集、视频和补充材料可在http://berkeleyautomation.github.io/dex-net上获得。
2017-08-08 cs.RO
Manipulation with Shared Grasping
Carnegie Mellon University(卡内基梅隆大学);Southern University of Science and Technology(南方科技大学)
共享抓取是由被操纵物体与机器人手和环境之间的接触形成的抓取。通过将手部接触与环境接触进行交换,共享抓握需要较少的手部接触,并且即使在不可能完全抓握的情况下也能够进行操纵。以前的研究已经使用了非易失性操作,如旋转和翻滚的共同掌握。本文处理的问题更一般,与方法来选择最好的共享把握和机器人的行动所需的对象运动。中心问题是评估可行的接触模式:对于每个接触,该接触是否将保持活跃,以及是否会发生滑动。鲁棒性很重要。当接触模式失败时,例如,当失去接触或发生无意的滑动时,操作将失败,并且在某些情况下可能发生损坏。在这项工作中,我们列举了所有可行的接触模式,计算相应的控制,并选择最强大的候选人。我们还可以优化接触几何形状以实现稳健性。本文采用准静态分析的平面刚体库仑摩擦推导的算法和控制。最后,我们在代表性实验和示例中展示了共享抓取的鲁棒性以及我们的方法的使用。该视频可以在https://youtu.be/tyNhJvRYZNk上找到
2020-06-04 cs.RO
Robot Learning of 6 DoF Grasping using Model-based Adaptive Primitives
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT));SCHUNK GmbH & Co. KG(雄克有限两合公司)
本文提出一种混合方法,将基于模型的控制器集成到全卷积抓取原语学习中,参数化横向自由度以避免碰撞并提升六自由度料箱拣选性能,经27000次真实训练后在密集杂乱中抓取已知物体成功率超过92%。
2021-03-23 cs.RO
Enhancing Grasping Performance of Novel Objects through an Improved Fine-Tuning Process
Shenzhen University(深圳大学);Xpeng Robotics(小鹏机器人);Chinese Academy of Engineering(中国工程院)
本文提出一种通过采样抓取方向快速生成新物体6D位姿标注数据的方法,并设计考虑夹爪闭合影响的优化标注框架,使新物体微调效率提升400%。
2023-10-28 cs.RO
Multi-Object Grasping in the Plane
University of Leeds(利兹大学);UC Berkeley(加州大学伯克利分校)
我们考虑了一个新的问题,多个刚性凸多边形对象休息在随机放置的位置和方向上的平面上可见从开销相机。目标是使用多物体推抓来有效地抓取所有物体并将其运输到箱子中,其中多个物体被推到一起以促进多物体抓取。我们提供了必要的条件,无摩擦的多对象推抓,并将这些过滤器不允许的把握在一个新的多对象把握规划。我们发现,我们的规划器比Mujoco模拟器基线快19倍。我们还提出了一个采摘算法,使用单和多对象的把握来挑选对象。在物理抓取实验中,我们发现无摩擦多物体抓取系统的抓取成功率提高了13.6%,抓取速度提高了59.9%,从212 PPH提高到340 PPH。有关视频和代码,请参见\url{https://sites.google.com/view/multi-object-grasping}。
2022-09-21 cs.AI cs.RO
quARtet Marker: A 3D-Printable Multi-Tag Fiducial for Robust Near-Frontal Pose Estimation
JSR Corporation(JSR株式会社);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对透明或反光物体操作中近正面姿态估计不可靠的问题,提出3D打印的quARtet标记,通过倾斜多个AprilTags提升精度,实验验证其显著降低误差并兼顾可抓取性。
2026-10-09 cs.RO
Motion Planning for a Climbing Robot with Stochastic Grasps
Stanford University(斯坦福大学)
多肢攀爬机器人的运动规划必须考虑机器人的姿态、关节力矩以及它如何利用接触力与环境相互作用。这篇论文的重点是机器人的运动规划,该机器人使用非传统的运动来探索不可预测的环境,如火星洞穴。我们的机器人概念,ReachBot,使用可伸缩的吊杆作为四肢,在攀爬时实现大的可达工作空间。每个可延伸的吊杆都有一个微棘夹持器,用于抓取岩石表面。ReachBot利用其庞大的工作空间绕过障碍物,越过裂缝,并通过具有挑战性的地形。我们的规划方法必须是多功能的,以适应可变的地形特征和强大的,以减轻风险的随机性与脊柱抓。在本文中,我们引入了一个图遍历算法来选择一个离散的顺序的基础上,现有的地形特征适合把握把握。该离散计划由解耦运动规划器补充,该运动规划器考虑身体运动和末端执行器运动的交替阶段,使用基于采样的规划和顺序凸规划的组合来优化各个阶段。我们使用我们的运动规划器来规划一个模拟的2D洞穴环境中的轨迹,成功的概率至少为95%,并在基线轨迹上表现出更好的鲁棒性。最后,我们通过实验验证我们的运动规划算法在二维平面原型。
2022-09-21 cs.RO
Attribute-based Object Grounding and Robot Grasp Detection with Spatial Reasoning
Department of Electrical and Computer Engineering, Univ. of Minnesota(电气与计算机工程系);Amazon Lab126(亚马逊实验室126);National Tsing Hua University(国立清华大学)
提出OGRG框架,通过双向视觉-语言融合和深度信息实现基于属性的对象定位与抓取检测,在重复对象和开放语言下优于基线,支持弱监督学习。
2025-09-09 cs.RO
A Hybrid Approach for Learning to Shift and Grasp with Elaborate Motion Primitives
Bosch Center for Artificial Intelligence(博世人工智能中心)
机器人在现实世界中的许多可能的应用领域取决于机器人抓取物体的能力。因此,机器人抓取多年来一直是一个活跃的研究领域。通过我们的出版物,我们致力于使机器人能够抓取,特别关注垃圾箱拾取应用。由于物体的通常杂乱和非结构化的布置以及通过简单的自上而下的抓握对物体的通常有限的可抓握性,箱子拾取尤其具有挑战性。为了应对这些挑战,我们提出了一个完全自我监督的强化学习方法的基础上的混合离散-连续适应软演员-评论家(SAC)。我们采用参数化的运动原语推和抓运动,以使一个灵活的适应性强的行为,我们考虑的困难设置。此外,我们使用数据增强来提高样本效率。我们证明了我们提出的方法具有挑战性的采摘场景中,平面把握学习或动作离散化方法将面临很多困难
2021-11-02 cs.AI cs.RO
6-DOF Grasping for Target-driven Object Manipulation in Clutter
NVIDIA(英伟达);The Robotics Institute, CMU(卡内基梅隆大学机器人研究所);University of Washington(华盛顿大学)
在杂乱的环境中抓取是一项基本但具有挑战性的机器人技能。它既需要推理看不见的物体部分,也需要推理与操纵器的潜在碰撞。大多数现有的数据驱动的方法避免了这个问题,限制自己自上而下的平面把握,这是不够的,许多现实世界的情况下,大大限制了可能的把握。我们提出了一种方法,计划6自由度把握任何所需的对象在一个混乱的场景从部分点云观测。我们的方法实现了80.3%的抓取成功率,比基线方法高出17.6%,并在真实机器人平台上清除了9个杂乱的桌子场景(其中包含23个未知对象和51个拾取)。通过使用我们学习的碰撞检查模块,我们甚至可以推理有效的抓取序列来检索无法立即访问的对象。补充视频可以在https://youtu.be/w0B5S-gCsJk上找到。
2020-05-21 cs.CV cs.RO
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies(达闼科技)
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务:物体定位、物体姿态估计和抓取估计。具体地说,目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿,包括基于对应关系的方法、基于模板的方法和基于投票的方法,其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法,其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位,而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计,而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外,还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
DA-GRD: Decision-Aware Grasp-Relevant Disambiguation for tactile recovery under perception-to-execution mismatches
Institute of Advanced Intelligence and Computing (IAIC), Agency for Science, Technology and Research (A*STAR)(先进智能与计算研究所(IAIC),新加坡科技研究局(A*STAR));Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
针对感知-执行失配下的抓取姿态失效问题,提出决策感知的触觉消歧方法DA-GRD,通过加权平面信念与选择性触觉探测,在无视觉条件下以少量交互高效恢复可执行抓取,显著提升成功率。
2026-09-25 cs.RO
Learning to Efficiently Plan Robust Frictional Multi-Object Grasps
University of Leeds(利兹大学);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Siemens Research Lab(西门子研究实验室)
本文研究多物体抓取清理问题,通过引入摩擦力增加潜在抓取数量,并使用真实样本训练神经网络规划鲁棒的多物体抓取,显著提升了每小时抓取次数并大幅缩短了规划时间。
2023-08-02 cs.AI cs.LG cs.RO
Generalizable 6D Pose Estimation of Textureless Objects with Planar-based Gaussian Splatting
College of Future Information Technology, Fudan University(复旦大学未来信息技术学院);College of Intelligent Robotics and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院);University of Turku(图尔库大学);Jihua Laboratory(季华实验室)
提出PG-Pose框架,结合平面高斯溅射重建与几何驱动优化,在无CAD模型条件下实现无纹理物体6D姿态估计,在OnePose-LowTexture数据集上达到94.2%精度,并成功应用于工业机器人抓取。
2026-09-09 cs.RO
TD-TOG Dataset: Benchmarking Zero-Shot and One-Shot Task-Oriented Grasping for Object Generalization
University of Aberdeen(阿伯丁大学);Bank of Valletta(瓦莱塔银行);Universite Claude Bernard Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);École Centrale de Lyon(里昂中央理工学院);INSA Lyon(里昂国立应用科学学院);Université Lumière Lyon 2(里昂第二大学);Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学)
本文构建真实世界 TD-TOG 数据集以补齐任务导向抓取标注与基准短板,并提出结合零样本物体识别和一样本可供性识别的 Binary-TOG,在多物体场景达到 68.9% 准确率。
2025-06-05 cs.RO
Learning to Grasp from 2.5D images: a Deep Reinforcement Learning Approach
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);ZURU Tech(ZURU科技)
在本文中,我们提出了一种深度强化学习(DRL)解决方案,使用2.5D图像作为唯一的信息源来解决抓取问题。特别是,我们开发了一个模拟的环境,配备了真空夹持器的机器人的目的是达到块与平面表面。这些块可以具有不同的尺寸、形状、位置和方向。Unity 3D允许我们模拟真实世界的设置,其中深度相机被放置在固定位置,我们的策略网络使用图像流来学习如何解决任务。我们探索了不同的DRL算法和问题配置。实验结果表明,所提出的DRL算法的有效性,适用于掌握任务的视觉深度相机的输入引导。当使用适当的政策,所提出的方法估计一个机器人工具的配置,达到可以忽略不计的位置和方向误差的对象表面。据我们所知,这是第一次成功尝试使用2.5D图像作为DRL算法的输入,以解决回归3D世界坐标的抓取问题。
2019-08-08 cs.LG cs.RO stat.ML
TGrasp6D: Task-Informed Vision-Language Priors and Pose Refinement enable Zero-Shot Task-Oriented 6DoF Grasping
Purdue University(普渡大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
提出TGrasp6D方法,结合视觉-语言先验与6DoF位姿优化,在TaskGrasp数据集上获94%成功率,可实现真实机器人零样本任务导向6DoF抓取。
2026-10-16 cs.AI cs.LG cs.RO
Quality Diversity for Multi-task Optimization
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
质量多样性(QD)算法是一个最近的家庭的优化算法,搜索一个大的集合的多样性,但高性能的解决方案。在某些特定情况下,他们可以同时解决多个任务。例如,他们可以找到机器人手臂到达一组点所需的关节位置,这也可以通过为每个目标点运行经典优化器来解决。然而,当需要针对每个任务独立地评估适应度时,它们不能解决多个任务(例如,优化策略以掌握许多不同的对象)。在本文中,我们提出了一个扩展的MAP-Elites算法,称为多任务MAP-Elites,解决多个任务时,适应度函数依赖于任务。我们在模拟的参数化平面臂(10维搜索空间; 5000个任务)和具有不同长度腿的模拟6足式机器人(36维搜索空间; 2000个任务)上对其进行了评估。结果表明,在这两种情况下,我们的算法优于每个任务的优化分别与CMA-ES算法。
2020-04-17 cs.NE cs.RO