LEGS: Learning Efficient Grasp Sets for Exploratory Grasping
UC Berkeley（加州大学伯克利分校）；Siemens Research Lab（西门子研究实验室）
虽然深度学习在设计通用机器人抓取系统方面取得了重大进展，但仍存在对这些系统构成挑战的对象。最近的工作探索把握正式的问题，系统地探索掌握这些敌对的对象，并探讨了一个多臂强盗模型，以确定高质量的把握每个对象的稳定姿态。然而，这些系统仍然限于探索每个对象上的少量或抓握。我们提出了学习有效的把握集（LEGS），算法，有效地探索数以千计的可能把握保持小的积极的有前途的把握，并确定何时可以停止探索对象具有高的信心。实验表明，LEGS可以识别一个高质量的把握比以前的算法，不使用活动集更有效。在模拟实验中，我们测量由LEGS、基线识别的最佳抓取的成功概率与最鲁棒的抓取（经验证的地面实况）之间的差距。经过3000个探索步骤，LEGS在Dex-Net对抗和EGAD上的10/14和25/39对象上的性能优于基线算法！数据分别。然后，我们在物理实验中评估LEGS; 3个具有挑战性的对象的试验表明，LEGS收敛到高性能的把握显着快于基线。有关补充材料和视频，请访问https://sites.google.com/view/legs-exp-grasping。
2022-03-02 cs.RO
Generating Quality Grasp Rectangle using Pix2Pix GAN for Intelligent Robot Grasping
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）
智能机器人抓取是一个非常具有挑战性的任务，由于其固有的复杂性和不提供足够的标记数据。由于为任何基于深度学习的模型（包括深度强化学习）提供合适的标记数据对于成功的抓取学习至关重要，因此在本文中，我们提出使用Pix 2 Pix生成对抗网络（Pix 2 Pix GAN）来解决生成抓取姿势/矩形的问题，该网络将对象的图像作为输入，并生成标记有对象的抓取矩形作为输出。在这里，我们提出了一个端到端的抓取矩形生成方法，并将其嵌入到一个适当的位置的对象被抓住。我们已经开发了两个模块，以获得最佳的抓取矩形。在第一个模块的帮助下，从Pix 2 Pix GAN的输出中提取所生成的抓取矩形的姿势（位置和方向），然后将提取的抓取姿势转换为对象的质心，因为在这里我们假设像人类抓取规则形状对象的方式一样，质心/质心是稳定抓取的最佳位置。对于其他不规则形状的物体，我们允许生成的抓取矩形，因为它是要喂给机器人的把握执行。利用有限数量的Cornell抓取数据集生成抓取矩形的准确率显著提高，达到87.79%。实验表明，我们提出的基于生成模型的方法给出了有希望的结果，在执行成功的把握，以及看不见的对象。
2022-02-20 cs.RO
DGS-Net: Learning Dexterous Grasps from Single-View Point Clouds via a Multi-Object Scene Dataset
Harbin Institute of Technology（哈尔滨工业大学）
本文提出DGS-Net，通过多物体场景的单视角点云学习密集抓取配置，改进了现有抓取数据集的局限性，实验显示其在仿真和真实机器人平台上的抓取成功率较高，且具有较低的穿透深度。
2026-10-16 cs.RO
GAT-Grasp: Gesture-Driven Affordance Transfer for Task-Aware Robotic Grasping
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）
本文提出GAT-Grasp框架，通过手势驱动的可供性迁移从人-物交互视频中提取抓取知识，实现对新物体和杂乱环境的零样本任务感知抓取。
2025-03-08 cs.RO
Primitive Shape Recognition for Object Grasping
Georgia Institute of Technology（佐治亚理工学院）
形状告诉我们应该如何抓住一个物体，无论是在哪里还是如何。因此，本文描述了一种基于分割的架构，用于将深度相机感测到的对象分解为多个基本形状，以及用于机器人抓取的后处理流水线。分割采用称为PS-CNN的深度网络，该网络在具有6类原始形状的合成数据上训练，并使用模拟引擎生成。每个基本形状都设计有参数化的抓取族，允许管道在每个形状区域识别多个抓取候选。抓取是按等级排序的，选择第一个可行的抓取执行。对于单个物体的无任务抓取，与自上而下和基于SE（3）的方法相比，该方法实现了94.2%的成功率，使其成为性能最好的抓取方法之一。涉及可变视点和杂波的其他测试证明了设置的鲁棒性。对于面向任务的抓取，PS-CNN实现了93.0%的成功率。总体而言，结果支持的假设，明确编码的形状原语内的抓取管道应提高抓取性能，包括无任务和任务相关的把握预测。
2022-01-04 cs.RO
High-level Reasoning and Low-level Learning for Grasping: A Probabilistic Logic Pipeline
虽然抓握必须满足抓握稳定性标准，但良好的抓握取决于特定的操作场景：对象、其属性和功能，以及任务和抓握约束。在本文中，我们认为这样的信息，机器人把握利用流形和象征性的对象部分。具体来说，我们引入了一个新的概率逻辑模块，首先语义原因预把握配置相对于预期的任务。此外，从部件相关的视觉特征到良好的抓取点的映射被学习。概率逻辑模块利用对象任务启示和对象/任务本体来编码规则，这些规则概括了类似的对象部分和对象/任务类别。使用概率逻辑的任务相关的把握与目前的方法，通常学习直接映射的视觉感知任务相关的把握点。我们展示了完整的概率逻辑流水线实验和一个真正的机器人的好处。
2014-11-04 cs.RO
PONG: Probabilistic Object Normals for Grasping via Analytic Bounds on Force Closure Probability
California Institute of Technology（加州理工学院）
本文提出PONG解析方法，在接触位置已知而表面法线不确定时保守估计力闭合概率，并将其作为不确定性感知抓取指标，用于仿真与真实机器人的稳健精细抓取生成。
2023-09-29 cs.RO
Simultaneous Object Reconstruction and Grasp Prediction using a Camera-centric Object Shell Representation
Samsung AI Center（三星人工智能中心）；Princeton University（普林斯顿大学）
能够抓取物体是大多数机器人操作系统的基本组成部分。在本文中，我们提出了一种新的方法，同时重建一个网格和密集的把握质量地图的对象从深度图像。我们方法的核心是一种新型的以相机为中心的对象表示，称为“对象壳”，它由观察到的“入口图像”和预测的“出口图像”组成。我们提出了一种图像到图像的残差ConvNet架构，其中对象外壳和抓取质量映射被预测为单独的输出通道。壳表示和相应的神经网络体系结构ShellGrasp-Net的主要优点在于，壳表示中的输入-输出像素对应关系在体系结构中被显式地表示。我们表明，这种耦合产生优越的泛化能力，对象重建和准确把握质量估计隐式考虑对象的几何形状。我们的方法产生一个有效的密集把握质量地图和对象的几何形状估计在一个单一的向前通过。这两种输出都可以用于广泛的机器人操作应用。通过严格的实验验证，无论是在模拟和真实的设置，我们表明，我们的基于壳的方法可以用来生成精确的把握和相关的把握质量超过90%的准确度。不同的把握壳重建计算允许机器人选择和执行把握在混乱的场景中，超过93%的成功率。
2022-12-20 cs.RO
Grasp Transfer for Deformable Objects by Functional Map Correspondence
University of Birmingham（伯明翰大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ISIR（巴黎智能系统与机器人研究所）
处理物体变形的机器人抓取仍然是一个主要的问题要解决。在本文中，我们提出了一个有效的学习免费解决这个问题，其中生成的把握假设的一个区域的对象是适应其变形的配置。为此，我们调查的适用性的功能图（FM）的对应关系，其中的形状匹配问题被视为搜索几何函数之间的对应关系，在减少的基础。对于用户选择的区域的对象，抓取候选人的排名列表生成与本地接触时刻（LoCoMo）的抓取规划器。所提出的基于FM的方法将这些候选对象映射到遭受任意变形水平的对象的实例。最好的把握，通过分析其运动学的可行性，同时尽可能尊重原来的手指配置，然后在对象上执行。我们比较了我们的方法的性能与两种不同的国家的最先进的对应映射技术的把握稳定性和区域把握精度为4个不同的对象与5个不同的变形。
2022-03-01 cs.RO
Improving Robotic Grasping Ability Through Deep Shape Generation
Wuhan University（武汉大学）；University of Hamburg（汉堡大学）；Wuhan Institute of Technology（武汉工程大学）；The Chinese University of HongKong（香港中文大学）
数据驱动的方法已经成为机器人抓取规划的主导范式。然而，这些方法的性能受到可用训练数据的质量的极大影响。在本文中，我们提出了一个框架来生成物体形状，以提高抓取数据集的质量，从而提高了预先设计的基于学习的抓取规划网络的抓取能力。在这个框架中，对象的形状被嵌入到一个低维的特征空间使用AutoEncoder（编码器-解码器）为基础的结构网络。使用离群值检测和抓握质量标准为每个对象形状定义稀有度和抓握度分数。随后，在特征空间中生成新的对象形状，该特征空间利用原始的高稀有度和抓握度得分对象的特征，其可以用于增强抓握数据集。仿真和实验结果表明，基于学习的抓取规划网络能够有效地提高物体形状的抓取能力.
2022-09-06 cs.RO
DGCM-Net: Dense Geometrical Correspondence Matching Network for Incremental Experience-based Robotic Grasping
TU Wien（维也纳工业大学）
本文提出了一种从经验中学习来把握新奇事物的方法。成功的尝试被记住，然后用于指导未来的抓握，使得随着时间的推移实现更可靠的抓握。为了将学习到的经验推广到看不见的对象，我们引入了密集几何对应匹配网络（DGCM-Net）。这应用度量学习来编码特征空间中附近具有相似几何形状的对象。因此，检索未见过对象的相关经验是利用编码特征图的最近邻搜索。DGCM-Net还使用视图相关的归一化对象坐标空间重建3D-3D对应关系，以将抓取配置从检索到的样本转换为未见过的对象。与基线方法相比，我们的方法实现了等同的抓取成功率。然而，当将来自经验的知识与他们的把握建议策略相融合时，基线得到了显着改善。使用抓取数据集的离线实验突出了在对象类内和对象类之间进行概括的能力，以及随着时间的推移从不断增加的经验中提高成功率的能力。最后，通过学习任务相关的把握，我们的方法可以优先把握，使功能使用的对象。
2020-09-17 cs.RO
A Novel Generative Convolutional Neural Network for Robot Grasp Detection on Gaussian Guidance
基于视觉的抓取检测方法是机器人领域的一个重要研究方向。然而，由于矩形度量的抓取检测矩形的限制，假阳性抓取发生，导致现实世界的机器人抓取任务失败。在本文中，我们提出了一种新的生成式卷积神经网络模型，以提高机器人抓取检测的准确性和鲁棒性在现实世界的场景。首先，基于高斯的引导训练方法被用来编码的质量的把握点和把握角度的把握姿势，突出最高质量的把握点的位置和把握角度，并减少假阳性把握的产生。同时，利用可变形卷积获得目标的形状特征，以引导后续网络定位。此外，引入了全局-局部特征融合方法，以便在特征重建阶段有效地获得更精细的特征，使网络能够专注于所抓物体的特征。在Cornell Grassing数据集和Jobserver数据集上，我们的方法分别获得了99.0 $\%$和95.9 $\%$的优异性能。最后，所提出的方法在现实世界的机器人抓取场景中进行测试。
2022-05-09 cs.RO
Instance-wise Grasp Synthesis for Robotic Grasping
University of Edinburgh（爱丁堡大学）；University of Groningen（格罗宁根大学）；University College London（伦敦大学学院）
生成高质量的实例式抓取配置提供了如何在多对象环境中抓取特定对象的关键信息，并且对于机器人操作任务非常重要。提出了一种新的\textbf{S}单- \textbf{S}段\textbf{G}锉刀（SSG）综合网络，该网络在单阶段进行高质量的实例抓取综合：同时为每个对象生成实例掩码和抓取配置。我们的方法在基于OCID-Grasp数据集的机器人抓取预测上优于最先进的方法，并且在JACQUARD数据集上具有竞争力。基准测试结果显示，与基准相比，生成的抓取配置的准确性有了显着改善。所提出的方法的性能已通过广泛的仿真和真实的机器人实验三个任务，包括单对象的拾取和放置，把握在混乱的环境中的合成和表清洁任务进行了验证。
2023-02-15 cs.RO
Grasp Learning by Sampling from Demonstration
University of Innsbruck（因斯布鲁克大学）
机器人抓取传统上依赖于物体特征或形状信息来学习新的或应用已经学习的抓取。然而，我们认为，这样一个强大的依赖对象的几何信息，使把握和把握学习一项艰巨的任务，在混乱的环境中具有高度的不确定性，合理的对象模型是不可用的。因此，在本文中，我们研究了无模型随机优化在抓取学习中的应用。对于这一点，我们提出的学习方法只需要少数用户演示的把握和初始先验的一个粗略的草图的对象的把握启示密度，但没有对象的几何知识，除了它的姿势。我们的实验表明，我们提出的学习方法的适用性。
2016-11-19 cs.RO
Robotic Grasping through Combined Image-Based Grasp Proposal and 3D Reconstruction
Samsung AI Center NY（三星纽约人工智能中心）
我们提出了一种新的方法，机器人抓取规划使用学习掌握建议网络和学习三维形状重建网络。我们的系统从目标对象的单个RGB-D图像生成6-DOF抓握，该图像作为输入提供给两个网络。通过使用几何重建来细化抓取建议网络产生的候选抓取，我们的系统能够准确地抓取已知和未知的物体，即使在输入图像中看不到物体上的抓取位置。本文介绍了网络架构，培训程序，并把握细化方法，包括我们的系统。实验证明了我们的系统在抓取已知和未知物体方面的有效性（在物理机器人环境中的成功率为91%，在模拟环境中的成功率为84%）。我们还进行了消融研究，显示了将学习的抓取建议与几何重建相结合进行抓取的好处，并且还表明我们的系统在抓取任务中的性能优于几个基线。
2020-11-06 cs.RO
DefGraspSim: Simulation-based grasping of 3D deformable objects
University of California, Berkeley（加州大学伯克利分校）；NVIDIA Corporation（英伟达公司）；University of Utah（犹他大学）；University of Washington（华盛顿大学）
3D可变形物体的机器人抓取（例如，水果/蔬菜、内部器官、瓶子/盒子）对于诸如食品加工、机器人手术和家庭自动化的现实世界应用至关重要。然而，开发此类对象的抓取策略具有独特的挑战性。在这项工作中，我们有效地模拟掌握了广泛的三维可变形物体使用基于GPU的实现的共旋有限元法（FEM）。为了促进未来的研究，我们开源了我们的模拟数据集（34个对象，1 e5 Pa弹性范围，6800个抓取评估，1.1M抓取测量），以及一个代码库，允许研究人员在他们选择的任意3D对象模型上运行我们完整的基于FEM的抓取评估管道。我们还提供了一个详细的分析6对象原语。对于每个原语，我们有条不紊地描述不同抓取策略的效果，计算一组性能指标（例如，变形，应力），其完全捕获对象响应，并识别简单的抓握特征（例如，抓取器位移、接触面积）在拾取之前可由机器人测量，并预测这些性能度量。最后，我们展示了良好的对应关系之间的把握模拟对象和现实世界的同行。
2021-07-12 cs.RO
Minimal Work: A Grasp Quality Metric for Deformable Hollow Objects
The AUTOLAB at UC Berkeley（加州大学伯克利分校自动驾驶实验室）；Technical University of Munich（慕尼黑工业大学）
机器人抓取诸如塑料瓶和杯子的可变形中空物体是具有挑战性的，因为抓取应该抵抗干扰，同时使物体变形最小，以便不损坏它或排出液体。我们提出了最小的工作作为一种新的把握质量度量，结合了扳手阻力和对象变形。我们引入了一个有效的算法来计算所需的工作，以抵抗外部扳手的操作任务，通过求解线性规划。该算法首先计算所需的最小抓取力和估计的基础上，在不同的位置与物理实验测量的对象变形的夹爪位移。夹爪所做的功是夹持力和位移的乘积。抓取质量度量是根据抓取姿态扰动下所需的工作来计算的，以解决驱动中的不确定性。我们使用UR5机器人和Robotiq夹持器收集了460次物理抓取。物理实验表明，最小的工作质量指标达到74.2%的平衡准确度，比经典的基于扳手的质量指标高出24.2%，其中平衡准确度是由成功和失败的真实世界把握的数量归一化的原始准确度。
2019-09-24 cs.RO
Grasping in the Dark: Zero-Shot Object Grasping Using Tactile Feedback
Perception and Robotics Group, University of Maryland, College Park（马里兰大学帕克分校感知与机器人小组）；University of Maryland, College Park（马里兰大学帕克分校）；University of Maryland（马里兰大学）
抓取和操纵各种各样的物体是一项基本技能，它将决定机器人在家庭中的成功和广泛应用。已经提出了几种用于鲁棒操纵的末端执行器设计，但它们大多在提供关于对象的先验信息或配备用于估计对象形状或大小的外部传感器时工作。这种方法仅限于多镜头或未知对象，并且易于受到来自外部估计系统的估计误差的影响。我们提出了一种方法来把握和操纵以前看不见的或zero-shot对象：没有任何事先的形状，大小，材料和重量属性的对象，只使用触觉传感器的反馈，这是相反的最先进的。这样的方法提供了强大的操纵对象时，对象模型是未知的，或者当它是从外部系统估计不正确。我们的方法受到动物或人类如何操纵物体的意识形态的启发，即，通过皮肤的反馈。我们的抓握和操纵都围绕着一个简单的概念，即物体如果抓得不稳就会打滑。这种滑动可以被检测到并被抵消，以实现对物体的类型、形状、尺寸、材料和重量不可知的鲁棒抓握。在我们的方法的关键是一种新的触觉反馈控制器，检测和补偿抓滑。我们成功地评估和证明了我们提出的方法在许多现实世界的实验中使用的影子灵巧手配备BioTac SP触觉传感器不同的物体形状，大小，重量和材料。我们获得了73.5%的整体成功率
2021-09-16 cs.RO
PointNet++ Grasping: Learning An End-to-end Spatial Grasp Generation Algorithm from Sparse Point Clouds
在非结构化环境中抓取新物体对于机器人的操作非常重要。目前的大多数工作需要抓取采样过程来获得抓取候选，结合使用深度学习的局部特征提取器。该流水线是时间成本高的，特别是当抓取点稀疏时，例如在碗的边缘处。在本文中，我们提出了一个端到端的方法来直接预测的姿势，类别和分数（质量）的所有把握。它以整个稀疏点云作为输入，不需要采样或搜索过程。此外，为了生成多目标场景的训练数据，提出了一种基于Ferrari Canny度量的快速多目标抓取检测算法。生成单对象数据集（来自YCB对象集的79个对象，23.7k抓取）和多对象数据集（带有注释和掩模的20k点云）。引入了一种基于PointNet++的网络，结合多掩码丢失来处理不同的训练点。我们的网络的整个权重大小仅为11.6M，使用GeForce 840M GPU的整个预测过程约为102ms。实验结果表明，我们的工作获得了71.43%的成功率和91.60%的完成率，这比目前的最先进的作品表现更好。
2020-03-21 cs.RO
GoalGrasp: Grasping Goals in Partially Occluded Scenarios without Grasp Training
National Graduate College for Elite Engineers, Southeast University（东南大学精英工程师研究生学院）
GoalGrasp提出一种无需抓取标注与训练的6自由度抓取姿态检测方法，结合3D边界框和人类抓取先验，实现对用户指定物体的快速抓取并缓解遮挡问题，实验成功率94%，部分遮挡下92%。
2025-04-22 cs.RO
Dual Quaternion-Based Visual Servoing for Grasping Moving Objects
University of Birmingham（伯明翰大学）；Sorbonne Université（索邦大学）
针对基于姿态的视觉伺服，提出了一种新的基于对偶四元数的模型。扩展我们以前的工作局部接触矩（LoCoMo）的基础上抓取规划，我们展示了在3D空间中任意移动的物体的抓。而不是使用传统的轴角参数化，双四元数允许设计的视觉伺服任务，在一个更紧凑的方式，并提供鲁棒性的机械手奇异。给定对象点云，LoCoMo生成抓取和预抓取姿态的排名列表，其用作视觉伺服的期望姿态。只要对象移动（通过视觉标记跟踪），所需的姿势就会自动更新。为此，利用对偶四元数空间距离误差，我们提出了一个动态的把握重新排名度量，以选择最佳可行的把握移动对象。这使得机器人可以很容易地跟踪和抓住任意移动的物体。此外，我们还探索机器人零空间与我们的控制器，以避免关节的限制，从而实现平滑的轨迹，同时以下移动的对象。我们评估所提出的视觉伺服的性能进行模拟实验，掌握各种对象，使用7轴机器人配备了2指夹持器。实验结果证明了我们所提出的视觉伺服的有效性。
2021-07-17 cs.RO
BURG-Toolkit: Robot Grasping Experiments in Simulation and the Real World
University of Birmingham（伯明翰大学）；TU Wien（维也纳工业大学）
本文介绍了BURG-Toolkit，一套用于基准和理解机器人抓取的开源工具。我们的工具允许研究人员：（1）创建虚拟场景，用于生成训练数据并在模拟中执行抓取;（2）通过在真实机器人实验的物理世界中准确地排列相应的对象来重新创建场景，支持对模拟与真实差距的分析;以及（3）与其他研究人员共享场景，以促进实验结果的可比性和再现性。我们通过描述一些潜在的用例来解释如何使用我们的工具。我们还提供了概念验证的实验结果量化的模拟到真实的差距，在一些示例场景中的机器人抓取。这些工具可从以下网址获得：https://mrudorfer.github.io/burg-toolkit/
2022-05-27 cs.RO
Towards synthesizing grasps for 3D deformable objects with physics-based simulation
Aalto University（阿尔托大学）
可变形物体的抓取由于建模和仿真的复杂性而没有得到很好的研究。然而，随着基于物理的模拟器支持软体的快速发展，刚性和可变形物体之间的研究差距越来越小。为了利用这种模拟器的能力，并挑战迄今为止指导机器人抓取研究的假设，即，物体刚性，我们提出了一种基于深度学习的方法，可以生成依赖于刚性的抓握。我们的网络是在基于物理的模拟器生成的纯合成数据上训练的。同样的模拟器也用于评估训练的网络。结果表明，在把握排名和把握成功率方面有所改善。此外，我们的网络可以根据刚度来适应抓握。我们目前正在仿真和物理机器人上验证所提出的方法。
2021-07-19 cs.RO
Modeling Grasp Type Improves Learning-Based Grasp Planning
University of Utah（犹他大学）
不同的操作任务需要不同类型的抓握。例如，拿着一个沉重的工具，如锤子，需要一个多指的力量把握提供稳定性，而拿着一支笔写需要一个多指的精确把握赋予灵巧的对象。在本文中，我们提出了一个概率把握规划器，明确模型把握类型规划高品质的精度和功率实时把握。我们采取的学习方法，以计划把握不同类型的以前看不见的对象时，只有部分视觉信息可用。我们的工作展示了第一个监督学习方法，抓取规划，可以明确计划的权力和精度把握一个给定的对象。此外，我们比较了我们的学习掌握模型与不编码类型的模型，并表明建模把握类型提高了生成的把握的成功率。此外，我们展示了学习一个先验的好处，掌握配置，以提高掌握推理与学习分类。
2019-01-10 cs.RO
DefGraspSim: Physics-based simulation of grasp outcomes for 3D deformable objects
University of California, Berkeley（加州大学伯克利分校）；NVIDIA Corporation（英伟达公司）；University of Utah（犹他大学）；University of Washington（华盛顿大学）
3D可变形物体的机器人抓取（例如，水果/蔬菜、内部器官、瓶子/盒子）对于诸如食品加工、机器人手术和家庭自动化的现实世界应用至关重要。然而，开发此类对象的抓取策略具有独特的挑战性。与刚性物体不同，可变形物体具有无限的自由度并且需要场量（例如，变形、应力）以完全定义它们的状态。由于这些量在现实世界中不容易获得，我们建议通过基于物理的模拟来研究与可变形物体的相互作用。因此，我们使用基于GPU的共旋有限元法（FEM）的实现来模拟各种各样的3D可变形物体上的抓握。为了促进未来的研究，我们开源了我们的模拟数据集（34个对象，1 e5 Pa弹性范围，6800个抓取评估，1.1M抓取测量），以及一个代码库，允许研究人员在他们选择的任意3D对象模型上运行我们完整的基于FEM的抓取评估管道。最后，我们展示了良好的对应关系，掌握模拟对象的结果和他们的真实同行。
2022-03-21 cs.RO
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne（墨尔本大学）；St. Vincent’s Hospital（圣文森特医院）
基于触觉的盲抓取解决了现实的机器人抓取，其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识，例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里，提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰，被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
ZeroDexGrasp: Zero-Shot Task-Oriented Dexterous Grasp Synthesis with Prompt-Based Multi-Stage Semantic Reasoning
Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）
针对现有任务导向灵巧抓取方法依赖标注数据、泛化性差的问题，提出ZeroDexGrasp框架，通过提示式多阶段语义推理与接触引导优化实现零样本高质量灵巧抓取。
2025-11-17 cs.RO
Certified Grasping
Massachusetts Institute of Technology（麻省理工学院）
从几何角度研究了平面抓取的鲁棒性问题。通过将抓取视为随着时间的推移塑造对象的自由空间的过程，我们可以定义三种类型的证书来保证抓取的成功：（a）初始集合下的不变性，（b）向目标抓取的收敛性，以及（c）最终对象姿势的可观察性。我们开发的凸组合模型，这些证书，可以表示为简单的半代数关系下温和的建模假设。通过利用这些模型来合成证书，我们优化了可证明的把握任意平面物体组成的凸多边形的工会，使用操纵器描述为点手指。我们验证了这种方法与模拟和真实的机器人实验，抓住随机多边形，与其他标准的抓取规划算法进行比较，并在不同的对象进行无传感器抓取。
2019-09-09 cs.RO
SpringGrasp: Synthesizing Compliant, Dexterous Grasps under Shape Uncertainty
Stanford University（斯坦福大学）
本文提出SpringGrasp规划器与指标，在形状不确定性下合成顺应性灵巧抓取以最小化意外接触影响，在真实机器人实验中较基于力闭合的规划器将抓取成功率至少提升18%。
2024-04-25 cs.RO
Multi-Fingered Grasp Planning via Inference in Deep Neural Networks
University of Utah（犹他大学）
我们提出了一种新的方法来多指抓取规划利用学习的深度神经网络模型。我们训练一个基于体素的三维卷积神经网络来预测抓取成功概率作为一个函数的视觉信息的对象和把握配置。然后，我们可以制定抓取规划推断的把握配置，最大限度地提高把握成功的概率。此外，我们学习了一个先验的把握配置作为一个混合密度网络的条件下，我们的基于体素的对象表示。我们表明，这个对象的条件先验提高了把握推理时，与学习掌握成功预测网络相比，学习，对象不可知的先验，或不知情的统一先验。我们的工作是第一个直接规划高品质的多指掌握配置空间使用深度神经网络，而不需要一个外部规划。我们验证了我们的推理方法进行多手指抓取的物理机器人。我们的实验结果表明，我们的规划方法优于现有的神经网络抓取规划方法。
2020-03-19 cs.RO
DexSinGrasp: Learning a Unified Policy for Dexterous Object Singulation and Grasping in Densely Cluttered Environments
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
提出DexSinGrasp统一策略，利用灵巧手高自由度在密集杂乱环境中高效分离并抓取物体，通过课程学习与策略蒸馏提升成功率与泛化性，实验优于基线。
2025-10-25 cs.RO
SuperQ-GRASP: Superquadrics-based Grasp Pose Estimation on Larger Objects for Mobile-Manipulation
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出SuperQ-GRASP，利用NeRF重建物体三维网格并分解为超二次曲面基元，通过预计算抓取位姿组合，解决移动操作中较大物体在深度噪声和视角不完整条件下的抓取位姿估计与泛化问题。
2025-04-10 cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro（阿威罗大学电子与电信研究所）；University of Groningen（格罗宁根大学）
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人，由于需要准确和实时的响应，物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法，同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献，因为无论用于批量学习的训练数据有多广泛，机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置（即，末端执行器位置和方向）来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验，以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度，可扩展性和把握成功率的性能。
2019-04-04 cs.RO
Tactile Sensing-based Secure and Gentle Grasping of Unknown Objects
New York Institute of Technology（纽约理工学院）
针对未知物体安全轻柔抓取的挑战，提出基于触觉传感模块的在线数据驱动预测控制框架，结合有限状态机抓取力探测与GP模型，实现100Hz实时动态操作，性能优于基线策略。
2026-10-12 cs.RO
Automatic Grasp Pose Generation for Parallel Jaw Grippers
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；University of Stuttgart（斯图加特大学）
提出了一种新的方法，用于自动离线抓取已知刚性物体的平行颚夹持器的位姿合成。我们使用几个标准，如抓爪行程，表面摩擦，和碰撞检查，以确定合适的6D把握对象上的姿态。与大多数可用的方法相比，我们的目标既不是最好的把握姿势，也不是尽可能多的把握姿势，而是一组高度多样化的把握分布在整个对象。为了实现这一目标，我们采用聚类算法的采样集的把握。这允许同时减少抓取姿势候选的集合并且在各个抓取之间的位置和取向方面保持高方差。我们证明，我们的方法产生的把握可以成功地用于现实世界中的机器人抓取应用。
2021-04-23 cs.RO
A Deep Learning-Based Autonomous RobotManipulator for Sorting Application
University of Nevada, Reno（内华达大学雷诺分校）；Swansea University（斯旺西大学）
近年来，机器人操作和抓取机构受到了相当大的关注，导致了广泛的工业应用的发展。本文提出了一种自主机器人抓取系统的对象分类应用的发展。RGB-D数据被机器人用于执行目标检测、姿态估计、轨迹生成和目标分类任务。所提出的方法也可以处理抓住用户选择的某些对象。利用训练好的卷积神经网络进行目标检测，确定待抓取目标对应的点云簇。根据所选择的点云数据，抓取生成器算法输出潜在的抓取。然后，抓取过滤器对这些潜在的抓取进行评分，并选择得分最高的抓取在真实机器人上执行。运动规划器生成无碰撞轨迹以执行所选择的抓取。在AUBO机器人上的实验表明，该方法在自主物体分拣方面具有鲁棒性和快速分拣性能。
2020-09-08 cs.RO
Deformation-Aware Data-Driven Grasp Synthesis
Aalto University（阿尔托大学）
本文提出在深度抓取规划网络中加入物体刚度信息，并构建 Isaac Gym 合成抓取数据集，显著提升了机器人对不同形状、尺寸和刚度物体的抓取成功率。
2021-09-11 cs.RO
Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
提出了一种实时的【形】与物体无关的、可用于闭环抓取的抓取综合方法。我们提出的生成抓取卷积神经网络（GG-CNN）预测每个像素的抓取质量和姿势。这种来自深度图像的一对一映射通过避免抓取候选对象的离散采样和长计算时间来克服当前深度学习抓取技术的局限性。此外，我们的GG-CNN在检测稳定抓握时要小几个数量级，并且性能与当前最先进的技术相当。我们的GG-CNN的轻量化和单通道生成特性允许高达50 Hz的闭环控制，从而在物体移动的非静态环境中以及存在机器人控制不准确的情况下实现准确抓取。在我们的真实世界测试中，我们在一组具有对抗性几何形状的以前看不见的物体上实现了83%的抓取成功率，在抓取尝试期间移动的一组家用物体上实现了88%的抓取成功率。在动态杂波中抓取时，我们也达到了81%的准确率。
2018-05-15 cs.RO
End-to-End Learning to Grasp via Sampling from Object Point Clouds
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利技术研究院）；University of Birmingham（伯明翰大学）
抓取物体的能力是实现许多机器人操作任务的基本技能。最近的工作已经研究了基于点云的方法，从模拟数据集开始的对象抓取，并在现实世界的情况下表现出良好的性能。然而，他们中的许多人仍然依赖于ad-hoc几何几何学来生成抓取候选对象，这无法概括为与训练期间观察到的形状显著不同的对象。几种方法利用复杂的多阶段学习策略和局部邻域特征提取，而忽略语义全局信息。此外，它们在训练样本的数量和推理所需的时间方面效率低下。在本文中，我们提出了一个端到端的学习解决方案，从物体的3D局部视图开始生成6-DOF平行钳口抓取。我们的学习掌握（L2 G）方法通过一个新的程序从输入点云中收集信息，该程序结合了可区分的采样策略来识别可见的接触点，并使用了一个利用局部和全局线索的特征编码器。总的来说，L2 G是由多任务目标，通过优化接触点采样，把握回归，把握分类，产生一组不同的把握。通过实验分析，证明了L2 G的有效性及其鲁棒性和泛化能力。
2022-06-06 cs.RO
Data-Driven Grasp Synthesis - A Survey
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Universitat Jaume I（海梅一世大学）；KIT（卡尔斯鲁厄理工学院）
我们审查的工作数据驱动的把握合成和方法的抽样和排名的候选人掌握。我们根据这些方法是否综合抓取已知、熟悉或未知物体，将其分为三组。这种结构使我们能够识别常见的对象表示和感知过程，促进所采用的数据驱动的把握合成技术。在已知对象的情况下，我们集中在基于对象识别和姿态估计的方法。在熟悉对象的情况下，该技术使用某种形式的相似性匹配到一组先前遇到的对象。最后，对于处理未知物体的方法，核心部分是提取指示良好抓握的特定特征。我们的调查提供了不同的方法的概述，并讨论了机器人抓取领域的开放问题。我们还绘制了一个平行的经典方法，依赖于解析公式。
2016-04-14 cs.RO
Generalizable task-oriented object grasping through LLM-guided ontology and similarity-based planning
Graduate School of Engineering Science, The University of Osaka（大阪大学工学研究科）
本文提出基于LLM的本体和相似性规划方法，解决任务导向抓取中部分识别和抓取区域选择的稳定性问题，提升抓取的通用性和鲁棒性。
2026-03-27 cs.RO
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies（达闼科技）
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务：物体定位、物体姿态估计和抓取估计。具体地说，目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿，包括基于对应关系的方法、基于模板的方法和基于投票的方法，其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法，其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位，而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计，而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外，还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
A novel object slicing based grasp planner for 3D object grasping using underactuated robot gripper
IIT Kharagpur（印度理工学院克勒格布尔分校）
即使在完全已知的环境中，机器人抓取任意物体仍然是一个具有挑战性的问题。大多数以前开发的算法集中在指尖抓取，未能解决问题，即使是完全驱动的手/夹具在自适应/包裹型的把握，其中每个手指与对象在几个点接触。运动学封闭形式的解决方案是不可能的，这样一个铰接的手指，同时达到几个给定的目标点。提出了一种基于物体切片方法的欠驱动机器人手爪最佳抓取计算框架。该方法使用对象切片技术快速找到接触，并使用抓取质量度量从抓取池中找到最佳抓取。为了验证所提出的方法，实施已经做了24个家庭的对象和玩具使用两个手指欠驱动机器人夹持器。与许多其他现有的方法不同，所提出的方法具有以下几个优点：它可以处理具有复杂形状和尺寸的对象;它不需要将对象简化为原始几何形状;最重要的是，它可以应用于使用深度传感器的点云;它考虑到夹具运动学约束，并为自适应/包络和指尖类型的抓握生成可行的抓握。
2019-07-22 cs.CG cs.RO
GraspXL: Generating Grasping Motions for Diverse Objects at Scale
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对现有抓取动作合成方法目标单一、依赖昂贵3D手物数据且难以泛化到大量新物体的问题，提出GraspXL策略框架，无需3D交互数据即可为超50万新物体生成多目标的多样化抓取动作，成功率82.2%，可适配不同灵巧手与物体来源。
2024-07-12 cs.CV cs.RO
GraspFactory: A Large Object-Centric Grasping Dataset
Autodesk Research（Autodesk研究院）
本文提出GraspFactory，一个包含超1.09亿个6自由度抓取的大规模物体中心数据集，用于训练可泛化的机器人抓取模型，并在模拟和真实环境中验证了其泛化能力。
2025-09-24 cs.AI cs.RO
Grasp Multiple Objects with One Hand
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Tsinghua University（清华大学）；Peking University（北京大学）
本文提出MultiGrasp，一种两阶段方法，利用灵巧多指手在桌面上实现多物体抓取，双物体抓取成功率达44.13%，并展示了抓取更多物体的潜力。
2024-03-14 cs.CV cs.RO
DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation
Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Tsinghua University（清华大学）
机器人灵巧抓取是实现类人灵巧物体操作的第一步，是机器人的关键技术。然而，灵巧抓取比使用平行夹具的物体抓取更未被探索，部分原因是缺乏大规模数据集。在这项工作中，我们提出了一个大规模的机器人灵巧抓数据集，DexGraspNet，我们提出的高效的合成方法，可以普遍适用于任何灵巧的手产生。我们的方法利用了一个深度加速的可微力闭合估计器，因此可以有效地和鲁棒地合成大规模的稳定和多样化的把握。我们选择ShadowHand并为5355个对象生成132万次抓握，覆盖超过133个对象类别，并为每个对象实例包含200多个不同的抓握，所有抓握都已通过Isaac Gym模拟器验证。与之前由GraspIt！生成的Liu等人的数据集相比，我们的数据集不仅有更多的对象和把握，而且有更高的多样性和质量。通过进行跨数据集实验，我们表明，在我们的数据集上训练几种灵巧抓取合成算法的效果明显优于在前一个数据集上训练。要访问我们的数据和代码，包括用于人类和Allegro抓握合成的代码，请访问我们的项目页面：https://pku-epic.github.io/DexGraspNet/。
2023-03-08 cs.CV cs.RO
Attribute-Based Robotic Grasping with One-Grasp Adaptation
University of Minnesota（明尼苏达大学）
机器人抓取是机器人最基本的操作任务之一，并得到了积极的研究。然而，如何快速教会机器人在混乱中抓取新的目标物体仍然具有挑战性。本文试图通过利用物体的属性来应对这一挑战，这些属性有助于识别、抓取和快速适应。在这项工作中，我们介绍了一个端到端的学习方法，基于属性的机器人抓一抓自适应能力。我们的方法融合了嵌入的工作空间图像和查询文本使用门控注意力机制和学习预测实例把握启示。此外，我们利用对象持久性之前和之后的把握学习视觉和文本属性的联合度量空间。我们的模型在模拟中是自我监督的，只使用各种颜色和形状的基本对象，但可以推广到新的对象和现实世界的场景。我们进一步证明，我们的模型是能够适应新的对象，只有一个把握数据和提高实例抓取性能显着。仿真和真实环境下的实验结果表明，该方法对未知对象的实例抓取成功率超过80%，大大优于几个基线.
2021-04-06 cs.AI cs.RO
REGRAD: A Large-Scale Relational Grasp Dataset for Safe and Object-Specific Robotic Grasping in Clutter
尽管在机器人抓取方面取得了令人印象深刻的进展，但机器人并不擅长复杂的任务（例如，在混乱中搜索和抓取指定目标）。这些任务不仅涉及抓取，而且涉及对世界的全面感知（例如对象关系）。最近，令人鼓舞的结果表明，通过学习来理解高级概念是可能的。然而，这样的算法通常是数据密集型的，并且数据的缺乏严重限制了它们的性能。在本文中，我们提出了一个新的数据集命名为REGRAD的学习对象和把握之间的关系。我们收集的注释对象的姿态，分割，把握，和目标驱动的关系抓取任务的关系。我们的数据集以2D图像和3D点云两种形式收集。此外，由于所有数据都是自动生成的，因此可以自由导入新对象以生成数据。我们还发布了一个真实世界的验证数据集，以评估在REGRAD上训练的模型的模拟到真实的性能。最后，我们进行了一系列的实验，表明在REGRAD上训练的模型可以很好地推广到现实场景，无论是关系还是抓取检测。我们的数据集和代码可以在https://github.com/poisonwine/REGRAD上找到
2021-12-09 cs.CV cs.RO
Using Synthetic Data and Deep Networks to Recognize Primitive Shapes for Object Grasping
Georgia Institute of Technology（佐治亚理工学院）
提出了一种基于分割的体系结构，将物体从单目深度输入分解为多个基本形状，用于机器人操作。骨干深度网络在具有由模拟引擎生成的6类基本形状的合成数据上训练。每个基元形状都设计有参数化的抓取族，允许流水线识别每个形状基元区域的多个抓取候选者。通过建议的排名算法的优先级顺序的把握，与第一个可行的选择执行。在无任务抓取单个物体时，该方法的成功率达到94%。在以任务为导向的抓取中，它达到了76%的成功率。总的来说，该方法支持的假设，形状基元可以支持无任务和任务相关的把握预测。
2019-09-12 cs.CV cs.RO
Towards Open-World Grasping with Large Vision-Language Models
University of Groningen（格罗宁根大学）
提出OWG开放世界抓取流水线，结合VLM与分割及抓取合成模型，通过视觉提示实现零样本的指代分割、抓取规划与排序，在仿真和硬件实验中表现优于现有LLM方法。
2024-10-13 cs.CV cs.RO
FViT-Grasp: Grasping Objects With Using Fast Vision Transformers
Bilkent University（比尔肯特大学）
本研究提出基于快速视觉变换器（FViT）的FViT-Grasp方法，快速精确识别机器人抓取点，在保持高准确率的同时实现最先进速度，为实时机器人抓取应用提供基线。
2023-11-23 cs.CV cs.RO
Learning a visuomotor controller for real world robotic grasping using simulated depth images
Northeastern University（东北大学）；Boston University（波士顿大学）
我们希望建造在非结构化现实世界应用中有用的机器人，例如在家庭中工作。特别是抓握是这一领域的一项重要技能，但它仍然是一个挑战。关键障碍之一是处理被抓取物体的意外变化或运动以及机器人中的运动噪声或其他错误。本文提出了一种方法来学习一个闭环控制器的机器人抓持，动态引导夹持器的对象。我们使用一个手腕上安装的传感器来获取深度图像在前面的抓地力和训练的卷积神经网络学习的距离函数，以真正掌握配置的图像。训练传感器数据是在模拟中生成的，这是以前使用真实机器人经验的工作的一个主要优势，因为获得真实机器人经验的成本很高。尽管在模拟中进行了训练，但我们的方法在真实的噪声传感器图像上效果良好。我们比较我们的控制器在模拟和真实的机器人实验中的一个强大的基线把握姿势检测，并发现我们的方法显着优于基线的运动噪声，感知误差和干扰的对象在把握过程中的存在。
2017-11-17 cs.AI cs.RO
Grasping the Inconspicuous
Automation and Control Institute (ACIN)（自动化与控制研究所）；TU Wien（维也纳工业大学）
透明物体在日常生活中很常见，因此有许多应用需要机器人抓取。对于非透明物体，存在许多针对物体抓取的解决方案。然而，由于透明物体的独特视觉特性，标准3D传感器会产生噪声或失真的测量结果。现代方法通过改进有噪声的深度测量或使用深度的某种中间表示来解决这个问题。为此，我们研究了仅用于透明物体抓取的RGB图像的深度学习6D姿态估计。为了训练和测试基于RGB的对象姿态估计的适用性，我们构建了具有6D姿态注释的仅RGB图像的数据集。实验证明了RGB图像空间对透明物体抓取的有效性。
2022-11-15 cs.CV cs.RO
