Loop closure grasping: Topological transformations enable strong, gentle, and versatile grasps
Department of Mechanical Engineering, Massachusetts Institute of Technology(麻省理工学院机械工程系);Department of Mechanical Engineering, Stanford University(斯坦福大学机械工程系)
环闭合抓取通过拓扑变换实现强、柔、多功能的抓取,适用于复杂物体和环境。
2025-05-19 cs.RO
Optimization of Robot Grasping Forces and Worst Case Loading
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们考虑的抓持力的矢量,支持一个已知的广义力作用在抓持对象-一个刚体或一个机构的优化。在有限维赋范向量空间及其对偶空间的框架下,假设要最小化的代价函数是抓取力空间上的范数。我们提出了一个表达式的最佳依赖于外力和抓取系统的运动学。接下来,假设使用力控制施加最佳抓取力,并且假设容许抓取力的范数有界,我们表征抓取系统可能支持的外力的最大范数,即,可能施加并且仍然支持的最坏情况载荷的范数。为了便于说明,给出了几个简单的例子。
2020-10-27 cs.RO
GRASPA 1.0: GRASPA is a Robot Arm graSping Performance benchmArk
Istituto Italiano di Tecnologia(意大利理工学院);Università di Genova(热那亚大学)
基准的使用是一种广泛的、具有科学意义的做法,用于验证同一任务的不同方法的性能。近年来,在机器人抓取的背景下,出现了使用公共对象集的情况,但是还没有主要的协议和度量来测试抓取管道。在本文中,我们提出了GRASPA的1.0版本,这是一个测试物理机器人设置上抓取管道的有效性的基准。这种方法通过提出不同的度量来解决这种管道的复杂性,这些度量说明了测试平台的特性和限制。作为一个示例应用程序,我们在iCub人形机器人上部署了GRASPA,并使用它来对我们的抓取管道进行基准测试。作为结束语,我们讨论了我们作为结果获得的GRASPA指标如何可以洞察管道的不同步骤如何影响整体抓取性能。
2020-02-12 cs.RO
Reasoning Grasping via Multimodal Large Language Model
Baidu Research(百度研究院);Rutgers University(罗格斯大学)
本文提出推理抓取新任务,通过端到端模型将多模态大语言模型与基于视觉的抓取框架相结合,并构建了基于GraspNet-1 billion的首个推理抓取基准数据集,显著提升了机器人在隐式指令下的抓取性能。
2024-10-15 cs.RO
Hybrid Robotic Grasping with a Soft Multimodal Gripper and a Deep Multistage Learning Scheme
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种结合软多模态夹爪的深度强化学习框架,实现多阶段混合机器人抓取,通过三种抓取模式优化动作数量,在仿真和真实实验中最大提升抓取效率161%和154%。
2023-03-06 cs.RO
High-level Reasoning and Low-level Learning for Grasping: A Probabilistic Logic Pipeline
虽然抓握必须满足抓握稳定性标准,但良好的抓握取决于特定的操作场景:对象、其属性和功能,以及任务和抓握约束。在本文中,我们认为这样的信息,机器人把握利用流形和象征性的对象部分。具体来说,我们引入了一个新的概率逻辑模块,首先语义原因预把握配置相对于预期的任务。此外,从部件相关的视觉特征到良好的抓取点的映射被学习。概率逻辑模块利用对象任务启示和对象/任务本体来编码规则,这些规则概括了类似的对象部分和对象/任务类别。使用概率逻辑的任务相关的把握与目前的方法,通常学习直接映射的视觉感知任务相关的把握点。我们展示了完整的概率逻辑流水线实验和一个真正的机器人的好处。
2014-11-04 cs.RO
Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
提出了一种实时的【形】与物体无关的、可用于闭环抓取的抓取综合方法。我们提出的生成抓取卷积神经网络(GG-CNN)预测每个像素的抓取质量和姿势。这种来自深度图像的一对一映射通过避免抓取候选对象的离散采样和长计算时间来克服当前深度学习抓取技术的局限性。此外,我们的GG-CNN在检测稳定抓握时要小几个数量级,并且性能与当前最先进的技术相当。我们的GG-CNN的轻量化和单通道生成特性允许高达50 Hz的闭环控制,从而在物体移动的非静态环境中以及存在机器人控制不准确的情况下实现准确抓取。在我们的真实世界测试中,我们在一组具有对抗性几何形状的以前看不见的物体上实现了83%的抓取成功率,在抓取尝试期间移动的一组家用物体上实现了88%的抓取成功率。在动态杂波中抓取时,我们也达到了81%的准确率。
2018-05-15 cs.RO
Task-grasping from human demonstration
Microsoft(微软);Tokyo Institute of Technology(东京工业大学)
机器人抓取的一个挑战是实现任务抓取,即在抓取前后选择一个有利于任务成功的抓取。解决这一困难的框架之一是从观察中学习(LfO),它从人类演示中获得各种提示。本文解决了LfO框架下抓取技能中的三个问题:1)如何在有限抓取能力的机器人上功能性地模仿人类演示的抓取; 2)如何协调抓取技能与到达身体模仿; 3)如何在物体姿态和形状不确定的情况下鲁棒地执行抓取。提出了一种使用基于接触网的奖励和接近方向的域随机化的深度强化学习来实现这种鲁棒的模仿抓取技能。实验结果表明,训练后的抓取技能可以应用于LfO系统,并在实际机器人上执行。此外,它示出的训练技能是鲁棒的对象姿势和对象形状的不确定性的错误,并可以与各种到达协调相结合。
2022-03-01 cs.RO
Design of an Optoelectronically Innervated Gripper for Rigid-Soft Interactive Grasping
Southern University of Science and Technology(南方科技大学);University of Hong Kong(香港大学)
在过去的几十年里,已经努力实现鲁棒的机器人抓取,因此灵巧的操作。柔性手爪由于其固有的低成本、控制复杂性和高适应性等特点,在鲁棒抓取方面显示出了巨大的潜力。然而,柔性手爪在与物体交互时的变形带来了抓取物体的不准确性,这导致了鲁棒抓取和进一步操作的不稳定性。在本文中,我们提出了一个全方位的自适应软手指,可以感知基于嵌入式光纤和应用机器学习方法来解释透射光强度的变形。此外,利用软手指提供的触觉信息,我们设计了一种低成本的多自由度夹持器,以主动顺应物体的形状,优化抓取策略,这就是所谓的刚性-柔性交互抓取。这种抓取策略的两个主要优点是:一是通过主动适应可以实现更鲁棒的抓取;二是所收集的触觉信息有助于进一步的操作。
2020-12-06 cs.RO
DexSinGrasp: Learning a Unified Policy for Dexterous Object Singulation and Grasping in Densely Cluttered Environments
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
提出DexSinGrasp统一策略,利用灵巧手高自由度在密集杂乱环境中高效分离并抓取物体,通过课程学习与策略蒸馏提升成功率与泛化性,实验优于基线。
2025-10-25 cs.RO
A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in Object Stacking Scenes
机器人自主抓取在智能机器人技术中占有重要地位。然而,如何帮助机器人在物体堆叠场景中抓取特定物体仍然是一个悬而未决的问题,因为对于自主机器人来说,存在两个主要挑战:(1)知道抓取什么以及如何抓取是一项综合任务;(2)难以处理目标被其他物体隐藏或覆盖的情况。本文提出了一种用于机器人自主抓取的多任务卷积神经网络,它可以帮助机器人在物体堆叠场景中发现目标,制定抓取计划,并最终逐步抓取目标。我们将基于视觉的机器人抓取检测和视觉操作关系推理集成在一个深度网络中,构建了自主机器人抓取系统。实验结果表明,Baxter机器人在物体杂乱场景、熟悉堆垛场景和复杂堆垛场景中的自主抓取成功率分别为90.6%、71.9%和59.4%。
2019-03-02 cs.RO
MG-Grasp: Metric-Scale Geometric 6-DoF Grasping Framework with Sparse RGB Observations
The Department of Electronic Engineering, Tsinghua University, Beijing 100084, China(清华大学电子工程系,北京100084,中国);The Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong, China(香港科学与技术大学电子与计算机工程系,香港,中国)
本文提出MG-Grasp框架,利用双视角3D基础模型实现高精度6自由度抓取,通过稀疏RGB图像重建密集点云并生成稳定抓取方案,实验证明其在RGB基抓取方法中达到SOTA水平。
2026-03-18 cs.RO
Primitive Shape Recognition for Object Grasping
Georgia Institute of Technology(佐治亚理工学院)
形状告诉我们应该如何抓住一个物体,无论是在哪里还是如何。因此,本文描述了一种基于分割的架构,用于将深度相机感测到的对象分解为多个基本形状,以及用于机器人抓取的后处理流水线。分割采用称为PS-CNN的深度网络,该网络在具有6类原始形状的合成数据上训练,并使用模拟引擎生成。每个基本形状都设计有参数化的抓取族,允许管道在每个形状区域识别多个抓取候选。抓取是按等级排序的,选择第一个可行的抓取执行。对于单个物体的无任务抓取,与自上而下和基于SE(3)的方法相比,该方法实现了94.2%的成功率,使其成为性能最好的抓取方法之一。涉及可变视点和杂波的其他测试证明了设置的鲁棒性。对于面向任务的抓取,PS-CNN实现了93.0%的成功率。总体而言,结果支持的假设,明确编码的形状原语内的抓取管道应提高抓取性能,包括无任务和任务相关的把握预测。
2022-01-04 cs.RO
Robotic Grasping from Classical to Modern: A Survey
Xi’an Jiaotong University(西安交通大学)
机器人抓取一直是机器人学中的一个活跃的话题,因为抓取是机器人最基本但最具挑战性的技能之一。它要求协调机器人的感知,规划和控制的鲁棒性和智能性。然而,目前的解决方案仍然远远落后于人类,特别是在面对非结构化场景时。在本文中,我们调查的机器人抓取的进展,从经典的配方和解决方案的现代。通过回顾机器人抓取的历史,我们希望提供一个完整的视图,这个社区,也许启发不同的想法的组合和融合,我们认为这将有助于触摸和探索机器人抓取问题的本质。详细地,我们首先给出了机器人抓取的分析方法的概述。在此之后,我们提供了一个最新的国家的最先进的数据驱动的抓取方法,近年来兴起的讨论。随着计算机视觉的发展,语义抓取得到了广泛的研究,并有望成为未来自主机器人系统智能操作和技能学习的基础。因此,在我们的调查中,我们也简要回顾了这一主题的最新进展。最后,我们讨论了开放的问题和未来的研究方向,可能是重要的人类水平的鲁棒性,自主性和智能的机器人。
2022-02-08 cs.RO
Certified Grasping
Massachusetts Institute of Technology(麻省理工学院)
从几何角度研究了平面抓取的鲁棒性问题。通过将抓取视为随着时间的推移塑造对象的自由空间的过程,我们可以定义三种类型的证书来保证抓取的成功:(a)初始集合下的不变性,(b)向目标抓取的收敛性,以及(c)最终对象姿势的可观察性。我们开发的凸组合模型,这些证书,可以表示为简单的半代数关系下温和的建模假设。通过利用这些模型来合成证书,我们优化了可证明的把握任意平面物体组成的凸多边形的工会,使用操纵器描述为点手指。我们验证了这种方法与模拟和真实的机器人实验,抓住随机多边形,与其他标准的抓取规划算法进行比较,并在不同的对象进行无传感器抓取。
2019-09-09 cs.RO
Robotic Grasping through Combined Image-Based Grasp Proposal and 3D Reconstruction
Samsung AI Center NY(三星纽约人工智能中心)
我们提出了一种新的方法,机器人抓取规划使用学习掌握建议网络和学习三维形状重建网络。我们的系统从目标对象的单个RGB-D图像生成6-DOF抓握,该图像作为输入提供给两个网络。通过使用几何重建来细化抓取建议网络产生的候选抓取,我们的系统能够准确地抓取已知和未知的物体,即使在输入图像中看不到物体上的抓取位置。本文介绍了网络架构,培训程序,并把握细化方法,包括我们的系统。实验证明了我们的系统在抓取已知和未知物体方面的有效性(在物理机器人环境中的成功率为91%,在模拟环境中的成功率为84%)。我们还进行了消融研究,显示了将学习的抓取建议与几何重建相结合进行抓取的好处,并且还表明我们的系统在抓取任务中的性能优于几个基线。
2020-11-06 cs.RO
Introducing Environmental Constraints to Grasping Strategies for Paper-Like Flexible Materials Using a Soft Gripper
College of Mechanical and Electrical Engineering, Nanjing University(南京大学机械与电子工程学院);Jiangsu Key Laboratory of Bionic Materials and Equipment, Nanjing University of Aeronautics and Astronautics(江苏生物材料与设备重点实验室,南京航空航天大学)
本文研究了使用通用软夹具抓取纸张类柔性材料的策略,通过环境约束分析其机械和运动模型,并设计评估系统验证材料和工况对抓取的影响。
2026-05-12 cs.RO
Multi-Fingered Robotic Grasping: A Primer
University of California, Merced(加州大学默塞德分校);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院)
本技术报告介绍了多指机器人抓取的不同方面。在介绍了建模的相关数学背景后,讨论了模型的形式和力封闭性。接下来,我们提出了一个概述的各种抓取规划算法的目的是说明不同的方法来解决这个问题。最后,我们讨论了把握绩效标杆。
2016-07-22 cs.RO
Improving Robotic Grasping Ability Through Deep Shape Generation
Wuhan University(武汉大学);University of Hamburg(汉堡大学);Wuhan Institute of Technology(武汉工程大学);The Chinese University of HongKong(香港中文大学)
数据驱动的方法已经成为机器人抓取规划的主导范式。然而,这些方法的性能受到可用训练数据的质量的极大影响。在本文中,我们提出了一个框架来生成物体形状,以提高抓取数据集的质量,从而提高了预先设计的基于学习的抓取规划网络的抓取能力。在这个框架中,对象的形状被嵌入到一个低维的特征空间使用AutoEncoder(编码器-解码器)为基础的结构网络。使用离群值检测和抓握质量标准为每个对象形状定义稀有度和抓握度分数。随后,在特征空间中生成新的对象形状,该特征空间利用原始的高稀有度和抓握度得分对象的特征,其可以用于增强抓握数据集。仿真和实验结果表明,基于学习的抓取规划网络能够有效地提高物体形状的抓取能力.
2022-09-06 cs.RO
GoalGrasp: Grasping Goals in Partially Occluded Scenarios without Grasp Training
National Graduate College for Elite Engineers, Southeast University(东南大学精英工程师研究生学院)
GoalGrasp提出一种无需抓取标注与训练的6自由度抓取姿态检测方法,结合3D边界框和人类抓取先验,实现对用户指定物体的快速抓取并缓解遮挡问题,实验成功率94%,部分遮挡下92%。
2025-04-22 cs.RO
Towards Generalization and Data Efficient Learning of Deep Robotic Grasping
Beihang University(北京航空航天大学)
深度强化学习(Deep Reinforcement Learning,DRL)已被证明是自主学习复杂控制策略的强大范例。DRL在机器人抓取中的许多最近的应用已经成功地训练了DRL机器人代理端到端,将视觉输入直接映射到控制指令,但是所需的训练数据的量可能会阻碍这些应用在实践中。在本文中,我们提出了一个基于DRL的机器人视觉抓取框架,其中视觉感知和控制策略是分开训练的,而不是端到端的。视觉感知产生抓取对象的物理描述,策略利用它们来基于DRL决定最佳动作。受益于对象的显式表示,该策略有望被赋予更多的泛化能力,对新的对象和环境。此外,该策略可以在仿真中进行训练,并在实际机器人系统中传输,而无需任何进一步的训练。我们评估我们的框架在现实世界中的机器人系统上的一些机器人抓取任务,如语义抓取,集群对象抓取,移动对象抓取。结果表明,令人印象深刻的鲁棒性和推广我们的系统。
2020-07-02 cs.RO
Rethinking 6-Dof Grasp Detection: A Flexible Framework for High-Quality Grasping
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对现有6自由度抓取方法对下游任务适配性不足的问题,提出以抓取为中心的FlexLoG灵活框架,兼容多类引导并局部预测抓取,在基准数据集和真实场景中均实现性能提升。
2024-10-06 cs.RO
GAT-Grasp: Gesture-Driven Affordance Transfer for Task-Aware Robotic Grasping
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Harbin Institute of Technology(哈尔滨工业大学);Zhejiang University(浙江大学)
本文提出GAT-Grasp框架,通过手势驱动的可供性迁移从人-物交互视频中提取抓取知识,实现对新物体和杂乱环境的零样本任务感知抓取。
2025-03-08 cs.RO
GraspGen-X: Cross-Embodiment 6-DOF Diffusion-based Grasping
NVIDIA;Princeton University(普林斯顿大学)
提出一种基于扩散模型的跨形态6自由度抓取方法,通过扫描体积启发式编码夹爪表示,在20亿抓取数据上训练,实现对新物体、场景和夹爪形态的零样本泛化。
2026-05-31 cs.RO
Physics-Aware Iterative Learning and Prediction of Saliency Map for Bimanual Grasp Planning
Dalian University of Technology(大连理工大学);The University of Manchester(曼彻斯特大学);Tsinghua University(清华大学)
针对双手抓取规划搜索空间大、标注数据需求多的问题,提出基于单手抓取数据的双手抓取显著性学习框架,结合物理平衡损失与优化模块,高效实现平衡的双手抓取。
2024-04-13 cs.RO
Learning Generalizable Vision-Tactile Robotic Grasping Strategy for Deformable Objects via Transformer
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
针对可变形物体抓取难题,提出融合视觉与触觉的 Transformer 框架,通过探索动作预测安全抓取力度,并在公开与自建水果数据集上验证其准确率、效率及泛化能力。
2023-07-23 cs.RO
Fish Mouth Inspired Origami Gripper for Robust Multi-Type Underwater Grasping
University of California, Berkeley(加州大学伯克利分校)
针对水下抓取面临的复杂环境与多样物体挑战,研究提出受鱼嘴启发的单自由度Yoshimura折痕折纸夹爪,具备四种抓取模式,可处理多种海洋生物,为水下机器人抓取提供有效新方案。
2025-03-20 cs.RO
Towards Feasible Dynamic Grasping: Leveraging Gaussian Process Distance Field, SE(3) Equivariance and Riemannian Mixture Models
University of Pennsylvania(宾夕法尼亚大学)
本研究整合高斯过程距离场、SE(3)等变网络与黎曼混合模型,提出动态环境下机器人抓取新方法,通过形状重建、等变采样与可达性评估生成可行抓取位姿,经实验验证可提升动态抓取成功率与执行平滑性。
2024-03-07 cs.RO
SegGrasp: Zero-Shot Task-Oriented Grasping via Semantic and Geometric Guided Segmentation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Hong Kong(香港大学);Zhejiang University(浙江大学);MEGVII Technology(旷视科技);Waseda University(早稻田大学)
本文提出无训练框架SegGrasp,结合语义与几何先验,利用GLIP粗分割与GeoFusion融合凸分解几何信息提升质量,实现零样本任务导向抓取,性能超基线15%以上。
2024-10-14 cs.RO
EGAD! an Evolved Grasping Analysis Dataset for diversity and reproducibility in robotic manipulation
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学);LYRO Robotics(LYRO机器人公司)
我们提出了进化抓取分析数据集(EGAD),包括超过2000个生成的对象,旨在训练和评估机器人视觉抓取检测算法。EGAD中的对象在几何形状上是多样的,与其他用于机器人抓取的数据集相比,填充了从简单到复杂形状以及从容易到难以抓取的空间,这些数据集的大小可能有限或仅包含少量的对象类。此外,我们还指定了一组49个不同的3D打印评估对象,以鼓励在一系列复杂性和难度下对机器人抓取系统进行可重复的测试。数据集、代码和视频可以在https://dougsm.github.io/egad/上找到
2020-04-23 cs.RO
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne(墨尔本大学);St. Vincent’s Hospital(圣文森特医院)
基于触觉的盲抓取解决了现实的机器人抓取,其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识,例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里,提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰,被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
Robotic Grasping using Deep Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
在这项工作中,我们提出了一种基于深度强化学习的方法来解决机器人抓取问题,使用机器人电机反馈。基于深度学习的方法的使用降低了由使用手工设计的特征引起的复杂性。我们的方法使用一个离政策强化学习框架来学习抓取政策。我们使用双深度Q学习框架和一个新的Grasp-Q-Network来输出抓取概率,用于学习抓取,以最大限度地提高抓取成功率。我们提出了一个视觉伺服机制,使用多视图摄像机设置,观察包含感兴趣的对象的场景。我们使用Baxter Gazebo模拟环境以及实际机器人进行实验。结果表明,我们提出的方法优于基线Q学习框架,并通过适应多视图模型相比,单视图模型,提高了抓取精度。
2020-07-09 cs.RO
Multi-Object Grasping -- Types and Taxonomy
University of South Florida(南佛罗里达大学)
本文提出了12个多目标抓取(MOG)类型从人类和机器人抓取数据集。然后分析抓取类型并将其组织成MOG分类法。本文首先介绍了三个MOG数据汇集设置:一个人的手指跟踪设置多物体抓取演示,一个真实的系统与Barrethand,UR 5e手臂,和MOG算法,一个模拟系统与真实系统相同的设置。然后,本文描述了一种新的随机抓取程序设计的基础上有偏随机行走,探索机器人手的配置空间,可行的MOG。基于对人类演示和机器人MOG解决方案的观察,本文提出了12种MOG类型,分为两组:基于形状的类型和基于功能的类型。新的MOG类型比较使用六个特征,然后编译成一个分类。本文然后介绍了所观察到的MOG型组合,并展示了16种不同组合的例子。
2022-05-30 cs.RO
DexGrip: Multi-modal Soft Gripper with Dexterous Grasping and In-hand Manipulation Capacity
CSIRO(联邦科学与工业研究组织);University of Queensland(昆士兰大学)
针对软体机器人抓手操作能力不足的问题,提出DexGrip多模态软体抓手,通过3自由度主动吸掌和3个主动旋转抓取面实现全主轴360度操作,实验证明其能灵巧操作多种复杂物体。
2024-11-26 cs.RO
LEGS: Learning Efficient Grasp Sets for Exploratory Grasping
UC Berkeley(加州大学伯克利分校);Siemens Research Lab(西门子研究实验室)
虽然深度学习在设计通用机器人抓取系统方面取得了重大进展,但仍存在对这些系统构成挑战的对象。最近的工作探索把握正式的问题,系统地探索掌握这些敌对的对象,并探讨了一个多臂强盗模型,以确定高质量的把握每个对象的稳定姿态。然而,这些系统仍然限于探索每个对象上的少量或抓握。我们提出了学习有效的把握集(LEGS),算法,有效地探索数以千计的可能把握保持小的积极的有前途的把握,并确定何时可以停止探索对象具有高的信心。实验表明,LEGS可以识别一个高质量的把握比以前的算法,不使用活动集更有效。在模拟实验中,我们测量由LEGS、基线识别的最佳抓取的成功概率与最鲁棒的抓取(经验证的地面实况)之间的差距。经过3000个探索步骤,LEGS在Dex-Net对抗和EGAD上的10/14和25/39对象上的性能优于基线算法!数据分别。然后,我们在物理实验中评估LEGS; 3个具有挑战性的对象的试验表明,LEGS收敛到高性能的把握显着快于基线。有关补充材料和视频,请访问https://sites.google.com/view/legs-exp-grasping。
2022-03-02 cs.RO
The Grasp Reset Mechanism: An Automated Apparatus for Conducting Grasping Trials
Collaborative Robotics and Intelligent Systems (CoRIS) Institute(协作机器人与智能系统研究所);Oregon State University(俄勒冈州立大学);Southwest Research Institute (SwRI)(西南研究院);UMass Lowell Nerve Center(马萨诸塞大学洛厄尔分校神经中心)
本文提出全自动化的 Grasp Reset Mechanism(GRM),可重置环境、切换物体并采集多模态抓取数据,同时提供标准化控制接口及含1,020次抓取的数据集。
2024-02-28 cs.RO
DGCM-Net: Dense Geometrical Correspondence Matching Network for Incremental Experience-based Robotic Grasping
TU Wien(维也纳工业大学)
本文提出了一种从经验中学习来把握新奇事物的方法。成功的尝试被记住,然后用于指导未来的抓握,使得随着时间的推移实现更可靠的抓握。为了将学习到的经验推广到看不见的对象,我们引入了密集几何对应匹配网络(DGCM-Net)。这应用度量学习来编码特征空间中附近具有相似几何形状的对象。因此,检索未见过对象的相关经验是利用编码特征图的最近邻搜索。DGCM-Net还使用视图相关的归一化对象坐标空间重建3D-3D对应关系,以将抓取配置从检索到的样本转换为未见过的对象。与基线方法相比,我们的方法实现了等同的抓取成功率。然而,当将来自经验的知识与他们的把握建议策略相融合时,基线得到了显着改善。使用抓取数据集的离线实验突出了在对象类内和对象类之间进行概括的能力,以及随着时间的推移从不断增加的经验中提高成功率的能力。最后,通过学习任务相关的把握,我们的方法可以优先把握,使功能使用的对象。
2020-09-17 cs.RO
Tactile Sensing-based Secure and Gentle Grasping of Unknown Objects
New York Institute of Technology(纽约理工学院)
针对未知物体安全轻柔抓取的挑战,提出基于触觉传感模块的在线数据驱动预测控制框架,结合有限状态机抓取力探测与GP模型,实现100Hz实时动态操作,性能优于基线策略。
2026-10-12 cs.RO
Volumetric Grasping Network: Real-time 6 DOF Grasp Detection in Clutter
ETH Zürich(苏黎世联邦理工学院);University of Sydney(悉尼大学)
一般的机器人在混乱中抓取需要能够合成抓取,这些抓取适用于以前看不见的对象,并且对于物理交互(例如与场景中的其他对象的碰撞)也是鲁棒的。在这项工作中,我们设计和训练一个网络,预测6自由度把握从3D场景信息收集的车载传感器,如手腕安装的深度相机。我们提出的体积抓取网络(VGN)接受一个截断的有符号距离函数(TSDF)表示的场景,并直接输出预测的把握质量和相关的夹具的方向和开口宽度为每个体素在查询的3D体积。我们表明,我们的方法可以在10毫秒内规划把握,并能够在现实世界中的杂波消除实验中清除92%的对象,而不需要明确的碰撞检查。实时的【形】能力为闭环抓取规划开辟了可能性,使机器人能够处理干扰,从错误中恢复并提供更高的鲁棒性。代码可在https://github.com/ethz-asl/vgn上获得。
2021-01-04 cs.RO
GAMMA: Graspability-Aware Mobile MAnipulation Policy Learning based on Online Grasping Pose Fusion
CFCS, School of Computer Science, Peking University(北京大学计算机学院CFCS);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Galbot Tongji University(同济大学Galbot)
本文提出GAMMA,通过在线融合、去冗余与去离群的抓取位姿构建强化学习观测状态,从而在移动接近过程中保持时间一致的抓取观测,并依据位姿数量与质量评估可抓取性。
2024-03-02 cs.CV cs.RO
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
University of Liverpool(利物浦大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Zurich University of Applied Science(苏黎世应用科学大学);Indian Institute of Science(印度科学研究所);University of Information Technology(信息技术大学);The University of Tokyo(东京大学)
针对现有抓取基准未涵盖复杂多步推理和语义理解任务的问题,提出GCA-Bench基准,实现多种基线方法并进行实证研究,给出新评估指标等,为开发更强大通用的抓取策略提供指导。
2026-07-17 cs.AI cs.RO
Attribute-Based Robotic Grasping with One-Grasp Adaptation
University of Minnesota(明尼苏达大学)
机器人抓取是机器人最基本的操作任务之一,并得到了积极的研究。然而,如何快速教会机器人在混乱中抓取新的目标物体仍然具有挑战性。本文试图通过利用物体的属性来应对这一挑战,这些属性有助于识别、抓取和快速适应。在这项工作中,我们介绍了一个端到端的学习方法,基于属性的机器人抓一抓自适应能力。我们的方法融合了嵌入的工作空间图像和查询文本使用门控注意力机制和学习预测实例把握启示。此外,我们利用对象持久性之前和之后的把握学习视觉和文本属性的联合度量空间。我们的模型在模拟中是自我监督的,只使用各种颜色和形状的基本对象,但可以推广到新的对象和现实世界的场景。我们进一步证明,我们的模型是能够适应新的对象,只有一个把握数据和提高实例抓取性能显着。仿真和真实环境下的实验结果表明,该方法对未知对象的实例抓取成功率超过80%,大大优于几个基线.
2021-04-06 cs.AI cs.RO
Collision-Aware Target-Driven Object Grasping in Constrained Environments
Univ. of Minnesota(明尼苏达大学)
在受约束的环境(例如,墙壁、箱子和架子)需要对抓取姿势的可达性进行深入的推理,以避免与周围结构碰撞。典型的6自由度机器人抓取系统依赖于环境的先验知识和密集的规划计算,这是不可推广的和低效的。相比之下,我们提出了一种新的碰撞感知可达性预测器(CARP)的6自由度抓取系统。CARP学习估计抓取姿势的无碰撞概率,并显着提高了在具有挑战性的环境中的抓取。在我们的方法中,深度神经网络完全通过模拟中的自我监督来训练。仿真和真实世界的实验表明,我们的方法实现了超过75%的新物体在各种周围结构的抓取率。消融研究证明了CARP的有效性,其将6-DoF抓取率提高了95.7%。
2021-04-01 cs.LG cs.RO
GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学)
提出GraspFoM框架,利用3D基础先验(SAM3D)构建共享3D物体潜变量,联合优化重建与抓取姿态预测,通过锚点初始化的截断姿态推理扩散器生成连续多模态抓取,实现高保真重建与最优抓取。
2026-06-07 cs.CV cs.RO
FunGrasp: Functional Grasping for Diverse Dexterous Hands
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));ETH Zürich(苏黎世联邦理工学院);The Hong Kong University of Science and Technology(香港科技大学)
针对灵巧机器人手功能性抓取研究不足的问题,提出FunGrasp系统,通过人到机器人抓取重定向、强化学习训练策略及多种仿真到现实迁移技术,实现不同灵巧手对未见物体的单样本功能性抓取并验证组件有效性。
2024-11-24 cs.CV cs.RO
Goal-Auxiliary Actor-Critic for 6D Robotic Grasping with Point Clouds
University of Washington(华盛顿大学);NVIDIA(英伟达)
6D机器人抓取超出自上而下的箱子拾取场景是一项具有挑战性的任务。以前的解决方案的基础上的6D抓取合成与机器人运动规划通常工作在开环设置,这是敏感的抓取合成误差。在这项工作中,我们提出了一种新的方法来学习闭环控制策略的6D抓取。我们的政策需要一个分段的点云的对象从一个自我中心的相机作为输入,并输出连续的6D控制动作的机器人抓手抓持的对象。将模仿学习和强化学习相结合,提出了一种目标-辅助行动者-批评者的策略学习算法。我们证明了我们的学习策略可以集成到桌面6D抓取系统和人机交接系统中,以提高看不见的物体的抓取性能。我们的视频和代码可以在https://sites.google.com/view/gaddpg上找到。
2021-07-01 cs.CV cs.RO
GraspFactory: A Large Object-Centric Grasping Dataset
Autodesk Research(Autodesk研究院)
本文提出GraspFactory,一个包含超1.09亿个6自由度抓取的大规模物体中心数据集,用于训练可泛化的机器人抓取模型,并在模拟和真实环境中验证了其泛化能力。
2025-09-24 cs.AI cs.RO
Grasping the Inconspicuous
Automation and Control Institute (ACIN)(自动化与控制研究所);TU Wien(维也纳工业大学)
透明物体在日常生活中很常见,因此有许多应用需要机器人抓取。对于非透明物体,存在许多针对物体抓取的解决方案。然而,由于透明物体的独特视觉特性,标准3D传感器会产生噪声或失真的测量结果。现代方法通过改进有噪声的深度测量或使用深度的某种中间表示来解决这个问题。为此,我们研究了仅用于透明物体抓取的RGB图像的深度学习6D姿态估计。为了训练和测试基于RGB的对象姿态估计的适用性,我们构建了具有6D姿态注释的仅RGB图像的数据集。实验证明了RGB图像空间对透明物体抓取的有效性。
2022-11-15 cs.CV cs.RO
Self-supervised 6-DoF Robot Grasping by Demonstration via Augmented Reality Teleoperation System
Rochester Institute of Technology(罗切斯特理工学院);Figure AI(Figure AI公司)
针对6自由度抓取依赖强监督位姿标注的问题,提出基于AR遥操作的自监督框架,从人类示范中对比学习抓取策略,无需标注即可在真实环境中快速学会抓取未知物体。
2024-04-03 cs.CV cs.RO
MonoGraspNet: 6-DoF Grasping with a Single RGB Image
Technical University of Munich(慕尼黑工业大学);Google(谷歌);Johns Hopkins University(约翰斯·霍普金斯大学)
6-自由度机器人抓取是一个长期存在但尚未解决的问题。最近的方法利用强3D网络从深度传感器提取几何抓取表示,在常见对象上表现出优异的准确性,但在光度学上具有挑战性的对象上表现得不令人满意,例如,透明或反光材质的物体。瓶颈在于这些物体的表面由于光的吸收或折射而不能反射回准确的深度。在本文中,与利用不准确的深度数据相比,我们提出了第一个仅RGB的6-DoF抓取管道,称为MonoGraspNet,它利用稳定的2D特征同时处理任意对象抓取,并克服了光度挑战性对象引起的问题。MonoGraspNet利用关键点热图和法线图来恢复由我们的新表示表示所表示的6-DoF抓取姿势,该表示使用具有相应深度,抓取方向,抓取宽度和角度的2D关键点进行参数化。在真实场景中的大量实验表明,我们的方法可以实现竞争力的结果,在把握共同的对象,并超过了基于深度的竞争对手在把握光度具有挑战性的对象大幅度。为了进一步刺激机器人操作研究,我们还注释和开源了一个多视图和多场景的真实世界抓取数据集,其中包含120个混合光度复杂性的对象,以及20 M个准确的抓取标签。
2023-03-01 cs.AI cs.CV cs.RO
Volumetric Reconstruction From Partial Views for Task-Oriented Grasping
School of Computing, Wichita State University(威奇托州立大学计算学院);The University of Alabama(阿拉巴马大学)
该研究提出结合R-GAN体积重建、AffordPose可供性检索与PPO强化学习的方法,从有限局部视图推断任务型抓取策略,在双臂机器人四项任务上达89%抓取准确率。
2025-03-19 cs.AI cs.RO
Using Synthetic Data and Deep Networks to Recognize Primitive Shapes for Object Grasping
Georgia Institute of Technology(佐治亚理工学院)
提出了一种基于分割的体系结构,将物体从单目深度输入分解为多个基本形状,用于机器人操作。骨干深度网络在具有由模拟引擎生成的6类基本形状的合成数据上训练。每个基元形状都设计有参数化的抓取族,允许流水线识别每个形状基元区域的多个抓取候选者。通过建议的排名算法的优先级顺序的把握,与第一个可行的选择执行。在无任务抓取单个物体时,该方法的成功率达到94%。在以任务为导向的抓取中,它达到了76%的成功率。总的来说,该方法支持的假设,形状基元可以支持无任务和任务相关的把握预测。
2019-09-12 cs.CV cs.RO
Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing
Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心);Queensland University of Technology (QUT)(昆士兰科技大学)
本文考虑的视觉闭环抓取的RGB-D相机不再能够提供有效的深度信息的最终方法阶段。许多当前的机器人抓取控制器不是闭环的,因此不能用于移动物体。基于RGB-D图像的闭环抓取控制器可以跟踪移动物体,但在抓取前违反传感器的最小物距时会失败。为了克服这一点,我们提出了使用基于图像的视觉伺服(IBVS)引导机器人的对象相对把握姿态使用相机RGB信息。IBVS鲁棒地将相机移动到根据图像平面特征配置隐式定义的目标姿态。在这项工作中,目标图像特征坐标是从RGB-D数据中预测的,以便在深度数据不可用时实现仅RGB跟踪-这使得能够更可靠地抓住以前看不见的移动物体。提供了实验结果。
2020-02-28 cs.CV cs.RO
GRASPLAT: Enabling dexterous grasping through novel view synthesis
TeV, Fondazione Bruno Kessler(TeV,布鲁诺·凯瑟尔基金会);PAVIS, Fondazione Istituto Italiano di Tecnologia(PAVIS,意大利技术研究院基金会);ISR, Instituto Superior Técnico, Universidade de Lisboa(ISR,里斯本大学理工学院);University of Trento(特伦托大学)
GRASPLAT提出仅用RGB图像训练、结合3D高斯泼溅合成新视角并引入光度损失,提升多指手灵巧抓取成功率,最高提升36.9%。
2025-10-22 cs.CV cs.RO