GRIP: A General Robotic Incremental Potential Contact Simulation Dataset for Unified Deformable-Rigid Coupled Grasping
AIVC Laboratory, UCLA, USA(UCLA美国大学先进视觉计算实验室);Toyota Research Institute, USA(美国丰田研究院);University of Utah, USA(美国犹他大学)
本文提出GRIP数据集,利用优化的IPC仿真器实现最高48倍加速,在1200个物体和10万个抓取姿态上自动生成柔顺夹爪与可变形物体的抓取交互数据,支持神经抓取生成与应力场预测。
2025-07-03 cs.GR cs.RO
A Multi-task Convolutional Neural Network for Autonomous Robotic Grasping in Object Stacking Scenes
机器人自主抓取在智能机器人技术中占有重要地位。然而,如何帮助机器人在物体堆叠场景中抓取特定物体仍然是一个悬而未决的问题,因为对于自主机器人来说,存在两个主要挑战:(1)知道抓取什么以及如何抓取是一项综合任务;(2)难以处理目标被其他物体隐藏或覆盖的情况。本文提出了一种用于机器人自主抓取的多任务卷积神经网络,它可以帮助机器人在物体堆叠场景中发现目标,制定抓取计划,并最终逐步抓取目标。我们将基于视觉的机器人抓取检测和视觉操作关系推理集成在一个深度网络中,构建了自主机器人抓取系统。实验结果表明,Baxter机器人在物体杂乱场景、熟悉堆垛场景和复杂堆垛场景中的自主抓取成功率分别为90.6%、71.9%和59.4%。
2019-03-02 cs.RO
Bayesian Grasp: Robotic visual stable grasp based on prior tactile knowledge
机器人抓取检测是非结构化环境中智能操作的基本能力。以往的研究主要是通过视觉和触觉的融合来实现稳定的抓取,而整个抓取过程严重依赖于再抓取,需要花费大量的时间来调节和评估。我们提出了一种新的方法来提高机器人抓:通过学习触觉知识,机器人可以实现稳定的把握从图像。首先,我们构建了一个先验的触觉知识学习框架与新的把握质量度量,这是通过测量其抵抗外部扰动。其次,我们提出了一个多阶段的贝叶斯抓取架构,通过一个单一的RGB图像的基础上先验触觉知识生成稳定的把握配置。结果表明,该框架可以对抓握结果进行分类,对已知物体的平均准确率为86%,对新物体的平均准确率为79%。先验触觉知识比传统的基于视觉的策略提高了55%的成功率。
2019-09-16 cs.RO
2.5D Image based Robotic Grasping
Fudan University(复旦大学)
我们考虑的问题,机器人抓取使用深度+ RGB信息采样从一个真正的传感器。我们设计了一个编码器-解码器神经网络来实时的预测抓取策略。该方法融合了深度图像和RGB图像的优点,对抓取和观察高度具有鲁棒性,并在实际机器人系统中进行了评估,提出了一种实现机器人抓取操作的开环算法。实验结果表明,该方法在抓取性能、实时性和模型规模等方面都具有较好的竞争力。该视频可在https://youtu.be/Wxw_r5a8qV0上获得
2019-05-31 cs.RO
Towards Generalization and Data Efficient Learning of Deep Robotic Grasping
Beihang University(北京航空航天大学)
深度强化学习(Deep Reinforcement Learning,DRL)已被证明是自主学习复杂控制策略的强大范例。DRL在机器人抓取中的许多最近的应用已经成功地训练了DRL机器人代理端到端,将视觉输入直接映射到控制指令,但是所需的训练数据的量可能会阻碍这些应用在实践中。在本文中,我们提出了一个基于DRL的机器人视觉抓取框架,其中视觉感知和控制策略是分开训练的,而不是端到端的。视觉感知产生抓取对象的物理描述,策略利用它们来基于DRL决定最佳动作。受益于对象的显式表示,该策略有望被赋予更多的泛化能力,对新的对象和环境。此外,该策略可以在仿真中进行训练,并在实际机器人系统中传输,而无需任何进一步的训练。我们评估我们的框架在现实世界中的机器人系统上的一些机器人抓取任务,如语义抓取,集群对象抓取,移动对象抓取。结果表明,令人印象深刻的鲁棒性和推广我们的系统。
2020-07-02 cs.RO
Instance-wise Grasp Synthesis for Robotic Grasping
University of Edinburgh(爱丁堡大学);University of Groningen(格罗宁根大学);University College London(伦敦大学学院)
生成高质量的实例式抓取配置提供了如何在多对象环境中抓取特定对象的关键信息,并且对于机器人操作任务非常重要。提出了一种新的\textbf{S}单- \textbf{S}段\textbf{G}锉刀(SSG)综合网络,该网络在单阶段进行高质量的实例抓取综合:同时为每个对象生成实例掩码和抓取配置。我们的方法在基于OCID-Grasp数据集的机器人抓取预测上优于最先进的方法,并且在JACQUARD数据集上具有竞争力。基准测试结果显示,与基准相比,生成的抓取配置的准确性有了显着改善。所提出的方法的性能已通过广泛的仿真和真实的机器人实验三个任务,包括单对象的拾取和放置,把握在混乱的环境中的合成和表清洁任务进行了验证。
2023-02-15 cs.RO
Multi-Fingered Robotic Grasping: A Primer
University of California, Merced(加州大学默塞德分校);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院)
本技术报告介绍了多指机器人抓取的不同方面。在介绍了建模的相关数学背景后,讨论了模型的形式和力封闭性。接下来,我们提出了一个概述的各种抓取规划算法的目的是说明不同的方法来解决这个问题。最后,我们讨论了把握绩效标杆。
2016-07-22 cs.RO
ROI-based Robotic Grasp Detection for Object Overlapping Scenes
Xi’an Jiaotong University(西安交通大学)
在物体重叠场景中,考虑抓取物与主人之间的关联关系的抓取检测对于机器人抓取方法的实际应用是一项必要且具有挑战性的任务。本文提出了一种基于感兴趣区域(ROI)的机器人抓取检测算法ROI-GD。ROI-GD使用来自ROI的特征来检测抓握而不是整个场景。它有两个阶段:第一阶段是在输入图像中提供ROI,第二阶段是基于ROI特征的抓取检测器。我们还贡献了一个多对象抓取数据集,这是远远大于康奈尔抓取数据集,通过标记视觉操纵关系数据集。实验结果表明,ROI-GD表现出更好的对象重叠的场景,在同一时间,仍然与国家的最先进的抓持检测算法在康奈尔大学Grasp数据集和JEFFECT数据集。机器人实验表明,ROI-GD可以帮助机器人在单目标和多目标场景中抓取目标,总体成功率分别为92.5%和83.8%。
2019-03-14 cs.RO
RT-Grasp: Reasoning Tuning Robotic Grasping via Multi-modal Large Language Model
Rutgers University(罗格斯大学);Baidu Research(百度研究院)
本文提出推理调优方法,利用多模态大语言模型的推理能力生成抓取姿态等数值预测,并构建专用数据集,经实验验证有效,弥合了文本规划与直接机器人控制的差距。
2024-11-07 cs.RO
Robotic Grasping through Combined Image-Based Grasp Proposal and 3D Reconstruction
Samsung AI Center NY(三星纽约人工智能中心)
我们提出了一种新的方法,机器人抓取规划使用学习掌握建议网络和学习三维形状重建网络。我们的系统从目标对象的单个RGB-D图像生成6-DOF抓握,该图像作为输入提供给两个网络。通过使用几何重建来细化抓取建议网络产生的候选抓取,我们的系统能够准确地抓取已知和未知的物体,即使在输入图像中看不到物体上的抓取位置。本文介绍了网络架构,培训程序,并把握细化方法,包括我们的系统。实验证明了我们的系统在抓取已知和未知物体方面的有效性(在物理机器人环境中的成功率为91%,在模拟环境中的成功率为84%)。我们还进行了消融研究,显示了将学习的抓取建议与几何重建相结合进行抓取的好处,并且还表明我们的系统在抓取任务中的性能优于几个基线。
2020-11-06 cs.RO
EGAD! an Evolved Grasping Analysis Dataset for diversity and reproducibility in robotic manipulation
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学);LYRO Robotics(LYRO机器人公司)
我们提出了进化抓取分析数据集(EGAD),包括超过2000个生成的对象,旨在训练和评估机器人视觉抓取检测算法。EGAD中的对象在几何形状上是多样的,与其他用于机器人抓取的数据集相比,填充了从简单到复杂形状以及从容易到难以抓取的空间,这些数据集的大小可能有限或仅包含少量的对象类。此外,我们还指定了一组49个不同的3D打印评估对象,以鼓励在一系列复杂性和难度下对机器人抓取系统进行可重复的测试。数据集、代码和视频可以在https://dougsm.github.io/egad/上找到
2020-04-23 cs.RO
Attention based visual analysis for fast grasp planning with multi-fingered robotic hand
University of Hamburg(汉堡大学)
我们提出了一个基于注意力的视觉分析框架来计算抓取相关信息,以指导使用多指机器人手的抓取规划。我们的方法使用计算视觉注意力模型来定位场景中的感兴趣区域,并使用深度卷积神经网络来检测感兴趣区域中呈现的对象的子区域的抓握类型和点。我们展示了所提出的框架在物体抓取任务,其中所提出的框架产生的信息被用作先验信息,以指导抓取规划。实验结果表明,该框架不仅能够加快抓取规划的速度,而且能够处理未知物体。此外,我们的框架可以处理混乱的场景。还提出了一个新的抓取类型数据集(GTD),考虑6种常用的抓取类型,涵盖12个家用物体。
2018-09-12 cs.RO
GAT-Grasp: Gesture-Driven Affordance Transfer for Task-Aware Robotic Grasping
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Harbin Institute of Technology(哈尔滨工业大学);Zhejiang University(浙江大学)
本文提出GAT-Grasp框架,通过手势驱动的可供性迁移从人-物交互视频中提取抓取知识,实现对新物体和杂乱环境的零样本任务感知抓取。
2025-03-08 cs.RO
MultiGripperGrasp: A Dataset for Robotic Grasping from Parallel Jaw Grippers to Dexterous Hands
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文介绍了MultiGripperGrasp,一个包含11种夹爪对312个物体的3040万次抓取的大规模数据集,通过Isaac Sim验证抓取并记录掉落时间,且基于手掌对齐实现跨夹爪的抓取迁移,显著提升了各夹爪的成功抓取数量。
2024-08-28 cs.RO
Improving Robotic Grasping Ability Through Deep Shape Generation
Wuhan University(武汉大学);University of Hamburg(汉堡大学);Wuhan Institute of Technology(武汉工程大学);The Chinese University of HongKong(香港中文大学)
数据驱动的方法已经成为机器人抓取规划的主导范式。然而,这些方法的性能受到可用训练数据的质量的极大影响。在本文中,我们提出了一个框架来生成物体形状,以提高抓取数据集的质量,从而提高了预先设计的基于学习的抓取规划网络的抓取能力。在这个框架中,对象的形状被嵌入到一个低维的特征空间使用AutoEncoder(编码器-解码器)为基础的结构网络。使用离群值检测和抓握质量标准为每个对象形状定义稀有度和抓握度分数。随后,在特征空间中生成新的对象形状,该特征空间利用原始的高稀有度和抓握度得分对象的特征,其可以用于增强抓握数据集。仿真和实验结果表明,基于学习的抓取规划网络能够有效地提高物体形状的抓取能力.
2022-09-06 cs.RO
Grasp Constraint Satisfaction for Object Manipulation using Robotic Hands
University of Melbourne(墨尔本大学);St. Vincent’s Hospital(圣文森特医院)
为了用机器人手成功地操纵物体,重要的是确保物体始终保持在抓取状态。除了与滑动和奇异手配置相关联的抓握约束之外,过度滚动是接触点从指尖表面滚离的重要抓握问题。相关文献仅关注抓取约束的子集,或者假设抓取约束满足而不提供这种要求的保证。在本文中,我们提出了一种系统地处理所有抓取约束的控制方法。所提出的控制器确保对象不滑动,关节不超过关节角度约束(例如,达到奇异配置),接触点保持在指尖工作空间。所提出的控制器接受名义操纵控制,并确保抓取约束得到满足,以支持文献中的假设。仿真结果验证了该方法的有效性。
2018-11-27 cs.RO
Robotic grasp detection based on Transformer
复杂环境下的抓取检测仍然是机器人面临的一大挑战。目前,Transformer机制已成功应用于视觉任务中,其出色的全局上下文信息抽取能力为提高复杂场景下机器人抓取检测的性能提供了可行的途径。然而,原始Transformer模型的感应偏置能力不足,需要大规模的数据集训练,这是难以获得的抓取检测。在本文中,我们提出了一种基于编码器-解码器结构的抓取检测模型。编码器使用Transformer网络来提取全局上下文信息。解码器使用全卷积神经网络来提高模型的感应偏置能力,并结合编码器提取的特征来预测最终的抓取配置。在VMRD数据集上的实验表明,我们的模型在重叠的对象场景中表现得更好。同时,在Cornell Grasp数据集上,我们的方法达到了98.1%的准确率,这与最先进的算法相当。
2022-05-30 cs.RO
Robotic Grasping using Deep Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
在这项工作中,我们提出了一种基于深度强化学习的方法来解决机器人抓取问题,使用机器人电机反馈。基于深度学习的方法的使用降低了由使用手工设计的特征引起的复杂性。我们的方法使用一个离政策强化学习框架来学习抓取政策。我们使用双深度Q学习框架和一个新的Grasp-Q-Network来输出抓取概率,用于学习抓取,以最大限度地提高抓取成功率。我们提出了一个视觉伺服机制,使用多视图摄像机设置,观察包含感兴趣的对象的场景。我们使用Baxter Gazebo模拟环境以及实际机器人进行实验。结果表明,我们提出的方法优于基线Q学习框架,并通过适应多视图模型相比,单视图模型,提高了抓取精度。
2020-07-09 cs.RO
Mask-GD Segmentation Based Robotic Grasp Detection
复杂场景下目标物体抓取检测的可靠性是一项具有挑战性的任务,也是实际应用中亟待解决的关键问题。目前,抓取检测定位来自于对整幅图像的特征空间的搜索。然而,图像中杂乱的背景信息影响了抓取检测的准确性。本文提出了一种机器人抓取检测算法MASK-GD,为该问题提供了一种可行的解决方案。MASK是一个分割的图像,只包含目标对象的像素。用于抓取检测的MASK-GD仅使用MASK特征而不是场景中整个图像的特征。它有两个阶段:第一阶段是提供目标对象的MASK作为输入图像,第二阶段是基于MASK特征的抓取检测器。实验结果表明,MASK-GD的性能与康奈尔大学数据集和JEFFECT数据集上的最先进的抓取检测算法相媲美。与此同时,MASK-GD在复杂场景中表现得更好。
2021-01-20 cs.RO
See to Reach, Feel to Grasp: Learning A Blind Grasp Reflex for Anthropomorphic Robotic Hands
Massachusetts Institute of Technology(麻省理工学院);Seoul National University(首尔大学);Yonsei University(延世大学)
本研究提出模块化灵巧抓取架构,仅凭手部本体感觉实现盲抓取,分离手臂运动与接触控制,学习稳定抓取分数,仿真与硬件实验验证鲁棒性,遵循“看到达,触觉抓取”原则。
2026-09-28 cs.RO
Improving Data Efficiency of Self-supervised Learning for Robotic Grasping
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);KUKA Deutschland GmbH(库卡德国有限公司)
给定的任务,学习机器人抓取完全基于深度相机输入和抓地力反馈,我们从应用的角度来看,显着减少所需的训练数据的量推导出一个学习算法。在时间和数据效率方面的主要改进是:首先,我们利用未失真的深度图像和任务空间之间的几何一致性。使用一个相对较小的,完全卷积神经网络,我们预测把握和抓手参数具有很大的优势,在培训以及推理性能。其次,在3%左右的小随机抓取成功率的激励下,系统地探索了抓取空间。最终的系统是在大约60小时内通过23000次抓取尝试学习的,将当前的解决方案提高了一个数量级。对于典型的箱子拾取场景,我们测量到96.6%的抓取成功率。进一步的实验表明,该系统能够概括和转移知识到新的对象和环境。
2019-03-01 cs.RO
Unknown Object Grasping for Assistive Robotics
DLR Institute of Robotics and Mechatronics(DLR机器人与机电一体化研究所);University of Edinburgh(爱丁堡大学)
本文提出一种面向辅助机器人的共享自主抓取流程,结合立体视觉实例分割与三维重建,由用户引导接近方向,并通过物理抓取规划在DLR EDAN平台上对10个未知物体实现87%的抓取成功率。
2024-05-04 cs.RO
Hybrid Robotic Grasping with a Soft Multimodal Gripper and a Deep Multistage Learning Scheme
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种结合软多模态夹爪的深度强化学习框架,实现多阶段混合机器人抓取,通过三种抓取模式优化动作数量,在仿真和真实实验中最大提升抓取效率161%和154%。
2023-03-06 cs.RO
Dexterous grasp data augmentation based on grasp synthesis with fingertip workspace cloud and contact-aware sampling
The Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出基于远程操作的框架,通过FSG生成抓取姿态数据,结合AutoWS自动生成指尖工作空间云,提升抓取数据生成效率与鲁棒性。
2026-03-17 cs.RO
Efficient Fully Convolution Neural Network for Generating Pixel Wise Robotic Grasps With High Resolution Images
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学)
本文提出一种基于全卷积神经网络的高效模型,利用400×400高分辨率RGB-D图像逐像素生成机器人抓取,在Cornell Grasp Dataset上达到94.42%图像级和91.02%物体级准确率且预测仅需8ms,无需多物体训练即可泛化输出抓取候选。
2019-09-18 cs.RO
Learning from Planned Data to Improve Robotic Pick-and-Place Planning Efficiency
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
提出基于能量的模型预测共享抓取,加速机器人抓取-放置规划,提高数据效率并泛化到新抓取和相似物体。
2025-06-18 cs.RO
Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
提出了一种实时的【形】与物体无关的、可用于闭环抓取的抓取综合方法。我们提出的生成抓取卷积神经网络(GG-CNN)预测每个像素的抓取质量和姿势。这种来自深度图像的一对一映射通过避免抓取候选对象的离散采样和长计算时间来克服当前深度学习抓取技术的局限性。此外,我们的GG-CNN在检测稳定抓握时要小几个数量级,并且性能与当前最先进的技术相当。我们的GG-CNN的轻量化和单通道生成特性允许高达50 Hz的闭环控制,从而在物体移动的非静态环境中以及存在机器人控制不准确的情况下实现准确抓取。在我们的真实世界测试中,我们在一组具有对抗性几何形状的以前看不见的物体上实现了83%的抓取成功率,在抓取尝试期间移动的一组家用物体上实现了88%的抓取成功率。在动态杂波中抓取时,我们也达到了81%的准确率。
2018-05-15 cs.RO
Efficient End-to-End Detection of 6-DoF Grasps for Robotic Bin Picking
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tuebingen(蒂宾根大学)
针对料箱拣选可达性受限导致可行6-DoF抓取不足的问题,提出基于Power-Spherical分布的端到端概率抓取模型,从单张深度图生成多样无碰撞抓取,并在仿真与真实机器人上达到约90%清空率。
2024-05-10 cs.RO
DexGrasp-Diffusion: Diffusion-based Unified Functional Grasp Synthesis Method for Multi-Dexterous Robotic Hands
Advanced Robotics Centre, National University of Singapore(新加坡国立大学先进机器人中心)
本文提出DexGrasp-Diffusion,一种端到端模块化扩散方法,结合统一多灵巧手抓取扩散模型与物理及功能判别器,为多灵巧手合成符合物体affordance指令的功能性抓取,并在MultiDex上验证其成功率、多样性与可靠性。
2024-10-23 cs.RO
Improving grasp performance using in-hand proximity and contact sensing
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们描述了我们在IROS 2016机器人抓取和操纵竞赛的自主轨道上采用的抓取和操纵策略。我们架构的一个显著特点是视觉(华硕Xtion)和触觉感知(机器人材料)之间的紧密耦合,以减少传感和驱动的不确定性。我们证明了触觉感知和反应控制的重要性,在最后阶段的把握使用Kinova机器人arm.The集的工具和算法的对象抓取这里提出的已被集成到开源机器人操作系统(ROS)。
2017-01-21 cs.RO
ROG-Grasp: Root-Oriented Geometry for Robotic Grasping and Placement
Department of Electrical and Computer Engineering, Drexel University(德雷塞尔大学电气与计算机工程系);Virginia Seafood Agricultural Research and Extension Center, and Department of Biological Systems Engineering, Virginia Tech(弗吉尼亚理工学院生物系统工程系和弗吉尼亚海鲜农业研究与推广中心);Amazon Store Foundation AI (SFAI)(亚马逊商店基金会人工智能(SFAI))
提出基于根部表面几何的ROG-Grasp框架,通过RGB-D感知估计农产品朝向,结合YOLO检测器和点云平面拟合生成稳定抓取姿态,在番茄和洋葱实验中实现高成功率与快速执行。
2026-05-30 cs.RO
A Real-time Robotic Grasp Approach with Oriented Anchor Box
Xi’an Jiaotong University(西安交通大学)
抓取是机器人与人类和环境交互的基本技能。在本文中,我们建立了一个基于视觉的,鲁棒的和实时的【形】机器人抓取方法与全卷积神经网络。我们的方法的主要组成部分是一个把握检测网络与定向锚箱检测先验。由于检测到的抓取方向是重要的,这决定了夹持器的旋转角度配置,我们提出了方向锚箱机制,以回归抓取角度基于预定义的假设,而不是没有任何先验的分类或回归。通过定向锚箱,可以更准确和有效地预测抓握。此外,为了加快网络的训练速度,进一步提高角度回归的性能,在训练过程中提出了角度匹配代替Jaccard指数匹配。五重交叉验证结果表明,我们提出的算法实现了98.8%和97.8%的准确率分别在图像和对象的分裂,我们的检测算法的速度是67 FPS与GTX 1080 Ti,优于所有当前国家的最先进的抓取检测算法在康奈尔数据集的速度和准确性。机器人实验表明,在不可见物体和真实世界环境中的鲁棒性和泛化能力,在Baxter机器人平台上,熟悉事物和不可见事物的平均成功率分别为90.0%和84.2%。
2018-09-18 cs.RO
Generating Task-specific Robotic Grasps
University of Birmingham(伯明翰大学)
本文介绍了一种方法,用于产生机器人把握共同考虑稳定性和其他任务和对象的具体限制。我们引入了一个三级表示,是从一个小的对象,任务和相关的把握样本数量为每个对象类收购。该表示将每个对象类的特定于任务的知识编码为关键点骨架和合适的抓握点之间的关系,尽管在尺度和方向上存在类内变化,但该关系仍被保留。学习模型在运行时间查询一个简单的基于采样的方法,以指导平衡任务和稳定性约束的把握的生成。我们地面和评估我们的方法的背景下,一个弗兰卡Panda机器人协助人类挑选桌面对象的机器人没有事先的CAD模型。实验结果表明,与只关注稳定性的基线方法相比,我们的方法能够为不同的任务提供合适的抓握。
2022-03-20 cs.RO
Affordance-Driven Next-Best-View Planning for Robotic Grasping
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对杂乱场景中遮挡物体难以抓取的问题,本文提出ACE-NBV,通过新视角想象预测抓取可供性并选择下一最佳视角,仿真与真实机器人实验验证了其有效性。
2023-11-03 cs.RO
Adaptive Robotic Tool-Tip Control Learning Considering Online Changes in Grasping State
The University of Tokyo(东京大学)
针对现有机器人工具操作方法未考虑抓取状态在线变化、难处理可变形工具的问题,提出一种含参数偏置的神经网络方法,实现工具末端估计控制与本体-工具关系在线自适应,经两类机器人实验验证有效。
2024-07-10 cs.RO
TEGA: A Tactile-Enhanced Grasping Assistant for Assistive Robotics via Sensor Fusion and Closed-Loop Haptic Feedback
Department of Civil and Coastal Engineering, University of Florida(土木与海岸工程系,佛罗里达大学);Nvidia(英伟达)
TEGA通过融合EMG意图到力推断与触觉传感,提供闭环触觉反馈,提升残疾用户抓取稳定性与任务成功率。
2026-03-05 cs.RO
Predicting Grasping Compliance in Robotic Hands through Analytical-Model-Informed Neural Networks
Stevens Institute of Technology(史蒂文斯理工学院)
研究旨在开发强力交互时抓握工具行为的预测模型,引入分析模型驱动神经网络(AMINN),结合分析力学层与数据驱动学习,在三指欠驱动机器人手上评估,有强预测能力且实现更好物理一致性,推动了物理可解释学习。
2026-07-21 cs.RO
DGCM-Net: Dense Geometrical Correspondence Matching Network for Incremental Experience-based Robotic Grasping
TU Wien(维也纳工业大学)
本文提出了一种从经验中学习来把握新奇事物的方法。成功的尝试被记住,然后用于指导未来的抓握,使得随着时间的推移实现更可靠的抓握。为了将学习到的经验推广到看不见的对象,我们引入了密集几何对应匹配网络(DGCM-Net)。这应用度量学习来编码特征空间中附近具有相似几何形状的对象。因此,检索未见过对象的相关经验是利用编码特征图的最近邻搜索。DGCM-Net还使用视图相关的归一化对象坐标空间重建3D-3D对应关系,以将抓取配置从检索到的样本转换为未见过的对象。与基线方法相比,我们的方法实现了等同的抓取成功率。然而,当将来自经验的知识与他们的把握建议策略相融合时,基线得到了显着改善。使用抓取数据集的离线实验突出了在对象类内和对象类之间进行概括的能力,以及随着时间的推移从不断增加的经验中提高成功率的能力。最后,通过学习任务相关的把握,我们的方法可以优先把握,使功能使用的对象。
2020-09-17 cs.RO
Underactuated dexterous robotic grasping with reconfigurable passive joints
Institute of Robotics and Machine Intelligence, Poznan University of Technology(波兹南理工大学机器人与智能机器研究所)
提出一种新型可重构被动关节(RP-joint)及从单次示例学习灵巧抓取的方法,结合运动觉接触优化,在欠驱动三指夹持器上对IKEA和YCB物体分别实现80%和87%的抓取成功率。
2025-01-27 cs.RO
Grasp Force Assistance via Throttle-based Wrist Angle Control on a Robotic Hand Orthosis for C6-C7 Spinal Cord Injury
Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心)
针对C6-C7脊髓损伤患者抓握力弱及易疲劳问题,提出可穿戴机器人MyHand-SCI,通过基于节气门的手腕角度控制方法提供抓握辅助,初步案例证明其能改善抓握力并保留力调节能力。
2024-02-12 cs.RO
Autonomous Image-to-Grasp Robotic Suturing Using Reliability-Driven Suture Thread Reconstruction
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出基于二次规划优化的缝线重建算法和最大化抓取成功概率的抓取策略,构建图像到抓取全流程,并通过400余次试验验证其在自主机器人缝合中的最先进精度与可推广性。
2024-08-29 cs.RO
Contact-based Grasp Control and Inverse Kinematics for a Five-fingered Robotic Hand
Department of Computer Science(计算机科学系);The University of Alabama(阿拉巴马大学)
本文提出一种结合接触控制与逆运动学的五指机器人抓取方法,在PyBullet中基于DexHand v2实现力闭合验证的稳定抓取,实验表明其具有高运动效率与位置精度,并指出拇指对掌控制仍需改进。
2025-04-25 cs.RO
DexGrip: Multi-modal Soft Gripper with Dexterous Grasping and In-hand Manipulation Capacity
CSIRO(联邦科学与工业研究组织);University of Queensland(昆士兰大学)
针对软体机器人抓手操作能力不足的问题,提出DexGrip多模态软体抓手,通过3自由度主动吸掌和3个主动旋转抓取面实现全主轴360度操作,实验证明其能灵巧操作多种复杂物体。
2024-11-26 cs.RO
Safe Robotic Grasping: Minimum Impact-Force Grasp Selection
University of Birmingham(伯明翰大学)
本文讨论的问题,选择从一个选择可能的把握,使冲击力将最小化,如果发生碰撞,而机器人正在移动的把握对象沿后把握轨迹。这样的考虑对于人机交互中的安全性是重要的,其中即使是经过认证的“人类安全”(例如,顺应性)臂也可能在其抓住并开始移动可能具有显著质量、尖锐边缘或其他危险的物体时变得危险。此外,最小化碰撞力对于保持在不确定和危险环境中操作的机器人的寿命是至关重要的,例如,部署用于核退役的机器人,其中从污染区移除损坏的机器人进行维修可能是极其困难和昂贵的。此外,在这种高后果环境中,机器人和关键基础设施(例如管道系统)之间的不必要碰撞可能是灾难性的。在本文中,我们研究如何把握后运动的安全性可以被认为是在预把握的方法阶段,使所选择的把握是最佳的,如果在所需的后把握操作过程中发生碰撞,应用最小的冲击力。我们建立在增强的机器人对象的动力学模型和“有效质量”的方法,并提出了一种方法,这些概念与现代把握和轨迹规划相结合,使机器人实现把握,最大限度地提高安全性的后把握轨迹,通过最大限度地减少潜在的碰撞力。我们证明了我们的方法的有效性,通过几个实验与模拟和真实的机器人。
2017-07-25 cs.RO
DMFC-GraspNet: Differentiable Multi-Fingered Robotic Grasp Generation in Cluttered Scenes
KIT(卡尔斯鲁厄理工学院);Bosch Center of AI(博世人工智能中心)
针对多指抓取每次推理仅生成单峰抓取的问题,本文提出 DMFC-GraspNet,通过新型抓取表示、密集标注流程和多种可微分损失实现端到端的密集多功能抓取生成。
2023-08-16 cs.AI cs.RO
Gradient based Grasp Pose Optimization on a NeRF that Approximates Grasp Success
Hochschule Karlsruhe -- University of Applied Sciences(卡尔斯鲁厄应用技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
提出一种基于NeRF的抓取成功估计器,通过梯度优化直接调整抓取位姿,无需渲染或离散化,在模拟任务中实现3mm平移误差并能泛化至新物体。
2023-09-14 cs.RO
Pose-free object classification from surface contact features in sequences of Robotic grasps
Instituto Superior Técnico(高等技术学院);Institute for Systems and Robotics(系统与机器人研究所)
本文提出两种基于多指机器人手本体感知的免位姿物体分类方法,分别利用接触位置与法线或仅接触位置,并引入主动探索步骤减少抓取次数,在GraspIt!模拟器中验证了其有效性。
2024-03-28 cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro(阿威罗大学电子与电信研究所);University of Groningen(格罗宁根大学)
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人,由于需要准确和实时的响应,物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法,同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献,因为无论用于批量学习的训练数据有多广泛,机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置(即,末端执行器位置和方向)来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验,以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度,可扩展性和把握成功率的性能。
2019-04-04 cs.RO
Domain-Independent Disperse and Pick method for Robotic Grasping
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);TCS Research(塔塔咨询服务公司研究院)
本文提出一种域无关的分散与拾取方法,通过启发式杂乱移除和自适应抓取规划,在杂乱环境中高效拾取未见物体,并在仿真和真实环境中验证了有效性。
2023-12-19 cs.RO
A dataset of 40K naturalistic 6-degree-of-freedom robotic grasp demonstrations
University of Waterloo(滑铁卢大学)
抓取规划的现代方法通常涉及深度学习。然而,在物理机器人上只有几个大的标记抓取例子的数据集,并且可用的数据集涉及相对简单的双指抓取器的平面抓取。在这里,我们介绍:1)一种新的人类抓取演示方法,有助于快速收集自然抓取示例,具有完整的六自由度抓取器定位; 2)使用RightHand Robotics三指ReFlex抓取器在109个不同刚性物体上成功抓取约4万次的数据集。
2018-12-31 cs.LG cs.RO
Shape Completion Enabled Robotic Grasping
Columbia University(哥伦比亚大学)
这项工作提供了一个架构,使机器人抓取规划通过形状完成。通过使用3D卷积神经网络(CNN)来完成形状完成。该网络是在我们自己的新开源数据集上训练的,该数据集包含从不同视角捕获的超过440,000个3D样本。在运行时,从单个视点捕获的2.5D点云被馈送到CNN中,CNN填充场景的遮挡区域,允许在完成的对象上规划和执行抓握。由于大部分形状完成的计算成本都是在离线训练期间承担的,因此形状完成的速度非常快。我们探讨了如何根据几个因素完成的质量变化。这些包括被完成的对象是否存在于训练数据中,以及使用了多少对象模型来训练网络。我们还研究了网络泛化到新对象的能力,允许系统在运行时完成以前看不见的对象。最后,在仿真和实际机器人硬件上进行实验,以探索完成质量和完成的网格模型用于抓取的效用之间的关系。
2017-03-02 cs.RO
Task-Aware Robotic Grasping by evaluating Quality Diversity Solutions through Foundation Models
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique, ISIR(智能系统与机器人研究所)
本文提出结合大语言模型和质量多样性算法的零样本任务感知抓取框架,通过物体子部分语义标注与几何表示耦合实现任务条件抓取,在YCB数据集上IoU达73.6%,验证显著优于对照组。
2025-03-01 cs.RO
Vision-Guided Targeted Grasping and Vibration for Robotic Pollination in Controlled Environments
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);University of California, Los Angeles(加州大学洛杉矶分校);Department of Mechanical & Aerospace Engineering, University of California, Los Angeles(加州大学洛杉矶分校机械与航空航天工程系);Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
本研究提出了一种基于视觉的机器人授粉系统,结合3D重建、抓取规划和振动建模,实现精准授粉并验证其有效性。
2026-03-07 cs.RO
Automatic Grasp Pose Generation for Parallel Jaw Grippers
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);University of Stuttgart(斯图加特大学)
提出了一种新的方法,用于自动离线抓取已知刚性物体的平行颚夹持器的位姿合成。我们使用几个标准,如抓爪行程,表面摩擦,和碰撞检查,以确定合适的6D把握对象上的姿态。与大多数可用的方法相比,我们的目标既不是最好的把握姿势,也不是尽可能多的把握姿势,而是一组高度多样化的把握分布在整个对象。为了实现这一目标,我们采用聚类算法的采样集的把握。这允许同时减少抓取姿势候选的集合并且在各个抓取之间的位置和取向方面保持高方差。我们证明,我们的方法产生的把握可以成功地用于现实世界中的机器人抓取应用。
2021-04-23 cs.RO