Multiple-object Grasping Using a Multiple-suction-cup Vacuum Gripper in Cluttered Scenes
Corporate Research & Development Center Toshiba Corporation(东芝公司企业研发中心)
针对杂乱料箱拣选,提出多吸盘真空夹持器抓取规划器,利用含吸盘ID的3D卷积核匹配可供性区域并排序选优,实验显著提升多类物品拣选效率。
2023-04-21 cs.RO
Real-Time Grasp Detection Using Convolutional Neural Networks
University of Washington(华盛顿大学);Google Research(谷歌研究院)
提出了一种基于卷积神经网络的机器人抓取检测的精确、实时的【形】方法。我们的网络执行单阶段回归到可抓取的边界框,而不使用标准的滑动窗口或区域建议技术。该模型的性能比最先进的方法高出14个百分点,并在GPU上以每秒13帧的速度运行。我们的网络可以同时执行分类,以便在单步的中识别对象并找到一个良好的把握矩形。对该模型的修改通过使用局部约束预测机制来预测每个对象的多个抓握。局部约束模型的性能明显更好,特别是在可以以各种方式抓取的对象上。
2015-02-28 cs.CV cs.RO
Robotic Grasp Detection using Deep Convolutional Neural Networks
Xerox Corporation(施乐公司);Rochester Institute of Technology(罗切斯特理工学院)
深度学习显著推进了计算机视觉和自然语言处理。虽然在机器人技术中使用深度学习已经取得了一些成功,但它还没有被广泛采用。在本文中,我们提出了一种新的机器人把握检测系统,预测最佳的平行板的机器人夹具的新对象使用的RGB-D图像的场景的抓取姿势。该模型使用深度卷积神经网络从场景中提取特征,然后使用浅层卷积神经网络预测感兴趣对象的抓取配置。我们的多模态模型在标准Cornell Grasp数据集上实现了89.21%的准确度,并以实时速度运行。这重新定义了机器人抓取检测的最新技术水平。
2017-07-21 cs.CV cs.RO
A Real-time Robotic Grasp Approach with Oriented Anchor Box
Xi’an Jiaotong University(西安交通大学)
抓取是机器人与人类和环境交互的基本技能。在本文中,我们建立了一个基于视觉的,鲁棒的和实时的【形】机器人抓取方法与全卷积神经网络。我们的方法的主要组成部分是一个把握检测网络与定向锚箱检测先验。由于检测到的抓取方向是重要的,这决定了夹持器的旋转角度配置,我们提出了方向锚箱机制,以回归抓取角度基于预定义的假设,而不是没有任何先验的分类或回归。通过定向锚箱,可以更准确和有效地预测抓握。此外,为了加快网络的训练速度,进一步提高角度回归的性能,在训练过程中提出了角度匹配代替Jaccard指数匹配。五重交叉验证结果表明,我们提出的算法实现了98.8%和97.8%的准确率分别在图像和对象的分裂,我们的检测算法的速度是67 FPS与GTX 1080 Ti,优于所有当前国家的最先进的抓取检测算法在康奈尔数据集的速度和准确性。机器人实验表明,在不可见物体和真实世界环境中的鲁棒性和泛化能力,在Baxter机器人平台上,熟悉事物和不可见事物的平均成功率分别为90.0%和84.2%。
2018-09-18 cs.RO
Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network
Rochester Institute of Technology(罗切斯特理工学院);OSARO Inc.(OSARO公司)
在本文中,我们提出了一个模块化的机器人系统来解决的问题,产生和执行对跖机器人掌握未知物体的n通道图像的场景。我们提出了一种新的生成残差卷积神经网络(GR-ConvNet)模型,该模型可以从n通道输入以实时速度(~ 20 ms)生成鲁棒的对足抓取。我们评估标准数据集和一组不同的家庭对象的模型架构。我们分别在Cornell和Jardin抓取数据集上实现了97.7%和94.6%的最新准确率。我们还证明了使用7 DoF机器人手臂分别对家用和对抗性物体的抓取成功率为95.4%和93%。
2021-06-10 cs.CV cs.RO
Real-Time, Highly Accurate Robotic Grasp Detection using Fully Convolutional Neural Network with Rotation Ensemble Module
UNIST(蔚山科学技术院)
旋转不变性一直是计算机视觉研究的重要课题。理想情况下,机器人抓取检测应该是旋转不变的。然而,在机器人抓取检测的旋转不变性一直是最近才研究使用旋转锚盒,往往是耗时和不可靠的多个对象。在本文中,我们提出了一个旋转集成模块(REM)的机器人把握检测使用卷积旋转网络权重。我们提出的REM能够通过在Cornell数据集上实现高达99.2%(图像方面),98.6%(对象方面)的准确度以及实时的【形】计算(每秒50帧)来超越当前最先进的方法。我们提出的方法也能够产生可靠的把握多个对象和高达93.8%的成功率为实时的【形】机器人抓取任务与4轴机器人手臂的小新颖的对象,这是显着高于基线方法的11- 56%。
2019-09-18 cs.CV cs.RO
Associating Grasp Configurations with Hierarchical Features in Convolutional Neural Networks
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
在这项工作中,我们提供了一个解决方案,姿态拟人化的Robonaut-2手和手臂抓基于视觉信息。学习从卷积神经网络(CNN)提取的视觉特征到抓取点的映射。我们证明了一个CNN预训练的图像分类可以应用于抓取任务的基础上的一个小集合的把握的例子。我们的方法利用了CNN的分层性质,通过识别捕获不同CNN层中的滤波器之间的分层支持关系的特征,并通过在CNN中向后跟踪激活来定位它们的3D位置。当该反向迹线在RGB-D图像中终止时,重要的可操纵结构由此被定位。然后,驻留在CNN的不同层中的这些特征与控制器相关联,所述控制器接合手/臂系统中的不同运动子链以进行抓取。使用Robonaut-2的手/对象关系收集的抓取数据集,以评估所提出的方法在所得到的预成形姿势的精度。我们证明,这种方法优于基线方法在混乱的情况下,抓取数据集和点云为基础的方法,使用Robonaut-2的抓取任务。
2017-07-26 cs.CV cs.RO
HMT-Grasp: A Hybrid Mamba-Transformer Approach for Robot Grasping in Cluttered Environments
University of Groningen(格罗宁根大学)
本文提出HMT-Grasp,一种融合Vision Mamba与并行卷积-Transformer模块的混合架构,通过同时捕获全局和局部信息提升杂乱环境下的机器人抓取适应性、精度和灵活性,并在多个数据集及仿真与真实机器人实验中验证了其优于现有方法的性能。
2025-03-09 cs.RO
Orientation Attentive Robotic Grasp Synthesis with Augmented Grasp Map Representation
National Technical University of Athens(雅典国家技术大学);Technische Universität Darmstadt(达姆施塔特工业大学);Carnegie Mellon University(卡内基梅隆大学)
物体的固有形态特征可能提供广泛的合理抓取方向,这混淆了机器人抓取的视觉学习。现有的把握生成方法被诅咒,以构建不连续的把握地图,通过聚合注释,每个把握点的方向截然不同。此外,目前的方法产生把握候选人在一个单一的方向,在机器人的观点,忽略其可行性约束。在本文中,我们提出了一种新的增强把握地图表示,适用于像素合成,局部解开把握方向划分成多个箱子的角度空间。此外,我们引入了ORientation Attentive Grasp Grasp Esis(ORANGE)框架,该框架共同解决了方向箱和角度值回归的分类问题。分格定向图还用作针对具有较高可抓取性(即,作为实际抓取点的概率)的区域的注意力机制。我们报告了最新的最先进的94.71%的性能在JEFFECT上,一个简单的U-Net只使用深度图像,甚至优于多模态方法。随后的定性结果与一个真正的双手动机器人验证橙色的有效性,在多个方向产生把握,从而允许规划把握是可行的。
2021-02-02 cs.CV cs.RO
Real-Time, Highly Accurate Robotic Grasp Detection using Fully Convolutional Neural Networks with High-Resolution Images
机器人抓取检测新物体是一项具有挑战性的任务,但在过去的几年里,基于深度学习的方法已经取得了显着的性能改进,使用RGB-D数据的准确率高达96.1%。在本文中,我们提出了完全卷积神经网络(FCNN)为基础的机器人抓取检测方法。我们的方法还实现了最先进的检测精度(高达96.6%),并在Cornell数据集上对高分辨率图像(每360 x 360图像6- 20 ms)进行了最先进的实时的【形】计算时间。由于FCNN,我们提出的方法可以应用于任何大小的图像,用于检测多物体上的多抓取。提出的方法进行了评估,使用4轴机械臂与小型平行夹持器和RGB-D相机抓取具有挑战性的小,新的对象。通过我们提出的基于学习的全自动方法进行精确的视觉机器人坐标校准,我们提出的方法取得了90%的成功率。
2019-09-16 cs.CV cs.RO
Sample Efficient Grasp Learning Using Equivariant Models
Northeastern University(东北大学)
在平面抓取检测中,目标是从场景的图像学习到$\mathrm{SE}(2)$中的一组可行抓取姿势的函数。在本文中,我们认识到,最佳把握功能是$\mathrm{SE}(2)$ -等变的,可以使用等变卷积神经网络建模。因此,我们能够显着提高抓取学习的样本效率,仅在600次抓取尝试后就获得了抓取函数的良好近似。这是足够少的,我们可以在大约1.5小时内学会完全掌握物理机器人。
2022-02-18 cs.RO
Attribute-based Object Grounding and Robot Grasp Detection with Spatial Reasoning
Department of Electrical and Computer Engineering, Univ. of Minnesota(电气与计算机工程系);Amazon Lab126(亚马逊实验室126);National Tsing Hua University(国立清华大学)
提出OGRG框架,通过双向视觉-语言融合和深度信息实现基于属性的对象定位与抓取检测,在重复对象和开放语言下优于基线,支持弱监督学习。
2025-09-09 cs.RO
Communication-Efficient Module-Wise Federated Learning for Grasp Pose Detection in Cluttered Environments
Department of Electronic Engineering, Hanyang University(电子工程系,翰阳大学);Department of Computing, Gachon University(计算系,加恩大学);Department of Artificial Intelligence, Hanyang University(人工智能系,翰阳大学)
本文提出一种模块式联邦学习框架,通过识别抓取姿态检测模型中收敛较慢的模块,优化通信效率,提升在杂乱环境中的抓取性能。
2025-12-12 cs.LG cs.RO
TransSC: Transformer-based Shape Completion for Grasp Evaluation
Universität Hamburg(汉堡大学);Agile Robots AG(敏捷机器人公司);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
目前,基于稀疏部分点云的机器人抓取方法在各种物体上都取得了很好的抓取效果,但由于缺乏物体的几何信息,往往会产生错误的抓取候选对象。在这项工作中,我们提出了一种新的和强大的形状完成模型(TransSC)。该模型具有一个基于变换器的编码器来探索更多逐点特征,以及一个基于流形的解码器来使用部分点云作为输入来利用更多对象细节。定量实验验证了所提出的形状完成网络的有效性,并表明它优于现有的方法。此外,将TransSC集成到抓取评估网络中,以生成一组抓取候选。仿真实验表明,与现有的形状完成基线相比,TransSC算法提高了抓取生成的效果。此外,我们的机器人实验表明,使用TransSC的机器人在抓取随机放置在支撑表面上的物体方面更成功。
2021-07-01 cs.RO
TactileGCN: A Graph Convolutional Network for Predicting Grasp Stability with Tactile Sensors
University of Alicante(阿利坎特大学)
触觉传感器在与物体交互期间提供有用的接触数据,其可用于准确地学习以确定抓握的稳定性。文献中的大多数作品将触觉读数表示为普通特征向量或矩阵状触觉图像,使用它们来训练机器学习模型。在这项工作中,我们探索了一种利用触觉信息来预测把握稳定性的替代方法,通过利用触觉数据的图形表示,它保留了传感器的taxels及其位置的实际空间布置。在实验中,我们训练了一个图神经网络来对抓取进行二进制分类,分为稳定抓取和滑动抓取。为了训练这样的网络并证明其对手头问题的预测能力,我们捕获了一个新的数据集,其中包含41个对象的大约5000个三指抓握用于训练,以及10个未知对象的1000个抓握用于测试。我们的实验证明,这种新的方法可以有效地用于预测把握稳定性。
2019-01-18 cs.LG cs.RO stat.ML
Improving the Successful Robotic Grasp Detection Using Convolutional Neural Networks
University of Tehran(德黑兰大学)
针对机器人抓取的实时高精度感知需求,提出含预处理、输出归一化和数据增强的改进卷积神经网络流水线模型,精度提升4.3%且不减速,实验发现低复杂度的AlexNet特征提取效果更优,更适配实时抓取场景。
2024-03-08 cs.CV cs.RO
Improved GQ-CNN: Deep Learning Model for Planning Robust Grasps
Institute of Informatics, University of Warsaw(华沙大学信息学院)
近年来,机器人抓取领域的发展表明,在处理未知物体时,抓取成功率有了很大的提高。在这项工作中,我们改进了最有前途的方法之一,即在DexNet 2.0数据集上训练的抓取质量卷积神经网络(GQ-CNN)。我们为GQ-CNN提出了一种新的架构,并描述了实际的改进,将模型验证准确率从92.2%提高到95.8%,分别从图像和对象训练和验证分割的85.9%提高到88.0%。
2018-02-16 cs.AI cs.LG cs.RO
Attention based visual analysis for fast grasp planning with multi-fingered robotic hand
University of Hamburg(汉堡大学)
我们提出了一个基于注意力的视觉分析框架来计算抓取相关信息,以指导使用多指机器人手的抓取规划。我们的方法使用计算视觉注意力模型来定位场景中的感兴趣区域,并使用深度卷积神经网络来检测感兴趣区域中呈现的对象的子区域的抓握类型和点。我们展示了所提出的框架在物体抓取任务,其中所提出的框架产生的信息被用作先验信息,以指导抓取规划。实验结果表明,该框架不仅能够加快抓取规划的速度,而且能够处理未知物体。此外,我们的框架可以处理混乱的场景。还提出了一个新的抓取类型数据集(GTD),考虑6种常用的抓取类型,涵盖12个家用物体。
2018-09-12 cs.RO
Multi-Fingered Grasp Planning via Inference in Deep Neural Networks
University of Utah(犹他大学)
我们提出了一种新的方法来多指抓取规划利用学习的深度神经网络模型。我们训练一个基于体素的三维卷积神经网络来预测抓取成功概率作为一个函数的视觉信息的对象和把握配置。然后,我们可以制定抓取规划推断的把握配置,最大限度地提高把握成功的概率。此外,我们学习了一个先验的把握配置作为一个混合密度网络的条件下,我们的基于体素的对象表示。我们表明,这个对象的条件先验提高了把握推理时,与学习掌握成功预测网络相比,学习,对象不可知的先验,或不知情的统一先验。我们的工作是第一个直接规划高品质的多指掌握配置空间使用深度神经网络,而不需要一个外部规划。我们验证了我们的推理方法进行多手指抓取的物理机器人。我们的实验结果表明,我们的规划方法优于现有的神经网络抓取规划方法。
2020-03-19 cs.RO
Visuo-Tactile-Based Slip Detection Using A Multi-Scale Temporal Convolution Network
Guangdong University of Technology(广东工业大学);South China University of Technology(华南理工大学)
人类可以通过视觉和触觉感知准确地判断手中的物体是否滑动。然而,通过视觉-触觉融合来检测手持物体的滑动仍然是机器人面临的一个挑战。为了解决这个问题,提出了一种新的视觉-触觉融合深度神经网络来检测滑动,这是一个依赖于时间的连续动作。利用多尺度时域卷积网络(MS-TCN)提取视觉和触觉数据的时域特征,可以有效地检测滑动。在本文中,7-dregree-of-freedom(7-DoF)的机器人机械手配备了摄像头和触觉传感器用于数据汇集上的50个日常对象具有不同的形状,材料,尺寸和重量。因此,建立了一个数据集,其中40个物体和10个物体的抓取数据分别用于网络训练和测试。基于该模型的检测准确率为96.96%。此外,该模型与基于长短期记忆网络(LSTM)的视觉-触觉融合深度神经网络(DNN)在收集的数据集和使用GelSight触觉传感器的公共数据集上进行了比较。结果表明,该模型在两个数据集上都表现得更好。该模型可以帮助机器人可靠地抓取日常物体。此外,它还可用于抓取力控制、抓取策略生成和灵巧操作。
2023-02-27 cs.RO
Learn to Grasp with Less Supervision: A Data-Efficient Maximum Likelihood Grasp Sampling Loss
UC Berkeley(加州大学伯克利分校);FANUC America Corporation(发那科美国公司)
在许多机器人操作任务中,机器人抓取各种物体是必不可少的。一种有前途的方法是从对象图像和抓取标签的大型训练数据集中学习深度抓取模型。然而,经验抓取数据集通常是稀疏标记的(即,每个图像中的少量成功抓取标签)。数据稀疏性问题可能导致监督不足和假阴性标签,从而导致学习效果不佳。本文提出了一种最大似然抓取采样损失(MLGSL)来解决数据稀疏问题。所提出的方法假设,成功的把握是随机抽样的预测把握分布,并最大限度地提高观察的可能性。MLGSL用于训练一个完全卷积的网络,同时生成数千个抓握。训练结果表明,基于MLGSL的模型可以学习掌握由每个图像2个标签组成的数据集。与以前的作品相比,MLGSL需要每个图像16个标签的训练数据集,数据效率提高了8倍。同时,物理机器人实验表明,在家庭物体上的抓取成功率为90.7%。
2022-04-04 cs.RO
Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
提出了一种实时的【形】与物体无关的、可用于闭环抓取的抓取综合方法。我们提出的生成抓取卷积神经网络(GG-CNN)预测每个像素的抓取质量和姿势。这种来自深度图像的一对一映射通过避免抓取候选对象的离散采样和长计算时间来克服当前深度学习抓取技术的局限性。此外,我们的GG-CNN在检测稳定抓握时要小几个数量级,并且性能与当前最先进的技术相当。我们的GG-CNN的轻量化和单通道生成特性允许高达50 Hz的闭环控制,从而在物体移动的非静态环境中以及存在机器人控制不准确的情况下实现准确抓取。在我们的真实世界测试中,我们在一组具有对抗性几何形状的以前看不见的物体上实现了83%的抓取成功率,在抓取尝试期间移动的一组家用物体上实现了88%的抓取成功率。在动态杂波中抓取时,我们也达到了81%的准确率。
2018-05-15 cs.RO
High precision grasp pose detection in dense clutter
Northeastern University(东北大学);University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
本文研究了点云数据中的抓取姿态检测问题。我们遵循一个通用的算法结构,首先生成一个大的6-DOF把握候选人,然后将它们中的每一个分类为一个好的或坏的把握。我们在本文中的重点是通过使用来自大型在线数据集的深度传感器扫描来训练卷积神经网络来改进第二步。我们提出了两种新的表示把握候选人,我们量化的效果,使用先验知识的两种形式:实例或类别知识的对象被抓住,并预训练网络从理想化的CAD模型获得的模拟深度数据。我们的分析表明,一个更丰富的把握候选人表示以及预训练和先验知识显着提高把握检测。我们评估我们的方法在Baxter研究机器人上,并证明在密集的杂乱中平均把握成功率为93%。与我们之前的工作相比,这是20%的改进。
2017-06-22 cs.RO
A Robotic Visual Grasping Design: Rethinking Convolution Neural Network with High-Resolutions
University of Science and Technology of China(中国科学技术大学);Lehigh University(理海大学)
高分辨率表示是重要的基于视觉的机器人抓取问题。现有的工作一般通过子网络将输入图像编码成低分辨率表示,然后恢复高分辨率表示。这将丢失空间信息,并且当考虑多种类型的对象或对象远离相机时,解码器引入的错误将更加严重。为了解决这些问题,我们重新审视了机器人感知任务的CNN的设计范式。我们证明,使用并行分支而不是串行堆叠卷积层将是机器人视觉抓取任务的更强大的设计。特别地,为机器人感知任务提供了神经网络设计的指导方针,例如,高分辨率表示和轻量级设计,以应对不同操作场景中的挑战。然后,我们开发了一种称为HRG-Net的新型抓取视觉架构,这是一种并行分支结构,始终保持高分辨率表示,并在不同分辨率之间反复交换信息。大量的实验证明,这两种设计可以有效地提高基于视觉的抓取的准确性和加速网络训练。我们在Youtube上展示了一系列在真实物理环境中的比较实验:https://youtu.be/Jhlsp-xzHFY。
2022-09-16 cs.CV cs.LG cs.RO
Robotic grasp detection based on Transformer
复杂环境下的抓取检测仍然是机器人面临的一大挑战。目前,Transformer机制已成功应用于视觉任务中,其出色的全局上下文信息抽取能力为提高复杂场景下机器人抓取检测的性能提供了可行的途径。然而,原始Transformer模型的感应偏置能力不足,需要大规模的数据集训练,这是难以获得的抓取检测。在本文中,我们提出了一种基于编码器-解码器结构的抓取检测模型。编码器使用Transformer网络来提取全局上下文信息。解码器使用全卷积神经网络来提高模型的感应偏置能力,并结合编码器提取的特征来预测最终的抓取配置。在VMRD数据集上的实验表明,我们的模型在重叠的对象场景中表现得更好。同时,在Cornell Grasp数据集上,我们的方法达到了98.1%的准确率,这与最先进的算法相当。
2022-05-30 cs.RO
Learning to Grasp 3D Objects using Deep Residual U-Nets
University of Groningen(格罗宁根大学)
抓取综合是机器人物体操作任务中具有挑战性的任务之一。在本文中,我们提出了一种新的基于深度学习的三维物体抓取合成方法。特别地,我们提出了一个端到端的三维卷积神经网络来预测物体的可抓取区域。我们将这种方法命名为Res-U-Net,因为网络的架构是基于U-Net结构和剩余网络风格块设计的。它被设计为规划任何所需对象的6自由度抓取,计算和使用效率高,并且对变化的点云密度和高斯噪声具有鲁棒性。我们已经进行了广泛的实验,以评估所提出的方法的性能,可抓取的部分检测,把握成功率,和鲁棒性变化的点云密度和高斯噪声。实验验证了所提出的架构在各个方面的良好性能。一个视频显示了我们的方法在模拟环境中的性能,可以在http://youtu.be/5_yAJCc8owo上找到。
2020-09-12 cs.RO
Planning Multi-Fingered Grasps as Probabilistic Inference in a Learned Deep Network
University of Utah(犹他大学)
我们提出了一种新的方法来多指抓取规划利用学习的深度神经网络模型。我们训练一个卷积神经网络来预测抓取成功率,作为物体的视觉信息和抓取配置的函数。然后,我们可以制定抓取规划推断的把握配置,最大限度地提高把握成功的概率。我们使用反向传播算法在神经网络内部使用梯度上升优化来有效地执行此推断。我们的工作是第一个直接规划高品质的多指掌握配置空间使用深神经网络,而不需要一个外部的规划。我们验证我们的推理方法执行多指和两指掌握真实的机器人。我们的实验结果表明,我们的规划方法优于现有的神经网络规划方法;同时提供其他几个好处,包括学习数据效率高,速度快,足以部署在真正的机器人应用程序。
2018-04-10 cs.RO
Improving Data Efficiency of Self-supervised Learning for Robotic Grasping
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);KUKA Deutschland GmbH(库卡德国有限公司)
给定的任务,学习机器人抓取完全基于深度相机输入和抓地力反馈,我们从应用的角度来看,显着减少所需的训练数据的量推导出一个学习算法。在时间和数据效率方面的主要改进是:首先,我们利用未失真的深度图像和任务空间之间的几何一致性。使用一个相对较小的,完全卷积神经网络,我们预测把握和抓手参数具有很大的优势,在培训以及推理性能。其次,在3%左右的小随机抓取成功率的激励下,系统地探索了抓取空间。最终的系统是在大约60小时内通过23000次抓取尝试学习的,将当前的解决方案提高了一个数量级。对于典型的箱子拾取场景,我们测量到96.6%的抓取成功率。进一步的实验表明,该系统能够概括和转移知识到新的对象和环境。
2019-03-01 cs.RO
MVGrasp: Real-Time Multi-View 3D Object Grasping in Highly Cluttered Environments
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学)
如今机器人在我们的日常生活中扮演着越来越重要的角色。在以人为中心的环境中,机器人经常会遇到成堆的物体、打包的物品或孤立的物体。因此,机器人必须能够在各种情况下抓取和操纵不同的物体,以帮助人类完成日常任务。在本文中,我们提出了一种多视图深度学习方法来处理以人为中心的领域中的鲁棒对象抓取。特别是,我们的方法需要一个任意对象的点云作为输入,然后,生成给定对象的正交视图。所获得的意见,最后用于估计每个对象的像素级把握合成。我们使用一个小的物体抓取数据集对模型进行端到端的训练,并在模拟和真实数据上对其进行测试,而无需进行任何进一步的微调。为了评估所提出的方法的性能,我们在三种情况下进行了大量的实验,包括孤立的对象,包装的物品,和一堆对象。实验结果表明,我们的方法在所有模拟和真实机器人场景中表现非常好,并且能够在各种场景配置中实现可靠的闭环抓取新对象。
2022-10-05 cs.RO
A Deep Learning-Based Autonomous RobotManipulator for Sorting Application
University of Nevada, Reno(内华达大学雷诺分校);Swansea University(斯旺西大学)
近年来,机器人操作和抓取机构受到了相当大的关注,导致了广泛的工业应用的发展。本文提出了一种自主机器人抓取系统的对象分类应用的发展。RGB-D数据被机器人用于执行目标检测、姿态估计、轨迹生成和目标分类任务。所提出的方法也可以处理抓住用户选择的某些对象。利用训练好的卷积神经网络进行目标检测,确定待抓取目标对应的点云簇。根据所选择的点云数据,抓取生成器算法输出潜在的抓取。然后,抓取过滤器对这些潜在的抓取进行评分,并选择得分最高的抓取在真实机器人上执行。运动规划器生成无碰撞轨迹以执行所选择的抓取。在AUBO机器人上的实验表明,该方法在自主物体分拣方面具有鲁棒性和快速分拣性能。
2020-09-08 cs.RO
Optimizing Robotic Placement via Grasp-Dependent Feasibility Prediction
Deakin University(德金大学)
本文提出了一种基于抓取依赖可行性预测的方法,通过低成本标签优化机器人抓取-放置任务的规划效率。
2025-12-21 cs.RO
Grasp State Assessment of Deformable Objects Using Visual-Tactile Fusion Perception
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
人类可以通过视觉和触觉快速确定抓住可变形物体所需的力,以防止其滑动或过度变形,这对机器人来说仍然是一项具有挑战性的任务。为了解决这个问题,我们提出了一种新的基于3D卷积的视觉-触觉融合深度神经网络(C3 D-VTFN)来评估本文中各种可变形物体的抓握状态。具体来说,我们把可变形物体的抓取状态分为三类滑动,适当和过度。此外,用于训练和测试所提出的网络的数据集是通过广泛的抓取和提升实验,不同的宽度和力量,16个各种可变形的物体与机器人手臂配备了手腕相机和触觉传感器。其结果是,分类准确率高达99.97%。此外,一些微妙的抓取实验的基础上提出的网络在本文中实现。实验结果表明,C3 D-VTFN具有足够的准确性和有效性,可广泛应用于自动力控制、自适应抓取等视觉-触觉时空序列学习问题。
2020-06-23 cs.RO
PointNetGPD: Detecting Grasp Configurations from Point Sets
Universität Hamburg(汉堡大学);Tsinghua University(清华大学)
在本文中,我们提出了一个端到端的把握评价模型,以解决具有挑战性的问题,直接从点云定位机器人把握配置。与最近基于手工深度特征和卷积神经网络(CNN)的抓取评估指标相比,我们提出的PointNetGPD是轻量级的,可以直接处理位于抓手内的3D点云进行抓取评估。以原始点云为输入,我们提出的把握评估网络可以捕捉到复杂的几何结构之间的接触区域的夹持器和对象,即使点云是非常稀疏。为了进一步改进我们提出的模型,我们使用350k真实点云生成了一个更大规模的抓取数据集,并使用YCB对象集进行训练。所提出的模型的性能定量测量在模拟和机器人硬件。实验对象的抓取和杂波去除表明,我们提出的模型推广到新的对象,并优于国家的最先进的方法。代码和视频可在\href{https://lianghongzhuo.github.io/PointNetGPD}{https://lianghongzhuo.github.io/PointNetGPD}上获得
2019-02-18 cs.RO
Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics
University of California, Berkeley(加州大学伯克利分校);Siemens Corporation, Corporate Technology(西门子公司企业技术部)
为了减少鲁棒机器人抓取计划的深度学习的数据汇集时间,我们探索从670万个点云,抓取和分析抓取度量的合成数据集进行训练,这些数据是从Dex-Net 1.0的数千个3D模型中生成的,这些模型在桌子上随机摆姿势。我们使用由此产生的数据集Dex-Net 2.0来训练抓取质量卷积神经网络(GQ-CNN)模型,该模型可以快速预测深度图像中抓取成功的概率,其中抓取被指定为相对于RGB-D传感器的平面位置,角度和深度。在ABB YuMi上进行了超过1,000次试验,比较了单个物体的抓取规划方法,结果表明,仅使用Dex-Net 2.0的合成数据训练的GQ-CNN可以在0.8秒内规划抓取,在8个具有对抗几何形状的已知物体上的成功率为93%,并且比将点云注册到预先计算的物体和索引抓取数据集快3倍。Dex-Net 2.0抓取规划器在10个新型刚性物体的数据集上也具有最高的成功率,并在40个新型家用物体的数据集上实现了99%的精度(69个抓取中有一个假阳性被归类为鲁棒),其中一些是铰接或可变形的。代码、数据集、视频和补充材料可在http://berkeleyautomation.github.io/dex-net上获得。
2017-08-08 cs.RO
PartialBiGrasp: Inferring Hidden Local Geometry for Bimanual Grasping from Partial Views
Robotics Research Center IIIT Hyderabad(印度信息技术研究所海得拉巴分校机器人研究中心)
PartialBiGrasp是基于部分点云的双臂抓取生成框架,通过卷积占用网络学习几何特征生成抓取对并优化,经实验验证可实现鲁棒稳定的抓取。
2026-10-26 cs.RO
Fast-Learning Grasping and Pre-Grasping via Clutter Quantization and Q-map Masking
Shanghai University(上海大学);The University of Sydney(悉尼大学)
在杂乱的场景中抓取物体是机器人技术中的一项具有挑战性的任务。执行预抓取动作(如推动和移动)以分散对象是减少混乱的一种方法。基于深度强化学习,我们提出了一个快速学习抓取(FLG)框架,该框架可以集成预抓取动作和抓取,以减少现实世界的训练时间,从杂乱的场景中拾取物体。我们将执行移动动作的奖励与环境混乱的变化相关联,并利用混合触发方法,从而实现数据高效学习和协同作用。然后,我们使用扩展的全卷积网络的输出作为工作空间的每个像素点的价值函数,并建立每个动作的抓取概率的准确估计。我们还引入了一个掩模函数作为先验知识,使代理专注于准确的姿态调整,以提高收集训练数据的有效性,从而有效地学习。我们在模拟环境中对FLG进行预训练,然后将学习的模型转移到现实世界中,并进行最小的微调,以便在动作过程中进一步学习。实验结果表明,94%的把握成功率和能力,以推广到新的对象。与文献中最先进的方法相比,所提出的FLG框架可以在现实世界中以较少的训练量实现类似或更高的抓取成功率。补充视频可在https://youtu.be/e04uDLsxfDg上获得。
2021-07-06 cs.RO
Synthesizing multi-log grasp poses in cluttered environments
Skogforsk (the Forestry Research Institute of Sweden)(瑞典林业研究院);Algoryx Simulation(Algoryx仿真公司)
针对杂乱环境下多原木抓取需求,提出基于U-Net的多物体抓取位姿合成方法,利用仿真数据训练,以RGB-D图像和分割掩码为输入生成抓取图,可适配操作约束, unseen数据上抓取准确率达96%。
2025-03-21 cs.RO
LAC-Net: Linear-Fusion Attention-Guided Convolutional Network for Accurate Robotic Grasping Under the Occlusion
school of Data Science, Fudan University(复旦大学数据科学学院);Fudan University(复旦大学);School of statistics and information, Shanghai University of International Business and Economics(上海对外经贸大学统计与信息学院)
本文提出LAC-Net,通过线性融合RGB与深度信息并利用可见掩码作为注意力引导,实现非模态分割以补全被遮挡物体形状,从而提升杂乱场景下机器人抓取的准确性与鲁棒性。
2024-08-06 cs.CV cs.RO
Model-free Grasping with Multi-Suction Cup Grippers for Robotic Bin Picking
Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出一种与夹爪设计无关的多吸盘无模型抓取位姿预测方法,通过神经网络预测逐像素抓取质量并结合优化步骤确定最优夹爪选择与位姿,同时引入自动标注方法,在真实工业料箱拣选场景中验证了有效性。
2023-07-31 cs.AI cs.RO
Language-Guided Grasp Detection with Coarse-to-Fine Learning for Robotic Manipulation
本文提出基于粗到细学习的语言引导抓取检测方法,通过跨模态融合和动态卷积头提升抓取精度与鲁棒性,实验证明其在复杂环境中的有效性。
2025-12-24 cs.CV cs.RO
Learning Generalizable Vision-Tactile Robotic Grasping Strategy for Deformable Objects via Transformer
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
针对可变形物体抓取难题,提出融合视觉与触觉的 Transformer 框架,通过探索动作预测安全抓取力度,并在公开与自建水果数据集上验证其准确率、效率及泛化能力。
2023-07-23 cs.RO
Dex-Net 3.0: Computing Robust Robot Vacuum Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning
University of California, Berkeley(加利福尼亚大学伯克利分校)
基于夹具的末端执行器广泛用于工业中,并且由于它们能够以单点接触提升物体,因此通常优选于平行钳口和多指夹持器。吸力抓取规划者经常将目标对准物体估计质心附近的点云上的平面表面。在本文中,我们提出了一个兼容的吸力接触模型,计算吸盘和局部目标表面之间的密封质量和吸力把握能力的措施,以抵抗外部重力扳手。为了表征把握,我们估计鲁棒性的扰动末端执行器和对象的姿态,材料属性,和外部扳手。我们分析了1,500个3D对象模型的抓取,以生成Dex-Net 3.0,这是一个包含280万个点云、吸力抓取和抓取鲁棒性标签的数据集。我们使用Dex-Net 3.0来训练一个抓取质量卷积神经网络(GQ-CNN)来对包含单个对象的点云中的鲁棒抽吸目标进行分类。我们评估所产生的系统在350物理试验ABB YuMi配备了气动吸爪。当对我们分类为基本(棱柱形或圆柱形),典型(更复杂的几何形状)和对抗性(几乎没有可用的吸力抓取点)的新物体进行评估时,Dex-Net 3.0分别实现了98 $\%$,82 $\%$和58 $\%$的成功率,在后一种情况下,当训练集只包括对抗性物体时,提高到81 $\%$。代码、数据集和补充材料可以在http://berkeleyautomation.github.io/dex-net上找到。
2018-04-13 cs.RO
Multi-Modal Geometric Learning for Grasping and Manipulation
Columbia University(哥伦比亚大学)
这项工作提供了一个架构,结合深度和触觉信息,以创建丰富和准确的3D模型,用于机器人操作任务。这是通过使用3D卷积神经网络(CNN)来实现的。离线时,网络提供了深度和触觉信息,并被训练来预测物体的几何形状,从而填充遮挡区域。在运行时,向网络提供对象的部分视图。获取触觉信息以增强所捕获的深度信息。然后,网络可以通过利用收集到的触觉和深度信息来推断物体的几何形状。我们证明,即使是少量的额外的触觉信息可以是非常有帮助的推理对象的几何形状。当单独来自深度的信息不能产生准确的几何预测时,这尤其正确。我们的方法是基准对一般几何推理和优于其他视觉触觉方法。我们还提供了实验结果与我们的方法比较抓成功。
2019-02-27 cs.RO
Learning Fine Pinch-Grasp Skills using Tactile Sensing from A Few Real-world Demonstrations
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Touchlab Limited(Touchlab有限公司);Department of Engineering Mathematics, University of Bristol(布里斯托尔大学工程数学系);Department of Computer Science, University College London(伦敦大学学院计算机科学系)
提出一种数据高效的模仿学习框架,利用卷积自编码器提取触觉特征和多传感器融合,从少量真实演示中学习精细双臂捏取抓取技能,并验证了其鲁棒性和泛化能力。
2024-03-17 cs.RO
Shape Completion Enabled Robotic Grasping
Columbia University(哥伦比亚大学)
这项工作提供了一个架构,使机器人抓取规划通过形状完成。通过使用3D卷积神经网络(CNN)来完成形状完成。该网络是在我们自己的新开源数据集上训练的,该数据集包含从不同视角捕获的超过440,000个3D样本。在运行时,从单个视点捕获的2.5D点云被馈送到CNN中,CNN填充场景的遮挡区域,允许在完成的对象上规划和执行抓握。由于大部分形状完成的计算成本都是在离线训练期间承担的,因此形状完成的速度非常快。我们探讨了如何根据几个因素完成的质量变化。这些包括被完成的对象是否存在于训练数据中,以及使用了多少对象模型来训练网络。我们还研究了网络泛化到新对象的能力,允许系统在运行时完成以前看不见的对象。最后,在仿真和实际机器人硬件上进行实验,以探索完成质量和完成的网格模型用于抓取的效用之间的关系。
2017-03-02 cs.RO
GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学)
提出GraspFoM框架,利用3D基础先验(SAM3D)构建共享3D物体潜变量,联合优化重建与抓取姿态预测,通过锚点初始化的截断姿态推理扩散器生成连续多模态抓取,实现高保真重建与最优抓取。
2026-06-07 cs.CV cs.RO
Grasp-and-Lift Detection from EEG Signal Using Convolutional Neural Network
Khulna University of Engineering & Technology(库尔纳工程技术大学)
患有神经肌肉功能障碍和截肢的人需要自动假肢。在开发这样的假肢,精确检测大脑运动动作是必不可少的抓举(GAL)任务。由于脑电(EEG)的低成本和非侵入性的本质,它被广泛用于检测假肢工具控制过程中的运动动作。本文从32通道脑电信号中自动检测手部运动活动,即GAL检测方法。所提出的管道基本上结合了预处理和端到端检测步骤,消除了手工制作的特征工程的要求。预处理操作包括使用离散小波变换(DWT)或高通或带通滤波对原始信号进行降噪以及数据标准化。检测步骤由基于卷积神经网络(CNN)或长短期记忆(LSTM)的模型组成。所有研究均使用公开可用的WAY-EEG-GAL数据集,该数据集具有六个不同的GAL事件。最好的实验表明,该框架实现了0.944的平均ROC曲线下面积,采用基于DWT的去噪滤波器,数据标准化和基于CNN的检测模型。所获得的结果表明,所介绍的方法在从EEG信号中检测GAL事件方面取得了很好的成就,使其适用于假肢器具,脑机接口,机器人手臂等。
2022-02-12 cs.AI cs.HC cs.RO
Robotic grasp detection using a novel two-stage approach
Northwestern Polytechnical University(西北工业大学);Peking University(北京大学)
最近,深度学习已成功应用于机器人抓取检测。基于卷积神经网络(CNN),已经有很多端到端检测方法。但端到端的方法对训练神经网络模型所用的数据集有严格的要求,在实际应用中很难实现。因此,我们提出了一个两阶段的方法,使用粒子群优化(PSO)候选估计和CNN检测最有可能的把握。我们的方法在Cornell Grasp数据集上实现了92.8%的准确率,该数据集在现有方法中名列前茅,并且能够以实时速度运行。在方法的一个小的变化之后,我们可以同时预测每个物体的多次抓握,以便可以以各种方式抓握物体。
2020-11-28 cs.CV cs.RO
At First Contact: Stiffness Estimation Using Vibrational Information for Prosthetic Grasp Modulation
Department of Biomedical Engineering, Johns Hopkins University(生物医学工程系,约翰·霍普金斯大学);Department of Electrical and Computer Engineering, Johns Hopkins University(电气与计算机工程系,约翰·霍普金斯大学)
本研究提出基于压电传感与机器学习的刚度估计框架,利用初次接触后15毫秒内的振动信号在假肢手中实现快速准确的刚度感知,推理时间低于1.5毫秒,支持早期抓取调节并提升安全性与直观性。
2024-12-12 cs.RO
Depth-aware Object Segmentation and Grasp Detection for Robotic Picking Tasks
Graz University of Technology(格拉茨技术大学);University of Klagenfurt(克拉根福大学)
在本文中,我们提出了一种新的深度神经网络架构的联合类不可知的对象分割和把握检测机器人采摘任务使用平行板夹持器。我们介绍了深度感知坐标卷积(CoordConv),一种在不增加任何额外的网络参数或计算复杂性的情况下,提高复杂场景中基于点建议的对象实例分割的准确性的方法。深度感知CoordConv使用深度数据来提取关于对象位置的先验信息,以实现高度准确的对象实例分割。这些产生的分割掩模,结合预测把握候选人,导致一个完整的场景描述使用平行板夹持器抓。我们评估把握检测和实例分割的准确性具有挑战性的机器人采摘数据集,即Siléane和OCID_grasp,并显示联合把握检测和分割的好处在现实世界的机器人采摘任务。
2021-11-22 cs.CV cs.RO
Grasp Stability Assessment Through Attention-Guided Cross-Modality Fusion and Transfer Learning
School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械工程学院);Beijing Institute of Control Engineering(北京控制工程研究院)
本文提出一种注意力引导的跨模态融合架构以全面整合视觉与触觉特征,并结合物理仿真数据集与域适应迁移策略,显著提升了抓取稳定性预测性能并实现了向真实机器人系统的可靠迁移。
2023-08-02 cs.RO
Grasp-type Recognition Leveraging Object Affordance
Microsoft(微软公司);Applied Robotics Research(应用机器人研究部门)
机器人教学中的一个关键挑战是使用单个RGB图像和目标对象名称进行抓取类型识别。在这里,我们提出了一个简单而有效的管道,通过利用每个对象的抓取类型的先验分布来增强基于学习的识别。在流水线中,卷积神经网络(CNN)从RGB图像识别抓取类型。使用先验分布(即,示能表示),其与目标对象名称相关联。实验结果表明,该方法优于CNN的唯一和提供唯一的方法。结果突出的有效性,语言驱动的对象启示,以提高抓取类型的识别机器人教学。
2020-08-26 cs.CV cs.RO
VGQ-CNN: Moving Beyond Fixed Cameras and Top-Grasps for Grasp Quality Prediction
Hamilton Institute(汉密尔顿研究所);Maynooth University(梅努斯大学)
我们提出了通用抓取质量卷积神经网络(VGQ-CNN),一个用于6自由度抓取的抓取质量预测网络。VGQ-CNN可用于评估从各种摄像机姿势或移动机器人中看到的物体的抓握,而无需重新训练网络。通过将抓取方向明确定义为网络的输入,VGQ-CNN可以评估6-DOF抓取姿势,超越了大多数基于图像的抓取评估方法(如GQ-CNN)中使用的4-DOF抓取。为了训练VGQ-CNN,我们生成了新的Versatile Grasp数据集(VG-GNN),其中包含从各种相机姿势中观察到的6-DOF抓握。VGQ-CNN在我们的测试分割中实现了82.1%的平衡准确度,同时推广到各种相机姿势。与此同时,它在头顶摄像机和顶部抓取方面实现了具有竞争力的性能,与GQ-CNN的76.6%相比,其平衡准确率为74.2%。我们还提出了一种改进的网络架构,FAST-VGQ-CNN,它使用共享编码器架构来加速推理,并且可以在CPU上在12 ms内进行128次抓取质量预测。代码和数据可在https://aucoroboticsmu.github.io/vgq-cnn/上获得。
2022-06-23 cs.CV cs.RO
Combining RGB and Points to Predict Grasping Region for Robotic Bin-Picking
Shanghai Jiao Tong University(上海交通大学)
本文重点研究了杂乱场景下的机器人拣货任务。由于物体的多样性和放置的杂乱性,在抓取之前识别和估计它们的姿态是非常困难的。在这里,我们使用U-net,一种特殊的卷积神经网络(CNN),结合RGB图像和深度信息来预测拾取区域,而无需识别和姿态估计。比较了RGB、RGB-D和RGB-Points三种视觉输入方式的网络效率。我们发现RGB点输入可以获得95.74%的精度。
2019-04-24 cs.CV cs.RO