Manipulation Trajectory Optimization with Online Grasp Synthesis and Selection
University of Washington(华盛顿大学);NVIDIA(英伟达)
在机器人操作中,规划机器人操作器抓取物体的运动是一个基本问题。操纵规划器需要生成操纵臂的轨迹以避开环境中的障碍物,并规划用于抓取的末端执行器姿态。虽然轨迹规划和抓取规划通常是分开处理的,但如何有效地集成这两个规划问题仍然是一个挑战。在这项工作中,我们提出了一种新的方法,关节运动和抓取规划。我们的方法集成了操作轨迹优化与在线抓取合成和选择,其中我们应用在线学习技术来选择抓取的目标配置,并引入一个新的抓取合成算法来在线生成抓取。我们评估我们的规划方法,并证明我们的方法产生强大的和有效的运动计划,在混乱的场景中把握。我们的视频可以在https://www.youtube.com/watch?上找到v=LIcACf8YkGU。
2020-05-11 cs.RO
Efficient Grasp Planning and Execution with Multi-Fingered Hands by Surface Fitting
University of California, Berkeley(加州大学伯克利分校)
本文介绍了一个多指手抓取规划框架。该框架包括用于抓取规划的多维迭代曲面拟合(MDISF)和用于抓取想象的抓取轨迹优化(GTO)。MDISF算法通过最小化碰撞和表面拟合误差来搜索最佳接触区域和手部配置,GTO算法生成最佳手指轨迹以达到高排名的抓取配置并避免与环境碰撞。所提出的抓取规划和想象框架考虑了手-机器人系统的碰撞避免和运动学,并且能够使用捕获的点云利用基于梯度的方法有效地规划不同类别的抓取和轨迹。所发现的把握和轨迹是强大的传感噪声和潜在的不确定性。仿真和实验验证了该框架的有效性。
2019-07-18 cs.RO
Regrasp Planning using 10,000s of Grasps
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));Osaka University(大阪大学)
本文开发了智能算法的机器人重新定位对象。给定对象的初始和目标姿态,所提出的算法计划一系列的机器人姿态和把握配置,重新定位的对象从其初始姿态的目标。虽然这个问题已经在以前的工作中进行了广泛的研究,本文取得了重要的改进,抓取规划使用过分割网格,在数据存储中使用关系数据库,并在regrasp规划混合现实世界的路线图。这些改进使机器人能够在交互时间内使用10,000次抓握及其关系进行强大的重新抓握规划。所提出的算法进行了验证,使用各种对象和机器人。
2017-05-26 cs.RO
First Plan Then Evaluate: Multi-Target Planning with Post-Planning Success Evaluation Improves Learning-Based Grasping Pipelines
NVIDIA
研究自主多指抓取问题,提出先规划到一组抓取目标,再由评估器估计成功可能性,机器人执行最可能成功轨迹的框架,该方法在多方面优于传统框架且能推广到新环境。
2026-07-08 cs.RO
DefGraspNets: Grasp Planning on 3D Fields with Graph Neural Nets
University of California, Berkeley(加州大学伯克利分校);NVIDIA Corporation(英伟达公司);University of Sydney(悉尼大学);University of Utah(犹他大学);University of Washington(华盛顿大学)
机器人抓取3D可变形物体对于食品处理和机器人手术等现实应用至关重要。与刚性和铰接对象不同,3D可变形对象具有无限自由度。完全定义它们的状态需要3D变形和应力场,这是非常难以分析计算或实验测量的。因此,评估用于抓取规划的抓取候选通常需要准确但缓慢的3D有限元法(FEM)模拟。基于采样的抓取规划通常是不切实际的,因为它需要评估大量的抓取候选。基于约束的抓取规划可以更有效,但是需要可微分模型来从初始候选者合成最优抓取。可微分FEM模拟器可以填补这个角色,但通常不会比标准FEM更快。在这项工作中,我们提出学习预测图神经网络(GNN),DefGraspNets,作为我们的可微模型。我们训练DefGraspNets来预测基于FEM的抓取模拟的3D应力和变形场。DefGraspNets不仅运行速度比FEM模拟器快1500倍,而且还可以在3D应力和变形指标上实现基于梯度的快速抓取优化。我们设计的DefGraspNets与现实世界的抓取规划实践保持一致,并在多个测试集(包括现实世界的实验)上演示泛化。
2023-03-28 cs.RO
Robust Grasp Planning Over Uncertain Shape Completions
Aalto University(阿尔托大学)
我们提出了一种方法规划不确定形状完成的对象的鲁棒把握。对于形状完成,训练深度神经网络以将对象的部分视图作为输入,并将完成的形状作为体素网格输出。网络的关键部分是dropout层,它不仅在训练期间而且在运行时都可以通过Monte Carlo采样生成一组代表形状不确定性的形状样本。给定一组形状完成的对象,我们生成把握候选人的平均对象形状,但评估他们的联合性能的基础上,在所有的形状候选人的分析把握指标。我们实验验证和基准我们的方法对另一个国家的最先进的方法与巴雷特手90000把握在模拟和200把握一个真正的弗兰卡Panda。所有的实验结果表明,无论是在把握质量指标和把握成功率统计上显着的改善,表明规划形状不确定性意识的把握带来了显着的优势,在一个单一的形状估计单独规划,特别是当处理复杂或未知的对象。
2019-08-12 cs.RO
Fast 3D Sparse Topological Skeleton Graph Generation for Mobile Robot Global Planning
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
近年来,移动机器人正变得雄心勃勃,并在大规模场景中部署。作为对环境的高层次理解,稀疏骨架图有利于更有效的全局规划。目前,现有的解决方案的骨架图生成遭受几个主要的限制,包括不同的地图表示的适应性差,依赖于机器人检查轨迹和高计算开销。在本文中,我们提出了一个有效的和灵活的算法生成一个独立的三维稀疏拓扑骨架图捕捉的空间结构的自由空间。在我们的方法中,一个有效的射线采样和验证机制,以找到独特的自由空间区域,这有助于骨架图的顶点,与相邻顶点之间的遍历作为边缘。一个循环形成计划也被用来保持骨架图的紧凑性。与最先进作品的基准比较表明,我们的方法在更短的时间内生成稀疏图,提供高质量的全局规划路径。在真实世界地图上进行的实验进一步验证了我们的方法在真实世界场景中的能力。我们的方法将开源以造福社区。
2022-08-08 cs.RO
Planning of Power Grasps Using Infinite Program Under Complementary Constraints
Lightspeed & Quantum Studio, Tencent America(腾讯美国光子量子工作室);Shandong University(山东大学)
我们提出了一个基于优化的方法来规划权力的把握。我们的方法的核心是重新制定的抓取规划作为一个无限的程序下的互补约束(IPCC),它允许接触之间发生的任意对点的对象和机器人抓手。我们表明,IPCC可以减少到一个传统的有限维非线性规划(NLP)使用内核积分松弛。此外,核积分的值和雅可比矩阵可以使用修改的快速多极子方法(FMM)有效地评估。我们进一步保证,计划的把握是无碰撞使用原始障碍处罚。我们证明了我们的把握规划的有效性,鲁棒性和效率上的一排具有挑战性的3D物体和高自由度的抓手,如巴雷特手和阴影的手,我们的方法实现了卓越的把握质量超过竞争对手。
2021-07-31 cs.RO
Real-Time Grasp Planning for Multi-Fingered Hands by Finger Splitting
University of California, Berkeley(加州大学伯克利分校)
由于关节-接触耦合、表面非线性和高维数的存在,多指手的抓取规划计算量大,一般不适于实时的【形】实现。传统的规划方法通过优化、采样或学习等方式对平行手爪进行规划,效果较好,但对多指手爪规划仍具有挑战性。本文提出了一种手指分裂策略,从最优平行抓取开始规划多指手的精确抓取。通过包括接触点优化(CPO)和手掌姿态优化(PPO)的两阶段迭代优化来优化手指分割,以逐步分割手指并调整接触点和手掌姿态。两阶段优化算法能够兼顾物体抓取质量和手的可操作性,解决非线性和耦合问题,在1秒内实现高效收敛。仿真实验验证了该方法的有效性。模拟视频可在以下网址获得:
2018-07-28 cs.RO
Grasping for a Purpose: Using Task Goals for Efficient Manipulation Planning
Institute for Robotics and Intelligent Machines(机器人与智能机器研究所);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一种有效的把握选择未知物体的操作任务的方法。即使对于简单的任务,如拾取和放置,一个独特的解决方案是罕见的。相反,必须考虑并(潜在地)测试多个候选抓取,直到找到一个成功的、运动学上可行的路径。为了使这个过程有效,抓取应该被排序,使得那些更有可能成功的抓取首先被测试。我们建议使用掌握可操作性作为一个度量优先掌握。我们目前的模拟实验结果表明,我们的度量的有用性。此外,我们目前的实验与我们的物理机器人执行简单的操作任务与一小部分不同的家用物品。
2016-03-14 cs.RO
Closed-Loop Next-Best-View Planning for Target-Driven Grasping
ETH Zurich(苏黎世联邦理工学院);ABB Corporate Research(ABB集团企业研究中心)
从杂乱中挑选特定对象是许多操作任务的重要组成部分。部分观察通常需要机器人在尝试抓取之前收集场景的其他视图。本文提出了一种闭环的下一个最佳视图规划器,驱动基于被遮挡的对象部分的探索。通过从最新的场景重建中不断预测抓取,我们的策略可以在线决定完成抓取执行或调整机器人的轨迹以进行进一步探索。我们表明,我们的反应式方法减少了执行时间,而没有损失的把握成功率相比,常见的摄像头的位置和处理的情况下,固定的基线失败。视频和代码可在https://github.com/ethz-asl/active_grasp上获得。
2022-07-21 cs.RO
Learning from Planned Data to Improve Robotic Pick-and-Place Planning Efficiency
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
提出基于能量的模型预测共享抓取,加速机器人抓取-放置规划,提高数据效率并泛化到新抓取和相似物体。
2025-06-18 cs.RO
Planning Grasps for Assembly Tasks
Osaka University(大阪大学);National Inst. of AIST(国立先进工业科学技术研究所)
本文提出了基于模型的装配任务抓取规划算法。它专注于工业末端执行器,如抓手和吸盘,并计划把握配置考虑CAD模型的目标对象。所开发的算法能够稳定地规划大量高质量的抓取,具有高精度和对CAD模型质量的依赖性小。叠加分割技术是目前正在发展的核心技术,它通过将网格模型剥离成小平面来对网格模型进行预处理。该算法使用叠加段来定位接触点和平行面,并为流行的工业末端执行器合成抓取姿势。准备了几个可调参数来调整算法以满足各种要求。实验部分通过分析算法的成本和稳定性、计划抓取的精度以及模拟和真实世界实验的可调参数来展示算法的优势。此外,机器人装配系统的一些例子,使用所提出的算法来证明的有效性。
2019-03-05 cs.RO
Affordance-Driven Next-Best-View Planning for Robotic Grasping
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对杂乱场景中遮挡物体难以抓取的问题,本文提出ACE-NBV,通过新视角想象预测抓取可供性并选择下一最佳视角,仿真与真实机器人实验验证了其有效性。
2023-11-03 cs.RO
SAGP: Semantic Affordance-Guided Grasp Planning via Coarse-Zone VLM Reasoning
Khalifa University(哈利法大学);KU Center for Autonomous Robotic Systems (KUCARS)(KU自主机器人系统中心(KUCARS))
SAGP是一种无训练的抓取规划框架,通过粗区域抽象层结合VLM推理与几何规划,在保持纯几何抓取高成功率的同时,提升了抓取的功能适用性,尤其适用于非对称带把手物体。
2026-08-03 cs.RO
Grasp Planning for Flexible Production with Small Lot Sizes based on CAD models using GPIS and Bayesian Optimization
Technische Universität München(慕尼黑工业大学)
多指手的抓取规划仍然是一个具有挑战性的任务,由于高非线性质量指标,高维的手姿态配置,和复杂的物体形状。基于解析的抓取规划算法使用先进的凸优化求解器将抓取问题表述为约束优化问题。然而,这些并不能保证找到全局最优解。基于数据驱动的算法利用机器学习算法框架来使用巨大的训练数据集来学习抓取策略。本文提出了一种新的方法,通过制定一个全局优化问题与贝叶斯优化的把握生成。此外,我们利用高斯过程隐式曲面(GPIS)的对象的形状参数化集成到优化过程中的对象的形状信息。此外,在物体表面上定义的图表被用来局部地细化手掌姿态。我们引入了一个双重优化阶段来分别优化手掌姿势和接触点。我们进一步扩展了贝叶斯优化利用交替方向的乘数法(ADMM),以消除接触优化约束。我们在抓地力中进行实验!模拟器,证明了这种方法的有效性定量和定性。我们的方法在具有不同形状、尺度和重量的各种常见物体上实现了95%的成功率
2021-05-24 cs.RO
GOMP: Grasp-Optimized Motion Planning for Bin Picking
University of California at Berkeley(加州大学伯克利分校)
快速可靠的机器人拣仓是自动化仓库的关键挑战,通常以每小时拣货量(PPH)衡量。我们探索增加PPH使用更快的运动的基础上优化了一组候选人的把握。这组抓取的来源是双重的:(1)抓取分析工具,如Dex-Net生成多个候选抓取,以及(2)这些抓取中的每一个都有一个机器人抓取器可以旋转的自由度。在本文中,我们提出了抓取优化运动规划(GOMP),一种算法,加快了执行的垃圾箱采摘机器人的操作,将机器人动力学和一组候选人的把握,由一个把握规划到一个优化的运动规划。我们计算运动优化与序列二次规划(SQP)和迭代更新的信赖域占非凸性质的问题。在我们的公式中,我们将运动限制在机器人的机械限制范围内,同时避开障碍物。我们进一步转换的问题,以时间最小化,反复缩短的时间范围的轨迹,直到SQP是不可行的。在UR 5的实验中,GOMP实现了9倍于基线规划器的加速。
2020-03-05 cs.RO
Adaptive Motion Planning for Multi-fingered Functional Grasp via Force Feedback
School of Information and Communication and Engineering, Dalian University of Technology(大连理工大学信息与通信工程学院);Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所)
本研究提出一种基于深度强化学习和力反馈的自适应运动规划方法,通过关节力矩实时调整多指机器人从预抓取到目标抓取的姿态,实现了类人的灵活性与精确性。
2024-09-24 cs.RO
GCNGrasp-VP: Affordance-Guided View Planning for Efficient Task-Oriented Grasping
Shenzhen Key Laboratory of Robotics and Computer Vision(机器人与计算机视觉深圳重点实验室)
提出GCNGrasp-VP框架,通过功能场预测引导主动视角规划,无需场景重建,单次视角调整即可显著提升遮挡下的任务导向抓取成功率。
2026-06-18 cs.RO
Motion Planning for a Climbing Robot with Stochastic Grasps
Stanford University(斯坦福大学)
多肢攀爬机器人的运动规划必须考虑机器人的姿态、关节力矩以及它如何利用接触力与环境相互作用。这篇论文的重点是机器人的运动规划,该机器人使用非传统的运动来探索不可预测的环境,如火星洞穴。我们的机器人概念,ReachBot,使用可伸缩的吊杆作为四肢,在攀爬时实现大的可达工作空间。每个可延伸的吊杆都有一个微棘夹持器,用于抓取岩石表面。ReachBot利用其庞大的工作空间绕过障碍物,越过裂缝,并通过具有挑战性的地形。我们的规划方法必须是多功能的,以适应可变的地形特征和强大的,以减轻风险的随机性与脊柱抓。在本文中,我们引入了一个图遍历算法来选择一个离散的顺序的基础上,现有的地形特征适合把握把握。该离散计划由解耦运动规划器补充,该运动规划器考虑身体运动和末端执行器运动的交替阶段,使用基于采样的规划和顺序凸规划的组合来优化各个阶段。我们使用我们的运动规划器来规划一个模拟的2D洞穴环境中的轨迹,成功的概率至少为95%,并在基线轨迹上表现出更好的鲁棒性。最后,我们通过实验验证我们的运动规划算法在二维平面原型。
2022-09-21 cs.RO
DiPGrasp: Parallel Local Searching for Efficient Differentiable Grasp Planning
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文提出独立、快速、可微且适配不同自由度夹爪的 DiPGrasp,通过并行采样、碰撞处理和基于梯度的力封闭指标优化提升抓取搜索效率,并验证其在数据集构建、掩码条件规划、位姿优化及真实机器人上的效果。
2024-08-08 cs.RO
Physics-Aware Iterative Learning and Prediction of Saliency Map for Bimanual Grasp Planning
Dalian University of Technology(大连理工大学);The University of Manchester(曼彻斯特大学);Tsinghua University(清华大学)
针对双手抓取规划搜索空间大、标注数据需求多的问题,提出基于单手抓取数据的双手抓取显著性学习框架,结合物理平衡损失与优化模块,高效实现平衡的双手抓取。
2024-04-13 cs.RO
Generalizable task-oriented object grasping through LLM-guided ontology and similarity-based planning
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
本文提出基于LLM的本体和相似性规划方法,解决任务导向抓取中部分识别和抓取区域选择的稳定性问题,提升抓取的通用性和鲁棒性。
2026-03-27 cs.RO
Real-Time Online Re-Planning for Grasping Under Clutter and Uncertainty
University of Leeds(利兹大学)
我们考虑在杂乱中抓取的问题。虽然近年来已经开发了运动规划器来解决这个问题,但这些规划器大多是针对开环执行而定制的。然而,在这个领域中的开环执行可能会失败,因为不可能以足够的精度对多体多接触物理系统的动力学进行建模,也不可能期望机器人知道物体的确切物理特性,例如摩擦,惯性和几何特性。因此,我们提出了一个在线重新规划的方法,通过杂波抓取。主要挑战是该领域需要较长的规划时间,这使得快速重新规划和流畅执行难以实现。为了解决这个问题,我们提出了一个容易并行化的随机轨迹优化算法,产生一系列的最优控制。我们表明,通过运行此优化器,只有少量的迭代,它是可能的执行实时的重新规划周期,以实现反应性的操作混乱和不确定性。
2018-10-09 cs.RO
A Framework for Joint Grasp and Motion Planning in Confined Spaces
Department of Applied AI & Robotics at Aston University(阿斯顿大学应用人工智能与机器人学系);Faculty of Electrical Engineering, Czech Technical University Prague(布拉格捷克技术大学电子工程系)
针对受限空间内物体难以触及的问题,提出联合抓取与运动规划框架,包含20个递进难度基准场景、预标注物体、场景构建工具及两个基线规划器,并开源以支持社区研究。
2025-05-12 cs.RO
Robust Robot-assisted Tele-grasping Through Intent-Uncertainty-Aware Planning
Colorado School of Mines(科罗拉多矿业学院);Duke University(杜克大学)
在遥操作中,研究主要集中在目标接近,我们处理更具挑战性的对象操作任务,通过推进共享控制技术。由于特定操作任务的精细运动约束要求,适当地操作对象是具有挑战性的。虽然这些运动约束是任务成功的关键,但在观察模糊的人体运动时,它们往往是微妙的。非具体化问题和人类和机器人手之间的物理差异带来了额外的不确定性,进一步夸大了对象操作任务的复杂性。此外,还缺乏规划和建模技术,可以有效地结合人类和机器人代理的运动输入,同时考虑人类意图的模糊性。为了克服这一挑战,我们建立了一个多任务机器人抓取模型,并开发了一个意图不确定性感知的抓取规划器,以生成鲁棒的抓取姿势,给出了模糊的人类意图推理输入。有了这些经过验证的建模和规划技术,预计将扩展远程操作机器人的功能和采用实际的远程操作场景。
2020-05-19 cs.RO
Grasp Planning for Customized Grippers by Iterative Surface Fitting
University of California, Berkeley(加州大学伯克利分校)
定制的夹具在工业装配线中有广泛的应用。与一般平行夹持器相比,定制夹持器具有专门设计的手指,以增加与工件的接触面积,提高抓取鲁棒性。然而,由于对象的变化,表面接触和夹具的结构约束,用于定制夹具的抓取规划是具有挑战性的。本文提出了一种迭代曲面拟合(ISF)算法来规划定制夹持器的抓取。ISF通过最小化表面拟合误差同时搜索最佳夹持器变换和手指位移。引入引导采样,避免ISF陷入局部最优,提高避碰性能。该算法能够考虑夹持器的结构约束,并实时规划最优抓取。仿真和实验验证了该算法的有效性。实验视频可在以下网址获得:http://me.berkeley.edu/\%7Eyongxiangfan/CASE2018/caseisf.html
2018-07-28 cs.RO
B4P: Simultaneous Grasp and Motion Planning for Object Placement via Parallelized Bidirectional Forests and Path Repair
Department of Computer Science, Rice University(计算机科学系,里士大学)
针对抓取、放置与运动规划顺序解耦导致的次优问题,提出B4P双向森林并行规划框架,同步生成满足放置约束的抓取与可行运动,并实现超线性加速。
2025-07-24 cs.RO
Optimization Model for Planning Precision Grasps with Multi-Fingered Hands
University of California, Berkeley(加州大学伯克利分校)
多指手的精确抓握对于精确放置和手内操作任务是重要的。由于点云所代表的物体形状复杂、维数高、易碰撞以及传感和定位的非期望特性,使得对点云的精确搜索具有挑战性。提出了一种多指手精确抓取的优化模型。该模型以物体的噪声点云作为输入,通过迭代搜索手掌姿态和手指关节位置来优化抓取质量。手和物体之间的碰撞是近似的,并通过一系列的最小二乘惩罚。碰撞近似能够处理具有复杂形状的物体的点云表示。所提出的优化模型能够有效地定位无碰撞的最佳精度抓持。平均计算时间为0.50秒/抓取。该算法对点云的不完整性和噪声具有较强的鲁棒性。实验证明了该算法的有效性。
2019-04-15 cs.RO
FC-Planner: A Skeleton-guided Planning Framework for Fast Aerial Coverage of Complex 3D Scenes
The Hong Kong University of Science and Technology(香港科技大学);Sun Yat-Sen University(中山大学)
本文提出 FC-Planner 骨架引导框架,利用 SSD、骨架视点生成与分层并行规划,实现复杂三维场景无需预处理的快速、完整且短路径无人机覆盖。
2024-09-10 cs.RO
Center-of-Mass-based Robust Grasp Planning for Unknown Objects Using Tactile-Visual Sensors
Agile Robots AG(敏捷机器人公司);Technische Universität München(慕尼黑工业大学);Universität Hamburg(汉堡大学)
不稳定的抓取姿态会导致滑动,因此可以通过滑动检测来预测不稳定的抓取姿态。之后需要重新抓握以纠正抓握姿势以完成任务。在这项工作中,我们提出了一种新的重握规划器与多传感器模块计划把握调整与反馈从滑检测器。然后训练一个重新抓取规划器来估计质心的位置,这有助于机器人找到一个最佳的抓取姿势。该数据集由一对触觉传感器、一台RGB-D相机和一台配备关节力/扭矩传感器的Franka Replika机器人手臂收集的1 025个滑动实验和1 347个重握实验组成。我们表明,我们的算法可以成功地检测和分类5未知的测试对象的滑动,准确率为76.88%和一个regrasp计划器增加了31.0%的把握成功率相比,国家的最先进的基于视觉的把握算法。
2020-06-01 cs.RO
A self-supervised learning-based 6-DOF grasp planning method for manipulator
Huazhong University of Science and Technology(华中科技大学);South East University(东南大学)
为了在非结构化环境中实现对未知物体的鲁棒机器人抓取系统,需要大量的抓取数据和物体的三维模型数据,抓取数据的大小直接影响抓取的成功率。为了减少数据采集和标记的时间成本,提高抓取成功率,我们开发了一种自监督学习机制来控制机械手执行抓取任务。首先,机械手从多个视角自动收集对象的点云,以提高数据采集的效率。利用机械手的手眼视觉和TSDF算法获得物体的完整点云。然后,利用物体的点云数据生成一系列六自由度抓取位姿,并利用力封闭决策算法为每个抓取位姿添加抓取质量标签,实现抓取数据的自动标注。最后,获得每个抓取位姿对应的抓手闭合区域的点云,并用于训练机械手抓取质量分类模型。数据采集实验结果表明,该方法可以获得高质量的数据。仿真结果证明了所提出的抓取-数据采集方法的有效性。实际抓取实验结果表明,所提出的自监督学习方法可以提高机械手的抓取成功率。
2021-01-30 cs.RO
Geometric In-Hand Regrasp Planning: Alternating Optimization of Finger Gaits and In-Grasp Manipulation
University of Utah Robotics Center(犹他大学机器人中心);School of Computing University of Utah(犹他大学计算机学院)
本文探讨的问题,自主,在手regrasping-移动从一个物体上的初始把握所需的把握使用灵巧的机器人的手指的问题。我们提出了一个计划,这个问题之间的交替手指步态,掌握操纵。手指步态使机器人能够将单个手指移动到物体上的新接触位置,而其余手指稳定地保持物体。抓取操作将物体移动到相对于机器人手掌的新姿势,同时保持手和物体之间的接触位置。给定对象的几何形状(作为一个网格),手的运动学结构,以及初始和所需的把握,我们计划一系列的手指步态和对象休息的行动,以达到所需的把握,而不会下降的对象。我们提出了一个基于优化的方法,并报告在手中重握计划为5个对象超过5个在手重握目标。我们的规划器生成的计划是无碰撞的,并保证运动学的可行性。
2018-04-12 cs.RO
Disentangled Iterative Surface Fitting for Contact-stable Grasp Planning
Nara Institute of Science and Technology(奈良科学技术研究所);University of Padua(帕多瓦大学)
本文提出将抓取位姿优化解耦为旋转、平移与夹爪开合度三步迭代拟合的方法,在保持几何兼容的同时提升接触稳定性,YCB 物体仿真显示成功率较传统方法提高 80%。
2025-02-17 cs.RO
Improving Robotic Grasping Ability Through Deep Shape Generation
Wuhan University(武汉大学);University of Hamburg(汉堡大学);Wuhan Institute of Technology(武汉工程大学);The Chinese University of HongKong(香港中文大学)
数据驱动的方法已经成为机器人抓取规划的主导范式。然而,这些方法的性能受到可用训练数据的质量的极大影响。在本文中,我们提出了一个框架来生成物体形状,以提高抓取数据集的质量,从而提高了预先设计的基于学习的抓取规划网络的抓取能力。在这个框架中,对象的形状被嵌入到一个低维的特征空间使用AutoEncoder(编码器-解码器)为基础的结构网络。使用离群值检测和抓握质量标准为每个对象形状定义稀有度和抓握度分数。随后,在特征空间中生成新的对象形状,该特征空间利用原始的高稀有度和抓握度得分对象的特征,其可以用于增强抓握数据集。仿真和实验结果表明,基于学习的抓取规划网络能够有效地提高物体形状的抓取能力.
2022-09-06 cs.RO
DISF: Disentangled Iterative Surface Fitting for Contact-stable Grasp Planning with Grasp Pose Alignment to the Object Center of Mass
Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology(信息科学系,科学技术研究生学校,那拉科学技术研究所);Department of Information Engineering, University of Padua(信息工程系,帕多瓦大学)
DISF通过解耦迭代表面拟合优化抓取姿态,提升接触稳定性与抓取成功率。
2025-12-31 cs.RO
Multi-Modal Planning on Regrasping for Stable Manipulation
Contextual Robotics Institute, UC San Diego(加州大学圣地亚哥分校情境机器人研究所)
针对工作空间限制导致稳定抓取位姿不可直接接近的问题,提出基于马尔可夫决策过程的多模态重新抓取规划器,通过滑动、重抓和转移序列提升仿真与真实机器人拾取放置性能。
2023-09-26 cs.RO
Pick and Place Planning is Better than Pick Planning then Place Planning
Kahlert School of Computing(卡勒特计算学院);Robotics Center(机器人中心);University of Utah(犹他大学);NVIDIA(英伟达公司)
提出一种联合抓取与放置规划的模块化算法,利用基于学习的抓取分类器从部分点云规划多指抓取,实验证明其优于传统顺序规划方法并实现更优放置配置。
2024-01-29 cs.RO
A Skeleton-based Approach For Rock Crack Detection Towards A Climbing Robot Application
Stanford University(斯坦福大学)
针对洞穴环境下攀爬机器人的抓握点识别需求,提出基于骨架交点损失的岩石裂缝边缘检测方法,搭配新度量LineAcc,在薄物体分割任务上表现更优,可应用于机器人系统。
2023-11-06 cs.CV cs.RO
New Formulation of Mixed-Integer Conic Programming for Globally Optimal Grasp Planning
National University of Defense Technology(国防科技大学);University of Maryland at College Park(马里兰大学帕克分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了一个两级的分支定界(BB)算法来计算最佳的抓手位姿,最大限度地提高了在有限的搜索空间的把握度量。我们的方法可以考虑到夹持器的运动学可行性,以确保一个给定的夹持器可以达到一组抓点没有碰撞或预测不可行性与有限的时间终止时,没有姿势存在一组给定的抓点。我们的主要技术贡献是一种新的混合整数圆锥规划(MICP)制定的逆运动学的夹具,使用少量的二进制变量和收紧的约束,这可以有效地解决通过一个低层次的BB算法。我们的实验表明,各种目标对象的最佳夹持器姿势可以计算需要20-180分钟的计算在台式机和计算的把握质量,在Q1指标方面,是优于使用基于采样的规划器产生的。
2022-01-14 cs.RO
The Grasp Loop Signature: A Topological Representation for Manipulation Planning with Ropes and Cables
University of Michigan(密歇根大学)
针对绳索、线缆等可变形一维物体操作中的机器人—物体闭合环拓扑约束,论文提出抓取环签名以分类并引导规划,在仿真和真实双臂机器人实验中提升了速度与成功率。
2024-03-03 cs.RO
Object grasping planning for the situation when soft and rigid objects are mixed together
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学)
本文提出了一种用旋转限界框表示的目标检测方法,以解决刚性物体和柔性物体混合场景下的抓取难题。与传统的检测方法相比,该方法能够输出旋转对象的角度信息,从而保证每个旋转限界框内只有一个实例。该技术在具有不同取向的物体堆的情况下特别有用。在我们的方法中,当检测到具有特定几何形状(矩形或圆柱形)的未分类对象时,程序将得出结论,一些刚性对象被毛巾覆盖。如果没有检测到被覆盖的物体,则抓取规划基于从2D目标检测结果与其对应的3D点云之间的映射获得的3D点云。基于三维限界框覆盖物体所提供的信息,提出了多个杂乱刚性物体的抓取策略和避碰策略。通过刚性物体和毛巾混合的实验验证了该方法的有效性。
2019-09-20 cs.RO
Randomized Physics-based Motion Planning for Grasping in Cluttered and Uncertain Environments
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institute of Industrial and Control Engineering(工业与控制工程研究所);Rice University(莱斯大学)
在杂乱和不确定的环境中规划抓取物体的运动是一项具有挑战性的任务,特别是当不存在无碰撞轨迹并且需要小心地抓取和移出阻挡道路的物体时。本文采取了不同的方法,并提出了解决这个问题,通过使用一个随机的基于物理的运动规划,允许机器人对象和对象对象之间的相互作用。其主要思想是避免一个明确的高层次推理的任务,提供一个物理引擎的运动规划器,以评估可能的复杂的多体动力学相互作用。该方法能够解决复杂情况下的问题,也考虑了对象的姿态和接触动力学的不确定性。这项工作增强了状态有效性检查器,控制采样器和树的探索策略的Kinodynamic运动规划称为KPIECE。增强算法,称为p-KPIECE,已在仿真和实际实验中得到验证。的结果进行了比较与本体物理为基础的运动规划和任务和运动规划的方法,导致规划时间,成功率和质量的解决方案路径方面的显着改善。
2017-11-27 cs.RO
VISO-Grasp: Vision-Language Informed Spatial Object-centric 6-DoF Active View Planning and Grasping in Clutter and Invisibility
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
VISO-Grasp利用视觉-语言基础模型进行空间推理和主动视角规划,通过实例中心化表示和多视角不确定性融合,在严重遮挡环境中实现高成功率的目标导向6自由度抓取,实验成功率87.5%。
2025-08-06 cs.CV cs.RO
Vision-Guided Grasp Planning for Prosthetic Hands in Unstructured Environments
Control and Automation Section, Department of Electronics Systems, Aalborg University, Denmark(奥尔堡大学电子系统系自动化与自动化部门);Department of Mechanical Engineering, National Institute of Technology,Durgapur, India(印度德里加尔帕国家理工学院机械工程系);The Technical Faculty of IT(信息技术技术学院);Millimeter-Wave Systems, Department of Electronics Systems, Aalborg University, Denmark(毫米波系统,电子系统系,奥尔堡大学,丹麦)
本文提出一种基于视觉引导的假手抓取算法,通过整合感知、规划和控制,实现灵活的抓取操作,并在仿真和实验中验证其在无结构环境中的适应性。
2025-12-06 cs.RO
Collision-Inclusive Manipulation Planning for Occluded Object Grasping via Compliant Robot Motions
Department of Computer Science, Rice University(计算机科学系,里士大学);RAI Institute(RAI研究所)
针对遮挡物体抓取等接触丰富问题,提出一种包含碰撞的规划框架,利用柔顺运动和笛卡尔阻抗控制吸收碰撞,通过环境约束和操作漏斗减少不确定性,高效解决初始无可行抓取的现实问题。
2025-09-12 cs.RO
Human Initiated Grasp Space Exploration Algorithm for an Underactuated Robot Gripper Using Variational Autoencoder
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
抓取规划,尤其是抓取空间探索仍然是机器人领域的一个悬而未决的问题。本文提出了一种有效的程序,探索掌握空间的多指自适应夹具产生可靠的把握给定一个已知的对象位姿。该过程依赖于手动指定的专家抓取的有限数据集,并使用基于抓取质量度量和变分自编码器的使用的混合分析和数据驱动的方法。该方法的性能进行了评估,通过生成把握在模拟三个不同的对象。在此抓取规划任务上,该方法在7000次试验中达到了99.91%的抓取成功率。
2021-09-20 cs.RO
Provably Constant-time Planning and Replanning for Real-time Grasping Objects off a Conveyor Belt
Carnegie Mellon University(卡内基梅隆大学);Technion-Israel Institute of Technology(以色列理工学院)
在仓库和制造环境中,操纵平台经常部署在传送带处以执行拾取和放置任务。由于传送带上的物体是移动的,机器人拾取它们的时间有限。这就需要快速可靠的运动规划器,可以提供可证明的实时的【形】规划保证,现有的算法不提供。除了规划效率之外,操纵任务的成功在很大程度上依赖于感知系统的准确性,感知系统通常是嘈杂的,特别是如果目标对象是从远处感知的话。对于快速移动的传送带,机器人在开始执行其运动之前不能等待完美的估计。为了能够及时到达物体,它必须尽早开始移动(依赖于初始噪声估计),并响应于感知的姿态更新来动态调整其运动。我们提出了一个规划框架,通过提供可证明的恒定时间规划和重新规划的保证,满足这些要求。为此,我们首先介绍和形式化一类新的算法称为恒定时间运动规划算法(CTMP),保证计划在恒定的时间和用户定义的时间范围内。然后,我们提出了我们的规划框架抓物体的传送带的CTMP类算法的一个实例。
2021-01-15 cs.RO
6-DoF Grasp Planning using Fast 3D Reconstruction and Grasp Quality CNN
UC Berkeley(加州大学伯克利分校)
本文针对家用机器人深度相机昂贵的问题,提出利用廉价RGB相机和多视图几何改进LSM算法,并结合GQ-CNN开发六自由度抓取规划器,实现无自上而下抓取时的稳健抓取。
2024-05-02 cs.CV cs.RO
Generating Task-specific Robotic Grasps
University of Birmingham(伯明翰大学)
本文介绍了一种方法,用于产生机器人把握共同考虑稳定性和其他任务和对象的具体限制。我们引入了一个三级表示,是从一个小的对象,任务和相关的把握样本数量为每个对象类收购。该表示将每个对象类的特定于任务的知识编码为关键点骨架和合适的抓握点之间的关系,尽管在尺度和方向上存在类内变化,但该关系仍被保留。学习模型在运行时间查询一个简单的基于采样的方法,以指导平衡任务和稳定性约束的把握的生成。我们地面和评估我们的方法的背景下,一个弗兰卡Panda机器人协助人类挑选桌面对象的机器人没有事先的CAD模型。实验结果表明,与只关注稳定性的基线方法相比,我们的方法能够为不同的任务提供合适的抓握。
2022-03-20 cs.RO
GOMP-ST: Grasp Optimized Motion Planning for Suction Transport
University of California, Berkeley(加州大学伯克利分校)
吸盘抓取在工业中非常常见,但移动太快会导致吸盘分离,从而导致掉落或损坏。在整个高速运动中保持吸力抓持需要在吸盘在应变下变形时平衡吸力与惯性力。在本文中,我们考虑了抽吸运输的抓取优化运动规划(GOMP-ST),这是一种将深度学习与优化相结合的算法,可在避免吸盘故障的同时减少运输时间。GOMP-ST首先重复移动物理机器人、真空夹持器和样品物体,同时使用固态传感器测量压力,以了解关键故障条件。然后,将这些作为对末端执行器处的加速度的约束集成到时间优化运动规划器中。由此产生的计划纳入现实世界的影响,如吸盘变形,是很难建模分析。在GOMP-ST,学习的约束,建模与神经网络,线性化使用Autograd和集成到一个序列二次规划优化。在420个实验与物理UR 5运输对象范围从1.3到1.7公斤,我们比较GOMP-ST基线优化运动规划。结果表明,GOMP-ST可以避免吸盘故障,同时减少运输时间从16%到58%。有关代码、视频和数据集,请参见https://sites.google.com/view/gomp-st。
2022-03-16 cs.RO
GraSP-STL: A Graph-Based Framework for Zero-Shot Signal Temporal Logic Planning via Offline Goal-Conditioned Reinforcement Learning
School of Automation & Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院)
本文提出GraSP-STL框架,利用离线数据学习目标条件价值函数,构建状态空间可达性度量,通过图搜索实现零样本信号时间逻辑规划,支持长周期任务规划。
2026-03-31 cs.RO
Annotated-skeleton Biased Motion Planning for Faster Relevant Region Discovery
TAMU(得克萨斯农工大学);UWSUPER(威斯康星大学苏必利尔分校);Columbia(哥伦比亚大学);Illinois(伊利诺伊大学)
运动规划算法通常利用关于环境的拓扑信息来提高规划器性能。然而,这些方法往往只关注环境的连通性,而忽略了其他属性,如障碍清除,地形条件和资源的可访问性。我们提出了一种方法,增强骨架代表的工作空间拓扑结构与这些信息,以指导基于采样的运动规划,以快速发现最相关的区域手头的问题。我们的方法将指导和规划结合起来,使基本规划算法能够在规划过程中更早地找到所需的路径。我们证明了我们的方法在机器人问题和药物设计中的应用的有效性。我们的方法是能够产生所需的路径,而不改变底层的规划。
2020-03-04 cs.RO q-bio.BM
Hypothesis-based Belief Planning for Dexterous Grasping
University of Birmingham(伯明翰大学);Queensland University of Technology(昆士兰科技大学)
信仰空间规划是一个可行的替代形式化部分可观察的控制问题,在最近几年,它的应用机器人操作问题已经增长。然而,这种规划方法只在简化的控制问题上得到了成功的尝试。在本文中,我们将信念空间规划问题的规划灵巧的达到把握对象的姿态不确定性的轨迹。在我们的框架中,机器人将待抓取的对象感知为点云,并在对象的姿态(我们的信念空间)上计算完整的6D非高斯分布。该系统对物体的几何形状没有限制,即,也不假定点云是对象的完整表示。然后,在置信空间中创建计划以到达并抓住对象,使得沿着轨迹的预期接触的信息值最大化以补偿姿态不确定性。如果在执行动作时发生意外接触,则使用此类信息来细化姿势分布并触发重新规划。实验结果表明,我们的规划器(IR3ne)提高了把握的可靠性和补偿的姿态不确定性,使它加倍的把握,成功的第一次尝试的比例。
2019-03-13 cs.AI cs.RO