Regrasp Maps for Sequential Manipulation Planning
Learning & Intelligent Systems Lab, TU Berlin, Germany(柏林技术大学学习与智能系统实验室);Science Of Intelligence Cluster of Excellence(智能科学卓越集群)
本文提出利用再抓取地图(状态空间抽象)捕获配置空间中可用抓取组合,指导基于优化的TAMP求解器加速搜索,并通过交替创建地图、调整和求解子问题实现稳健的再抓取操作规划。
2025-07-16 cs.RO
Multi-Modal Planning on Regrasping for Stable Manipulation
Contextual Robotics Institute, UC San Diego(加州大学圣地亚哥分校情境机器人研究所)
针对工作空间限制导致稳定抓取位姿不可直接接近的问题,提出基于马尔可夫决策过程的多模态重新抓取规划器,通过滑动、重抓和转移序列提升仿真与真实机器人拾取放置性能。
2023-09-26 cs.RO
Regrasping by Fixtureless Fixturing
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种不需要物理夹具的重夹持夹具策略。为了重新抓取夹持器中的物体,机器人抵靠环境中的外部接触件推动物体,使得外部接触件保持物体静止,同时手指在物体上滑动。我们称这种操作技术为无夹具固定。利用力学推,我们刻画了一个凸多面体集的推动,结果在无夹具夹具。这些推动对于物体惯性、抓握力和接触处的摩擦力的不确定性是鲁棒的。我们提出了一个基于采样的规划,使用强大的推动,以迅速建立一个树的可达把握。这个树中的路径是一个推策略,可能涉及从不同侧面推,以重新抓取对象。我们证明了实验的有效性和鲁棒性的操作平台上不同的重握的例子所提出的操作技术。这种快速灵活的重夹规划器有助于实现多功能灵活的自动化解决方案。
2018-09-25 cs.RO
Tactile Regrasp: Grasp Adjustments via Simulated Tactile Transformations
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种新的重抓控制策略,利用触觉传感进行局部抓取调整。该方法通过虚拟搜索局部触觉测量变换来提高抓取质量。首先,使用深度卷积神经网络构建基于触觉的抓取质量度量,该网络在超过2800次抓取上进行训练。每个抓取的质量是一个介于0和1之间的连续值,通过实验测量其对外部扰动的抵抗性来确定。其次,通过刚体变换模拟机器人运动相对于初始抓取的触觉印记,新生成的触觉印记与学习的抓取质量网络进行评估,选择最大化抓取质量的重抓动作。结果表明,抓取质量网络在已知物体上的平均准确率为85%,在12个物体的交叉验证集上的准确率为75%。重抓控制策略在8个物体的测试集上将抓取动作的成功率提高了70%。
2018-10-09 cs.RO cs.SY eess.SY
Analyzing the Utility of a Support Pin in Sequential Robotic Manipulation
the University of Hong Kong(香港大学);the City University of Hong Kong(香港城市大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
抓取是机器人的一项重要操作技能。它可以帮助机器人完成由于运动学或机器人与环境之间的碰撞等约束而无法在单次抓取中完成的任务。以前的工作拾取和放置重新抓取只杠杆平面的中间放置,因此是有限的能力,重新定位的对象。在本文中,我们通过在工作表面上添加垂直销并将其用作重新夹持的中间位置来扩展拾取和放置重新夹持的重定向能力。特别是,我们的方法自动计算一个对象靠在一个垂直针的稳定位置,找到几个力封闭的把握,生成一个图形的regrasp行动,并搜索regrasp序列。为了比较使用和不使用钉的重新夹持性能,我们评估了在各种模型上执行任务时重新夹持序列的成功率和长度。重新定位和装配任务的实验验证了使用支撑销重新夹紧的好处。
2015-12-22 cs.RO
Bimanual Regrasp Planning and Control for Active Reduction of Object Pose Uncertainty
Graduate School of Engineering Science, Osaka University(大阪大学工学研究科)
针对物体位姿不确定性问题,提出一种无需相机和夹具的双臂重抓规划与导纳控制方法,利用平面指垫的三次正交抓取主动降低位姿不确定性,实验表明其具有良好可重复性且偏差水平与光学跟踪系统相当。
2025-06-28 cs.RO
Planning to Repose Long and Heavy Objects Considering a Combination of Regrasp and Constrained Drooping
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
本文提出了一种分层运动规划器规划的操作运动,以休息长,重的物体考虑外部支撑表面。规划器包括任务级层和运动级层。我们制定的操作规划问题,在任务级考虑把握构成节点和对象构成的边缘。我们考虑在构建图的过程中重新抓取和约束手滑(下垂),并通过搜索图找到混合重新抓取和下垂序列。所生成的序列自主地在臂和支撑表面之间划分对象重量,并避免配置障碍。笛卡尔规划是在机器人运动水平,以产生相邻的关键把握构成的任务层发现的序列之间的运动。进行了各种实验,以检查所提出的规划器的性能。结果表明,改进的能力,机器人手臂操作长,重的物体,使用建议的规划。我们的贡献是,我们初步开发了一个基于图形的规划系统,原因在手和regrasp操纵运动考虑外部支持。一方面,规划器集成了重握和下垂,实现了手在外部支持下的操作。另一方面,当物体稳定放置时,它通过释放和重新抓取物体来切换状态。搜索图的节点可以从远程云服务器检索,这些服务器提供大量预先注释的数据以实现网络智能。
2021-01-25 cs.RO
Dual-Arm In-Hand Manipulation and Regrasping Using Dexterous Manipulation Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);Yale University(耶鲁大学)
本文主要研究了用平行夹持器对物体进行手内操作和重夹持的问题。我们提出灵巧操作图(DMG)作为一种表示,我们定义规划在手的操作和重握。DMG是一个断开的无向图,表示手指沿着物体表面的可能运动。我们制定的手操纵和重握问题作为一个图形搜索问题,从初始到最终的配置。由此产生的计划是一系列协调的手推和重握运动。我们提出了一个双臂系统的执行顺序,双手可互换使用。我们展示了我们的方法,ABB Yumi机器人的任务与不同的把握重新配置。
2019-05-16 cs.RO
More Than a Feeling: Learning to Grasp and Regrasp using Vision and Touch
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
对于人类来说,抓取物体的过程在很大程度上依赖于丰富的触觉反馈。然而,最近的机器人抓取工作仅基于视觉输入,因此在开始接触后不能容易地从反馈中受益。在本文中,我们研究了机器人如何学习使用触觉信息来迭代和有效地调整其把握。为此,我们提出了一个端到端的动作条件模型,从原始视觉触觉数据中学习重新抓取策略。这个模型--一个深度的多模态卷积网络--预测候选抓取调整的结果,然后通过迭代选择最有希望的动作来执行抓取。我们的方法既不需要校准的触觉传感器,也没有任何分析建模的接触力,从而减少了工程所需的努力,以获得有效的把握政策。我们训练我们的模型,数据来自大约6,450个抓取试验,每个手指上都配备了GelSight高分辨率触觉传感器。在广泛的实验中,我们的方法在以下方面优于各种基线:(i)估计抓握调整结果,(ii)选择有效的抓握调整以快速抓握,以及(iii)减少施加在手指上的力的量,同时保持竞争力。最后,我们研究了我们的模型所做的选择,并表明它已经成功地获得了有用的和可解释的抓取行为。
2018-07-26 cs.LG cs.RO stat.ML
A Novel Planning Framework for Complex Flipping Manipulation of Multiple Mobile Manipulators
Shanghai Jiao Tong University(上海交通大学);Hong Kong University of Science and Technology(香港科技大学);Great Bay University(大湾区大学)
针对多移动机械臂在闭链约束下的构型不连通问题,提出将轨迹覆盖选择建模为集合覆盖的三步规划框架,以判断无重抓可行性或最小化重抓次数。
2024-10-25 cs.RO
Learning to Regrasp by Learning to Place
University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
在本文中,我们将探讨机器人是否可以学习重新抓取一组不同的对象,以实现各种所需的把握姿势。当机器人的当前抓取姿势不能执行期望的操作任务时,需要重新抓取。赋予机器人这种能力在许多领域都有应用,如制造业或家庭服务。然而,这是一个具有挑战性的任务,由于在日常生活中的对象和状态和动作空间的高维几何形状的巨大多样性。在本文中,我们提出了一个系统的机器人采取部分点云的对象和支持环境作为输入和输出一系列的拾取和放置操作,以转换一个初始的对象把握姿势所需的对象把握姿势。其关键技术包括一个神经元稳定位置预测器和一个通过利用和改变周围环境的基于重握图的解决方案。我们引入了一个新的和具有挑战性的合成数据集学习和评估所提出的方法。我们证明了我们提出的系统的有效性与模拟器和现实世界的实验。更多视频和可视化示例可在我们的项目网页上找到。
2021-11-17 cs.AI cs.CV cs.LG
Grasp, Handover, Rotate: Bimanual Object Reorientation via Compositional Diffusion and Energy-Based Optimization
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Loop Area Institute(深圳河套学院)
研究双手物体重新定向问题,提出基于组合扩散和能量的BiCompoDiff框架,联合优化多方面任务,结合预训练模型与能量模型,通过梯度引导和采样优化抓取姿态,实验表明其成功率和轨迹平滑度优于基线,实现有效模拟到现实转移。
2026-07-24 cs.RO
Stable Prehensile Pushing: In-Hand Manipulation with Alternating Sticking Contacts
Massachusetts Institute of Technology(麻省理工学院);Department of Mechanical Engineering(机械工程系(不提取,因为系属于细拆))
本文提出了一种方法,在手操纵规划,利用交替粘附接触的力学。特别是,我们考虑的问题,操纵一个掌握的对象使用外部推动的推杆坚持的对象。鉴于物体的物理特性,在接触和所需的重握在对象上的摩擦系数,我们提出了一个基于采样的规划框架,建立一个推动策略连接不同的可行的稳定推动,以实现所需的重握。一个有效的动力学制定,使我们能够计划在手操作100-1000倍,比我们以前的工作,建立在互补性制定。对生成的计划的实验观察表明,对象精确地按照计划者的预期在把握中移动。视频摘要--youtu.be/qOTKRJMx6Ho
2018-03-04 cs.RO
Manipulation Planning under Changing External Forces
University of Leeds(利兹大学)
在这项工作中,我们提出了一个机器人的操作规划算法,以保持一个物体在不断变化的外力稳定。我们特别关注的情况下,人类可能会施加有力的操作,例如切割或钻孔,对机器人持有的对象。规划者通过智能地决定当人类施加力时机器人应该何时改变其对物体的抓握来产生有效的规划。计划者还尝试选择随后的抓握,以便最大限度地减少长期需要的重新抓握次数。此外,当从一个抓取切换到另一个抓取时,规划器解决了双手重新抓取规划的问题,其中物体不放置在支撑表面上,而是由单个抓取器保持,直到第二个抓取器移动到物体上的新位置。这就要求规划者也要考虑物体在重力作用下的稳定性。我们在一个双手机器人上实现了规划器,并通过实验验证了规划器的性能。
2018-07-30 cs.RO
Robotic Pick-and-Place With Uncertain Object Instance Segmentation and Shape Completion
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机科学学院)
我们考虑机器人拾取和放置部分可见的新颖物体,其中目标放置是不平凡的,例如,紧紧地装在一个箱子里。一种方法是(a)使用对象实例分割和形状完成来对对象进行建模,以及(b)使用重新抓取规划器来决定抓取和放置,从而将模型移位到它们的目标。然而,对于规划者来说,考虑到感知模型中的不确定性是至关重要的,因为未观察到的区域中的对象几何形状只是猜测。我们考虑到知觉的不确定性,将其纳入重新抓取计划的成本函数。我们比较了七种不同的成本。其中之一,它使用神经网络来估计把握和地方稳定性的概率,始终优于不确定性不知道的成本和评估速度比蒙特卡洛抽样。在一个真正的机器人,建议的成本结果在成功地将物体紧密地包装到一个箱子7.8%,往往比常用的最小数量的把握成本。
2021-03-03 cs.RO
Extrinsic Manipulation on a Support Plane by Learning Regrasping
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);University of Alberta(阿尔伯塔大学)
本文提出基于点云和深度神经网络的三阶段稳定放置预测框架,并构建大规模数据集,使机器人可规划顺序抓取—放置以完成平面外在重抓取。
2023-07-12 cs.RO
simPLE: a visuotactile method learned in simulation to precisely pick, localize, regrasp, and place objects
Amazon Robotics(亚马逊机器人公司);Samsung AI Center(三星人工智能中心);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出simPLE方法,通过仿真学习任务感知抓取、视觉触觉感知和重新抓取规划,实现精确且通用的拾取与放置,在双臂机器人上对15种物体达到高成功率。
2023-07-24 cs.CV cs.LG cs.RO
Combined Task and Motion Planning for a Dual-arm Robot to Use a Suction Cup Tool
Osaka University(大阪大学);National Inst. of AIST(国立先进工业科学技术研究所)
提出了一种双臂机器人使用吸盘工具的联合任务和运动规划器。该规划器由三个子规划器组成:一个吸附位姿规划器和两个回握和运动规划器。吸力姿态子规划器使用工具和物体的模型来找到吸盘工具在物体上吸力的所有可用姿态。再抓握和运动子规划器构建表示所有可能的抓握序列的再抓握图,以将吸盘工具从初始姿势重新定向和移动到目标姿势。分别对单个吸盘和吸盘与物体的复合体进行了规划。建议的规划器的输出是一个序列的机器人运动,使用吸盘工具来操纵对象以下的人的指令。该规划器进行了检查和分析的仿真实验和现实世界的执行,使用几个现实世界的任务。结果表明,该规划器具有高效、鲁棒性强的特点,能够在几秒钟内生成顺序的转接和转移机器人运动,完成复杂的组合任务和运动规划任务。
2019-08-31 cs.RO
SpringGrasp: Synthesizing Compliant, Dexterous Grasps under Shape Uncertainty
Stanford University(斯坦福大学)
本文提出SpringGrasp规划器与指标,在形状不确定性下合成顺应性灵巧抓取以最小化意外接触影响,在真实机器人实验中较基于力闭合的规划器将抓取成功率至少提升18%。
2024-04-25 cs.RO
Synthesizing multi-log grasp poses in cluttered environments
Skogforsk (the Forestry Research Institute of Sweden)(瑞典林业研究院);Algoryx Simulation(Algoryx仿真公司)
针对杂乱环境下多原木抓取需求,提出基于U-Net的多物体抓取位姿合成方法,利用仿真数据训练,以RGB-D图像和分割掩码为输入生成抓取图,可适配操作约束, unseen数据上抓取准确率达96%。
2025-03-21 cs.RO
Towards synthesizing grasps for 3D deformable objects with physics-based simulation
Aalto University(阿尔托大学)
可变形物体的抓取由于建模和仿真的复杂性而没有得到很好的研究。然而,随着基于物理的模拟器支持软体的快速发展,刚性和可变形物体之间的研究差距越来越小。为了利用这种模拟器的能力,并挑战迄今为止指导机器人抓取研究的假设,即,物体刚性,我们提出了一种基于深度学习的方法,可以生成依赖于刚性的抓握。我们的网络是在基于物理的模拟器生成的纯合成数据上训练的。同样的模拟器也用于评估训练的网络。结果表明,在把握排名和把握成功率方面有所改善。此外,我们的网络可以根据刚度来适应抓握。我们目前正在仿真和物理机器人上验证所提出的方法。
2021-07-19 cs.RO
Synthesizing Diverse and Physically Stable Grasps with Arbitrary Hand Structures using Differentiable Force Closure Estimator
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
现有的抓取合成方法是分析或数据驱动的。前者往往局限于特定的应用范围。后者严重依赖于演示,因此存在泛化问题;例如,用人类抓取数据训练的模型将难以转移到3指抓取器。为了解决这些缺陷,我们制定了一个快速和可微力闭合估计方法,能够产生不同的和物理稳定的把握任意手结构,没有任何训练数据。虽然力闭合通常作为把握质量的衡量标准,但由于其高计算复杂性,它尚未被广泛采用作为把握合成的优化目标;相比之下,所提出的可微方法可以在毫秒内测试力闭合。在实验中,我们验证了所提出的方法的有效性,在6个不同的设置。
2022-06-29 cs.RO
SynManDex: Synthesizing Human-like Dexterous Grasps from Synthetic Human Pre-Grasps
Shanghai AI Lab(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学);Shenzhen University(深圳大学);Fudan University(复旦大学);University of Hong Kong(香港大学);ZTE Corporation(中兴通讯股份有限公司)
提出SynManDex流水线,利用生成的人类预抓取作为启发,通过机器人原生优化实现力闭合接触,生成类人灵巧抓取,在仿真和真实机器人上取得高成功率和类人性。
2026-06-08 cs.RO
DHAGrasp: Synthesizing Affordance-Aware Dual-Hand Grasps with Text Instructions
S-Lab, Nanyang Technological University(南洋理工大学S实验室);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
本文针对双手抓取数据集稀缺问题,提出SymOpt流程构建大规模双手抓取数据集,并设计文本引导的双手抓取生成器DHAGrasp,通过新颖的双手可供性表示和两阶段设计,实现对未见物体多样化且语义一致的抓取生成。
2025-09-26 cs.RO
ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation
Czech Technical University in Prague(捷克布拉格技术大学)
提出ShapeGrasp迭代抓取与补全流程,结合隐式表面视觉-触觉形状补全与基于物理的抓取规划,从单RGB-D视图推断完整形状并生成候选抓取,利用抓取反馈更新形状,在真实机器人上实现高抓取成功率并改善3D形状重建质量。
2026-07-01 cs.RO
A Grasping-centered Analysis for Cloth Manipulation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学))
在过去的十年里,柔顺和柔软的手得到了很多关注,因为它们能够适应物体的形状,提高它们的抓握效率。然而,当涉及到抓取高度灵活的物体(如纺织品)时,我们面临着双重问题:物体将适应手或夹具的形状。在这种情况下,经典的抓取分析或抓取分类法不适合描述纺织品物体抓取。这项工作提出了一种新的定义纺织品对象掌握抽象的机器人的实施方式或手的形状和恢复的概念,从早期的神经科学文献的手的扩展技能。这个框架使我们能够识别到现在为止,在文献中使用的抓地力进行机器人布料操作,并允许一个精确的定义的所有任务,已处理的操作原语的基础上重握。此外,我们还回顾了使用的夹具。我们的分析表明,绝大多数的布料操作只依赖于一种类型的把握,并在同一时间,我们确定了几个任务,需要更多的各种把握类型成功执行。我们的框架是通用的,提供了一个分类的布料操作原语,可以启发夹具设计和基准建设布料操作。
2020-04-09 cs.RO
Tactile-Reactive Roller Grasper
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
针对机器人手内操作难题,研发融合相机触觉传感与可转向柔顺圆柱指尖的TRRG系统,配套传感处理与控制策略,实验证明其可提升两类操作场景的鲁棒性,还支持物体重建,为混合指尖设计提供方向。
2023-06-16 cs.RO
Dexonomy: Synthesizing All Dexterous Grasp Types in a Grasp Taxonomy
Peking University(北京大学);Galbot;Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对灵巧抓取数据集获取难、现有合成方法类型覆盖有限的问题,提出两阶段抓取合成流水线,构建覆盖GRASP分类体系31种抓取类型的大规模数据集,并训练出类型条件生成模型,真实场景抓取成功率达82.3%。
2025-09-03 cs.CV cs.RO
Imitation-Guided Bimanual Planning for Stable Manipulation under Changing External Forces
HRI;Istituto Italiano Di Tecnologia (IIT)(意大利技术研究所);LASA, School of Engineering, EPFL(激光实验室,工程学院,瑞士联邦理工学院);Guangdong University of Technology(广东技术大学);The Technical University of Munich(慕尼黑技术大学);The School of Computer Science, University of Nottingham(nottingham大学计算机科学学院)
本文提出模仿引导双臂规划框架,通过抓取流形稳定交集采样和分层双阶段运动架构,解决变化外力下单手与双手抓取的无缝过渡问题,提升操作稳定性与运动性能。
2025-09-23 cs.RO
Learning In-Hand Object Reaching to General 6D Poses
The University of Sydney(悉尼大学);Sharpa;The University of Hong Kong(香港大学)
提出POISE框架,通过强化学习实现手内6D物体位姿到达,结合多样化抓取初始化、自适应课程和紧凑奖励,显著提升仿真与真实世界的成功率。
2026-09-15 cs.RO
TacRefineNet: Goal-Conditioned Tactile Grasp Refinement for Edge-Prominent Objects
Xiaomi Robotics(小米机器人)
研究针对边缘突出物体抓取对齐难的问题,提出TacRefineNet框架,利用连体策略网络预测手腕姿态增量,经交叉组合训练,在模拟样本上训练后部署到实际五指手,实验表明其在可见物体抓取上有一定成功率及误差控制,还有长期扰动校正等特点。
2026-07-22 cs.RO
Vision-Based 6-DoF Grasp Pose Estimation for Robot Cloth Unfolding
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院);Jožef Stefan Institute(约热夫·斯特凡研究所)
针对布料展开中感知模糊与抓取点选择难题,提出CeDiRNet-6DoF框架,联合预测抓取点与6自由度姿态,在ICRA 2024竞赛中达最优性能,为机器人布料操作奠定基础。
2026-09-28 cs.CV cs.RO
Contact Transfer: A Direct, User-Driven Method for Human to Robot Transfer of Grasps and Manipulations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的方法,通过利用接触面积的物体和手之间的直接转移的把握和操作。我们的方法完全保留接触形状,并在现有的技术相比,是不依赖于把握家庭,不需要模型训练或把握采样,使没有假设的机械手形态或运动学,并允许用户控制两个传输参数和解决方案优化。尽管有这些住宿,我们表明,我们的方法是能够在几秒钟内合成运动学上可行的整只手构成,即使是穷人的初始化或难以达到的接触。我们还强调了该方法的好处,在响应设计的变化,以及快速近似在手中的操作序列。最后,我们展示了一个解决方案,我们的方法产生的物理,定制设计的假肢手。
2022-06-02 cs.RO
Real-Time Force Regulation for Whole-Hand Dexterous Grasping
Massachusetts Institute of Technology(麻省理工学院);Seoul National University(首尔国立大学);Yonsei University(延世大学)
本文提出一种基于几何接触估计和约束优化的实时力调节框架,用于全手灵巧抓取,在动态接触下提升抓取稳定性与恢复能力。
2026-09-25 cs.RO cs.SY eess.SY
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain(谷歌大脑);University of California Berkeley(加州大学伯克利分校)
在本文中,我们研究的问题,学习基于视觉的动态操作技能,使用可扩展的强化学习方法。我们研究这个问题的背景下把握,机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反,我们的方法实现了基于视觉的闭环控制,机器人根据最近的观察结果不断更新其抓取策略,以优化长期抓取成功。为此,我们引入了QT-Opt,这是一个可扩展的基于自监督视觉的强化学习框架,可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数,以执行闭环的真实世界抓取,从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外,我们的方法还表现出与更标准的抓取系统截然不同的行为:仅使用来自肩扛式摄像机的基于RGB视觉的感知,我们的方法自动学习重新抓取策略,探测对象以找到最有效的抓取,学习重新定位对象并执行其他非可伸缩的预抓取操作,并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
TEXterity -- Tactile Extrinsic deXterity: Simultaneous Tactile Estimation and Control for Extrinsic Dexterity
MIT(麻省理工学院);Magna International Inc.(Magna国际公司)
TEXterity通过结合触觉估计与控制,实现手握物体的精确操控,提升外延操作的精度和适应性。
2024-03-04 cs.RO
SynHLMA:Synthesizing Hand Language Manipulation for Articulated Object with Discrete Human Object Interaction Representation
SynHLMA通过离散人类物体交互表示生成可变形物体的手语操纵序列,实现抓取生成、预测和插值任务。
2026-03-10 cs.AI cs.CV cs.RO
Learning Gentle Grasping Using Vision, Sound, and Touch
Learning, Adaptive Systems, and Robotics (LASR) Lab, TU Dresden(图腾德斯登技术大学学习、自适应系统与机器人实验室);Center for Tactile Internet with Human-in-the-Loop (CeTI)(人机协同触觉互联网中心)
本文提出融合视觉、触觉与听觉信号训练端到端动作条件模型,以预测候选抓取的稳定性和轻柔程度,实验证明其显著提升易碎物体的稳定轻柔抓取性能。
2025-07-24 cs.CV cs.LG cs.RO
DexGrasp-Diffusion: Diffusion-based Unified Functional Grasp Synthesis Method for Multi-Dexterous Robotic Hands
Advanced Robotics Centre, National University of Singapore(新加坡国立大学先进机器人中心)
本文提出DexGrasp-Diffusion,一种端到端模块化扩散方法,结合统一多灵巧手抓取扩散模型与物理及功能判别器,为多灵巧手合成符合物体affordance指令的功能性抓取,并在MultiDex上验证其成功率、多样性与可靠性。
2024-10-23 cs.RO
Preparatory Manipulation Planning using Automatically Determined Single and Dual Arms
Osaka University(大阪大学);National Inst. of AIST(国立产业技术综合研究所)
提出了一种机器人重定向操作规划算法。它自动找到一系列机器人运动,操纵和准备一个对象的特定任务。预备操作规划问题的例子包括重新定向电钻切割孔,重新定向工件装配,重新定向货物包装等所提出的算法可以规划单,双臂操作序列来解决问题。规划器下的机制是一个重抓取图,它对抓取配置和物体姿态进行编码。该算法搜索图,以找到一系列的机器人运动,以重新定位对象。规划者能够规划单臂和双臂操作。它还可以自动决定是否使用单臂,双臂或它们的组合来完成给定的任务。规划器由各种人形机器人检查,如Nextage,HRP2Kai,HRP5P等,使用模拟和真实世界的实验。
2018-12-08 cs.RO
Automatic Fingerpad Customization for Precise and Stable Grasping of 3D-Print Parts
HP-NTU Digital Manufacturing Corporate Lab(惠普-南洋理工大学数字制造联合企业实验室);School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与宇航工程学院)
针对增材制造中复杂形状零件的机器人抓取难题,本文提出一种基于布尔运算的端到端指垫自动定制方法,可合成贴合局部形状的刚性指垫并评估抓取质量,实验证明其能在多点实现精确稳定抓取。
2024-03-28 cs.RO
Deformation-Aware Data-Driven Grasp Synthesis
Aalto University(阿尔托大学)
本文提出在深度抓取规划网络中加入物体刚度信息,并构建 Isaac Gym 合成抓取数据集,显著提升了机器人对不同形状、尺寸和刚度物体的抓取成功率。
2021-09-11 cs.RO
Humanoid Loco-manipulation Planning based on Graph Search and Reachability Maps
CNRS-AIST JRL (Joint Robotics Laboratory)(CNRS-AIST联合机器人实验室);IRL(机器人研究所);National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院)
提出一种基于图搜索和可达性地图的人形机器人移动操作规划方法,将脚步与抓取的交替排序构建为图搜索问题,并通过重新定位和切换可达性地图快速评估转移模型,实现自主物体运输与操作。
2025-05-29 cs.RO
Learning-Free Grasping of Unknown Objects Using Hidden Superquadrics
National University of Singapore(新加坡国立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种无需学习或数据库知识的两阶段抓取方法,通过恢复物体内部的隐藏超二次曲面并利用其三对称特性合成对跖抓取,在无需完整模型或训练的情况下实现了与最先进方法相当的抓取性能。
2023-05-24 cs.RO
FoundationGrasp: Generalizable Task-Oriented Grasping with Foundation Models
Southern University of Science and Technology(南方科技大学);Georgia Institute of Technology(佐治亚理工学院)
针对现有任务导向抓取方法闭集先验导致泛化性不足的问题,提出基于基础模型的FoundationGrasp框架,利用开放式知识提升泛化能力,在自建数据集和真实7自由度机械臂实验中均验证了其优越性。
2024-10-08 cs.RO
Adversarial Game-Theoretic Algorithm for Dexterous Grasp Synthesis
Carnegie Mellon University(卡内基梅隆大学);Univeristy of Maryland(马里兰大学);Amazon(亚马逊)
针对多指手抓取综合,提出将问题建模为双人博弈以显式利用物体对抗性运动,仿真和实物实验均显著提升成功率,且生成速度快,适合实际部署。
2026-09-14 cs.RO
FLEX: Full-Body Grasping Without Full-Body Grasps
Columbia University(哥伦比亚大学)
合成与场景逼真交互的3D人类化身是AR/VR、视频游戏和机器人技术中应用的重要问题。为了实现这一目标,我们解决的任务是生成一个虚拟的人-手和整个身体-抓住日常物品。现有方法通过收集人类与对象交互的3D数据集并在此数据上进行训练来解决这个问题。然而,1)这些方法不能推广到不同的对象位置和方向,或者场景中家具的存在,以及2)它们生成的全身姿势的多样性非常有限。在这项工作中,我们解决了所有上述挑战,在日常场景中生成逼真的,多样化的全身抓握,而不需要任何3D全身抓握数据。我们的关键见解是利用全身姿势和手部抓握先验的存在,使用3D几何约束来组合它们以获得全身抓握。我们的经验验证,这些限制可以产生各种可行的人类掌握,优于基线定量和定性。更多详情请访问我们的网页:https://flex.cs.columbia.edu/。
2023-03-28 cs.CV cs.RO
Shake to Learn: Dynamic Interrogation of Hidden Object Physics for Robotic Manipulation with Physical Reservoir Computing
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
本研究提出摇一摇学习策略,利用折纸软体机械臂作为物理储层计算机,通过固定摇晃激励编码隐藏物体质心等属性,并用线性读出解码,完成质心推断与重新抓取任务。
2026-09-21 cs.RO
DexPBT: Scaling up Dexterous Manipulation for Hand-Arm Systems with Population Based Training
本文提出DexPBT算法,利用去中心化基于种群的训练(PBT)大规模放大深度强化学习的探索能力,使模拟单臂或双臂多指手机器人能学习重新抓取、抓取并投掷等极具挑战性的灵巧操作任务,显著优于常规端到端学习并能发现鲁棒控制策略。
2023-05-20 cs.AI cs.RO
Bimanual Grasp Synthesis for Dexterous Robot Hands
School of Information Science and Technology at ShanghaiTech University(上海科技大学信息科学与技术学院)
本文提出BimanGrasp算法与BimanGrasp-Dataset数据集,并训练扩散模型BimanGrasp-DDPM,实现灵巧手双手抓取合成,成功率达69.87%且计算速度显著提升。
2024-11-24 cs.AI cs.CV cs.RO
SynH2R: Synthesizing Hand-Object Motions for Learning Human-to-Robot Handovers
NVIDIA(英伟达);ETH Zurich(苏黎世联邦理工学院)
本文提出SynH2R框架,通过合成手-物运动生成大规模交接友好型抓取数据,使机器人仅用合成数据训练即可在模拟与真实环境中达到与依赖真实动作捕捉数据的现有方法相当的性能,并具备更好的扩展性。
2024-12-31 cs.AI cs.RO
Learning Dynamic Grasping
University College London(伦敦大学学院);The Chinese University of Hong Kong(香港中文大学);Adobe Research(奥多比研究中心)
该研究针对从单个初始手-物状态生成完整抓取运动的欠约束问题,提出解耦手部运动生成与物体运动恢复的框架,经实验验证其运动更平滑、指标更优且速度更快,在用户偏好研究中也表现良好。
2026-10-14 cs.GR cs.RO
Affordance Diffusion: Synthesizing Hand-Object Interactions
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
提出基于扩散模型的两步生成方法(LayoutNet和ContentNet),从物体RGB图像合成人手交互,能泛化至新物体并预测可供性信息。
2023-05-20 cs.CV cs.RO
3D Whole-body Grasp Synthesis with Directional Controllability
University of Amsterdam(阿姆斯特丹大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对全身抓取合成中方向不合理、容器碰撞及搜索成本高的问题,本文提出CWGrasp,通过早期几何推理采样到达方向并支持左右手抓取,在GRAB和ReplicaGrasp上以更低成本超越基线。
2025-02-17 cs.CV cs.RO