Synthesizing Grasps and Regrasps for Complex Manipulation Tasks
Stony Brook University(石溪大学)
本文针对复杂操作任务中单一抓取不足的问题,提出一种基于点云表示和恒定螺旋运动序列的抓取与重抓取算法,利用抓取度量和可抓取区域重叠确定重抓取时机与次数,并通过RGB-D传感器数据实验验证了方法有效性。
2025-01-30 cs.RO
More Than a Feeling: Learning to Grasp and Regrasp using Vision and Touch
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
对于人类来说,抓取物体的过程在很大程度上依赖于丰富的触觉反馈。然而,最近的机器人抓取工作仅基于视觉输入,因此在开始接触后不能容易地从反馈中受益。在本文中,我们研究了机器人如何学习使用触觉信息来迭代和有效地调整其把握。为此,我们提出了一个端到端的动作条件模型,从原始视觉触觉数据中学习重新抓取策略。这个模型--一个深度的多模态卷积网络--预测候选抓取调整的结果,然后通过迭代选择最有希望的动作来执行抓取。我们的方法既不需要校准的触觉传感器,也没有任何分析建模的接触力,从而减少了工程所需的努力,以获得有效的把握政策。我们训练我们的模型,数据来自大约6,450个抓取试验,每个手指上都配备了GelSight高分辨率触觉传感器。在广泛的实验中,我们的方法在以下方面优于各种基线:(i)估计抓握调整结果,(ii)选择有效的抓握调整以快速抓握,以及(iii)减少施加在手指上的力的量,同时保持竞争力。最后,我们研究了我们的模型所做的选择,并表明它已经成功地获得了有用的和可解释的抓取行为。
2018-07-26 cs.LG cs.RO stat.ML
Center-of-Mass-based Robust Grasp Planning for Unknown Objects Using Tactile-Visual Sensors
Agile Robots AG(敏捷机器人公司);Technische Universität München(慕尼黑工业大学);Universität Hamburg(汉堡大学)
不稳定的抓取姿态会导致滑动,因此可以通过滑动检测来预测不稳定的抓取姿态。之后需要重新抓握以纠正抓握姿势以完成任务。在这项工作中,我们提出了一种新的重握规划器与多传感器模块计划把握调整与反馈从滑检测器。然后训练一个重新抓取规划器来估计质心的位置,这有助于机器人找到一个最佳的抓取姿势。该数据集由一对触觉传感器、一台RGB-D相机和一台配备关节力/扭矩传感器的Franka Replika机器人手臂收集的1 025个滑动实验和1 347个重握实验组成。我们表明,我们的算法可以成功地检测和分类5未知的测试对象的滑动,准确率为76.88%和一个regrasp计划器增加了31.0%的把握成功率相比,国家的最先进的基于视觉的把握算法。
2020-06-01 cs.RO
Differentiable Object Pose Connectivity Metrics for Regrasp Sequence Optimization
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
本文提出基于可微姿态序列连通性度量的隐式多步重新抓取规划框架,通过能量模型构建连续能量景观,提升抓取可行性规划的鲁棒性,并展示其在未见抓取姿态和跨末端效应转移中的泛化能力。
2026-04-16 cs.RO
Autonomous Bimanual Functional Regrasping of Novel Object Class Instances
University of Bonn(波恩大学)
在人造场景中,机器人需要能够完全操作其周围环境中的物体,即,需要在功能上抓住物体而不仅仅是拾取物体。这对对象姿态施加了非常严格的约束,使得可以执行直接抓取。受人形机器人的拟人化性质的启发,我们提出了一种方法,首先用一只手抓住一个物体,获得完全控制其姿势,并随后用第二只手执行功能性抓取。因此,我们开发了一个完全自主的管道,用于双臂功能重新抓取新的熟悉对象,即,以前从未见过的属于已知对象类别的对象,例如,喷雾瓶该过程涉及语义分割、对象姿态估计、非刚性网格配准、抓取采样、切换姿态生成和手内姿态细化。后者用于补偿第一次抓取期间不可预测的物体移动。该方法被应用到一个类似人类的上身。据作者所知,这是第一个具有自主双手功能重握能力的系统。我们证明,我们的系统产生可靠的成功率,并可以在线应用到现实世界的任务,只使用一个现成的RGB-D传感器。
2019-10-01 cs.RO
Regrasp Maps for Sequential Manipulation Planning
Learning & Intelligent Systems Lab, TU Berlin, Germany(柏林技术大学学习与智能系统实验室);Science Of Intelligence Cluster of Excellence(智能科学卓越集群)
本文提出利用再抓取地图(状态空间抽象)捕获配置空间中可用抓取组合,指导基于优化的TAMP求解器加速搜索,并通过交替创建地图、调整和求解子问题实现稳健的再抓取操作规划。
2025-07-16 cs.RO
Multi-Modal Planning on Regrasping for Stable Manipulation
Contextual Robotics Institute, UC San Diego(加州大学圣地亚哥分校情境机器人研究所)
针对工作空间限制导致稳定抓取位姿不可直接接近的问题,提出基于马尔可夫决策过程的多模态重新抓取规划器,通过滑动、重抓和转移序列提升仿真与真实机器人拾取放置性能。
2023-09-26 cs.RO
Regrasping by Fixtureless Fixturing
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种不需要物理夹具的重夹持夹具策略。为了重新抓取夹持器中的物体,机器人抵靠环境中的外部接触件推动物体,使得外部接触件保持物体静止,同时手指在物体上滑动。我们称这种操作技术为无夹具固定。利用力学推,我们刻画了一个凸多面体集的推动,结果在无夹具夹具。这些推动对于物体惯性、抓握力和接触处的摩擦力的不确定性是鲁棒的。我们提出了一个基于采样的规划,使用强大的推动,以迅速建立一个树的可达把握。这个树中的路径是一个推策略,可能涉及从不同侧面推,以重新抓取对象。我们证明了实验的有效性和鲁棒性的操作平台上不同的重握的例子所提出的操作技术。这种快速灵活的重夹规划器有助于实现多功能灵活的自动化解决方案。
2018-09-25 cs.RO
simPLE: a visuotactile method learned in simulation to precisely pick, localize, regrasp, and place objects
Amazon Robotics(亚马逊机器人公司);Samsung AI Center(三星人工智能中心);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出simPLE方法,通过仿真学习任务感知抓取、视觉触觉感知和重新抓取规划,实现精确且通用的拾取与放置,在双臂机器人上对15种物体达到高成功率。
2023-07-24 cs.CV cs.LG cs.RO
Analyzing the Utility of a Support Pin in Sequential Robotic Manipulation
the University of Hong Kong(香港大学);the City University of Hong Kong(香港城市大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
抓取是机器人的一项重要操作技能。它可以帮助机器人完成由于运动学或机器人与环境之间的碰撞等约束而无法在单次抓取中完成的任务。以前的工作拾取和放置重新抓取只杠杆平面的中间放置,因此是有限的能力,重新定位的对象。在本文中,我们通过在工作表面上添加垂直销并将其用作重新夹持的中间位置来扩展拾取和放置重新夹持的重定向能力。特别是,我们的方法自动计算一个对象靠在一个垂直针的稳定位置,找到几个力封闭的把握,生成一个图形的regrasp行动,并搜索regrasp序列。为了比较使用和不使用钉的重新夹持性能,我们评估了在各种模型上执行任务时重新夹持序列的成功率和长度。重新定位和装配任务的实验验证了使用支撑销重新夹紧的好处。
2015-12-22 cs.RO
Bimanual Regrasp Planning and Control for Active Reduction of Object Pose Uncertainty
Graduate School of Engineering Science, Osaka University(大阪大学工学研究科)
针对物体位姿不确定性问题,提出一种无需相机和夹具的双臂重抓规划与导纳控制方法,利用平面指垫的三次正交抓取主动降低位姿不确定性,实验表明其具有良好可重复性且偏差水平与光学跟踪系统相当。
2025-06-28 cs.RO
Planning to Repose Long and Heavy Objects Considering a Combination of Regrasp and Constrained Drooping
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
本文提出了一种分层运动规划器规划的操作运动,以休息长,重的物体考虑外部支撑表面。规划器包括任务级层和运动级层。我们制定的操作规划问题,在任务级考虑把握构成节点和对象构成的边缘。我们考虑在构建图的过程中重新抓取和约束手滑(下垂),并通过搜索图找到混合重新抓取和下垂序列。所生成的序列自主地在臂和支撑表面之间划分对象重量,并避免配置障碍。笛卡尔规划是在机器人运动水平,以产生相邻的关键把握构成的任务层发现的序列之间的运动。进行了各种实验,以检查所提出的规划器的性能。结果表明,改进的能力,机器人手臂操作长,重的物体,使用建议的规划。我们的贡献是,我们初步开发了一个基于图形的规划系统,原因在手和regrasp操纵运动考虑外部支持。一方面,规划器集成了重握和下垂,实现了手在外部支持下的操作。另一方面,当物体稳定放置时,它通过释放和重新抓取物体来切换状态。搜索图的节点可以从远程云服务器检索,这些服务器提供大量预先注释的数据以实现网络智能。
2021-01-25 cs.RO
DRAPER: Towards a Robust Robot Deployment and Reliable Evaluation for Quasi-Static Pick-and-Place Cloth-Shaping Neural Controllers
University of St Andrews(圣安德鲁斯大学);University of Nottingham(诺丁汉大学)
本文提出 DRAPER 框架,通过仿真环境适配、视觉处理及镊子扩展夹爪,实现仿真训练布料塑形神经控制器在真实展平与折叠任务中的鲁棒部署和可靠比较。
2025-03-14 cs.AI cs.RO
Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value Functions
NVIDIA(英伟达);University of Toronto(多伦多大学);University of Washington(华盛顿大学)
当前机器人拾取和放置方法的流水线通常由几个阶段组成:抓取姿势检测,为检测到的姿势找到逆运动学解,规划无碰撞轨迹,然后用低级跟踪控制器执行到抓取姿势的开环轨迹。虽然这些抓取方法在抓取桌面上的静态物体时表现出良好的性能,但在受限环境中抓取动态物体的问题仍然是一个悬而未决的问题。我们提出了神经运动场,一种新的对象表示编码的对象点云和相对的任务轨迹作为一个隐式的价值函数参数化的神经网络。这种以对象为中心的表示对SE(3)空间上的连续分布进行建模,并允许我们通过利用基于采样的MPC来优化该价值函数,从而被动地执行抓取。
2022-06-29 cs.CV cs.RO
Pose-Agnostic Robotic Functional Grasping via Observation-Action Canonicalization
Tsinghua University(清华大学);Amazon(亚马逊);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
提出AnyMug框架,通过观测-动作规范化将深度观测和末端执行器动作转换到物体中心坐标系,训练单一闭环策略实现零样本迁移的功能性抓取,在模拟和真实机器人上均取得高成功率。
2026-06-23 cs.RO
Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects
University of California Berkeley(加州大学伯克利分校)
抓取和操纵透明物体的能力是机器人面临的主要挑战。现有的深度相机难以检测、定位和推断这样的对象的几何形状。我们建议使用神经辐射场(NeRF)来检测,定位和推断透明物体的几何形状,具有足够的精度来安全地找到和抓住它们。我们利用NeRF的独立于视图的学习密度,放置灯光以增加镜面反射,并执行我们馈送到Dex-Net抓取规划器的可感知深度渲染。我们展示了如何额外的灯光创建镜面反射,提高深度图的质量,并测试了一个机器人工作单元的设置配备了一个阵列的相机来执行透明的对象操作。我们还在现实世界的设置中创建透明对象的合成和真实数据集,包括单个对象,杂乱的桌子和洗碗机的顶部机架。在每种设置中,我们都表明NeRF和Dex-Net能够可靠地计算透明物体上的鲁棒抓握,在ABB YuMi上的物理实验中,在基线方法失败的物体上实现了90%和100%的抓握成功率。
2021-10-27 cs.CV cs.RO
Autonomous Marker-less Rapid Aerial Grasping
ETH Zurich(苏黎世联邦理工学院)
本研究提出一种基于视觉的无标记自主快速空中抓取系统,结合Mask R-CNN分割与深度相机信息做几何抓取规划,实验中抓取成功率达动作捕捉系统基线的94.5%,首次将几何抓取技术用于飞行平台,提升空中操作自主性。
2024-03-05 cs.CV cs.RO
Cluttered Food Grasping with Adaptive Fingers and Synthetic-Data Trained Object Detection
Preferred Networks, Inc.(首选网络公司)
食品包装行业处理的食品种类繁多,形状和大小各异,甚至在一种食品。菜单也是多样的,经常变化,使自动化的拾取和放置困难。一种流行的装箱方法是首先通过使用实例分割方法来识别托盘中的每一块食物。然而,人类注释训练这些方法是不可靠的,并且容易出错,因为食物被紧密地包装在一起,边界不清楚,视觉相似性使得难以分离碎片。为了解决这个问题,我们提出了一种方法,训练纯粹的合成数据和成功地转移到现实世界中使用sim 2 real的方法,通过创建数据集的填充食品托盘使用高质量的3d模型的真实件的食物的训练实例分割模型。另一个问题是,食物在抓取过程中容易损坏。我们通过引入两种额外的方法来解决这个问题-一种新颖的自适应手指机制,当发生碰撞时被动缩回,以及一种过滤抓握过程中可能对相邻食物造成损害的方法。我们证明了所提出的方法对几种真正的食物的有效性。
2022-03-10 cs.CV cs.RO
Grasp, Handover, Rotate: Bimanual Object Reorientation via Compositional Diffusion and Energy-Based Optimization
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Loop Area Institute(深圳河套学院)
研究双手物体重新定向问题,提出基于组合扩散和能量的BiCompoDiff框架,联合优化多方面任务,结合预训练模型与能量模型,通过梯度引导和采样优化抓取姿态,实验表明其成功率和轨迹平滑度优于基线,实现有效模拟到现实转移。
2026-07-24 cs.RO
Learning 6-DoF Task-oriented Grasp Detection via Implicit Estimation and Visual Affordance
Universität Hamburg(汉堡大学);Agile Robots AG(敏捷机器人公司);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
目前,面向任务的抓取检测方法主要是基于像素级示能表示检测和语义分割。这些像素级方法严重依赖于2D示能表示掩模的准确性,并且所生成的抓取候选被限制在小的工作空间。为了减轻这些限制,我们首先构建了一个新的基于负担能力的抓取数据集,并提出了一个6-DoF任务导向的抓取检测框架,该框架将观察到的对象点云作为输入,并预测不同任务的不同6-DoF抓取姿势。具体来说,我们在这个框架中的隐式估计网络和视觉可供性网络可以直接预测粗略抓取候选项,以及每个潜在任务的相应3D可供性热图。此外,来自粗略抓取的抓取分数与热图值相结合,以生成更准确和更精细的候选项。与我们的模拟数据集上现有和新对象的基线相比,我们提出的框架显示出显着的改进。虽然我们的框架是基于模拟对象和环境进行训练的,但当对象随机放置在支撑表面上时,最终生成的抓取候选对象可以在真实的机器人实验中准确稳定地执行。
2022-10-16 cs.RO
6D Pose Estimation with Combined Deep Learning and 3D Vision Techniques for a Fast and Accurate Object Grasping
实时机器人抓取,支持随后的精确对象在手操作任务,是一个优先目标,对高度先进的自主系统。然而,在这方面,本文提出了一种新的方法,该方法采用两阶段的方法,将使用深度神经网络的快速2D对象识别和随后的基于点对特征框架的准确和快速的6D姿态估计相结合,以形成能够实现多对象类场景的实时3D对象识别和抓取解决方案。所提出的解决方案有可能在实时应用中稳健地执行,需要效率和准确性。为了验证我们的方法,我们进行了广泛而彻底的实验,包括费力地准备我们自己的数据集。实验结果表明,该方法在5cm5deg和Average Distance两种度量下的准确率分别为97.37%和99.37%。实验结果表明,通过使用所提出的方法,总体上相对提高了62%(5cm5deg度量)和52.48%(平均距离度量)。此外,姿势估计执行也显示出运行时间平均提高了47.6%。最后,为了说明该系统在实时操作中的整体效率,进行了拾取和放置机器人实验,并显示出令人信服的成功率与90%的准确度。该实验视频可在https://sites.google.com/view/dl-ppf6dpose/上获得。
2021-11-11 cs.CV cs.RO
Stable Prehensile Pushing: In-Hand Manipulation with Alternating Sticking Contacts
Massachusetts Institute of Technology(麻省理工学院);Department of Mechanical Engineering(机械工程系(不提取,因为系属于细拆))
本文提出了一种方法,在手操纵规划,利用交替粘附接触的力学。特别是,我们考虑的问题,操纵一个掌握的对象使用外部推动的推杆坚持的对象。鉴于物体的物理特性,在接触和所需的重握在对象上的摩擦系数,我们提出了一个基于采样的规划框架,建立一个推动策略连接不同的可行的稳定推动,以实现所需的重握。一个有效的动力学制定,使我们能够计划在手操作100-1000倍,比我们以前的工作,建立在互补性制定。对生成的计划的实验观察表明,对象精确地按照计划者的预期在把握中移动。视频摘要--youtu.be/qOTKRJMx6Ho
2018-03-04 cs.RO
Manipulation Planning under Changing External Forces
University of Leeds(利兹大学)
在这项工作中,我们提出了一个机器人的操作规划算法,以保持一个物体在不断变化的外力稳定。我们特别关注的情况下,人类可能会施加有力的操作,例如切割或钻孔,对机器人持有的对象。规划者通过智能地决定当人类施加力时机器人应该何时改变其对物体的抓握来产生有效的规划。计划者还尝试选择随后的抓握,以便最大限度地减少长期需要的重新抓握次数。此外,当从一个抓取切换到另一个抓取时,规划器解决了双手重新抓取规划的问题,其中物体不放置在支撑表面上,而是由单个抓取器保持,直到第二个抓取器移动到物体上的新位置。这就要求规划者也要考虑物体在重力作用下的稳定性。我们在一个双手机器人上实现了规划器,并通过实验验证了规划器的性能。
2018-07-30 cs.RO
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain(谷歌大脑);University of California Berkeley(加州大学伯克利分校)
在本文中,我们研究的问题,学习基于视觉的动态操作技能,使用可扩展的强化学习方法。我们研究这个问题的背景下把握,机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反,我们的方法实现了基于视觉的闭环控制,机器人根据最近的观察结果不断更新其抓取策略,以优化长期抓取成功。为此,我们引入了QT-Opt,这是一个可扩展的基于自监督视觉的强化学习框架,可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数,以执行闭环的真实世界抓取,从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外,我们的方法还表现出与更标准的抓取系统截然不同的行为:仅使用来自肩扛式摄像机的基于RGB视觉的感知,我们的方法自动学习重新抓取策略,探测对象以找到最有效的抓取,学习重新定位对象并执行其他非可伸缩的预抓取操作,并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
Learning Multi-Stage Pick-and-Place with a Legged Mobile Manipulator
Horizon Robotics
本研究提出一种在仿真中训练视觉运动策略的方法,用于四足移动操作机器人的多阶段抓取与放置任务,实现近80%的真实世界成功率,并展现出重新抓取等涌现行为。
2025-09-08 cs.RO
Robotic Pick-and-Place With Uncertain Object Instance Segmentation and Shape Completion
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机科学学院)
我们考虑机器人拾取和放置部分可见的新颖物体,其中目标放置是不平凡的,例如,紧紧地装在一个箱子里。一种方法是(a)使用对象实例分割和形状完成来对对象进行建模,以及(b)使用重新抓取规划器来决定抓取和放置,从而将模型移位到它们的目标。然而,对于规划者来说,考虑到感知模型中的不确定性是至关重要的,因为未观察到的区域中的对象几何形状只是猜测。我们考虑到知觉的不确定性,将其纳入重新抓取计划的成本函数。我们比较了七种不同的成本。其中之一,它使用神经网络来估计把握和地方稳定性的概率,始终优于不确定性不知道的成本和评估速度比蒙特卡洛抽样。在一个真正的机器人,建议的成本结果在成功地将物体紧密地包装到一个箱子7.8%,往往比常用的最小数量的把握成本。
2021-03-03 cs.RO
Sim2Real Grasp Pose Estimation for Adaptive Robotic Applications
Institute for Computer Science and Control, Eötvös Loránd Research Network(厄特沃什·罗兰研究网络计算机科学与控制研究所);Eötvös Loránd University(厄特沃什·罗兰大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
针对机器人操作中抓取位姿估计的数据短缺问题,提出两种基于视觉的多目标抓取位姿估计模型(MOGPE)及基于域随机化的sim2real方法,在真实实验中取得80%和96.67%的成功率,为工业应用提供高效数据生成与训练框架。
2023-07-21 cs.RO
Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands
许多操作任务,例如放置或手内操作,需要对象相对于机器人手的姿态。当手明显遮挡物体时,任务是困难的。这对于自适应手来说尤其困难,因为不容易检测手指的配置。此外,仅RGB方法面临无纹理对象或手和对象看起来相似的问题。本文提出了一种基于深度的框架,其目标是鲁棒的姿态估计和短的响应时间。该方法通过高效的并行搜索来检测自适应手的状态,给出了手的模型和点云之间的最高重叠。对手部的点云进行修剪,并进行鲁棒的全局配准,以生成对象姿态假设,并对这些假设进行聚类。错误的假设通过物理推理被剔除。剩余的姿态的质量进行评估,给出与观察到的数据的协议。对合成数据和真实数据的广泛评估表明,该框架在应用于不同对象类型的具有挑战性的高度遮挡场景时具有准确性和计算效率。消融研究确定了框架的组件如何帮助性能。这项工作还提供了一个数据集在手6D对象姿态估计。代码和数据集可在https://github.com/wenbowen123/icra20-hand-object-pose上获得
2020-03-07 cs.CV cs.RO eess.IV
Combined Task and Motion Planning for a Dual-arm Robot to Use a Suction Cup Tool
Osaka University(大阪大学);National Inst. of AIST(国立先进工业科学技术研究所)
提出了一种双臂机器人使用吸盘工具的联合任务和运动规划器。该规划器由三个子规划器组成:一个吸附位姿规划器和两个回握和运动规划器。吸力姿态子规划器使用工具和物体的模型来找到吸盘工具在物体上吸力的所有可用姿态。再抓握和运动子规划器构建表示所有可能的抓握序列的再抓握图,以将吸盘工具从初始姿势重新定向和移动到目标姿势。分别对单个吸盘和吸盘与物体的复合体进行了规划。建议的规划器的输出是一个序列的机器人运动,使用吸盘工具来操纵对象以下的人的指令。该规划器进行了检查和分析的仿真实验和现实世界的执行,使用几个现实世界的任务。结果表明,该规划器具有高效、鲁棒性强的特点,能够在几秒钟内生成顺序的转接和转移机器人运动,完成复杂的组合任务和运动规划任务。
2019-08-31 cs.RO
Learning Gentle Grasping Using Vision, Sound, and Touch
Learning, Adaptive Systems, and Robotics (LASR) Lab, TU Dresden(图腾德斯登技术大学学习、自适应系统与机器人实验室);Center for Tactile Internet with Human-in-the-Loop (CeTI)(人机协同触觉互联网中心)
本文提出融合视觉、触觉与听觉信号训练端到端动作条件模型,以预测候选抓取的稳定性和轻柔程度,实验证明其显著提升易碎物体的稳定轻柔抓取性能。
2025-07-24 cs.CV cs.LG cs.RO
Sim-to-Real Surgical Robot Learning and Autonomous Planning for Internal Tissue Points Manipulation using Reinforcement Learning
University of Alberta(阿尔伯塔大学)
本文提出一种sim-to-real框架,结合深度强化学习与贝叶斯优化,实现机器人手术中内部组织点操作的自动化及术前夹持点规划,有效减少组织形变。
2023-06-25 cs.RO
Indirect Object-to-Robot Pose Estimation from an External Monocular RGB Camera
NVIDIA(英伟达)
我们提出了一个机器人抓取系统,使用一个单一的外部单目RGB相机作为输入。通过组合两个神经网络的输出来间接计算物体到机器人的姿态:一个估计物体到相机的姿态,另一个估计机器人到相机的姿态。这两个网络都完全基于合成数据进行训练,依靠域随机化来弥合模拟与真实之间的差距。由于后者网络执行在线摄像机校准,因此摄像机可以在执行过程中自由移动,而不会影响抓取质量。实验结果分析了摄像机的位置,图像分辨率和姿势细化的情况下,抓住几个家庭对象的效果。我们还提出了一套新的28纹理的家用玩具杂货店的对象,已被选定为其他研究人员访问的结果。为了帮助研究的可重复性,我们提供了3D扫描纹理模型,以及用于姿态估计的预训练权重。
2020-08-26 cs.RO
Learning to Place Objects onto Flat Surfaces in Upright Orientations
Monash University(莫纳什大学)
我们研究的问题,抓住一个物体放在一个空的平面上,在一个直立的方向,如放置一个杯子在其底部,而不是在其一侧。我们的目标是找到所需的对象旋转,使得当夹持器在对象与表面接触后打开时,对象将稳定地放置在直立方向上。我们迭代地使用两个神经网络。在每次迭代中,我们使用卷积神经网络来估计所需的物体旋转,这是由机器人执行的,然后使用一个单独的卷积神经网络来估计当前方向上的放置质量。我们的方法将以前看不见的物体放置在直立的方向上,在自由空间中的成功率为98.1%,在模拟机器人手臂中的成功率为90.3%,在模拟实验中使用了50个日常物体的数据集。进行了真实世界的实验,取得了88.0%的成功率,这作为一个概念验证的直接仿真到现实迁移。
2021-04-19 cs.RO
Vision-Based 6-DoF Grasp Pose Estimation for Robot Cloth Unfolding
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院);Jožef Stefan Institute(约热夫·斯特凡研究所)
针对布料展开中感知模糊与抓取点选择难题,提出CeDiRNet-6DoF框架,联合预测抓取点与6自由度姿态,在ICRA 2024竞赛中达最优性能,为机器人布料操作奠定基础。
2026-09-28 cs.CV cs.RO
ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation
Czech Technical University in Prague(捷克布拉格技术大学)
提出ShapeGrasp迭代抓取与补全流程,结合隐式表面视觉-触觉形状补全与基于物理的抓取规划,从单RGB-D视图推断完整形状并生成候选抓取,利用抓取反馈更新形状,在真实机器人上实现高抓取成功率并改善3D形状重建质量。
2026-07-01 cs.RO
A Grasping-centered Analysis for Cloth Manipulation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学))
在过去的十年里,柔顺和柔软的手得到了很多关注,因为它们能够适应物体的形状,提高它们的抓握效率。然而,当涉及到抓取高度灵活的物体(如纺织品)时,我们面临着双重问题:物体将适应手或夹具的形状。在这种情况下,经典的抓取分析或抓取分类法不适合描述纺织品物体抓取。这项工作提出了一种新的定义纺织品对象掌握抽象的机器人的实施方式或手的形状和恢复的概念,从早期的神经科学文献的手的扩展技能。这个框架使我们能够识别到现在为止,在文献中使用的抓地力进行机器人布料操作,并允许一个精确的定义的所有任务,已处理的操作原语的基础上重握。此外,我们还回顾了使用的夹具。我们的分析表明,绝大多数的布料操作只依赖于一种类型的把握,并在同一时间,我们确定了几个任务,需要更多的各种把握类型成功执行。我们的框架是通用的,提供了一个分类的布料操作原语,可以启发夹具设计和基准建设布料操作。
2020-04-09 cs.RO
Real-Time Force Regulation for Whole-Hand Dexterous Grasping
Massachusetts Institute of Technology(麻省理工学院);Seoul National University(首尔国立大学);Yonsei University(延世大学)
本文提出一种基于几何接触估计和约束优化的实时力调节框架,用于全手灵巧抓取,在动态接触下提升抓取稳定性与恢复能力。
2026-09-25 cs.RO cs.SY eess.SY
Tactile-Reactive Roller Grasper
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
针对机器人手内操作难题,研发融合相机触觉传感与可转向柔顺圆柱指尖的TRRG系统,配套传感处理与控制策略,实验证明其可提升两类操作场景的鲁棒性,还支持物体重建,为混合指尖设计提供方向。
2023-06-16 cs.RO
2nd Place Solution to the HANDS 2026 Workshop Challenge-Dexterous Grasp Motion Track: Single-Shot Trajectory Warping for Grasp Motion Generation
UNIST(蔚山科学技术院);University of Aberdeen(阿伯丁大学);Fogsphere (Redev AI Ltd, UK)(Fogsphere(英国Redev AI有限公司))
针对灵巧抓取运动生成,提出基于单次轨迹扭曲的方法,编辑单个演示而非逐步生成,结合并行单步 PPO 训练,在 HANDS 2026 挑战赛中获得第二名,简单赛道成功率最高。
2026-09-21 cs.AI cs.CV cs.RO
Working Backwards: Learning to Place by Picking
Samsung AI Centre(三星人工智能中心);University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
本文提出PvP方法,通过反转抓取过程自主收集接触受限放置任务的演示数据,并利用行为克隆训练视觉策略,在家庭机器人场景中实现优于动觉示教且无需人工监督的放置性能。
2024-12-26 cs.AI cs.LG cs.RO
Precise Object Placement with Pose Distance Estimations for Different Objects and Grippers
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);Institute of Industrial Manufacturing and Management IFF, University of Stuttgart(斯图加特大学工业制造与管理研究所IFF)
本文介绍了一种新的方法,用于在高度混乱的场景中使用多个夹具抓取和精确放置各种已知的刚性物体。使用场景的单个深度图像,我们的方法估计多个6D对象姿势连同对象类、用于对象姿势估计的姿势距离、以及对于每个自动获得的抓握姿势与神经网络的单个前向传递的用于对象放置的目标姿势的姿势距离。通过将模型知识融入系统,我们的方法比最先进的无模型方法具有更高的抓取成功率。此外,我们的方法选择的把握,导致更精确的对象放置比以前的基于模型的工作。
2021-10-03 cs.AI cs.CV cs.RO
Transferring Experience from Simulation to the Real World for Precise Pick-And-Place Tasks in Highly Cluttered Scenes
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA))
在本文中,我们介绍了一种新的基于学习的方法,用于在高度混乱的场景中抓取已知的刚性物体,并根据深度图像精确放置它们。我们的放置质量网络(PQ-Net)在神经网络的单个前向传递中以92 fps的速度同时估计多个对象的每个自动生成的抓取姿势的对象姿势和质量。所有抓取和放置试验都在物理模拟中执行,并且使用域随机化将获得的经验转移到现实世界中。我们证明,我们的政策成功地转移到现实世界。PQ-Net在抓取成功率方面优于其他无模型方法,并在没有任何人为干预的情况下自动扩展到任意对称的新对象。
2021-01-12 cs.AI cs.CV cs.RO
Planning Robot Placement for Object Grasping
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用科学大学);University of Bremen(不来梅大学)
本文提出先筛选无碰撞且可抓取的机器人放置位置再评估最优候选的方法,利用可达性、RGB-D图像和占用栅格地图,在服务机器人流程中通过实验验证优于固定导航基线。
2024-05-26 cs.CV cs.RO
Learning In-Hand Object Reaching to General 6D Poses
The University of Sydney(悉尼大学);Sharpa;The University of Hong Kong(香港大学)
提出POISE框架,通过强化学习实现手内6D物体位姿到达,结合多样化抓取初始化、自适应课程和紧凑奖励,显著提升仿真与真实世界的成功率。
2026-09-15 cs.RO
GBPP: Grasp-Aware Base Placement Prediction for Robots via Two-Stage Learning
该研究提出GBPP算法,通过两阶段学习结合自动标注数据集与高保真模拟,实现机器人基座抓取位姿的快速预测,性能优于基线方法,为数据高效的基座放置提供了实用方案。
2026-07-30 cs.AI cs.RO
TacRefineNet: Goal-Conditioned Tactile Grasp Refinement for Edge-Prominent Objects
Xiaomi Robotics(小米机器人)
研究针对边缘突出物体抓取对齐难的问题,提出TacRefineNet框架,利用连体策略网络预测手腕姿态增量,经交叉组合训练,在模拟样本上训练后部署到实际五指手,实验表明其在可见物体抓取上有一定成功率及误差控制,还有长期扰动校正等特点。
2026-07-22 cs.RO
B4P: Simultaneous Grasp and Motion Planning for Object Placement via Parallelized Bidirectional Forests and Path Repair
Department of Computer Science, Rice University(计算机科学系,里士大学)
针对抓取、放置与运动规划顺序解耦导致的次优问题,提出B4P双向森林并行规划框架,同步生成满足放置约束的抓取与可行运动,并实现超线性加速。
2025-07-24 cs.RO
Learning from Planned Data to Improve Robotic Pick-and-Place Planning Efficiency
Graduate School of Engineering Science, The University of Osaka(大阪大学工学研究科)
提出基于能量的模型预测共享抓取,加速机器人抓取-放置规划,提高数据效率并泛化到新抓取和相似物体。
2025-06-18 cs.RO
Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching
Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种机器人取放系统,能够抓住和识别已知的和新的对象在杂乱的环境。该系统的关键新功能是,它处理了广泛的对象类别,而不需要任何特定于任务的新对象的训练数据。为了实现这一点,它首先使用类别不可知的启示预测算法来选择和执行四个不同的抓取原始行为。然后,它识别挑选的对象与跨域图像分类框架,匹配观察到的图像产品图像。由于产品图像对于大范围的对象(例如,来自网络),该系统对于新对象开箱即用,而不需要任何附加的训练数据。详尽的实验结果表明,我们的多启示抓取实现了各种各样的对象在混乱的高成功率,我们的识别算法实现了高精度的已知和新的把握对象。该方法是麻省理工学院-普林斯顿团队系统的一部分,该系统在2017年亚马逊机器人挑战赛的装载任务中获得第一名。所有代码、数据集和预训练模型均可在http://arc.cs.princeton.edu上在线获取
2020-05-30 cs.CV cs.RO
Lan-grasp: Using Large Language Models for Semantic Object Grasping and Placement
Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg(计算机科学与人工智能系,图恩技术大学);Department of Engineering ``Enzo Ferrari'' (DIEF), University of Modena and Reggio Emilia(恩佐·费尔拉蒂工程系(DIEF),摩德纳和雷吉奥艾米利亚大学);Technical University of Munich(慕尼黑技术大学)
Lan-grasp利用大语言模型实现更精确的语义抓取与放置,通过结合多种模型提升抓取效果和安全性。
2026-02-06 cs.RO
Grasp, See, and Place: Efficient Unknown Object Rearrangement with Policy Structure Prior
Zhejiang University(浙江大学)
针对感知噪声下的未知物体重排,本文提出双环系统 GSP,利用抓取与放置受噪声解耦影响的结构先验,并结合 CLIP 学习观察、抓取与自终止策略,从而提高完成率并减少步骤。
2025-01-06 cs.LG cs.RO
DexPBT: Scaling up Dexterous Manipulation for Hand-Arm Systems with Population Based Training
本文提出DexPBT算法,利用去中心化基于种群的训练(PBT)大规模放大深度强化学习的探索能力,使模拟单臂或双臂多指手机器人能学习重新抓取、抓取并投掷等极具挑战性的灵巧操作任务,显著优于常规端到端学习并能发现鲁棒控制策略。
2023-05-20 cs.AI cs.RO
Pick2Place: Task-aware 6DoF Grasp Estimation via Object-Centric Perspective Affordance
Columbia University(哥伦比亚大学);Samsung AI Center(三星人工智能中心)
本文提出Pick2Place算法,通过构建以物体为中心的动作空间和放置可供性图,实现任务感知的6DoF抓取估计,在仿真和真实机器人实验中达到超89%准确率并泛化至新场景。
2023-04-08 cs.RO
Grasp Failure Constraints for Fast and Reliable Pick-and-Place Using Multi-Suction-Cup Grippers
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Dexterity, Inc.(Dexterity公司)
本文针对多吸盘抓取器抓取重物时的失败预测难题,提出基于二次规划求解载荷分布的通用建模方法,并构建可集成到时间最优轨迹规划的抓取失败约束,实现快速可靠的拾放操作。
2024-08-07 cs.RO