Autonomous Bimanual Functional Regrasping of Novel Object Class Instances
University of Bonn(波恩大学)
在人造场景中,机器人需要能够完全操作其周围环境中的物体,即,需要在功能上抓住物体而不仅仅是拾取物体。这对对象姿态施加了非常严格的约束,使得可以执行直接抓取。受人形机器人的拟人化性质的启发,我们提出了一种方法,首先用一只手抓住一个物体,获得完全控制其姿势,并随后用第二只手执行功能性抓取。因此,我们开发了一个完全自主的管道,用于双臂功能重新抓取新的熟悉对象,即,以前从未见过的属于已知对象类别的对象,例如,喷雾瓶该过程涉及语义分割、对象姿态估计、非刚性网格配准、抓取采样、切换姿态生成和手内姿态细化。后者用于补偿第一次抓取期间不可预测的物体移动。该方法被应用到一个类似人类的上身。据作者所知,这是第一个具有自主双手功能重握能力的系统。我们证明,我们的系统产生可靠的成功率,并可以在线应用到现实世界的任务,只使用一个现成的RGB-D传感器。
2019-10-01 cs.RO
Regrasp Maps for Sequential Manipulation Planning
Learning & Intelligent Systems Lab, TU Berlin, Germany(柏林技术大学学习与智能系统实验室);Science Of Intelligence Cluster of Excellence(智能科学卓越集群)
本文提出利用再抓取地图(状态空间抽象)捕获配置空间中可用抓取组合,指导基于优化的TAMP求解器加速搜索,并通过交替创建地图、调整和求解子问题实现稳健的再抓取操作规划。
2025-07-16 cs.RO
Multi-Modal Planning on Regrasping for Stable Manipulation
Contextual Robotics Institute, UC San Diego(加州大学圣地亚哥分校情境机器人研究所)
针对工作空间限制导致稳定抓取位姿不可直接接近的问题,提出基于马尔可夫决策过程的多模态重新抓取规划器,通过滑动、重抓和转移序列提升仿真与真实机器人拾取放置性能。
2023-09-26 cs.RO
More Than a Feeling: Learning to Grasp and Regrasp using Vision and Touch
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
对于人类来说,抓取物体的过程在很大程度上依赖于丰富的触觉反馈。然而,最近的机器人抓取工作仅基于视觉输入,因此在开始接触后不能容易地从反馈中受益。在本文中,我们研究了机器人如何学习使用触觉信息来迭代和有效地调整其把握。为此,我们提出了一个端到端的动作条件模型,从原始视觉触觉数据中学习重新抓取策略。这个模型--一个深度的多模态卷积网络--预测候选抓取调整的结果,然后通过迭代选择最有希望的动作来执行抓取。我们的方法既不需要校准的触觉传感器,也没有任何分析建模的接触力,从而减少了工程所需的努力,以获得有效的把握政策。我们训练我们的模型,数据来自大约6,450个抓取试验,每个手指上都配备了GelSight高分辨率触觉传感器。在广泛的实验中,我们的方法在以下方面优于各种基线:(i)估计抓握调整结果,(ii)选择有效的抓握调整以快速抓握,以及(iii)减少施加在手指上的力的量,同时保持竞争力。最后,我们研究了我们的模型所做的选择,并表明它已经成功地获得了有用的和可解释的抓取行为。
2018-07-26 cs.LG cs.RO stat.ML
Regrasping by Fixtureless Fixturing
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种不需要物理夹具的重夹持夹具策略。为了重新抓取夹持器中的物体,机器人抵靠环境中的外部接触件推动物体,使得外部接触件保持物体静止,同时手指在物体上滑动。我们称这种操作技术为无夹具固定。利用力学推,我们刻画了一个凸多面体集的推动,结果在无夹具夹具。这些推动对于物体惯性、抓握力和接触处的摩擦力的不确定性是鲁棒的。我们提出了一个基于采样的规划,使用强大的推动,以迅速建立一个树的可达把握。这个树中的路径是一个推策略,可能涉及从不同侧面推,以重新抓取对象。我们证明了实验的有效性和鲁棒性的操作平台上不同的重握的例子所提出的操作技术。这种快速灵活的重夹规划器有助于实现多功能灵活的自动化解决方案。
2018-09-25 cs.RO
Learning to Regrasp by Learning to Place
University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
在本文中,我们将探讨机器人是否可以学习重新抓取一组不同的对象,以实现各种所需的把握姿势。当机器人的当前抓取姿势不能执行期望的操作任务时,需要重新抓取。赋予机器人这种能力在许多领域都有应用,如制造业或家庭服务。然而,这是一个具有挑战性的任务,由于在日常生活中的对象和状态和动作空间的高维几何形状的巨大多样性。在本文中,我们提出了一个系统的机器人采取部分点云的对象和支持环境作为输入和输出一系列的拾取和放置操作,以转换一个初始的对象把握姿势所需的对象把握姿势。其关键技术包括一个神经元稳定位置预测器和一个通过利用和改变周围环境的基于重握图的解决方案。我们引入了一个新的和具有挑战性的合成数据集学习和评估所提出的方法。我们证明了我们提出的系统的有效性与模拟器和现实世界的实验。更多视频和可视化示例可在我们的项目网页上找到。
2021-11-17 cs.AI cs.CV cs.LG
Reactive Slip Control in Multifingered Grasping: Hybrid Tactile Sensing and Internal-Force Optimization
Université Grenoble Alpes, CEA, Leti(格勒诺布尔大学、CEA、LETI);Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、CEA、LIST)
本文提出一种结合学习触觉滑移检测与模型内部力控制的混合方法,用于多指抓取的稳定控制,通过触觉反馈实现快速滑移检测与力优化,实验验证了在外部扰动下的抓取稳定性。
2026-03-21 cs.RO cs.SY eess.SY
Analyzing the Utility of a Support Pin in Sequential Robotic Manipulation
the University of Hong Kong(香港大学);the City University of Hong Kong(香港城市大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
抓取是机器人的一项重要操作技能。它可以帮助机器人完成由于运动学或机器人与环境之间的碰撞等约束而无法在单次抓取中完成的任务。以前的工作拾取和放置重新抓取只杠杆平面的中间放置,因此是有限的能力,重新定位的对象。在本文中,我们通过在工作表面上添加垂直销并将其用作重新夹持的中间位置来扩展拾取和放置重新夹持的重定向能力。特别是,我们的方法自动计算一个对象靠在一个垂直针的稳定位置,找到几个力封闭的把握,生成一个图形的regrasp行动,并搜索regrasp序列。为了比较使用和不使用钉的重新夹持性能,我们评估了在各种模型上执行任务时重新夹持序列的成功率和长度。重新定位和装配任务的实验验证了使用支撑销重新夹紧的好处。
2015-12-22 cs.RO
Improving Grasp Stability with Rotation Measurement from Tactile Sensing
Carnegie Mellon University(卡内基梅隆大学)
当物体在远离其重心的位置被抓取时,围绕抓取点的旋转位移是常见的抓取失败。具有软表面的触觉传感器,例如GelSight传感器,可以在物体旋转时检测接触表面上的旋转模式。在这项工作中,我们提出了一个基于模型的算法,检测这些旋转模式和测量旋转位移使用GelSight传感器。我们还将旋转检测反馈集成到闭环重抓取框架中,该框架在早期阶段检测到抓取的旋转失败,并驱动机器人到稳定的抓取姿态。我们验证了我们提出的旋转检测算法和抓取-再抓取系统的自我收集的数据集和在线实验,以显示我们的方法如何准确地检测旋转和提高把握稳定性。
2021-07-31 cs.RO
Bimanual Regrasp Planning and Control for Active Reduction of Object Pose Uncertainty
Graduate School of Engineering Science, Osaka University(大阪大学工学研究科)
针对物体位姿不确定性问题,提出一种无需相机和夹具的双臂重抓规划与导纳控制方法,利用平面指垫的三次正交抓取主动降低位姿不确定性,实验表明其具有良好可重复性且偏差水平与光学跟踪系统相当。
2025-06-28 cs.RO
A Robust Controller for Stable 3D Pinching using Tactile Sensing
University of Bristol(布里斯托大学);Shadow Robotics Company(影子机器人公司);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
本文提出了一种控制器的稳定把握未知形状的物体由两个机器人手指与触觉指尖。通过在接触表面上滚动指尖并施加期望的抓握力以达到平衡状态来稳定抓握。验证是在模拟和全驱动机器人手(阴影模块化抓钳)配备定制的光学触觉传感器(基于BRL TacTip)。控制器需要接触表面的方向,这是通过在触觉图像上回归深卷积神经网络来估计的。总体而言,掌握系统被证明实现稳定的平衡构成各种物体的形状和柔软度,与系统的扰动和测量误差是鲁棒的。这种方法也有希望扩展到抓取之外,用多个手指稳定地操纵手中的物体。
2021-07-01 cs.RO cs.SY eess.SY
Planning to Repose Long and Heavy Objects Considering a Combination of Regrasp and Constrained Drooping
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
本文提出了一种分层运动规划器规划的操作运动,以休息长,重的物体考虑外部支撑表面。规划器包括任务级层和运动级层。我们制定的操作规划问题,在任务级考虑把握构成节点和对象构成的边缘。我们考虑在构建图的过程中重新抓取和约束手滑(下垂),并通过搜索图找到混合重新抓取和下垂序列。所生成的序列自主地在臂和支撑表面之间划分对象重量,并避免配置障碍。笛卡尔规划是在机器人运动水平,以产生相邻的关键把握构成的任务层发现的序列之间的运动。进行了各种实验,以检查所提出的规划器的性能。结果表明,改进的能力,机器人手臂操作长,重的物体,使用建议的规划。我们的贡献是,我们初步开发了一个基于图形的规划系统,原因在手和regrasp操纵运动考虑外部支持。一方面,规划器集成了重握和下垂,实现了手在外部支持下的操作。另一方面,当物体稳定放置时,它通过释放和重新抓取物体来切换状态。搜索图的节点可以从远程云服务器检索,这些服务器提供大量预先注释的数据以实现网络智能。
2021-01-25 cs.RO
Fusing Visuo-Tactile Perception into Kernelized Synergies for Robust Grasping and Fine Manipulation of Non-rigid Objects
Istituto Italiano di Tecnologia(意大利理工学院);University of Naples Federico II(那不勒斯费德里科二世大学);The Chinese University of Hong Kong(香港中文大学)
使用机器人手处理非刚性物体需要一个框架,该框架不仅包含人类水平的灵活性和认知,而且还包含多感官信息和系统动力学,以实现强大而精细的交互。在这项研究中,我们以前开发的内核化协同框架,灵感来自人类行为上重用相同的子空间进行抓取和操纵,增强了视觉触觉感知,以自主和灵活地适应未知物体。为了检测物体并估计其姿态,利用了简化的视觉管道,使用具有欧几里德聚类和SVM分类器的RANSAC算法。为了调节交互的努力,同时抓住和操纵非刚性物体,触觉反馈使用T40 S shokac芯片传感器,生成3D力信息,被纳入。此外,不同的核函数进行了检查,在内核化的协同框架,以评估其性能和潜力,对任务的再现性,执行,泛化和协同可重用性。通过机器人手-臂系统的实验验证了改进后的框架在非刚性物体稳定抓取和灵巧操作方面的能力和实用性。
2021-09-15 cs.RO cs.SY eess.SY
Learning to Grasp Without Seeing
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于触觉感知的抓取方法,通过触觉信号表征和迭代重抓取提升抓取稳定性,实验表明在无视觉信息下可有效抓取新型物体。
2018-05-10 cs.AI cs.RO cs.SY
Robust Adaptive Safe Robotic Grasping with Tactile Sensing
Maersk Mc-Kinney Moller Institute, University of Southern Denmark(马士基麦金尼默勒研究所,丹麦南方大学);Departments of Mechanical and Civil Engineering and Computing and Mathematical Sciences , California Institute of Technology(机械与土木工程系和计算与数学科学系,加州理工学院)
针对机器人抓取中易出现物体滑落、损坏的安全问题,本文提出基于控制屏障函数的触觉传感集成安全抓取框架,经仿真与真实实验验证,基于扰动观测器的控制屏障函数可在低保守性下实现可靠安全抓取。
2025-11-19 cs.RO cs.SY eess.SY
Bayesian Grasp: Robotic visual stable grasp based on prior tactile knowledge
机器人抓取检测是非结构化环境中智能操作的基本能力。以往的研究主要是通过视觉和触觉的融合来实现稳定的抓取,而整个抓取过程严重依赖于再抓取,需要花费大量的时间来调节和评估。我们提出了一种新的方法来提高机器人抓:通过学习触觉知识,机器人可以实现稳定的把握从图像。首先,我们构建了一个先验的触觉知识学习框架与新的把握质量度量,这是通过测量其抵抗外部扰动。其次,我们提出了一个多阶段的贝叶斯抓取架构,通过一个单一的RGB图像的基础上先验触觉知识生成稳定的把握配置。结果表明,该框架可以对抓握结果进行分类,对已知物体的平均准确率为86%,对新物体的平均准确率为79%。先验触觉知识比传统的基于视觉的策略提高了55%的成功率。
2019-09-16 cs.RO
The Role of Tactile Sensing in Learning and Deploying Grasp Refinement Algorithms
Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学);RightHand Robotics, Inc.(RightHand机器人公司)
机器人手设计中的一个长期存在的问题是触觉感知必须有多精确。本文使用模拟触觉信号和强化学习(RL)框架来研究抓取系统中的感知需求。我们的第一个实验研究需要丰富的触觉感知的奖励RL为基础的把握细化算法多指机器人手。我们系统地整合不同层次的触觉数据到奖励使用分析把握稳定性指标。我们发现,在奖励中结合接触位置,法线和力的信息,长方体的平均成功率为95.4%,圆柱体为93.1%,球体为62.3%,手腕位置误差在0到7厘米之间,旋转误差在0到14度之间。这种基于接触的奖励比非触觉的二元奖励基线高出42.9%。我们的后续实验表明,当使用支持奖励的奖励进行训练时,控制策略的状态向量中触觉信息的使用大大减少,对于状态中没有触觉感知的情况,性能最多下降6.6%。由于策略不需要在测试时访问奖励信号,因此我们的工作意味着在支持抓取的手上训练的模型可以部署到具有较小传感器套件的机器人手上,从而可能大幅降低成本。
2022-03-27 cs.AI cs.LG cs.RO
High-Bandwidth Tactile-Reactive Control for Grasp Adjustment
Department of Mechanical Engineering, Massachusetts Institute of Technology(机械工程系,麻省理工学院)
本文提出一种纯触觉反馈的抓取调整算法,无需物体几何先验或精确抓取姿态即可从粗糙初始构型优化抓取,并在15自由度臂手系统上验证了其提升抓取稳定性的有效性。
2025-09-19 cs.RO
The Role of Tactile Sensing for Learning Reach and Grasp
Department of Computer Science, University of Tübingen(蒂宾根大学计算机科学系);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文研究了触觉感知复杂性对强化学习抓取的影响,发现不完美视觉下简单触觉特征可提升学习效果,而复杂触觉输入会阻碍训练。
2025-02-27 cs.RO
simPLE: a visuotactile method learned in simulation to precisely pick, localize, regrasp, and place objects
Amazon Robotics(亚马逊机器人公司);Samsung AI Center(三星人工智能中心);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出simPLE方法,通过仿真学习任务感知抓取、视觉触觉感知和重新抓取规划,实现精确且通用的拾取与放置,在双臂机器人上对15种物体达到高成功率。
2023-07-24 cs.CV cs.LG cs.RO
TactileGCN: A Graph Convolutional Network for Predicting Grasp Stability with Tactile Sensors
University of Alicante(阿利坎特大学)
触觉传感器在与物体交互期间提供有用的接触数据,其可用于准确地学习以确定抓握的稳定性。文献中的大多数作品将触觉读数表示为普通特征向量或矩阵状触觉图像,使用它们来训练机器学习模型。在这项工作中,我们探索了一种利用触觉信息来预测把握稳定性的替代方法,通过利用触觉数据的图形表示,它保留了传感器的taxels及其位置的实际空间布置。在实验中,我们训练了一个图神经网络来对抓取进行二进制分类,分为稳定抓取和滑动抓取。为了训练这样的网络并证明其对手头问题的预测能力,我们捕获了一个新的数据集,其中包含41个对象的大约5000个三指抓握用于训练,以及10个未知对象的1000个抓握用于测试。我们的实验证明,这种新的方法可以有效地用于预测把握稳定性。
2019-01-18 cs.LG cs.RO stat.ML
Tactile-based Reinforcement Learning for Adaptive Grasping under Observation Uncertainties
Northeastern University(东北大学)
针对工业场景中观测不确定性导致的抓取不稳健问题,本文提出一种基于触觉模拟器和PPO强化学习的自适应抓取方法,通过动态调整抓取姿态提升抓取成功率与稳定性。
2025-05-22 cs.RO
Estimating Tactile Data for Adaptive Grasping of Novel Objects
我们提出了一种自适应的把握方法,发现稳定的把握新的对象。本文的主要贡献是在附近的一个已经应用的把握把握成功的概率计算。我们的方法通过模拟当前抓地力附近的抓地力触觉数据来执行抓地力适应。模拟数据用于评估假设的抓握,从而指导我们更好地抓握。我们证明了我们的方法的适用性,通过构建一个系统,可以计划,应用和适应把握新的对象。在YCB对象集上进行了实验,成功率为88%。实验结果表明,该方法的应用显著提高了机器人的抓取稳定性。
2017-04-19 cs.RO
Learning Robust Grasping Strategy Through Tactile Sensing and Adaption Skill
School of Power and Mechanical Engineering, Wuhan University(武汉大学动力与机械学院);School of Technological Sciences, Wuhan University(武汉大学技术科学学院);School of Microelectronics, Wuhan University(武汉大学微电子学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
本文提出基于人类演示和触觉的自适应抓取策略,以抵抗外部干扰并保持抓取稳定,实验证明该方法在多种日常物体和动态力交互任务中具有良好的鲁棒性与泛化能力。
2024-11-21 cs.RO
Tactile-Driven Gentle Grasping for Human-Robot Collaborative Tasks
University of Bristol(布里斯托大学);University of Pisa(比萨大学);Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出了一种控制方案,力敏,温柔的把握与比萨/IIT拟人SoftHand配备了一个简化版本的TacTip光学触觉传感器的所有五个指尖。触觉传感器提供有关抓握以及手指如何与所持物体交互的高分辨率信息。我们首先描述了一系列的硬件开发,用于执行异步传感器数据采集和处理,从而在一个快速的控制回路足以实时把握控制。然后,我们开发了一种新的把握控制器,同时使用所有五个指尖传感器的触觉反馈,轻轻地,稳定地抓住43个不同的几何形状和刚度的对象,然后应用到人与机器人的交接任务。这些发展打开了大门,以更先进的操纵与欠驱动的手通过快速反射控制使用高分辨率触觉感知。
2023-03-16 cs.RO
AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);University of California, Berkeley(加州大学伯克利分校)
针对机器人抓取难以复刻人类视觉-触觉融合自适应能力的问题,提出AdaDexGrasp视觉-触觉融合抓取框架,通过3D表示融合实现接触感知抓取生成与优化,实验验证其提升了抓取成功率与泛化性。
2026-08-11 cs.RO eess.IV
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne(墨尔本大学);St. Vincent’s Hospital(圣文森特医院)
基于触觉的盲抓取解决了现实的机器人抓取,其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识,例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里,提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰,被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning
ShanghaiTech University(上海科技大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
提出一种结合Real2Sim触觉校准、布局感知触觉编码器和触觉条件扩散策略的框架,实现仅依赖触觉的灵巧手盲抓取,在真实机器人上对20个物体达到27%成功率。
2026-06-12 cs.AI cs.RO
Visual-tactile Fusion for Transparent Object Grasping in Complex Backgrounds
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);RISC-V International Open Source Laboratory(RISC-V国际开源实验室);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Institute of Artificial Intelligence, Collaborative Innovation Center for the Marine Artificial Intelligence, Shanghai University(上海大学人工智能学院、海洋人工智能协同创新中心)
本文提出视觉-触觉融合框架,结合TGCNN抓取网络、触觉校准与融合分类,在复杂背景下显著提升透明物体抓取成功率和分类准确率。
2024-06-08 cs.AI cs.RO
Slip detection for grasp stabilisation with a multi-fingered tactile robot hand
University of Bristol(布里斯托大学);University of the West of England(西英格兰大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
触觉感知是人类在抓握时使用的,以防止我们掉落物体。触觉感知的一个关键方面是滑动检测,它允许抓取器知道何时抓取失败并采取行动以防止物体掉落。本研究通过使用支持向量机检测滑动和测试多个滑动场景,包括对11个不同物体在各种抓握中实时的滑动的开始做出响应,展示了最近开发的触觉模型O(T-MO)的滑动检测能力。我们通过测试两个现实世界的场景来展示滑动检测在抓取中的好处:增加重量来破坏抓取的稳定性,并在第一次尝试时使用滑动检测来提升物体。T-MO能够检测物体何时滑动,做出反应以稳定抓握并部署在现实世界的场景中。这表明T-MO是一个合适的自主抓取平台,通过使用可靠的滑动检测来确保在非结构化环境中的稳定抓取。补充视频:https://youtu.be/wOwFHaiHuKY
2020-10-05 cs.RO
MAT: Multi-Fingered Adaptive Tactile Grasping via Deep Reinforcement Learning
Columbia University(哥伦比亚大学);Robotics at Google(谷歌机器人)
基于视觉的抓取系统通常采用开环执行计划的抓取。此策略可能由于许多原因而失败,包括普遍存在的校准错误。从失败的抓取中恢复会因视觉遮挡而进一步复杂化,因为手在尝试另一个开环重新抓取时通常会遮挡视觉传感器。这项工作提出了MAT,触觉闭环方法能够实现粗的初始定位的手以上的对象所提供的把握。我们的算法是一种深度强化学习(RL)策略,通过最大熵RL框架内的裁剪代理目标进行优化,以平衡开发和探索。该方法利用触觉和本体感受信息,通过精细的手指运动和较大的重握运动来执行稳定的抓握。一个新颖的动作动作幅度课程,使学习更容易驾驭,并有助于把常见的失败案例变成成功。仔细选择表现出小的模拟与真实差距的特征,使这种触觉抓取策略,纯粹在模拟中训练,能够很好地转移到现实世界的环境中,而不需要额外的学习。实验上,这种方法大大提高了多指机器人手的视觉抓取成功率。当这种方法被用来实现从粗略的初始位置由视觉规划器提供的把握,系统是显着更强大的相机机器人变换中的校准误差。
2019-10-10 cs.AI cs.LG cs.RO
DenseTact-Mini: An Optical Tactile Sensor for Grasping Multi-Scale Objects From Flat Surfaces
Stanford University(斯坦福大学)
本文提出DenseTact-Mini光学触觉传感器,通过轻拍、指甲和指尖三种抓取策略,实现对1毫米至15毫米多尺度物体的高成功率抓取,展示了软光学触觉传感器在灵巧操作中的潜力。
2023-09-16 cs.RO
Simultaneous Tactile Exploration and Grasp Refinement for Unknown Objects
University of Birmingham(伯明翰大学);Chalmers University of Technology(查尔姆斯理工大学);University College London(伦敦大学学院)
本文解决的问题,同时探索一个未知的对象,以模拟其形状,使用触觉传感器的机器人手指,同时还改善手指的位置,以优化把握稳定性。在许多情况下,机器人将仅具有被观察对象的近侧的部分相机视图,远侧保持被遮挡。我们展示了如何初步把握尝试,根据初步猜测的整体对象的形状,产生触觉扫视的远侧的对象,使形状估计,从而连续的把握得到改善。我们提出了一个把握探索方法,使用概率表示的形状,高斯过程隐式曲面的基础上。这种表示使得初始部分视觉数据能够用来自连续触觉扫视的附加数据来增强。这是结合把握质量的概率估计,以完善把握配置。当选择下一组手指放置时,使用双目标优化方法来相互最大化抓取质量并在连续抓取尝试期间改善形状表示。实验结果表明,该方法产生稳定的把握配置比基线方法更有效,同时也产生改进的形状估计的把握对象。
2021-02-28 cs.RO
Grasp State Assessment of Deformable Objects Using Visual-Tactile Fusion Perception
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
人类可以通过视觉和触觉快速确定抓住可变形物体所需的力,以防止其滑动或过度变形,这对机器人来说仍然是一项具有挑战性的任务。为了解决这个问题,我们提出了一种新的基于3D卷积的视觉-触觉融合深度神经网络(C3 D-VTFN)来评估本文中各种可变形物体的抓握状态。具体来说,我们把可变形物体的抓取状态分为三类滑动,适当和过度。此外,用于训练和测试所提出的网络的数据集是通过广泛的抓取和提升实验,不同的宽度和力量,16个各种可变形的物体与机器人手臂配备了手腕相机和触觉传感器。其结果是,分类准确率高达99.97%。此外,一些微妙的抓取实验的基础上提出的网络在本文中实现。实验结果表明,C3 D-VTFN具有足够的准确性和有效性,可广泛应用于自动力控制、自适应抓取等视觉-触觉时空序列学习问题。
2020-06-23 cs.RO
Where Shall I Touch? Vision-Guided Tactile Poking for Transparent Object Grasping
University of Liverpool(利物浦大学);King’s College London(伦敦国王学院);Monash University(莫纳什大学)
对于机器人来说,拾取透明物体仍然是一项具有挑战性的任务。透明物体的反射和折射等视觉特性使得目前依赖于相机传感的抓取方法无法检测和定位它们。然而,人类可以很好地处理透明物体,首先观察其粗糙的轮廓,然后戳感兴趣的区域以获得用于抓握的精细轮廓。受此启发,我们提出了一个新的框架,视觉引导的触觉戳透明物体的把握。在所提出的框架中,首先使用分割网络来预测称为戳区域的水平上部区域,在该区域中,机器人可以戳物体以获得良好的触觉读取,同时对物体的状态产生最小的干扰。然后使用高分辨率GelSight触觉传感器进行戳。由于局部轮廓与触觉阅读改善,启发式把握计划抓住透明物体。为了减轻现实世界的数据汇集和透明对象的标签的限制,构建了一个大规模的现实合成数据集。大量的实验表明,我们提出的分割网络可以预测潜在的戳区域与高的平均平均精度(mAP)为0.360,视觉引导的触觉戳可以提高抓持成功率从38.9%到85.2%显着。由于其简单性,我们提出的方法也可以被其他力或触觉传感器采用,并可用于抓取其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。
2022-08-20 cs.RO
Integrating High-Resolution Tactile Sensing into Grasp Stability Prediction
Monash University(莫纳什大学);LYRO Robotics(LYRO机器人公司)
我们研究了如何将高分辨率触觉传感器与视觉和深度传感相结合,以提高抓握稳定性预测。在模拟高分辨率触觉感知,特别是TACTO模拟器的最新进展,使我们能够评估如何神经网络可以与传感模式的组合进行训练。由于训练大型神经网络需要大量的数据,机器人模拟器提供了一种快速的方式来自动化数据汇集过程。我们扩大现有的工作,通过消融研究和增加一套从YCB基准集的对象。我们的研究结果表明,虽然视觉,深度和触觉感知的组合提供了对已知物体的最佳预测结果,但网络无法推广到未知物体。我们的工作还解决了现有的问题,机器人抓取触觉模拟和如何克服它们。
2022-06-12 cs.RO
Tactile-Reactive Roller Grasper
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
针对机器人手内操作难题,研发融合相机触觉传感与可转向柔顺圆柱指尖的TRRG系统,配套传感处理与控制策略,实验证明其可提升两类操作场景的鲁棒性,还支持物体重建,为混合指尖设计提供方向。
2023-06-16 cs.RO
Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
TU Dresden(德累斯顿工业大学)
本研究利用高分辨率动态触觉和时间多模态模型预测灵巧手抓取稳定性,并在真实机器人上实现视觉-触觉引导的重新抓取,将成功率提升10.5个百分点。
2026-10-08 cs.CV cs.LG cs.RO
A Novel Bioinspired Neuromorphic Vision-based Tactile Sensor for Fast Tactile Perception
Khalifa University(哈利法大学);University of Lincoln(林肯大学);Khalifa University Center of Autonomous Robotic Systems (KUCARS)(哈利法大学自主机器人系统中心);Healthcare Engineering and Innovation Group (HEIG)(医疗保健工程与创新集团);Advanced Research and Innovation Center (ARIC)(先进研究与创新中心)
本文提出一种基于事件相机的仿生神经形态视觉触觉传感器,利用3D打印柔性皮肤感知形变,可在2毫秒内检测按压与滑动,适用于高速拾放操作中的安全抓取。
2024-03-15 cs.RO cs.SY eess.SY
Phy-Tac: Toward Human-Like Grasping via Physics-Conditioned Tactile Goals
Department of Mechanical Engineering, The Hong Kong Polytechnic University (PolyU)(香港理工大学机械工程系);Research Institute for Smart Ageing (RISA), PolyU(PolyU智能老龄化研究所以);Ningbo Institute of Digital Twin, Eastern Institute of Technology (EIT)(宁波数字孪生研究所,东部技术研究所);Department of Mechanical and Energy Engineering, Southern University of Science and Technology(南方科技大学机械与能源工程系)
提出物理条件触觉方法Phy-Tac,通过位姿选择、隐扩散模型预测触觉目标与LQR控制实现力最优稳定抓取,在稳定性和力效率上优于基线,实现类人自适应操作。
2025-11-03 cs.RO
Learning-Based Collaborative Control for Bi-Manual Tactile-Reactive Grasping
Department of Computer Science, Mississippi State University(密苏里州立大学计算机科学系);Department of Mechanical Engineering, Villanova University(维拉诺瓦大学机械工程系)
本文提出一种基于学习的触觉反应式多智能体模型预测控制器,利用双 Gelsight Mini 传感器实时估计接触动力学与物体柔顺性,实现双手协同抓取不同软硬度和形状的物体,并在实验中优于 PD 和 MPC 基线。
2025-09-24 cs.RO
Grasp EveryThing (GET): 1-DoF, 3-Fingered Gripper with Tactile Sensing for Robust Grasping
Massachusetts Institute of Technology(麻省理工学院)
本研究提出一种1自由度三指V形构型的GET夹爪,采用参数化设计可适配多类机器人,集成外置摄像头触觉感知与力估计神经网络,实验证实其抓取表现优于标准平指,设计已开源。
2025-07-30 cs.RO
Shear-based Grasp Control for Multi-fingered Underactuated Tactile Robotic Hands
University of Bristol(布里斯托尔大学);University of Pisa(比萨大学);Istituto Italiano di Tecnologia (IIT)(意大利技术研究院)
该研究针对欠驱动触觉机械手的易碎物体抓取操控问题,提出基于microTac触觉传感器反馈的剪切力控制框架,结合深度学习与迁移学习构建接触模型,实现了抗干扰的类人灵巧操控。
2025-03-21 cs.RO
Grasp, Handover, Rotate: Bimanual Object Reorientation via Compositional Diffusion and Energy-Based Optimization
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Loop Area Institute(深圳河套学院)
研究双手物体重新定向问题,提出基于组合扩散和能量的BiCompoDiff框架,联合优化多方面任务,结合预训练模型与能量模型,通过梯度引导和采样优化抓取姿态,实验表明其成功率和轨迹平滑度优于基线,实现有效模拟到现实转移。
2026-07-24 cs.RO
Grasping Using Tactile Sensing and Deep Calibration
University of Central Florida(中佛罗里达大学)
触觉感知是智能机器人与周围环境交互的基本能力。这种感知作为一个中间层次的行为之间的感觉和行动,并已被适当地定义,以产生适当的行动,以响应所感测的数据。在本文中,我们提出了一种反馈方法来解决机器人抓取任务,使用力-力矩触觉感知。虽然视觉感知是总达到的一个重要组成部分,不断利用这种传感方式可以产生负面影响的把握过程与压倒性的计算。在这种情况下,人类利用触觉感知来与对象交互。受启发,所提出的方法,并在一个真正的机器人上进行评估,以证明所建议的框架的有效性。此外,我们利用称为深度校准的深度学习框架,以消除从机器人传感器收集的数据中的偏差的影响。
2019-07-23 cs.CV cs.RO
Visuotactile Affordances for Cloth Manipulation with Local Control
Purdue University(普渡大学);Massachusetts Institute of Technology(麻省理工学院)
真实世界中的布料通常是褶皱的、自封闭的或自身折叠的,使得关键区域(例如拐角)不能直接抓握,从而使得操纵困难。我们提出了一个系统,利用视觉和触觉感知,通过抓住和边缘上的滑动来展开布。通过这样做,机器人能够抓住两个相邻的角,从而实现后续的操作任务,如折叠或悬挂。作为该系统的组成部分,我们开发了触觉感知网络,该网络对边缘是否被抓住进行分类并估计边缘的姿态。我们使用边缘分类网络来监督视觉触觉边缘抓取启示网络,该网络可以以90%的成功率抓取边缘。一旦一个边缘被抓住,我们证明了机器人可以沿着布料滑动到相邻的角落,使用触觉姿态估计/控制在实时的。请访问http://nehasunil.com/visuotactile/visuotactile.html获取视频。
2022-12-09 cs.LG cs.RO cs.SY
Non-Matrix Tactile Sensors: How Can Be Exploited Their Local Connectivity For Predicting Grasp Stability?
University of Alicante(阿利坎特大学);Computer Science Research Institute, University of Alicante(阿利坎特大学计算机科学研究所)
触觉传感器在与物体的交互过程中提供有用的信息,这些信息可用于评估抓握的稳定性。以前关于这个主题的大多数作品通过计算手工挑选的特征将触觉读数作为信号处理。他们中的一些人已经将这些读数作为图像处理,计算矩阵式传感器的特性。在这项工作中,我们将探讨如何非矩阵传感器(传感器与taxels不完全安排在一个矩阵)可以作为触觉图像处理。此外,我们证明了他们可以用于预测把握稳定性训练卷积神经网络(CNN)与他们。我们在41个日常物体上捕获了超过2500个真实的三指抓握,以训练一个利用非矩阵触觉传感器固有的局部连接的CNN,在预测稳定性方面实现了94.2%的F1分数。
2018-09-14 cs.LG cs.RO
TEGA: A Tactile-Enhanced Grasping Assistant for Assistive Robotics via Sensor Fusion and Closed-Loop Haptic Feedback
Department of Civil and Coastal Engineering, University of Florida(土木与海岸工程系,佛罗里达大学);Nvidia(英伟达)
TEGA通过融合EMG意图到力推断与触觉传感,提供闭环触觉反馈,提升残疾用户抓取稳定性与任务成功率。
2026-03-05 cs.RO
Grasp Stability Prediction with Sim-to-Real Transfer from Tactile Sensing
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Meta Reality Labs Research(Meta现实实验室)
机器人仿真已经成为数据驱动操作任务的重要工具。然而,大多数现有的仿真框架缺乏有效和准确的模型与触觉传感器或逼真的触觉仿真的物理交互。这使得基于操纵任务的仿真到现实迁移仍然具有挑战性。在这项工作中,我们集成了机器人动力学和基于视觉的触觉传感器模拟接触的物理建模。该接触模型使用机器人末端执行器处的模拟接触力来通知真实触觉输出的生成。为了消除仿真到现实迁移差距,我们校准我们的物理模拟器的机器人动力学,接触模型,和触觉光学模拟器与现实世界的数据,然后我们证明了我们的系统的有效性上的一个zero-shot模拟到真实的把握稳定性预测任务,我们实现了90.7%的平均精度对各种对象。实验表明,我们的模拟框架应用到更复杂的操作任务的潜力。我们在https://github.com/CMURoboTouch/Taxim/tree/taxim-robot上开源了我们的模拟框架。
2022-08-04 cs.RO
LeTac-MPC: Learning Model Predictive Control for Tactile-reactive Grasping
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
本文提出 LeTac-MPC,通过可微 MPC 层建模 GelSight 触觉嵌入,实现 25 Hz 鲁棒反应式抓取,并在动态力交互任务中优于 MPC、PD 与开环方法。
2024-09-07 cs.AI cs.RO
Learning Stable Robot Grasping with Transformer-based Tactile Control Policies
Italian Institute of Technology(意大利技术研究院);University of Genoa(热那亚大学);National University of Singapore(新加坡国立大学);Institute for Infocomm Research (IR), A*STAR(新加坡科技研究局信息通信研究所);King’s College London(伦敦国王学院)
本文提出改进版稳定抓取任务,针对重心未知且移动的物体,利用基于Transformer的端到端强化学习同时优化重新抓取位置和抓取力,并在仿真与真实环境中实现零样本迁移。
2024-07-30 cs.RO
Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors
Robotics Institute(机器人研究所);The Hong Kong University of Science and Technology(香港科技大学)
从本质上讲,成功的抓握归结为对指尖和物体之间的多次接触事件的正确反应。在大多数情况下,触觉感知足以区分接触事件。由于触觉信息的高维性,使用传统的基于模型的方法对时空触觉信号进行分类是困难的。在这项工作中,我们提出使用深度学习方法来预测和分类触觉信号,寻求提高机器人抓取系统对可能导致抓取失败的外部事件变化的适应性。我们开发了一个深度学习框架,并收集了6650触觉图像序列与基于视觉的触觉传感器,和神经网络集成到一个基于接触事件的机器人抓取系统。在抓取实验中,我们实现了52%的增加与接触检测的物体提升成功率,显着更高的鲁棒性下的意外负载与滑动预测相比,开环抓地力,表明所提出的框架集成到机器人抓取系统大大提高采摘成功率和能力,以抵御外部干扰。
2019-10-09 cs.CV cs.LG cs.RO
GraspTune: Tactile-Driven Execution Refinement for Robust Grasping
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));KTH Royal Institute of Technology(瑞典皇家理工学院)
GraspTune提出触觉驱动的执行细化框架,通过有界残余运动和学习接触语义,在模拟和真实机器人上显著提升多种视觉抓取候选生成器的稳定抓取成功率。
2026-09-22 cs.RO
TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation
Purdue University(普渡大学);University of Florida(佛罗里达大学)
研究动态移动操纵中触觉传感在全身控制的作用,提出 TAC-LOCO 框架,编码触觉观测与本体感觉统一控制肢体,经奖励设计使策略能应对多种情况,部署后实现降力及低掉落率。
2026-07-17 cs.RO