Reactive Slip Control in Multifingered Grasping: Hybrid Tactile Sensing and Internal-Force Optimization
Université Grenoble Alpes, CEA, Leti（格勒诺布尔大学、CEA、LETI）；Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、CEA、LIST）
本文提出一种结合学习触觉滑移检测与模型内部力控制的混合方法，用于多指抓取的稳定控制，通过触觉反馈实现快速滑移检测与力优化，实验验证了在外部扰动下的抓取稳定性。
2026-03-21 cs.RO cs.SY eess.SY
Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning
ShanghaiTech University（上海科技大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
提出一种结合Real2Sim触觉校准、布局感知触觉编码器和触觉条件扩散策略的框架，实现仅依赖触觉的灵巧手盲抓取，在真实机器人上对20个物体达到27%成功率。
2026-06-12 cs.AI cs.RO
Planning Visual-Tactile Precision Grasps via Complementary Use of Vision and Touch
University of Utah（犹他大学）；NVIDIA（英伟达）
对于包括工具使用、插入和灵巧的手内操作在内的许多任务，可靠地规划多指手的指尖抓握是一个关键挑战。当机器人缺乏要抓取的物体的精确模型时，这项任务变得更加困难。触觉感知提供了一种很有前途的方法来解决物体形状的不确定性。然而，目前的机器人手往往缺乏完整的触觉覆盖。因此，出现了如何计划和执行多指手的抓握以使得与触觉传感器覆盖的区域进行接触的问题。为了解决这个问题，我们提出了一种抓取规划的方法，明确的原因，在那里的指尖应该接触估计的物体表面，同时最大限度地提高把握成功的概率。我们的方法的成功的关键是使用视觉表面估计的初始规划编码的接触约束。然后，机器人使用一个模糊反馈控制器执行该计划，该控制器使机器人能够适应物体表面的在线估计，以纠正初始计划中的错误。重要的是，机器人从来没有明确地集成视觉和触觉感知之间的对象姿势或表面估计，而是以互补的方式使用这两种方式。视觉在接触之前引导机器人运动;当接触发生时，触摸更新计划不同于视觉预测。我们表明，我们的方法使用来自单个相机视图的表面估计成功地合成并执行了对以前未见过的物体的精确抓取。此外，我们的方法优于最先进的多指抓取规划器，同时也击败了我们提出的几个基线。
2022-12-16 cs.AI cs.LG cs.RO
Bayesian Grasp: Robotic visual stable grasp based on prior tactile knowledge
机器人抓取检测是非结构化环境中智能操作的基本能力。以往的研究主要是通过视觉和触觉的融合来实现稳定的抓取，而整个抓取过程严重依赖于再抓取，需要花费大量的时间来调节和评估。我们提出了一种新的方法来提高机器人抓：通过学习触觉知识，机器人可以实现稳定的把握从图像。首先，我们构建了一个先验的触觉知识学习框架与新的把握质量度量，这是通过测量其抵抗外部扰动。其次，我们提出了一个多阶段的贝叶斯抓取架构，通过一个单一的RGB图像的基础上先验触觉知识生成稳定的把握配置。结果表明，该框架可以对抓握结果进行分类，对已知物体的平均准确率为86%，对新物体的平均准确率为79%。先验触觉知识比传统的基于视觉的策略提高了55%的成功率。
2019-09-16 cs.RO
Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
TU Dresden（德累斯顿工业大学）
本研究利用高分辨率动态触觉和时间多模态模型预测灵巧手抓取稳定性，并在真实机器人上实现视觉-触觉引导的重新抓取，将成功率提升10.5个百分点。
2026-10-08 cs.CV cs.LG cs.RO
High-Bandwidth Tactile-Reactive Control for Grasp Adjustment
Department of Mechanical Engineering, Massachusetts Institute of Technology（机械工程系，麻省理工学院）
本文提出一种纯触觉反馈的抓取调整算法，无需物体几何先验或精确抓取姿态即可从粗糙初始构型优化抓取，并在15自由度臂手系统上验证了其提升抓取稳定性的有效性。
2025-09-19 cs.RO
A Robust Controller for Stable 3D Pinching using Tactile Sensing
University of Bristol（布里斯托大学）；Shadow Robotics Company（影子机器人公司）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本文提出了一种控制器的稳定把握未知形状的物体由两个机器人手指与触觉指尖。通过在接触表面上滚动指尖并施加期望的抓握力以达到平衡状态来稳定抓握。验证是在模拟和全驱动机器人手（阴影模块化抓钳）配备定制的光学触觉传感器（基于BRL TacTip）。控制器需要接触表面的方向，这是通过在触觉图像上回归深卷积神经网络来估计的。总体而言，掌握系统被证明实现稳定的平衡构成各种物体的形状和柔软度，与系统的扰动和测量误差是鲁棒的。这种方法也有希望扩展到抓取之外，用多个手指稳定地操纵手中的物体。
2021-07-01 cs.RO cs.SY eess.SY
The Role of Tactile Sensing for Learning Reach and Grasp
Department of Computer Science, University of Tübingen（蒂宾根大学计算机科学系）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了触觉感知复杂性对强化学习抓取的影响，发现不完美视觉下简单触觉特征可提升学习效果，而复杂触觉输入会阻碍训练。
2025-02-27 cs.RO
Non-Matrix Tactile Sensors: How Can Be Exploited Their Local Connectivity For Predicting Grasp Stability?
University of Alicante（阿利坎特大学）；Computer Science Research Institute, University of Alicante（阿利坎特大学计算机科学研究所）
触觉传感器在与物体的交互过程中提供有用的信息，这些信息可用于评估抓握的稳定性。以前关于这个主题的大多数作品通过计算手工挑选的特征将触觉读数作为信号处理。他们中的一些人已经将这些读数作为图像处理，计算矩阵式传感器的特性。在这项工作中，我们将探讨如何非矩阵传感器（传感器与taxels不完全安排在一个矩阵）可以作为触觉图像处理。此外，我们证明了他们可以用于预测把握稳定性训练卷积神经网络（CNN）与他们。我们在41个日常物体上捕获了超过2500个真实的三指抓握，以训练一个利用非矩阵触觉传感器固有的局部连接的CNN，在预测稳定性方面实现了94.2%的F1分数。
2018-09-14 cs.LG cs.RO
AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；University of California, Berkeley（加州大学伯克利分校）
针对机器人抓取难以复刻人类视觉-触觉融合自适应能力的问题，提出AdaDexGrasp视觉-触觉融合抓取框架，通过3D表示融合实现接触感知抓取生成与优化，实验验证其提升了抓取成功率与泛化性。
2026-08-11 cs.RO eess.IV
Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors
Robotics Institute（机器人研究所）；The Hong Kong University of Science and Technology（香港科技大学）
从本质上讲，成功的抓握归结为对指尖和物体之间的多次接触事件的正确反应。在大多数情况下，触觉感知足以区分接触事件。由于触觉信息的高维性，使用传统的基于模型的方法对时空触觉信号进行分类是困难的。在这项工作中，我们提出使用深度学习方法来预测和分类触觉信号，寻求提高机器人抓取系统对可能导致抓取失败的外部事件变化的适应性。我们开发了一个深度学习框架，并收集了6650触觉图像序列与基于视觉的触觉传感器，和神经网络集成到一个基于接触事件的机器人抓取系统。在抓取实验中，我们实现了52%的增加与接触检测的物体提升成功率，显着更高的鲁棒性下的意外负载与滑动预测相比，开环抓地力，表明所提出的框架集成到机器人抓取系统大大提高采摘成功率和能力，以抵御外部干扰。
2019-10-09 cs.CV cs.LG cs.RO
Fusing Visuo-Tactile Perception into Kernelized Synergies for Robust Grasping and Fine Manipulation of Non-rigid Objects
Istituto Italiano di Tecnologia（意大利理工学院）；University of Naples Federico II（那不勒斯费德里科二世大学）；The Chinese University of Hong Kong（香港中文大学）
使用机器人手处理非刚性物体需要一个框架，该框架不仅包含人类水平的灵活性和认知，而且还包含多感官信息和系统动力学，以实现强大而精细的交互。在这项研究中，我们以前开发的内核化协同框架，灵感来自人类行为上重用相同的子空间进行抓取和操纵，增强了视觉触觉感知，以自主和灵活地适应未知物体。为了检测物体并估计其姿态，利用了简化的视觉管道，使用具有欧几里德聚类和SVM分类器的RANSAC算法。为了调节交互的努力，同时抓住和操纵非刚性物体，触觉反馈使用T40 S shokac芯片传感器，生成3D力信息，被纳入。此外，不同的核函数进行了检查，在内核化的协同框架，以评估其性能和潜力，对任务的再现性，执行，泛化和协同可重用性。通过机器人手-臂系统的实验验证了改进后的框架在非刚性物体稳定抓取和灵巧操作方面的能力和实用性。
2021-09-15 cs.RO cs.SY eess.SY
Estimating Tactile Data for Adaptive Grasping of Novel Objects
我们提出了一种自适应的把握方法，发现稳定的把握新的对象。本文的主要贡献是在附近的一个已经应用的把握把握成功的概率计算。我们的方法通过模拟当前抓地力附近的抓地力触觉数据来执行抓地力适应。模拟数据用于评估假设的抓握，从而指导我们更好地抓握。我们证明了我们的方法的适用性，通过构建一个系统，可以计划，应用和适应把握新的对象。在YCB对象集上进行了实验，成功率为88%。实验结果表明，该方法的应用显著提高了机器人的抓取稳定性。
2017-04-19 cs.RO
Learning Robust Grasping Strategy Through Tactile Sensing and Adaption Skill
School of Power and Mechanical Engineering, Wuhan University（武汉大学动力与机械学院）；School of Technological Sciences, Wuhan University（武汉大学技术科学学院）；School of Microelectronics, Wuhan University（武汉大学微电子学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出基于人类演示和触觉的自适应抓取策略，以抵抗外部干扰并保持抓取稳定，实验证明该方法在多种日常物体和动态力交互任务中具有良好的鲁棒性与泛化能力。
2024-11-21 cs.RO
Tactile-Driven Gentle Grasping for Human-Robot Collaborative Tasks
University of Bristol（布里斯托大学）；University of Pisa（比萨大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出了一种控制方案，力敏，温柔的把握与比萨/IIT拟人SoftHand配备了一个简化版本的TacTip光学触觉传感器的所有五个指尖。触觉传感器提供有关抓握以及手指如何与所持物体交互的高分辨率信息。我们首先描述了一系列的硬件开发，用于执行异步传感器数据采集和处理，从而在一个快速的控制回路足以实时把握控制。然后，我们开发了一种新的把握控制器，同时使用所有五个指尖传感器的触觉反馈，轻轻地，稳定地抓住43个不同的几何形状和刚度的对象，然后应用到人与机器人的交接任务。这些发展打开了大门，以更先进的操纵与欠驱动的手通过快速反射控制使用高分辨率触觉感知。
2023-03-16 cs.RO
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne（墨尔本大学）；St. Vincent’s Hospital（圣文森特医院）
基于触觉的盲抓取解决了现实的机器人抓取，其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识，例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里，提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰，被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
Robust Adaptive Safe Robotic Grasping with Tactile Sensing
Maersk Mc-Kinney Moller Institute, University of Southern Denmark（马士基麦金尼默勒研究所，丹麦南方大学）；Departments of Mechanical and Civil Engineering and Computing and Mathematical Sciences , California Institute of Technology（机械与土木工程系和计算与数学科学系，加州理工学院）
针对机器人抓取中易出现物体滑落、损坏的安全问题，本文提出基于控制屏障函数的触觉传感集成安全抓取框架，经仿真与真实实验验证，基于扰动观测器的控制屏障函数可在低保守性下实现可靠安全抓取。
2025-11-19 cs.RO cs.SY eess.SY
PoseIt: A Visual-Tactile Dataset of Holding Poses for Grasp Stability Analysis
Carnegie Mellon University（卡内基梅隆大学）
当人类在现实世界中抓取物体时，我们经常会移动手臂，以不同的姿势握住物体。相比之下，典型的实验室设置仅在举起物体后立即研究抓取的稳定性，而没有随后重新定位手臂。然而，抓取稳定性可能会根据物体的握持姿势而变化很大，因为重力扭矩和夹持器接触力可以完全改变。为了便于研究如何持有姿势影响把握稳定性，我们提出了PoseIt，一个新的多模态数据集，包含视觉和触觉数据收集从一个完整的周期抓住一个对象，重新定位的手臂采样的姿势之一，并动摇的对象。使用PoseIt的数据，我们可以制定并解决预测被抓取物体在特定握持姿势下是否稳定的任务。我们训练了一个LSTM分类器，在提出的任务上达到了85%的准确率。我们的实验结果表明，在PoseIt上训练的多模态模型比单独使用视觉或触觉数据实现了更高的准确性，并且我们的分类器还可以推广到看不见的对象和姿势。
2022-09-12 cs.AI cs.RO
Slip detection for grasp stabilisation with a multi-fingered tactile robot hand
University of Bristol（布里斯托大学）；University of the West of England（西英格兰大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
触觉感知是人类在抓握时使用的，以防止我们掉落物体。触觉感知的一个关键方面是滑动检测，它允许抓取器知道何时抓取失败并采取行动以防止物体掉落。本研究通过使用支持向量机检测滑动和测试多个滑动场景，包括对11个不同物体在各种抓握中实时的滑动的开始做出响应，展示了最近开发的触觉模型O（T-MO）的滑动检测能力。我们通过测试两个现实世界的场景来展示滑动检测在抓取中的好处：增加重量来破坏抓取的稳定性，并在第一次尝试时使用滑动检测来提升物体。T-MO能够检测物体何时滑动，做出反应以稳定抓握并部署在现实世界的场景中。这表明T-MO是一个合适的自主抓取平台，通过使用可靠的滑动检测来确保在非结构化环境中的稳定抓取。补充视频：https://youtu.be/wOwFHaiHuKY
2020-10-05 cs.RO
Improving Grasp Stability with Rotation Measurement from Tactile Sensing
Carnegie Mellon University（卡内基梅隆大学）
当物体在远离其重心的位置被抓取时，围绕抓取点的旋转位移是常见的抓取失败。具有软表面的触觉传感器，例如GelSight传感器，可以在物体旋转时检测接触表面上的旋转模式。在这项工作中，我们提出了一个基于模型的算法，检测这些旋转模式和测量旋转位移使用GelSight传感器。我们还将旋转检测反馈集成到闭环重抓取框架中，该框架在早期阶段检测到抓取的旋转失败，并驱动机器人到稳定的抓取姿态。我们验证了我们提出的旋转检测算法和抓取-再抓取系统的自我收集的数据集和在线实验，以显示我们的方法如何准确地检测旋转和提高把握稳定性。
2021-07-31 cs.RO
Simultaneous Tactile Exploration and Grasp Refinement for Unknown Objects
University of Birmingham（伯明翰大学）；Chalmers University of Technology（查尔姆斯理工大学）；University College London（伦敦大学学院）
本文解决的问题，同时探索一个未知的对象，以模拟其形状，使用触觉传感器的机器人手指，同时还改善手指的位置，以优化把握稳定性。在许多情况下，机器人将仅具有被观察对象的近侧的部分相机视图，远侧保持被遮挡。我们展示了如何初步把握尝试，根据初步猜测的整体对象的形状，产生触觉扫视的远侧的对象，使形状估计，从而连续的把握得到改善。我们提出了一个把握探索方法，使用概率表示的形状，高斯过程隐式曲面的基础上。这种表示使得初始部分视觉数据能够用来自连续触觉扫视的附加数据来增强。这是结合把握质量的概率估计，以完善把握配置。当选择下一组手指放置时，使用双目标优化方法来相互最大化抓取质量并在连续抓取尝试期间改善形状表示。实验结果表明，该方法产生稳定的把握配置比基线方法更有效，同时也产生改进的形状估计的把握对象。
2021-02-28 cs.RO
Grasp State Assessment of Deformable Objects Using Visual-Tactile Fusion Perception
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
人类可以通过视觉和触觉快速确定抓住可变形物体所需的力，以防止其滑动或过度变形，这对机器人来说仍然是一项具有挑战性的任务。为了解决这个问题，我们提出了一种新的基于3D卷积的视觉-触觉融合深度神经网络（C3 D-VTFN）来评估本文中各种可变形物体的抓握状态。具体来说，我们把可变形物体的抓取状态分为三类滑动，适当和过度。此外，用于训练和测试所提出的网络的数据集是通过广泛的抓取和提升实验，不同的宽度和力量，16个各种可变形的物体与机器人手臂配备了手腕相机和触觉传感器。其结果是，分类准确率高达99.97%。此外，一些微妙的抓取实验的基础上提出的网络在本文中实现。实验结果表明，C3 D-VTFN具有足够的准确性和有效性，可广泛应用于自动力控制、自适应抓取等视觉-触觉时空序列学习问题。
2020-06-23 cs.RO
Integrating High-Resolution Tactile Sensing into Grasp Stability Prediction
Monash University（莫纳什大学）；LYRO Robotics（LYRO机器人公司）
我们研究了如何将高分辨率触觉传感器与视觉和深度传感相结合，以提高抓握稳定性预测。在模拟高分辨率触觉感知，特别是TACTO模拟器的最新进展，使我们能够评估如何神经网络可以与传感模式的组合进行训练。由于训练大型神经网络需要大量的数据，机器人模拟器提供了一种快速的方式来自动化数据汇集过程。我们扩大现有的工作，通过消融研究和增加一套从YCB基准集的对象。我们的研究结果表明，虽然视觉，深度和触觉感知的组合提供了对已知物体的最佳预测结果，但网络无法推广到未知物体。我们的工作还解决了现有的问题，机器人抓取触觉模拟和如何克服它们。
2022-06-12 cs.RO
Visuotactile Affordances for Cloth Manipulation with Local Control
Purdue University（普渡大学）；Massachusetts Institute of Technology（麻省理工学院）
真实世界中的布料通常是褶皱的、自封闭的或自身折叠的，使得关键区域（例如拐角）不能直接抓握，从而使得操纵困难。我们提出了一个系统，利用视觉和触觉感知，通过抓住和边缘上的滑动来展开布。通过这样做，机器人能够抓住两个相邻的角，从而实现后续的操作任务，如折叠或悬挂。作为该系统的组成部分，我们开发了触觉感知网络，该网络对边缘是否被抓住进行分类并估计边缘的姿态。我们使用边缘分类网络来监督视觉触觉边缘抓取启示网络，该网络可以以90%的成功率抓取边缘。一旦一个边缘被抓住，我们证明了机器人可以沿着布料滑动到相邻的角落，使用触觉姿态估计/控制在实时的。请访问http://nehasunil.com/visuotactile/visuotactile.html获取视频。
2022-12-09 cs.LG cs.RO cs.SY
Tactile-Reactive Roller Grasper
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
针对机器人手内操作难题，研发融合相机触觉传感与可转向柔顺圆柱指尖的TRRG系统，配套传感处理与控制策略，实验证明其可提升两类操作场景的鲁棒性，还支持物体重建，为混合指尖设计提供方向。
2023-06-16 cs.RO
Phy-Tac: Toward Human-Like Grasping via Physics-Conditioned Tactile Goals
Department of Mechanical Engineering, The Hong Kong Polytechnic University (PolyU)（香港理工大学机械工程系）；Research Institute for Smart Ageing (RISA), PolyU（PolyU智能老龄化研究所以）；Ningbo Institute of Digital Twin, Eastern Institute of Technology (EIT)（宁波数字孪生研究所，东部技术研究所）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
提出物理条件触觉方法Phy-Tac，通过位姿选择、隐扩散模型预测触觉目标与LQR控制实现力最优稳定抓取，在稳定性和力效率上优于基线，实现类人自适应操作。
2025-11-03 cs.RO
Grasping Using Tactile Sensing and Deep Calibration
University of Central Florida（中佛罗里达大学）
触觉感知是智能机器人与周围环境交互的基本能力。这种感知作为一个中间层次的行为之间的感觉和行动，并已被适当地定义，以产生适当的行动，以响应所感测的数据。在本文中，我们提出了一种反馈方法来解决机器人抓取任务，使用力-力矩触觉感知。虽然视觉感知是总达到的一个重要组成部分，不断利用这种传感方式可以产生负面影响的把握过程与压倒性的计算。在这种情况下，人类利用触觉感知来与对象交互。受启发，所提出的方法，并在一个真正的机器人上进行评估，以证明所建议的框架的有效性。此外，我们利用称为深度校准的深度学习框架，以消除从机器人传感器收集的数据中的偏差的影响。
2019-07-23 cs.CV cs.RO
A Tactile-enabled Grasping Method for Robotic Fruit Harvesting
Monash University（莫纳什大学）
在机器人农作物收割环境中，夹持器工作空间中的异物侵入频繁发生并且不可消除，然而很少解决。本文提出了一种新的智能机器人抓取方法，能够处理障碍物的干扰，这是第一次在文献中。该方法将深度学习算法与低成本触觉感知硬件结合在多自由度软机器人夹具上。通过实验验证，所提出的方法表现出良好的性能，在区分各种抓取场景。4指独立控制的抓爪具有出色的适应性，可处理各种拾取场景。这项工作的整体表现表明，解决机器人水果收获挑战的巨大潜力。
2021-10-18 cs.RO
Extended Tactile Perception: Vibration Sensing through Tools and Grasped Objects
National University of Singapore（新加坡国立大学）
人类展示了通过工具和其他物体感知世界的非凡能力。例如，我们能够精确地确定杆上的撞击位置，并使用刚性探针区分不同的纹理。在这项工作中，我们考虑如何使机器人具有类似的能力，即，来体现工具并使用标准抓握对象来扩展感知。我们提出，使用机器人手指上的动态触觉传感器的振动触觉感知，以及机器学习模型，使机器人能够破译沿着刚性物体以振动形式传输的接触信息。本文报道了使用BioTac微振动传感器和一种新的事件动态传感器NUSKIN进行的广泛实验，NUSKIN能够在4~kHz进行多频率传感。我们证明，使用我们的方法（误差小于1厘米的20厘米棒），在一个举行的棒上的精细定位是可能的。接下来，我们表明，振动触觉感知可以导致合理的把握物体交接过程中的稳定性预测，并准确的食物识别使用标准的叉子。我们发现，在足够高的采样率的多通道振动触觉感知导致在各种任务和对象的最佳性能。综上所述，我们的研究结果为使用振动触觉感知来扩展触觉感知提供了证据和指导方针，我们相信这将提高工具的使用能力和更好的物理人机交互。
2021-09-30 cs.LG cs.RO
Grasp EveryThing (GET): 1-DoF, 3-Fingered Gripper with Tactile Sensing for Robust Grasping
Massachusetts Institute of Technology（麻省理工学院）
本研究提出一种1自由度三指V形构型的GET夹爪，采用参数化设计可适配多类机器人，集成外置摄像头触觉感知与力估计神经网络，实验证实其抓取表现优于标准平指，设计已开源。
2025-07-30 cs.RO
Shear-based Grasp Control for Multi-fingered Underactuated Tactile Robotic Hands
University of Bristol（布里斯托尔大学）；University of Pisa（比萨大学）；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）
该研究针对欠驱动触觉机械手的易碎物体抓取操控问题，提出基于microTac触觉传感器反馈的剪切力控制框架，结合深度学习与迁移学习构建接触模型，实现了抗干扰的类人灵巧操控。
2025-03-21 cs.RO
TEGA: A Tactile-Enhanced Grasping Assistant for Assistive Robotics via Sensor Fusion and Closed-Loop Haptic Feedback
Department of Civil and Coastal Engineering, University of Florida（土木与海岸工程系，佛罗里达大学）；Nvidia（英伟达）
TEGA通过融合EMG意图到力推断与触觉传感，提供闭环触觉反馈，提升残疾用户抓取稳定性与任务成功率。
2026-03-05 cs.RO
Grasp Stability Prediction with Sim-to-Real Transfer from Tactile Sensing
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Meta Reality Labs Research（Meta现实实验室）
机器人仿真已经成为数据驱动操作任务的重要工具。然而，大多数现有的仿真框架缺乏有效和准确的模型与触觉传感器或逼真的触觉仿真的物理交互。这使得基于操纵任务的仿真到现实迁移仍然具有挑战性。在这项工作中，我们集成了机器人动力学和基于视觉的触觉传感器模拟接触的物理建模。该接触模型使用机器人末端执行器处的模拟接触力来通知真实触觉输出的生成。为了消除仿真到现实迁移差距，我们校准我们的物理模拟器的机器人动力学，接触模型，和触觉光学模拟器与现实世界的数据，然后我们证明了我们的系统的有效性上的一个zero-shot模拟到真实的把握稳定性预测任务，我们实现了90.7%的平均精度对各种对象。实验表明，我们的模拟框架应用到更复杂的操作任务的潜力。我们在https://github.com/CMURoboTouch/Taxim/tree/taxim-robot上开源了我们的模拟框架。
2022-08-04 cs.RO
Learning Stable Robot Grasping with Transformer-based Tactile Control Policies
Italian Institute of Technology（意大利技术研究院）；University of Genoa（热那亚大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research (IR), A*STAR（新加坡科技研究局信息通信研究所）；King’s College London（伦敦国王学院）
本文提出改进版稳定抓取任务，针对重心未知且移动的物体，利用基于Transformer的端到端强化学习同时优化重新抓取位置和抓取力，并在仿真与真实环境中实现零样本迁移。
2024-07-30 cs.RO
OPENGRASP-LITE Version 1.0: A Tactile Artificial Hand with a Compliant Linkage Mechanism
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology (CIT)（慕尼黑工业大学计算、信息与技术学院）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；the Centre for Tactile Internet with Human-in-the-Loop (CeTI)（以人为中心的触觉互联网中心）
本文提出开源轻量化触觉假手 OPENGRASP LITE，通过柔顺连杆与 MEMS 气压计触觉传感实现六自由度柔性抓取，为相关研究提供易获取平台。
2024-08-05 cs.RO cs.SY eess.SY
More Than a Feeling: Learning to Grasp and Regrasp using Vision and Touch
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
对于人类来说，抓取物体的过程在很大程度上依赖于丰富的触觉反馈。然而，最近的机器人抓取工作仅基于视觉输入，因此在开始接触后不能容易地从反馈中受益。在本文中，我们研究了机器人如何学习使用触觉信息来迭代和有效地调整其把握。为此，我们提出了一个端到端的动作条件模型，从原始视觉触觉数据中学习重新抓取策略。这个模型--一个深度的多模态卷积网络--预测候选抓取调整的结果，然后通过迭代选择最有希望的动作来执行抓取。我们的方法既不需要校准的触觉传感器，也没有任何分析建模的接触力，从而减少了工程所需的努力，以获得有效的把握政策。我们训练我们的模型，数据来自大约6,450个抓取试验，每个手指上都配备了GelSight高分辨率触觉传感器。在广泛的实验中，我们的方法在以下方面优于各种基线：（i）估计抓握调整结果，（ii）选择有效的抓握调整以快速抓握，以及（iii）减少施加在手指上的力的量，同时保持竞争力。最后，我们研究了我们的模型所做的选择，并表明它已经成功地获得了有用的和可解释的抓取行为。
2018-07-26 cs.LG cs.RO stat.ML
GraspTune: Tactile-Driven Execution Refinement for Robust Grasping
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；KTH Royal Institute of Technology（瑞典皇家理工学院）
GraspTune提出触觉驱动的执行细化框架，通过有界残余运动和学习接触语义，在模拟和真实机器人上显著提升多种视觉抓取候选生成器的稳定抓取成功率。
2026-09-22 cs.RO
Center-of-Mass-based Robust Grasp Planning for Unknown Objects Using Tactile-Visual Sensors
Agile Robots AG（敏捷机器人公司）；Technische Universität München（慕尼黑工业大学）；Universität Hamburg（汉堡大学）
不稳定的抓取姿态会导致滑动，因此可以通过滑动检测来预测不稳定的抓取姿态。之后需要重新抓握以纠正抓握姿势以完成任务。在这项工作中，我们提出了一种新的重握规划器与多传感器模块计划把握调整与反馈从滑检测器。然后训练一个重新抓取规划器来估计质心的位置，这有助于机器人找到一个最佳的抓取姿势。该数据集由一对触觉传感器、一台RGB-D相机和一台配备关节力/扭矩传感器的Franka Replika机器人手臂收集的1 025个滑动实验和1 347个重握实验组成。我们表明，我们的算法可以成功地检测和分类5未知的测试对象的滑动，准确率为76.88%和一个regrasp计划器增加了31.0%的把握成功率相比，国家的最先进的基于视觉的把握算法。
2020-06-01 cs.RO
TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation
Purdue University（普渡大学）；University of Florida（佛罗里达大学）
研究动态移动操纵中触觉传感在全身控制的作用，提出 TAC-LOCO 框架，编码触觉观测与本体感觉统一控制肢体，经奖励设计使策略能应对多种情况，部署后实现降力及低掉落率。
2026-07-17 cs.RO
Learning Fine Pinch-Grasp Skills using Tactile Sensing from A Few Real-world Demonstrations
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Touchlab Limited（Touchlab有限公司）；Department of Engineering Mathematics, University of Bristol（布里斯托尔大学工程数学系）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
提出一种数据高效的模仿学习框架，利用卷积自编码器提取触觉特征和多传感器融合，从少量真实演示中学习精细双臂捏取抓取技能，并验证了其鲁棒性和泛化能力。
2024-03-17 cs.RO
Soft Finger Grasp Force and Contact State Estimation from Tactile Sensors
Fraunhofer IPK（弗劳恩霍夫生产系统与设计技术研究所）；School of Mechanical Engineering, Korea University（高丽大学机械工程学院）
本文研究利用集成软体触觉传感器与神经网络回归手指总力向量，并在插接任务中实现无需针对特定物体训练的接触状态估计。
2024-10-25 cs.RO
Robotic Perception of Object Properties using Tactile Sensing
University of Liverpool（利物浦大学）
触觉在使人类能够理解周围环境并与之互动方面起着关键作用。对于机器人来说，触觉感知也是不可替代的。当与物体交互时，触觉感知为机器人理解物体提供有用的信息，例如分布的压力、温度、振动和纹理。在机器人抓取过程中，视觉往往被其末端执行器遮挡，而触觉感知可以测量视觉无法到达的区域。在过去的几十年中，已经开发了许多触觉传感器用于机器人，并用于不同的机器人任务。在这一章中，我们专注于使用触觉感知的机器人抓，并调查最近的趋势，在触觉感知的对象属性。我们首先讨论了三个重要的物体性质的触觉感知在抓，即，形状、姿态和材料属性。然后，我们回顾了最近的发展与触觉感知的抓持稳定性预测。在这些工作中，我们确定了协调视觉和触觉感知在机器人抓取的要求。为了证明使用触觉感知，以改善视觉感知，我们最近的发展视觉引导的触觉感知裂纹重建。在所提出的框架中，首先利用摄像机视觉的大感受野来实现包含裂纹的候选区域的快速搜索，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精细的裂纹形状。实验结果表明，我们提出的方法可以实现显着减少的平均距离误差从0.82 mm到0.24 mm的裂纹重建。最后，我们结束本章的开放性问题和未来的方向，在机器人任务中应用触觉感知的讨论。
2021-12-28 cs.RO
Tactile Model O: Fabrication and testing of a 3d-printed, three-fingered tactile robot hand
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
为机器人手带来触觉将允许更有效的抓握，以及类似人类触摸的广泛好处。在这里，我们提出了一个3D打印的三指触觉机器人手，包括一个定制的OpenHand Model O，用于在每个手指的远端指骨中容纳TacTip柔软的仿生触觉传感器。我们期望将这种欠驱动手的抓取能力与复杂的触觉感知相结合，将导致一个有效的机器人手研究平台-触觉模型O（T-MO）。该设计使用了三个JeVois机器视觉系统，每个系统都包括一个位于触觉指尖的微型摄像头和一个位于手底部的处理模块。为了评估T-MO的能力，我们使用YCB对象集上的抓取器评估基准对其抓取性能进行基准测试。触觉感知的能力进行评估，通过执行触觉对象分类的26个对象，并预测是否把握将成功地解除每个对象。结果与最新技术水平一致，利用了应用于触觉图像输出的深度学习的进步。总的来说，这项工作表明，T-MO是一个有效的平台，机器人手的研究，我们希望它打开了一系列的应用在自主物体处理。补充视频：https://youtu.be/RTcCpgffCrQ。
2020-08-14 cs.RO
Disambiguate Gripper State in Grasp-Based Tasks: Pseudo-Tactile as Feedback Enables Pure Simulation Learning
Zhejiang University（浙江大学）；Huawei（华为）
针对抓取任务中夹爪状态歧义降低模仿学习鲁棒性的问题，提出以伪触觉作为反馈的方法，无需额外数据与硬件即可提供无噪声二元状态观测，实现纯仿真学习并在三个真实任务中验证了其有效性与高效性。
2026-10-06 cs.RO
Tracing Energy Flow: Learning Tactile-based Grasping Force Control to Reduce Slippage in Dynamic Object Interaction
Graduated School of Science and Technology（科学技术研究生学校）；Nara Institute of Science and Technology（奈良科学技术大学）；Honda R&D, Ltd.（本田研发有限公司）
本文提出了一种基于触觉的抓取力控制方法，通过能量抽象和模型学习，在动态交互中有效防止滑动，无需外部传感或先验知识。
2026-09-10 cs.RO
Slip Detection with Combined Tactile and Visual Information
Computer Science and Artificial Intelligence Laboratory (CSAIL), MIT（麻省理工学院计算机科学与人工智能实验室（CSAIL））
滑动检测在机器人操作中起着至关重要的作用，它一直是机器人界的一个具有挑战性的问题。本文提出了一种基于深度神经网络（DNN）的滑动检测新方法。利用GelSight触觉传感器和摄像头采集机械臂在不同抓取力和抓取位置下抓取和提升94个日常物体时的训练数据。DNN被训练来分类是否发生了滑动。为了评估DNN的性能，我们在152次抓取中测试了10个看不见的物体。检测准确率高达88.03%。预计可以通过更大的数据集进一步提高准确性。该方法有利于机器人稳定抓取，可广泛应用于自动力控制、抓取策略选择和精细操作等领域。
2018-02-27 cs.RO
Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration
College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学）
本文提出一种基于手套的触觉-运动学感知-预测框架，通过模仿学习将人类抓取技能迁移至机器人手，利用图结构和时空图网络实现泛化抓取。
2025-09-10 cs.AI cs.RO
Manipulation via Membranes: High-Resolution and Highly Deformable Tactile Sensing and Control
University of Michigan（密歇根大学）
同位触觉感知是灵巧操作的基本使能技术。然而，可变形传感器引入了机器人，抓取物体和环境之间的复杂动力学，必须考虑精细操作。在这里，我们提出了一种方法来学习软触觉传感器膜的动态，占传感器的变形所造成的抓持的物体和环境之间的物理相互作用。我们的方法结合了感知的三维几何形状的膜与本体感受反应扳手，以预测未来的变形条件下的机器人行动。从膜的几何形状和反应扳手，解耦的触觉观察模型的相互作用动力学的把握对象的姿态恢复。我们将我们的方法基准放在两个现实世界中接触丰富的任务上：用抓着的标记和在手旋转。我们的研究结果表明，明确建模膜动力学实现更好的任务性能和泛化到看不见的对象比基线。
2022-09-27 cs.RO
TacDexGrasp: Compliant and Robust Dexterous Grasping with Tactile Feedback
Peking University（北京大学）；Galbot；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
TacDexGrasp通过触觉反馈和SOCP控制器实现灵活且稳健的灵巧抓取，有效解决多指抓取中的力分配和滑动问题。
2026-03-07 cs.RO
TouchDrive: Electronics-Free Tactile Sensing Interface for Assistive Grasping
Division of Microsystems Technology, Department of Electrical Engineering（微系统技术部门）；Cyber-Physical Systems Lab, Department of Information Technology（网络物理系统实验室）
TouchDrive通过气动反馈实现无电子触觉感知，使用户能精确操控抓取力，适用于处理易碎和柔软物体，已在多种机器人平台验证可靠性和实用性。
2026-05-07 cs.RO
Exploiting High Quality Tactile Sensors for Simplified Grasping
Nottingham Trent University（诺丁汉特伦特大学）；Ulster University（阿尔斯特大学）
机器人被期望抓住各种各样的物体，这些物体的形状、重量或材料类型都不同。因此，为机器人提供类似于人类的触觉能力对于涉及人与机器人或机器人与机器人交互的应用至关重要，特别是在机器人预期抓取和操纵以前未遇到的复杂物体的情况下。成功抓取和操纵物体的一个关键方面是使用配备有多个高性能传感器的高质量指尖，这些传感器适当地分布在特定的接触表面上。在本文中，我们提出了一个详细的分析使用两种不同类型的商用机器人指尖（BioTac和WTS-FT），其中每一个都配备了多个传感器分布在指尖的接触表面。我们进一步证明，由于指尖的高性能，不需要复杂的自适应抓取算法来抓取日常物体。我们的结论是，一个简单的算法的基础上的比例控制器将足以为许多抓应用程序，提供相关的指尖表现出高灵敏度。在定量评估中，我们还证明，部分由于传感器分布，基于BioTac的指尖比WTS-FT设备表现更好，能够提升高达850 g的负载，并且简单的比例控制器即使在物体暴露于显著的外部振动挑战时也可以适应抓握。
2022-07-25 cs.CV cs.RO
GelSight EndoFlex: A Soft Endoskeleton Hand with Continuous High-Resolution Tactile Sensing
Massachusetts Institute of Technology（麻省理工学院）
提出一种具备连续高分辨率触觉感知的柔顺三指机械手GelSight EndoFlex，通过双摄像头与软体内骨骼设计，实现单次包络抓取即可完成物体识别。
2023-03-31 cs.RO
DA-GRD: Decision-Aware Grasp-Relevant Disambiguation for tactile recovery under perception-to-execution mismatches
Institute of Advanced Intelligence and Computing (IAIC), Agency for Science, Technology and Research (A*STAR)（先进智能与计算研究所（IAIC），新加坡科技研究局（A*STAR））；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
针对感知-执行失配下的抓取姿态失效问题，提出决策感知的触觉消歧方法DA-GRD，通过加权平面信念与选择性触觉探测，在无视觉条件下以少量交互高效恢复可执行抓取，显著提升成功率。
2026-09-25 cs.RO
Tactile Sensing-based Secure and Gentle Grasping of Unknown Objects
New York Institute of Technology（纽约理工学院）
针对未知物体安全轻柔抓取的挑战，提出基于触觉传感模块的在线数据驱动预测控制框架，结合有限状态机抓取力探测与GP模型，实现100Hz实时动态操作，性能优于基线策略。
2026-10-12 cs.RO
