Learning-Based Collaborative Control for Bi-Manual Tactile-Reactive Grasping
Department of Computer Science, Mississippi State University（密苏里州立大学计算机科学系）；Department of Mechanical Engineering, Villanova University（维拉诺瓦大学机械工程系）
本文提出一种基于学习的触觉反应式多智能体模型预测控制器，利用双 Gelsight Mini 传感器实时估计接触动力学与物体柔顺性，实现双手协同抓取不同软硬度和形状的物体，并在实验中优于 PD 和 MPC 基线。
2025-09-24 cs.RO
Shear-based Grasp Control for Multi-fingered Underactuated Tactile Robotic Hands
University of Bristol（布里斯托尔大学）；University of Pisa（比萨大学）；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）
该研究针对欠驱动触觉机械手的易碎物体抓取操控问题，提出基于microTac触觉传感器反馈的剪切力控制框架，结合深度学习与迁移学习构建接触模型，实现了抗干扰的类人灵巧操控。
2025-03-21 cs.RO
TacPalm: A Soft Gripper with a Biomimetic Optical Tactile Palm for Stable Precise Grasping
King’s College London（伦敦国王学院）；University of Bristol（布里斯托尔大学）；Imperial College London（伦敦帝国理工学院）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
本文提出在软体夹爪掌部集成TacTip光学触觉传感器，并通过轻接触检测、抓取姿态调整和脱离接触检测三种策略，将抓取成功率从45%提升至97%，实现亚毫米级精确放置。
2024-09-23 cs.RO
Soft Finger Grasp Force and Contact State Estimation from Tactile Sensors
Fraunhofer IPK（弗劳恩霍夫生产系统与设计技术研究所）；School of Mechanical Engineering, Korea University（高丽大学机械工程学院）
本文研究利用集成软体触觉传感器与神经网络回归手指总力向量，并在插接任务中实现无需针对特定物体训练的接触状态估计。
2024-10-25 cs.RO
Tactile Model O: Fabrication and testing of a 3d-printed, three-fingered tactile robot hand
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
为机器人手带来触觉将允许更有效的抓握，以及类似人类触摸的广泛好处。在这里，我们提出了一个3D打印的三指触觉机器人手，包括一个定制的OpenHand Model O，用于在每个手指的远端指骨中容纳TacTip柔软的仿生触觉传感器。我们期望将这种欠驱动手的抓取能力与复杂的触觉感知相结合，将导致一个有效的机器人手研究平台-触觉模型O（T-MO）。该设计使用了三个JeVois机器视觉系统，每个系统都包括一个位于触觉指尖的微型摄像头和一个位于手底部的处理模块。为了评估T-MO的能力，我们使用YCB对象集上的抓取器评估基准对其抓取性能进行基准测试。触觉感知的能力进行评估，通过执行触觉对象分类的26个对象，并预测是否把握将成功地解除每个对象。结果与最新技术水平一致，利用了应用于触觉图像输出的深度学习的进步。总的来说，这项工作表明，T-MO是一个有效的平台，机器人手的研究，我们希望它打开了一系列的应用在自主物体处理。补充视频：https://youtu.be/RTcCpgffCrQ。
2020-08-14 cs.RO
TactileGCN: A Graph Convolutional Network for Predicting Grasp Stability with Tactile Sensors
University of Alicante（阿利坎特大学）
触觉传感器在与物体交互期间提供有用的接触数据，其可用于准确地学习以确定抓握的稳定性。文献中的大多数作品将触觉读数表示为普通特征向量或矩阵状触觉图像，使用它们来训练机器学习模型。在这项工作中，我们探索了一种利用触觉信息来预测把握稳定性的替代方法，通过利用触觉数据的图形表示，它保留了传感器的taxels及其位置的实际空间布置。在实验中，我们训练了一个图神经网络来对抓取进行二进制分类，分为稳定抓取和滑动抓取。为了训练这样的网络并证明其对手头问题的预测能力，我们捕获了一个新的数据集，其中包含41个对象的大约5000个三指抓握用于训练，以及10个未知对象的1000个抓握用于测试。我们的实验证明，这种新的方法可以有效地用于预测把握稳定性。
2019-01-18 cs.LG cs.RO stat.ML
TacFinRay: Soft Tactile Fin-Ray Finger with Indirect Tactile Sensing for Robust Grasping
Graduate School of Data Science at Kyungpook National University（Kyungpook National University 数据科学研究生院）；University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
TacFinRay通过间接触觉感知实现稳健抓取，具备高精度触觉传感与灵活适应能力。
2025-12-06 cs.RO
Learning Object Compliance via Young's Modulus from Single Grasps using Camera-Based Tactile Sensors
Massachusetts Institute of Technology (MIT)（麻省理工学院）
本研究针对机器人柔顺性估计跨形状与材料泛化难的问题，结合相机触觉、本体感知与力数据，提出多塔神经网络混合方法估计物体杨氏模量，在285种物体数据集上达74.2%数量级准确率，优于基线且鲁棒性更强。
2025-07-30 cs.RO
The impact of tactile sensor configurations on grasp learning efficiency -- a comparative evaluation in simulation
Faculty of Information Technology and Bionics, Pázmány Péter Catholic University（信息科技与生物学院，帕兹曼·彼得天主教大学）
本研究通过仿真评估了不同触觉传感器配置对抓取学习效率的影响，发现一种配置在两个设置中均表现最佳，为机器人手设计提供了参考。
2026-01-15 cs.RO
Non-Matrix Tactile Sensors: How Can Be Exploited Their Local Connectivity For Predicting Grasp Stability?
University of Alicante（阿利坎特大学）；Computer Science Research Institute, University of Alicante（阿利坎特大学计算机科学研究所）
触觉传感器在与物体的交互过程中提供有用的信息，这些信息可用于评估抓握的稳定性。以前关于这个主题的大多数作品通过计算手工挑选的特征将触觉读数作为信号处理。他们中的一些人已经将这些读数作为图像处理，计算矩阵式传感器的特性。在这项工作中，我们将探讨如何非矩阵传感器（传感器与taxels不完全安排在一个矩阵）可以作为触觉图像处理。此外，我们证明了他们可以用于预测把握稳定性训练卷积神经网络（CNN）与他们。我们在41个日常物体上捕获了超过2500个真实的三指抓握，以训练一个利用非矩阵触觉传感器固有的局部连接的CNN，在预测稳定性方面实现了94.2%的F1分数。
2018-09-14 cs.LG cs.RO
Inter-finger Small Object Manipulation with DenseTact Optical Tactile Sensor
Stanford University（斯坦福大学）
本文提出利用配备DenseTact 2.0触觉传感器的八自由度夹爪，在杂乱环境中实现5-25mm小物体的精确抓取与定向，结合专用数据集和新控制算法，达到88%的抓取成功率。
2023-08-31 cs.RO
Quantitative Hardness Assessment with Vision-based Tactile Sensing for Fruit Classification and Grasping
Hong Kong Center for Construction Robotics（香港建设机器人中心）；The Hong Kong University of Science and Technology（香港理工大学）；Daimon Robotics（达梦机器人）；School of Engineering（工程学院）；Great Bay University（大湾大学）
本文提出一种基于视觉触觉传感的水果硬度定量评估框架，通过单次接触的法向力动态计算硬度，提升机器人抓取力实时适应性并减少损伤，实验验证了其在不同水果类型和成熟度跟踪中的有效性与鲁棒性。
2025-05-09 cs.RO
MagCilia: A Compact Magnetociliary Tactile Sensor with 3D Force Sensing for Robotic Contact Perception and Grasping Feedback
National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）；City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
本文提出MagCilia，一种结合磁纤毛与霍尔传感器的紧凑触觉传感器，通过CHFR算法实现3D力重建，并支持抓取反馈与高精度表面识别。
2026-11-04 cs.RO
Dynamic Layer Detection of Thin Materials using DenseTact Optical Tactile Sensors
Stanford University（斯坦福大学）
本文提出一种使用DenseTact 2.0光学触觉传感器的定制夹爪，通过拟人化摩擦运动收集多模态数据并利用基于transformer的网络进行薄材料层数检测的新方法，有效解决了机器人操作中的抓取构型等失败模式问题。
2025-08-11 cs.RO
Sensorimotor-inspired Tactile Feedback and Control Improve Consistency of Prosthesis Manipulation in the Absence of Direct Vision
Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
上肢假肢缺乏触觉感知，迫使截肢者主要依靠视觉线索来完成日常生活活动。相比之下，健全的人天生依赖于有意识的触觉感知和自动触觉反射来控制不允许持续视觉注意的情况下的意志行动。因此，我们提出了一个肌电假肢系统，反映了这些概念，以帮助操作性能没有直接的视觉。为了实现这一设计，我们构建了两个基于织物的触觉传感器，它们可以测量假肢手指的手掌侧和手背侧的接触位置，并在假肢拇指的尖端处抓住压力。受自然感觉运动系统的启发，我们使用来自这些传感器的测量来提供接触位置的振动触觉反馈，并实现触觉抓握控制器，该触觉抓握控制器使用自动反射来防止过度抓握和物体滑动。我们将该系统与标准肌电假肢进行了一项具有挑战性的无直视取放任务进行比较; 17名身体健全的成年人参加了这项单次受试者间研究。与标准组的参与者相比，触觉组的参与者实现了更一致的高性能。这些结果表明，除了接触位置反馈和反射控制增加的一致性，在上肢假肢可以抓住和移动的对象没有直接的视觉。
2021-07-14 cs.RO
Magnetic Tactile-Driven Soft Actuator for Intelligent Grasping and Firmness Evaluation
Soft BioRobotics Perception Lab, Istituto Italiano di Tecnologia (IIT)（软生物机器人感知实验室，意大利技术研究院）；The BioRobotics Institute, Scuola Superiore Sant’Anna (SSSA)（生物机器人研究所，圣安娜高等学院）；Department of Haptic Intelligence, CVTE Guangzhou Shiyuan Electronics Co., Ltd（触觉智能部门，广州世渊电子有限公司）；Università degli Studi di Genova (UniGe)（热那亚大学）
本文提出磁性触觉驱动软执行器，结合磁传感、学习校正和实时推断，实现智能抓取与刚度评估。
2025-12-02 cs.RO
RoTipBot: Robotic Handling of Thin and Flexible Objects using Rotatable Tactile Sensors
School of Aerospace Engineering, Beijing Institute of Technology（北京理工大学航天工程学院）；Department of Engineering, King’s College London（伦敦国王学院工程系）；Department of Data Science and AI, Monash University（墨尔本大学数据科学与人工智能系）
本文提出RoTipBot机器人系统，通过配备可旋转的视觉触觉传感器RoTip，实现对薄柔性物体的多层计数与同时抓取，速度比现有方法快达三倍。
2025-04-28 cs.RO
Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors
Robotics Institute（机器人研究所）；The Hong Kong University of Science and Technology（香港科技大学）
从本质上讲，成功的抓握归结为对指尖和物体之间的多次接触事件的正确反应。在大多数情况下，触觉感知足以区分接触事件。由于触觉信息的高维性，使用传统的基于模型的方法对时空触觉信号进行分类是困难的。在这项工作中，我们提出使用深度学习方法来预测和分类触觉信号，寻求提高机器人抓取系统对可能导致抓取失败的外部事件变化的适应性。我们开发了一个深度学习框架，并收集了6650触觉图像序列与基于视觉的触觉传感器，和神经网络集成到一个基于接触事件的机器人抓取系统。在抓取实验中，我们实现了52%的增加与接触检测的物体提升成功率，显着更高的鲁棒性下的意外负载与滑动预测相比，开环抓地力，表明所提出的框架集成到机器人抓取系统大大提高采摘成功率和能力，以抵御外部干扰。
2019-10-09 cs.CV cs.LG cs.RO
Embedding high-resolution touch across robotic hands enables adaptive human-like grasping
Institute for Artificial Intelligence（人工智能研究所）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；PKU-Wuhan Institute for Artificial Intelligence（北大武汉人工智能研究所）；College of Engineering（工程学院）；School of Engineering and Materials Science（工程与材料科学学院）
提出具备高分辨率触觉感知的仿生机器人手 F-TAC Hand，结合生成算法合成类人手部配置，在600次真实世界试验中显著提升了动态环境下的复杂操作与抓取能力。
2025-09-12 cs.RO
Compressed Sensing for Tactile Skins
Rensselaer Polytechnic Institute（伦斯勒理工学院）
通过触觉皮肤的全身触觉感知为非结构化环境中的机器人提供了很大的好处。为了充分实现这一好处，触觉系统必须支持在大量触觉传感器元件上的实时数据采集。我们提出了一种新的方法，可扩展的触觉数据采集，使用压缩传感。我们首先证明，触觉数据是服从压缩传感技术。然后，我们开发了一种快速数据采样、压缩和重建的解决方案，该解决方案适合触觉系统硬件，并有可能降低布线复杂性。最后，我们评估我们的技术在模拟触觉传感器网络的性能。我们的评估表明，压缩比为3比1的压缩感知可以实现比噪声传感器数据的完整数据采集更高的信号采集精度。
2016-03-04 cs.RO
Vision and Tactile Robotic System to Grasp Litter in Outdoor Environments
University of Alicante（阿利坎特大学）；University Institute for Engineering Research, Miguel Hernandez University（米格尔·埃尔南德斯大学工程研究学院）
提出一种结合视觉与触觉的机械臂系统，用于户外垃圾检测、定位与抓取，实验平均收集成功率达94%。
2024-07-16 cs.RO
An Electromagnetism-Inspired Method for Estimating In-Grasp Torque from Visuotactile Sensors
OMRON SINIC X Corporation（欧姆龙SINIC X公司）
研究针对触觉扭矩估计关注少的问题，提出基于触偶极矩概念的方法，通过分析二维标记位移矢量场估计抓持内扭矩，实验证明其简单且有效。
2024-04-24 cs.RO
Design of a Fully Actuated Robotic Hand With Multiple Gelsight Tactile Sensors
Massachusetts Institute of Technology（麻省理工学院）
这项工作详细介绍了一种新型的两个手指的机器人夹持器与多个Gelsight的光学触觉传感器覆盖的手的内表面的设计。多个Gelsight传感器可以同时从多个视图收集物体的表面拓扑结构，并可以跟踪剪切应力和拉伸应力。此外，其他感测模态使手能够从被抓握的物体收集热、声和振动信息。力控夹持器是完全致动的，因此它可以用于各种抓取配置，也可以用于手操作任务。在这里，我们提出了这样的夹具的设计。
2020-02-06 cs.RO
Tactile-Based Insertion for Dense Box-Packing
Massachusetts Institute of Technology（麻省理工学院）
我们研究的问题，使用高分辨率的触觉传感器来控制插入的对象在一个盒子包装的情况下。我们提出了一个新的系统的基础上的触觉传感器GelSlim的密集包装任务。在本文中，我们提出了一种插入策略，利用触觉感知：1）安全地探测与把握物体的盒子，同时监测初期的滑动，以保持稳定的把握对象。2)估计并校正残余位置不确定性，以将对象插入指定间隙中而不干扰环境。我们提出的方法是基于两个神经网络，估计错误的方向和错误的大小，从一个流的触觉印记，获得两个GelSlim手指，在插入过程中。该系统在具有基本几何形状的四个对象上进行训练，我们将其推广到其他四个常见对象。基于估计的位置误差，启发式控制器迭代地调整对象的位置，并最终将其成功地插入，而不需要对象的几何形状的先验知识。关键的洞察力是，密集的触觉反馈包含有用的信息，相对于抓住的对象和它的环境之间的接触互动。我们实现了很高的成功率，并表明，未知的对象可以插入平均6次尝试的探针正确的循环。该方法的能力，以推广到新的对象，使其非常适合在仓库自动化装箱。
2019-09-12 cs.RO
Geometric Reconstruction of Extrinsic Contact Trajectories using Tactile Sensing and Proprioception for Tool Manipulation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Korea Institute of Machinery and Materials（韩国机械与材料研究院）
提出一种基于触觉感知和机器人本体感觉重建工具尖端外在接触轨迹的方法，通过单点接触假设和校准段估计全局接触位置，结合连续接触下的相对运动估计，实现实时轨迹重建。
2026-08-18 cs.RO
Exploiting High Quality Tactile Sensors for Simplified Grasping
Nottingham Trent University（诺丁汉特伦特大学）；Ulster University（阿尔斯特大学）
机器人被期望抓住各种各样的物体，这些物体的形状、重量或材料类型都不同。因此，为机器人提供类似于人类的触觉能力对于涉及人与机器人或机器人与机器人交互的应用至关重要，特别是在机器人预期抓取和操纵以前未遇到的复杂物体的情况下。成功抓取和操纵物体的一个关键方面是使用配备有多个高性能传感器的高质量指尖，这些传感器适当地分布在特定的接触表面上。在本文中，我们提出了一个详细的分析使用两种不同类型的商用机器人指尖（BioTac和WTS-FT），其中每一个都配备了多个传感器分布在指尖的接触表面。我们进一步证明，由于指尖的高性能，不需要复杂的自适应抓取算法来抓取日常物体。我们的结论是，一个简单的算法的基础上的比例控制器将足以为许多抓应用程序，提供相关的指尖表现出高灵敏度。在定量评估中，我们还证明，部分由于传感器分布，基于BioTac的指尖比WTS-FT设备表现更好，能够提升高达850 g的负载，并且简单的比例控制器即使在物体暴露于显著的外部振动挑战时也可以适应抓握。
2022-07-25 cs.CV cs.RO
Re-evaluating Parallel Finger-tip Tactile Sensing for Inferring Object Adjectives: An Empirical Study
Queensland University of Technology（昆士兰科技大学）
指尖触觉传感器越来越多地用于机器人传感，以建立稳定的抓取并推断物体属性。在一些用于推断描述对象的形容词的作品中已经显示出有希望的性能，但是关于每个形容词如何对性能做出贡献仍然存在问题。本文探讨了这个问题的实证实验，未来的指尖触觉传感器的使用和设计的领先见解。
2023-03-12 cs.RO
Interpreting and Predicting Tactile Signals via a Physics-Based and Data-Driven Framework
NVIDIA Corporation（英伟达公司）；University of Washington（华盛顿大学）
长期以来，人类手部的高密度传入被认为是人类抓握和操纵能力的关键。相比之下，机器人触觉传感器通常用于提供低密度接触数据，例如压力中心和合力。虽然有用，但是该数据没有利用一些触觉传感器（例如，SynTouch BioTac）天然提供。这项研究通过以下方式将机器人触觉感知扩展到降阶模型之外：1）在各种物理相互作用下自动创建BioTac的精确触觉数据集，2）BioTac的3D有限元（FE）模型，该模型使用高分辨率分布式接触数据补充实验数据集，以及3）从原始BioTac信号到低维实验数据的基于神经网络的映射，更重要的是，高密度的有限元变形场。这些数据流可以为抓取和操纵算法提供比以前更大量的可解释信息。
2020-06-06 cs.RO
GTac: A Biomimetic Tactile Sensor with Skin-like Heterogeneous Force Feedback for Robots
National University of Singapore（新加坡国立大学）；Guilin University of Electronic Technology（桂林电子科技大学）
人手的触觉感知能力在执行日常活动中是必不可少的。通过整合到手中的机械感受器同时感知法向力和剪切力，使人类能够完成日常任务，如抓取微妙的物体。在本文中，我们设计并制作了一种新型的仿生触觉传感器与皮肤的异质性，同时感知正常和剪切接触力。它通过结合非本征层（压阻传感器）和本征层（霍尔传感器）来模拟多层机械感受器，从而可以估计接触力方向、位置和关节级扭矩。通过集成我们的传感器，机器人抓取器可以在指尖获得接触力反馈;因此，机器人可以执行具有挑战性的任务，例如镊子的使用和鸡蛋抓取。这种富有洞察力的传感器设计可以定制并应用于机器人的不同领域，并为它们提供异构力感测，可能支持机器人获取类似皮肤的触觉反馈。
2022-01-28 cs.RO
Visual-Tactile Sensing for Real-time Liquid Volume Estimation in Grasping
Xi’an-Jiaotong Liverpool University（西交利物浦大学）；The University of Hong Kong（香港大学）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）
我们提出了一个深度视觉触觉模型，用于以本体感受的方式实时估计可变形容器内的液体。我们融合了两种感觉方式，即，RGB摄像头的原始视觉输入和我们特定触觉传感器的触觉提示，无需任何额外的传感器校准。机器人系统基于估计模型实时的进行良好的控制和调整。本文的主要贡献和创新点如下：1）探索了一种本体感觉液体体积估计的方法，利用多模态卷积网络建立了一种端到端的预测模型，在实验验证中，该预测模型具有很高的精度，误差在2 ml左右。2)提出了一种多任务学习架构，该架构综合考虑了分类和回归任务的损失，并在收集的数据和实际机器人平台上比较评估每个变体的性能。3)利用本体感受机器人系统精确地提供和控制所需体积的液体，所述液体实时的连续流入可变形容器。4)根据实时的液体体积预测，自适应调整抓取计划，实现更稳定的抓取和操作。
2022-08-16 cs.CV cs.RO
Visuo-Tactile Keypoint Correspondences for Object Manipulation
Korea Institute of Machinery & Materials（韩国机械与材料研究院）
本文提出利用视觉-触觉关键点对应关系引导机器人抓取与放置，无需后抓取调整，提高部署效率，实验显示精度优于传统视觉方法。
2024-05-23 cs.RO
A Robust Controller for Stable 3D Pinching using Tactile Sensing
University of Bristol（布里斯托大学）；Shadow Robotics Company（影子机器人公司）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本文提出了一种控制器的稳定把握未知形状的物体由两个机器人手指与触觉指尖。通过在接触表面上滚动指尖并施加期望的抓握力以达到平衡状态来稳定抓握。验证是在模拟和全驱动机器人手（阴影模块化抓钳）配备定制的光学触觉传感器（基于BRL TacTip）。控制器需要接触表面的方向，这是通过在触觉图像上回归深卷积神经网络来估计的。总体而言，掌握系统被证明实现稳定的平衡构成各种物体的形状和柔软度，与系统的扰动和测量误差是鲁棒的。这种方法也有希望扩展到抓取之外，用多个手指稳定地操纵手中的物体。
2021-07-01 cs.RO cs.SY eess.SY
Data-efficient Tactile Sensing with Electrical Impedance Tomography
The University of Edinburgh（爱丁堡大学）；KU Leuven（鲁汶大学）
针对EIT触觉传感器训练数据不足的问题，提出将单帧测量增强为32个有效样本的策略，使DNN数据需求降至1/31并显著提升重建精度。
2025-03-18 cs.RO
GelLink: A Compact Multi-phalanx Finger with Vision-based Tactile Sensing and Proprioception
Massachusetts Institute of Technology（麻省理工学院）
本文提出了GelLink，一种紧凑型欠驱动连杆驱动机械手指，通过优化连杆传动与平面反射模拟器，仅需单电机和单摄像头即可实现高分辨率视觉触觉与本体感知，显著提升了欠驱动手指的抓取适应性与鲁棒性。
2024-03-25 cs.RO
Soft Biomimetic Optical Tactile Sensing with the TacTip: A Review
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
在机器中再现人类触觉的能力是使机器人操作具有人类灵巧性的重要一步。需要机器人技术的组合，包括软机器人技术、仿生学技术和光学触觉传感器提供的高分辨率传感技术。这种组合在这里被认为是SoftBOT（软仿生光学触觉）传感器。本文回顾了BRL TacTip作为这种传感器的原型示例。主题包括人工皮肤形态与人类触摸的转换原理之间的关系，触觉剪切传感的性质和好处，用于制造和集成到机器人手中的3D打印，人工智能在触觉感知和控制中的应用，以及最近由于深度学习而导致的功能的逐步变化。这篇综述总结了过去十年来的进展，为机器人达到类似人类的灵巧指明了道路。
2021-07-22 cs.RO
TEXterity -- Tactile Extrinsic deXterity: Simultaneous Tactile Estimation and Control for Extrinsic Dexterity
MIT（麻省理工学院）；Magna International Inc.（Magna国际公司）
TEXterity通过结合触觉估计与控制，实现手握物体的精确操控，提升外延操作的精度和适应性。
2024-03-04 cs.RO
GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper
Massachusetts Institute of Technology（麻省理工学院）
为了适应不断变化的环境，并安全地与人类互动，机器人应该具有柔顺和柔软的特性，以及感知周围世界的能力。即便如此，将触觉感知结合到软顺应机器人中，如鳍雷手指，由于其可变形结构而很困难。不仅需要修改框架，为视觉传感器留出空间，从而实现复杂的触觉感知，机器人还必须保持其原始的机械顺应性。然而，将高分辨率触觉传感器添加到柔软的手指是困难的，因为许多传感器化的手指（诸如基于GelSight的手指）是刚性的，并且在感测区域中的变化仅来自触觉接触而不是来自手指顺应性的假设下起作用。传感器化的柔软机器人手指需要能够将其整体本体感受变化与其触觉信息分开。为此，本文介绍了一种新的设计GelSight鳍射线，它既体现了被动适应它掌握的任何对象的能力，也体现了执行高分辨率触觉重建，对象方向估计和剪切力和扭转力的标记跟踪的能力。拥有这些功能，柔软且顺从的机器人可以执行更多需要传感的操作任务。手指能够成功执行的一个这样的任务是厨房任务：酒杯的重新定向和放置，这很难用外部视觉传感器来完成，但用触觉感知就很容易了。这种传感技术的发展也有可能应用于其他软柔性夹具，提高其在许多不同领域的可行性。
2022-04-14 cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol（布里斯托大学）；University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出 GenForce 框架，通过共享标记表征统一触觉信号，实现跨同构与异构触觉传感器的力觉模型迁移，并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
SimTac: A Physics-Based Simulator for Vision-Based Tactile Sensing with Biomorphic Structures
Department of Engineering, King’s College London（工程系，伦敦国王学院）；School of Aerospace Engineering, Beijing Institute of Technology（航空工程学院，北京理工大学）；Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
SimTac是一个基于物理的模拟器，用于设计和验证生物形态触觉传感器，通过多种几何结构实现准确高效的触觉感知模拟。
2025-11-14 cs.RO
Interpreting and Predicting Tactile Signals for the SynTouch BioTac
NVIDIA Corporation（英伟达公司）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
在人手中，由传入神经元提供的高密度接触信息对于许多人类抓握和操纵能力是必不可少的。相比之下，机器人触觉传感器，包括最先进的SynTouch BioTac，通常用于提供低密度接触信息，如接触位置，压力中心和净力。虽然有用，但这些数据并不传达或利用一些触觉传感器自然测量的丰富信息内容。这项研究通过以下方式将机器人触觉感知扩展到降阶模型之外：1）在各种物理相互作用范围内自动创建BioTac的精确实验触觉数据集，2）BioTac的3D有限元（FE）模型，该模型用高密度分布式接触数据补充实验数据集，3）从原始BioTac信号到低维实验数据以及高密度FE变形场的基于神经网络的映射，以及4）从FE变形场到原始信号本身的映射。高密度的数据流可以为抓取和操纵算法提供比以前更大量的可解释信息。
2021-01-14 cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore（新加坡国立大学）
这项工作有助于事件驱动的视觉触觉感知系统，包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性，能够很好地适应出租车的数量。同样，我们的视觉触觉脉冲神经网络（VT-SNN）在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统（使用NeuTouch和Prophesee事件相机）的两个机器人任务：容器分类和旋转滑动检测。在这两个任务中，我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集，以鼓励对多模态事件驱动机器人感知的研究，我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
Transfer learning for vision-based tactile sensing
ETH Zurich（苏黎世联邦理工学院）
由于对材料的弹性特性进行建模的复杂性，机器学习算法在触觉感知应用中的使用不断增加。应用于计算机视觉的深度神经网络的最新进展使得基于视觉的触觉传感器因其高分辨率和低成本而非常有吸引力。本文讨论了一种可扩展到任意形状大表面的柔性光学触觉传感器。监督学习算法训练一个模型，该模型能够完全根据内部摄像头记录的图像重建传感器表面上的法向力分布。为了减少训练时间和对大数据集的需求，提出了一种校准过程，以在多个传感器之间传输所获得的知识，同时保持令人满意的性能。
2020-06-04 cs.RO
A Wearable Tactile Sensor Array for Large Area Remote Vibration Sensing in the Hand
University of California, Santa Barbara（加州大学圣巴巴拉分校）
触觉感知对于熟练的操纵和物体感知是必不可少的，但是现有的设备不能在对于人类触摸感测重要的全部范围内捕获机械信号，并且不能模仿人手的感测能力。最近的研究表明，人类触摸感测依赖于机械波在整个手部组织中的传输。这为手提供了远程捕获触摸接触的分布式振动特征的显著能力。重要的感觉系统在工程上很少受到注意。在这里，我们提出了一个可穿戴设备的灵感来自解剖和手的功能和人类的感官能力。该设备基于126通道传感器阵列，能够在自然手动活动期间捕获高分辨率触觉信号。它采用安装在柔性电路上的微型三轴传感器网络，其几何形状和拓扑结构设计与手部解剖结构相匹配，允许在自然交互期间捕获数据，同时最大限度地减少人为因素。每个传感器具有与人类触觉频率范围相匹配的频率带宽。通过定制FPGA和I $^2$ C网络实时的采集数据。我们还提出了生理信息的信号处理方法，用于重建整个手的触觉信号，使用该系统的数据。我们报告的实验表明，该系统能够准确地捕获远程产生的整个手的触觉信号在手动交互。
2019-08-22 cs.RO
Effective Estimation of Contact Force and Torque for Vision-based Tactile Sensor with Helmholtz-Hodge Decomposition
Hong Kong University of Science and Technology（香港科技大学）
从机器人触觉感知中获取丰富的接触信息对于有效感知机器人与之交互的对象属性来说一直是一项具有挑战性的重要任务。这项工作致力于开发一种算法来估计接触力和扭矩的视觉触觉传感器。我们首先介绍了在理想的单轴载荷下，在模拟超弹性材料的接触变形模式的观察。在此基础上，提出了一种基于Helmholtz-Hodge分解（HHD）算法的接触变形矢量场估计表面力和力矩的方法。大量的校准和基线比较的实验之后，验证了所提出的方法的有效性的预测误差和方差。所提出的算法被进一步集成到一个接触力可视化模块，以及一个闭环自适应把握力控制框架，并被证明是有用的接触稳定性和最小力抓任务的可视化。
2019-06-22 cs.RO
Augmenting Off-the-Shelf Grippers with Tactile Sensing
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对现成工业夹爪缺乏触觉反馈、自研传感器繁杂难对比的问题，研究团队提出一套专为精细操作设计、数据易解读的开源触觉指尖，经布料边缘与线缆追踪任务验证有效，相关资源已开源。
2023-06-09 cs.RO
Leveraging distributed contact force measurements for slip detection: a physics-based approach enabled by a data-driven tactile sensor
ETH Zurich（苏黎世联邦理工学院）
抓取物理性质未知的物体仍然是机器人领域的一个巨大挑战。大多数解决方案完全依赖于视觉数据来规划最佳抓取策略。然而，为了与人类的能力相匹配，并能够可靠地拾取和保持未知物体，在机器人系统中集成人工触觉是关键。本文描述了一种新的基于模型的滑动检测流水线，可以实时预测可能失败的抓握，并发出必要的抓握力增加的信号。因此，滑动检测器不依赖于手动收集的数据，而是利用物理学来概括不同的任务。为了评估这种方法，一个最先进的基于视觉的触觉传感器，准确地估计分布的力量被集成到一个由六个自由度的协作机器人和两个手指夹持器组成的抓取设置。结果表明，该系统可以可靠地预测滑动，同时操纵不同形状，材料和重量的对象。该传感器可以在各种情况下检测平移和旋转滑动，使其适合于提高抓握的稳定性。
2021-09-23 cs.CV cs.RO
Soft Robotic Link with Controllable Transparency for Vision-based Tactile and Proximity Sensing
Japan Advanced Institute of Science and Technology (JAIST)（日本北陆先端科学技术大学院大学（JAIST））；Hanoi University of Industry（河内工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
机器人已经在许多场景中接近人类工作。为了共存和合作，机器人应该是安全和愉快的人类互动。为此，机器人可以是具有多模态感测/感知的物理柔软的，使得机器人可以对周围环境有更好的认识，以及对人类的动作/意图做出适当的响应。介绍了一种基于计算机视觉和功能材料的新型柔性机器人连杆ProTac，该连杆具有触觉和接近传感两种传感模式。这些模态来自软透明硅皮肤、聚合物分散液晶（PDLC）膜和反射标记的分层结构。PDLC薄膜可以在不透明和透明状态之间主动切换，通过使用仅内置在ProTac链路内部的摄像头，可以获得触觉感知和接近传感。在本文中，推理算法的触觉接近感知。两种感知模式的评估结果表明，一个简单的激活策略，ProTac链接可以有效地感知有用的信息，从接近和接触的障碍物。该传感设备有望为具有柔软性、全身和多模态传感以及安全控制策略的机器人设计带来最终解决方案。
2022-11-07 cs.RO
A Handheld Device for the In Situ Acquisition of Multimodal Tactile Sensing Data
Georgia Tech（佐治亚理工学院）
多模态触觉感知可能使机器人能够通过快速区分任务相关对象来提高其在操作任务中的性能。这种触觉感知问题的数据驱动方法显示出希望，但缺乏合适的训练数据。在这两页纸，我们提出了一种便携式手持设备的多模态触觉感知数据的有效采集对象在其自然环境中，如家庭。该设备上的多模式触觉传感器集成了基于织物的力传感器、接触式麦克风、加速度计、温度传感器和加热元件。我们简要介绍了我们的方法，描述了设备，并通过一个小的数据集，我们捕获的一个人的家的浴室与7个任务相关的对象进行接触的评估证明了可行性。
2015-11-12 cs.RO
Extrinsic Contact Sensing with Relative-Motion Tracking from Distributed Tactile Measurements
Massachusetts Institute of Technology（麻省理工学院）
本文讨论了未知抓取刚性物体与其环境接触的定位问题，即，机器人的外在。我们探讨的关键作用，分布式触觉感知在机器人外部的接触定位中发挥的作用，相反，聚合力/扭矩测量在机器人上的接触定位中发挥的作用。当与环境接触时，物体将根据该接触所施加的运动学约束和可能的摩擦约束而移动。用触觉传感器可以观察到的物体的小运动间接地编码了这些约束和定义它们的几何形状。我们制定的外部接触传感问题作为一个基于约束的估计。该估计受到由对象运动的触觉测量所施加的运动学约束，以及运动学（例如，非穿透）和可能的摩擦（例如，粘附）由刚体力学施加的约束。我们验证的方法，在模拟和实际实验的情况下，研究定点和线接触。本文讨论了分布式触觉感知的价值的理论基础相比，聚合力/扭矩测量。它还提供了一个估计框架，用于定位在接触丰富的操纵场景，如组装或包装的潜在影响的环境接触。
2021-03-24 cs.RO
LocoTouch: Learning Dynamic Quadrupedal Transport with Tactile Sensing
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）
针对四足机器人动态物体交互中接触感知与控制的难题，提出配备高密度背部触觉传感器的LocoTouch系统，通过两阶段学习与新型奖励函数训练触觉感知运输策略，实现零样本现实迁移，可稳定运输多样无固定圆柱物体且鲁棒性强。
2025-08-30 cs.RO
GelSight FlexiRay: Breaking Planar Limits by Harnessing Large Deformations for Flexible,Full-Coverage Multimodal Sensing
Zhejiang University（浙江大学）
针对传统视觉触觉传感器依赖刚性结构、牺牲柔顺性和传感区域的问题，提出GelSight FlexiRay多模态视觉触觉传感器，通过多镜配置优化和类人多模态感知增强，实现软夹爪大幅变形下的稳健传感，性能优于现有技术。
2024-11-28 cs.RO
PneuGelSight: Soft Robotic Vision-Based Proprioception and Tactile Sensing
University of Illinois, Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University, USA（卡内基梅隆大学）
PneuGelSight通过内置相机实现高分辨率本体感觉与触觉感知，结合模拟到现实的管道，为柔软机器人提供新颖的传感方法。
2026-01-26 cs.RO
Tactile-Sensitive NewtonianVAE for High-Accuracy Industrial Connector Insertion
Panasonic Holdings Corporation（松下控股株式会社）；Panasonic Connect Co., Ltd.（松下互联解决方案有限公司）；Ritsumeikan University（立命馆大学）
工业连接器插入任务需要插头的亚毫米定位和抓握姿态补偿。因此，高度准确地估计插头和插座之间的相对姿态是实现该任务的基础。世界模型是一种很有前途的视觉控制技术，因为它可以获得适当的状态表示，以联合优化特征提取和潜在动力学模型。最近的研究表明，牛顿VAE，一种类型的世界模型，获得潜在的空间相当于从图像到物理坐标的映射。在牛顿型VAE的潜空间中可以实现比例控制。然而，将NewtonianVAE应用于物理环境中的高精度工业任务是一个悬而未决的问题。此外，现有的框架没有考虑在所获得的潜在空间中的抓取姿势补偿。在这项工作中，我们提出了一个灵活敏感的NewtonianVAE，并将其应用到USB连接器插入与把握姿态变化的物理环境。我们采用了GelSight型触觉传感器和估计的插入位置补偿的把握姿态的插头。我们的方法以端到端的方式训练潜在空间，不需要额外的工程和注释。简单的比例控制是可用在所获得的潜在空间。此外，我们表明，原来的NewtonianVAE失败在某些情况下，并证明了领域知识归纳提高模型的准确性。这个领域的知识可以很容易地获得使用机器人规范和把握姿态误差测量。我们证明，我们提出的方法实现了100\%的成功率和0.3 mm的定位精度在USB连接器插入任务在物理环境中。它优于基于SOTA CNN的两阶段目标姿态回归，并使用坐标变换进行抓取姿态补偿。
2022-08-02 cs.AI cs.RO
OPENGRASP-LITE Version 1.0: A Tactile Artificial Hand with a Compliant Linkage Mechanism
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology (CIT)（慕尼黑工业大学计算、信息与技术学院）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；the Centre for Tactile Internet with Human-in-the-Loop (CeTI)（以人为中心的触觉互联网中心）
本文提出开源轻量化触觉假手 OPENGRASP LITE，通过柔顺连杆与 MEMS 气压计触觉传感实现六自由度柔性抓取，为相关研究提供易获取平台。
2024-08-05 cs.RO cs.SY eess.SY
