Generation of GelSight Tactile Images for Sim2Real Learning
University of Liverpool（利物浦大学）
在Sim2Real学习机器人操作任务中，目前大多数工作都利用了在操作过程中可能被机器人手显著遮挡的相机视觉。触觉感知为视觉提供了补充信息，并且可以补偿由遮挡引起的信息损失。然而，由于没有可用的模拟触觉传感器，触觉感知的使用在Sim2Real研究中受到限制。为了减轻差距，我们介绍了一种新的方法，用于在常用的露台模拟器中模拟GelSight触觉传感器。与真实的GelSight传感器类似，模拟传感器可以通过光学传感器从触摸对象与不透明软膜之间的相互作用产生高分辨率图像。它可以间接感知物体的力、几何形状、纹理和其他属性，并通过触觉感知实现Sim2Real学习。初步实验结果表明，模拟传感器可以产生与真实GelSight传感器捕获的输出类似的真实输出。本文中使用的所有材料均可在https://danfergo.github.io/gelsight-simulation上获得。
2021-01-18 cs.RO
Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing
Meta AI Research（Meta AI研究）
针对触觉仿真与现实差距导致现有方法用简化触觉信号的问题，提出支持三进制剪切力与二进制法向力零样本仿真到现实迁移的触觉皮肤传感器模型，开发利用滑动接触的手部平移RL策略，实验证明三轴触觉策略优于多类基线。
2025-05-19 cs.LG cs.RO
Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Psychological and Cognitive Sciences, Peking University（北京大学心理与认知科学学院）；Beijing Key Laboratory of Behavior and Mental Health, Peking University（北京大学行为与心理健康北京市重点实验室）；State Key Lab of General AI, Beijing Institute for General AI（人工智能通用状态关键实验室，北京人工智能研究院）；AIVC Laboratory, University of California, Los Angeles（加州大学洛杉矶分校AIVC实验室）；Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence（北京大学武汉人工智能研究院具身智能实验室）
本文提出高性能GPU仿真平台Taccel，集成IPC和ABD实现精确物理与触觉信号模拟，在数千并行环境中实现18倍实时加速，并成功完成从仿真到现实的迁移，有效扩展了触觉机器人研究规模。
2025-09-12 cs.CV cs.RO
Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions
ETH Zurich（苏黎世联邦理工学院）
由基于视觉的触觉传感器捕获的图像携带关于高分辨率触觉场的信息，例如施加到其软感测表面的接触力的分布。然而，提取图像中编码的信息是具有挑战性的，并且通常使用基于学习的方法来解决，这通常需要大量的训练数据。本文提出了一种策略，以产生触觉图像的模拟基于视觉的触觉传感器的基础上的内部摄像头，跟踪软材料内的球形颗粒的运动。在不同的接触条件下，在有限元环境中模拟材料的变形，并将球形颗粒投影到模拟图像上。从图像中提取的特征被映射到3D接触力分布，地面实况也通过有限元模拟获得，因此人工神经网络完全在合成数据上进行训练，避免了对真实世界数据汇集的需要。在真实世界的触觉图像上进行评估时，所得到的模型具有很高的准确性，无需进一步训练即可在多个触觉传感器之间转移，并且适合于高效的实时推理。
2021-09-30 cs.CV cs.RO
FlexiTac: A Low-Cost, Open-Source, Scalable Tactile Sensing Solution for Robotic Systems
Columbia University（哥伦比亚大学）
FlexiTac是一种低成本、开源、可扩展的触觉传感模块，通过灵活的传感器垫和紧凑的读取板实现高密度触觉信号采集，支持现代触觉学习流程。
2026-04-30 cs.AI cs.LG cs.RO
Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing
Institute for Dynamic Systems and Control, ETH Zurich（苏黎世联邦理工学院动态系统与控制研究所）
触觉感知的数据驱动方法旨在克服与软材料精确建模接触的复杂性。然而，它们的广泛采用受到了对数据效率和应用于各种任务时的泛化能力的担忧的影响。本文着重于这两个方面的基于视觉的触觉传感器，其目的是重建的三维接触力的分布施加在其柔软的表面。软材料和摄像机投影的精确模型，通过在各自领域的最先进的技术推导，用于生成模拟数据集。提出了一种完全从仿真数据中训练量身定制的深度神经网络的策略。由此产生的学习架构可以直接在多个触觉传感器之间转移，而无需进一步训练，并对真实数据进行准确的预测，同时对看不见的接触条件显示出有前途的泛化能力。
2020-03-05 cs.CV cs.RO
Tactile Robotics: Past and Future
School of Engineering Mathematics and Technology, University of Bristol, UK（工程数学与技术学院，布里斯托尔大学）
本文回顾了触觉机器人从起源到未来的演变，指出其在2025年后可能实现广泛商用，应用于灵巧性、智能理解及远程存在。
2025-11-30 cs.RO
Compressed Sensing for Tactile Skins
Rensselaer Polytechnic Institute（伦斯勒理工学院）
通过触觉皮肤的全身触觉感知为非结构化环境中的机器人提供了很大的好处。为了充分实现这一好处，触觉系统必须支持在大量触觉传感器元件上的实时数据采集。我们提出了一种新的方法，可扩展的触觉数据采集，使用压缩传感。我们首先证明，触觉数据是服从压缩传感技术。然后，我们开发了一种快速数据采样、压缩和重建的解决方案，该解决方案适合触觉系统硬件，并有可能降低布线复杂性。最后，我们评估我们的技术在模拟触觉传感器网络的性能。我们的评估表明，压缩比为3比1的压缩感知可以实现比噪声传感器数据的完整数据采集更高的信号采集精度。
2016-03-04 cs.RO
UniTacHand: Unified Spatio-Tactile Representation for Human to Robotic Hand Skill Transfer
Peking University（北京大学）；BeingBeyond
UniTacHand通过统一空间触觉表示，实现从人类到机械手的零样本触觉政策转移，提升触觉驱动的灵巧操作能力。
2025-12-29 cs.RO
Robotic Perception of Object Properties using Tactile Sensing
University of Liverpool（利物浦大学）
触觉在使人类能够理解周围环境并与之互动方面起着关键作用。对于机器人来说，触觉感知也是不可替代的。当与物体交互时，触觉感知为机器人理解物体提供有用的信息，例如分布的压力、温度、振动和纹理。在机器人抓取过程中，视觉往往被其末端执行器遮挡，而触觉感知可以测量视觉无法到达的区域。在过去的几十年中，已经开发了许多触觉传感器用于机器人，并用于不同的机器人任务。在这一章中，我们专注于使用触觉感知的机器人抓，并调查最近的趋势，在触觉感知的对象属性。我们首先讨论了三个重要的物体性质的触觉感知在抓，即，形状、姿态和材料属性。然后，我们回顾了最近的发展与触觉感知的抓持稳定性预测。在这些工作中，我们确定了协调视觉和触觉感知在机器人抓取的要求。为了证明使用触觉感知，以改善视觉感知，我们最近的发展视觉引导的触觉感知裂纹重建。在所提出的框架中，首先利用摄像机视觉的大感受野来实现包含裂纹的候选区域的快速搜索，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精细的裂纹形状。实验结果表明，我们提出的方法可以实现显着减少的平均距离误差从0.82 mm到0.24 mm的裂纹重建。最后，我们结束本章的开放性问题和未来的方向，在机器人任务中应用触觉感知的讨论。
2021-12-28 cs.RO
Bayesian Grasp: Robotic visual stable grasp based on prior tactile knowledge
机器人抓取检测是非结构化环境中智能操作的基本能力。以往的研究主要是通过视觉和触觉的融合来实现稳定的抓取，而整个抓取过程严重依赖于再抓取，需要花费大量的时间来调节和评估。我们提出了一种新的方法来提高机器人抓：通过学习触觉知识，机器人可以实现稳定的把握从图像。首先，我们构建了一个先验的触觉知识学习框架与新的把握质量度量，这是通过测量其抵抗外部扰动。其次，我们提出了一个多阶段的贝叶斯抓取架构，通过一个单一的RGB图像的基础上先验触觉知识生成稳定的把握配置。结果表明，该框架可以对抓握结果进行分类，对已知物体的平均准确率为86%，对新物体的平均准确率为79%。先验触觉知识比传统的基于视觉的策略提高了55%的成功率。
2019-09-16 cs.RO
Compressed Sensing for Scalable Robotic Tactile Skins
Rensselaer Polytechnic Institute（伦斯勒理工学院）
大型触觉阵列的潜力，以提高机器人的感知安全操作在人类占主导地位的环境和高分辨率的触觉阵列，使人类水平的灵巧操作是公认的。然而，触觉感知元件数量的增加引入了挑战，包括布线复杂性、数据采集和数据处理。为了帮助解决这些挑战，我们开发了一种基于压缩感知的触觉感知技术。压缩感知同时执行数据采样和压缩，并具有恢复保证，并已成功地应用于计算机视觉。我们使用压缩传感技术的触觉数据采集，以减少硬件的复杂性和数据传输，同时允许快速，准确的重建的全分辨率信号。对于我们的4096个taxel的模拟测试阵列，我们实现了相当于以超过100Hz的速率从仅1024个测量值（压缩信号）独立地测量所有可重构信号（完整信号）的重建质量。然后，我们将触觉压缩传感的对象分类的问题。具体来说，我们进行对象分类的压缩触觉数据的基础上的方法称为压缩学习。即使压缩比为64：1，我们也可以获得高达98%的分类准确率。
2017-05-12 cs.RO
Sensorimotor Control Strategies for Tactile Robotics
Italian Institute of Technology（意大利技术研究院）
本文综述了触觉机器人中感觉运动控制策略的最新方法，涵盖感知与控制系统的设计与实现，并探讨了智能机器人面临的关键挑战。
2025-02-06 cs.RO
A Tactile-enabled Grasping Method for Robotic Fruit Harvesting
Monash University（莫纳什大学）
在机器人农作物收割环境中，夹持器工作空间中的异物侵入频繁发生并且不可消除，然而很少解决。本文提出了一种新的智能机器人抓取方法，能够处理障碍物的干扰，这是第一次在文献中。该方法将深度学习算法与低成本触觉感知硬件结合在多自由度软机器人夹具上。通过实验验证，所提出的方法表现出良好的性能，在区分各种抓取场景。4指独立控制的抓爪具有出色的适应性，可处理各种拾取场景。这项工作的整体表现表明，解决机器人水果收获挑战的巨大潜力。
2021-10-18 cs.RO
Re-evaluating Parallel Finger-tip Tactile Sensing for Inferring Object Adjectives: An Empirical Study
Queensland University of Technology（昆士兰科技大学）
指尖触觉传感器越来越多地用于机器人传感，以建立稳定的抓取并推断物体属性。在一些用于推断描述对象的形容词的作品中已经显示出有希望的性能，但是关于每个形容词如何对性能做出贡献仍然存在问题。本文探讨了这个问题的实证实验，未来的指尖触觉传感器的使用和设计的领先见解。
2023-03-12 cs.RO
A Tactile Sensing Foot for Single Robot Leg Stabilization
Hong Kong University of Science and Technology（香港科技大学）
人脚上的触觉感知对于运动控制是至关重要的，然而，尚未在机器人对应物中进行探索。本研究致力于将触觉感知赋予足式机器人的足部，并证明单足式机器人仅需足部的触觉感知信号就能稳定行走。我们提出了一个机器人腿与一个新的基于视觉的触觉感知足系统和实现的处理算法，以提取接触信息的反馈控制稳定任务。提出了使用深度学习框架将足部皮肤的图像转换为高级接触信息的流水线。腿定量评估在倾斜表面上的稳定任务，以表明触觉脚能够估计表面倾斜角度和脚姿势。与传统的单腿机器人系统使用惯性测量单元（IMU）的触觉系统的可行性和有效性进行了定性研究。实验表明，基于视觉的触觉传感器的能力，在协助足式机器人，以保持稳定的未知地形和调节更复杂的运动的人形机器人的潜力。
2021-03-26 cs.RO
RATE: Risk-Aware Tactile Encoding for Contact-rich Robotic Manipulation
Nanyang Technological University（南洋理工大学）；Daimon Robotics（戴蒙机器人）
针对相似触觉观测可能对应不同任务风险的问题，提出RATE方法，通过历史条件化预测和警报监督学习风险感知触觉表征，并借助轻量级残差适配器提升机器人操作任务成功率。
2026-10-05 cs.RO
Towards Artificial Nerves: Biomimetic Optical-Fiber Tactile Sensing for Robots
School of Engineering Mathematics and Technology, University of Bristol（工程数学与技术学院，布里斯托大学）
研究旨在为机器人开发仿生光纤触觉传感，以实现类人触觉感知。核心方法是OptiTac传感器模拟人类触觉结构，将触觉信号当图像用简单分析方法处理。主要贡献是建立传感框架，为未来分布式触觉系统提供可扩展路线，展示生物学原理对机器人人工神经开发的指导作用。
2026-07-20 cs.RO
Tactile Sensing
Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
对触觉感知的研究一直在稳步发展。在机器人技术中，触觉感知通常在物体抓取和操纵的背景下进行研究。在这一领域，机器人手的鲁棒性，多模态，触觉传感器的发展支持了新的算法的研究，在手的对象操作，材料分类和对象感知。在类人机器人领域，研究重点是解决开发触觉传感器系统的挑战，这些传感器可以覆盖机器人身体的大面积，并可以集成不同类型的传感器来测量各种频段的压力，加速度和温度。这种系统的可用性已经将触觉感知的应用扩展到全身控制、自主校准、自我感知和人机交互。本章的目的是提供一个触觉感知技术的概述，特别强调已部署在人形机器人上的系统。我们描述了采用这些技术所实现的技能，并讨论了仍有待解决的主要挑战。
2021-05-07 cs.RO
TacFinRay: Soft Tactile Fin-Ray Finger with Indirect Tactile Sensing for Robust Grasping
Graduate School of Data Science at Kyungpook National University（Kyungpook National University 数据科学研究生院）；University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
TacFinRay通过间接触觉感知实现稳健抓取，具备高精度触觉传感与灵活适应能力。
2025-12-06 cs.RO
Integrating High-Resolution Tactile Sensing into Grasp Stability Prediction
Monash University（莫纳什大学）；LYRO Robotics（LYRO机器人公司）
我们研究了如何将高分辨率触觉传感器与视觉和深度传感相结合，以提高抓握稳定性预测。在模拟高分辨率触觉感知，特别是TACTO模拟器的最新进展，使我们能够评估如何神经网络可以与传感模式的组合进行训练。由于训练大型神经网络需要大量的数据，机器人模拟器提供了一种快速的方式来自动化数据汇集过程。我们扩大现有的工作，通过消融研究和增加一套从YCB基准集的对象。我们的研究结果表明，虽然视觉，深度和触觉感知的组合提供了对已知物体的最佳预测结果，但网络无法推广到未知物体。我们的工作还解决了现有的问题，机器人抓取触觉模拟和如何克服它们。
2022-06-12 cs.RO
Compressed Learning for Tactile Object Classification
Rensselaer Polytechnic Institute（伦斯勒理工学院）
大型触觉阵列的潜力，以提高机器人的感知安全操作在人类占主导地位的环境和高分辨率的触觉阵列，使人类水平的灵巧操作是公认的。然而，触觉感知元件数量的增加引入了包括布线复杂性、功耗和数据处理的挑战。为了帮助解决这些挑战，我们之前开发了一种基于压缩感知的触觉感知技术，该技术降低了硬件复杂性和数据传输，同时允许精确重建全分辨率信号。在本文中，我们应用触觉压缩传感的对象分类的问题。具体来说，我们对压缩的触觉数据进行对象分类。我们评估我们的方法使用BubbleTouch，我们的触觉阵列模拟器。我们的结果表明，我们的方法实现了高分类精度，即使压缩因子高达64。
2016-09-24 cs.RO
Leveraging Robotic Prior Tactile Exploratory Action Experiences For Learning New Objects's Physical Properties
Technische Universität München（慕尼黑工业大学）
重复使用一些以前探索过的物体的触觉知识可以帮助我们人类轻松识别新物体的触觉属性。在这篇硕士论文中，我们使机器人手臂配备多模态人工皮肤，像人类一样，主动转移以前的触觉探索行动经验时，它学习新对象的详细物理属性。这些先前的触觉体验是当机器人对具有不同动作参数的物体施加按压、滑动和静态接触运动并感知来自多个感觉模态的触觉反馈时建立的。我们的方法进行了系统的评价，通过几个实验。结果表明，机器人可以持续提高判别准确率超过10%，当它利用先验触觉知识相比，没有使用传输方法，和25%，当它只使用一个训练样本。实验结果还表明，该方法对传递不相关的先验触觉知识具有鲁棒性。
2018-07-03 cs.RO
The Role of Tactile Sensing for Learning Reach and Grasp
Department of Computer Science, University of Tübingen（蒂宾根大学计算机科学系）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了触觉感知复杂性对强化学习抓取的影响，发现不完美视觉下简单触觉特征可提升学习效果，而复杂触觉输入会阻碍训练。
2025-02-27 cs.RO
In-Hand Manipulation of Unknown Objects with Tactile Sensing for Insertion
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
在本文中，我们提出了一种方法来操纵未知的物体在手中使用触觉感知，而不依赖于一个已知的对象模型。在许多情况下，仅视觉的方法可能不可行;例如，由于杂乱空间中的遮挡。我们通过引入一种使用触觉感知来重新定向未知对象的方法来解决这个限制。它在任务驱动的操作过程中逐步建立对象形状和姿态的概率估计。我们的方法使用贝叶斯优化来平衡探索的全球对象形状与高效的任务完成。为了证明我们的方法的有效性，我们将其应用于模拟触觉启用辊抓钳，一个抓手，滚动对象的手，同时收集触觉数据。我们评估我们的方法插入任务与随机生成的对象，并发现它可靠地reorients对象，同时显着减少探索时间。
2023-03-10 cs.RO
GelSight360: An Omnidirectional Camera-Based Tactile Sensor for Dexterous Robotic Manipulation
Massachusetts Institute of Technology（麻省理工学院）
本文提出GelSight360，一种基于相机的全向触觉传感器，采用新颖的跨LED照明方案，可生成物体变形深度图并适配不同夹爪，解决了传统传感器难以集成和定制的问题。
2023-04-09 cs.RO
Data-efficient Tactile Sensing with Electrical Impedance Tomography
The University of Edinburgh（爱丁堡大学）；KU Leuven（鲁汶大学）
针对EIT触觉传感器训练数据不足的问题，提出将单帧测量增强为32个有效样本的策略，使DNN数据需求降至1/31并显著提升重建精度。
2025-03-18 cs.RO
GelLink: A Compact Multi-phalanx Finger with Vision-based Tactile Sensing and Proprioception
Massachusetts Institute of Technology（麻省理工学院）
本文提出了GelLink，一种紧凑型欠驱动连杆驱动机械手指，通过优化连杆传动与平面反射模拟器，仅需单电机和单摄像头即可实现高分辨率视觉触觉与本体感知，显著提升了欠驱动手指的抓取适应性与鲁棒性。
2024-03-25 cs.RO
ManiSkill-ViTac 2025: Challenge on Manipulation Skill Learning With Vision and Tactile Sensing
ManiSkill-ViTac 2025挑战赛通过触觉操作、触觉-视觉融合操作和触觉传感器结构设计三个赛道，推动基于视觉与触觉感知的接触丰富操作技能学习，并在仿真与真实环境中以标准化指标评估参赛方案，促进机器人视觉-触觉融合领域的创新与发展。
2024-11-19 cs.RO
Learning Latent Space Dynamics for Tactile Servoing
NVIDIA（英伟达）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Southern California（南加州大学）；University of Utah（犹他大学）；University of Washington（华盛顿大学）
为了实现灵巧的机器人操作，我们需要赋予我们的机器人触觉反馈能力，即基于触觉感知驱动动作的能力。在本文中，我们专门解决触觉伺服的挑战，即给定当前的触觉感知和目标/目标触觉感知-记忆从一个成功的任务执行在过去-什么是行动，这将使当前的触觉感知移动接近目标触觉感知在下一个时间步骤。我们发展了一种数据驱动的方法，通过示教学习获得触觉伺服的动力学模型。此外，我们的方法将触觉感知信息表示为位于表面上-或2D流形-并执行流形学习，使其适用于任何触觉皮肤几何形状。我们评估我们的方法上的接触点跟踪任务，使用机器人配备了触觉手指。在https://youtu.be/0QK0-Vx7WkI上可以看到演示我们方法的视频
2019-04-15 cs.RO
Soft Biomimetic Optical Tactile Sensing with the TacTip: A Review
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
在机器中再现人类触觉的能力是使机器人操作具有人类灵巧性的重要一步。需要机器人技术的组合，包括软机器人技术、仿生学技术和光学触觉传感器提供的高分辨率传感技术。这种组合在这里被认为是SoftBOT（软仿生光学触觉）传感器。本文回顾了BRL TacTip作为这种传感器的原型示例。主题包括人工皮肤形态与人类触摸的转换原理之间的关系，触觉剪切传感的性质和好处，用于制造和集成到机器人手中的3D打印，人工智能在触觉感知和控制中的应用，以及最近由于深度学习而导致的功能的逐步变化。这篇综述总结了过去十年来的进展，为机器人达到类似人类的灵巧指明了道路。
2021-07-22 cs.RO
GlowTact: Simple and Compact Vision-Based Tactile Sensing with High Sensitivity and Spatial Resolution
GlowTact 提出一种仅需单色照明的视觉触觉传感机制，直接可视化接触压力，实现紧凑高灵敏触觉，支持克级检测与精细几何重建，适用于人形指尖。
2026-10-05 cs.RO
A Passively Bendable, Compliant Tactile Palm with RObotic Modular Endoskeleton Optical (ROMEO) Fingers
Massachusetts Institute of Technology（麻省理工学院）
本研究针对现有机器人手多忽视手掌作用的问题，开发了带高分辨率触觉传感的结构柔性软手掌与欠驱动ROMEO软手指，集成出略大于棒球的软硬结合触觉机器人手，为后续相关设计提供参考。
2024-04-12 cs.RO
Tactile Robotics: An Outlook
Department of Engineering, King’s College London（伦敦国王学院工程系）；School of Engineering Mathematics and Bristol Robotics Laboratory, University of Bristol（布里斯托大学工程数学学院和布里斯托机器人实验室）；Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；School of Engineering and Materials Science, Queen Mary University of London（伦敦Queen Mary大学工程与材料科学学院）；Institute for Cognitive Systems (ICS), Technische Universität München（慕尼黑技术大学认知系统研究所）；Department of Electrical and Computer Engineering, Northeastern University（东北大学电气与计算机工程系）
本文展望了触觉机器人技术的发展现状与挑战，提出需采用整体性方法整合多种触觉传感技术、仿真工具及多模态信息，以推动其在制造、医疗、回收和农业等领域的创新应用。
2025-08-15 cs.RO
GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper
Massachusetts Institute of Technology（麻省理工学院）
为了适应不断变化的环境，并安全地与人类互动，机器人应该具有柔顺和柔软的特性，以及感知周围世界的能力。即便如此，将触觉感知结合到软顺应机器人中，如鳍雷手指，由于其可变形结构而很困难。不仅需要修改框架，为视觉传感器留出空间，从而实现复杂的触觉感知，机器人还必须保持其原始的机械顺应性。然而，将高分辨率触觉传感器添加到柔软的手指是困难的，因为许多传感器化的手指（诸如基于GelSight的手指）是刚性的，并且在感测区域中的变化仅来自触觉接触而不是来自手指顺应性的假设下起作用。传感器化的柔软机器人手指需要能够将其整体本体感受变化与其触觉信息分开。为此，本文介绍了一种新的设计GelSight鳍射线，它既体现了被动适应它掌握的任何对象的能力，也体现了执行高分辨率触觉重建，对象方向估计和剪切力和扭转力的标记跟踪的能力。拥有这些功能，柔软且顺从的机器人可以执行更多需要传感的操作任务。手指能够成功执行的一个这样的任务是厨房任务：酒杯的重新定向和放置，这很难用外部视觉传感器来完成，但用触觉感知就很容易了。这种传感技术的发展也有可能应用于其他软柔性夹具，提高其在许多不同领域的可行性。
2022-04-14 cs.RO
Acoustic tactile sensing for mobile robot wheels
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；TTI-Chicago（芝加哥丰田技术研究所）
本文提出一种基于轮载声波导和现成声学测距仪的移动机器人触觉感知架构，可实现全周地形识别、障碍物分类与碰撞接触定位，并支持多种建图任务。
2024-02-28 cs.RO
A novel tactile palm for robotic object manipulation
Wuhan University（武汉大学）；Tencent Robotics X（腾讯机器人X实验室）；Renmin Hospital of Wuhan University（武汉大学人民医院）；Wuhan Institute of Technology（武汉工程大学）
本文提出一种模拟人类手掌功能的新型软体触觉传感器，通过电极阵列、软体皮肤和导电海绵估计物体接触状态，实验验证了其用于机器人物体操作的有效性。
2023-08-10 cs.RO
GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger
Massachusetts Institute of Technology（麻省理工学院）
这项工作描述了一个高分辨率的触觉感知手指的机器人的发展。这款手指的灵感来自于以前的GelSight传感技术，其集成功能比以前的基于视觉的触觉传感器更纤薄，更强大，输出更均匀。为了实现紧凑的集成，我们通过结合光导和镜面反射的布置来重新设计从照明源到相机的光路。我们用几何设计变量参数化光路，并描述手指厚度、相机景深和触觉感知区域大小之间的权衡。该传感器通过将柔性软凝胶的更坚韧材料、纹理织物皮肤、结构刚性主体和在使用过程中保持均匀照明和触觉图像对比度的校准过程相结合，在抓取任务中持续使用和滥用磨损。最后，我们评估传感器的耐用性沿四个指标，跟踪信号质量在3000多个抓实验。
2018-05-15 cs.RO
SimTac: A Physics-Based Simulator for Vision-Based Tactile Sensing with Biomorphic Structures
Department of Engineering, King’s College London（工程系，伦敦国王学院）；School of Aerospace Engineering, Beijing Institute of Technology（航空工程学院，北京理工大学）；Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
SimTac是一个基于物理的模拟器，用于设计和验证生物形态触觉传感器，通过多种几何结构实现准确高效的触觉感知模拟。
2025-11-14 cs.RO
A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network
South China Normal University（华南师范大学）
本文提出一种基于视觉式触觉传感器与深度神经网络的多模态接触感知系统，仅用单个传感器即可解耦并获取物体分类、位置、姿态和力等信息。
2024-03-06 cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol（布里斯托大学）；University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出 GenForce 框架，通过共享标记表征统一触觉信号，实现跨同构与异构触觉传感器的力觉模型迁移，并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
Self-Mixing Laser Interferometry for Robotic Tactile Sensing
Ghent University（根特大学）；imec（imec（校际微电子中心））
提出首个利用自混合干涉测量（SMI）进行滑动和外部接触感知的机器人指尖，实验证明其比声学感知对微弱滑动更敏感且抗环境噪声更强。
2025-03-04 cs.RO
On the Importance of Tactile Sensing for Imitation Learning: A Case Study on Robotic Match Lighting
Technical University of Darmstadt（德累斯顿技术大学）；LASR Lab, TU Dresden（TU德累斯顿激光实验室）
本文提出融合视觉和触觉的模仿学习框架，通过模块化Transformer与流基生成模型提升动态任务中的操作性能，证明触觉信息对学习动态操作的重要性。
2026-04-19 cs.RO
A multi-modal tactile fingertip design for robotic hands to enhance dexterous manipulation
Carnegie Mellon University（卡内基梅隆大学）
提出一种低成本、紧凑的多模态触觉指尖设计，集成应变式与接触式麦克风传感器，在灵巧操作任务中单独或结合视觉实现高成功率，如100%精确取杯。
2026-09-29 cs.RO
Towards integrated tactile sensorimotor control in anthropomorphic soft robotic hands
University of Bristol（布里斯托大学）；Universit di Pisa（比萨大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在这项工作中，我们报告的集成sensorimotor控制的比萨/IIT SoftHand，拟人化的软体机器人手设计的原则，自适应协同作用，与BRL触觉指尖（TacTip），一个软仿生光学触觉传感器的基础上，人类的触觉。我们的重点是如何触觉可以用来控制一个程度的驱动，基于尊重手的机械功能的集成拟人化的手。我们认为：（i）闭环触觉控制，以基于与未变形触觉图像的结构相似性，在未知的被握持物体上建立轻接触;以及（ii）使用为控制TacTip系列中的其他传感器而开发的卷积神经网络方法，控制被握持物体的边缘特征的估计姿态。总的来说，这为赋予软机器人手类似人类的触觉奠定了基础，并对自主抓取，操纵，人机交互和假肢产生了影响。补充视频：https://youtu.be/ndsxj659bkQ
2021-02-05 cs.RO
OmniVTLA: Vision-Tactile-Language-Action Models with Semantic-Aligned Tactile Sensing
Shanghai Jiao Tong University（上海交通大学）；Paxini Tech（帕辛尼科技）
提出OmniVTLA架构，通过双路径触觉编码器框架和语义对齐触觉ViT，结合新数据集ObjTac，显著提升机器人操作中接触密集任务的成功率和轨迹平滑度。
2026-06-16 cs.RO
3D Vision-tactile Reconstruction from Infrared and Visible Images for Robotic Fine-grained Tactile Perception
State Key Laboratory of Digital Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology（数字制造装备与技术国家重点实验室，机械科学与工程学院，华中科技大学）
针对平面视觉触觉传感器曲面化难题，提出GelSplitter3D结合红外与可见光成像、光度立体网络及边界约束积分法，实现高精度三维重建，法向精度提升40%。
2025-06-18 cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore（新加坡国立大学）
这项工作有助于事件驱动的视觉触觉感知系统，包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性，能够很好地适应出租车的数量。同样，我们的视觉触觉脉冲神经网络（VT-SNN）在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统（使用NeuTouch和Prophesee事件相机）的两个机器人任务：容器分类和旋转滑动检测。在这两个任务中，我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集，以鼓励对多模态事件驱动机器人感知的研究，我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
Design of a Fully Actuated Robotic Hand With Multiple Gelsight Tactile Sensors
Massachusetts Institute of Technology（麻省理工学院）
这项工作详细介绍了一种新型的两个手指的机器人夹持器与多个Gelsight的光学触觉传感器覆盖的手的内表面的设计。多个Gelsight传感器可以同时从多个视图收集物体的表面拓扑结构，并可以跟踪剪切应力和拉伸应力。此外，其他感测模态使手能够从被抓握的物体收集热、声和振动信息。力控夹持器是完全致动的，因此它可以用于各种抓取配置，也可以用于手操作任务。在这里，我们提出了这样的夹具的设计。
2020-02-06 cs.RO
GradTac: Spatio-Temporal Gradient Based Tactile Sensing
University of Maryland, College Park（马里兰大学帕克分校）
机器人的触觉感知是通过各种机制实现的，包括磁性、光学触觉和导电流体。目前，基于流体的传感器已经在拟人的尺寸和形状以及触觉响应测量的准确性之间取得了适当的平衡。然而，由于基于流体的感测机制“阻尼”难以建模的测量值，该设计受到低信噪比（SNR）的困扰。为此，我们提出了一个时空梯度表示从基于流体的触觉传感器，这是从基于事件的传感神经形态学原理的启发获得的数据。我们提出了一种新的算法（GradTac），将空间触觉传感器的离散数据点转换为时空表面，并跟踪这些表面上的触觉轮廓。与使用原始数据相比，使用所提出的时空域处理触觉数据是鲁棒的，使其不太容易受到来自基于流体的传感器的固有噪声的影响，并且允许对触摸区域的准确跟踪。我们成功地评估和证明了GradTac在许多使用配备BioTac SP传感器的Shadow Dexterous Hand进行的真实实验中的功效。具体来说，我们使用它来跟踪传感器表面的触觉输入，测量相对力，检测线性和旋转滑动，以及边缘跟踪。我们还为BioTac SP发布了一个附带的任务不可知数据集，我们希望它将提供一个资源来比较和量化各种新方法，并激励进一步的研究。
2022-03-14 cs.RO
Transfer learning for vision-based tactile sensing
ETH Zurich（苏黎世联邦理工学院）
由于对材料的弹性特性进行建模的复杂性，机器学习算法在触觉感知应用中的使用不断增加。应用于计算机视觉的深度神经网络的最新进展使得基于视觉的触觉传感器因其高分辨率和低成本而非常有吸引力。本文讨论了一种可扩展到任意形状大表面的柔性光学触觉传感器。监督学习算法训练一个模型，该模型能够完全根据内部摄像头记录的图像重建传感器表面上的法向力分布。为了减少训练时间和对大数据集的需求，提出了一种校准过程，以在多个传感器之间传输所获得的知识，同时保持令人满意的性能。
2020-06-04 cs.RO
Optimizing Multi-Touch Textile and Tactile Skin Sensing Through Circuit Parameter Estimation
Carnegie Mellon University（卡内基梅隆大学）；Siemens Corporate Technology（西门子公司技术部）
本文提出一种基于电阻式传感阵列估计的触觉感知新框架，利用正则化最小二乘目标函数估计电阻分布，提升准确性并减轻重影效应，同时设计精简皮肤结构，实验显示多点触控力感知准确性提升26.9%。
2024-04-23 cs.RO
GelSight EndoFlex: A Soft Endoskeleton Hand with Continuous High-Resolution Tactile Sensing
Massachusetts Institute of Technology（麻省理工学院）
提出一种具备连续高分辨率触觉感知的柔顺三指机械手GelSight EndoFlex，通过双摄像头与软体内骨骼设计，实现单次包络抓取即可完成物体识别。
2023-03-31 cs.RO
A Wearable Tactile Sensor Array for Large Area Remote Vibration Sensing in the Hand
University of California, Santa Barbara（加州大学圣巴巴拉分校）
触觉感知对于熟练的操纵和物体感知是必不可少的，但是现有的设备不能在对于人类触摸感测重要的全部范围内捕获机械信号，并且不能模仿人手的感测能力。最近的研究表明，人类触摸感测依赖于机械波在整个手部组织中的传输。这为手提供了远程捕获触摸接触的分布式振动特征的显著能力。重要的感觉系统在工程上很少受到注意。在这里，我们提出了一个可穿戴设备的灵感来自解剖和手的功能和人类的感官能力。该设备基于126通道传感器阵列，能够在自然手动活动期间捕获高分辨率触觉信号。它采用安装在柔性电路上的微型三轴传感器网络，其几何形状和拓扑结构设计与手部解剖结构相匹配，允许在自然交互期间捕获数据，同时最大限度地减少人为因素。每个传感器具有与人类触觉频率范围相匹配的频率带宽。通过定制FPGA和I $^2$ C网络实时的采集数据。我们还提出了生理信息的信号处理方法，用于重建整个手的触觉信号，使用该系统的数据。我们报告的实验表明，该系统能够准确地捕获远程产生的整个手的触觉信号在手动交互。
2019-08-22 cs.RO
