AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-tactile Sensors
Renmin University of China（中国人民大学）；Wuhan University of Science and Technology（武汉科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出AnyTouch框架，通过整合触觉图像和视频学习跨多传感器的统一静态-动态表示，并引入TacQuad数据集，利用多级架构实现跨传感器触觉知识迁移，显著提升机器人的静态与动态触觉感知能力。
2025-04-01 cs.CV cs.LG cs.RO
A Thin Format Vision-Based Tactile Sensor with A Micro Lens Array (MLA)
Hong Kong University of Science and Technology（香港科技大学）
基于视觉的触觉传感器由于具有高空间分辨率和与机器学习算法的兼容性而在机器人领域得到了广泛的研究。然而，目前采用的传感器的成像系统体积庞大，限制了其进一步的应用。在这里，我们提出了一种基于微透镜阵列（MLA）的视觉系统，以实现具有高触觉感知性能的传感器封装的低厚度格式。多个微加工微透镜单元覆盖整个弹性触摸层，提供拼接的清晰触觉图像，实现高空间分辨率，厚度仅为5 mm。热回流和软光刻方法确保微透镜的均匀球形轮廓和光滑表面。光学和机械特性都证明了该传感器的稳定成像和出色的触觉感知，能够实现精确的3D触觉信息，例如超紧凑薄结构的位移映射和力分布。
2022-04-19 cs.CV cs.RO eess.IV
Re-evaluating Parallel Finger-tip Tactile Sensing for Inferring Object Adjectives: An Empirical Study
Queensland University of Technology（昆士兰科技大学）
指尖触觉传感器越来越多地用于机器人传感，以建立稳定的抓取并推断物体属性。在一些用于推断描述对象的形容词的作品中已经显示出有希望的性能，但是关于每个形容词如何对性能做出贡献仍然存在问题。本文探讨了这个问题的实证实验，未来的指尖触觉传感器的使用和设计的领先见解。
2023-03-12 cs.RO
TacFinRay: Soft Tactile Fin-Ray Finger with Indirect Tactile Sensing for Robust Grasping
Graduate School of Data Science at Kyungpook National University（Kyungpook National University 数据科学研究生院）；University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
TacFinRay通过间接触觉感知实现稳健抓取，具备高精度触觉传感与灵活适应能力。
2025-12-06 cs.RO
Deep Tactile Experience: Estimating Tactile Sensor Output from Depth Sensor Data
Honda Research Institute USA, Inc.（本田美国研究院）
触觉感知本质上基于接触。为了使用触觉数据，机器人需要与物体的表面接触。这在代理需要在依赖于接触位置的物理属性的多个备选方案之间做出决定的应用中是低效的。我们提出了一种方法来获得触觉数据在一个非侵入性的方式。所提出的方法估计的触觉传感器的输出从深度数据的对象的表面的基础上过去的经验。通过允许机器人与各种对象交互，收集触觉数据和相应的对象表面深度数据来构建经验数据集。我们使用经验数据集来训练一个神经网络，以单独从深度数据估计触觉输出。我们使用GelSight触觉传感器（一种基于图像的传感器）来生成图像，以捕获接触位置处的详细表面特征。我们训练一个网络，数据集包含578个图像到深度图的对应关系。给定物体表面的深度图，如果触觉传感器与物体接触，则网络输出触觉传感器的响应的估计。我们评估的方法与结构相似性指数矩阵（SSIM），两个图像之间的相似性度量常用的图像处理社区。我们提出的实验结果表明，该方法优于基线，使用随机图像的统计显着性得到SSIM得分分别为0.84 +/- 0.0056和0.80 +/- 0.0036。
2021-10-17 cs.RO
UniTac-NV: A Unified Tactile Representation For Non-Vision-Based Tactile Sensors
Imperial College London（伦敦帝国理工学院）
针对非视觉触觉传感器跨传感器迁移研究不足的问题，提出编码器-解码器架构统一触觉数据，构建与传感器无关的潜在空间，实现低误差迁移，并支持下游模型无需重训即可跨传感器应用。
2025-06-24 cs.RO
FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Sharpa；Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出FTP-1，首个通用基础触觉策略，通过异构编码器和共享Transformer专家，跨21种传感器和3000小时数据预训练，实现触觉操作技能的跨传感器迁移，在未见传感器上成功率提升31%。
2026-10-28 cs.RO
Data-efficient Tactile Sensing with Electrical Impedance Tomography
The University of Edinburgh（爱丁堡大学）；KU Leuven（鲁汶大学）
针对EIT触觉传感器训练数据不足的问题，提出将单帧测量增强为32个有效样本的策略，使DNN数据需求降至1/31并显著提升重建精度。
2025-03-18 cs.RO
GelLink: A Compact Multi-phalanx Finger with Vision-based Tactile Sensing and Proprioception
Massachusetts Institute of Technology（麻省理工学院）
本文提出了GelLink，一种紧凑型欠驱动连杆驱动机械手指，通过优化连杆传动与平面反射模拟器，仅需单电机和单摄像头即可实现高分辨率视觉触觉与本体感知，显著提升了欠驱动手指的抓取适应性与鲁棒性。
2024-03-25 cs.RO
Soft Biomimetic Optical Tactile Sensing with the TacTip: A Review
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
在机器中再现人类触觉的能力是使机器人操作具有人类灵巧性的重要一步。需要机器人技术的组合，包括软机器人技术、仿生学技术和光学触觉传感器提供的高分辨率传感技术。这种组合在这里被认为是SoftBOT（软仿生光学触觉）传感器。本文回顾了BRL TacTip作为这种传感器的原型示例。主题包括人工皮肤形态与人类触摸的转换原理之间的关系，触觉剪切传感的性质和好处，用于制造和集成到机器人手中的3D打印，人工智能在触觉感知和控制中的应用，以及最近由于深度学习而导致的功能的逐步变化。这篇综述总结了过去十年来的进展，为机器人达到类似人类的灵巧指明了道路。
2021-07-22 cs.RO
Tactile Functasets: Neural Implicit Representations of Tactile Datasets
University of Michigan（密歇根大学）
针对高维触觉图像难以高效存储与泛化的问题，提出基于神经隐式函数的触觉数据集表示，生成紧凑且支持概率推理的表征，在手内物体姿态估计任务中优于图像方法并简化下游模型。
2024-09-22 cs.RO
DigiTac: A DIGIT-TacTip Hybrid Tactile Sensor for Comparing Low-Cost High-Resolution Robot Touch
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
深度学习与高分辨率触觉感知相结合，可以产生高度灵活的机器人。然而，由于缺乏专门设备和专门知识，进展缓慢。DIGIT触觉传感器使用GelSight类型的传感器提供低成本的高分辨率触摸。在这里，我们定制DIGIT，使其具有基于TacTip系列软仿生光学触觉传感器的3D打印传感表面。DIGIT-TacTip（DigiTac）可以直接比较这些不同的触觉传感器类型。为了进行比较，我们介绍了一个触觉机器人系统，包括桌面手臂，支架和3D打印的测试对象。我们使用带有PoseNet深度学习模型的触觉伺服控制来比较DIGIT、DigiTac和TacTip在3D形状上的边缘和表面跟踪。这三种传感器在姿态预测方面的表现相似，但它们的结构导致了伺服控制的不同表现，为研究人员选择或创新触觉传感器提供了指导。用于复制本研究的所有硬件和软件将公开发布。项目网址：www.lepora.com/digitac。项目资料库：www.github.com/nlepora/digitac-design。
2022-07-18 cs.RO
GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper
Massachusetts Institute of Technology（麻省理工学院）
为了适应不断变化的环境，并安全地与人类互动，机器人应该具有柔顺和柔软的特性，以及感知周围世界的能力。即便如此，将触觉感知结合到软顺应机器人中，如鳍雷手指，由于其可变形结构而很困难。不仅需要修改框架，为视觉传感器留出空间，从而实现复杂的触觉感知，机器人还必须保持其原始的机械顺应性。然而，将高分辨率触觉传感器添加到柔软的手指是困难的，因为许多传感器化的手指（诸如基于GelSight的手指）是刚性的，并且在感测区域中的变化仅来自触觉接触而不是来自手指顺应性的假设下起作用。传感器化的柔软机器人手指需要能够将其整体本体感受变化与其触觉信息分开。为此，本文介绍了一种新的设计GelSight鳍射线，它既体现了被动适应它掌握的任何对象的能力，也体现了执行高分辨率触觉重建，对象方向估计和剪切力和扭转力的标记跟踪的能力。拥有这些功能，柔软且顺从的机器人可以执行更多需要传感的操作任务。手指能够成功执行的一个这样的任务是厨房任务：酒杯的重新定向和放置，这很难用外部视觉传感器来完成，但用触觉感知就很容易了。这种传感技术的发展也有可能应用于其他软柔性夹具，提高其在许多不同领域的可行性。
2022-04-14 cs.RO
TouchRoller: A Rolling Optical Tactile Sensor for Rapid Assessment of Large Surfaces
University of Liverpool（利物浦大学）；smARTLab（smARTLab实验室）
触觉感知对于机器人感知世界非常重要，因为它可以捕获接触对象的纹理和硬度，并且对照明和颜色变化具有鲁棒性。然而，由于有限的感测区域和固定表面的电阻，当前的触觉传感器在评估大表面时必须在目标对象上敲击触觉传感器多次，即，按压、抬起和转移到另一个区域。这个过程是无效的和耗时的。拖动这种传感器也是不希望的，因为这通常会损坏传感器或物体的敏感膜。为了解决这些问题，我们提出了一个圆柱形的光学触觉传感器命名为TouchRoller，可以绕其中心轴滚动。它在整个运动过程中保持与被评估表面的接触，从而可以连续有效地测量物体。大量的实验表明，TouchRoller传感器可以在10秒的短时间内覆盖8cm*11cm的纹理表面，比平面光学触觉传感器（196s）有效得多。与视觉纹理相比，从收集的触觉图像的纹理的重建图具有平均为0.31的高结构相似性指数（SSIM）。此外，传感器上的触点可以以较低的定位误差定位，中心区域为2.63 mm，平均为7.66 mm。所提出的传感器将能够快速评估大表面的高分辨率触觉感知，也有效地收集触觉图像。
2021-02-28 cs.RO
SuperMag: Vision-based Tactile Data Guided High-resolution Tactile Shape Reconstruction for Magnetic Tactile Sensors
Department of Automation, Beihang University（自动化系，北航）；State Key Laboratory of General Artificial Intelligence, BIGAI（一般人工智能国家重点实验室，BIGAI）
针对磁基触觉传感器（MBTS）空间分辨率低的问题，提出SuperMag方法，用高分辨率视觉触觉传感器数据监督MBTS超分辨率，通过条件变分自编码器实现快速高分辨率形状重建，提升MBTS触觉感知能力。
2025-07-26 cs.RO
Zero-shot Sim2Real Transfer for Magnet-Based Tactile Sensor on Insertion Tasks
Princeton University（普林斯顿大学）
针对磁敏触觉传感器的仿真到真实差距问题，提出新型GCS技术，实现了盲插入任务中基于原始触觉读数的RL策略零样本仿真到真实迁移。
2026-08-06 cs.RO
Heterogeneous Tactile Transformer
提出异构触觉Transformer（HTT），通过传感器特定编码器和共享Transformer主干学习跨异构传感器的共享触觉表示，利用新HPT数据集预训练，在感知和操作任务中实现可迁移表示。
2026-10-14 cs.RO
GelSphere: An Omnidirectional Rolling Vision-Based Tactile Sensor for Online 3D Reconstruction and Normal Force Estimation
本文提出GelSphere，一种基于视觉的触觉传感器，用于实时连续表面扫描。通过内部钢球形成轴承层，实现全方位滚动，提升3D重建和法向力估计的精度。
2026-03-14 cs.RO
A Sensor Position Localization Method for Flexible, Non-Uniform Capacitive Tactile Sensor Arrays
University of Colorado Boulder（科罗拉多大学博尔德分校）
针对非均匀触觉阵列内部传感器位置难以定位的问题，提出可变密度互电容阵列 VARSkin 及配套定位方法，在隐藏布局皮肤贴片上达到 ±2mm 精度并给出误差分析。
2024-12-01 cs.RO
SimTac: A Physics-Based Simulator for Vision-Based Tactile Sensing with Biomorphic Structures
Department of Engineering, King’s College London（工程系，伦敦国王学院）；School of Aerospace Engineering, Beijing Institute of Technology（航空工程学院，北京理工大学）；Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
SimTac是一个基于物理的模拟器，用于设计和验证生物形态触觉传感器，通过多种几何结构实现准确高效的触觉感知模拟。
2025-11-14 cs.RO
RoTip: A Finger-Shaped Tactile Sensor with Active Rotation Capability
本文提出了一种名为RoTip的新型视觉触觉传感器，其具备独立控制的关节和全表面接触感知能力，通过主动旋转实现了对刚性和柔性日常物体的更灵巧操作。
2025-02-01 cs.RO
TacO: Benchmarking Tactile Sensors for Object Manipulation
UC San Diego（圣迭戈大学）；CMU（卡内基梅隆大学）；SNU（首尔国立大学）
本文提出了一种基于任务驱动的触觉传感器评估框架，通过训练不同模态的触觉传感器（视觉、声学、磁性和电阻性）在三个任务上的表现，探讨了触觉信息在不同材料和任务中的有效性。
2026-11-02 cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol（布里斯托大学）；University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出 GenForce 框架，通过共享标记表征统一触觉信号，实现跨同构与异构触觉传感器的力觉模型迁移，并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
TactX: Learning Shared Tactile Representations Across Diverse Sensors
UC San Diego（加州大学圣地亚哥分校）；Seoul National University（首尔大学）；Amazon FAR（亚马逊FAR）
提出TactX框架，通过配对接触数据训练模态特定编码器，将电阻、磁和视觉三种触觉传感器的观测映射到共享潜空间，实现零样本策略迁移，平均成功率从27.5%提升至45.9%。
2026-07-01 cs.RO
Seamless Integration of Tactile Sensors for Cobots
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对工业夹爪缺乏触觉反馈及现有传感器集成复杂的问题，提出一种基于微控制器且兼容Arduino的传感器读取方案，实现与Robotiq夹爪无缝集成，有效降低集成难度并加速相关研究。
2023-09-11 cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore（新加坡国立大学）
这项工作有助于事件驱动的视觉触觉感知系统，包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性，能够很好地适应出租车的数量。同样，我们的视觉触觉脉冲神经网络（VT-SNN）在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统（使用NeuTouch和Prophesee事件相机）的两个机器人任务：容器分类和旋转滑动检测。在这两个任务中，我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集，以鼓励对多模态事件驱动机器人感知的研究，我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors
Robotics Institute（机器人研究所）；The Hong Kong University of Science and Technology（香港科技大学）
从本质上讲，成功的抓握归结为对指尖和物体之间的多次接触事件的正确反应。在大多数情况下，触觉感知足以区分接触事件。由于触觉信息的高维性，使用传统的基于模型的方法对时空触觉信号进行分类是困难的。在这项工作中，我们提出使用深度学习方法来预测和分类触觉信号，寻求提高机器人抓取系统对可能导致抓取失败的外部事件变化的适应性。我们开发了一个深度学习框架，并收集了6650触觉图像序列与基于视觉的触觉传感器，和神经网络集成到一个基于接触事件的机器人抓取系统。在抓取实验中，我们实现了52%的增加与接触检测的物体提升成功率，显着更高的鲁棒性下的意外负载与滑动预测相比，开环抓地力，表明所提出的框架集成到机器人抓取系统大大提高采摘成功率和能力，以抵御外部干扰。
2019-10-09 cs.CV cs.LG cs.RO
ML-based tactile sensor calibration: A universal approach
Technische Universität München（慕尼黑工业大学）；fortiss（弗劳恩霍夫软件与系统技术研究所（fortiss））；sensed.io UG (haftungsbeschränkt)（sensed.io有限责任公司）
我们研究了两个触觉传感器，指尖传感器从iCub和BioTac在不同的外部刺激下的反应。感兴趣的问题是两个传感器i）允许估计施加在传感器上的力和ii）能够识别不同程度的曲率的程度。利用影响触觉传感器的力控制线性电机，我们获得了几个高质量的数据集，允许在完全相同的条件下研究两个传感器。我们还研究了使用t-SNE嵌入记录的触觉传感器数据中触觉刺激的表示的结构。实验表明，iCub和BioTac在不同的设置中表现出色。
2016-06-21 cs.LG cs.RO
Transfer learning for vision-based tactile sensing
ETH Zurich（苏黎世联邦理工学院）
由于对材料的弹性特性进行建模的复杂性，机器学习算法在触觉感知应用中的使用不断增加。应用于计算机视觉的深度神经网络的最新进展使得基于视觉的触觉传感器因其高分辨率和低成本而非常有吸引力。本文讨论了一种可扩展到任意形状大表面的柔性光学触觉传感器。监督学习算法训练一个模型，该模型能够完全根据内部摄像头记录的图像重建传感器表面上的法向力分布。为了减少训练时间和对大数据集的需求，提出了一种校准过程，以在多个传感器之间传输所获得的知识，同时保持令人满意的性能。
2020-06-04 cs.RO
Tac3D: A Novel Vision-based Tactile Sensor for Measuring Forces Distribution and Estimating Friction Coefficient Distribution
Tsinghua University（清华大学）
力量感知在与环境互动中的重要性在多年前就得到了证明。然而，它仍然是一个挑战，实时准确测量接触力分布。为了突破这一困境，我们提出了一种新的基于视觉的触觉传感器，Tac3D传感器，用于测量三维接触表面形状和接触力分布。本文首次将虚拟双目视觉应用于触觉传感器，使Tac3D传感器能够以简单有效的方式测量三维触觉信息，具有结构简单、计算成本低、价格低廉等优点。然后，我们利用接触面形状和力分布来估计接触区域的摩擦系数分布。进一步结合触觉传感器的全局位置信息，重建具有摩擦系数分布的物体的三维模型。这些重建实验不仅证明了Tac3D传感器的优异性能，而且还暗示了基于物体摩擦系数分布优化抓取动作规划的可能性。
2022-02-13 cs.RO
A Wearable Tactile Sensor Array for Large Area Remote Vibration Sensing in the Hand
University of California, Santa Barbara（加州大学圣巴巴拉分校）
触觉感知对于熟练的操纵和物体感知是必不可少的，但是现有的设备不能在对于人类触摸感测重要的全部范围内捕获机械信号，并且不能模仿人手的感测能力。最近的研究表明，人类触摸感测依赖于机械波在整个手部组织中的传输。这为手提供了远程捕获触摸接触的分布式振动特征的显著能力。重要的感觉系统在工程上很少受到注意。在这里，我们提出了一个可穿戴设备的灵感来自解剖和手的功能和人类的感官能力。该设备基于126通道传感器阵列，能够在自然手动活动期间捕获高分辨率触觉信号。它采用安装在柔性电路上的微型三轴传感器网络，其几何形状和拓扑结构设计与手部解剖结构相匹配，允许在自然交互期间捕获数据，同时最大限度地减少人为因素。每个传感器具有与人类触觉频率范围相匹配的频率带宽。通过定制FPGA和I $^2$ C网络实时的采集数据。我们还提出了生理信息的信号处理方法，用于重建整个手的触觉信号，使用该系统的数据。我们报告的实验表明，该系统能够准确地捕获远程产生的整个手的触觉信号在手动交互。
2019-08-22 cs.RO
Fabric Defect Detection Using Vision-Based Tactile Sensor
Tsinghua University（清华大学）
本文介绍了一种新型的织物疵点触觉检测系统。不同于现有的视觉检测系统，该系统实现了基于视觉的触觉传感器。触觉传感器主要由一个摄像头、四个LED和一个弹性传感层组成，可以捕获有关织物表面结构的详细信息，并忽略颜色和图案。因此，避免了与织物颜色和图案相关的缺陷和图像背景之间的模糊性。为了利用触觉传感器进行织物检测，我们采用强度调整进行图像预处理，残差网络与集成学习用于检测缺陷，均匀性测量用于选择理想的数据集进行模型训练。实验进行了验证所提出的触觉系统的性能。实验结果表明，该系统的可行性，它表现出良好的检测各种类型的织物的结构缺陷。此外，该系统不需要外部光源，这跳过了设置和调谐照明环境的过程。
2023-01-17 cs.RO
Beyond Flat GelSight Sensors: Simulation of Optical Tactile Sensors of Complex Morphologies for Sim2Real Learning
University of Liverpool（利物浦大学）；King’s College London（伦敦国王学院）
本文提出一种针对曲面光学触觉传感器的仿真方法，利用测地线路径模拟光线在弯曲触觉膜中的传播，支持任意形态传感器仿真，有效促进了 Sim2Real 学习及新型传感器设计。
2023-05-21 cs.RO
Tactile Sensing with a Tendon-Driven Soft Robotic Finger
Beihang University（北京航空航天大学）；Colorado College（科罗拉多学院）
提出了一种新型的机器人柔性手指触觉感知机构。受哺乳动物本体感觉机制的启发，该方法从附着在手指肌腱上的应变传感器推断触觉信息。我们进行实验，以测试所提出的结构的触觉感知能力，我们的结果表明，这种方法是能够触诊的纹理和刚度在两个外展和屈曲接触。在系统交叉验证下，该系统对纹理和刚度的识别准确率分别达到100%和99.7%，验证了该方法的可行性。此外，我们使用统计工具来确定提取的各种特征的分类的重要性。
2021-07-06 cs.RO stat.AP
RainbowSight: A Family of Generalizable, Curved, Camera-Based Tactile Sensors For Shape Reconstruction
Massachusetts Institute of Technology（麻省理工学院）
本文提出RainbowSight系列曲面相机触觉传感器，采用彩虹光谱LED照明，实现高分辨率深度重建，简化制造与校准，便于集成于机器人系统。
2024-09-20 cs.RO
Augmenting Off-the-Shelf Grippers with Tactile Sensing
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对现成工业夹爪缺乏触觉反馈、自研传感器繁杂难对比的问题，研究团队提出一套专为精细操作设计、数据易解读的开源触觉指尖，经布料边缘与线缆追踪任务验证有效，相关资源已开源。
2023-06-09 cs.RO
Tactile Genesis: Exploring Tactile Sensors at Scale for Learning Dexterous Tasks
Carnegie Mellon University（卡内基梅隆大学）；Genesis AI
提出Tactile Genesis，一种GPU并行触觉传感器仿真平台，支持多种触觉模态，通过大规模实验发现传感器布局比类型和分辨率更重要，力/力矩感知最有效。
2026-07-13 cs.RO
Simulation of Vision-based Tactile Sensors using Physics based Rendering
Carnegie Mellon University（卡内基梅隆大学）
随着基于视觉的触觉传感器的出现，触觉感知已被迅速采用。基于视觉的触觉传感器提供高分辨率，紧凑和廉价的数据，以执行精确的手操作和人机交互。然而，触觉传感器的仿真仍然是一个挑战。在本文中，我们建立了第一个完全通用的光学触觉模拟系统的GelSight传感器使用基于物理的渲染技术。我们提出了物理上精确的灯光模型，并对模拟管道的各个组件进行了深入分析。我们的系统优于以前的模拟技术定性和定量的图像相似性度量。我们的代码和实验数据在https://labs.ri.cmu.edu/robotouch/tactile-optical-simulation/上开源
2021-07-22 cs.GR cs.RO
Slip Detection: Analysis and Calibration of Univariate Tactile Signals
National Institute of Standards and Technology（美国国家标准与技术研究院）
触觉传入的存在敏感的滑相关的机械瞬变在人的手增强了鲁棒性的把握通过二次力调制协议。尽管有这些知识，并且基于滑动检测的研究已经进行了几十年，但对于任何市售的触觉传感器来说，鲁棒的滑动检测仍然不是开箱即用的能力。本研究旨在弥合这一差距，一个全面的研究，解决几个方面的滑动检测。关键的发展包括系统的数据汇集过程，产生数百万个传感器数据点，多变量到单变量传感器输出的广义转换，单变量传感器输出的有见地的频谱分析，以及长短期记忆（LSTM）神经网络在单变量信号上的应用，以从三个商用传感器中产生强大的滑动检测器，这些传感器能够进行触觉感知。这些传感器的传感元件在数量、空间布置和力学方面各不相同，利用了机电阻力、光学和水声学的原理。至关重要的是，滑动检测性能的触觉技术是量化的，通过测量方法，揭示了数据窗口大小，采样率，材料类型，滑动速度和传感器制造的可变性的影响。结果表明，所研究的商业触觉传感器本质上能够高质量的滑动检测。
2018-06-27 cs.RO
M3D-skin: Multi-material 3D-printed Tactile Sensor with Hierarchical Infill Structures for Pressure Sensing
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo（机械信息学系，信息科学和技术研究生院，东京大学）；AI Center, Graduate School of Information Science and Technology, The University of Tokyo（人工智能中心，信息科学和技术研究生院，东京大学）
本研究提出M3D-skin，利用多材料FDM 3D打印的填充图案构建层级结构，通过压力变形改变电阻实现触觉感知，并验证了其在脚底运动测量、机器人手集成及触觉操作中的有效性。
2025-10-14 cs.RO
Enhance Vision-based Tactile Sensors via Dynamic Illumination and Image Fusion
TU Dresden（德累斯顿工业大学）；Meta AI
本研究提出结合动态照明图案与图像融合技术，通过捕获并融合多组不同照明下的测量值，显著提升了基于视觉的触觉传感器的图像对比度、清晰度等感知质量，且可通过软件更新改进现有传感器。
2025-03-27 cs.AI cs.CV cs.LG
GTac: A Biomimetic Tactile Sensor with Skin-like Heterogeneous Force Feedback for Robots
National University of Singapore（新加坡国立大学）；Guilin University of Electronic Technology（桂林电子科技大学）
人手的触觉感知能力在执行日常活动中是必不可少的。通过整合到手中的机械感受器同时感知法向力和剪切力，使人类能够完成日常任务，如抓取微妙的物体。在本文中，我们设计并制作了一种新型的仿生触觉传感器与皮肤的异质性，同时感知正常和剪切接触力。它通过结合非本征层（压阻传感器）和本征层（霍尔传感器）来模拟多层机械感受器，从而可以估计接触力方向、位置和关节级扭矩。通过集成我们的传感器，机器人抓取器可以在指尖获得接触力反馈;因此，机器人可以执行具有挑战性的任务，例如镊子的使用和鸡蛋抓取。这种富有洞察力的传感器设计可以定制并应用于机器人的不同领域，并为它们提供异构力感测，可能支持机器人获取类似皮肤的触觉反馈。
2022-01-28 cs.RO
Color-Coded Fiber-Optic Tactile Sensor for an Elastomeric Robot Skin
Nazarbayev University（纳扎尔巴耶夫大学）
触觉对于环境和与物体进行物理交互的机器人之间的可靠映射至关重要。据推测，人工触觉皮肤将促进机器人与环境的安全互动。在这项工作中，我们提出了我们的颜色编码的触觉传感器，将塑料光纤（POF），透明的硅橡胶和现成的彩色摄像头。处理电子器件远离传感表面放置，使传感器在恶劣环境下具有鲁棒性。由于光源的数量低于相机POF的数量，因此可以进行接触定位。经典的机器学习技术和层次分类方案用于接触定位。具体来说，我们使用我们的传感器生成了从刺激到机器人感知系统的感觉的映射。我们实现了一个力的传感范围高达18 N的力的分辨率约为3.6 N和8 mm的空间分辨率。颜色编码的触觉传感器是适合于触觉探索，并可能使进一步的创新，在鲁棒的触觉感知。
2019-08-10 cs.RO
Soft Robotic Link with Controllable Transparency for Vision-based Tactile and Proximity Sensing
Japan Advanced Institute of Science and Technology (JAIST)（日本北陆先端科学技术大学院大学（JAIST））；Hanoi University of Industry（河内工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
机器人已经在许多场景中接近人类工作。为了共存和合作，机器人应该是安全和愉快的人类互动。为此，机器人可以是具有多模态感测/感知的物理柔软的，使得机器人可以对周围环境有更好的认识，以及对人类的动作/意图做出适当的响应。介绍了一种基于计算机视觉和功能材料的新型柔性机器人连杆ProTac，该连杆具有触觉和接近传感两种传感模式。这些模态来自软透明硅皮肤、聚合物分散液晶（PDLC）膜和反射标记的分层结构。PDLC薄膜可以在不透明和透明状态之间主动切换，通过使用仅内置在ProTac链路内部的摄像头，可以获得触觉感知和接近传感。在本文中，推理算法的触觉接近感知。两种感知模式的评估结果表明，一个简单的激活策略，ProTac链接可以有效地感知有用的信息，从接近和接触的障碍物。该传感设备有望为具有柔软性、全身和多模态传感以及安全控制策略的机器人设计带来最终解决方案。
2022-11-07 cs.RO
DelTact: A Vision-based Tactile Sensor Using Dense Color Pattern
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
触觉感知是机器人完成灵巧任务必不可少的感知。基于视觉的触觉传感器作为一种很有前途的触觉感知技术，被用来提高机器人的操作和抓取性能。在这里，我们提出了一种新的设计基于视觉的触觉传感器，DelTact。该传感器采用模块化硬件架构，结构紧凑，同时保持全分辨率（798*586）和大面积（675mm2）的接触式测量。此外，它采用了一种改进的密集的随机颜色模式的基础上，以前的版本，以实现高精度的接触变形跟踪。特别是，我们优化了颜色图案的生成过程，并选择适当的模式，以协调与密集的光流算法在现实世界的实验感官设置。从原始图像获得的光流被处理以确定接触表面上的形状和力分布。我们还演示了从原始图像中提取接触形状和力分布的方法。实验结果表明，该传感器能够提供低误差和高频率（40 Hz）的触觉测量。
2022-05-31 cs.RO
A Handheld Device for the In Situ Acquisition of Multimodal Tactile Sensing Data
Georgia Tech（佐治亚理工学院）
多模态触觉感知可能使机器人能够通过快速区分任务相关对象来提高其在操作任务中的性能。这种触觉感知问题的数据驱动方法显示出希望，但缺乏合适的训练数据。在这两页纸，我们提出了一种便携式手持设备的多模态触觉感知数据的有效采集对象在其自然环境中，如家庭。该设备上的多模式触觉传感器集成了基于织物的力传感器、接触式麦克风、加速度计、温度传感器和加热元件。我们简要介绍了我们的方法，描述了设备，并通过一个小的数据集，我们捕获的一个人的家的浴室与7个任务相关的对象进行接触的评估证明了可行性。
2015-11-12 cs.RO
NUSense: Robust Soft Optical Tactile Sensor
Nazarbayev University（纳扎尔巴耶夫大学）；National University of Singapore（新加坡国立大学）
针对传统触觉传感器多依赖压力测量的局限，提出基于剪切应变检测的光学触觉传感原理，研发出NUSense相机式柔性触觉传感器，验证了其鲁棒性并探讨了潜在应用场景。
2024-10-30 cs.RO
Extrinsic Contact Sensing with Relative-Motion Tracking from Distributed Tactile Measurements
Massachusetts Institute of Technology（麻省理工学院）
本文讨论了未知抓取刚性物体与其环境接触的定位问题，即，机器人的外在。我们探讨的关键作用，分布式触觉感知在机器人外部的接触定位中发挥的作用，相反，聚合力/扭矩测量在机器人上的接触定位中发挥的作用。当与环境接触时，物体将根据该接触所施加的运动学约束和可能的摩擦约束而移动。用触觉传感器可以观察到的物体的小运动间接地编码了这些约束和定义它们的几何形状。我们制定的外部接触传感问题作为一个基于约束的估计。该估计受到由对象运动的触觉测量所施加的运动学约束，以及运动学（例如，非穿透）和可能的摩擦（例如，粘附）由刚体力学施加的约束。我们验证的方法，在模拟和实际实验的情况下，研究定点和线接触。本文讨论了分布式触觉感知的价值的理论基础相比，聚合力/扭矩测量。它还提供了一个估计框架，用于定位在接触丰富的操纵场景，如组装或包装的潜在影响的环境接触。
2021-03-24 cs.RO
Flexible electrical impedance tomography for tactile interfaces
The University of Edinburgh（爱丁堡大学）；Institute for Imaging, Data and Communications（成像、数据与通信研究所）；Institute for Integrated Micro and Nano Systems（集成微纳系统研究所）
本文提出一种基于水凝胶导电层的晶格图案化柔性电阻抗断层成像触觉传感器，通过仿真优化设计参数，实验验证其高精度触觉检测能力，并展示了在人机界面中控制虚拟游戏的实时多功能交互应用潜力。
2024-11-20 cs.RO
NeuroTac: A Neuromorphic Optical Tactile Sensor applied to Texture Recognition
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
开发与人类触觉相媲美的人工触觉感知能力是机器人和假肢的长期目标。越来越多的仿生触觉传感器正在开发和应用于抓取和操纵任务，以帮助实现这一目标。在这里，我们提出了neuroTac，一种新的神经形态光学触觉传感器。neuroTac结合了TacTip传感器的仿生硬件设计，该传感器模仿人类无毛皮肤的分层乳头结构，具有基于事件的摄像头（DAVIS240，iniVation）和以尖峰序列形式存储接触信息的算法。传感器的性能进行评估的纹理分类任务，与四个尖峰编码方法的实施和比较：密集，空间，时间和时空。我们发现基于时间的编码方法在人工和自然纹理上都具有最高的准确性。神经Tac的基于尖峰的输出可以使机器人中的仿生触觉感知算法以及假肢中的非侵入性和侵入性触觉反馈方法的开发成为可能。
2020-03-01 cs.RO
Shear-invariant Sliding Contact Perception with a Soft Tactile Sensor
Bristol Robotics Laboratory（布里斯托尔机器人实验室）；University of Bristol（布里斯托尔大学）
操作任务通常需要机器人与物体持续接触。因此，触觉感知系统需要处理连续的接触数据。剪切变形导致触觉传感器输出与路径相关的读数，而不是离散的接触读数。因此，在一些连续接触任务中，滑动可以被视为对传感器信号的干扰。在这里，我们提出了一个剪切不变的感知方法的基础上，主成分分析（PCA），输出所需的信息，尽管滑动运动的环境。顺应性触觉传感器（TacTip）用于研究连续触觉接触。首先，我们使用传感器滑过边缘时收集的测试数据离线评估该方法。然后，该方法被用于一个轮廓以下的任务，适用于6个不同曲率的对象，所有的轮廓被成功地跟踪。该方法展示了泛化能力，并可能成为一个更复杂的控制器，在非结构化环境中具有挑战性的操纵或探索任务的基础。一段视频展示了论文中描述的工作，可以在https://youtu.be/wrTM61-pieU上找到。
2019-05-02 cs.RO
LocoTouch: Learning Dynamic Quadrupedal Transport with Tactile Sensing
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）
针对四足机器人动态物体交互中接触感知与控制的难题，提出配备高密度背部触觉传感器的LocoTouch系统，通过两阶段学习与新型奖励函数训练触觉感知运输策略，实现零样本现实迁移，可稳定运输多样无固定圆柱物体且鲁棒性强。
2025-08-30 cs.RO
GelSight FlexiRay: Breaking Planar Limits by Harnessing Large Deformations for Flexible,Full-Coverage Multimodal Sensing
Zhejiang University（浙江大学）
针对传统视觉触觉传感器依赖刚性结构、牺牲柔顺性和传感区域的问题，提出GelSight FlexiRay多模态视觉触觉传感器，通过多镜配置优化和类人多模态感知增强，实现软夹爪大幅变形下的稳健传感，性能优于现有技术。
2024-11-28 cs.RO
Hall Effect-Based Tactile Force Detection Sensor for Robot-Assisted Minimally Invasive Surgery
University of Leeds（利兹大学）
针对机器人微创手术中触觉反馈缺失的问题，本文提出一种基于霍尔效应的毫米级紧凑力传感器，可检测法向和剪切力，平均RMSE为2.133 kPa，并在体模和离体猪组织上验证了牵拉与滑动感知能力。
2026-10-08 cs.RO
