"Touching to See" and "Seeing to Feel": Robotic Cross-modal SensoryData Generation for Visual-Tactile Perception
Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
视觉-触觉刺激的整合在人类执行日常任务时是常见的。相反，使用单峰视觉或触觉感知限制了主体的可感知维度。然而，整合视觉和触觉感知以促进机器人任务仍然是一个挑战。在本文中，我们提出了一个新的框架，用于视觉和触觉感知的跨模态感觉数据生成。以纹理感知为例，我们应用条件生成对抗网络从其他模态的数据中生成伪视觉图像或触觉输出。大量的实验上的ViTac数据集的布料纹理表明，所提出的方法可以产生逼真的输出从其他感官输入。我们采用结构相似性指数来评估生成的输出和真实数据的相似性，结果表明，真实的数据已经产生。分类评估也已执行，以表明包括生成的数据可以提高感知性能。所提出的框架有可能扩展分类任务的数据集，生成不易访问的感官输出，并推进综合视觉-触觉感知。
2019-02-17 cs.RO
Language-Guided Representation Learning for Robust Cross-Sensor Material Recognition
Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University（哈利法大学自主机器人系统中心（KUCARS），哈利法大学）
针对触觉传感器跨设备泛化差的问题，提出语言引导蒸馏框架，利用语言语义对齐触觉表示，在少样本和跨传感器迁移中显著提升准确率。
2026-09-15 cs.CL cs.CV cs.RO
Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints
UC Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于视觉的触觉传感器通常利用可变形的弹性体和安装在上面的相机来提供接触的高分辨率图像观察。获得变形弹性体的精确体积网格可以提供直接接触信息，并有利于机器人抓取和操纵。本文重点研究了基于视觉触觉传感器获取的图像印记来学习合成弹性体的体积网格。合成图像-网格对和真实世界图像分别从3D有限元法（FEM）和物理传感器收集。引入了一种图神经网络（GNN），通过监督学习来学习图像到网格的映射。提出了一种自监督自适应方法和图像增强技术，将网络从模拟转换为现实，从原始接触转换为不可见接触，以及从一个传感器转换为另一个传感器。使用这些学习和适应的网络，我们提出的方法可以准确地重建现实世界的触觉传感器弹性体在各个领域的变形，如定量和定性结果所示。
2022-03-29 cs.AI cs.CV cs.RO
Tactile Gym 2.0: Sim-to-real Deep Reinforcement Learning for Comparing Low-cost High-Resolution Robot Touch
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
高分辨率光学触觉传感器越来越多地用于机器人学习环境中，因为它们能够捕获大量与智能体-环境交互直接相关的数据。然而，由于触觉机器人平台、专门的仿真软件和在不同传感器之间缺乏通用性的模拟到真实的方法的高成本，在这一领域的研究存在很高的进入门槛。在这封信中，我们扩展了触觉健身房模拟器，包括三个新的光学触觉传感器（TacTip，DIGIT和DigiTac）的两个最流行的类型，Gelsight风格（基于图像阴影）和TacTip风格（基于标记）。我们证明，一个单一的模拟到真实的方法可以使用这三种不同的传感器，以实现强大的现实世界的性能，尽管真实的触觉图像之间的显着差异。此外，我们通过将其调整为廉价的4自由度机器人手臂，降低了拟议任务的进入门槛，进一步实现了该基准的传播。我们验证扩展环境的三个物理交互任务，需要触觉：物体推，边缘以下和表面以下。我们的实验验证的结果突出了这些传感器之间的一些差异，这可能有助于未来的研究人员选择和定制不同的操作场景的触觉传感器的物理特性。
2022-07-27 cs.RO
MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction
Edwardson School of Industrial Engineering, Purdue University（工业工程系，普渡大学）
MuxGel通过空间复用和深度重建实现双模视觉触觉感知，提升机器人抓取任务的感知能力。
2026-07-20 cs.RO
Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation
Peking University（北京大学）；BeingBeyond；Tsinghua University（清华大学）
提出H-Tac大规模触觉-动作数据集和可迁移触觉预训练（TTP）系统，通过统一触觉与动作空间弥合人机差距，利用触觉专家预测未来触觉以建模接触动力学，显著提升灵巧操作的泛化与精细控制能力。
2026-07-02 cs.CV cs.RO
Sensor-Invariant Tactile Representation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种新的方法，用于提取传感器不变的触觉表示，以实现跨光学触觉传感器的零样本迁移。通过基于变压器的架构训练多样化的模拟传感器数据集，实现对新传感器的最小校准泛化。实验结果展示了该方法在多种触觉传感应用中的有效性。
2025-03-13 cs.CV cs.LG cs.RO
TransForce: Transferable Force Prediction for Vision-based Tactile Sensors with Sequential Image Translation
King’s College London（伦敦国王学院）；Beijing Institute of Technology（北京理工大学）
TransForce通过图像翻译将源传感器数据迁移至新传感器，结合循环力预测模型，在剪切方向显著提升力预测精度，最低平均误差达0.69N。
2025-02-26 cs.RO
Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors
Robotics Institute（机器人研究所）；The Hong Kong University of Science and Technology（香港科技大学）
从本质上讲，成功的抓握归结为对指尖和物体之间的多次接触事件的正确反应。在大多数情况下，触觉感知足以区分接触事件。由于触觉信息的高维性，使用传统的基于模型的方法对时空触觉信号进行分类是困难的。在这项工作中，我们提出使用深度学习方法来预测和分类触觉信号，寻求提高机器人抓取系统对可能导致抓取失败的外部事件变化的适应性。我们开发了一个深度学习框架，并收集了6650触觉图像序列与基于视觉的触觉传感器，和神经网络集成到一个基于接触事件的机器人抓取系统。在抓取实验中，我们实现了52%的增加与接触检测的物体提升成功率，显着更高的鲁棒性下的意外负载与滑动预测相比，开环抓地力，表明所提出的框架集成到机器人抓取系统大大提高采摘成功率和能力，以抵御外部干扰。
2019-10-09 cs.CV cs.LG cs.RO
DenseTact: Optical Tactile Sensor for Dense Shape Reconstruction
Stanford University（斯坦福大学）
提高机器人中触觉感知的性能能够实现多功能的手内操作。基于视觉的触觉传感器已被广泛使用，因为丰富的触觉反馈已被证明与操作任务中的性能提高相关。具有高分辨率的现有触觉传感器解决方案具有局限性，包括低精度，昂贵的组件或缺乏可扩展性。在本文中，提出了一种廉价的，可扩展的，紧凑的触觉传感器与高分辨率的表面变形建模的表面重建的3D传感器表面。通过测量鱼眼相机的图像，它表明，传感器可以成功地估计表面变形的实时（1.8 ms），通过使用深度卷积神经网络。该传感器在其设计和传感能力方面代表了朝着更好的目标定位，分类和表面估计迈出的重要一步，所有这些都由高分辨率形状重建实现。
2022-03-08 cs.CV cs.RO
ML-based tactile sensor calibration: A universal approach
Technische Universität München（慕尼黑工业大学）；fortiss（弗劳恩霍夫软件与系统技术研究所（fortiss））；sensed.io UG (haftungsbeschränkt)（sensed.io有限责任公司）
我们研究了两个触觉传感器，指尖传感器从iCub和BioTac在不同的外部刺激下的反应。感兴趣的问题是两个传感器i）允许估计施加在传感器上的力和ii）能够识别不同程度的曲率的程度。利用影响触觉传感器的力控制线性电机，我们获得了几个高质量的数据集，允许在完全相同的条件下研究两个传感器。我们还研究了使用t-SNE嵌入记录的触觉传感器数据中触觉刺激的表示的结构。实验表明，iCub和BioTac在不同的设置中表现出色。
2016-06-21 cs.LG cs.RO
ControlTac: Scaling Tactile Data with Physically Controlled Tactile Image Generation
University of Maryland, College Park（马里兰大学学院 Park）
针对触觉数据采集成本高的问题，提出ControlTac两阶段可控生成框架，以物理先验为条件生成真实触觉图像，在多个下游任务中提升性能。
2026-09-09 cs.CV cs.LG cs.RO
Calibration-Free Surface Normals Estimation in Vision-Based Tactile Sensing using Universal Photometric Stereo
TU Dresden（德累斯顿工业大学）；TUD Dresden University of Technology（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心（CeTI））；DKFZ（德国癌症研究中心）；University Hospital Carl Gustav Carus（卡尔·古斯塔夫·卡鲁斯大学医院）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（德累斯顿-罗森多夫亥姆霍兹中心（HZDR））
提出无需校准的通用光度立体神经网络，从触觉图像估计接触表面法线，在多个传感器上验证，精度接近校准方法，奠定跨传感器触觉感知基础。
2026-09-29 cs.CV cs.LG cs.RO
Enhance Vision-based Tactile Sensors via Dynamic Illumination and Image Fusion
TU Dresden（德累斯顿工业大学）；Meta AI
本研究提出结合动态照明图案与图像融合技术，通过捕获并融合多组不同照明下的测量值，显著提升了基于视觉的触觉传感器的图像对比度、清晰度等感知质量，且可通过软件更新改进现有传感器。
2025-03-27 cs.AI cs.CV cs.LG
Dense Force Estimation with an Event-based Optical Tactile Sensor
Sony Advanced Visual Sensing, Zurich, Switzerland（索尼高级视觉传感公司，苏黎世，瑞士）；ETH Zürich（苏黎世联邦理工学院）
提出首个利用事件相机重建稠密3D力场的方法，通过事件数据估计表面位移并映射为力，平均误差(0.14N,0.10N,0.93N)，工作频率100Hz。
2026-06-08 cs.CV cs.LG cs.RO
Non-Matrix Tactile Sensors: How Can Be Exploited Their Local Connectivity For Predicting Grasp Stability?
University of Alicante（阿利坎特大学）；Computer Science Research Institute, University of Alicante（阿利坎特大学计算机科学研究所）
触觉传感器在与物体的交互过程中提供有用的信息，这些信息可用于评估抓握的稳定性。以前关于这个主题的大多数作品通过计算手工挑选的特征将触觉读数作为信号处理。他们中的一些人已经将这些读数作为图像处理，计算矩阵式传感器的特性。在这项工作中，我们将探讨如何非矩阵传感器（传感器与taxels不完全安排在一个矩阵）可以作为触觉图像处理。此外，我们证明了他们可以用于预测把握稳定性训练卷积神经网络（CNN）与他们。我们在41个日常物体上捕获了超过2500个真实的三指抓握，以训练一个利用非矩阵触觉传感器固有的局部连接的CNN，在预测稳定性方面实现了94.2%的F1分数。
2018-09-14 cs.LG cs.RO
Collaborative Representation Learning for Alignment of Tactile, Language, and Vision Modalities
TLV-CoRe通过协同表征学习提升触觉、语言和视觉模态的跨模态对齐与泛化能力。
2026-02-01 cs.CV cs.RO
VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios
研究旨在解决现有触觉生成方法依赖特定传感器数据集且泛化能力不足的问题。提出VQ-Touch框架，含DM-VQGAN提取特征及离散扩散解码器支持多模态生成，经少样本混合训练增强泛化能力，实验显示其在多任务中超越现有方法。
2026-07-17 cs.CV cs.RO
Tacchi 2.0: A Low Computational Cost and Comprehensive Dynamic Contact Simulator for Vision-based Tactile Sensors
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Engineering and Technology, China University of Geosciences (Beijing)（中国地质大学（北京）工程技术学院）；School of International, Beijing University of Posts and Telecommunications（北京邮电大学国际学院）；School of Mechanical Engineering, Anhui University of Technology（安徽工业大学机械工程学院）；Zhili College, Tsinghua University（清华大学志道书院）
本文提出Tacchi 2.0，通过将针孔相机模型集成到基于物质点法的低计算成本视觉触觉模拟器中，实现了按压、滑动和旋转等状态下触觉图像与标记运动图像的可靠模拟。
2025-03-12 cs.CV cs.RO
Learning to Detect Slip with Barometric Tactile Sensors and a Temporal Convolutional Neural Network
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
通过触觉反馈感知物体滑动的能力使人类能够完成复杂的操作任务，包括保持稳定的抓握。尽管触觉信息在许多应用中具有实用性，但触觉传感器尚未在工业机器人环境中广泛部署;部分挑战在于从触觉数据流中识别滑动和其他事件。在本文中，我们提出了一种基于学习的方法来检测滑动使用气压触觉传感器。这些传感器具有许多理想的特性，包括高耐用性和可靠性，并且由廉价的现成组件制成。我们训练时间卷积神经网络来检测滑动，实现了高检测精度，同时显示鲁棒性的速度和方向的滑动运动。此外，我们在涉及各种常见对象的两个操作任务上测试了我们的检测器，并成功地将其推广到训练过程中看不到的真实场景。我们认为，气压触觉感知技术，结合数据驱动的学习，适用于许多操作任务，如滑移补偿。
2022-07-13 cs.LG cs.RO
FeelAnyForce: Estimating Contact Force Feedback from Tactile Sensation for Vision-Based Tactile Sensors
University of Maryland College-Park（马里兰大学学院公园分校）；Perception and Robotics Group（感知与机器人学组）
本文提出FeelAnyForce方法，利用超过20万次压痕数据训练多头Transformer，从视觉触觉图像估计最高15N的三维接触力，在未见物体上达到4%平均绝对误差，并可泛化到不同触觉传感器。
2024-10-02 cs.CV cs.RO
TactileGCN: A Graph Convolutional Network for Predicting Grasp Stability with Tactile Sensors
University of Alicante（阿利坎特大学）
触觉传感器在与物体交互期间提供有用的接触数据，其可用于准确地学习以确定抓握的稳定性。文献中的大多数作品将触觉读数表示为普通特征向量或矩阵状触觉图像，使用它们来训练机器学习模型。在这项工作中，我们探索了一种利用触觉信息来预测把握稳定性的替代方法，通过利用触觉数据的图形表示，它保留了传感器的taxels及其位置的实际空间布置。在实验中，我们训练了一个图神经网络来对抓取进行二进制分类，分为稳定抓取和滑动抓取。为了训练这样的网络并证明其对手头问题的预测能力，我们捕获了一个新的数据集，其中包含41个对象的大约5000个三指抓握用于训练，以及10个未知对象的1000个抓握用于测试。我们的实验证明，这种新的方法可以有效地用于预测把握稳定性。
2019-01-18 cs.LG cs.RO stat.ML
A Thin Format Vision-Based Tactile Sensor with A Micro Lens Array (MLA)
Hong Kong University of Science and Technology（香港科技大学）
基于视觉的触觉传感器由于具有高空间分辨率和与机器学习算法的兼容性而在机器人领域得到了广泛的研究。然而，目前采用的传感器的成像系统体积庞大，限制了其进一步的应用。在这里，我们提出了一种基于微透镜阵列（MLA）的视觉系统，以实现具有高触觉感知性能的传感器封装的低厚度格式。多个微加工微透镜单元覆盖整个弹性触摸层，提供拼接的清晰触觉图像，实现高空间分辨率，厚度仅为5 mm。热回流和软光刻方法确保微透镜的均匀球形轮廓和光滑表面。光学和机械特性都证明了该传感器的稳定成像和出色的触觉感知，能够实现精确的3D触觉信息，例如超紧凑薄结构的位移映射和力分布。
2022-04-19 cs.CV cs.RO eess.IV
Deep Tactile Experience: Estimating Tactile Sensor Output from Depth Sensor Data
Honda Research Institute USA, Inc.（本田美国研究院）
触觉感知本质上基于接触。为了使用触觉数据，机器人需要与物体的表面接触。这在代理需要在依赖于接触位置的物理属性的多个备选方案之间做出决定的应用中是低效的。我们提出了一种方法来获得触觉数据在一个非侵入性的方式。所提出的方法估计的触觉传感器的输出从深度数据的对象的表面的基础上过去的经验。通过允许机器人与各种对象交互，收集触觉数据和相应的对象表面深度数据来构建经验数据集。我们使用经验数据集来训练一个神经网络，以单独从深度数据估计触觉输出。我们使用GelSight触觉传感器（一种基于图像的传感器）来生成图像，以捕获接触位置处的详细表面特征。我们训练一个网络，数据集包含578个图像到深度图的对应关系。给定物体表面的深度图，如果触觉传感器与物体接触，则网络输出触觉传感器的响应的估计。我们评估的方法与结构相似性指数矩阵（SSIM），两个图像之间的相似性度量常用的图像处理社区。我们提出的实验结果表明，该方法优于基线，使用随机图像的统计显着性得到SSIM得分分别为0.84 +/- 0.0056和0.80 +/- 0.0036。
2021-10-17 cs.RO
A 3D-Printable Dataset for Fair Testing and Comparisons of Tactile Sensors
University of Sussex（苏塞克斯大学）
提出一个由数学定义纹理组成的3D可打印数据集，确保不同打印机和材料间的可重复性，通过光学触觉传感器评估打印质量对触觉信号的影响，并建立首个物理可复现的纹理基准。
2026-09-24 cs.LG cs.RO
FingerVision Tactile Sensor Design and Slip Detection Using Convolutional LSTM Network
Hong Kong University of Science and Technology（香港科技大学）
触觉感知是人类感知系统中必不可少的一部分，机器人也是如此.在本文中，我们开发了一种新的基于光学的触觉传感器“FingerVision”与有效的信号处理算法。该传感器是由软皮肤与嵌入式标记阵列粘接到刚性框架，和一个网络摄像头与鱼眼镜头。在接触力的激励下，摄像机跟踪标记的运动，得到变形场。与现有的触觉传感器相比，我们的传感器具有紧凑的尺寸，高分辨率和易于制造的特点。此外，利用变形场估计，我们提出了一个基于卷积长短期记忆（卷积LSTM）网络的滑动分类框架。数据汇集过程利用了人类的滑动感，在此过程中，人手握住12个日常物品，与传感器皮肤交互，并基于人类的滑动感，用滑动或防滑标识标记数据。我们的滑动分类框架在测试数据集上的准确率高达97.62%。它有望能够显著提高机器人抓取的稳定性，从而实现更好的接触力控制、更精细的物体交互和更主动的传感操作。
2018-10-05 cs.LG cs.RO
Collision-aware In-hand 6D Object Pose Estimation using Multiple Vision-based Tactile Sensors
Istituto Italiano di Tecnologia（意大利技术研究院）；Università di Genova（热那亚大学）
在本文中，我们解决的问题，估计在手的6D姿态的对象与多个基于视觉的触觉传感器接触。我们的原因上可能的空间配置的传感器沿物体表面。具体来说，我们使用几何推理和卷积神经网络（CNN）过滤接触假设，在模拟的对象不可知图像上进行训练，以促进那些更好地符合传感器的实际触觉图像。我们使用所选择的传感器配置，使用基于梯度下降的方法在6D姿态的空间上进行优化。我们最终通过惩罚那些与传感器发生碰撞的姿势来对获得的姿势进行排名。我们进行了模拟实验，使用DIGIT基于视觉的传感器与几个对象，从标准的YCB模型集。结果表明，我们的方法估计的对象构成是兼容的实际对象传感器接触的情况下，在$87.5\%$，同时达到平均位置误差的顺序为$2$厘米。我们的分析还包括一个真正的DIGIT传感器实验的定性结果。
2023-01-31 cs.LG cs.RO
Towards vision-based robotic skins: a data-driven, multi-camera tactile sensor
ETH Zurich（苏黎世联邦理工学院）
本文介绍了一种多摄像头光学触觉传感器的设计，提供有关的接触力分布施加到其软表面的信息。这些信息包含在表面内散布的球形颗粒的运动中，当受到力时，这些颗粒会变形。小型嵌入式摄像机捕获不同颗粒图案的图像，然后通过机器学习架构将其映射到三维接触力分布。本文提出的设计具有更大的接触表面和更薄的结构比大多数现有的基于摄像头的触觉传感器，而不使用额外的反射元件，如镜子。一个模块化的学习架构的实现进行了讨论，有利于更大的表面，如机器人皮肤的可扩展性。
2020-06-23 cs.CV cs.RO
UniTac-NV: A Unified Tactile Representation For Non-Vision-Based Tactile Sensors
Imperial College London（伦敦帝国理工学院）
针对非视觉触觉传感器跨传感器迁移研究不足的问题，提出编码器-解码器架构统一触觉数据，构建与传感器无关的潜在空间，实现低误差迁移，并支持下游模型无需重训即可跨传感器应用。
2025-06-24 cs.RO
FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Sharpa；Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出FTP-1，首个通用基础触觉策略，通过异构编码器和共享Transformer专家，跨21种传感器和3000小时数据预训练，实现触觉操作技能的跨传感器迁移，在未见传感器上成功率提升31%。
2026-10-28 cs.RO
How to Train your Tactile Model: Tactile Perception with Multi-fingered Robot Hands
Bristol Robotics Laboratory, University of Bristol（布里斯托大学布里斯托机器人实验室）
本文提出TacViT模型，基于视觉Transformer实现触觉感知，能有效泛化新传感器数据，减少数据收集和重训练需求，提升多指机械手的触觉感知能力。
2026-04-01 cs.RO
Elastic Tactile Simulation Towards Tactile-Visual Perception
JD Explore Academy（京东探索研究院）
触觉感知在机器人感知和操作任务中起着重要的作用。为了克服数据汇集在现实世界中的局限性，在虚拟环境中模拟触觉响应成为机器人研究的一个理想方向。在本文中，我们提出了弹性相互作用的粒子（EIP）的触觉模拟。大多数现有的工作模型的触觉传感器作为一个刚性的多体，这是无法反映的弹性特性的触觉传感器，以及表征细粒度的两个对象之间的物理相互作用。相比之下，EIP将触觉传感器建模为一组协调的颗粒，并应用弹性特性来调节颗粒在接触过程中的变形。通过EIP的触觉模拟，我们进一步提出了一个触觉-视觉感知网络，使触觉数据和视觉图像之间的信息融合。感知网络基于全局到局部的融合机制，其中多尺度触觉特征在触觉位置和方向的指导下被聚合到视觉模态的相应局部区域。该融合方法在三维几何重建任务方面具有优越性。
2021-08-12 cs.CV cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol（布里斯托大学）；University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出 GenForce 框架，通过共享标记表征统一触觉信号，实现跨同构与异构触觉传感器的力觉模型迁移，并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
Tactile Functasets: Neural Implicit Representations of Tactile Datasets
University of Michigan（密歇根大学）
针对高维触觉图像难以高效存储与泛化的问题，提出基于神经隐式函数的触觉数据集表示，生成紧凑且支持概率推理的表征，在手内物体姿态估计任务中优于图像方法并简化下游模型。
2024-09-22 cs.RO
DigiTac: A DIGIT-TacTip Hybrid Tactile Sensor for Comparing Low-Cost High-Resolution Robot Touch
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
深度学习与高分辨率触觉感知相结合，可以产生高度灵活的机器人。然而，由于缺乏专门设备和专门知识，进展缓慢。DIGIT触觉传感器使用GelSight类型的传感器提供低成本的高分辨率触摸。在这里，我们定制DIGIT，使其具有基于TacTip系列软仿生光学触觉传感器的3D打印传感表面。DIGIT-TacTip（DigiTac）可以直接比较这些不同的触觉传感器类型。为了进行比较，我们介绍了一个触觉机器人系统，包括桌面手臂，支架和3D打印的测试对象。我们使用带有PoseNet深度学习模型的触觉伺服控制来比较DIGIT、DigiTac和TacTip在3D形状上的边缘和表面跟踪。这三种传感器在姿态预测方面的表现相似，但它们的结构导致了伺服控制的不同表现，为研究人员选择或创新触觉传感器提供了指导。用于复制本研究的所有硬件和软件将公开发布。项目网址：www.lepora.com/digitac。项目资料库：www.github.com/nlepora/digitac-design。
2022-07-18 cs.RO
TANDEM: Learning Joint Exploration and Decision Making with Tactile Sensors
Columbia University（哥伦比亚大学）
受人类在完全没有视觉的情况下执行复杂操作的能力（如从口袋中取出物体）的启发，机器人操作领域有动力开发基于机器人的物体交互的新方法。然而，触觉感知提出了作为主动感测模态的挑战：触摸传感器提供稀疏的本地数据，并且必须与有效的探索策略结合使用以收集信息。在这项工作中，我们专注于指导触觉探索的过程，以及它与任务相关的决策的相互作用。我们提出了TANDEM（触觉探索和决策），一个架构，学习有效的探索策略与决策。我们的方法是基于单独的，但共同训练的探索和歧视模块。我们演示了这种方法的触觉对象识别任务，配备触摸传感器的机器人必须探索和识别一个对象从一个已知的二进制接触信号的基础上。与其他方法相比，TANDEM以更少的动作实现了更高的精度，并且对传感器噪声也更具鲁棒性。
2022-07-21 cs.AI cs.LG cs.RO
TouchRoller: A Rolling Optical Tactile Sensor for Rapid Assessment of Large Surfaces
University of Liverpool（利物浦大学）；smARTLab（smARTLab实验室）
触觉感知对于机器人感知世界非常重要，因为它可以捕获接触对象的纹理和硬度，并且对照明和颜色变化具有鲁棒性。然而，由于有限的感测区域和固定表面的电阻，当前的触觉传感器在评估大表面时必须在目标对象上敲击触觉传感器多次，即，按压、抬起和转移到另一个区域。这个过程是无效的和耗时的。拖动这种传感器也是不希望的，因为这通常会损坏传感器或物体的敏感膜。为了解决这些问题，我们提出了一个圆柱形的光学触觉传感器命名为TouchRoller，可以绕其中心轴滚动。它在整个运动过程中保持与被评估表面的接触，从而可以连续有效地测量物体。大量的实验表明，TouchRoller传感器可以在10秒的短时间内覆盖8cm*11cm的纹理表面，比平面光学触觉传感器（196s）有效得多。与视觉纹理相比，从收集的触觉图像的纹理的重建图具有平均为0.31的高结构相似性指数（SSIM）。此外，传感器上的触点可以以较低的定位误差定位，中心区域为2.63 mm，平均为7.66 mm。所提出的传感器将能够快速评估大表面的高分辨率触觉感知，也有效地收集触觉图像。
2021-02-28 cs.RO
SuperMag: Vision-based Tactile Data Guided High-resolution Tactile Shape Reconstruction for Magnetic Tactile Sensors
Department of Automation, Beihang University（自动化系，北航）；State Key Laboratory of General Artificial Intelligence, BIGAI（一般人工智能国家重点实验室，BIGAI）
针对磁基触觉传感器（MBTS）空间分辨率低的问题，提出SuperMag方法，用高分辨率视觉触觉传感器数据监督MBTS超分辨率，通过条件变分自编码器实现快速高分辨率形状重建，提升MBTS触觉感知能力。
2025-07-26 cs.RO
Evetac: An Event-based Optical Tactile Sensor for Robotic Manipulation
Hessian Centre for Artificial Intelligence（黑森人工智能中心）；Technische Universität Dresden（德累斯顿工业大学）；The Centre for Tactile Internet with Human-in-the-Loop (CeTI)（以人为中心的触觉互联网中心）；Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
针对传统光学触觉传感器时间分辨率不足的问题，研究团队研发基于事件相机的Evetac触觉传感器及配套高速处理算法，可实现高频振动感知、剪切力重建与低数据速率输出，支撑鲁棒自适应闭环抓取控制，为机器人类人操作提供关键传感方案。
2024-08-15 cs.LG cs.RO
Zero-shot Sim2Real Transfer for Magnet-Based Tactile Sensor on Insertion Tasks
Princeton University（普林斯顿大学）
针对磁敏触觉传感器的仿真到真实差距问题，提出新型GCS技术，实现了盲插入任务中基于原始触觉读数的RL策略零样本仿真到真实迁移。
2026-08-06 cs.RO
SPLIT: Separating Physical-Contact via Latent Arithmetic in Image-Based Tactile Sensors
Leibniz Universität Hannover, L3S Research Center（莱布尼茨汉诺威大学，L3S研究所）
本文提出SPLIT方法，通过潜在空间算术分离接触几何与传感器光学特性，实现触觉传感器的高效模拟，支持多传感器迁移和双向模拟，提升机器人触觉感知研究效率。
2026-04-27 cs.AI cs.LG cs.RO
Heterogeneous Tactile Transformer
提出异构触觉Transformer（HTT），通过传感器特定编码器和共享Transformer主干学习跨异构传感器的共享触觉表示，利用新HPT数据集预训练，在感知和操作任务中实现可迁移表示。
2026-10-14 cs.RO
GelSphere: An Omnidirectional Rolling Vision-Based Tactile Sensor for Online 3D Reconstruction and Normal Force Estimation
本文提出GelSphere，一种基于视觉的触觉传感器，用于实时连续表面扫描。通过内部钢球形成轴承层，实现全方位滚动，提升3D重建和法向力估计的精度。
2026-03-14 cs.RO
Simulation of Vision-based Tactile Sensors using Physics based Rendering
Carnegie Mellon University（卡内基梅隆大学）
随着基于视觉的触觉传感器的出现，触觉感知已被迅速采用。基于视觉的触觉传感器提供高分辨率，紧凑和廉价的数据，以执行精确的手操作和人机交互。然而，触觉传感器的仿真仍然是一个挑战。在本文中，我们建立了第一个完全通用的光学触觉模拟系统的GelSight传感器使用基于物理的渲染技术。我们提出了物理上精确的灯光模型，并对模拟管道的各个组件进行了深入分析。我们的系统优于以前的模拟技术定性和定量的图像相似性度量。我们的代码和实验数据在https://labs.ri.cmu.edu/robotouch/tactile-optical-simulation/上开源
2021-07-22 cs.GR cs.RO
A Sensor Position Localization Method for Flexible, Non-Uniform Capacitive Tactile Sensor Arrays
University of Colorado Boulder（科罗拉多大学博尔德分校）
针对非均匀触觉阵列内部传感器位置难以定位的问题，提出可变密度互电容阵列 VARSkin 及配套定位方法，在隐藏布局皮肤贴片上达到 ±2mm 精度并给出误差分析。
2024-12-01 cs.RO
RoTip: A Finger-Shaped Tactile Sensor with Active Rotation Capability
本文提出了一种名为RoTip的新型视觉触觉传感器，其具备独立控制的关节和全表面接触感知能力，通过主动旋转实现了对刚性和柔性日常物体的更灵巧操作。
2025-02-01 cs.RO
TacO: Benchmarking Tactile Sensors for Object Manipulation
UC San Diego（圣迭戈大学）；CMU（卡内基梅隆大学）；SNU（首尔国立大学）
本文提出了一种基于任务驱动的触觉传感器评估框架，通过训练不同模态的触觉传感器（视觉、声学、磁性和电阻性）在三个任务上的表现，探讨了触觉信息在不同材料和任务中的有效性。
2026-11-02 cs.RO
TactX: Learning Shared Tactile Representations Across Diverse Sensors
UC San Diego（加州大学圣地亚哥分校）；Seoul National University（首尔大学）；Amazon FAR（亚马逊FAR）
提出TactX框架，通过配对接触数据训练模态特定编码器，将电阻、磁和视觉三种触觉传感器的观测映射到共享潜空间，实现零样本策略迁移，平均成功率从27.5%提升至45.9%。
2026-07-01 cs.RO
GelBelt: A Vision-based Tactile Sensor for Continuous Sensing of Large Surfaces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
针对传统视觉式触觉传感器传感面积小、易损坏、不适用于大表面连续传感的问题，提出采用弹性带与双滚轮的新型GelBelt传感器，可实现最高45mm/s的高精度大规模表面快速扫描，在形状重建与表面融合中表现良好。
2025-01-09 cs.CV cs.RO
GelTip: A Finger-shaped Optical Tactile Sensor for Robotic Manipulation
University of Liverpool（利物浦大学）；Fuzhou University（福州大学）
感知整个手指的接触是机器人在杂乱环境中执行操作任务的基本能力。然而，现有的触觉传感器要么仅具有平坦的感测表面，要么具有有限感测区域的顺应性尖端。在本文中，我们提出了一种新的光学触觉传感器，GelTip，形状像一个手指，可以感测其表面上的任何位置的接触。该传感器捕获高分辨率和颜色不变的触觉图像，可用于提取有关末端执行器与被操纵物体相互作用的详细信息。我们的大量实验表明，GelTip传感器可以有效地定位其手指形主体的不同位置上的触点，平均定位误差约为5 mm，最佳情况下小于1 mm。所获得的结果表明，在促进动态操作任务与其全面的触觉感知能力的GelTip传感器的潜力。有关GelTip传感器的传感器型号和更多信息，请访问http://danfergo.github.io/geltip。
2020-08-12 cs.RO
Egocentric Tactile and Proximity Sensors as Observation Priors for Humanoid Collision Avoidance
University of Colorado Boulder（科罗拉多大学波得尔分校）
本文提出基于强化学习的双足机器人全身避障框架，通过躲避球任务验证传感器属性对避障行为的影响，发现接近传感器在传感范围充足时可替代显式物体定位，稀疏非定向信号在样本效率上优于密集定向信号。
2026-04-28 cs.LG cs.RO
Elastic Interaction of Particles for Robotic Tactile Simulation
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；State Key Lab on Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua University（清华大学）
触觉感知在机器人感知和操作中起着重要的作用。为了克服现实世界中数据汇集的局限性，在虚拟环境中模拟触觉响应成为机器人研究的一个重要方向。大多数现有的工作模型的触觉传感器作为一个刚性的多体，这是无法反映的弹性特性的触觉传感器，以及表征细粒度的两个对象之间的物理相互作用。在本文中，我们提出了弹性相互作用的粒子（EIP），触觉仿真的一种新的框架。在其核心，EIP模型的触觉传感器作为一组协调的颗粒，和弹性理论被用来调节颗粒在接触过程中的变形。EIP的实现是从零开始的，不需要借助任何现有的物理引擎。实验验证了我们的方法的有效性已经进行了两个应用程序：机器人感知与触觉数据和三维几何重建的视觉融合。这可能为机器人触觉仿真开辟一条新的思路，并有助于各种下游机器人任务。
2020-11-23 cs.CV cs.RO
Seamless Integration of Tactile Sensors for Cobots
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对工业夹爪缺乏触觉反馈及现有传感器集成复杂的问题，提出一种基于微控制器且兼容Arduino的传感器读取方案，实现与Robotiq夹爪无缝集成，有效降低集成难度并加速相关研究。
2023-09-11 cs.RO
GelSight360: An Omnidirectional Camera-Based Tactile Sensor for Dexterous Robotic Manipulation
Massachusetts Institute of Technology（麻省理工学院）
本文提出GelSight360，一种基于相机的全向触觉传感器，采用新颖的跨LED照明方案，可生成物体变形深度图并适配不同夹爪，解决了传统传感器难以集成和定制的问题。
2023-04-09 cs.RO
