PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies
MIT CSAIL
本文提出 PolyTouch 多模态触觉传感器，结合触觉扩散策略，显著提升了非结构化环境中富接触操作的鲁棒性与性能。
2025-04-27 cs.AI cs.RO
Visual Tactile Sensor Based Force Estimation for Position-Force Teleoperation
Nagoya University（名古屋大学）；Technical University of Darmstadt（达姆施塔特工业大学）
基于视觉的触觉传感器在机器人领域得到了广泛的关注。高度期望传感器能够在在手操纵期间提取接触信息，即触觉信息。触觉传感器的这种特性使其成为触觉反馈应用的完美匹配。在本文中，我们提出了一种接触力估计方法，使用基于视觉的触觉传感器DIGIT，并将其应用到位置-力遥操作体系结构的力反馈。通过构建用于DIGIT凝胶表面变形测量的深度图并对估计的深度数据和地面真实力数据应用回归算法以获得深度-力关系来进行力估计。实验是通过构建一个抓取力反馈系统与触觉设备作为领导者的机器人和并联机器人夹持器作为从动器的机器人，其中的DIGIT传感器连接到机器人夹持器的尖端，以估计接触力。初步结果表明，使用低成本的基于视觉的传感器的力反馈应用的能力。
2022-12-26 cs.RO
Active Exploration for Real-Time Haptic Training
Center for Robotics and Biosystems, Northwestern University（西北大学机器人与生物系统中心）；Yale University（耶鲁大学）
针对触觉数据采集成本高、训练困难的问题，本文提出以模型熵为不确定性度量、结合基于覆盖的遍历控制器进行主动探索，实现近实时触觉感知模型训练，并验证其优于随机采集且可定位高显著性区域。
2024-05-20 cs.RO
A Biomimetic Fingerprint for Robotic Tactile Sensing
Faculty of Mechatronic \& Micro-Mechatronic Systems Hochschule Karlsruhe (HKA) Karlsruhe, Germany；Deutsches Forschungszentrum für Künstliche Intelligenz GmbH；L3S Research Center, Leibniz Universität Hannover Hannover, Germany
本文提出一种3D打印指纹模式，提升机器人触觉反馈信号强度，实现动态触觉感知，展示了在不同材料物体上的应用效果。
2023-07-04 cs.RO
Sensorimotor-inspired Tactile Feedback and Control Improve Consistency of Prosthesis Manipulation in the Absence of Direct Vision
Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
上肢假肢缺乏触觉感知，迫使截肢者主要依靠视觉线索来完成日常生活活动。相比之下，健全的人天生依赖于有意识的触觉感知和自动触觉反射来控制不允许持续视觉注意的情况下的意志行动。因此，我们提出了一个肌电假肢系统，反映了这些概念，以帮助操作性能没有直接的视觉。为了实现这一设计，我们构建了两个基于织物的触觉传感器，它们可以测量假肢手指的手掌侧和手背侧的接触位置，并在假肢拇指的尖端处抓住压力。受自然感觉运动系统的启发，我们使用来自这些传感器的测量来提供接触位置的振动触觉反馈，并实现触觉抓握控制器，该触觉抓握控制器使用自动反射来防止过度抓握和物体滑动。我们将该系统与标准肌电假肢进行了一项具有挑战性的无直视取放任务进行比较; 17名身体健全的成年人参加了这项单次受试者间研究。与标准组的参与者相比，触觉组的参与者实现了更一致的高性能。这些结果表明，除了接触位置反馈和反射控制增加的一致性，在上肢假肢可以抓住和移动的对象没有直接的视觉。
2021-07-14 cs.RO
3D Vision-tactile Reconstruction from Infrared and Visible Images for Robotic Fine-grained Tactile Perception
State Key Laboratory of Digital Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology（数字制造装备与技术国家重点实验室，机械科学与工程学院，华中科技大学）
针对平面视觉触觉传感器曲面化难题，提出GelSplitter3D结合红外与可见光成像、光度立体网络及边界约束积分法，实现高精度三维重建，法向精度提升40%。
2025-06-18 cs.RO
Simple Kinesthetic Haptics for Object Recognition
Tel-Aviv University（特拉维夫大学）
本文提出一种基于动觉的物体识别方法，利用多指机器人手的抓取参数化生成训练数据，无需触觉传感器或真实物体交互，并通过两种迭代算法实现准确且可扩展的物体分类。
2022-06-11 cs.RO eess.SP
NeuroTac: A Neuromorphic Optical Tactile Sensor applied to Texture Recognition
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
开发与人类触觉相媲美的人工触觉感知能力是机器人和假肢的长期目标。越来越多的仿生触觉传感器正在开发和应用于抓取和操纵任务，以帮助实现这一目标。在这里，我们提出了neuroTac，一种新的神经形态光学触觉传感器。neuroTac结合了TacTip传感器的仿生硬件设计，该传感器模仿人类无毛皮肤的分层乳头结构，具有基于事件的摄像头（DAVIS240，iniVation）和以尖峰序列形式存储接触信息的算法。传感器的性能进行评估的纹理分类任务，与四个尖峰编码方法的实施和比较：密集，空间，时间和时空。我们发现基于时间的编码方法在人工和自然纹理上都具有最高的准确性。神经Tac的基于尖峰的输出可以使机器人中的仿生触觉感知算法以及假肢中的非侵入性和侵入性触觉反馈方法的开发成为可能。
2020-03-01 cs.RO
Learning an Action-Conditional Model for Haptic Texture Generation
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
响应于用户交互的丰富的触觉感觉反馈对于有效的、沉浸式虚拟现实或遥控操作系统是期望的。然而，这种反馈以复杂的非线性方式依赖于材料特性和用户交互。因此，以概括用户输入的许多变化的方式对从材料和用户交互到触觉反馈的映射进行建模是具有挑战性的。目前的方法通常以用户交互为条件，但需要为每种材料建立单独的模型。在本文中，我们提出了一个学习的动作条件模型，使用基于视觉的触觉传感器（GelSight）和用户的动作作为输入的数据。该模型预测可用于向用户提供触觉振动反馈的感应加速度。我们在一个公开的数据集（Penn Haptic Texture Toolkit）上训练了我们提出的模型，我们用不同材料的GelSight测量进行了增强。我们表明，在所有材料的统一模型优于以前的方法，并推广到新的行动和新的实例的材料类别的数据集。
2020-10-26 cs.LG cs.RO
Active 3D Shape Reconstruction from Vision and Touch
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）
人类通过主动的物体探索，联合使用视觉和触觉来建立对世界的3D理解。然而，在3D形状重建中，最新的进展依赖于有限感官数据的静态数据集，如RGB图像，深度图或触觉读数，使得形状的主动探索在很大程度上未被探索。用于3D重建的非主动触摸感测，目标是主动选择最大化形状重建准确性的改进的触觉读数。然而，基于深度学习的主动触摸模型的开发在很大程度上受到缺乏用于形状探索的框架的限制。在本文中，我们专注于这个问题，并介绍了一个系统组成：1）触觉模拟器，利用高空间分辨率的基于视觉的触觉传感器的3D物体的主动触摸; 2）基于网格的3D形状重建模型，依赖于触觉或视觉触觉信号;和3）一组数据驱动的解决方案，无论是触觉或视觉触觉先验，以指导形状探索。我们的框架能够开发第一个完全数据驱动的解决方案，在学习模型的基础上进行主动触摸，以实现对象理解。我们的实验显示了这种解决方案在3D形状理解任务中的优势，我们的模型始终优于自然基线。我们提供我们的框架作为一种工具，以促进未来的研究在这个方向。
2021-10-26 cs.CV cs.RO
A Review of Surface Haptics:Enabling Tactile Effects on Touch Surfaces
Koc University（科奇大学）；University of Lille（里尔大学）；École de Technologie Supérieure（高等技术学院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
我们回顾了当前的表面触觉技术，将被动触摸表面转换为主动触摸表面（机器触觉），我们通过主动触摸表面（人类触觉）显示的触觉刺激的感知，它们的潜在应用（人机交互），最后是我们面临的挑战，使它们通过商业系统。这篇综述主要涵盖了人类手指或手与表面触觉显示器的触觉交互，重点关注三种最流行的驱动方法：振动触觉，静电和超声波。
2020-04-28 cs.HC cs.RO
Hoxels: Fully 3-D Printed Soft Multi-Modal & Multi-Contact Haptic Voxel Displays for Enriched Tactile Information Transfer
Stanford University（斯坦福大学）
腕戴式触觉接口可以提供广泛的触觉提示，用于与虚拟对象进行信息通信和交互。与指尖不同，手腕和前臂提供了相当大的皮肤面积，其允许放置多个触觉致动器作为显示器，用于以最小的反射来丰富触觉信息传递。现有的多自由度（DoF）腕戴式设备采用传统的刚性机器人机构和电动机，这限制了它们的多功能性、小型化、分布和组装。基于软弹性体致动器阵列的替代解决方案仅构成1-DoF触觉像素。更高自由度的原型产生单个交互点，需要复杂的手动装配过程，例如模制和粘合几个部件。这些方法限制了高DoF紧凑型触觉显示的构造、可重复性和可定制性。在这里，我们提出了一种新颖的，全3D打印的，柔软的，可穿戴的触觉显示，用于增加手腕和前臂上的触觉信息传输，具有3-DoF触觉体素，称为hoxel。我们的初始原型包括两个hoxel，提供皮肤剪切，压力，扭曲，拉伸，挤压和其他任意刺激。每个hoxel在x和y轴上产生高达1.6 N的力，在z轴上产生高达20 N的力。我们的方法使快速制造的通用和有力的触觉显示。
2022-09-12 cs.RO
A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出一种视觉-触觉数据采集系统，生成时间结构丰富的接触密集演示，用于模仿学习。通过直接驱动夹具和触觉阵列，保留自然触觉反馈，结合实时注释，生成多模态数据集以支持粗到细学习算法。
2026-07-28 cs.RO
TEGA: A Tactile-Enhanced Grasping Assistant for Assistive Robotics via Sensor Fusion and Closed-Loop Haptic Feedback
Department of Civil and Coastal Engineering, University of Florida（土木与海岸工程系，佛罗里达大学）；Nvidia（英伟达）
TEGA通过融合EMG意图到力推断与触觉传感，提供闭环触觉反馈，提升残疾用户抓取稳定性与任务成功率。
2026-03-05 cs.RO
Vis2Hap: Vision-based Haptic Rendering by Cross-modal Generation
University of Liverpool（利物浦大学）；King’s College London（伦敦国王学院）；University of Leeds（利兹大学）；Xi’an Jiaotong University（西安交通大学）
为了帮助机器人在遥操作任务，触觉渲染，允许人类操作员访问虚拟触摸的感觉，近年来已经开发。大多数以前的触觉渲染方法强烈依赖于触觉传感器收集的数据。然而，由于机器人有限的可达空间和触觉传感器的限制，触觉数据并不能广泛地用于机器人。为了消除对触觉数据的需要，在本文中，我们提出了一种新的方法命名为Vis2Hap生成触觉渲染从视觉输入，可以从远处获得，而无需物理交互。我们将物体的表面纹理作为传达给人类操作员的关键线索。为此，生成模型的目的是模拟物体表面的粗糙度和光滑度。为了在Vis2Hap中嵌入触觉提示，我们使用来自触觉传感器的高度图和来自摩擦系数的频谱图作为生成模型的中间输出。一旦训练了Vis2Hap，它就可以用来生成新表面纹理的高度图和频谱图，从中可以获得摩擦图像并显示在触觉显示上。用户研究表明，我们提出的Vis2Hap方法使用户能够访问一个现实的触觉感觉类似的物理对象。建议基于视觉的触觉渲染有可能提高人类操作员的感知远程环境，并促进机器人操作。
2023-01-17 cs.RO
Deep Learning for Tactile Understanding From Visual and Haptic Data
University of California at Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
与物理世界交互的机器人将受益于对物体和表面的细粒度触觉理解。此外，对于某些任务，机器人可能需要在触摸物体之前知道物体的触觉特性。为了使机器人能够更好地理解触觉，我们提出了一种用触觉形容词对表面进行分类的方法（例如，可压缩或平滑）。人类通常将视觉预测和来自物理交互的反馈相结合，以准确地预测触觉特性并与世界交互。受这种认知模式的启发，我们提出并探索了一个纯粹的视觉触觉预测模型。视觉模型使机器人能够在没有物理交互的情况下“感觉”。此外，我们证明，使用视觉和物理交互信号一起产生更准确的触觉分类。我们的模型利用了深度神经网络的最新进展，采用统一的方法来学习物理交互和视觉观察的特征。即使我们采用很少的领域特定的知识，我们的模型仍然取得了更好的结果比基于手工设计的功能的方法。
2016-04-12 cs.CV cs.LG cs.RO
Investigating Social Haptic Illusions for Tactile Stroking (SHIFTS)
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
一种常见而有效的社交方式是抚摸前臂。我们试图用触觉错觉来复制这种抚摸的感觉。这项工作比较了两种方法，提供顺序离散的刺激：顺序正常压痕和顺序横向皮肤滑移离散致动器。我们的目标是了解哪种形式的刺激更有效地产生连续的抚摸感觉，以及需要多少个离散的接触点。我们对20名参与者进行了一项研究，他们对触觉设备的连续性和愉悦性进行了评价。我们发现，外侧皮肤滑动创造了一个更连续的感觉，减少接触点的数量减少了连续性。这些结果为未来可穿戴触觉设备的设计和触觉信号的创建提供了信息，以实现有效的社交沟通。
2020-03-02 cs.HC cs.RO
Haptic Stiffness Perception Using Hand Exoskeletons in Tactile Robotic Telemanipulation
Queen Mary University of London（伦敦玛丽女王大学）；Humanoid AI（人形人工智能公司）；King’s College London（伦敦国王学院）
本文研究真实机器人遥操作中的刚度感知，提出由触觉指尖生成、并结合接触力与主从位移的手部外骨骼反馈，实验证明操作者可仅凭触觉区分不同刚度物体。
2024-12-03 cs.RO
HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning
King’s College London, UK（伦敦国王学院）；Huawei, Noah’s Ark Lab, UK（华为、诺亚实验室）；University College London, UK（伦敦大学学院）
提出HapTile数据集，通过集成指尖触觉反馈和操作员触觉感知，为接触丰富的机器人操作任务提供视觉-触觉-语言-动作联合数据，并验证其在策略学习中的有效性。
2026-06-23 cs.RO
TIMS: A Tactile Internet-Based Micromanipulation System with Haptic Guidance for Surgical Training
University of Bristol（布里斯托尔大学）；Bristol Robotics Lab（布里斯托尔机器人实验室）；Imperial College London（伦敦帝国理工学院）；Tencent Robotics X（腾讯Robotics X实验室）
本文提出一种基于触觉互联网的微操作训练系统TIMS，通过触觉反馈和引导帮助受训者学习显微外科操作，利用高斯过程回归生成专家轨迹，并经用户研究验证其有效性。
2023-11-17 cs.RO
Haptic Light-Emitting Diodes: Miniature, Luminous Tactile Actuators
Department of Mechanical Engineering, University of California, Santa Barbara, USA（加州大学圣芭芭拉分校机械工程系）
本文提出了一种将脉冲光转化为机械力和位移的发光热气动执行器，展示了其在人机接口中的触觉反馈应用潜力。
2026-03-17 cs.HC cs.RO
Audio-based Roughness Sensing and Tactile Feedback for Haptic Perception in Telepresence
University of Bonn（波恩大学）
提出一种低成本触觉系统，通过双麦克风采集指尖与空气声音，实时估计表面粗糙度并以音频振动反馈，经实验和ANA Avatar XPRIZE决赛验证有效。
2023-10-16 cs.RO
HapticVLM: VLM-Driven Texture Recognition Aimed at Intelligent Haptic Interaction
Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室、数字工程中心、斯克尔科沃科学与技术研究所）
本文提出HapticVLM系统，融合视觉-语言模型与ConvNeXt网络实现材料识别和环境温度推断，通过振动与热反馈合成触觉体验，在多种模式上取得较高识别准确率，推动情境感知的多模态触觉交互发展。
2025-05-05 cs.HC cs.RO
Integrating and Evaluating Visuo-tactile Sensing with Haptic Feedback for Teleoperated Robot Manipulation
Technische Universität Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Hessian Centre for Artificial Intelligence (Hessian.AI)（黑森州人工智能中心）；Centre for Cognitive Science (CogSci)（认知科学中心）；Nagoya University（名古屋大学）
本研究通过为机器人配备GelSight视觉触觉传感器并利用MANUS-Gloves提供振动触觉反馈，结合两种力估计方法与VR遥操作流水线，提出评估法向力、剪切力与滑移的新颖设置，提升了遥操作系统的操作灵巧性。
2024-09-23 cs.RO
ViHaTeleop: A Low-Cost, Lightweight Visual-Haptic Teleoperation System for Dexterous Manipulation Learning
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）
ViHaTeleop是一款低成本轻量型视觉-触觉遥操作系统，结合SLAM、相机跟踪与LRA反馈，经实验验证其可提升接触关键任务的操作成功率与主观体验，支持从演示到策略训练的完整流程。
2026-08-18 cs.RO
Leveraging Compliant Tactile Perception for Haptic Blind Surface Reconstruction
Lakehead University（湖首大学）；Memorial University of Newfoundland（纽芬兰纪念大学）
针对视觉受限下非平坦表面重建难题，本文提出融合柔顺触觉模块的接触位置、法线与曲率估计及样条曲面片生成方法，精度优于现成视觉系统且无需接近角对齐法线。
2024-02-28 cs.RO
Controlled Tactile Exploration and Haptic Object Recognition
Istituto Italiano di Tecnologia（意大利技术研究院）
在本文中，我们提出了一种新的方法，在手中的物体识别。该方法是由一个把握稳定控制器和两个探索性的行为，以捕捉物体的形状和柔软度。抓取稳定性在物体识别中起着重要的作用。首先，它防止物体滑动，便于对物体的探索。其次，达到稳定且可重复的位置增加了学习算法的鲁棒性，并且增加了相对于机器人抓握物体的方式的不变性。使用高斯混合模型（GMM）的稳定姿态估计。我们提出的实验结果表明，使用我们的方法的分类器可以成功地区分30个物体。我们还比较了我们的方法与基准实验，其中把握稳定是禁用的。我们表明，具有统计意义，我们的方法优于基准方法。
2017-06-27 cs.LG cs.RO
A Haptic Robot Finger Designed for Guqin Instrument Playing
The Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；The Chinese University of Hong Kong - Shenzhen（香港中文大学（深圳））；School of Physics and Optoelectronic Engineering, Shenzhen University（深圳大学物理与光电工程学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
该研究设计了一款模仿人类手指的高精度触觉传感机器人指尖，以古琴为验证场景，开展了古琴弦接触相关任务的验证，将触觉传感与机器人技术结合，助力世界遗产保护与文化传播。
2026-08-10 cs.RO
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California（南加州大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Cincinnati（辛辛那提大学）
本研究针对无视觉输入的三指仿真手抬球旋球任务，对比课程学习与触觉反馈对强化学习效果的影响，提出新型课程学习率调度器，发现课程选择的作用远大于触觉信息，且无触觉也可完成学习，结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
TouchVR: a Wearable Haptic Interface for VR Aimed at Delivering Multi-modal Stimuli at the User's Palm
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））
TouchVR是一种新型的可穿戴式触觉接口，它通过DeltaTouch触觉显示在手掌上提供多模态触觉刺激，通过振动电机在指尖上提供振动触觉反馈。DeltaTouch显示器能够在接触点处生成3D力矢量，并呈现重量、滑动、接触、柔软度和纹理的多模态触觉。VR系统由HTC Vive Pro基站和盔装显示器（HMD）组成，以及用于在VR中跟踪用户手部运动的Leap Motion控制器。MatrixTouch、BallFeel和RoboX应用程序已经开发出来，以展示所提出的技术的能力。一个新的触觉界面可能会给用户带来一个新的沉浸感，使其更具交互性和有形性。
2019-11-11 cs.HC cs.RO
How to enhance learning of robotic surgery gestures? A tactile cue saliency investigation for 3D hand guidance
LIRMM, University of Montpellier, CNRS（蒙彼利埃大学法国国家科学研究中心LIRMM实验室）；Stanford University（斯坦福大学）
目前这一代的外科医生需要在远程操作方面进行广泛的培训，以发展独立于医学知识的特定灵巧技能。培训课程从操作任务进展到模拟手术任务，但时间有限。为了解决这个问题，我们建议将手术机器人训练与触觉反馈（HF）结合起来，以提高技能的获得。本文提出了初步的，但有希望的结果，我们的触觉设备设计，以支持在手术手势的训练。我们正在进行的工作是将HF集成到RAVEN II平台中。
2019-07-19 cs.RO
A Transfer Learning Approach to Cross-Modal Object Recognition: From Visual Observation to Robotic Haptic Exploration
Technical University of Munich（慕尼黑工业大学）；ABB Corporate Research（ABB集团研究院）；University of Campania Luigi Vanvitelli（坎帕尼亚大学路易吉·万维泰利）；Institute of Robotics and Mechatronics, German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
在这项工作中，我们介绍了机器人主动探索的跨模态视觉触觉对象识别的问题。这个术语的意思是机器人用视觉感知观察一组物体，之后，它只能用触觉探索来识别这些物体，而之前没有接触过任何物体。使用机器学习术语，在我们的应用程序中，我们有一个视觉训练集和触觉测试集，反之亦然。为了解决这个问题，我们提出了一种方法，由四个步骤组成：找到一个视觉-触觉的共同表示，定义一组合适的功能，跨域传输的功能，和分类的对象。我们使用一组15个对象来展示我们的方法的结果，每个对象收集40个视觉示例和5个触觉示例。所提出的方法实现了94.7%的准确度，这是可比的单模态的情况下，即，当使用视觉数据作为训练集和测试集时。此外，与人类的能力相比，它表现得很好，我们粗略估计了10名参与者的实验。
2020-01-18 cs.CV cs.RO
Exploring the Role of Electro-Tactile and Kinesthetic Feedback in Telemanipulation Task
遥操作机器人系统的精确和微妙的物体抓取需要高保真的触觉反馈，以获得全面的实时信息的把握。在这种情况下，最常见的方法是使用动觉反馈。然而，单个接触点信息不足以检测软物体的动态变化的形状。本文提出了一种新颖的远程操纵系统，该系统向用户的手提供动觉和皮肤刺激，以通过灵巧地操纵可变形物体（即，移液管）。实验结果表明，所提出的方法，为用户提供多模态触觉反馈大大提高了质量的定量与远程移液管。与单纯的视觉反馈相比，多模态触觉界面结合视觉反馈操作可变形移液管，相对给药误差降低了66%，任务执行时间缩短了18%.所提出的技术可能在COVID-19抗体测试、化学实验、有机材料操作和外科手术期间的精密给药程序中实施。
2022-08-30 cs.RO
Learning Haptic-based Object Pose Estimation for In-hand Manipulation Control with Underactuated Robotic Hands
Tel-Aviv University（特拉维夫大学）
本文研究在欠驱动机械手中仅利用低成本动觉与触觉传感实现物体位姿估计与手中操控，提出3D打印柔性触觉传感器和基于模型预测控制的操控方法，并通过多物体实验验证了较高精度。
2022-12-26 cs.RO
A soft and lightweight fabric-based pneumatic interface for multimodal fingertip tactile feedback
Institute of Mechanical Intelligence, School of Advanced Studies Sant’Anna (SSSA)（机械智能研究所，圣安娜高等研究学院）
本文提出一种基于织物的气动接口，实现轻量、低成本的多模态指尖触觉反馈，通过实验验证其在触觉渲染中的有效性。
2026-04-01 cs.RO
V-HOP: Visuo-Haptic 6D Object Pose Tracking
Brown University（布朗大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出V-HOP，一种基于统一触觉表示和Transformer的视觉-触觉6D物体姿态跟踪器，在多种夹爪和传感器上实现高泛化与鲁棒性，显著优于视觉跟踪器，并支持精确操作。
2025-09-11 cs.AI cs.CV cs.RO
AU Dataset for Visuo-Haptic Object Recognition for Robots
Aarhus University（奥胡斯大学）
多模态目标识别仍然是一个新兴的领域。因此，公开提供的数据集仍然很少，而且规模很小。这个数据集的开发是为了帮助填补这一空白，并提出了63个对象的多模态数据与一些视觉和触觉模糊。该数据集包含视觉，动觉和触觉（音频/振动）数据。为了彻底解决感觉模糊，需要感觉整合/融合。此报告描述了数据集的创建和结构。第一部分解释了用于捕获对象的视觉和触觉属性的基本方法。第二节介绍了收集数据所需的技术方面（实验装置）。第三部分介绍对象，而最后一部分描述数据集的结构和内容。
2021-12-27 cs.AI cs.LG cs.RO
CoboGuider: Haptic Potential Fields for Safe Human-Robot Interaction
Space Center of Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院空间中心）；Center for Design, Manufacturing and Materials（设计、制造与材料中心）
现代工业仍然依赖于人工制造操作，安全的人机交互是当今的一大兴趣。速度和间隔监控（SSM）通过在机器人操作期间保持保护性间隔距离，实现紧密高效的协作场景。本文重点介绍了一种新的方法，以加强SSM的安全要求，通过引入触觉反馈的机器人细胞工作者。触觉刺激根据人的反应时间和机器人和操作员的瞬时速度，提供危险动作和接近机器人的早期警告。进行了初步的实验，以确定参与者的反应时间时，他们暴露于触觉刺激在一个合作的环境与控制条件。在第二个实验中，我们评估了我们的方法到一个研究案例中，人类工人和协作机器人进行协作行星齿轮装配。结果表明，所应用的方法增加了44%的机器人的末端执行器和手之间的平均最小距离相比，操作员只依赖于视觉反馈。此外，没有触觉支持的参与者多次未能保持保护性分离距离。
2021-12-16 cs.RO
Dual-modal Tactile E-skin: Enabling Bidirectional Human-Robot Interaction via Integrated Tactile Perception and Feedback
Tsinghua-Berkeley Shenzhen Institute（清华-深圳伯克利研究院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Department of Electrical, Computer and Biomedical Engineering, Ryerson University（瑞尔森大学电气、计算机与生物医学工程系）
本文提出一种集成磁触觉感知与振动反馈的双模态电子皮肤，实现双向人机交互，支持物体识别与精细称重，提升交互沉浸感与效率。
2024-02-08 cs.RO eess.SP
DroneARchery: Human-Drone Interaction through Augmented Reality with Haptic Feedback and Multi-UAV Collision Avoidance Driven by Deep Reinforcement Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）
提出了一种基于RL的群体行为驱动的增强现实（AR）人机交互的新概念，以实现对无人机群体编队的直观和沉浸式控制。我们开发的DroneARchery系统允许用户快速部署一群无人机，生成模拟射箭的飞行路径。触觉接口LinkGlide将弓弦张力的触觉刺激传递到前臂，以提高瞄准精度。释放的无人机群动态地避免彼此之间的碰撞，无人机跟随用户，以及基于深度强化学习的行为控制的外部障碍物。开发的概念在与人类的场景中进行了测试，其中用户使用真实的无人机从虚拟弓射击以击中目标。人类操作员在AR中观察无人机的弹道轨迹，并通过触觉显示实现弓弦张力的逼真和高度可识别的体验。实验结果表明，该系统通过应用AR技术和传递拉力的触觉反馈，使轨迹预测精度提高了63.3%。DroneARchery用户在控制无人机时强调了自然性（5分制中的4.3分）和增加的信心（5分制中的4.7分）。我们设计了触觉模式，以呈现触觉显示的四个滑动距离（张力）和三个施加的力水平（刚度）。用户表现出区分触觉模式产生的触觉显示代表不同的弓弦张力（平均识别率为72.8%）和刚度（平均识别率为94.2%）。该研究的新颖之处在于开发了一种基于AR的无人机控制方法，不需要操作员的特殊技能和培训。
2022-10-14 cs.HC cs.RO
Learning to Feel Materials from Multisensory Tactile Data via Interpretable Models
Delft University of Technology (TU Delft), Department of Cognitive Robotics（代尔夫特理工大学（TU Delft），认知机器人学系）
提出一个可解释的计算框架，利用多感官触觉数据（包括按压、静态接触和滑动交互）建模人类材料感知与识别，发现热觉和顺应性线索对感知建模和材料分类至关重要。
2026-05-28 cs.HC cs.RO
Towards Tangible Immersion for Cobot Programming-by-Demonstration: Visual, Tactile and Haptic Interfaces for Mixed-Reality Cobot Automation in Semiconductor Manufacturing
Intel Labs, Intelligent System Research, Human-Robot Collaboration（英特尔实验室、智能系统研究、人机协作）
本文提出一种独立于物理实体形态的反应式操作动作建模与执行范式，通过抽象操作原语和状态机实现知识跨平台转移，并在双平台物体运输任务中验证了其鲁棒性与物理实体形态独立性。
2025-05-30 cs.HC cs.RO
Learning Whole-Body Human-Robot Haptic Interaction in Social Contexts
Arizona State University（亚利桑那州立大学）；Honda Research Institute, USA（美国本田研究院）
本文提出了一种从演示中学习（LfD）的框架，用于教授涉及全身触觉交互的人与机器人的社交交互，即在整个机器人身体上直接进行人与机器人的接触。现有的LfD框架的性能受到这种相互作用，由于演示数据的高维性和时空稀疏性。我们表明，通过利用这种稀疏性，我们可以减少数据维数，而不会产生显着的准确性惩罚，并介绍了三种策略。通过将这些技术与用于学习多模态人机交互的LfD框架相结合，我们可以在全身触觉交互期间对触觉和动觉信息之间的时空关系进行建模。使用配备61个力传感器的远程操作双手机器人，我们实验证明，一个模型训练121个样本拥抱从4个参与者，以及推广到看不见的输入和人类合作伙伴。
2020-05-26 cs.AI cs.LG cs.RO
A wearable haptic device for edge and surface simulation
Institute of Mechanical Intelligence, School of Advanced Studies Sant'Anna (SSSA)（圣安娜高等研究学院机械智能研究所）；CAS Key Laboratory of Mechanical Behavior and Design of Materials, Institute of Humanoid Robots, School of Engineering Sciences, University of Science and Technology of China（中国科学院材料力学行为和设计重点实验室，中国科学技术大学工程科学学院仿生机器人研究所）
本文提出了一种轻量级可穿戴触觉设备，通过双电机机制实现表面和边缘接触反馈，提升了虚拟现实环境中物体操作的逼真度。
2026-04-01 cs.HC cs.RO
XRoboToolKit-T: Teleoperation with High Stability and Precision with Tactile Sensing for Contact-rich Manipulation
Rochester Institute of Technology（罗切斯特理工学院）；TikTok Pico Lab（TikTok Pico 实验室）；The Hong Kong University of Science and Technology, Guangzhou（香港科技大学（广州））
提出XRoboToolKit-T遥操作系统，利用触觉感知力控制架构和视觉-语言-动作模型，实现接触丰富操作中稳定精确的力控制，提升数据收集效率和操作稳定性。
2026-09-16 cs.HC cs.RO
Learning-based Optoelectronically Innervated Tactile Finger for Rigid-Soft Interactive Grasping
University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；SUSTech Institute of Intelligent Manufacturing（南方科技大学智能制造研究院）
提出了一种利用多通道光纤实现软硬交互抓取的全方位自适应柔性触觉手指的设计方案。机器学习方法用于训练用于使用所收集的触觉数据实时预测力、扭矩和接触的模型。我们进一步将这些手指集成到具有三个手指的可重构夹持器设计中，使得手指布置可以基于抓取过程中收集的触觉数据实时主动调整，实现刚性-柔性交互式抓取过程。详细的传感器校准和实验结果也包括进一步验证所提出的设计增强抓取鲁棒性。
2021-01-29 cs.RO
Tactile-ViewGCN: Learning Shape Descriptor from Tactile Data using Graph Convolutional Network
IIT Madras（印度理工学院马德拉斯分校）
对于人类来说，我们的"触觉"一直是我们在任何环境中精确有效地操纵各种形状物体的能力所必需的，但直到最近，还没有做很多工作来充分理解触觉反馈。这项工作提出了一种新的方法，得到一个更好的形状描述比现有的方法分类的对象从多个触觉数据收集的触觉手套。它的重点是改进以前的作品，使用触觉数据的对象分类。从多个触觉数据的对象分类的主要问题是找到一个好的方法来聚合从多个触觉图像提取的特征。我们提出了一种新的方法，被称为Tactile-ViewGCN，层次聚合触觉特征考虑不同的功能之间的关系，通过使用图卷积网络。我们的模型在STAG数据集上的性能优于以前的方法，准确率为81.82%。
2022-03-12 cs.LG cs.RO
ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation
Czech Technical University in Prague（捷克布拉格技术大学）
提出ShapeGrasp迭代抓取与补全流程，结合隐式表面视觉-触觉形状补全与基于物理的抓取规划，从单RGB-D视图推断完整形状并生成候选抓取，利用抓取反馈更新形状，在真实机器人上实现高抓取成功率并改善3D形状重建质量。
2026-07-01 cs.RO
A Multi-Chamber Smart Suction Cup for Adaptive Gripping and Haptic Exploration
University of California Berkeley（加州大学伯克利分校）
我们提出了一种新的机器人末端执行器的抓地力和触觉探索。通过抽吸流量监测的触觉感知应用于包含多个气流室的新吸盘设计。每个腔室都连接有自己的远程压力传感器，可实现腔室之间的绝对压力和压差测量。通过改变应用于这款智能吸盘的整体真空度，它可以执行不同的功能，例如温和的触觉探索（低压）和在强收缩夹持（高压）期间监测密封的破裂。通过滑动和触诊对表面的触觉探索可以指导抽吸抓取位置的选择，并有助于识别局部表面几何形状。在吸力抓取过程中，该设计能够以高达97%的准确度定位四个象限之间的吸力密封中的断裂，并及早检测出吸力密封中的断裂，以避免完全抓取失败。
2021-10-18 cs.RO
Enabling Robot Manipulation of Soft and Rigid Objects with Vision-based Tactile Sensors
KTH Royal Institute of Technology（KTH皇家理工学院）；Roma Tre University（罗马第三大学）
本研究为机器人夹爪配备低成本视觉触觉传感器，提出无需物体属性信息、适配软硬物体的操作算法，经多物体任务验证并结合抓取采样器实现无损葡萄采摘。
2023-06-09 cs.RO
DandelionTouch: High Fidelity Haptic Rendering of Soft Objects in VR by a Swarm of Drones
Skoltech（斯科尔科沃科技学院）；Imperial College London（伦敦帝国学院）
为了在高移动性虚拟环境中实现柔软物体的高保真力觉再现，提出了一种新型的触觉显示DandelionTouch。触觉致动器由一群无人机传递到用户的指尖。DandelionTouch的用户能够在不受设备工作区域限制的大空间内体验触觉反馈。重要的是，他们在与虚拟物体长时间交互时不会感到肌肉疲劳。手跟踪和群体控制算法允许引导群体与手的运动，并避免碰撞的形成。本研究探讨了群单元间阻抗连接的几种拓扑结构。在该实验中，无人机在正方形轨迹上实时执行点跟踪任务，结果显示，以星形拓扑连接的无人机以较低的平均位置误差执行轨迹（与其他阻抗拓扑相比，RMSE降低了20.6%，与基于势场的群控制相比，RMSE降低了40.9%）。具有阻抗行为的所有编队中的无人机的实现速度比使用势场算法控制的群高28%。此外，在一项有7名参与者的用户研究中评估了几种振动触觉模式的感知。研究表明，所提出的时间延迟和频率调制的组合允许用户同时成功地识别VR中的表面属性和运动方向（平均识别率为70%，最高为93%）。DandelionTouch建议在VR系统中使用一种新型的触觉反馈，无需手持或可穿戴接口。
2022-09-22 cs.HC cs.RO
iCLAP: Shape Recognition by Combining Proprioception and Touch Sensing
King’s College London（伦敦国王学院）；University of Liverpool（利物浦大学）；Queen Mary University of London（伦敦玛丽女王大学）
对于人类来说，当执行触觉感知时，本体感觉和触摸感测都被高度利用。然而，大多数机器人方法在触觉对象识别中仅使用本体感受数据或触摸数据。在本文中，我们提出了一种新的方法命名为迭代最近的标记点（iCLAP）的联系的动觉线索和触觉模式从根本上，也介绍了其扩展到识别物体形状。在训练阶段，iCLAP首先将触觉读数的特征聚类到码本中，并为这些特征分配不同的标签编号。然后通过将触觉特征的标签编号作为3D传感器位置的附加维度来形成对象的4D点云;因此，两种感测模态被合并以实现对触摸对象的合成感知。此外，我们开发和验证的混合融合策略，产品为基础，加权和为基础，结合决策从iCLAP和单一的传感方式。大量的实验表明，使用所提出的方法的对象识别的显着改善，它显示了巨大的潜力，以提高机器人的感知能力。
2018-06-19 cs.RO
Active Tactile Exploration for Rigid Body Pose and Shape Estimation
General Robotics, Automation, Sensing, and Perception (GRASP) Laboratory（通用机器人、自动化、感知与感知实验室）
本研究提出了一种基于触觉数据的主动探索框架，用于高效估计刚体的位姿与形状，通过优化损失函数实现快速学习。
2026-02-24 cs.RO
Haptic-based Complementary Filter for Rigid Body Rotations
School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore（机械与航空航天工程学院，南洋理工大学）
本文提出了一种基于触觉和视觉传感器的互补滤波器，用于估计刚体旋转，通过利用$\mathbf{\mathbb{SO}(3)}$的对称性和超级二次曲面表示，提高了三维方向估计的鲁棒性和稳定性。
2025-12-09 cs.RO cs.SY eess.SY
