Learning efficient haptic shape exploration with a rigid tactile sensor array
Bielefeld University（比勒费尔德大学）；Carnegie Mellon University（卡内基梅隆大学）
触觉探索是机器人和人类辨别和处理未知物体或识别熟悉物体的关键技能。其活跃的性质在人类中是显而易见的，人类从早期就可靠地获得了复杂的感觉运动能力，用于主动探索性触摸和定向手动探索，将表面和物体属性与其空间位置相关联。这与机器人技术形成鲜明对比。在这一领域，相对缺乏良好的现实世界交互模型-以及非常有限的传感器和缺乏合适的训练数据来利用机器学习方法-迄今为止，触觉探索在很大程度上是一种欠发达的技能。在目前的工作中，我们连接最近的进展，在经常性的模型的视觉注意力与以前的见解组织的人类触觉搜索行为，探索性的程序和触觉的目光一种新的架构，学习生成模型的触觉探索在模拟的三维环境。所提出的算法同时优化主要的感知-动作回路组件：特征提取，随着时间的推移，集成的功能，和控制策略，同时不断在线采集数据。我们执行多模块神经网络训练，包括特征提取器和递归神经网络模块，以帮助姿势控制，用于存储和组合顺序的感觉数据。在物理驱动的模拟环境中移动的刚性$16 \times 16$触觉传感器阵列的所得触觉元控制器（称为触觉注意力模型）执行触觉扫视序列，并输出相应的力测量。所得方法已在四个不同的对象上成功测试。它实现了接近$100 \%$的结果，同时执行针对其自身传感器形态优化的对象轮廓探索。
2020-01-26 cs.AI cs.RO
A Biomimetic Fingerprint for Robotic Tactile Sensing
Faculty of Mechatronic \& Micro-Mechatronic Systems Hochschule Karlsruhe (HKA) Karlsruhe, Germany；Deutsches Forschungszentrum für Künstliche Intelligenz GmbH；L3S Research Center, Leibniz Universität Hannover Hannover, Germany
本文提出一种3D打印指纹模式，提升机器人触觉反馈信号强度，实现动态触觉感知，展示了在不同材料物体上的应用效果。
2023-07-04 cs.RO
Sensorimotor-inspired Tactile Feedback and Control Improve Consistency of Prosthesis Manipulation in the Absence of Direct Vision
Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
上肢假肢缺乏触觉感知，迫使截肢者主要依靠视觉线索来完成日常生活活动。相比之下，健全的人天生依赖于有意识的触觉感知和自动触觉反射来控制不允许持续视觉注意的情况下的意志行动。因此，我们提出了一个肌电假肢系统，反映了这些概念，以帮助操作性能没有直接的视觉。为了实现这一设计，我们构建了两个基于织物的触觉传感器，它们可以测量假肢手指的手掌侧和手背侧的接触位置，并在假肢拇指的尖端处抓住压力。受自然感觉运动系统的启发，我们使用来自这些传感器的测量来提供接触位置的振动触觉反馈，并实现触觉抓握控制器，该触觉抓握控制器使用自动反射来防止过度抓握和物体滑动。我们将该系统与标准肌电假肢进行了一项具有挑战性的无直视取放任务进行比较; 17名身体健全的成年人参加了这项单次受试者间研究。与标准组的参与者相比，触觉组的参与者实现了更一致的高性能。这些结果表明，除了接触位置反馈和反射控制增加的一致性，在上肢假肢可以抓住和移动的对象没有直接的视觉。
2021-07-14 cs.RO
TiltXter: CNN-based Electro-tactile Rendering of Tilt Angle for Telemanipulation of Pasteur Pipettes
Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology (Skoltech)（斯克罗夫科技研究所）
针对可变形物体抓取中倾斜感知模糊问题，提出基于CNN的电动触觉渲染系统TiltXter，显著提升用户倾斜识别率与遥操作成功率。
2024-09-24 cs.AI cs.RO
PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies
MIT CSAIL
本文提出 PolyTouch 多模态触觉传感器，结合触觉扩散策略，显著提升了非结构化环境中富接触操作的鲁棒性与性能。
2025-04-27 cs.AI cs.RO
3D Vision-tactile Reconstruction from Infrared and Visible Images for Robotic Fine-grained Tactile Perception
State Key Laboratory of Digital Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology（数字制造装备与技术国家重点实验室，机械科学与工程学院，华中科技大学）
针对平面视觉触觉传感器曲面化难题，提出GelSplitter3D结合红外与可见光成像、光度立体网络及边界约束积分法，实现高精度三维重建，法向精度提升40%。
2025-06-18 cs.RO
NeuroTac: A Neuromorphic Optical Tactile Sensor applied to Texture Recognition
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
开发与人类触觉相媲美的人工触觉感知能力是机器人和假肢的长期目标。越来越多的仿生触觉传感器正在开发和应用于抓取和操纵任务，以帮助实现这一目标。在这里，我们提出了neuroTac，一种新的神经形态光学触觉传感器。neuroTac结合了TacTip传感器的仿生硬件设计，该传感器模仿人类无毛皮肤的分层乳头结构，具有基于事件的摄像头（DAVIS240，iniVation）和以尖峰序列形式存储接触信息的算法。传感器的性能进行评估的纹理分类任务，与四个尖峰编码方法的实施和比较：密集，空间，时间和时空。我们发现基于时间的编码方法在人工和自然纹理上都具有最高的准确性。神经Tac的基于尖峰的输出可以使机器人中的仿生触觉感知算法以及假肢中的非侵入性和侵入性触觉反馈方法的开发成为可能。
2020-03-01 cs.RO
Simple Kinesthetic Haptics for Object Recognition
Tel-Aviv University（特拉维夫大学）
本文提出一种基于动觉的物体识别方法，利用多指机器人手的抓取参数化生成训练数据，无需触觉传感器或真实物体交互，并通过两种迭代算法实现准确且可扩展的物体分类。
2022-06-11 cs.RO eess.SP
Learning an Action-Conditional Model for Haptic Texture Generation
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
响应于用户交互的丰富的触觉感觉反馈对于有效的、沉浸式虚拟现实或遥控操作系统是期望的。然而，这种反馈以复杂的非线性方式依赖于材料特性和用户交互。因此，以概括用户输入的许多变化的方式对从材料和用户交互到触觉反馈的映射进行建模是具有挑战性的。目前的方法通常以用户交互为条件，但需要为每种材料建立单独的模型。在本文中，我们提出了一个学习的动作条件模型，使用基于视觉的触觉传感器（GelSight）和用户的动作作为输入的数据。该模型预测可用于向用户提供触觉振动反馈的感应加速度。我们在一个公开的数据集（Penn Haptic Texture Toolkit）上训练了我们提出的模型，我们用不同材料的GelSight测量进行了增强。我们表明，在所有材料的统一模型优于以前的方法，并推广到新的行动和新的实例的材料类别的数据集。
2020-10-26 cs.LG cs.RO
Hoxels: Fully 3-D Printed Soft Multi-Modal & Multi-Contact Haptic Voxel Displays for Enriched Tactile Information Transfer
Stanford University（斯坦福大学）
腕戴式触觉接口可以提供广泛的触觉提示，用于与虚拟对象进行信息通信和交互。与指尖不同，手腕和前臂提供了相当大的皮肤面积，其允许放置多个触觉致动器作为显示器，用于以最小的反射来丰富触觉信息传递。现有的多自由度（DoF）腕戴式设备采用传统的刚性机器人机构和电动机，这限制了它们的多功能性、小型化、分布和组装。基于软弹性体致动器阵列的替代解决方案仅构成1-DoF触觉像素。更高自由度的原型产生单个交互点，需要复杂的手动装配过程，例如模制和粘合几个部件。这些方法限制了高DoF紧凑型触觉显示的构造、可重复性和可定制性。在这里，我们提出了一种新颖的，全3D打印的，柔软的，可穿戴的触觉显示，用于增加手腕和前臂上的触觉信息传输，具有3-DoF触觉体素，称为hoxel。我们的初始原型包括两个hoxel，提供皮肤剪切，压力，扭曲，拉伸，挤压和其他任意刺激。每个hoxel在x和y轴上产生高达1.6 N的力，在z轴上产生高达20 N的力。我们的方法使快速制造的通用和有力的触觉显示。
2022-09-12 cs.RO
Active 3D Shape Reconstruction from Vision and Touch
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）
人类通过主动的物体探索，联合使用视觉和触觉来建立对世界的3D理解。然而，在3D形状重建中，最新的进展依赖于有限感官数据的静态数据集，如RGB图像，深度图或触觉读数，使得形状的主动探索在很大程度上未被探索。用于3D重建的非主动触摸感测，目标是主动选择最大化形状重建准确性的改进的触觉读数。然而，基于深度学习的主动触摸模型的开发在很大程度上受到缺乏用于形状探索的框架的限制。在本文中，我们专注于这个问题，并介绍了一个系统组成：1）触觉模拟器，利用高空间分辨率的基于视觉的触觉传感器的3D物体的主动触摸; 2）基于网格的3D形状重建模型，依赖于触觉或视觉触觉信号;和3）一组数据驱动的解决方案，无论是触觉或视觉触觉先验，以指导形状探索。我们的框架能够开发第一个完全数据驱动的解决方案，在学习模型的基础上进行主动触摸，以实现对象理解。我们的实验显示了这种解决方案在3D形状理解任务中的优势，我们的模型始终优于自然基线。我们提供我们的框架作为一种工具，以促进未来的研究在这个方向。
2021-10-26 cs.CV cs.RO
A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出一种视觉-触觉数据采集系统，生成时间结构丰富的接触密集演示，用于模仿学习。通过直接驱动夹具和触觉阵列，保留自然触觉反馈，结合实时注释，生成多模态数据集以支持粗到细学习算法。
2026-07-28 cs.RO
A Review of Surface Haptics:Enabling Tactile Effects on Touch Surfaces
Koc University（科奇大学）；University of Lille（里尔大学）；École de Technologie Supérieure（高等技术学院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
我们回顾了当前的表面触觉技术，将被动触摸表面转换为主动触摸表面（机器触觉），我们通过主动触摸表面（人类触觉）显示的触觉刺激的感知，它们的潜在应用（人机交互），最后是我们面临的挑战，使它们通过商业系统。这篇综述主要涵盖了人类手指或手与表面触觉显示器的触觉交互，重点关注三种最流行的驱动方法：振动触觉，静电和超声波。
2020-04-28 cs.HC cs.RO
TEGA: A Tactile-Enhanced Grasping Assistant for Assistive Robotics via Sensor Fusion and Closed-Loop Haptic Feedback
Department of Civil and Coastal Engineering, University of Florida（土木与海岸工程系，佛罗里达大学）；Nvidia（英伟达）
TEGA通过融合EMG意图到力推断与触觉传感，提供闭环触觉反馈，提升残疾用户抓取稳定性与任务成功率。
2026-03-05 cs.RO
Vis2Hap: Vision-based Haptic Rendering by Cross-modal Generation
University of Liverpool（利物浦大学）；King’s College London（伦敦国王学院）；University of Leeds（利兹大学）；Xi’an Jiaotong University（西安交通大学）
为了帮助机器人在遥操作任务，触觉渲染，允许人类操作员访问虚拟触摸的感觉，近年来已经开发。大多数以前的触觉渲染方法强烈依赖于触觉传感器收集的数据。然而，由于机器人有限的可达空间和触觉传感器的限制，触觉数据并不能广泛地用于机器人。为了消除对触觉数据的需要，在本文中，我们提出了一种新的方法命名为Vis2Hap生成触觉渲染从视觉输入，可以从远处获得，而无需物理交互。我们将物体的表面纹理作为传达给人类操作员的关键线索。为此，生成模型的目的是模拟物体表面的粗糙度和光滑度。为了在Vis2Hap中嵌入触觉提示，我们使用来自触觉传感器的高度图和来自摩擦系数的频谱图作为生成模型的中间输出。一旦训练了Vis2Hap，它就可以用来生成新表面纹理的高度图和频谱图，从中可以获得摩擦图像并显示在触觉显示上。用户研究表明，我们提出的Vis2Hap方法使用户能够访问一个现实的触觉感觉类似的物理对象。建议基于视觉的触觉渲染有可能提高人类操作员的感知远程环境，并促进机器人操作。
2023-01-17 cs.RO
Haptic Stiffness Perception Using Hand Exoskeletons in Tactile Robotic Telemanipulation
Queen Mary University of London（伦敦玛丽女王大学）；Humanoid AI（人形人工智能公司）；King’s College London（伦敦国王学院）
本文研究真实机器人遥操作中的刚度感知，提出由触觉指尖生成、并结合接触力与主从位移的手部外骨骼反馈，实验证明操作者可仅凭触觉区分不同刚度物体。
2024-12-03 cs.RO
HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning
King’s College London, UK（伦敦国王学院）；Huawei, Noah’s Ark Lab, UK（华为、诺亚实验室）；University College London, UK（伦敦大学学院）
提出HapTile数据集，通过集成指尖触觉反馈和操作员触觉感知，为接触丰富的机器人操作任务提供视觉-触觉-语言-动作联合数据，并验证其在策略学习中的有效性。
2026-06-23 cs.RO
TIMS: A Tactile Internet-Based Micromanipulation System with Haptic Guidance for Surgical Training
University of Bristol（布里斯托尔大学）；Bristol Robotics Lab（布里斯托尔机器人实验室）；Imperial College London（伦敦帝国理工学院）；Tencent Robotics X（腾讯Robotics X实验室）
本文提出一种基于触觉互联网的微操作训练系统TIMS，通过触觉反馈和引导帮助受训者学习显微外科操作，利用高斯过程回归生成专家轨迹，并经用户研究验证其有效性。
2023-11-17 cs.RO
Audio-based Roughness Sensing and Tactile Feedback for Haptic Perception in Telepresence
University of Bonn（波恩大学）
提出一种低成本触觉系统，通过双麦克风采集指尖与空气声音，实时估计表面粗糙度并以音频振动反馈，经实验和ANA Avatar XPRIZE决赛验证有效。
2023-10-16 cs.RO
Integrating and Evaluating Visuo-tactile Sensing with Haptic Feedback for Teleoperated Robot Manipulation
Technische Universität Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Hessian Centre for Artificial Intelligence (Hessian.AI)（黑森州人工智能中心）；Centre for Cognitive Science (CogSci)（认知科学中心）；Nagoya University（名古屋大学）
本研究通过为机器人配备GelSight视觉触觉传感器并利用MANUS-Gloves提供振动触觉反馈，结合两种力估计方法与VR遥操作流水线，提出评估法向力、剪切力与滑移的新颖设置，提升了遥操作系统的操作灵巧性。
2024-09-23 cs.RO
ViHaTeleop: A Low-Cost, Lightweight Visual-Haptic Teleoperation System for Dexterous Manipulation Learning
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）
ViHaTeleop是一款低成本轻量型视觉-触觉遥操作系统，结合SLAM、相机跟踪与LRA反馈，经实验验证其可提升接触关键任务的操作成功率与主观体验，支持从演示到策略训练的完整流程。
2026-08-18 cs.RO
Investigating Social Haptic Illusions for Tactile Stroking (SHIFTS)
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
一种常见而有效的社交方式是抚摸前臂。我们试图用触觉错觉来复制这种抚摸的感觉。这项工作比较了两种方法，提供顺序离散的刺激：顺序正常压痕和顺序横向皮肤滑移离散致动器。我们的目标是了解哪种形式的刺激更有效地产生连续的抚摸感觉，以及需要多少个离散的接触点。我们对20名参与者进行了一项研究，他们对触觉设备的连续性和愉悦性进行了评价。我们发现，外侧皮肤滑动创造了一个更连续的感觉，减少接触点的数量减少了连续性。这些结果为未来可穿戴触觉设备的设计和触觉信号的创建提供了信息，以实现有效的社交沟通。
2020-03-02 cs.HC cs.RO
Leveraging Compliant Tactile Perception for Haptic Blind Surface Reconstruction
Lakehead University（湖首大学）；Memorial University of Newfoundland（纽芬兰纪念大学）
针对视觉受限下非平坦表面重建难题，本文提出融合柔顺触觉模块的接触位置、法线与曲率估计及样条曲面片生成方法，精度优于现成视觉系统且无需接近角对齐法线。
2024-02-28 cs.RO
Deep Learning for Tactile Understanding From Visual and Haptic Data
University of California at Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
与物理世界交互的机器人将受益于对物体和表面的细粒度触觉理解。此外，对于某些任务，机器人可能需要在触摸物体之前知道物体的触觉特性。为了使机器人能够更好地理解触觉，我们提出了一种用触觉形容词对表面进行分类的方法（例如，可压缩或平滑）。人类通常将视觉预测和来自物理交互的反馈相结合，以准确地预测触觉特性并与世界交互。受这种认知模式的启发，我们提出并探索了一个纯粹的视觉触觉预测模型。视觉模型使机器人能够在没有物理交互的情况下“感觉”。此外，我们证明，使用视觉和物理交互信号一起产生更准确的触觉分类。我们的模型利用了深度神经网络的最新进展，采用统一的方法来学习物理交互和视觉观察的特征。即使我们采用很少的领域特定的知识，我们的模型仍然取得了更好的结果比基于手工设计的功能的方法。
2016-04-12 cs.CV cs.LG cs.RO
A Haptic Robot Finger Designed for Guqin Instrument Playing
The Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；The Chinese University of Hong Kong - Shenzhen（香港中文大学（深圳））；School of Physics and Optoelectronic Engineering, Shenzhen University（深圳大学物理与光电工程学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
该研究设计了一款模仿人类手指的高精度触觉传感机器人指尖，以古琴为验证场景，开展了古琴弦接触相关任务的验证，将触觉传感与机器人技术结合，助力世界遗产保护与文化传播。
2026-08-10 cs.RO
Haptic Light-Emitting Diodes: Miniature, Luminous Tactile Actuators
Department of Mechanical Engineering, University of California, Santa Barbara, USA（加州大学圣芭芭拉分校机械工程系）
本文提出了一种将脉冲光转化为机械力和位移的发光热气动执行器，展示了其在人机接口中的触觉反馈应用潜力。
2026-03-17 cs.HC cs.RO
How to enhance learning of robotic surgery gestures? A tactile cue saliency investigation for 3D hand guidance
LIRMM, University of Montpellier, CNRS（蒙彼利埃大学法国国家科学研究中心LIRMM实验室）；Stanford University（斯坦福大学）
目前这一代的外科医生需要在远程操作方面进行广泛的培训，以发展独立于医学知识的特定灵巧技能。培训课程从操作任务进展到模拟手术任务，但时间有限。为了解决这个问题，我们建议将手术机器人训练与触觉反馈（HF）结合起来，以提高技能的获得。本文提出了初步的，但有希望的结果，我们的触觉设备设计，以支持在手术手势的训练。我们正在进行的工作是将HF集成到RAVEN II平台中。
2019-07-19 cs.RO
HapticVLM: VLM-Driven Texture Recognition Aimed at Intelligent Haptic Interaction
Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室、数字工程中心、斯克尔科沃科学与技术研究所）
本文提出HapticVLM系统，融合视觉-语言模型与ConvNeXt网络实现材料识别和环境温度推断，通过振动与热反馈合成触觉体验，在多种模式上取得较高识别准确率，推动情境感知的多模态触觉交互发展。
2025-05-05 cs.HC cs.RO
Exploring the Role of Electro-Tactile and Kinesthetic Feedback in Telemanipulation Task
遥操作机器人系统的精确和微妙的物体抓取需要高保真的触觉反馈，以获得全面的实时信息的把握。在这种情况下，最常见的方法是使用动觉反馈。然而，单个接触点信息不足以检测软物体的动态变化的形状。本文提出了一种新颖的远程操纵系统，该系统向用户的手提供动觉和皮肤刺激，以通过灵巧地操纵可变形物体（即，移液管）。实验结果表明，所提出的方法，为用户提供多模态触觉反馈大大提高了质量的定量与远程移液管。与单纯的视觉反馈相比，多模态触觉界面结合视觉反馈操作可变形移液管，相对给药误差降低了66%，任务执行时间缩短了18%.所提出的技术可能在COVID-19抗体测试、化学实验、有机材料操作和外科手术期间的精密给药程序中实施。
2022-08-30 cs.RO
Learning Haptic-based Object Pose Estimation for In-hand Manipulation Control with Underactuated Robotic Hands
Tel-Aviv University（特拉维夫大学）
本文研究在欠驱动机械手中仅利用低成本动觉与触觉传感实现物体位姿估计与手中操控，提出3D打印柔性触觉传感器和基于模型预测控制的操控方法，并通过多物体实验验证了较高精度。
2022-12-26 cs.RO
A soft and lightweight fabric-based pneumatic interface for multimodal fingertip tactile feedback
Institute of Mechanical Intelligence, School of Advanced Studies Sant’Anna (SSSA)（机械智能研究所，圣安娜高等研究学院）
本文提出一种基于织物的气动接口，实现轻量、低成本的多模态指尖触觉反馈，通过实验验证其在触觉渲染中的有效性。
2026-04-01 cs.RO
Controlled Tactile Exploration and Haptic Object Recognition
Istituto Italiano di Tecnologia（意大利技术研究院）
在本文中，我们提出了一种新的方法，在手中的物体识别。该方法是由一个把握稳定控制器和两个探索性的行为，以捕捉物体的形状和柔软度。抓取稳定性在物体识别中起着重要的作用。首先，它防止物体滑动，便于对物体的探索。其次，达到稳定且可重复的位置增加了学习算法的鲁棒性，并且增加了相对于机器人抓握物体的方式的不变性。使用高斯混合模型（GMM）的稳定姿态估计。我们提出的实验结果表明，使用我们的方法的分类器可以成功地区分30个物体。我们还比较了我们的方法与基准实验，其中把握稳定是禁用的。我们表明，具有统计意义，我们的方法优于基准方法。
2017-06-27 cs.LG cs.RO
CoboGuider: Haptic Potential Fields for Safe Human-Robot Interaction
Space Center of Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院空间中心）；Center for Design, Manufacturing and Materials（设计、制造与材料中心）
现代工业仍然依赖于人工制造操作，安全的人机交互是当今的一大兴趣。速度和间隔监控（SSM）通过在机器人操作期间保持保护性间隔距离，实现紧密高效的协作场景。本文重点介绍了一种新的方法，以加强SSM的安全要求，通过引入触觉反馈的机器人细胞工作者。触觉刺激根据人的反应时间和机器人和操作员的瞬时速度，提供危险动作和接近机器人的早期警告。进行了初步的实验，以确定参与者的反应时间时，他们暴露于触觉刺激在一个合作的环境与控制条件。在第二个实验中，我们评估了我们的方法到一个研究案例中，人类工人和协作机器人进行协作行星齿轮装配。结果表明，所应用的方法增加了44%的机器人的末端执行器和手之间的平均最小距离相比，操作员只依赖于视觉反馈。此外，没有触觉支持的参与者多次未能保持保护性分离距离。
2021-12-16 cs.RO
Advancing Robotic Surgery: Affordable Kinesthetic and Tactile Feedback Solutions for Endotrainers
Columbia University（哥伦比亚大学）；PSG College of Technology（PSG理工学院）
针对手术机器人缺乏触觉反馈的问题，本研究将经济型动觉与触觉反馈系统集成至内窥镜训练器，通过光电传感器实现95%准确率的力检测，提升训练真实性与手术安全性。
2024-06-26 cs.RO
TouchVR: a Wearable Haptic Interface for VR Aimed at Delivering Multi-modal Stimuli at the User's Palm
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（Skoltech））
TouchVR是一种新型的可穿戴式触觉接口，它通过DeltaTouch触觉显示在手掌上提供多模态触觉刺激，通过振动电机在指尖上提供振动触觉反馈。DeltaTouch显示器能够在接触点处生成3D力矢量，并呈现重量、滑动、接触、柔软度和纹理的多模态触觉。VR系统由HTC Vive Pro基站和盔装显示器（HMD）组成，以及用于在VR中跟踪用户手部运动的Leap Motion控制器。MatrixTouch、BallFeel和RoboX应用程序已经开发出来，以展示所提出的技术的能力。一个新的触觉界面可能会给用户带来一个新的沉浸感，使其更具交互性和有形性。
2019-11-11 cs.HC cs.RO
A Transfer Learning Approach to Cross-Modal Object Recognition: From Visual Observation to Robotic Haptic Exploration
Technical University of Munich（慕尼黑工业大学）；ABB Corporate Research（ABB集团研究院）；University of Campania Luigi Vanvitelli（坎帕尼亚大学路易吉·万维泰利）；Institute of Robotics and Mechatronics, German Aerospace Center（德国航空航天中心机器人与机电一体化研究所）
在这项工作中，我们介绍了机器人主动探索的跨模态视觉触觉对象识别的问题。这个术语的意思是机器人用视觉感知观察一组物体，之后，它只能用触觉探索来识别这些物体，而之前没有接触过任何物体。使用机器学习术语，在我们的应用程序中，我们有一个视觉训练集和触觉测试集，反之亦然。为了解决这个问题，我们提出了一种方法，由四个步骤组成：找到一个视觉-触觉的共同表示，定义一组合适的功能，跨域传输的功能，和分类的对象。我们使用一组15个对象来展示我们的方法的结果，每个对象收集40个视觉示例和5个触觉示例。所提出的方法实现了94.7%的准确度，这是可比的单模态的情况下，即，当使用视觉数据作为训练集和测试集时。此外，与人类的能力相比，它表现得很好，我们粗略估计了10名参与者的实验。
2020-01-18 cs.CV cs.RO
ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation
Czech Technical University in Prague（捷克布拉格技术大学）
提出ShapeGrasp迭代抓取与补全流程，结合隐式表面视觉-触觉形状补全与基于物理的抓取规划，从单RGB-D视图推断完整形状并生成候选抓取，利用抓取反馈更新形状，在真实机器人上实现高抓取成功率并改善3D形状重建质量。
2026-07-01 cs.RO
UltraBots: Large-Area Mid-Air Haptics for VR with Robotically Actuated Ultrasound Transducers
University of Calgary（卡尔加里大学）
我们介绍UltraBots，这是一种结合了超声波触觉反馈和机器人驱动的系统，用于VR的大面积半空触觉。超声触觉可以提供精确的半空触觉反馈和通用的形状渲染，但交互区域通常受到超声设备的小尺寸的限制，从而限制了VR的可能交互。为了解决这个问题，本文介绍了一种新的方法，结合机器人驱动与超声触觉。更具体地说，我们将把超声换能器阵列连接到桌面移动机器人或机器人手臂上，以实现可扩展、可扩展和可平移的交互区域。我们计划使用索尼Toio机器人进行2D翻译和/或商用机器人手臂进行3D翻译。使用由VR HMD（例如，Oculus Quest），我们的系统可以将超声换能器保持在用户的手下方，以提供按需触觉。我们展示了工作空间环境、医疗培训、教育和娱乐方面的应用。
2022-10-04 cs.HC cs.RO
Dual-modal Tactile E-skin: Enabling Bidirectional Human-Robot Interaction via Integrated Tactile Perception and Feedback
Tsinghua-Berkeley Shenzhen Institute（清华-深圳伯克利研究院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Department of Electrical, Computer and Biomedical Engineering, Ryerson University（瑞尔森大学电气、计算机与生物医学工程系）
本文提出一种集成磁触觉感知与振动反馈的双模态电子皮肤，实现双向人机交互，支持物体识别与精细称重，提升交互沉浸感与效率。
2024-02-08 cs.RO eess.SP
DroneARchery: Human-Drone Interaction through Augmented Reality with Haptic Feedback and Multi-UAV Collision Avoidance Driven by Deep Reinforcement Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）
提出了一种基于RL的群体行为驱动的增强现实（AR）人机交互的新概念，以实现对无人机群体编队的直观和沉浸式控制。我们开发的DroneARchery系统允许用户快速部署一群无人机，生成模拟射箭的飞行路径。触觉接口LinkGlide将弓弦张力的触觉刺激传递到前臂，以提高瞄准精度。释放的无人机群动态地避免彼此之间的碰撞，无人机跟随用户，以及基于深度强化学习的行为控制的外部障碍物。开发的概念在与人类的场景中进行了测试，其中用户使用真实的无人机从虚拟弓射击以击中目标。人类操作员在AR中观察无人机的弹道轨迹，并通过触觉显示实现弓弦张力的逼真和高度可识别的体验。实验结果表明，该系统通过应用AR技术和传递拉力的触觉反馈，使轨迹预测精度提高了63.3%。DroneARchery用户在控制无人机时强调了自然性（5分制中的4.3分）和增加的信心（5分制中的4.7分）。我们设计了触觉模式，以呈现触觉显示的四个滑动距离（张力）和三个施加的力水平（刚度）。用户表现出区分触觉模式产生的触觉显示代表不同的弓弦张力（平均识别率为72.8%）和刚度（平均识别率为94.2%）。该研究的新颖之处在于开发了一种基于AR的无人机控制方法，不需要操作员的特殊技能和培训。
2022-10-14 cs.HC cs.RO
Towards Tangible Immersion for Cobot Programming-by-Demonstration: Visual, Tactile and Haptic Interfaces for Mixed-Reality Cobot Automation in Semiconductor Manufacturing
Intel Labs, Intelligent System Research, Human-Robot Collaboration（英特尔实验室、智能系统研究、人机协作）
本文提出一种独立于物理实体形态的反应式操作动作建模与执行范式，通过抽象操作原语和状态机实现知识跨平台转移，并在双平台物体运输任务中验证了其鲁棒性与物理实体形态独立性。
2025-05-30 cs.HC cs.RO
Tactile interaction with a robot leads to increased risk-taking
IDLab – imec（IDLab——比利时微电子研究中心）；Ghent University（根特大学）
触觉交互在人与人之间的交互中起着至关重要的作用。例如，触摸可以帮助人们平静下来，降低生理压力反应。因此，据信触觉和触觉交互在人机交互中也很重要。我们研究的触觉互动的强度是否对人有影响，并通过研究不同强度的触觉互动是否调节生理措施和任务表现。我们使用一个范例，其中一个小型的人形机器人被用来鼓励冒险行为，依靠同伴的鼓励，采取更多的风险，这可能会导致更高的回报，但也有可能更高的损失。为此，使用球囊锚定风险任务（BART）作为承担风险倾向的代表。我们研究了四个条件，一个控制条件，其中的任务是在没有机器人完成，和三个实验条件，其中的机器人是目前鼓励冒险行为与不同程度的触觉互动。结果表明，低强度和高强度的触觉互动都会增加人们的冒险行为。然而，低强度的触觉交互增加了舒适度并降低了压力，而高强度的触摸则没有。
2022-11-01 cs.RO
iCLAP: Shape Recognition by Combining Proprioception and Touch Sensing
King’s College London（伦敦国王学院）；University of Liverpool（利物浦大学）；Queen Mary University of London（伦敦玛丽女王大学）
对于人类来说，当执行触觉感知时，本体感觉和触摸感测都被高度利用。然而，大多数机器人方法在触觉对象识别中仅使用本体感受数据或触摸数据。在本文中，我们提出了一种新的方法命名为迭代最近的标记点（iCLAP）的联系的动觉线索和触觉模式从根本上，也介绍了其扩展到识别物体形状。在训练阶段，iCLAP首先将触觉读数的特征聚类到码本中，并为这些特征分配不同的标签编号。然后通过将触觉特征的标签编号作为3D传感器位置的附加维度来形成对象的4D点云;因此，两种感测模态被合并以实现对触摸对象的合成感知。此外，我们开发和验证的混合融合策略，产品为基础，加权和为基础，结合决策从iCLAP和单一的传感方式。大量的实验表明，使用所提出的方法的对象识别的显着改善，它显示了巨大的潜力，以提高机器人的感知能力。
2018-06-19 cs.RO
Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
University of Southern California（南加州大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Cincinnati（辛辛那提大学）
本研究针对无视觉输入的三指仿真手抬球旋球任务，对比课程学习与触觉反馈对强化学习效果的影响，提出新型课程学习率调度器，发现课程选择的作用远大于触觉信息，且无触觉也可完成学习，结果可推广至不同球体。
2024-07-13 cs.AI cs.LG cs.RO
AU Dataset for Visuo-Haptic Object Recognition for Robots
Aarhus University（奥胡斯大学）
多模态目标识别仍然是一个新兴的领域。因此，公开提供的数据集仍然很少，而且规模很小。这个数据集的开发是为了帮助填补这一空白，并提出了63个对象的多模态数据与一些视觉和触觉模糊。该数据集包含视觉，动觉和触觉（音频/振动）数据。为了彻底解决感觉模糊，需要感觉整合/融合。此报告描述了数据集的创建和结构。第一部分解释了用于捕获对象的视觉和触觉属性的基本方法。第二节介绍了收集数据所需的技术方面（实验装置）。第三部分介绍对象，而最后一部分描述数据集的结构和内容。
2021-12-27 cs.AI cs.LG cs.RO
Airborne Ultrasonic Tactile Display Brain-computer Interface -- A Small Robotic Arm Online Control Study
University of Tsukuba（筑波大学）；RIKEN Brain Science Institute（日本理化学研究所脑科学研究所）；The University of Tokyo（东京大学）
我们报告了一个扩展的机器人控制应用程序的非接触式和机载超声触觉显示器（AUTD）刺激为基础的脑机接口（BCI）的范例，获得了去年的年度BCI研究奖2014年。在获奖的人类通信增强范例中，六个手掌位置被用来唤起体感大脑反应，以定义一种新的非接触式触觉BCI。最后给出了一个小型机器人管理的应用实例，用户可以在线控制小型机器人。
2015-01-30 cs.HC cs.RO q-bio.NC
HaptiStylus: A Novel Stylus Capable of Displaying Movement and Rotational Torque Effects
Koc University（科奇大学）
随着支持笔的平板电脑和移动设备的出现，基于触控笔的交互越来越受到关注。不幸的是，当今市场上可用的触控笔都是主要用于书写和指向的无源仪器。在本文中，我们描述了一种新的手写笔能够显示一定的振动触觉和惯性触觉效果给用户。我们的手写笔在两端配备了两个振动致动器，用于产生沿着手写笔上下移动的触觉。手写笔还嵌入了一个直流电机，用于围绕笔的长轴产生双向旋转扭矩。通过两个心理物理实验，我们表明，当驱动精心选择的定时和致动模式，我们的触觉笔可以传达运动和旋转扭矩信息给用户。进一步的心理物理实验的结果提供了关于驱动模式的形状如何影响旋转扭矩效应的感知的见解。最后，从我们的互动笔为基础的游戏实验结果表明，我们的触觉笔是有效的，在实际设置
2021-04-02 cs.HC cs.RO
Remote Surfaces at Your Fingertips: Electrovibration-Based Tactile Feedback for Robot Teleoperation via Touchscreen Interfaces
University of the West of England（西英格兰大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）；ENSTA, Institut Polytechnique de Paris（巴黎综合理工学院ENSTA）；Autonomous Systems and Robotics Lab（自主系统与机器人实验室）
针对遥操作中力反馈不稳定和延迟问题，提出基于电振动的触觉反馈界面，用户研究显示其显著降低响应时间15.35%并提升临场感31%。
2026-09-24 cs.HC cs.RO
Haptic Feedback Relocation from the Fingertips to the Wrist for Two-Finger Manipulation in Virtual Reality
Stanford University（斯坦福大学）；Kadir Has University（卡迪尔哈斯大学）
触觉反馈从指尖到手腕的重新定位已经被认为是一种实现与混合现实虚拟环境的触觉交互同时使手指空闲用于其他任务的方式。我们提出了一对手腕佩戴的触觉触觉设备和虚拟环境，以研究手指和触觉器之间的各种映射如何影响任务性能。呈现给手腕的触觉反馈反映虚拟对象与由食指和拇指控制的虚拟化身之间发生的交互力。我们进行了一项用户研究，比较了四种不同的手指到触觉触觉反馈映射和一种无反馈条件作为对照。我们通过任务完成时间、手指和虚拟立方体的路径长度以及指尖的法向力和剪切力的大小来评估用户执行简单拾取和放置任务的能力。我们发现，多个映射是有效的，有一个更大的影响时，视觉线索有限。我们讨论了我们的方法的局限性，并描述了下一步的多自由度的触觉渲染手腕佩戴设备，以提高虚拟环境中的任务性能。
2022-11-14 cs.HC cs.RO
Learning Whole-Body Human-Robot Haptic Interaction in Social Contexts
Arizona State University（亚利桑那州立大学）；Honda Research Institute, USA（美国本田研究院）
本文提出了一种从演示中学习（LfD）的框架，用于教授涉及全身触觉交互的人与机器人的社交交互，即在整个机器人身体上直接进行人与机器人的接触。现有的LfD框架的性能受到这种相互作用，由于演示数据的高维性和时空稀疏性。我们表明，通过利用这种稀疏性，我们可以减少数据维数，而不会产生显着的准确性惩罚，并介绍了三种策略。通过将这些技术与用于学习多模态人机交互的LfD框架相结合，我们可以在全身触觉交互期间对触觉和动觉信息之间的时空关系进行建模。使用配备61个力传感器的远程操作双手机器人，我们实验证明，一个模型训练121个样本拥抱从4个参与者，以及推广到看不见的输入和人类合作伙伴。
2020-05-26 cs.AI cs.LG cs.RO
