Rotational Slippage Prediction from Segmentation of Tactile Images
University Institute for Engineering Research, Miguel Hernández University（米格尔·埃尔南德斯大学工程研究大学研究所）；Computer Science Research Institute, University of Alicante（阿利坎特大学计算机科学研究所）；University of Alicante（阿利坎特大学）
本文提出利用Digit触觉传感器和神经网络分割接触区域，结合细化算法预测旋转滑移，在自建数据集上达到95% Dice和91% IoU，真实场景误差小于3度，可防止物体滑落。
2023-05-08 cs.RO
Simulation of Optical Tactile Sensors Supporting Slip and Rotation using Path Tracing and IMPM
Zhili College, Tsinghua University（清华大学知礼学院）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Engineering and Technology, China University of Geosciences (Beijing)（中国地质大学（北京）工程技术学院）
本文提出一种光学触觉传感器仿真方法，结合路径追踪渲染与IMPM算法，提升按压、滑动和旋转等复杂操作仿真的真实性与准确性。
2024-05-05 cs.RO
Deformable In-Hand Slip-Aware Tactile Sensor with Integrated Velocity Sensing, Force/Torque and Pressure Map Estimation
Chalmers University of Technology（查尔姆斯理工大学）；Lund University（隆德大学）
提出一种新型触觉传感器，通过可变形接触垫集成速度、力/力矩和压力图传感，实现手内操作的滑移感知控制，并支持快速低成本制造。
2026-10-02 cs.RO
Improved GelSight Tactile Sensor for Measuring Geometry and Slip
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
GelSight传感器使用覆盖有反射膜的弹性板来测量触觉信号。它以高空间分辨率测量3D几何和接触力信息，并成功地帮助许多具有挑战性的机器人任务。以前的传感器，基于半镜面膜，产生高分辨率，但有限的几何精度。在本文中，我们描述了一种新的设计GelSight的机器人抓手，使用朗伯膜和新的照明系统，它提供了大大提高几何精度，同时保持紧凑的尺寸。我们演示了它在测量表面法线和重建高度图使用光度立体。我们还使用它的任务滑动检测，使用膜表面上的相对运动和剪切变形的信息相结合。使用机器人手臂和一组37个具有不同属性的日常物体，我们发现，传感器可以检测平移和旋转滑动在一般情况下，并可用于提高稳定性的把握。
2017-08-02 cs.RO
Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images
Preferred Networks, Inc.（首选网络公司）
从视觉估计触觉特性，如光滑度或粗糙度，对于有效地与环境交互是重要的。这些触觉特性帮助我们决定我们应该选择哪些动作以及如何执行它们。例如，在一个示例中，如果我们看到牵引力不好，我们可以开得慢一些，如果一个东西看起来很滑，我们可以抓得更紧一些。我们相信，这种能力也有助于机器人增强对环境的理解，从而使它们能够根据手头的情况调整自己的行动。因此，我们提出了一个模型来估计触觉属性的程度，从视觉感知单独（例如，光滑度或粗糙度的水平）。我们的方法扩展了一个编码器-解码器网络，其中的潜变量是视觉和触觉特征。与以前的作品相比，我们的方法不需要手动标记，而只需要RGB图像和相应的触觉传感器数据。我们所有的数据都是通过安装在Sawyer机器人末端执行器上的网络摄像头和uSkin触觉传感器收集的，该机器人可以触摸25种不同材料的表面。我们表明，我们的模型通过评估特征空间来推广到不包括在训练数据中的材料，这表明它已经学会了将重要的触觉特性与图像相关联。
2019-07-09 cs.RO
Leveraging distributed contact force measurements for slip detection: a physics-based approach enabled by a data-driven tactile sensor
ETH Zurich（苏黎世联邦理工学院）
抓取物理性质未知的物体仍然是机器人领域的一个巨大挑战。大多数解决方案完全依赖于视觉数据来规划最佳抓取策略。然而，为了与人类的能力相匹配，并能够可靠地拾取和保持未知物体，在机器人系统中集成人工触觉是关键。本文描述了一种新的基于模型的滑动检测流水线，可以实时预测可能失败的抓握，并发出必要的抓握力增加的信号。因此，滑动检测器不依赖于手动收集的数据，而是利用物理学来概括不同的任务。为了评估这种方法，一个最先进的基于视觉的触觉传感器，准确地估计分布的力量被集成到一个由六个自由度的协作机器人和两个手指夹持器组成的抓取设置。结果表明，该系统可以可靠地预测滑动，同时操纵不同形状，材料和重量的对象。该传感器可以在各种情况下检测平移和旋转滑动，使其适合于提高抓握的稳定性。
2021-09-23 cs.CV cs.RO
Maintaining Grasps within Slipping Bound by Monitoring Incipient Slip
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种方法来检测早期的滑动，即预测滑动，通过使用高分辨率的基于视觉的触觉传感器，GelSlim。该传感器动态捕捉接触物体的触觉印记及其变化与软凝胶垫。该方法假定物体为刚性物体，将物体在传感器表面的印迹运动视为二维刚体运动。我们使用的偏离的真实运动场的二维平面刚性变换作为衡量的滑移。输出是一个密集的滑移场，我们使用它来检测接触面的小区域何时开始滑移（初期滑移）。该方法可以检测平移和旋转的初始滑移，而无需任何先验知识的对象在24 Hz。对10个目标进行了240次测试，检测准确率达到86.25%。我们进一步展示了如何滑动反馈可以用来监测抓地力，以避免滑动与闭环瓶盖旋拧和旋拧实验与初期滑动检测反馈。该方法被证明是有用的机器人施加适当的夹持力和停止拧在正确的点之前打破的对象。该方法可以应用于结构化和非结构化环境中的许多操作任务。
2018-10-31 cs.RO
TactileGCN: A Graph Convolutional Network for Predicting Grasp Stability with Tactile Sensors
University of Alicante（阿利坎特大学）
触觉传感器在与物体交互期间提供有用的接触数据，其可用于准确地学习以确定抓握的稳定性。文献中的大多数作品将触觉读数表示为普通特征向量或矩阵状触觉图像，使用它们来训练机器学习模型。在这项工作中，我们探索了一种利用触觉信息来预测把握稳定性的替代方法，通过利用触觉数据的图形表示，它保留了传感器的taxels及其位置的实际空间布置。在实验中，我们训练了一个图神经网络来对抓取进行二进制分类，分为稳定抓取和滑动抓取。为了训练这样的网络并证明其对手头问题的预测能力，我们捕获了一个新的数据集，其中包含41个对象的大约5000个三指抓握用于训练，以及10个未知对象的1000个抓握用于测试。我们的实验证明，这种新的方法可以有效地用于预测把握稳定性。
2019-01-18 cs.LG cs.RO stat.ML
Towards Learning to Detect and Predict Contact Events on Vision-based Tactile Sensors
Robotics Institute（机器人研究所）；The Hong Kong University of Science and Technology（香港科技大学）
从本质上讲，成功的抓握归结为对指尖和物体之间的多次接触事件的正确反应。在大多数情况下，触觉感知足以区分接触事件。由于触觉信息的高维性，使用传统的基于模型的方法对时空触觉信号进行分类是困难的。在这项工作中，我们提出使用深度学习方法来预测和分类触觉信号，寻求提高机器人抓取系统对可能导致抓取失败的外部事件变化的适应性。我们开发了一个深度学习框架，并收集了6650触觉图像序列与基于视觉的触觉传感器，和神经网络集成到一个基于接触事件的机器人抓取系统。在抓取实验中，我们实现了52%的增加与接触检测的物体提升成功率，显着更高的鲁棒性下的意外负载与滑动预测相比，开环抓地力，表明所提出的框架集成到机器人抓取系统大大提高采摘成功率和能力，以抵御外部干扰。
2019-10-09 cs.CV cs.LG cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore（新加坡国立大学）
这项工作有助于事件驱动的视觉触觉感知系统，包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性，能够很好地适应出租车的数量。同样，我们的视觉触觉脉冲神经网络（VT-SNN）在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统（使用NeuTouch和Prophesee事件相机）的两个机器人任务：容器分类和旋转滑动检测。在这两个任务中，我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集，以鼓励对多模态事件驱动机器人感知的研究，我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
Tactile SoftHand-A: 3D-Printed, Tactile, Highly-underactuated, Anthropomorphic Robot Hand with an Antagonistic Tendon Mechanism
School of Engineering Mathematics and Technology（工程数学与技术学院）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）；University of Bristol（布里斯托尔大学）；School of Robotics（机器人学院）；Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Department of Information Engineering（信息工程系）；Research Center "E.Piaggio"（E.Piaggio研究中心）；University of Pisa（比萨大学）；Soft Robotics for Human Cooperation and Rehabilitation（人机合作与康复软机器人）；Istituto Italiano di Tecnologia（意大利技术研究院）
本研究针对肌腱驱动欠驱动机器人手的抓取适应性难题，提出带拮抗肌腱机构的3D打印触觉五指手Tactile SoftHand-A，集成新型3D打印视觉触觉传感器与触觉反馈控制方案，性能优于无拮抗机构的同类手，设计已开源。
2025-09-02 cs.RO
Hall Effect-Based Tactile Force Detection Sensor for Robot-Assisted Minimally Invasive Surgery
University of Leeds（利兹大学）
针对机器人微创手术中触觉反馈缺失的问题，本文提出一种基于霍尔效应的毫米级紧凑力传感器，可检测法向和剪切力，平均RMSE为2.133 kPa，并在体模和离体猪组织上验证了牵拉与滑动感知能力。
2026-10-08 cs.RO
Shape-independent Hardness Estimation Using Deep Learning and a GelSight Tactile Sensor
Tsinghua University（清华大学）
硬度是人类通过触摸了解物体的最重要属性之一。然而，机器人估计硬度的方法是有限的，由于缺乏当前触觉传感器提供的信息。在这项工作中，我们通过引入一种基于GelSight触觉传感器的硬度估计新方法来解决这些限制，该方法不需要精确控制接触条件或物体形状。GelSight具有柔软的接触界面，并提供接触几何形状以及接触力和滑动条件的高分辨率触觉图像。在本文中，我们尝试使用该传感器来测量硬度的物体具有多种形状，在松散控制的接触条件下。接触是手动或由机器人手进行的，而力和轨迹是未知的和不均匀的。我们使用深层结构（和循环）神经网络分析数据。实验表明，神经网络模型可以对不同形状、肖氏00标度硬度范围为8 ~ 87的物体进行硬度估计。
2017-04-13 cs.RO
Low-Cost Teleoperation with Haptic Feedback through Vision-based Tactile Sensors for Rigid and Soft Object Manipulation
Roma Tre University（罗马第三大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出一种基于视觉触觉传感器的低成本遥操作框架，通过触觉反馈辅助人类操作员，并引入部分自主性防止物体滑落，在真实硬件上验证了对刚性和软性物体操作的通用性。
2024-03-25 cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol（布里斯托大学）；University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出 GenForce 框架，通过共享标记表征统一触觉信号，实现跨同构与异构触觉传感器的力觉模型迁移，并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
SimTac: A Physics-Based Simulator for Vision-Based Tactile Sensing with Biomorphic Structures
Department of Engineering, King’s College London（工程系，伦敦国王学院）；School of Aerospace Engineering, Beijing Institute of Technology（航空工程学院，北京理工大学）；Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
SimTac是一个基于物理的模拟器，用于设计和验证生物形态触觉传感器，通过多种几何结构实现准确高效的触觉感知模拟。
2025-11-14 cs.RO
Tactile-Based Insertion for Dense Box-Packing
Massachusetts Institute of Technology（麻省理工学院）
我们研究的问题，使用高分辨率的触觉传感器来控制插入的对象在一个盒子包装的情况下。我们提出了一个新的系统的基础上的触觉传感器GelSlim的密集包装任务。在本文中，我们提出了一种插入策略，利用触觉感知：1）安全地探测与把握物体的盒子，同时监测初期的滑动，以保持稳定的把握对象。2)估计并校正残余位置不确定性，以将对象插入指定间隙中而不干扰环境。我们提出的方法是基于两个神经网络，估计错误的方向和错误的大小，从一个流的触觉印记，获得两个GelSlim手指，在插入过程中。该系统在具有基本几何形状的四个对象上进行训练，我们将其推广到其他四个常见对象。基于估计的位置误差，启发式控制器迭代地调整对象的位置，并最终将其成功地插入，而不需要对象的几何形状的先验知识。关键的洞察力是，密集的触觉反馈包含有用的信息，相对于抓住的对象和它的环境之间的接触互动。我们实现了很高的成功率，并表明，未知的对象可以插入平均6次尝试的探针正确的循环。该方法的能力，以推广到新的对象，使其非常适合在仓库自动化装箱。
2019-09-12 cs.RO
Transferring Tactile Data Across Sensors
L3S Research Center（L3S研究中心）
本文提出一种基于三维形变网格的跨传感器触觉数据迁移方法，通过将BioTac信号转换为DIGIT图像，使已停产传感器的历史数据集得以继续利用。
2024-10-18 cs.AI cs.RO
Rapid manufacturing of color-based hemispherical soft tactile fingertips
Delft University of Technology（代尔夫特理工大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Istituto Italiano di Tecnologia（意大利理工学院）
触觉感知可以提供对关于接触的信息（即，滑动、表面特征、摩擦）的访问，这是视觉所达不到的，但对于操纵是至关重要的。为了获得这些信息，需要对柔软指尖的变形进行密集测量。最近，依赖于摄像机观察可变形膜的触觉传感器已经证明，接触的密集测量是可能的。然而，它们的制造可能是耗时和劳动密集型的。在这里，我们展示了一种新的设计方法，该方法使用多色增材制造和硅胶铸造来有效地制造基于软标记的触觉传感器，这些传感器能够以高分辨率捕获界面处的三维变形场。每个标记由两个叠加的滤色器组成。减色混合编码的正常变形的膜，和横向变形的质心检测发现。通过这种制造方法，我们可以在21 mm半径的半球上达到400个标记的密度，从而可以定期和密集地测量变形。我们校准和验证的方法，通过寻找物体的曲率，与以前的实现相比，精度提高了三倍。结果表明，一个简单而有效的方法来制造人工指尖捕捉丰富的图像的触觉互动接触的位置。
2022-05-03 cs.RO
Building a Library of Tactile Skills Based on FingerVision
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；MIT（麻省理工学院）
基于摄像头的触觉传感器正在成为一种有前途的廉价解决方案，用于增强的操纵任务。最近推出的FingerVision传感器能够产生可靠的信号，用于力估计，物体姿态估计和滑动检测。在本文中，我们建立在FingerVision设计的基础上，改进了现有的控制算法，更重要的是，通过利用原始皮肤变形数据进行控制，将其适用范围扩展到更具挑战性的任务。与依赖于整个传感器表面的平均变形的先前方法相比，我们直接采用浸入传感器的硅树脂主体中的每个球形标记的局部偏差用于反馈控制并作为学习任务的输入。我们表明，与这样的输入，不同的质地和粘度的物质可以区分的基础上引起的触觉，同时搅拌它们。作为另一个应用，我们学习皮肤变形和施加到对象的力之间的映射。为了展示所提出的控制器的全部功能，我们将它们部署在一个具有挑战性的建筑装配任务中，该任务涉及在最大负载点处的可弯曲板下方插入承重元件。
2019-09-20 cs.RO
Using The Feedback of Dynamic Active-Pixel Vision Sensor (Davis) to Prevent Slip in Real Time
Universitat Rovira I Virgili（罗维拉·依维尔基里大学）；University of Debrecen（德布勒森大学）
本文的目的是描述一种方法来检测实时反馈的滑移和接触力。在这种新的方法中，DAVIS相机被用作视觉触觉传感器，由于其快速的处理速度和高分辨率。对四种不同形状、尺寸、重量和材料的物体进行了200次实验，以比较Baxter机器人夹持器的精度和响应，以避免打滑。先进的方法是通过使用力敏电阻（FSR 402）进行验证。DAVIS摄像机捕获的事件通过特定算法进行处理，以向Baxter机器人提供反馈，帮助其检测滑动。
2021-11-09 cs.CV cs.RO
The impact of tactile sensor configurations on grasp learning efficiency -- a comparative evaluation in simulation
Faculty of Information Technology and Bionics, Pázmány Péter Catholic University（信息科技与生物学院，帕兹曼·彼得天主教大学）
本研究通过仿真评估了不同触觉传感器配置对抓取学习效率的影响，发现一种配置在两个设置中均表现最佳，为机器人手设计提供了参考。
2026-01-15 cs.RO
A Novel Bioinspired Neuromorphic Vision-based Tactile Sensor for Fast Tactile Perception
Khalifa University（哈利法大学）；University of Lincoln（林肯大学）；Khalifa University Center of Autonomous Robotic Systems (KUCARS)（哈利法大学自主机器人系统中心）；Healthcare Engineering and Innovation Group (HEIG)（医疗保健工程与创新集团）；Advanced Research and Innovation Center (ARIC)（先进研究与创新中心）
本文提出一种基于事件相机的仿生神经形态视觉触觉传感器，利用3D打印柔性皮肤感知形变，可在2毫秒内检测按压与滑动，适用于高速拾放操作中的安全抓取。
2024-03-15 cs.RO cs.SY eess.SY
Sensorimotor-inspired Tactile Feedback and Control Improve Consistency of Prosthesis Manipulation in the Absence of Direct Vision
Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
上肢假肢缺乏触觉感知，迫使截肢者主要依靠视觉线索来完成日常生活活动。相比之下，健全的人天生依赖于有意识的触觉感知和自动触觉反射来控制不允许持续视觉注意的情况下的意志行动。因此，我们提出了一个肌电假肢系统，反映了这些概念，以帮助操作性能没有直接的视觉。为了实现这一设计，我们构建了两个基于织物的触觉传感器，它们可以测量假肢手指的手掌侧和手背侧的接触位置，并在假肢拇指的尖端处抓住压力。受自然感觉运动系统的启发，我们使用来自这些传感器的测量来提供接触位置的振动触觉反馈，并实现触觉抓握控制器，该触觉抓握控制器使用自动反射来防止过度抓握和物体滑动。我们将该系统与标准肌电假肢进行了一项具有挑战性的无直视取放任务进行比较; 17名身体健全的成年人参加了这项单次受试者间研究。与标准组的参与者相比，触觉组的参与者实现了更一致的高性能。这些结果表明，除了接触位置反馈和反射控制增加的一致性，在上肢假肢可以抓住和移动的对象没有直接的视觉。
2021-07-14 cs.RO
Tacchi 2.0: A Low Computational Cost and Comprehensive Dynamic Contact Simulator for Vision-based Tactile Sensors
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Engineering and Technology, China University of Geosciences (Beijing)（中国地质大学（北京）工程技术学院）；School of International, Beijing University of Posts and Telecommunications（北京邮电大学国际学院）；School of Mechanical Engineering, Anhui University of Technology（安徽工业大学机械工程学院）；Zhili College, Tsinghua University（清华大学志道书院）
本文提出Tacchi 2.0，通过将针孔相机模型集成到基于物质点法的低计算成本视觉触觉模拟器中，实现了按压、滑动和旋转等状态下触觉图像与标记运动图像的可靠模拟。
2025-03-12 cs.CV cs.RO
PyTouch: A Machine Learning Library for Touch Processing
Facebook AI Research（脸书人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；Massachusetts Institute of Technology（麻省理工学院）
随着丰富的触觉传感器的可用性增加，对开源和集成软件的需求也同样成比例，这些软件能够有效地将原始触摸测量结果处理为可用于控制和决策的高级信号。在本文中，我们介绍了PyTouch -第一个专门用于处理触摸传感信号的机器学习库。PyTouch设计为模块化、易于使用，并提供最先进的触摸处理功能作为服务，其目标是通过提供一个库来构建可扩展的、经过验证的和性能验证的模块，从而统一触觉感知社区，应用程序和研究可以基于这些模块构建。我们评估PyTouch对现实世界的数据从几个触觉传感器上的触摸处理任务，如触摸检测，滑动和物体姿态估计。PyTouch在https://github.com/facebookresearch/pytouch上开源。
2021-05-26 cs.HC cs.LG cs.RO
HapticWAM: Distilling Imagined Touch into a World-Action Model without Inference-Time Tactile Sensing
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
HapticWAM通过师生蒸馏将光学触觉信息编码进世界-动作模型，在无推理时触觉输入下实现接触丰富操作，真实任务中达到77%平均成功率。
2026-09-22 cs.RO
GhostTac: Manipulating Tactile Sensors without Physical Contact
Zhejiang University（浙江大学）；Hong Kong University of Science and Technology（香港科技大学）
研究人员提出首个非接触式触觉传感器操纵攻击GhostTac，利用电磁干扰引发测量偏差，在15个传感器上验证有效性，揭示机器人触觉传感的新型物理攻击向量。
2026-09-01 cs.CR cs.RO
ACROSS: A Deformation-Based Cross-Modal Representation for Robotic Tactile Perception
L3S Research Center（L3S研究所以）
本文提出ACROSS框架，通过利用传感器变形信息实现触觉数据跨传感器转换，将BioTac信号转换为DIGIT传感器数据，解决现有数据集在新设备上的应用问题。
2025-02-19 cs.AI cs.RO
GelSight FlexiRay: Breaking Planar Limits by Harnessing Large Deformations for Flexible,Full-Coverage Multimodal Sensing
Zhejiang University（浙江大学）
针对传统视觉触觉传感器依赖刚性结构、牺牲柔顺性和传感区域的问题，提出GelSight FlexiRay多模态视觉触觉传感器，通过多镜配置优化和类人多模态感知增强，实现软夹爪大幅变形下的稳健传感，性能优于现有技术。
2024-11-28 cs.RO
Pose and shear-based tactile servoing
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
针对含剪切滑移的触觉数据估计误差大、3D交互运动不平滑的问题，提出融合位姿与剪切力的触觉伺服方案，通过高斯密度CNN、判别式贝叶斯滤波器及SE(3)速度伺服实现多种非抓取操控任务。
2023-12-13 cs.RO
Learning to Detect Slip through Tactile Estimation of the Contact Force Field and its Entropy
University of Washington（华盛顿大学）；Amazon Robotics（亚马逊机器人公司）
提出一种基于物理信息的数据驱动方法，利用光学触觉传感器GelSight Mini收集数据并将滑动检测转化为分类问题，在10个物体上实现95.61%的准确率，并成功应用于动态机器人操作的实时滑动检测与预防。
2024-04-28 cs.LG cs.RO
Geometric Reconstruction of Extrinsic Contact Trajectories using Tactile Sensing and Proprioception for Tool Manipulation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Korea Institute of Machinery and Materials（韩国机械与材料研究院）
提出一种基于触觉感知和机器人本体感觉重建工具尖端外在接触轨迹的方法，通过单点接触假设和校准段估计全局接触位置，结合连续接触下的相对运动估计，实现实时轨迹重建。
2026-08-18 cs.RO
An Electromagnetism-Inspired Method for Estimating In-Grasp Torque from Visuotactile Sensors
OMRON SINIC X Corporation（欧姆龙SINIC X公司）
研究针对触觉扭矩估计关注少的问题，提出基于触偶极矩概念的方法，通过分析二维标记位移矢量场估计抓持内扭矩，实验证明其简单且有效。
2024-04-24 cs.RO
Adaptive Compressive Tactile Subsampling: Enabling High Spatiotemporal Resolution in Scalable Robotic Skin
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）
ACTS通过自适应压缩采样技术，实现高密度触觉感知，提升机器人和可穿戴设备的实时交互与运动控制能力。
2025-12-12 cs.RO cs.SY eess.SY
Whisker-based Active Tactile Perception for Contour Reconstruction
Technical University of Munich（慕尼黑技术大学）；State Key Laboratory for Novel Software Technology（国家软件新技术重点实验室）；Chemnitz University of Technology（化学工业大学）
针对触须触觉传感器缺乏主动控制的问题，本文构建磁导式触须传感器，提出基于偏转曲线与贝叶斯滤波的接触位置提取方法及主动姿态控制策略，实现亚毫米精度的物体轮廓重建。
2025-07-31 cs.RO
Vision and Tactile Robotic System to Grasp Litter in Outdoor Environments
University of Alicante（阿利坎特大学）；University Institute for Engineering Research, Miguel Hernandez University（米格尔·埃尔南德斯大学工程研究学院）
提出一种结合视觉与触觉的机械臂系统，用于户外垃圾检测、定位与抓取，实验平均收集成功率达94%。
2024-07-16 cs.RO
Language-Guided Representation Learning for Robust Cross-Sensor Material Recognition
Khalifa University Center for Autonomous Robotic Systems (KUCARS), Khalifa University（哈利法大学自主机器人系统中心（KUCARS），哈利法大学）
针对触觉传感器跨设备泛化差的问题，提出语言引导蒸馏框架，利用语言语义对齐触觉表示，在少样本和跨传感器迁移中显著提升准确率。
2026-09-15 cs.CL cs.CV cs.RO
Action Conditioned Tactile Prediction: case study on slip prediction
University of Lincoln（林肯大学）；Lincoln Institute for Agri-food Technology（林肯农业食品技术研究所）
针对磁性触觉信号与滑移预测，本文提出两种动作条件的数据驱动触觉预测模型，并基于含51,000帧、11种家居物体的新数据集验证其优于现有模型。
2024-05-10 cs.AI cs.LG cs.RO
Leveraging Tactile Sensors for Low Latency Embedded Smart Hands for Prosthetic and Robotic Applications
ETH Zürich（苏黎世联邦理工学院）
触觉感知是机器人和需要控制假肢装置的人类截肢者的关键感知模式。今天，机器人和假肢系统仍然缺少精确的触觉感知这一重要特征。这种缺乏主要是由于现有的触觉技术具有有限的空间和时间分辨率并且要么昂贵要么不可扩展。在本文中，我们提出了一个硬件和软件的嵌入式系统SmartHand的设计和实现。它专门设计用于从手形多传感器阵列获取和实时处理高分辨率触觉信息，用于假肢和机器人应用。在数据汇集过程中，我们的系统可以提供每秒100帧的高吞吐量，这是13.7倍高于以前的相关工作。我们收集了一个新的触觉数据集，同时在五个不同的会话期间与日常生活对象进行交互。我们提出了一个紧凑而准确的卷积神经网络，与相关工作相比，它需要少一个数量级的内存和少15.6倍的计算，而不会降低分类精度。前1和前3交叉验证准确率分别为98.86%和99.83%。我们进一步分析了会话间的变异性，并获得了最好的前3个留一验证的准确率为77.84%。我们将训练好的模型部署在高性能ARM Cortex-M7微控制器上，实现了仅100 ms的推理时间，最大限度地减少了响应延迟。总功耗为505 mW。最后，我们制作了一个新的控制传感器，并进行额外的实验，以提供传感器退化和滑移检测的分析。这项工作在赋予机器人和假肢设备触觉方面向前迈出了一步，并展示了由微型机器学习授权的智能嵌入式系统的实用性。
2022-03-28 cs.RO cs.SY eess.SY
Marker or Markerless? Mode-Switchable Optical Tactile Sensing for Diverse Robot Tasks
Beijing Institute of Technology（北京理工大学）
针对光学触觉传感器单模态模式无法兼顾机器人感知与操作任务的难题，提出基于生成模型与稀疏监督回归模型的模式切换方法，无需额外硬件即可实现标记/无标记模式切换，在两类任务中均取得性能提升。
2024-08-15 cs.HC cs.RO
AnySkin: Plug-and-play Skin Sensing for Robotic Touch
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Meta AI Research（元人工智能研究部门）
本文提出 AnySkin，一种即插即用、易替换且无需校准的磁性触觉传感器，解决了触觉感知在通用性、可替换性和数据可重用性上的挑战，并首次实现了学习操作策略的跨实例零样本泛化。
2024-09-27 cs.AI cs.RO
Slip detection for grasp stabilisation with a multi-fingered tactile robot hand
University of Bristol（布里斯托大学）；University of the West of England（西英格兰大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
触觉感知是人类在抓握时使用的，以防止我们掉落物体。触觉感知的一个关键方面是滑动检测，它允许抓取器知道何时抓取失败并采取行动以防止物体掉落。本研究通过使用支持向量机检测滑动和测试多个滑动场景，包括对11个不同物体在各种抓握中实时的滑动的开始做出响应，展示了最近开发的触觉模型O（T-MO）的滑动检测能力。我们通过测试两个现实世界的场景来展示滑动检测在抓取中的好处：增加重量来破坏抓取的稳定性，并在第一次尝试时使用滑动检测来提升物体。T-MO能够检测物体何时滑动，做出反应以稳定抓握并部署在现实世界的场景中。这表明T-MO是一个合适的自主抓取平台，通过使用可靠的滑动检测来确保在非结构化环境中的稳定抓取。补充视频：https://youtu.be/wOwFHaiHuKY
2020-10-05 cs.RO
SlipSense: Multimodal Tactile Learning for Low-Latency and Generalized Slip Detection
Analog Devices, Inc.（亚德诺半导体公司）
针对滑动检测延迟与泛化不足，提出基于TacV5的多模态触觉框架SlipSense，融合压阻阵列与加速度计，实现240Hz预测，宏F1达96.7%，并零样本迁移至新平台。
2026-09-15 cs.AI cs.LG cs.RO
Visuo-Tactile-Based Slip Detection Using A Multi-Scale Temporal Convolution Network
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）
人类可以通过视觉和触觉感知准确地判断手中的物体是否滑动。然而，通过视觉-触觉融合来检测手持物体的滑动仍然是机器人面临的一个挑战。为了解决这个问题，提出了一种新的视觉-触觉融合深度神经网络来检测滑动，这是一个依赖于时间的连续动作。利用多尺度时域卷积网络（MS-TCN）提取视觉和触觉数据的时域特征，可以有效地检测滑动。在本文中，7-dregree-of-freedom（7-DoF）的机器人机械手配备了摄像头和触觉传感器用于数据汇集上的50个日常对象具有不同的形状，材料，尺寸和重量。因此，建立了一个数据集，其中40个物体和10个物体的抓取数据分别用于网络训练和测试。基于该模型的检测准确率为96.96%。此外，该模型与基于长短期记忆网络（LSTM）的视觉-触觉融合深度神经网络（DNN）在收集的数据集和使用GelSight触觉传感器的公共数据集上进行了比较。结果表明，该模型在两个数据集上都表现得更好。该模型可以帮助机器人可靠地抓取日常物体。此外，它还可用于抓取力控制、抓取策略生成和灵巧操作。
2023-02-27 cs.RO
GelSlim 4.0: Focusing on Touch and Reproducibility
University of Michigan（密歇根大学）
本文提出开源视觉触觉传感器GelSlim 4.0，通过简化手指结构和易制造透镜提升可复现性，并配套感知库与制造文档，经人类可用性测试验证。
2024-09-29 cs.RO
FORTE: Tactile Force and Slip Sensing on Compliant Fingers for Delicate Manipulation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
FORTE通过柔性指尖触觉感知系统实现低延迟的力与滑动反馈，有效提升对易碎、滑腻物体的抓取精度与稳定性。
2026-01-05 cs.RO
GelSlim3.0: High-Resolution Measurement of Shape, Force and Slip in a Compact Tactile-Sensing Finger
Massachusetts Institute of Technology（麻省理工学院）
这项工作提出了一个新版本的触觉感知手指GelSlim 3.0，它集成了在一个紧凑的形状因子与小型平行颚夹持器在混乱的垃圾箱采摘场景中使用的能力，以感测高分辨率的形状，力和滑动。新的设计结合了使用实时分析方法来测量形状，估计接触三维力分布，并检测早期滑动的能力。为了实现一个紧凑的集成，我们优化的光路从照明源到相机和其他几何变量在光学仿真环境。特别是，我们优化的照明源和光整形透镜周围的约束所施加的光度立体算法用于深度重建。优化的光学配置被集成到手指设计中，该手指设计由坚固且易于更换的卡扣配合指尖模块组成，该模块允许易于制造、组装、使用和维修。为了刺激未来的触觉感知研究，并为机器人社区提供可靠且易于再现的触觉手指，以及多种传感模式，我们在https://github.com/mcubelab/gelslim上开源了设计和软件。
2021-03-23 cs.RO
Slip Detection with Combined Tactile and Visual Information
Computer Science and Artificial Intelligence Laboratory (CSAIL), MIT（麻省理工学院计算机科学与人工智能实验室（CSAIL））
滑动检测在机器人操作中起着至关重要的作用，它一直是机器人界的一个具有挑战性的问题。本文提出了一种基于深度神经网络（DNN）的滑动检测新方法。利用GelSight触觉传感器和摄像头采集机械臂在不同抓取力和抓取位置下抓取和提升94个日常物体时的训练数据。DNN被训练来分类是否发生了滑动。为了评估DNN的性能，我们在152次抓取中测试了10个看不见的物体。检测准确率高达88.03%。预计可以通过更大的数据集进一步提高准确性。该方法有利于机器人稳定抓取，可广泛应用于自动力控制、抓取策略选择和精细操作等领域。
2018-02-27 cs.RO
Contact Status Recognition and Slip Detection with a Bio-inspired Tactile Hand
School of Mechanical Engineering, Southeast University Nanjing 211189, China；School of Electronic Science \& Engineering, Southeast University Nanjing 211189, China
本文提出了一种基于多模态触觉反馈的生物启发触觉手，通过提取17种特征实现96.39%的识别准确率，验证了方法的泛化能力。
2026-03-19 cs.RO
Learned Slip-Detection-Severity Framework using Tactile Deformation Field Feedback for Robotic Manipulation
University of Washington（华盛顿大学）
本文提出一种基于GelSight Mini触觉形变向量场特征的框架，同时实现滑动检测与滑动严重程度估计，并在反馈控制中协同使用两个模型，以92%的检测准确率和0.6 cm/s的MAE实现不过度补偿的滑动处理。
2024-11-11 cs.RO cs.SY eess.SY
Reactive Slip Control in Multifingered Grasping: Hybrid Tactile Sensing and Internal-Force Optimization
Université Grenoble Alpes, CEA, Leti（格勒诺布尔大学、CEA、LETI）；Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、CEA、LIST）
本文提出一种结合学习触觉滑移检测与模型内部力控制的混合方法，用于多指抓取的稳定控制，通过触觉反馈实现快速滑移检测与力优化，实验验证了在外部扰动下的抓取稳定性。
2026-03-21 cs.RO cs.SY eess.SY
Tracing Energy Flow: Learning Tactile-based Grasping Force Control to Reduce Slippage in Dynamic Object Interaction
Graduated School of Science and Technology（科学技术研究生学校）；Nara Institute of Science and Technology（奈良科学技术大学）；Honda R&D, Ltd.（本田研发有限公司）
本文提出了一种基于触觉的抓取力控制方法，通过能量抽象和模型学习，在动态交互中有效防止滑动，无需外部传感或先验知识。
2026-09-10 cs.RO
Center-of-Mass-based Robust Grasp Planning for Unknown Objects Using Tactile-Visual Sensors
Agile Robots AG（敏捷机器人公司）；Technische Universität München（慕尼黑工业大学）；Universität Hamburg（汉堡大学）
不稳定的抓取姿态会导致滑动，因此可以通过滑动检测来预测不稳定的抓取姿态。之后需要重新抓握以纠正抓握姿势以完成任务。在这项工作中，我们提出了一种新的重握规划器与多传感器模块计划把握调整与反馈从滑检测器。然后训练一个重新抓取规划器来估计质心的位置，这有助于机器人找到一个最佳的抓取姿势。该数据集由一对触觉传感器、一台RGB-D相机和一台配备关节力/扭矩传感器的Franka Replika机器人手臂收集的1 025个滑动实验和1 347个重握实验组成。我们表明，我们的算法可以成功地检测和分类5未知的测试对象的滑动，准确率为76.88%和一个regrasp计划器增加了31.0%的把握成功率相比，国家的最先进的基于视觉的把握算法。
2020-06-01 cs.RO
