Manipulation by Feel: Touch-Based Control with Deep Predictive Models
University of California, Berkeley(加利福尼亚大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
触摸感测被广泛认为对于灵巧的机器人操纵是重要的,但是利用触觉感知进行连续的、非易失性的操纵是具有挑战性的。能够有效利用触觉感知以及接触和力的准确物理模型的通用控制技术在很大程度上仍然难以捉摸,甚至不清楚如何在触觉感知方面指定所需的行为。在本文中,我们通过将高分辨率触觉感知与使用深度神经网络动力学模型的数据驱动建模相结合,朝着解决这些问题迈出了一步。我们提出了深度触觉MPC,学习执行触觉伺服从原始触觉传感器输入的框架,没有人工监督。我们表明,这种方法使机器人配备了GelSight风格的触觉传感器来操纵球,模拟棒,和20面骰子,从无人监督的自主交互学习,然后使用学习的触觉预测模型,重新定位每个对象到用户指定的配置,由目标触觉读数指示。视频,可视化和代码可在这里:https://sites.google.com/view/deeptactilempc
2019-03-11 cs.AI cs.CV cs.LG
Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing
Meta AI Research(Meta AI研究)
针对触觉仿真与现实差距导致现有方法用简化触觉信号的问题,提出支持三进制剪切力与二进制法向力零样本仿真到现实迁移的触觉皮肤传感器模型,开发利用滑动接触的手部平移RL策略,实验证明三轴触觉策略优于多类基线。
2025-05-19 cs.LG cs.RO
FlexiTac: A Low-Cost, Open-Source, Scalable Tactile Sensing Solution for Robotic Systems
Columbia University(哥伦比亚大学)
FlexiTac是一种低成本、开源、可扩展的触觉传感模块,通过灵活的传感器垫和紧凑的读取板实现高密度触觉信号采集,支持现代触觉学习流程。
2026-04-30 cs.AI cs.LG cs.RO
Compressed Sensing for Tactile Skins
Rensselaer Polytechnic Institute(伦斯勒理工学院)
通过触觉皮肤的全身触觉感知为非结构化环境中的机器人提供了很大的好处。为了充分实现这一好处,触觉系统必须支持在大量触觉传感器元件上的实时数据采集。我们提出了一种新的方法,可扩展的触觉数据采集,使用压缩传感。我们首先证明,触觉数据是服从压缩传感技术。然后,我们开发了一种快速数据采样、压缩和重建的解决方案,该解决方案适合触觉系统硬件,并有可能降低布线复杂性。最后,我们评估我们的技术在模拟触觉传感器网络的性能。我们的评估表明,压缩比为3比1的压缩感知可以实现比噪声传感器数据的完整数据采集更高的信号采集精度。
2016-03-04 cs.RO
Grasping Using Tactile Sensing and Deep Calibration
University of Central Florida(中佛罗里达大学)
触觉感知是智能机器人与周围环境交互的基本能力。这种感知作为一个中间层次的行为之间的感觉和行动,并已被适当地定义,以产生适当的行动,以响应所感测的数据。在本文中,我们提出了一种反馈方法来解决机器人抓取任务,使用力-力矩触觉感知。虽然视觉感知是总达到的一个重要组成部分,不断利用这种传感方式可以产生负面影响的把握过程与压倒性的计算。在这种情况下,人类利用触觉感知来与对象交互。受启发,所提出的方法,并在一个真正的机器人上进行评估,以证明所建议的框架的有效性。此外,我们利用称为深度校准的深度学习框架,以消除从机器人传感器收集的数据中的偏差的影响。
2019-07-23 cs.CV cs.RO
The Role of Tactile Sensing in Learning and Deploying Grasp Refinement Algorithms
Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学);RightHand Robotics, Inc.(RightHand机器人公司)
机器人手设计中的一个长期存在的问题是触觉感知必须有多精确。本文使用模拟触觉信号和强化学习(RL)框架来研究抓取系统中的感知需求。我们的第一个实验研究需要丰富的触觉感知的奖励RL为基础的把握细化算法多指机器人手。我们系统地整合不同层次的触觉数据到奖励使用分析把握稳定性指标。我们发现,在奖励中结合接触位置,法线和力的信息,长方体的平均成功率为95.4%,圆柱体为93.1%,球体为62.3%,手腕位置误差在0到7厘米之间,旋转误差在0到14度之间。这种基于接触的奖励比非触觉的二元奖励基线高出42.9%。我们的后续实验表明,当使用支持奖励的奖励进行训练时,控制策略的状态向量中触觉信息的使用大大减少,对于状态中没有触觉感知的情况,性能最多下降6.6%。由于策略不需要在测试时访问奖励信号,因此我们的工作意味着在支持抓取的手上训练的模型可以部署到具有较小传感器套件的机器人手上,从而可能大幅降低成本。
2022-03-27 cs.AI cs.LG cs.RO
Robotic Tactile Perception of Object Properties: A Review
University of Leeds(利兹大学);Istituto Italiano di Tecnologia(意大利理工学院);University of Glasgow(格拉斯哥大学)
触摸传感可以帮助机器人了解他们周围的环境,特别是他们与之交互的物体。为此,在过去的几十年里,机器人专家已经开发了几种触觉感知解决方案,在文献中广泛报道。近年来,对所传达的触觉信息的解释的研究也开始引起越来越多的关注。然而,关于这一专题的全面研究报告尚未提出。为了收集和总结该领域的主要科学成果,本调查广泛回顾了当前机器人触觉感知物体属性的趋势。在对物体属性的触觉识别进行广泛综述之前,简要介绍了现有的触觉感知技术。本次审查的目标对象属性是形状,表面材料和对象姿态。还讨论了触摸传感与其他传感源结合的作用。在这篇评论中,公开的问题,并提出了未来的方向应用触觉感知在不同的任务。
2017-11-10 cs.CV cs.RO
GelSight Svelte: A Human Finger-shaped Single-camera Tactile Robot Finger with Large Sensing Coverage and Proprioceptive Sensing
Massachusetts Institute of Technology(麻省理工学院)
本文提出GelSight Svelte人指形状单相机触觉传感器,利用曲面镜实现大范围触觉与本体感知,并通过卷积神经网络从骨架变形图像估计弯曲和扭转力矩,在多种抓取模式中验证了其能力。
2023-09-19 cs.CV cs.RO
Robotic Perception of Object Properties using Tactile Sensing
University of Liverpool(利物浦大学)
触觉在使人类能够理解周围环境并与之互动方面起着关键作用。对于机器人来说,触觉感知也是不可替代的。当与物体交互时,触觉感知为机器人理解物体提供有用的信息,例如分布的压力、温度、振动和纹理。在机器人抓取过程中,视觉往往被其末端执行器遮挡,而触觉感知可以测量视觉无法到达的区域。在过去的几十年中,已经开发了许多触觉传感器用于机器人,并用于不同的机器人任务。在这一章中,我们专注于使用触觉感知的机器人抓,并调查最近的趋势,在触觉感知的对象属性。我们首先讨论了三个重要的物体性质的触觉感知在抓,即,形状、姿态和材料属性。然后,我们回顾了最近的发展与触觉感知的抓持稳定性预测。在这些工作中,我们确定了协调视觉和触觉感知在机器人抓取的要求。为了证明使用触觉感知,以改善视觉感知,我们最近的发展视觉引导的触觉感知裂纹重建。在所提出的框架中,首先利用摄像机视觉的大感受野来实现包含裂纹的候选区域的快速搜索,然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精细的裂纹形状。实验结果表明,我们提出的方法可以实现显着减少的平均距离误差从0.82 mm到0.24 mm的裂纹重建。最后,我们结束本章的开放性问题和未来的方向,在机器人任务中应用触觉感知的讨论。
2021-12-28 cs.RO
Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation
DexAI, Emergent Business Unit, Analog Devices Inc.(DexAI,新兴业务部,安森通公司)
本文提出了一种基于双侧力先验的跨模态Transformer,通过结构化注意力机制实现视觉与触觉融合,在机器人操作中实现了96.59%的插入成功率,展示了触觉感知的重要性及物理启发正则化的有效性。
2026-02-14 cs.CV cs.RO
Compressed Sensing for Scalable Robotic Tactile Skins
Rensselaer Polytechnic Institute(伦斯勒理工学院)
大型触觉阵列的潜力,以提高机器人的感知安全操作在人类占主导地位的环境和高分辨率的触觉阵列,使人类水平的灵巧操作是公认的。然而,触觉感知元件数量的增加引入了挑战,包括布线复杂性、数据采集和数据处理。为了帮助解决这些挑战,我们开发了一种基于压缩感知的触觉感知技术。压缩感知同时执行数据采样和压缩,并具有恢复保证,并已成功地应用于计算机视觉。我们使用压缩传感技术的触觉数据采集,以减少硬件的复杂性和数据传输,同时允许快速,准确的重建的全分辨率信号。对于我们的4096个taxel的模拟测试阵列,我们实现了相当于以超过100Hz的速率从仅1024个测量值(压缩信号)独立地测量所有可重构信号(完整信号)的重建质量。然后,我们将触觉压缩传感的对象分类的问题。具体来说,我们进行对象分类的压缩触觉数据的基础上的方法称为压缩学习。即使压缩比为64:1,我们也可以获得高达98%的分类准确率。
2017-05-12 cs.RO
3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing
Columbia University(哥伦比亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
本文提出 3D-ViTac 多模态系统,将低成本柔性触觉传感器与视觉融合到统一三维表示中,并结合扩散策略进行模仿学习,使低成本双臂机器人在精细、易碎物及长时序手内操作任务上显著优于纯视觉策略。
2025-01-06 cs.AI cs.LG cs.RO
ViTac: Feature Sharing between Vision and Tactile Sensing for Cloth Texture Recognition
Massachusetts Institute of Technology(麻省理工学院);University of Leeds(利兹大学);University of Liverpool(利物浦大学)
视觉和触觉是人类两种重要的感知方式,它们为感知环境提供了补充信息。机器人也可以受益于这种多模态传感能力。在本文中,解决第一次(尽我们所知)从触觉图像和视觉纹理识别,我们提出了一种新的融合方法命名为深度最大协方差分析(DMCA)学习联合潜在空间共享功能,通过视觉和触觉感知。通过深度神经网络学习从GelSight传感器获取的相机图像和触觉数据的特征。但由于两种感知模式的差异,学习到的特征具有高维性和冗余性,这降低了感知性能。为了解决这个问题,学习的特征使用最大协方差分析进行配对。在一个新收集的与织物纹理相关的成对视觉和触觉数据集上的算法结果表明,使用所提出的DMCA框架可以实现大于90%的良好识别性能。此外,我们发现,无论是视觉或触觉感知的感知性能,可以提高通过采用共享的表示空间,从单峰数据的学习相比。
2018-03-13 cs.CV cs.GR cs.RO
Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions
ETH Zurich(苏黎世联邦理工学院)
由基于视觉的触觉传感器捕获的图像携带关于高分辨率触觉场的信息,例如施加到其软感测表面的接触力的分布。然而,提取图像中编码的信息是具有挑战性的,并且通常使用基于学习的方法来解决,这通常需要大量的训练数据。本文提出了一种策略,以产生触觉图像的模拟基于视觉的触觉传感器的基础上的内部摄像头,跟踪软材料内的球形颗粒的运动。在不同的接触条件下,在有限元环境中模拟材料的变形,并将球形颗粒投影到模拟图像上。从图像中提取的特征被映射到3D接触力分布,地面实况也通过有限元模拟获得,因此人工神经网络完全在合成数据上进行训练,避免了对真实世界数据汇集的需要。在真实世界的触觉图像上进行评估时,所得到的模型具有很高的准确性,无需进一步训练即可在多个触觉传感器之间转移,并且适合于高效的实时推理。
2021-09-30 cs.CV cs.RO
Re-evaluating Parallel Finger-tip Tactile Sensing for Inferring Object Adjectives: An Empirical Study
Queensland University of Technology(昆士兰科技大学)
指尖触觉传感器越来越多地用于机器人传感,以建立稳定的抓取并推断物体属性。在一些用于推断描述对象的形容词的作品中已经显示出有希望的性能,但是关于每个形容词如何对性能做出贡献仍然存在问题。本文探讨了这个问题的实证实验,未来的指尖触觉传感器的使用和设计的领先见解。
2023-03-12 cs.RO
A Tactile Sensing Foot for Single Robot Leg Stabilization
Hong Kong University of Science and Technology(香港科技大学)
人脚上的触觉感知对于运动控制是至关重要的,然而,尚未在机器人对应物中进行探索。本研究致力于将触觉感知赋予足式机器人的足部,并证明单足式机器人仅需足部的触觉感知信号就能稳定行走。我们提出了一个机器人腿与一个新的基于视觉的触觉感知足系统和实现的处理算法,以提取接触信息的反馈控制稳定任务。提出了使用深度学习框架将足部皮肤的图像转换为高级接触信息的流水线。腿定量评估在倾斜表面上的稳定任务,以表明触觉脚能够估计表面倾斜角度和脚姿势。与传统的单腿机器人系统使用惯性测量单元(IMU)的触觉系统的可行性和有效性进行了定性研究。实验表明,基于视觉的触觉传感器的能力,在协助足式机器人,以保持稳定的未知地形和调节更复杂的运动的人形机器人的潜力。
2021-03-26 cs.RO
Towards Artificial Nerves: Biomimetic Optical-Fiber Tactile Sensing for Robots
School of Engineering Mathematics and Technology, University of Bristol(工程数学与技术学院,布里斯托大学)
研究旨在为机器人开发仿生光纤触觉传感,以实现类人触觉感知。核心方法是OptiTac传感器模拟人类触觉结构,将触觉信号当图像用简单分析方法处理。主要贡献是建立传感框架,为未来分布式触觉系统提供可扩展路线,展示生物学原理对机器人人工神经开发的指导作用。
2026-07-20 cs.RO
Tactile Sensing
Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学)
对触觉感知的研究一直在稳步发展。在机器人技术中,触觉感知通常在物体抓取和操纵的背景下进行研究。在这一领域,机器人手的鲁棒性,多模态,触觉传感器的发展支持了新的算法的研究,在手的对象操作,材料分类和对象感知。在类人机器人领域,研究重点是解决开发触觉传感器系统的挑战,这些传感器可以覆盖机器人身体的大面积,并可以集成不同类型的传感器来测量各种频段的压力,加速度和温度。这种系统的可用性已经将触觉感知的应用扩展到全身控制、自主校准、自我感知和人机交互。本章的目的是提供一个触觉感知技术的概述,特别强调已部署在人形机器人上的系统。我们描述了采用这些技术所实现的技能,并讨论了仍有待解决的主要挑战。
2021-05-07 cs.RO
TacFinRay: Soft Tactile Fin-Ray Finger with Indirect Tactile Sensing for Robust Grasping
Graduate School of Data Science at Kyungpook National University(Kyungpook National University 数据科学研究生院);University of Bristol(布里斯托大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
TacFinRay通过间接触觉感知实现稳健抓取,具备高精度触觉传感与灵活适应能力。
2025-12-06 cs.RO
Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing
University of Augsburg(奥格斯堡大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对机器人手遮挡导致抓取物体姿态估计困难的问题,提出融合视觉、本体感觉和低分辨率二值触觉的因子图概率方法,在仿真和真实实验中显著提升高遮挡和高噪声下的姿态估计精度。
2025-03-25 cs.CV cs.RO
Learning tactile perception from high-bandwidth single-point sensing
Wormsensing;Hugging Face
本文提出SpectRobot框架,将单点高带宽触觉信号转为频谱图,利用标准视觉编码器处理,实现遮挡下的机器人操作,并证明时间历史与带宽的重要性,且兼容多种传感技术。
2026-10-14 cs.LG cs.RO
Integrating High-Resolution Tactile Sensing into Grasp Stability Prediction
Monash University(莫纳什大学);LYRO Robotics(LYRO机器人公司)
我们研究了如何将高分辨率触觉传感器与视觉和深度传感相结合,以提高抓握稳定性预测。在模拟高分辨率触觉感知,特别是TACTO模拟器的最新进展,使我们能够评估如何神经网络可以与传感模式的组合进行训练。由于训练大型神经网络需要大量的数据,机器人模拟器提供了一种快速的方式来自动化数据汇集过程。我们扩大现有的工作,通过消融研究和增加一套从YCB基准集的对象。我们的研究结果表明,虽然视觉,深度和触觉感知的组合提供了对已知物体的最佳预测结果,但网络无法推广到未知物体。我们的工作还解决了现有的问题,机器人抓取触觉模拟和如何克服它们。
2022-06-12 cs.RO
Extended Tactile Perception: Vibration Sensing through Tools and Grasped Objects
National University of Singapore(新加坡国立大学)
人类展示了通过工具和其他物体感知世界的非凡能力。例如,我们能够精确地确定杆上的撞击位置,并使用刚性探针区分不同的纹理。在这项工作中,我们考虑如何使机器人具有类似的能力,即,来体现工具并使用标准抓握对象来扩展感知。我们提出,使用机器人手指上的动态触觉传感器的振动触觉感知,以及机器学习模型,使机器人能够破译沿着刚性物体以振动形式传输的接触信息。本文报道了使用BioTac微振动传感器和一种新的事件动态传感器NUSKIN进行的广泛实验,NUSKIN能够在4~kHz进行多频率传感。我们证明,使用我们的方法(误差小于1厘米的20厘米棒),在一个举行的棒上的精细定位是可能的。接下来,我们表明,振动触觉感知可以导致合理的把握物体交接过程中的稳定性预测,并准确的食物识别使用标准的叉子。我们发现,在足够高的采样率的多通道振动触觉感知导致在各种任务和对象的最佳性能。综上所述,我们的研究结果为使用振动触觉感知来扩展触觉感知提供了证据和指导方针,我们相信这将提高工具的使用能力和更好的物理人机交互。
2021-09-30 cs.LG cs.RO
The Role of Touch: Towards Optimal Tactile Sensing Distribution in Anthropomorphic Hands for Dexterous In-Hand Manipulation
VisLab, Institute for Systems;Soft Robotics Lab National University of Singapore, Singapore;BRAIR Lab, BioRobotics Institute Scuola Superiore Sant'Anna, Pisa, Italia
本文研究了在拟人手部中触觉传感分布对在手操作任务的影响,通过分析不同区域的触觉反馈对深度强化学习控制策略的影响,提出了优化触觉传感配置以提高操作效率和准确性的方法。
2025-09-18 cs.AI cs.LG cs.RO
Compressed Learning for Tactile Object Classification
Rensselaer Polytechnic Institute(伦斯勒理工学院)
大型触觉阵列的潜力,以提高机器人的感知安全操作在人类占主导地位的环境和高分辨率的触觉阵列,使人类水平的灵巧操作是公认的。然而,触觉感知元件数量的增加引入了包括布线复杂性、功耗和数据处理的挑战。为了帮助解决这些挑战,我们之前开发了一种基于压缩感知的触觉感知技术,该技术降低了硬件复杂性和数据传输,同时允许精确重建全分辨率信号。在本文中,我们应用触觉压缩传感的对象分类的问题。具体来说,我们对压缩的触觉数据进行对象分类。我们评估我们的方法使用BubbleTouch,我们的触觉阵列模拟器。我们的结果表明,我们的方法实现了高分类精度,即使压缩因子高达64。
2016-09-24 cs.RO
Tactile MNIST: Benchmarking Active Tactile Perception
TU Darmstadt(达姆施塔特工业大学);Ecole Centrale de Lyon(里昂中央理工学院);TU Dresden(德累斯顿工业大学);DFKI(德国人工智能研究中心)
针对主动触觉感知领域缺乏标准化基准的问题,研究团队推出兼容Gymnasium的开源Tactile MNIST基准套件及配套数据集,还训练了CycleGAN用于触觉仿真渲染,以推动该领域系统性进展。
2026-11-10 cs.AI cs.LG cs.RO
The Role of Tactile Sensing for Learning Reach and Grasp
Department of Computer Science, University of Tübingen(蒂宾根大学计算机科学系);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文研究了触觉感知复杂性对强化学习抓取的影响,发现不完美视觉下简单触觉特征可提升学习效果,而复杂触觉输入会阻碍训练。
2025-02-27 cs.RO
MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction
Edwardson School of Industrial Engineering, Purdue University(工业工程系,普渡大学)
MuxGel通过空间复用和深度重建实现双模视觉触觉感知,提升机器人抓取任务的感知能力。
2026-07-20 cs.RO
In-Hand Manipulation of Unknown Objects with Tactile Sensing for Insertion
Tsinghua University(清华大学);Stanford University(斯坦福大学)
在本文中,我们提出了一种方法来操纵未知的物体在手中使用触觉感知,而不依赖于一个已知的对象模型。在许多情况下,仅视觉的方法可能不可行;例如,由于杂乱空间中的遮挡。我们通过引入一种使用触觉感知来重新定向未知对象的方法来解决这个限制。它在任务驱动的操作过程中逐步建立对象形状和姿态的概率估计。我们的方法使用贝叶斯优化来平衡探索的全球对象形状与高效的任务完成。为了证明我们的方法的有效性,我们将其应用于模拟触觉启用辊抓钳,一个抓手,滚动对象的手,同时收集触觉数据。我们评估我们的方法插入任务与随机生成的对象,并发现它可靠地reorients对象,同时显着减少探索时间。
2023-03-10 cs.RO
Data-efficient Tactile Sensing with Electrical Impedance Tomography
The University of Edinburgh(爱丁堡大学);KU Leuven(鲁汶大学)
针对EIT触觉传感器训练数据不足的问题,提出将单帧测量增强为32个有效样本的策略,使DNN数据需求降至1/31并显著提升重建精度。
2025-03-18 cs.RO
GelLink: A Compact Multi-phalanx Finger with Vision-based Tactile Sensing and Proprioception
Massachusetts Institute of Technology(麻省理工学院)
本文提出了GelLink,一种紧凑型欠驱动连杆驱动机械手指,通过优化连杆传动与平面反射模拟器,仅需单电机和单摄像头即可实现高分辨率视觉触觉与本体感知,显著提升了欠驱动手指的抓取适应性与鲁棒性。
2024-03-25 cs.RO
ManiSkill-ViTac 2025: Challenge on Manipulation Skill Learning With Vision and Tactile Sensing
ManiSkill-ViTac 2025挑战赛通过触觉操作、触觉-视觉融合操作和触觉传感器结构设计三个赛道,推动基于视觉与触觉感知的接触丰富操作技能学习,并在仿真与真实环境中以标准化指标评估参赛方案,促进机器人视觉-触觉融合领域的创新与发展。
2024-11-19 cs.RO
FingerSLAM: Closed-loop Unknown Object Localization and Reconstruction from Visuo-tactile Feedback
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们解决的问题,使用视觉触觉反馈的6自由度的定位和三维重建的未知在手的对象。我们提出了FingersLAM,一个闭环的因素图为基础的姿态估计,结合本地触觉感知在指尖和全球视觉传感从手腕安装摄像头。FingerSLAM由两个构成的姿态估计器构成:一个多通道的基于细化的纹理的姿态估计器,它从详细的局部纹理中捕获运动,以及一个单通道的基于视觉的姿态估计器,它从对象的全局视图中进行预测。我们还设计了一个循环闭合机制,主动匹配当前的视觉和触觉图像,以前存储的关键帧,以减少累积的错误。FingerSLAM结合了触觉和视觉两种传感方式,以及具有基于因子图的优化框架的闭环机制。这样的框架产生比独立估计器更准确的优化姿态估计解决方案。然后使用估计的姿势来重建未知物体的形状,通过拼接从触觉图像中恢复的局部点云。我们训练我们的系统上收集的真实世界的数据与20个对象。我们通过对训练过程中看不到的6个对象进行定量和定性的真实世界评估,展示了可靠的视觉-触觉姿态估计和形状重建。
2023-03-14 cs.AI cs.CV cs.RO
Soft Biomimetic Optical Tactile Sensing with the TacTip: A Review
University of Bristol(布里斯托大学);Bristol Robotics Laboratory(布里斯托机器人实验室)
在机器中再现人类触觉的能力是使机器人操作具有人类灵巧性的重要一步。需要机器人技术的组合,包括软机器人技术、仿生学技术和光学触觉传感器提供的高分辨率传感技术。这种组合在这里被认为是SoftBOT(软仿生光学触觉)传感器。本文回顾了BRL TacTip作为这种传感器的原型示例。主题包括人工皮肤形态与人类触摸的转换原理之间的关系,触觉剪切传感的性质和好处,用于制造和集成到机器人手中的3D打印,人工智能在触觉感知和控制中的应用,以及最近由于深度学习而导致的功能的逐步变化。这篇综述总结了过去十年来的进展,为机器人达到类似人类的灵巧指明了道路。
2021-07-22 cs.RO
GlowTact: Simple and Compact Vision-Based Tactile Sensing with High Sensitivity and Spatial Resolution
GlowTact 提出一种仅需单色照明的视觉触觉传感机制,直接可视化接触压力,实现紧凑高灵敏触觉,支持克级检测与精细几何重建,适用于人形指尖。
2026-10-05 cs.RO
Tactile Sensing with a Tendon-Driven Soft Robotic Finger
Beihang University(北京航空航天大学);Colorado College(科罗拉多学院)
提出了一种新型的机器人柔性手指触觉感知机构。受哺乳动物本体感觉机制的启发,该方法从附着在手指肌腱上的应变传感器推断触觉信息。我们进行实验,以测试所提出的结构的触觉感知能力,我们的结果表明,这种方法是能够触诊的纹理和刚度在两个外展和屈曲接触。在系统交叉验证下,该系统对纹理和刚度的识别准确率分别达到100%和99.7%,验证了该方法的可行性。此外,我们使用统计工具来确定提取的各种特征的分类的重要性。
2021-07-06 cs.RO stat.AP
GelBelt: A Vision-based Tactile Sensor for Continuous Sensing of Large Surfaces
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
针对传统视觉式触觉传感器传感面积小、易损坏、不适用于大表面连续传感的问题,提出采用弹性带与双滚轮的新型GelBelt传感器,可实现最高45mm/s的高精度大规模表面快速扫描,在形状重建与表面融合中表现良好。
2025-01-09 cs.CV cs.RO
GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper
Massachusetts Institute of Technology(麻省理工学院)
为了适应不断变化的环境,并安全地与人类互动,机器人应该具有柔顺和柔软的特性,以及感知周围世界的能力。即便如此,将触觉感知结合到软顺应机器人中,如鳍雷手指,由于其可变形结构而很困难。不仅需要修改框架,为视觉传感器留出空间,从而实现复杂的触觉感知,机器人还必须保持其原始的机械顺应性。然而,将高分辨率触觉传感器添加到柔软的手指是困难的,因为许多传感器化的手指(诸如基于GelSight的手指)是刚性的,并且在感测区域中的变化仅来自触觉接触而不是来自手指顺应性的假设下起作用。传感器化的柔软机器人手指需要能够将其整体本体感受变化与其触觉信息分开。为此,本文介绍了一种新的设计GelSight鳍射线,它既体现了被动适应它掌握的任何对象的能力,也体现了执行高分辨率触觉重建,对象方向估计和剪切力和扭转力的标记跟踪的能力。拥有这些功能,柔软且顺从的机器人可以执行更多需要传感的操作任务。手指能够成功执行的一个这样的任务是厨房任务:酒杯的重新定向和放置,这很难用外部视觉传感器来完成,但用触觉感知就很容易了。这种传感技术的发展也有可能应用于其他软柔性夹具,提高其在许多不同领域的可行性。
2022-04-14 cs.RO
Acoustic tactile sensing for mobile robot wheels
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);TTI-Chicago(芝加哥丰田技术研究所)
本文提出一种基于轮载声波导和现成声学测距仪的移动机器人触觉感知架构,可实现全周地形识别、障碍物分类与碰撞接触定位,并支持多种建图任务。
2024-02-28 cs.RO
Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing
Institute for Dynamic Systems and Control, ETH Zurich(苏黎世联邦理工学院动态系统与控制研究所)
触觉感知的数据驱动方法旨在克服与软材料精确建模接触的复杂性。然而,它们的广泛采用受到了对数据效率和应用于各种任务时的泛化能力的担忧的影响。本文着重于这两个方面的基于视觉的触觉传感器,其目的是重建的三维接触力的分布施加在其柔软的表面。软材料和摄像机投影的精确模型,通过在各自领域的最先进的技术推导,用于生成模拟数据集。提出了一种完全从仿真数据中训练量身定制的深度神经网络的策略。由此产生的学习架构可以直接在多个触觉传感器之间转移,而无需进一步训练,并对真实数据进行准确的预测,同时对看不见的接触条件显示出有前途的泛化能力。
2020-03-05 cs.CV cs.RO
GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger
Massachusetts Institute of Technology(麻省理工学院)
这项工作描述了一个高分辨率的触觉感知手指的机器人的发展。这款手指的灵感来自于以前的GelSight传感技术,其集成功能比以前的基于视觉的触觉传感器更纤薄,更强大,输出更均匀。为了实现紧凑的集成,我们通过结合光导和镜面反射的布置来重新设计从照明源到相机的光路。我们用几何设计变量参数化光路,并描述手指厚度、相机景深和触觉感知区域大小之间的权衡。该传感器通过将柔性软凝胶的更坚韧材料、纹理织物皮肤、结构刚性主体和在使用过程中保持均匀照明和触觉图像对比度的校准过程相结合,在抓取任务中持续使用和滥用磨损。最后,我们评估传感器的耐用性沿四个指标,跟踪信号质量在3000多个抓实验。
2018-05-15 cs.RO
The utility of tactile force to autonomous learning of in-hand manipulation is task-dependent
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学)
触觉传感器提供可用于学习和执行操纵任务的信息。然而,不同的任务可能需要不同水平的感官信息,这反过来又可能影响学习率和表现。本文评估了触觉信息的作用,自主学习的操作与模拟3指肌腱驱动的手。我们比较了相同的学习算法(近端策略优化,PPO)学习两个操作任务(滚动一个球的水平轴与旋转刚度和没有)与三个级别的触觉感知:无感测,一维法向力,三维力矢量的能力。令人惊讶的是,与最近的操纵工作相反,与没有感知相比,添加1D力感知并不总是提高学习率-可能是由于正常力是否与任务相关。尽管如此,尽管3D力感测增加了感觉输入的维度--这通常会阻碍算法收敛--但它导致了更快的学习率和更好的性能。我们的结论是,在一般情况下,感官输入是有用的学习,只有当它是相关的任务-是3D力感测的情况下,手操纵重力。此外,3D力感测的效用甚至可以抵消使用更高维的感觉输入学习所增加的计算成本。
2020-02-05 cs.LG cs.RO
SimTac: A Physics-Based Simulator for Vision-Based Tactile Sensing with Biomorphic Structures
Department of Engineering, King’s College London(工程系,伦敦国王学院);School of Aerospace Engineering, Beijing Institute of Technology(航空工程学院,北京理工大学);Department of Computer Science, University College London(计算机科学系,伦敦大学学院)
SimTac是一个基于物理的模拟器,用于设计和验证生物形态触觉传感器,通过多种几何结构实现准确高效的触觉感知模拟。
2025-11-14 cs.RO
A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network
South China Normal University(华南师范大学)
本文提出一种基于视觉式触觉传感器与深度神经网络的多模态接触感知系统,仅用单个传感器即可解耦并获取物体分类、位置、姿态和力等信息。
2024-03-06 cs.RO
Training Tactile Sensors to Learn Force Sensing from Each Other
University of Bristol(布里斯托大学);University College London(伦敦大学学院);Imperial College London(帝国理工学院)
提出 GenForce 框架,通过共享标记表征统一触觉信号,实现跨同构与异构触觉传感器的力觉模型迁移,并在机器人抓握和防滑控制中验证高性能。
2025-09-28 cs.RO
All the Feels: A dexterous hand with large-area tactile sensing
Carnegie Mellon University(卡内基梅隆大学);FAIR-MetaAI
本文提出低成本、模块化且可扩展的灵巧手平台 DManus,通过在整个手掌和指尖集成 ReSkin 大面积触觉传感,以支持深度机器人学习的大规模数据收集,并在料箱拣选与分拣任务中验证了系统的触觉感知有效性。
2024-02-27 cs.LG cs.RO
OmniVTLA: Vision-Tactile-Language-Action Models with Semantic-Aligned Tactile Sensing
Shanghai Jiao Tong University(上海交通大学);Paxini Tech(帕辛尼科技)
提出OmniVTLA架构,通过双路径触觉编码器框架和语义对齐触觉ViT,结合新数据集ObjTac,显著提升机器人操作中接触密集任务的成功率和轨迹平滑度。
2026-06-16 cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore(新加坡国立大学)
这项工作有助于事件驱动的视觉触觉感知系统,包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性,能够很好地适应出租车的数量。同样,我们的视觉触觉脉冲神经网络(VT-SNN)在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统(使用NeuTouch和Prophesee事件相机)的两个机器人任务:容器分类和旋转滑动检测。在这两个任务中,我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集,以鼓励对多模态事件驱动机器人感知的研究,我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies
MIT CSAIL
本文提出 PolyTouch 多模态触觉传感器,结合触觉扩散策略,显著提升了非结构化环境中富接触操作的鲁棒性与性能。
2025-04-27 cs.AI cs.RO
GradTac: Spatio-Temporal Gradient Based Tactile Sensing
University of Maryland, College Park(马里兰大学帕克分校)
机器人的触觉感知是通过各种机制实现的,包括磁性、光学触觉和导电流体。目前,基于流体的传感器已经在拟人的尺寸和形状以及触觉响应测量的准确性之间取得了适当的平衡。然而,由于基于流体的感测机制“阻尼”难以建模的测量值,该设计受到低信噪比(SNR)的困扰。为此,我们提出了一个时空梯度表示从基于流体的触觉传感器,这是从基于事件的传感神经形态学原理的启发获得的数据。我们提出了一种新的算法(GradTac),将空间触觉传感器的离散数据点转换为时空表面,并跟踪这些表面上的触觉轮廓。与使用原始数据相比,使用所提出的时空域处理触觉数据是鲁棒的,使其不太容易受到来自基于流体的传感器的固有噪声的影响,并且允许对触摸区域的准确跟踪。我们成功地评估和证明了GradTac在许多使用配备BioTac SP传感器的Shadow Dexterous Hand进行的真实实验中的功效。具体来说,我们使用它来跟踪传感器表面的触觉输入,测量相对力,检测线性和旋转滑动,以及边缘跟踪。我们还为BioTac SP发布了一个附带的任务不可知数据集,我们希望它将提供一个资源来比较和量化各种新方法,并激励进一步的研究。
2022-03-14 cs.RO
Transfer learning for vision-based tactile sensing
ETH Zurich(苏黎世联邦理工学院)
由于对材料的弹性特性进行建模的复杂性,机器学习算法在触觉感知应用中的使用不断增加。应用于计算机视觉的深度神经网络的最新进展使得基于视觉的触觉传感器因其高分辨率和低成本而非常有吸引力。本文讨论了一种可扩展到任意形状大表面的柔性光学触觉传感器。监督学习算法训练一个模型,该模型能够完全根据内部摄像头记录的图像重建传感器表面上的法向力分布。为了减少训练时间和对大数据集的需求,提出了一种校准过程,以在多个传感器之间传输所获得的知识,同时保持令人满意的性能。
2020-06-04 cs.RO
Optimizing Multi-Touch Textile and Tactile Skin Sensing Through Circuit Parameter Estimation
Carnegie Mellon University(卡内基梅隆大学);Siemens Corporate Technology(西门子公司技术部)
本文提出一种基于电阻式传感阵列估计的触觉感知新框架,利用正则化最小二乘目标函数估计电阻分布,提升准确性并减轻重影效应,同时设计精简皮肤结构,实验显示多点触控力感知准确性提升26.9%。
2024-04-23 cs.RO
GelSight EndoFlex: A Soft Endoskeleton Hand with Continuous High-Resolution Tactile Sensing
Massachusetts Institute of Technology(麻省理工学院)
提出一种具备连续高分辨率触觉感知的柔顺三指机械手GelSight EndoFlex,通过双摄像头与软体内骨骼设计,实现单次包络抓取即可完成物体识别。
2023-03-31 cs.RO
A Wearable Tactile Sensor Array for Large Area Remote Vibration Sensing in the Hand
University of California, Santa Barbara(加州大学圣巴巴拉分校)
触觉感知对于熟练的操纵和物体感知是必不可少的,但是现有的设备不能在对于人类触摸感测重要的全部范围内捕获机械信号,并且不能模仿人手的感测能力。最近的研究表明,人类触摸感测依赖于机械波在整个手部组织中的传输。这为手提供了远程捕获触摸接触的分布式振动特征的显著能力。重要的感觉系统在工程上很少受到注意。在这里,我们提出了一个可穿戴设备的灵感来自解剖和手的功能和人类的感官能力。该设备基于126通道传感器阵列,能够在自然手动活动期间捕获高分辨率触觉信号。它采用安装在柔性电路上的微型三轴传感器网络,其几何形状和拓扑结构设计与手部解剖结构相匹配,允许在自然交互期间捕获数据,同时最大限度地减少人为因素。每个传感器具有与人类触觉频率范围相匹配的频率带宽。通过定制FPGA和I $^2$ C网络实时的采集数据。我们还提出了生理信息的信号处理方法,用于重建整个手的触觉信号,使用该系统的数据。我们报告的实验表明,该系统能够准确地捕获远程产生的整个手的触觉信号在手动交互。
2019-08-22 cs.RO