OmniVTLA: Vision-Tactile-Language-Action Models with Semantic-Aligned Tactile Sensing
Shanghai Jiao Tong University（上海交通大学）；Paxini Tech（帕辛尼科技）
提出OmniVTLA架构，通过双路径触觉编码器框架和语义对齐触觉ViT，结合新数据集ObjTac，显著提升机器人操作中接触密集任务的成功率和轨迹平滑度。
2026-06-16 cs.RO
SuperMag: Vision-based Tactile Data Guided High-resolution Tactile Shape Reconstruction for Magnetic Tactile Sensors
Department of Automation, Beihang University（自动化系，北航）；State Key Laboratory of General Artificial Intelligence, BIGAI（一般人工智能国家重点实验室，BIGAI）
针对磁基触觉传感器（MBTS）空间分辨率低的问题，提出SuperMag方法，用高分辨率视觉触觉传感器数据监督MBTS超分辨率，通过条件变分自编码器实现快速高分辨率形状重建，提升MBTS触觉感知能力。
2025-07-26 cs.RO
STAR: Sparse Tactile Representation Learning in Vision-Tactile-Language-Action Models for Dexterous Manipulation
Shanghai Innovation Institute（上海创新研究院）；Agibot（智元机器人）
针对灵巧操作中触觉信号稀疏的挑战，本文构建200小时双臂数据集并提出STAR训练方案，通过联合预训练与稀疏表示，在真实任务中达到61%平均成功率。
2026-09-21 cs.RO
TACTFUL: Tactile-Driven Exploration For Object Localization and Identification in Confined Environments
Amazon Fulfillment Technologies & Robotics（亚马逊履约技术与机器人）；Siebel School of Computing and Data Science, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出无视觉触觉探索框架TACTFUL，使多指机器人通过动态奖励策略平衡全局探索与局部表面细化，实现物体自主发现与识别，平均重建误差0.015米，成功率77%。
2026-06-24 cs.AI cs.RO
Vision-based Tactile Image Generation via Contact Condition-guided Diffusion Model
South China Normal University（华南师范大学）
本文提出了一种接触条件引导的扩散模型，通过将物体RGB图像和接触力数据映射到高保真的触觉图像，有效降低了均方误差和标记位移误差，提升了触觉视觉传感器在复杂负载下的性能。
2024-12-02 cs.RO
Deep Domain Adaptation Regression for Force Calibration of Optical Tactile Sensors
Beijing Institute of Technology（北京理工大学）
提出深度域适应回归方法，将已校准光学触觉传感器的力预测能力迁移至未校准传感器，实现无监督力校准，误差低至0.102N。
2024-07-19 cs.RO
ReTac-ACT: A State-Gated Vision-Tactile Fusion Transformer for Precision Assembly
本文提出ReTac-ACT，通过双向交叉注意力、体感条件门控网络和触觉重建目标，解决视觉反馈失效下的精密装配问题，实现90%的成功率，优于传统方法。
2026-03-18 cs.RO
AetheRock: An Arm-Worn Robot Teaching System for Force-Guided Vision-Tactile Learning
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Shanghai Innovation Institute（上海创新研究院）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
提出臂戴式设备AetheRock采集夹爪力、视觉和触觉数据，并设计ForceVT框架利用力和视觉引导触觉学习，解决力感知机器人学习中传感器装配不兼容问题。
2026-11-10 cs.RO
TaF-VLA: Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation
Beihang University（北航大学）；ShanghaiTech University（上海科技大学）；Beijing Institute for General Artificial Intelligence（北京一般人工智能研究院）；The University of Hong Kong（香港大学）
TaF-VLA通过触觉-力对齐提升视觉-语言-动作模型在力感知操控中的性能。
2026-01-30 cs.RO
DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination
Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
DeCAL提出了一种物理基础的灵巧视觉-语言-动作模型，通过接触感知门控融合和潜在共同想象整合触觉信息，在灵巧操作任务中达到71%平均成功率，并展现出强泛化能力。
2026-09-09 cs.AI cs.RO
Enhance Vision-based Tactile Sensors via Dynamic Illumination and Image Fusion
TU Dresden（德累斯顿工业大学）；Meta AI
本研究提出结合动态照明图案与图像融合技术，通过捕获并融合多组不同照明下的测量值，显著提升了基于视觉的触觉传感器的图像对比度、清晰度等感知质量，且可通过软件更新改进现有传感器。
2025-03-27 cs.AI cs.CV cs.LG
Collaborative Representation Learning for Alignment of Tactile, Language, and Vision Modalities
TLV-CoRe通过协同表征学习提升触觉、语言和视觉模态的跨模态对齐与泛化能力。
2026-02-01 cs.CV cs.RO
HapticVLA: Contact-Rich Manipulation via Vision-Language-Action Model without Inference-Time Tactile Sensing
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology（智能空间机器人实验室，斯克洛夫科学与技术研究所）
HapticVLA通过视觉-语言-动作模型实现接触丰富的操作，无需触觉传感器，在现实实验中成功率达到86.7%。
2026-08-04 cs.RO
UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models
Harbin Institute of Technology（哈尔滨工业大学）；Great Bay University（大湾区大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Nanjing University（南京大学）；Daimon Robotics
提出统一触觉学习框架，通过触觉链式推理和由粗到细的未来触觉预测构建状态与动力学感知先验，并设计触觉-动作混合控制器，在接触丰富操作任务中提升成功率、精度和鲁棒性。
2026-07-01 cs.RO
StereoTac: a Novel Visuotactile Sensor that Combines Tactile Sensing with 3D Vision
École de technologie supérieure（高等技术学院）；Bordeaux Institute of Technology（波尔多理工学院）；ENSEIRB-MATMECA（波尔多国立高等电子、信息与无线电通信学院-波尔多国立高等机械与航空技术学院）
将3D视觉与触觉感知相结合，可以为机器人解锁更高水平的灵活性，并改善几项操作任务。然而，获得操纵接触发生的位置的特写3D视图可能是具有挑战性的，特别是在有限空间、杂乱环境中，或者在末端执行器上没有安装更多传感器的情况下。在这种情况下，本文介绍了StereoTac，一种新的基于视觉的传感器，结合了触觉感知与3D视觉。所提出的传感器依赖于立体视觉来捕获接触前的环境的3D表示，并使用光度立体重建接触过程中由物体产生的触觉印记。为此，两个摄像头集成在一个传感器中，其接口由透明弹性体制成，涂有一层薄薄的油漆，透明度可以通过改变传感器的内部照明条件进行调整。我们描述了传感器的制造和评估其性能的触觉感知和3D视觉。我们的研究结果表明，所提出的传感器可以重建一个三维视图的场景之前，抓住和感知的触觉印记后，抓住，允许在操作过程中的接触监测。
2023-03-12 cs.RO
Transfer learning for vision-based tactile sensing
ETH Zurich（苏黎世联邦理工学院）
由于对材料的弹性特性进行建模的复杂性，机器学习算法在触觉感知应用中的使用不断增加。应用于计算机视觉的深度神经网络的最新进展使得基于视觉的触觉传感器因其高分辨率和低成本而非常有吸引力。本文讨论了一种可扩展到任意形状大表面的柔性光学触觉传感器。监督学习算法训练一个模型，该模型能够完全根据内部摄像头记录的图像重建传感器表面上的法向力分布。为了减少训练时间和对大数据集的需求，提出了一种校准过程，以在多个传感器之间传输所获得的知识，同时保持令人满意的性能。
2020-06-04 cs.RO
GelSphere: An Omnidirectional Rolling Vision-Based Tactile Sensor for Online 3D Reconstruction and Normal Force Estimation
本文提出GelSphere，一种基于视觉的触觉传感器，用于实时连续表面扫描。通过内部钢球形成轴承层，实现全方位滚动，提升3D重建和法向力估计的精度。
2026-03-14 cs.RO
ViTaR: Visuo-Tactile Residual Adaptation for Foundation VLA Manipulation
ViTaR将触觉反馈转为有界残差修正的执行调制器，在冻结VLA上实现自适应，在UniVTAC基准上成功率提升30.6个百分点，适配真实机器人场景。
2026-08-18 cs.RO
Simulation of Vision-based Tactile Sensors using Physics based Rendering
Carnegie Mellon University（卡内基梅隆大学）
随着基于视觉的触觉传感器的出现，触觉感知已被迅速采用。基于视觉的触觉传感器提供高分辨率，紧凑和廉价的数据，以执行精确的手操作和人机交互。然而，触觉传感器的仿真仍然是一个挑战。在本文中，我们建立了第一个完全通用的光学触觉模拟系统的GelSight传感器使用基于物理的渲染技术。我们提出了物理上精确的灯光模型，并对模拟管道的各个组件进行了深入分析。我们的系统优于以前的模拟技术定性和定量的图像相似性度量。我们的代码和实验数据在https://labs.ri.cmu.edu/robotouch/tactile-optical-simulation/上开源
2021-07-22 cs.GR cs.RO
A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network
South China Normal University（华南师范大学）
本文提出一种基于视觉式触觉传感器与深度神经网络的多模态接触感知系统，仅用单个传感器即可解耦并获取物体分类、位置、姿态和力等信息。
2024-03-06 cs.RO
Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints
UC Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于视觉的触觉传感器通常利用可变形的弹性体和安装在上面的相机来提供接触的高分辨率图像观察。获得变形弹性体的精确体积网格可以提供直接接触信息，并有利于机器人抓取和操纵。本文重点研究了基于视觉触觉传感器获取的图像印记来学习合成弹性体的体积网格。合成图像-网格对和真实世界图像分别从3D有限元法（FEM）和物理传感器收集。引入了一种图神经网络（GNN），通过监督学习来学习图像到网格的映射。提出了一种自监督自适应方法和图像增强技术，将网络从模拟转换为现实，从原始接触转换为不可见接触，以及从一个传感器转换为另一个传感器。使用这些学习和适应的网络，我们提出的方法可以准确地重建现实世界的触觉传感器弹性体在各个领域的变形，如定量和定性结果所示。
2022-03-29 cs.AI cs.CV cs.RO
GlowTact: Simple and Compact Vision-Based Tactile Sensing with High Sensitivity and Spatial Resolution
GlowTact 提出一种仅需单色照明的视觉触觉传感机制，直接可视化接触压力，实现紧凑高灵敏触觉，支持克级检测与精细几何重建，适用于人形指尖。
2026-10-05 cs.RO
$N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens
NeoteAI Team（NeoteAI团队）；Fudan TEAI Team（复旦大学TEAI团队）
研究提出$N_0$-VTLA模型，基于视觉主干，通过视觉-触觉预训练、分阶段触觉路径集成和优势条件离线策略改进进行触觉集成训练。该模型在丰富接触基准测试中表现出色，为通用触觉驱动操作策略奠定基础。
2026-07-28 cs.RO
Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance
Carnegie Mellon University（卡内基梅隆大学）
本文提出利用低成本 BeadSight 传感器进行视觉-触觉预训练并在下游仅用视觉推理，实验证明其可显著提升模仿学习智能体的操控性能。
2025-03-13 cs.RO
Fabric Defect Detection Using Vision-Based Tactile Sensor
Tsinghua University（清华大学）
本文介绍了一种新型的织物疵点触觉检测系统。不同于现有的视觉检测系统，该系统实现了基于视觉的触觉传感器。触觉传感器主要由一个摄像头、四个LED和一个弹性传感层组成，可以捕获有关织物表面结构的详细信息，并忽略颜色和图案。因此，避免了与织物颜色和图案相关的缺陷和图像背景之间的模糊性。为了利用触觉传感器进行织物检测，我们采用强度调整进行图像预处理，残差网络与集成学习用于检测缺陷，均匀性测量用于选择理想的数据集进行模型训练。实验进行了验证所提出的触觉系统的性能。实验结果表明，该系统的可行性，它表现出良好的检测各种类型的织物的结构缺陷。此外，该系统不需要外部光源，这跳过了设置和调谐照明环境的过程。
2023-01-17 cs.RO
EyeSight Hand: Design of a Fully-Actuated Dexterous Robot Hand with Integrated Vision-Based Tactile Sensors and Compliant Actuation
Massachusetts Institute of Technology（麻省理工学院）
本研究提出集成视觉式触觉传感器与准直驱驱动的7自由度仿人灵巧手EyeSight Hand，通过三项操作任务实验验证，结合视觉丢弃策略的模仿学习证明触觉感知可显著提升灵巧操作性能。
2024-08-12 cs.RO
Uni-VLaT: Whole-Body Tactile Adaptation of VLA Policies for Humanoid Loco-Manipulation
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Communication University of China（中国传媒大学）；The University of Hong Kong（香港大学）
针对人形机器人移动操作中物理接触感知不足的问题，提出Uni-VLaT方法，通过引入预测性触觉通路整合全身体触觉信息到VLA策略，显著提升接触丰富任务的成功率。
2026-10-01 cs.RO
TAP-VLA: Tactile Annotation Prompting for Vision Language Action Models
Robotics Department, University of Michigan（密歇根大学机器人系）；Computer Science and Engineering Department, University of Michigan（密歇根大学计算机科学与工程系）
提出TAP-VLA框架，通过将触觉剪切场叠加到RGB图像上作为视觉增强，无需修改架构或触觉预训练，即可将触觉反馈融入VLA模型，在接触丰富任务中成功率78%，显著优于基线。
2026-06-27 cs.RO
Tactile-VLA: Unlocking Vision-Language-Action Model's Physical Knowledge for Tactile Generalization
本文提出 Tactile-VLA 框架，通过融合触觉感知、混合位置-力控制器与推理模块，将 VLA 模型的隐式知识转化为精确物理交互，实现了富接触任务中的零样本泛化。
2025-07-12 cs.LG cs.RO
GelLink: A Compact Multi-phalanx Finger with Vision-based Tactile Sensing and Proprioception
Massachusetts Institute of Technology（麻省理工学院）
本文提出了GelLink，一种紧凑型欠驱动连杆驱动机械手指，通过优化连杆传动与平面反射模拟器，仅需单电机和单摄像头即可实现高分辨率视觉触觉与本体感知，显著提升了欠驱动手指的抓取适应性与鲁棒性。
2024-03-25 cs.RO
VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data
Honda Research Institute USA, Inc.（本田美国研究院）；Honda R&D Co., Ltd.（本田研发公司）；Department of Mechanical Engineering, University of Washington（华盛顿大学机械工程系）
本文提出利用视觉和触觉数据融合方法，提高机器人在手物体的6D位姿估计精度。
2026-01-04 cs.RO
UniTac-NV: A Unified Tactile Representation For Non-Vision-Based Tactile Sensors
Imperial College London（伦敦帝国理工学院）
针对非视觉触觉传感器跨传感器迁移研究不足的问题，提出编码器-解码器架构统一触觉数据，构建与传感器无关的潜在空间，实现低误差迁移，并支持下游模型无需重训即可跨传感器应用。
2025-06-24 cs.RO
3D Vision-tactile Reconstruction from Infrared and Visible Images for Robotic Fine-grained Tactile Perception
State Key Laboratory of Digital Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology（数字制造装备与技术国家重点实验室，机械科学与工程学院，华中科技大学）
针对平面视觉触觉传感器曲面化难题，提出GelSplitter3D结合红外与可见光成像、光度立体网络及边界约束积分法，实现高精度三维重建，法向精度提升40%。
2025-06-18 cs.RO
Tac3D: A Novel Vision-based Tactile Sensor for Measuring Forces Distribution and Estimating Friction Coefficient Distribution
Tsinghua University（清华大学）
力量感知在与环境互动中的重要性在多年前就得到了证明。然而，它仍然是一个挑战，实时准确测量接触力分布。为了突破这一困境，我们提出了一种新的基于视觉的触觉传感器，Tac3D传感器，用于测量三维接触表面形状和接触力分布。本文首次将虚拟双目视觉应用于触觉传感器，使Tac3D传感器能够以简单有效的方式测量三维触觉信息，具有结构简单、计算成本低、价格低廉等优点。然后，我们利用接触面形状和力分布来估计接触区域的摩擦系数分布。进一步结合触觉传感器的全局位置信息，重建具有摩擦系数分布的物体的三维模型。这些重建实验不仅证明了Tac3D传感器的优异性能，而且还暗示了基于物体摩擦系数分布优化抓取动作规划的可能性。
2022-02-13 cs.RO
Robotic Perception of Object Properties using Tactile Sensing
University of Liverpool（利物浦大学）
触觉在使人类能够理解周围环境并与之互动方面起着关键作用。对于机器人来说，触觉感知也是不可替代的。当与物体交互时，触觉感知为机器人理解物体提供有用的信息，例如分布的压力、温度、振动和纹理。在机器人抓取过程中，视觉往往被其末端执行器遮挡，而触觉感知可以测量视觉无法到达的区域。在过去的几十年中，已经开发了许多触觉传感器用于机器人，并用于不同的机器人任务。在这一章中，我们专注于使用触觉感知的机器人抓，并调查最近的趋势，在触觉感知的对象属性。我们首先讨论了三个重要的物体性质的触觉感知在抓，即，形状、姿态和材料属性。然后，我们回顾了最近的发展与触觉感知的抓持稳定性预测。在这些工作中，我们确定了协调视觉和触觉感知在机器人抓取的要求。为了证明使用触觉感知，以改善视觉感知，我们最近的发展视觉引导的触觉感知裂纹重建。在所提出的框架中，首先利用摄像机视觉的大感受野来实现包含裂纹的候选区域的快速搜索，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精细的裂纹形状。实验结果表明，我们提出的方法可以实现显着减少的平均距离误差从0.82 mm到0.24 mm的裂纹重建。最后，我们结束本章的开放性问题和未来的方向，在机器人任务中应用触觉感知的讨论。
2021-12-28 cs.RO
Investigating Vision Foundational Models for Tactile Representation Learning
University of Cambridge（剑桥大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对触觉传感器异构导致的触觉表征学习泛化性差的问题，提出将异构触觉数据转换为视觉输入、用视觉基础模型实现传感器无关触觉表征学习的方法，在多基准任务上验证了其性能、鲁棒性及迁移性优势。
2023-04-30 cs.RO
FingerSLAM: Closed-loop Unknown Object Localization and Reconstruction from Visuo-tactile Feedback
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们解决的问题，使用视觉触觉反馈的6自由度的定位和三维重建的未知在手的对象。我们提出了FingersLAM，一个闭环的因素图为基础的姿态估计，结合本地触觉感知在指尖和全球视觉传感从手腕安装摄像头。FingerSLAM由两个构成的姿态估计器构成：一个多通道的基于细化的纹理的姿态估计器，它从详细的局部纹理中捕获运动，以及一个单通道的基于视觉的姿态估计器，它从对象的全局视图中进行预测。我们还设计了一个循环闭合机制，主动匹配当前的视觉和触觉图像，以前存储的关键帧，以减少累积的错误。FingerSLAM结合了触觉和视觉两种传感方式，以及具有基于因子图的优化框架的闭环机制。这样的框架产生比独立估计器更准确的优化姿态估计解决方案。然后使用估计的姿势来重建未知物体的形状，通过拼接从触觉图像中恢复的局部点云。我们训练我们的系统上收集的真实世界的数据与20个对象。我们通过对训练过程中看不到的6个对象进行定量和定性的真实世界评估，展示了可靠的视觉-触觉姿态估计和形状重建。
2023-03-14 cs.AI cs.CV cs.RO
DelTact: A Vision-based Tactile Sensor Using Dense Color Pattern
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
触觉感知是机器人完成灵巧任务必不可少的感知。基于视觉的触觉传感器作为一种很有前途的触觉感知技术，被用来提高机器人的操作和抓取性能。在这里，我们提出了一种新的设计基于视觉的触觉传感器，DelTact。该传感器采用模块化硬件架构，结构紧凑，同时保持全分辨率（798*586）和大面积（675mm2）的接触式测量。此外，它采用了一种改进的密集的随机颜色模式的基础上，以前的版本，以实现高精度的接触变形跟踪。特别是，我们优化了颜色图案的生成过程，并选择适当的模式，以协调与密集的光流算法在现实世界的实验感官设置。从原始图像获得的光流被处理以确定接触表面上的形状和力分布。我们还演示了从原始图像中提取接触形状和力分布的方法。实验结果表明，该传感器能够提供低误差和高频率（40 Hz）的触觉测量。
2022-05-31 cs.RO
ForeTac-VLA: A Forecasting-Based Tactile-Vision-Language-Action Model for Contact-Rich Robotic Manipulation
Texas A&M University（德克萨斯A&M大学）
ForeTac-VLA提出基于预测的触觉-视觉-语言融合模型，预测未来触觉状态以引导动作生成，在接触丰富操作任务中平均成功率95%，显著优于现有基线。
2026-09-21 cs.RO
HySenSe: A Hyper-Sensitive and High-Fidelity Vision-Based Tactile Sensor
University of Texas at Austin（德克萨斯大学奥斯汀分校）；MD Anderson Cancer Center（MD安德森癌症中心）
在本文中，为了解决基于视觉的触觉传感器（VTS）的灵敏度和耐用性的权衡，我们介绍了一种超灵敏和高保真VTS称为HySenSe。我们证明，通过在GelSight传感器（作为最知名的VTS）的凝胶层的制造过程中仅改变一个步骤，我们可以大大提高其灵敏度和耐用性。我们的实验结果清楚地表明，与类似的GelSight传感器相比，HySenSe在相同的实验条件和低相互作用力（<= 1.5 N）下检测各种物体的纹理细节方面表现出色。
2022-11-08 cs.RO
Planning Visual-Tactile Precision Grasps via Complementary Use of Vision and Touch
University of Utah（犹他大学）；NVIDIA（英伟达）
对于包括工具使用、插入和灵巧的手内操作在内的许多任务，可靠地规划多指手的指尖抓握是一个关键挑战。当机器人缺乏要抓取的物体的精确模型时，这项任务变得更加困难。触觉感知提供了一种很有前途的方法来解决物体形状的不确定性。然而，目前的机器人手往往缺乏完整的触觉覆盖。因此，出现了如何计划和执行多指手的抓握以使得与触觉传感器覆盖的区域进行接触的问题。为了解决这个问题，我们提出了一种抓取规划的方法，明确的原因，在那里的指尖应该接触估计的物体表面，同时最大限度地提高把握成功的概率。我们的方法的成功的关键是使用视觉表面估计的初始规划编码的接触约束。然后，机器人使用一个模糊反馈控制器执行该计划，该控制器使机器人能够适应物体表面的在线估计，以纠正初始计划中的错误。重要的是，机器人从来没有明确地集成视觉和触觉感知之间的对象姿势或表面估计，而是以互补的方式使用这两种方式。视觉在接触之前引导机器人运动;当接触发生时，触摸更新计划不同于视觉预测。我们表明，我们的方法使用来自单个相机视图的表面估计成功地合成并执行了对以前未见过的物体的精确抓取。此外，我们的方法优于最先进的多指抓取规划器，同时也击败了我们提出的几个基线。
2022-12-16 cs.AI cs.LG cs.RO
VBT-MPC: Vision-Based Tactile MPC for Contour Following
AUROVA Lab, Computer Science Research Institute, University of Alicante（AUROVA实验室，计算机科学研究院，阿利坎特大学）；Worcester Polytechnic Institute（沃思堡理工大学）
本文提出了一种基于视觉的触觉模型预测控制（VBT-MPC）框架，用于机器人轮廓跟踪，通过眼在手配置安装的基于视觉的触觉传感器（VBTS）直接在轮廓特征空间中操作，避免了单独的姿态估计模块和复杂的力控制架构，并在仿真和实际实验中评估了在不同几何形状和材料物体上的轮廓跟踪性能。
2026-05-19 cs.RO
Tacchi 2.0: A Low Computational Cost and Comprehensive Dynamic Contact Simulator for Vision-based Tactile Sensors
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Engineering and Technology, China University of Geosciences (Beijing)（中国地质大学（北京）工程技术学院）；School of International, Beijing University of Posts and Telecommunications（北京邮电大学国际学院）；School of Mechanical Engineering, Anhui University of Technology（安徽工业大学机械工程学院）；Zhili College, Tsinghua University（清华大学志道书院）
本文提出Tacchi 2.0，通过将针孔相机模型集成到基于物质点法的低计算成本视觉触觉模拟器中，实现了按压、滑动和旋转等状态下触觉图像与标记运动图像的可靠模拟。
2025-03-12 cs.CV cs.RO
Soft Vision-Based Tactile-Enabled SixthFinger: Advancing Daily Objects Manipulation for Stroke Survivors
Center of Autonomous Robotics Systems, Khalifa University（哈利法大学自主机器人系统中心）；Mechanical Engineering Department, Khalifa University（哈利法大学机械工程系）
针对脑卒中患者抓取缺陷问题，本文提出带视觉触觉感知的柔性额外机器人手指系统，基于Transformer框架实现滑动自适应调力，经真实场景验证可有效操作日常物品，有望提升患者生活质量。
2025-01-12 cs.RO
Cyclic Fusion of Measuring Information in Curved Elastomer Contact via Vision-Based Tactile Sensing
Guangdong Provincial Key Laboratory of Nanophotonic Functional Materials and Devices（广东省纳米光子功能材料与器件重点实验室）；South China Normal University（华南师范大学）
针对曲面弹性体形变导致触觉图像失真的问题，提出像素级循环频域融合策略，提升接触信息质量并显著降低缺陷检测与深度重建误差。
2024-12-10 cs.RO
DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Northwestern University（西北大学）
DexTacWAM提出视觉-触觉世界-动作模型，通过独立编码指尖并注入触觉潜变量到视频扩散模型，在灵巧操作任务中显著超越基线，并实现数据高效、计算高效的持续触觉适应。
2026-09-22 cs.AI cs.CV cs.RO
DTact: A Vision-Based Tactile Sensor that Measures High-Resolution 3D Geometry Directly from Darkness
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）
基于视觉的触觉传感器可以测量接触物体的3D几何形状，对于机器人执行灵巧操作任务至关重要。然而，现有的传感器通常是复杂的制造和微妙的扩展。在这项工作中，我们新颖地利用半透明弹性体的反射特性来设计一种鲁棒的、低成本的、易于制造的触觉传感器DTact。DTact可以从捕获的触觉图像中显示的黑暗中准确测量高分辨率的3D几何形状，只需一张图像进行校准。与以前的传感器相比，DTact在各种照明条件下都是鲁棒的。然后，我们建立原型的DTact，具有非平面接触表面，以最小的额外努力和成本。最后，我们使用DTact执行了两个智能机器人任务，包括位姿估计和物体识别，其中DTact显示出很大的应用潜力。
2022-09-28 cs.RO
SimTac: A Physics-Based Simulator for Vision-Based Tactile Sensing with Biomorphic Structures
Department of Engineering, King’s College London（工程系，伦敦国王学院）；School of Aerospace Engineering, Beijing Institute of Technology（航空工程学院，北京理工大学）；Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
SimTac是一个基于物理的模拟器，用于设计和验证生物形态触觉传感器，通过多种几何结构实现准确高效的触觉感知模拟。
2025-11-14 cs.RO
AT-VLA: Adaptive Tactile Injection for Enhanced Feedback Reaction in Vision-Language-Action Models
School of Computer Science, Peking University（北京大学计算机科学系）；PrimeBot；PKU Lab（北京大学实验室）
本文提出AT-VLA，一种自适应触觉注入机制，通过动态决定触觉注入的时间和位置，减少对预训练表示的干扰，同时引入触觉反应双流机制，实现快速准确的触觉响应，以提高视觉-语言-动作模型在接触丰富操作任务中的表现。
2026-05-18 cs.RO
Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation
DexAI, Emergent Business Unit, Analog Devices Inc.（DexAI，新兴业务部，安森通公司）
本文提出了一种基于双侧力先验的跨模态Transformer，通过结构化注意力机制实现视觉与触觉融合，在机器人操作中实现了96.59%的插入成功率，展示了触觉感知的重要性及物理启发正则化的有效性。
2026-02-14 cs.CV cs.RO
DTactive: A Vision-Based Tactile Sensor with Active Surface
Shanghai Qi Zhi Institute（上海期智研究院）；Huazhong University of Science and Technology（华中科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出了一种具有主动表面的新型视觉触觉传感器DTactive，通过集成机械传动机构实现触觉感知与抓持内操作同步，并利用基于学习的方法实现精确的角轨迹控制，实验验证了其在物体滚动操作中的有效性、鲁棒性和精确性。
2024-10-10 cs.RO
NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出NormalFlow实时触觉6DoF跟踪算法，通过最小化视觉触觉传感器所得表面法向差异估计物体运动，在低纹理物体、360度长时程跟踪和触觉三维重建中取得高精度。
2025-03-18 cs.RO
MVP-Tac: A Miniaturized Dual-Modal Vision and Photoelastic Tactile Sensor for Robot-Assisted Minimally Invasive Surgery
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）；Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；Robotics Engineering Technology, Purdue University（普渡大学机器人工程技术学院）；Department of Civil Engineering, Stony Brook University（石溪大学土木工程系）；Department of Mechanical Engineering, Michigan State University（密歇根州立大学机械工程系）
研究针对机器人辅助微创手术缺乏触觉反馈问题，介绍了MVP-Tac传感器，它采用反射光弹性成像，能在视觉触觉间切换，经力校准及肿瘤触诊等实验验证其有效性，为恢复RMIS中触诊并保持视觉反馈提供实用途径。
2026-08-05 cs.RO
Where Shall I Touch? Vision-Guided Tactile Poking for Transparent Object Grasping
University of Liverpool（利物浦大学）；King’s College London（伦敦国王学院）；Monash University（莫纳什大学）
对于机器人来说，拾取透明物体仍然是一项具有挑战性的任务。透明物体的反射和折射等视觉特性使得目前依赖于相机传感的抓取方法无法检测和定位它们。然而，人类可以很好地处理透明物体，首先观察其粗糙的轮廓，然后戳感兴趣的区域以获得用于抓握的精细轮廓。受此启发，我们提出了一个新的框架，视觉引导的触觉戳透明物体的把握。在所提出的框架中，首先使用分割网络来预测称为戳区域的水平上部区域，在该区域中，机器人可以戳物体以获得良好的触觉读取，同时对物体的状态产生最小的干扰。然后使用高分辨率GelSight触觉传感器进行戳。由于局部轮廓与触觉阅读改善，启发式把握计划抓住透明物体。为了减轻现实世界的数据汇集和透明对象的标签的限制，构建了一个大规模的现实合成数据集。大量的实验表明，我们提出的分割网络可以预测潜在的戳区域与高的平均平均精度（mAP）为0.360，视觉引导的触觉戳可以提高抓持成功率从38.9%到85.2%显着。由于其简单性，我们提出的方法也可以被其他力或触觉传感器采用，并可用于抓取其他具有挑战性的物体。本文中使用的所有材料均可在https://sites.google.com/view/tactilepoking上获得。
2022-08-20 cs.RO
