Crossing the Reality Gap in Tactile-Based Learning
针对机器人触觉操作中仿真与现实鸿沟的问题，提出基于质量-弹簧-阻尼系统的触觉传感器建模方法，结合域随机化和潜在空间特征对齐训练策略，实现高效的 sim-to-real 迁移。
2023-05-23 cs.RO
Factorized Tactile Representation and Control for Sim-to-Real Manipulation
Amazon Fulfillment Technologies & Robotics（亚马逊履约技术与机器人）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
提出因子化触觉表征与控制框架，将接触响应分解为几何、力分布和时间变化，通过触觉门控策略实现仿真到现实迁移，在插销插入等任务中显著提升性能。
2026-10-08 cs.RO
Bi-Touch: Bimanual Tactile Manipulation with Sim-to-Real Deep Reinforcement Learning
University of Bristol（布里斯托尔大学）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
本文提出 Bi-Touch 双臂触觉机器人系统，结合深度强化学习、奖励设计、目标更新机制与 sim-to-real 方法，完成多种双手触觉操作任务并验证真实世界泛化性。
2023-07-12 cs.RO
Grasp Stability Prediction with Sim-to-Real Transfer from Tactile Sensing
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Meta Reality Labs Research（Meta现实实验室）
机器人仿真已经成为数据驱动操作任务的重要工具。然而，大多数现有的仿真框架缺乏有效和准确的模型与触觉传感器或逼真的触觉仿真的物理交互。这使得基于操纵任务的仿真到现实迁移仍然具有挑战性。在这项工作中，我们集成了机器人动力学和基于视觉的触觉传感器模拟接触的物理建模。该接触模型使用机器人末端执行器处的模拟接触力来通知真实触觉输出的生成。为了消除仿真到现实迁移差距，我们校准我们的物理模拟器的机器人动力学，接触模型，和触觉光学模拟器与现实世界的数据，然后我们证明了我们的系统的有效性上的一个zero-shot模拟到真实的把握稳定性预测任务，我们实现了90.7%的平均精度对各种对象。实验表明，我们的模拟框架应用到更复杂的操作任务的潜力。我们在https://github.com/CMURoboTouch/Taxim/tree/taxim-robot上开源了我们的模拟框架。
2022-08-04 cs.RO
Zero-shot sim-to-real transfer of tactile control policies for aggressive swing-up manipulation
ETH Zurich（苏黎世联邦理工学院）
本文的目的是表明，机器人配备了基于视觉的触觉传感器可以执行动态操作任务，而无需事先知道的所有物理属性的对象进行操作。为此目的，提出了一种机器人系统，其能够将不同质量、半径和长度的杆摆动到180度的角度，同时仅依赖于由触觉传感器提供的反馈。这是通过开发一种新的模拟器，准确地模拟了软传感器的极的相互作用。然后，在上述模拟中学习反馈策略，该反馈策略以感官观察历史为条件，并且不具有极点的物理特征的先验知识。当在物理系统上进行评估时，该政策能够在没有进一步调整的情况下，在其物理属性上显著不同的各种极点上摆动。据作者所知，这是第一个工作，从高维触觉观察的反馈政策是用来控制摆动操作的极点在闭环。
2021-05-06 cs.AI cs.RO cs.SY
ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations
Stanford University（斯坦福大学）
近年来，多感官对象中心感知、推理和交互一直是一个重要的研究课题。然而，在这些方向上的进展受到可用对象的小集合的限制-合成对象不够逼真，并且主要以几何为中心，而YCB等真实对象数据集由于国际运输，库存和财务成本而通常具有实际挑战性和不稳定性。我们提出ObjectFolder，一个包含100个虚拟对象的数据集，通过两个关键创新解决了这两个挑战。首先，ObjectFolder对所有对象的视觉、听觉和触觉传感数据进行编码，从而实现了许多多感官对象识别任务，超越了纯粹关注对象几何形状的现有数据集。其次，ObjectFolder为每个对象的视觉纹理、声学模拟和触觉读数采用了统一的、以对象为中心的隐式表示，使数据集使用灵活，易于共享。我们证明了我们的数据集作为多感官感知和控制的测试平台的有用性，通过对各种基准任务进行评估，包括实例识别，跨感官检索，3D重建和机器人抓取。
2021-11-08 cs.CV cs.GR cs.LG
TaSA: Two-Phased Deep Predictive Learning of Tactile Sensory Attenuation for Improving In-Grasp Manipulation
Waseda University（早稻田大学）
TaSA通过两种阶段深度预测学习实现基于感觉衰减的触觉衰减，提升机械手在抓握操作中的灵巧性与触觉感知能力。
2026-02-05 cs.RO
Tactile Functasets: Neural Implicit Representations of Tactile Datasets
University of Michigan（密歇根大学）
针对高维触觉图像难以高效存储与泛化的问题，提出基于神经隐式函数的触觉数据集表示，生成紧凑且支持概率推理的表征，在手内物体姿态估计任务中优于图像方法并简化下游模型。
2024-09-22 cs.RO
ViTa-SLAM: Biologically-Inspired Visuo-Tactile SLAM
Aalto University（阿尔托大学）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
在这项工作中，我们提出了一种新颖的，生物启发的多感官SLAM方法，称为ViTa-SLAM。与其他多传感器SLAM变体相比，这种方法允许无缝的多传感器信息融合，同时自然地与环境交互。该算法是经验性的评估，在模拟环境中使用仿生机器人平台称为WhiskEye。我们的研究结果表明，在循环闭合检测方面，现有的生物启发SLAM方法具有很好的性能增强。
2019-05-14 cs.RO
Imagining the Sense of Touch: Touch-Informed Manipulation via Imagined Tactile Representations
Department of Industrial Engineering, Purdue University（普渡大学工业工程系）；Department of Mechanical Engineering, Texas A&M University（德克萨斯农工大学机械工程系）
提出TacImag框架，从视觉和本体感觉预测触觉观测，在无触觉传感器时指导操作策略，仿真和真实实验平均提升接触敏感任务44.4%、纹理敏感任务23.3%。
2026-07-03 cs.RO
ManiSkill-ViTac 2025: Challenge on Manipulation Skill Learning With Vision and Tactile Sensing
ManiSkill-ViTac 2025挑战赛通过触觉操作、触觉-视觉融合操作和触觉传感器结构设计三个赛道，推动基于视觉与触觉感知的接触丰富操作技能学习，并在仿真与真实环境中以标准化指标评估参赛方案，促进机器人视觉-触觉融合领域的创新与发展。
2024-11-19 cs.RO
STAR: Sparse Tactile Representation Learning in Vision-Tactile-Language-Action Models for Dexterous Manipulation
Shanghai Innovation Institute（上海创新研究院）；Agibot（智元机器人）
针对灵巧操作中触觉信号稀疏的挑战，本文构建200小时双臂数据集并提出STAR训练方案，通过联合预训练与稀疏表示，在真实任务中达到61%平均成功率。
2026-09-21 cs.RO
TacO: Benchmarking Tactile Sensors for Object Manipulation
UC San Diego（圣迭戈大学）；CMU（卡内基梅隆大学）；SNU（首尔国立大学）
本文提出了一种基于任务驱动的触觉传感器评估框架，通过训练不同模态的触觉传感器（视觉、声学、磁性和电阻性）在三个任务上的表现，探讨了触觉信息在不同材料和任务中的有效性。
2026-11-02 cs.RO
FELT: Generating Tactile Signals from Vision for Visuo-Tactile Manipulation
Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院）；Columbia University（哥伦比亚大学）；Starpilot（星航）
研究针对触觉数据稀缺问题，提出FELT框架，利用视觉编码器和查询解码器从RGB观测合成触觉图像，通过单独分支解码左右传感器面板，实验表明该方法能提升策略成功率，潜在特征训练和部署无需真实触觉传感器。
2026-10-19 cs.RO
FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Sharpa；Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出FTP-1，首个通用基础触觉策略，通过异构编码器和共享Transformer专家，跨21种传感器和3000小时数据预训练，实现触觉操作技能的跨传感器迁移，在未见传感器上成功率提升31%。
2026-10-28 cs.RO
PneuTac: Tactile Manipulation with Soft Pneumatic Robots via Unified MPM-Gaussian Splatting Simulation
University of Oxford（牛津大学）
PneuTac提出统一MPM-高斯泼溅仿真框架，用于软体气动机器人的触觉操作，通过仿真增强演示训练策略，在真实接触丰富任务中优于基线。
2026-10-01 cs.RO
Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
Purdue University（普渡大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Columbia University（哥伦比亚大学）
本文提出一种具有层次结构的触觉感知运动-操作策略学习框架，通过真实世界示范训练触觉条件的视觉-触觉高层策略，并结合大规模模拟强化学习学习能追踪多样指令轨迹和触觉交互的全身控制策略，提升接触丰富场景下的协调运动与操作性能。
2026-07-14 cs.RO
Low Fidelity Visuo-Tactile Pretraining Improves Vision-Only Manipulation Performance
Carnegie Mellon University（卡内基梅隆大学）
本文提出利用低成本 BeadSight 传感器进行视觉-触觉预训练并在下游仅用视觉推理，实验证明其可显著提升模仿学习智能体的操控性能。
2025-03-13 cs.RO
ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation
ShanghaiTech University（上海科技大学）；InstAdapt
研究针对丰富接触式机器人操作中视觉-触觉学习扩展难的问题，提出ViTacWorld模型，利用真实和模拟数据预训练并微调，能根据机器人动作预测视觉与触觉反馈，实现动作条件策略评估，提升策略性能。
2026-09-29 cs.RO
Multi-Fingered In-Hand Manipulation with Various Object Properties Using Graph Convolutional Networks and Distributed Tactile Sensors
Waseda University（早稻田大学）
多指手可以用来完成许多灵巧的操作任务，类似于人类，和触觉感知可以提高各种对象的操作稳定性。然而，多指手上的触觉传感器具有各种尺寸和形状。卷积神经网络（CNN）可以用于处理触觉信息，但是来自多指手的信息需要任意预处理，因为CNN需要矩形形状的输入，这可能导致不稳定的结果。因此，如何处理这种复杂形状的触觉信息，并利用它来实现操作技能仍然是一个悬而未决的问题。本文提出了一种基于图卷积网络（GCN）的控制方法，该方法从具有复杂传感器排列的触觉数据中提取大地线特征。此外，对象属性标签被提供给GCN以调整手内操纵运动。分布式三轴触觉传感器安装在指尖，手指指骨和手掌的快板手，导致1152触觉测量。利用数据手套采集训练数据，将人的灵巧操作直接传递给机器人手。GCN实现了高成功率的手操作。我们还证实，当向GCN提供正确的对象标签时，易碎对象变形较少。当用PCA可视化GCN的激活时，我们验证了网络获得了测地线特征。我们的方法实现了稳定的操作，即使当实验者拉一个把握对象和未经训练的对象。
2022-05-09 cs.RO
Soft-bubble: A highly compliant dense geometry tactile sensor for robot manipulation
Toyota Research Institute（丰田研究院）
实现有效的触觉感知和机械顺应性是使机器人在未知、不确定和混乱的环境中稳健和安全操作的关键。为了实现这一目标，我们提出了一个轻量级的，易于构建，高度兼容的密集几何传感器和末端执行器，包括一个充气乳胶膜与深度sensor. We提出的动机和硬件设计，这个软泡，并通过示例任务，包括战斗对象分类，姿态估计和跟踪，和non-objectile对象操作演示其功能。我们还提出了初步的实验，以显示高分辨率的几何感知触觉任务的重要性，并讨论了鲁棒操纵中的应用。
2019-04-03 cs.RO
TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation
Shanghaitech University（上海科技大学）；InstAdapt（自适应研究所）
研究针对当前人到机器人灵巧转移管道依赖运动轨迹缺乏物理交互的问题，引入TactiDex基准，提出触觉驱动转移框架及TactiSkill，经实验证明其在操作成功率和物理逼真度上表现出色，为触觉感知灵巧操作奠定基础。
2026-07-13 cs.RO
Robust Object Manipulation for Tactile-based Blind Grasping
The University of Melbourne（墨尔本大学）；St. Vincent’s Hospital（圣文森特医院）
基于触觉的盲抓取解决了现实的机器人抓取，其中手只能访问本体感受和触觉传感器。机器人手没有物体/抓取属性的先验知识，例如物体重量、惯性和形状。不存在严格保证在这样的设置中的对象操纵的操纵控制器。在这里，提出了一种鲁棒控制律的对象操作基于手势的盲抓。该分析确保了半全局渐近和指数稳定的存在模型的不确定性和外部干扰，被忽略在相关的工作。仿真和实验结果验证了该方法的有效性。
2019-02-07 cs.RO
Dexterous In-Hand Manipulation of Slender Cylindrical Objects through Deep Reinforcement Learning with Tactile Sensing
University of Edinburgh（爱丁堡大学）；Tencent Robotics X（腾讯机器人X实验室）；University College London（伦敦大学学院）
本文提出基于触觉反馈和深度强化学习的端到端策略框架，实现机器人三指灵巧手对细长圆柱物体的连续位姿控制，并通过模型校准与域随机化成功完成从仿真到现实的迁移验证。
2023-04-11 cs.RO
ViTaMIn: Learning Contact-Rich Tasks Through Robot-Free Visuo-Tactile Manipulation Interface
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
针对富接触灵巧操作任务的演示数据收集成本高的问题，研究提出集成视觉触觉的手持无机器人界面ViTaMIn及多模态预训练策略，提升数据效率与任务表现。
2025-09-01 cs.RO
Cross-Modal Visuo-Tactile Representation Learning with Action Chunking Transformers for Contact-Rich Manipulation
Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院）；Innovation and Research and Development Department, BoardWare Information System Company Ltd.（创新与研发部，BoardWare信息系统有限公司）；School of Artificial Intelligence, Nanjing Agricultural University（人工智能学院，南京农业大学）；School of Computing, National University of Singapore（计算机学院，新加坡国立大学）；School of Electronic Engineering and Automation, Guilin University of Electronic Technology（电子工程与自动化学院，桂林电子科技大学）
本研究提出了一种低成本的视觉-触觉夹具，通过融合视觉和触觉反馈，提升接触丰富环境中的操作性能。
2026-09-01 cs.RO
Compliant In-hand Rolling Manipulation Using Tactile Sensing
Center for Robotics and Biosystems and the Department of Mechanical Engineering, Northwestern University（机器人与生物系统中心和机械工程系，西北大学）；Northwestern Institute on Complex Systems (NICO)（复杂系统研究所（NICO））
本文提出了一种基于触觉感知的多指机械手手握滚动操作方法，通过推导动力学方程和设计控制器实现对物体扭量的精确控制。
2026-03-04 cs.RO
ReTouch: Empowering Contact-Rich Dexterous Manipulation with Online-Refined Tactile Prediction
本研究提出视觉-语言-动作模型ReTouch，通过在线优化触觉预测实现接触丰富的灵巧操作，在真实机器人实验中，其平均成功率较最强基线提升18.4至23.8个百分点。
2026-08-19 cs.RO
TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation
TARS Robotics；National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）
提出TacForeSight框架，通过力条件触觉世界模型预测触觉潜动态，结合预测性触觉条件策略实现高频操作下的主动接触推理，在动态接触干扰下优于现有方法。
2026-06-09 cs.RO
$N_0$-TWAM: Scaling Tactile-Native World-Action Model for Contact-Rich Manipulation
NeoteAI Team（NeoteAI团队）；Fudan TEAI Team（复旦大学TEAI团队）
研究提出$N_0$-TWAM用于丰富接触操作，通过视觉-触觉联合训练大规模预训练，采用NeoForce表示、引入触觉接触事件及非对称混合变压器架构，在多任务中展现强大能力，为细粒度操作奠定基础，代码等将公开。
2026-07-28 cs.RO
A Humanoid Visual-Tactile-Action Dataset for Contact-Rich Manipulation
GIST（全州科学技术大学）
针对现有机器人操作数据集对软体物体、多压力场景触觉数据覆盖不足的问题，构建了遥操作采集的人形机器人多模态视觉-触觉-动作数据集，支撑相关模型优化研究。
2025-11-13 cs.RO
Multi-Resolution Tactile Imitation Learning for Contact-Rich Robotic Manipulation
Interactive Robot Perception & Learning, TU Darmstadt（互动机器人感知与学习，图腾达姆施塔特大学）；Intelligent Autonomous Systems, TU Darmstadt（智能自主系统，图腾达姆施塔特大学）；Hessian AI（黑森人工智能）；Robotics Institute Germany（德国机器人研究所）
提出多分辨率触觉表示框架MiTaS，融合不同时间分辨率的触觉传感器（GelSight Mini和Evetac）与RGB相机，通过模态特定卷积茎和基于Transformer的融合实现复杂接触丰富操作任务的模仿学习，平均成功率80%。
2026-10-22 cs.RO
RATE: Risk-Aware Tactile Encoding for Contact-rich Robotic Manipulation
Nanyang Technological University（南洋理工大学）；Daimon Robotics（戴蒙机器人）
针对相似触觉观测可能对应不同任务风险的问题，提出RATE方法，通过历史条件化预测和警报监督学习风险感知触觉表征，并借助轻量级残差适配器提升机器人操作任务成功率。
2026-10-05 cs.RO
HapticVLA: Contact-Rich Manipulation via Vision-Language-Action Model without Inference-Time Tactile Sensing
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology（智能空间机器人实验室，斯克洛夫科学与技术研究所）
HapticVLA通过视觉-语言-动作模型实现接触丰富的操作，无需触觉传感器，在现实实验中成功率达到86.7%。
2026-08-04 cs.RO
In-Hand Manipulation of Unknown Objects with Tactile Sensing for Insertion
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
在本文中，我们提出了一种方法来操纵未知的物体在手中使用触觉感知，而不依赖于一个已知的对象模型。在许多情况下，仅视觉的方法可能不可行;例如，由于杂乱空间中的遮挡。我们通过引入一种使用触觉感知来重新定向未知对象的方法来解决这个限制。它在任务驱动的操作过程中逐步建立对象形状和姿态的概率估计。我们的方法使用贝叶斯优化来平衡探索的全球对象形状与高效的任务完成。为了证明我们的方法的有效性，我们将其应用于模拟触觉启用辊抓钳，一个抓手，滚动对象的手，同时收集触觉数据。我们评估我们的方法插入任务与随机生成的对象，并发现它可靠地reorients对象，同时显着减少探索时间。
2023-03-10 cs.RO
Seq2Seq Imitation Learning for Tactile Feedback-based Manipulation
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
由于物理接触的建模、环境的部分可观测性以及感知和控制中的噪声，基于触觉反馈的操作的机器人控制可能是困难的。本文将接触丰富操作任务的部分可观测性问题作为序列到序列（Seq2Seq）模仿学习（IL）问题来解决。所提出的Seq2Seq模型产生一个机器人与环境的交互序列来估计部分可观测的环境状态变量。然后，观察到的交互序列被转换为任务本身的控制序列。所提出的Seq2Seq IL触觉反馈为基础的操作实验验证了在模拟环境中的开门任务和一个管理单元插入任务与一个真正的机器人。该模型能够从50个专家演示中学习这两个任务，而最先进的强化学习和模仿学习方法都失败了。
2023-03-05 cs.RO
Dex-X: Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction
Tsinghua University（清华大学）；Shanghai Qizhi Institute（上海智己研究院）；Sharpa（Sharpa公司）；Tongji University（同济大学）；Renmin University（中国人民大学）
DEX-X通过模拟补全触觉信息，从人类视频学习视觉-触觉灵巧操作策略，实现零样本模拟到现实迁移，在抓取和工具使用任务中取得高成功率。
2026-10-02 cs.RO
A novel tactile palm for robotic object manipulation
Wuhan University（武汉大学）；Tencent Robotics X（腾讯机器人X实验室）；Renmin Hospital of Wuhan University（武汉大学人民医院）；Wuhan Institute of Technology（武汉工程大学）
本文提出一种模拟人类手掌功能的新型软体触觉传感器，通过电极阵列、软体皮肤和导电海绵估计物体接触状态，实验验证了其用于机器人物体操作的有效性。
2023-08-10 cs.RO
Representation-Aligned Tactile Grounding for Contact-Rich Robotic Manipulation
Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院智能信息处理上海市重点实验室）；College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；Lenovo CTO Organization（联想首席技术官组织）；Nanyang Technological University（南洋理工大学）；TeleAl, China Telecom（中国电信天翼人工智能公司）
研究接触丰富的机器人操作中，针对VLA策略不同表示作用下触觉监督应用位置不明的问题，通过线性探针分析找到可预测未来触觉状态的中间动作专家特征，引入LTP，实验证明表示对齐的触觉基础效果更佳。
2026-07-17 cs.RO
Tactile-Reactive Roller Grasper
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
针对机器人手内操作难题，研发融合相机触觉传感与可转向柔顺圆柱指尖的TRRG系统，配套传感处理与控制策略，实验证明其可提升两类操作场景的鲁棒性，还支持物体重建，为混合指尖设计提供方向。
2023-06-16 cs.RO
Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation
Massachusetts Institute of Technology（麻省理工学院）
高分辨率触觉传感器通常体积庞大，并且具有使它们难以用于操纵的形状轮廓。当使用诸如用于灵巧的多指手的指尖的传感器时，这变得重要，其中方形或平面指尖限制了可用的平滑操纵策略集。高分辨率的光学传感器，如GelSight，由于照明几何形状的限制，到目前为止一直被限制在相对平坦的几何形状。在这里，我们展示了如何构建一个圆形的指尖，利用一种形式的光管道定向照明。我们的传感器可以取代Allegro手的标准圆形指尖。它们可以捕获接触表面的高分辨率地图，并可用于支持各种灵巧的操作任务。
2020-05-18 cs.RO
TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation
Purdue University（普渡大学）；University of Florida（佛罗里达大学）
研究动态移动操纵中触觉传感在全身控制的作用，提出 TAC-LOCO 框架，编码触觉观测与本体感觉统一控制肢体，经奖励设计使策略能应对多种情况，部署后实现降力及低掉落率。
2026-07-17 cs.RO
Manipulation via Membranes: High-Resolution and Highly Deformable Tactile Sensing and Control
University of Michigan（密歇根大学）
同位触觉感知是灵巧操作的基本使能技术。然而，可变形传感器引入了机器人，抓取物体和环境之间的复杂动力学，必须考虑精细操作。在这里，我们提出了一种方法来学习软触觉传感器膜的动态，占传感器的变形所造成的抓持的物体和环境之间的物理相互作用。我们的方法结合了感知的三维几何形状的膜与本体感受反应扳手，以预测未来的变形条件下的机器人行动。从膜的几何形状和反应扳手，解耦的触觉观察模型的相互作用动力学的把握对象的姿态恢复。我们将我们的方法基准放在两个现实世界中接触丰富的任务上：用抓着的标记和在手旋转。我们的研究结果表明，明确建模膜动力学实现更好的任务性能和泛化到看不见的对象比基线。
2022-09-27 cs.RO
GelTip: A Finger-shaped Optical Tactile Sensor for Robotic Manipulation
University of Liverpool（利物浦大学）；Fuzhou University（福州大学）
感知整个手指的接触是机器人在杂乱环境中执行操作任务的基本能力。然而，现有的触觉传感器要么仅具有平坦的感测表面，要么具有有限感测区域的顺应性尖端。在本文中，我们提出了一种新的光学触觉传感器，GelTip，形状像一个手指，可以感测其表面上的任何位置的接触。该传感器捕获高分辨率和颜色不变的触觉图像，可用于提取有关末端执行器与被操纵物体相互作用的详细信息。我们的大量实验表明，GelTip传感器可以有效地定位其手指形主体的不同位置上的触点，平均定位误差约为5 mm，最佳情况下小于1 mm。所获得的结果表明，在促进动态操作任务与其全面的触觉感知能力的GelTip传感器的潜力。有关GelTip传感器的传感器型号和更多信息，请访问http://danfergo.github.io/geltip。
2020-08-12 cs.RO
Learning with Object-centric Representations of Tactile Interactive Perception for Robot Manipulation
提出一种物体中心情境感知操作框架，通过触觉探索学习任务无关表示，利用标记学习器和对比对齐捕获物体属性，在视觉模糊任务中将成功率从41%提升至92%（已见物体）和从19%提升至67%（未见物体）。
2026-09-29 cs.RO
TWINS: A Tactile Wearable Isomorphic Arm Networked System for Contact-Rich Manipulation Learning
National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
本文提出TWINS触觉可穿戴同构臂联网系统，用于解决现有机器人难以完成身体表面接触操作的问题，通过采集演示数据训练模仿学习策略，实现了身体表面触觉引导的接触丰富操作。
2026-08-04 cs.RO
UniVTAC: A Unified Simulation Platform for Visuo-Tactile Manipulation Data Generation, Learning, and Benchmarking
ScaleLab, Shanghai Jiao Tong University（上海交通大学ScaleLab）；D-Robotics；ViTai Robotics；The University of Hong Kong（香港大学）；Nanjing University（南京大学）；Shenzhen University（深圳大学）；Wuhan University（武汉大学）；Fudan University（复旦大学）；Tsinghua University（清华大学）
UniVTAC提出了一种统一的视觉-触觉数据生成平台，通过训练触觉中心的编码器和基准任务提升机器人操作的成功率。
2026-02-10 cs.RO
VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation
SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；TARS Robotics；National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
提出VT-WAM，在统一流匹配框架中联合学习视觉预测、触觉变形预测和动作预测，通过非对称混合Transformer注意力和接触门控注意力引导，在六项真实密集接触操作任务中平均成功率71.67%。
2026-07-03 cs.RO
Visuo-Tactile Keypoint Correspondences for Object Manipulation
Korea Institute of Machinery & Materials（韩国机械与材料研究院）
本文提出利用视觉-触觉关键点对应关系引导机器人抓取与放置，无需后抓取调整，提高部署效率，实验显示精度优于传统视觉方法。
2024-05-23 cs.RO
T-Rex: Tactile-Reactive Dexterous Manipulation
UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）；Stanford（斯坦福大学）；Panasonic（松下）；La Sapienza University（罗马大学）；ItalAI
提出大规模触觉数据集和可变速率混合Transformer架构，在12项精细操作任务上平均成功率提升超30%。
2026-06-23 cs.RO
MuPNet: Multi-modal Predictive Coding Network for Place Recognition by Unsupervised Learning of Joint Visuo-Tactile Latent Representations
Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；Centrum Wiskunde & Informatica（数学与计算机科学研究中心）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
从不同的感觉模态中提取和绑定显著信息以确定环境中的共同特征是机器人技术中的一个重大挑战。在这里，我们提出了MuPNet（多模态预测编码网络），一个生物学上合理的网络架构，用于从仿生移动机器人收集的视觉触觉传感数据中提取关节潜在特征。在这项研究中，我们评估MuPNet应用于地方识别作为一个模拟的仿生机器人平台探索视觉锯齿环境。F1分数表明，其性能优于现有的手工制作的感觉特征提取技术是在受控条件下等效的，当在新的环境中操作时具有显著的改善。
2019-09-16 cs.CV cs.RO
TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；PHANES AI（PHANES人工智能公司）
研究针对日常环境中灵巧操作需预测与反应的问题，提出TouchWorld模型。该模型采用分层策略，分离多项任务。通过将触摸用于预测和反馈，提升局部接触适应性。在六个相关任务中表现出色，超越最强基线。
2026-07-10 cs.RO
Feel Robot Feels: Tactile Feedback Array Glove for Dexterous Manipulation
本文提出TAG手套，通过高精度手部运动捕捉与高分辨率触觉反馈，实现灵巧操作的触觉闭环远程操控，提升接触几何和动态力的实时感知能力。
2026-03-30 cs.RO
A multi-modal tactile fingertip design for robotic hands to enhance dexterous manipulation
Carnegie Mellon University（卡内基梅隆大学）
提出一种低成本、紧凑的多模态触觉指尖设计，集成应变式与接触式麦克风传感器，在灵巧操作任务中单独或结合视觉实现高成功率，如100%精确取杯。
2026-09-29 cs.RO
