Sim2Real Manipulation on Unknown Objects with Tactile-based Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出在模拟器中仅用视觉触觉输入对多样物体进行强化学习，通过研究触觉表示缓解Sim2Real迁移问题，在真实旋转任务上显著优于基线。
2024-03-18 cs.RO
VT-Refine: Learning Bimanual Assembly with Visuo-Tactile Feedback via Simulation Fine-Tuning
Columbia University（哥伦比亚大学）；NVIDIA（英伟达）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出 VT-Refine 框架，将真实视觉-触觉示教训练的扩散策略放入高保真触觉数字孪生中，用大规模强化学习微调，从而提升接触丰富双臂装配的鲁棒性与 sim-to-real 性能。
2025-10-18 cs.LG cs.RO
PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；FAIR at Meta（Meta的FAIR团队）；UC Berkeley（伯克利大学）
提出PTLD方法，通过真实世界触觉策略数据蒸馏鲁棒状态估计器，解决触觉仿真困难问题，在灵巧操作任务中相比纯本体感策略提升182%和57%。
2026-06-19 cs.RO
SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation
Tuojing Intelligence（拓境智能）；Tsinghua University（清华大学）；Southeast University（东南大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Manchester（曼彻斯特大学）；Simple AI；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）；Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）
本研究推出SoftVTBench视觉-触觉数据集与基准，定义形变感知成功率（DSR），发现触觉信息本身未必提升多模态融合，为可变形物体操作的物理交互研究提供资源。
2026-08-20 cs.RO
ManiFeel: Benchmarking and Understanding Visuotactile Manipulation Policy Learning
Purdue University（普渡大学）
ManiFeel通过提供视觉-触觉操作任务的基准测试，系统研究了监督策略学习，揭示了触觉反馈在提升操作性能中的关键作用，并为未来研究提供了可靠的基础。
2026-01-12 cs.RO
AnyRotate: Gravity-Invariant In-Hand Object Rotation with Sim-to-Real Touch
University of Bristol（布里斯托大学）；Cambrian Robotics（坎布里安机器人公司）
针对机器人手利用触觉实现灵巧手内操作的难题，提出AnyRotate系统，通过仿真训练密集触觉策略与Sim-to-Real触觉迁移方法，实现重力不变的多轴物体旋转，提升操作鲁棒性。
2024-11-03 cs.AI cs.LG cs.RO
Disambiguate Gripper State in Grasp-Based Tasks: Pseudo-Tactile as Feedback Enables Pure Simulation Learning
Zhejiang University（浙江大学）；Huawei（华为）
针对抓取任务中夹爪状态歧义降低模仿学习鲁棒性的问题，提出以伪触觉作为反馈的方法，无需额外数据与硬件即可提供无噪声二元状态观测，实现纯仿真学习并在三个真实任务中验证了其有效性与高效性。
2026-10-06 cs.RO
Tactile Sim2Real without Tactile Simulation via Bottlenecked Latent Reconstruction
University of Michigan（密歇根大学）；Google DeepMind（谷歌DeepMind）
该研究提出SBLR框架，无需触觉仿真，通过两阶段策略训练和未配对数据对齐，在插销插入等任务上实现高零样本成功率，性能优于物理仿真基线。
2026-10-14 cs.RO
FastGrasp: Learning-based Whole-Body Control Method for Fast Dexterous Grasping with Mobile Manipulators
ShanghaiTech University（上海科技大学）
本文提出FastGrasp方法，通过强化学习策略生成抓取候选并协调移动基底、臂和手的运动，结合触觉反馈实现高速稳定抓取，实验证明其在仿真和现实中的优越性能。
2026-09-29 cs.AI cs.RO
Learning Controlled Separation of Small Objects Between Two Fingers with a Tactile Skin
Learning AI for Dextrous Robots Lab（灵巧机器人学习人工智能实验室）；Technical University of Munich（慕尼黑技术大学）；DLR Institute of Robotics and Mechatronics（德意志航天中心机器人与机电研究所）
本文提出并解决了多用途机器人手两个手指间小物体的受控分离任务，通过强化学习训练纯触觉策略，并分析了空间分辨触觉反馈的优势。
2026-05-29 cs.RO
HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning
HydroShear通过建模粘滞滑动和路径依赖的力与剪切，实现更真实的触觉仿真，提升强化学习策略在四个任务中的成功率。
2026-10-19 cs.AI cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley（加州大学伯克利分校）；KAIST（韩国科学技术院）
本文提出 M3L 掩码多模态学习框架，在强化学习中联合训练视觉-触觉表征与策略，提升样本效率和跨任务泛化，并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
NeuralTouch: Neural Descriptors for Precise Sim-to-Real Tactile Robot Control
Department of Engineering Mathematics and Bristol Robotics Laboratory（工程数学系和布里斯托尔机器人实验室）
提出NeuralTouch多模态框架，结合神经描述符场（NDF）和触觉感知，通过深度强化学习策略利用触觉反馈优化抓取姿态，实现精确且可泛化的机器人操作。
2026-05-25 cs.RO
Factorized Tactile Representation and Control for Sim-to-Real Manipulation
Amazon Fulfillment Technologies & Robotics（亚马逊履约技术与机器人）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
提出因子化触觉表征与控制框架，将接触响应分解为几何、力分布和时间变化，通过触觉门控策略实现仿真到现实迁移，在插销插入等任务中显著提升性能。
2026-10-08 cs.RO
Tacmap: Bridging the Tactile Sim-to-Real Gap via Geometry-Consistent Penetration Depth Map
Sharpa；HKUST（香港科技大学）；NVIDIA（英伟达）
Tacmap通过统一的变形地图表示弥合触觉仿真与现实的差距，利用体积穿透深度实现高保真且高效的触觉仿真，验证了在抓取任务中仿真政策的零样本迁移能力。
2026-05-12 cs.RO
The Role of Tactile Sensing in Learning and Deploying Grasp Refinement Algorithms
Technical University of Munich（慕尼黑工业大学）；Harvard University（哈佛大学）；RightHand Robotics, Inc.（RightHand机器人公司）
机器人手设计中的一个长期存在的问题是触觉感知必须有多精确。本文使用模拟触觉信号和强化学习（RL）框架来研究抓取系统中的感知需求。我们的第一个实验研究需要丰富的触觉感知的奖励RL为基础的把握细化算法多指机器人手。我们系统地整合不同层次的触觉数据到奖励使用分析把握稳定性指标。我们发现，在奖励中结合接触位置，法线和力的信息，长方体的平均成功率为95.4%，圆柱体为93.1%，球体为62.3%，手腕位置误差在0到7厘米之间，旋转误差在0到14度之间。这种基于接触的奖励比非触觉的二元奖励基线高出42.9%。我们的后续实验表明，当使用支持奖励的奖励进行训练时，控制策略的状态向量中触觉信息的使用大大减少，对于状态中没有触觉感知的情况，性能最多下降6.6%。由于策略不需要在测试时访问奖励信号，因此我们的工作意味着在支持抓取的手上训练的模型可以部署到具有较小传感器套件的机器人手上，从而可能大幅降低成本。
2022-03-27 cs.AI cs.LG cs.RO
On Policy Learning Robust to Irreversible Events: An Application to Robotic In-Hand Manipulation
Technical University of Munich（慕尼黑工业大学）；ABB Corporate Research（ABB企业研究院）；German Aerospace Center (DLR)（德国航空航天中心）
在这封信中，我们提出了一种方法来学习手操作技能与低成本，欠驱动假肢手的存在下，不可逆的事件。我们的方法结合了基于视觉感知的强化学习和基于触觉感知的低级反应控制，旨在避免滑倒。强化学习层的目标不仅在于实现手内操纵目标，而且在于最小化触觉反应控制的干预。这样，在学习过程中，我们认为是不可逆事件的物体滑动的发生率显着降低。当不可逆事件发生时，学习过程被认为失败。我们在两个任务中展示了性能，其中包括仅使用手指重新定位杯子和瓶子。实验结果表明，所提出的架构允许在笛卡尔空间中达到目标，并显着减少在学习过程中的对象滑动的发生。此外，如果没有反应控制和强化学习之间的协同作用，就不可能避免不可逆的事件，因此也不可能学习任务。
2019-11-20 cs.AI cs.LG cs.RO
Rotating without Seeing: Towards In-hand Dexterity through Touch
HKUST（香港科技大学）；UC San Diego（加州大学圣地亚哥分校）
触觉信息在人类的灵活性中起着至关重要的作用。它揭示了可能无法直接从视觉中推断出的有用的联系信息。事实上，人类甚至可以在不使用视觉的情况下进行手灵巧的操作。我们能为多指机器人手提供同样的能力吗？在本文中，我们提出了触摸灵巧，一个新的系统，可以执行在手的对象旋转，只使用触摸看不到的对象。而不是依赖于精确的触觉感知在一个小的区域，我们引入了一个新的系统设计，使用密集的二进制力传感器（触摸或不触摸）覆盖在整个机器人的手（手掌，手指链接，指尖）的一侧。这样的设计成本低，提供更大的物体覆盖范围，同时最小化Sim2Real间隙。我们使用强化学习对仿真中的不同对象进行训练，以实现手内旋转策略。依靠仅触摸传感，我们可以直接在真正的机器人手中部署策略，并旋转训练中没有出现的新对象。广泛的消融是如何进行触觉信息帮助手操纵。我们的项目可在https://touchdexterity.github.io。
2023-03-27 cs.AI cs.LG cs.RO
OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies
University of Maryland, College Park（马里兰大学帕克分校）；Georgia Institute of Technology（佐治亚理工学院）
研究针对视觉策略在接触丰富操作中不足的问题，提出OmniTacTune管道，通过残余校正让触觉反馈适应预训练视觉策略，经两阶段设计，实验证明其能跨任务等泛化，有效提升策略成功率。
2026-07-07 cs.AI cs.RO
Bi-Touch: Bimanual Tactile Manipulation with Sim-to-Real Deep Reinforcement Learning
University of Bristol（布里斯托尔大学）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
本文提出 Bi-Touch 双臂触觉机器人系统，结合深度强化学习、奖励设计、目标更新机制与 sim-to-real 方法，完成多种双手触觉操作任务并验证真实世界泛化性。
2023-07-12 cs.RO
Sim-to-Real Model-Based and Model-Free Deep Reinforcement Learning for Tactile Pushing
University of Bristol（布里斯托大学）
提出一种基于触觉感知的深度强化学习方法，通过仿真到现实迁移实现物体推动，无模型策略在增加训练样本后优于基于模型规划器，突显触觉信息在精细操控中的价值。
2023-07-26 cs.RO
Learning to Grasp Without Seeing
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出基于触觉感知的抓取方法，通过触觉信号表征和迭代重抓取提升抓取稳定性，实验表明在无视觉信息下可有效抓取新型物体。
2018-05-10 cs.AI cs.RO cs.SY
Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation
The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）
提出VISTA，一种工作空间级等变视觉-触觉扩散策略，通过球形融合与谐波旋转实现数据高效的接触丰富模仿学习，实验证明其数据效率显著优于基线。
2026-10-05 cs.AI cs.RO
Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins
New York University（纽约大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
提出 ViSk 框架，将未校准磁性触觉皮肤数据作为 token 与视觉共同输入 transformer 策略，在四项真实富接触操作任务中显著提升性能与空间泛化。
2024-10-26 cs.AI cs.RO
Tactile-RL for Insertion: Generalization to Objects of Unknown Geometry
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
对象插入是典型的接触丰富的操作任务。这项任务仍然具有挑战性，特别是当考虑到未知几何形状的一般对象时，这大大限制了理解对象与环境之间的接触配置的能力。我们研究的问题，对齐的对象和环境与基于搜索的反馈插入政策。插入过程被建模为一个情节的政策，迭代之间的插入尝试，然后姿势校正。我们探索不同的机制来学习这样的政策的基础上强化学习。本文的主要贡献是证明了可以学习在不同对象几何形状中推广的触觉插入策略，以及学习代理的关键设计选择的消融研究：1）学习方案的类型：监督与强化学习; 2）学习时间表的类型：无指导与课程学习; 3）传感模态的类型：力/扭矩（F/T）与触觉;以及4）触觉表示的类型：触觉RGB与触觉流。我们表明，暴露于4个训练对象的学习代理的最佳配置（RL +课程+触觉流）产生插入策略，插入4个新对象，成功率超过85.0%，并在3~4次尝试。F/T和触觉感知之间的比较表明，虽然基于F/T的策略学习效率更高，但基于触觉的策略提供了更好的泛化能力。
2021-04-02 cs.RO
Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University, IIIS（清华大学人工智能研究所）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）
本文提出TactAR遥操作系统和反应式扩散策略（RDP），通过慢-快两级架构结合视觉与触觉，实现接触丰富操作的快速反应，显著优于现有视觉模仿学习方法。
2025-04-23 cs.AI cs.LG cs.RO
FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Sharpa；Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
提出FTP-1，首个通用基础触觉策略，通过异构编码器和共享Transformer专家，跨21种传感器和3000小时数据预训练，实现触觉操作技能的跨传感器迁移，在未见传感器上成功率提升31%。
2026-10-28 cs.RO
TransDex: Pre-training Visuo-Tactile Policy with Point Cloud Reconstruction for Dexterous Manipulation of Transparent Objects
TransDex通过点云重建预训练实现视觉-触觉融合政策，解决透明物体操作中的自遮挡和深度噪声问题，提升真实机器人系统中精细操作性能。
2026-07-22 cs.AI cs.RO
$N_0$-VTLA: Scaling Vision-Tactile-Language-Action Model with Latent Tactile Tokens
NeoteAI Team（NeoteAI团队）；Fudan TEAI Team（复旦大学TEAI团队）
研究提出$N_0$-VTLA模型，基于视觉主干，通过视觉-触觉预训练、分阶段触觉路径集成和优势条件离线策略改进进行触觉集成训练。该模型在丰富接触基准测试中表现出色，为通用触觉驱动操作策略奠定基础。
2026-07-28 cs.RO
Touch-to-Touch Translation -- Learning the Mapping Between Heterogeneous Tactile Sensing Technologies
University of Genoa（热那亚大学）；Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
本文提出两种数据驱动方法（生成模型与ResNet回归）学习异构触觉传感器Digit与CySkin间的映射，实现跨传感器触觉数据转换，误差15.18%。
2024-11-04 cs.RO
TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
Meta FAIR
TactAlign通过触觉对齐方法实现了人到机器人的政策转移，无需配对数据或人工标注，适用于多种接触丰富任务并具备良好的泛化能力。
2026-02-14 cs.RO
Tube Diffusion Policy: Reactive Visual-Tactile Policy Learning for Contact-rich Manipulation
Meta Reality Labs Research（Meta现实实验室）；Idiap Research Institute（Idiap研究机构）；École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）；University of Toronto（多伦多大学）；Purdue University（普渡大学）
本文提出Tube Diffusion Policy，通过结合扩散模型与管反馈控制，解决富接触操作中对不确定性和高频触觉反馈的快速反应需求，实验验证其在多种任务中的优越性能。
2026-04-26 cs.RO
Canonical Representation and Force-Based Pretraining of 3D Tactile for Dexterous Visuo-Tactile Policy Learning
Center on Frontiers of Computing Studies, School of Computer Science, Peking University（前沿计算研究中心，计算机科学学院，北京大学）；PKU-Agibot Lab, School of Computer Science, Peking University（北京大学计算机科学学院PKU-Agibot实验室）；National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机科学学院，北京大学）
针对3D触觉数据维度高、缺乏预训练模型的问题，提出规范表示方法和基于力的自监督预训练任务，在真实灵巧操作任务上取得78%的平均成功率，验证了方法的有效性。
2025-06-16 cs.RO
TransForce: Transferable Force Prediction for Vision-based Tactile Sensors with Sequential Image Translation
King’s College London（伦敦国王学院）；Beijing Institute of Technology（北京理工大学）
TransForce通过图像翻译将源传感器数据迁移至新传感器，结合循环力预测模型，在剪切方向显著提升力预测精度，最低平均误差达0.69N。
2025-02-26 cs.RO
SimpleTouch: Can Vision-Language-Action Models Master Contact-Rich Manipulation Without Tactile Policy Pretraining?
Tsinghua University（清华大学）；Amap, Alibaba Group（高德，阿里巴巴集团）；Hong Kong Polytechnic University（香港理工大学）
SimpleTouch通过向VLA模型添加触觉专家，仅用任务演示进行单阶段训练，无需触觉策略预训练，在UniVTAC和真实任务上均取得最高成功率，证明额外预训练并非必需。
2026-10-05 cs.RO
PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies
MIT CSAIL
本文提出 PolyTouch 多模态触觉传感器，结合触觉扩散策略，显著提升了非结构化环境中富接触操作的鲁棒性与性能。
2025-04-27 cs.AI cs.RO
ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation
ShanghaiTech University（上海科技大学）；InstAdapt
研究针对丰富接触式机器人操作中视觉-触觉学习扩展难的问题，提出ViTacWorld模型，利用真实和模拟数据预训练并微调，能根据机器人动作预测视觉与触觉反馈，实现动作条件策略评估，提升策略性能。
2026-09-29 cs.RO
Tactile-based Active Inference for Force-Controlled Peg-in-Hole Insertions
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
针对视觉遮挡和抓取位姿不确定下的精密插销问题，本文提出结合RL力控与触觉主动推断的双策略架构，在小于0.1 mm间隙任务中达到90%成功率并可泛化至五种销钉。
2023-09-27 cs.RO
Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding
Purdue University（普渡大学）；Meta Reality Labs Research（Meta现实实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出Contact-Grounded Policy，通过预测机器人状态和触觉反馈的耦合轨迹，生成接触基础的灵活视觉-触觉策略，优于现有基线方法。
2026-05-08 cs.RO
Seeing Touch from Motion: A Unified Modality-Aware Visuo-Tactile Policy with Tactile Motion Correlation
提出基于触觉运动相关性的运动感知触觉表示，并利用混合Transformer架构实现统一模态感知的视觉-触觉策略，以解决接触丰富操作中的感知模糊和跨模态融合问题。
2026-06-29 cs.CV cs.RO
Tactile-Conditioned Diffusion Policy for Force-Aware Robotic Manipulation
Department of Computer Science, Technical University of Darmstadt（德累斯顿技术大学计算机科学系）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, Technical University of Darmstadt（德累斯顿技术大学认知科学中心）；Hessian Center for Artificial Intelligence (Hessian.AI), Darmstadt（黑森人工智能中心（Hessian.AI））；Robotics Institute Germany (RIG)（德国机器人研究所）
针对接触丰富操作中力控制缺失问题，提出FARM框架，利用高维触觉数据推断力信号并定义基于力的动作空间，通过扩散策略联合预测位姿、夹爪宽度和力，在三个力需求不同的任务中优于基线。
2025-10-15 cs.RO
TACO: TActile World Model as a Self-COrrector for Scalable Robot Policy Post-Training
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室）；AI 2 Robotics（人工智能与机器人研究所）；Sun Yat-sen University（中山大学）；Beihang University（北京航空航天大学）
研究VLA模型在接触丰富任务中的问题，提出TACO框架，通过触觉感知世界模型驱动可扩展VLA训练后校正，结合多种方法提升策略，实验表明其能显著提高成功率。
2026-09-17 cs.RO
Residual Rotation Correction using Tactile Equivariance
Northeastern University（东北大学）；Stanford University（斯坦福大学）
针对视觉-触觉策略学习样本效率低的问题，提出EquiTac框架，利用手中物体旋转的SO(2)对称性，通过重建表面法线和SO(2)等变网络预测残余旋转动作，提升样本效率与泛化能力，在真实机器人上实现鲁棒零样本泛化。
2025-11-11 cs.RO
Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
Purdue University（普渡大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Columbia University（哥伦比亚大学）
本文提出一种具有层次结构的触觉感知运动-操作策略学习框架，通过真实世界示范训练触觉条件的视觉-触觉高层策略，并结合大规模模拟强化学习学习能追踪多样指令轨迹和触觉交互的全身控制策略，提升接触丰富场景下的协调运动与操作性能。
2026-07-14 cs.RO
Tactile Pose Estimation and Policy Learning for Unknown Object Manipulation
Northeastern University（东北大学）
对象姿态估计方法允许在非结构化环境中找到对象的位置。这是一个高度期望的自主机器人操作的技能，因为机器人需要估计对象的精确姿态，以便操纵它们。在本文中，我们探讨的问题，触觉姿态估计和操纵的类别级对象。我们提出的方法使用贝叶斯滤波器与学习触觉观察模型和确定性运动模型。之后，我们使用深度强化学习训练策略，其中代理使用贝叶斯过滤器的信念估计。我们的模型在模拟中进行训练并转移到现实世界。我们通过一系列的模拟和真实世界的实验，分析我们的框架的可靠性和性能，并比较我们的方法的基线工作。我们的研究结果表明，学习的触觉观察模型可以本地化的姿态，新的对象在2毫米和1度的位置和方向的分辨率，分别。此外，我们的实验上的瓶子打开任务的抓手需要达到所需的把握状态。
2022-03-21 cs.RO
Inference-time Policy Steering via Vision and Touch
Carnegie Mellon University（卡内基梅隆大学）
提出ViTaL框架，通过视觉采样验证和触觉引导扩散编辑的双层优化，在推理时引导机器人策略，显著提升接触丰富操作任务的成功率。
2026-06-16 cs.AI cs.LG cs.RO
ETac: A Lightweight and Efficient Tactile Simulation Framework for Learning Dexterous Manipulation
ETac通过轻量数据驱动模型高效模拟软体接触动态，实现高保真度与效率，支持大规模策略训练，提升触觉感知操作的学习效率和可扩展性。
2026-04-22 cs.RO
Contact SLAM: An Active Tactile Exploration Policy Based on Physical Reasoning Utilized in Robotic Fine Blind Manipulation Tasks
Research Center for Intelligent Robotics（智能机器人研究中心）；National Key Laboratory of Aerospace Flight Dynamics（航空飞行动力学国家重点实验室）；Shaanxi Province Innovation Team of Intelligent Robotic Technology（陕西省智能机器人技术创新团队）；School of Astronautics, Northwestern Polytechnical University（航空学院，西北工业大学）
本文提出接触SLAM方法，通过触觉传感和先验知识实现接触密集任务中的盲操控，提升探索效率与准确性。
2026-01-26 cs.RO
UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data
Korea Institute of Science and Technology（韩国科学技术研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出UniDex-ViTac框架，利用人类视频引导模拟生成演示，训练视觉-触觉策略，在模拟和真实机器人上均显著提升灵巧操作成功率。
2026-09-16 cs.RO
What is the Better Curriculum: Controller-Shaped Grasping Behavior for Contact Force-Sensitive Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对力敏感操作中手动数据收集困难的问题，提出用25 Hz触觉反射控制器作为教师生成示范，训练无触觉策略，在ACT上实现95%稳定抓取，并揭示扰动抑制仍依赖控制器。
2026-09-23 cs.RO
TACT: Humanoid Whole-body Contact Manipulation through Deep Imitation Learning with Tactile Modality
CNRS-AIST JRL (Joint Robotics Laboratory), IRL and National Institute of Advanced Industrial Science and Technology (AIST)（CNRS-AIST联合机器人实验室、IRL和国家先进工业科学与技术研究院）；Tokyo University of Science（东京科学大学）；University of Tsukuba（茨口大学）
本研究提出TACT策略，结合触觉与视觉模态，通过模仿学习使人形机器人RHP7 Kaleido实现平衡行走中的全身接触操作，增强稳定性并提升操控鲁棒性。
2025-06-18 cs.RO
PredTac: Learning Contact-Rich Manipulation with Predicted Touch
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
PredTac通过视觉和机器人状态预测触觉，替代物理触觉传感器，在仿真和真实机器人上提升接触丰富操作成功率，接近真实触觉性能。
2026-09-15 cs.RO
Contextual Reinforcement Learning of Visuo-tactile Multi-fingered Grasping Policies
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；University of Utah（犹他大学）
使用仿真来训练机器人操作策略，可以安全地生成几乎无限数量的训练数据。迄今为止，使用模拟的主要挑战之一是弥合现实差距，以便在模拟中训练的政策可以在现实世界中部署。我们探讨现实的差距，学习的背景下，多指机器人抓取的政策。我们提出了一个抓取物体的触觉（GOAT）机器人手的方法，学习克服现实差距的问题。在我们的方法中，我们使用人手运动演示初始化和减少搜索空间的学习。我们将我们的策略与感兴趣的对象的边界长方体尺寸相结合，这使得该策略能够比直接使用图像或点云更灵活地表示。利用手中的指尖触摸传感器允许该策略克服由粗糙限界框引入的几何信息的减少以及姿态估计不确定性。我们展示了我们的学习策略在没有任何微调的情况下成功地在真实机器人上运行，从而弥合了现实差距。
2019-11-24 cs.RO
Learning active tactile perception through belief-space control
McGill University（麦吉尔大学）；Samsung AI Center Montreal（三星蒙特利尔人工智能中心）
本文提出基于生成式世界模型和信念空间控制的方法，使机器人通过物理交互自主学习触觉探索策略，高效估计物体质量、高度等未知属性，并在仿真和真实机器人上验证了有效性。
2023-11-30 cs.AI cs.RO
