Minsight: A Fingertip-Sized Vision-Based Tactile Sensor for Robotic Manipulation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出指尖大小的视觉触觉传感器 Minsight，利用机器学习以 60 Hz 输出三维接触力图，并通过低误差测量与两项机器人任务验证其灵巧操作价值。
2023-04-21 cs.RO
Experimental Characterization of Fingertip Trajectory following for a 3-DoF Series-Parallel Hybrid Robotic Finger
Department of Mechanical Engineering, Stony Brook University（机械工程系，石英布鲁克大学）
本文提出了一种三自由度连杆驱动的机器人手指，通过实验验证了其在任务空间轨迹跟踪中的高精度性能，为灵巧手部操作提供了新的基准。
2025-12-02 cs.RO
HumanFT: A Human-like Fingertip Multimodal Visuo-Tactile Sensor
ShanghaiTech University（上海科技大学）；School of Information Science and Technology at ShanghaiTech University（上海科技大学信息科学与技术学院）
本文提出HumanFT，一种复现人类指尖形状与功能的多模态视觉-触觉传感器，通过新型弹性体制造技术和集成压力/振动感知电路，实现实时力测量、高频振动检测与过温警报，以增强人形机器人触觉感知。
2024-10-14 cs.RO
Compliant In-hand Rolling Manipulation Using Tactile Sensing
Center for Robotics and Biosystems and the Department of Mechanical Engineering, Northwestern University（机器人与生物系统中心和机械工程系，西北大学）；Northwestern Institute on Complex Systems (NICO)（复杂系统研究所（NICO））
本文提出了一种基于触觉感知的多指机械手手握滚动操作方法，通过推导动力学方程和设计控制器实现对物体扭量的精确控制。
2026-03-04 cs.RO
VTAP Gripper: Synergizing Fingertip Sensing and a Visuo-Tactile Active Palm for Dexterous In-Hand Manipulation
Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
研究提出集成 VTAP 和触觉阵列传感器手指的夹爪，利用指掌协同与多模态感知实现操作。通过双模态手掌扩展能力，提出重定向框架。经多任务实验验证，该夹爪及框架为灵巧夹爪设计等提供实用参考架构。
2026-07-20 cs.RO
A Durable Vision-Based Tactile Fingertip for Robotic Manipulation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本研究开发了一种耐用型基于视觉的触觉指尖，其耐用性较商用传感器提升两个数量级以上，可通过更换传感模块实现高要求机器人应用中的可维护触觉传感。
2026-08-26 cs.RO
Fingertip Contact Force Direction Control using Tactile Feedback
Institut des sytemes intelligents et de la robotique, Sorbonne University（索邦大学智能与机器人系统研究所）
针对灵巧操作中单指接触力方向精确控制的难题，本文提出一种基于触觉传感的力方向引导方法，并在配备Xela触觉传感器的Allegro手上完成实验验证。
2024-06-17 cs.RO
Haptic Sketches on the Arm for Manipulation in Virtual Reality
Stanford University（斯坦福大学）；Facebook Reality Labs（Facebook现实实验室）；University of Birmingham（伯明翰大学）
我们提出了一个触觉系统，施加力或皮肤变形到用户的手臂，而不是在指尖，可信的虚拟对象作为替代复杂的顶针设备的交互。这样的触觉系统将能够将信息传递到手臂而不是指尖，即使用户使用他们的手操纵虚拟对象。我们开发了一套触觉草图，以确定哪些方向的皮肤变形被认为是更可信的把握和升降机任务。主观报告表明，正常的力量是最可信的反馈，代表这种相互作用。
2019-11-14 cs.RO
Haptic Feedback Relocation from the Fingertips to the Wrist for Two-Finger Manipulation in Virtual Reality
Stanford University（斯坦福大学）；Kadir Has University（卡迪尔哈斯大学）
触觉反馈从指尖到手腕的重新定位已经被认为是一种实现与混合现实虚拟环境的触觉交互同时使手指空闲用于其他任务的方式。我们提出了一对手腕佩戴的触觉触觉设备和虚拟环境，以研究手指和触觉器之间的各种映射如何影响任务性能。呈现给手腕的触觉反馈反映虚拟对象与由食指和拇指控制的虚拟化身之间发生的交互力。我们进行了一项用户研究，比较了四种不同的手指到触觉触觉反馈映射和一种无反馈条件作为对照。我们通过任务完成时间、手指和虚拟立方体的路径长度以及指尖的法向力和剪切力的大小来评估用户执行简单拾取和放置任务的能力。我们发现，多个映射是有效的，有一个更大的影响时，视觉线索有限。我们讨论了我们的方法的局限性，并描述了下一步的多自由度的触觉渲染手腕佩戴设备，以提高虚拟环境中的任务性能。
2022-11-14 cs.HC cs.RO
Self-Supervised Anchoring of Fingertip Sensing to Proprioception and Proactive Actions for Robot Imitation Learning
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；CNRS-AIST JRL (Joint Robotics Laboratory), IRL（法国国家科学研究中心-产业技术综合研究所联合机器人实验室（JRL），IRL）
针对模仿学习中指尖感知难以利用的问题，提出本体感觉与主动锚定（PROPRA）预训练方法，将指尖传感器历史与本体感觉和动作对齐，在真实操作任务上提升成功率。
2026-09-25 cs.RO
The N2D Haptic Glove: A Multi-Finger Glove for 2D Directional Force Feedback for Contact Rich Manipulation
University of California San Diego（加州大学圣地亚哥分校）
提出 N2D 触觉手套，通过绞盘驱动在指尖提供二维弯曲-伸展力反馈，显著降低遥操作中的接触力误差并提高一致性。
2026-06-15 cs.RO
Glovity: Learning Dexterous Contact-Rich Manipulation via Spatial Wrench Feedback Teleoperation System
提出低成本可穿戴遥操作系统Glovity，集成空间力矩反馈与指尖霍尔传感器校准，通过直观反馈与精确重定位解决富接触操作挑战，显著提升任务成功率并促进模仿学习。
2025-10-10 cs.RO
PLATO Hand: Shaping Contact Behavior with Fingernails for Precise Manipulation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony Group Corporation（索尼集团）
本文提出PLATO手，一种具有混合指尖的灵活机器人手，通过结合刚性指甲、嵌入式远节指骨和顺应性肉垫，实现接触行为的塑造。研究开发了基于应变能的弯曲-压入模型，指导指尖设计并解释材料刚度和接触几何如何控制指尖变形分配。实验显示提升了捏合稳定性、指甲介导的背侧接触力传输和本体感觉可观察性，并成功执行了敏感边缘操控任务，如纸张分隔、卡片拾取和橙子剥皮。这些结果表明，结合机械结构的接触界面与力-运动透明手指机制提供了精确操控的原理性方法。
2026-05-18 cs.RO cs.SY eess.SY
Immersive Demonstrations are the Key to Imitation Learning
Imperial College London（帝国理工学院）；Dyson School of Design Engineering（戴森设计工程学院）
实现成功的机器人操作是机器人在工业和家庭环境中广泛使用的重要一步。最近，许多基于学习的方法被提出来解决这个挑战，其中模仿学习显示出巨大的前景。然而，不完美的演示和缺乏反馈的遥操作系统可能会导致穷人甚至不安全的结果。在这项工作中，我们探讨了示范力量反馈的模仿学习的效果，使用反馈手套和机器人手臂，使指尖和手掌水平的力量，分别。10名参与者记录了5个演示的拾取和放置任务与3个抓手，条件下没有力反馈，指尖力反馈，指尖和手掌力反馈。结果表明，力反馈显着减少演示指尖和手掌的力量，导致演示力量的变化较小，并记录轨迹，更快地执行。使用行为克隆，我们发现，代理人训练模仿这些轨迹反映这些好处，即使代理人没有力数据显示给他们在训练过程中。我们的结论是，身临其境的演示，实现力反馈，可能是解锁更安全，更快地执行灵巧的操作策略的关键。
2023-01-22 cs.RO
Augmenting Off-the-Shelf Grippers with Tactile Sensing
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对现成工业夹爪缺乏触觉反馈、自研传感器繁杂难对比的问题，研究团队提出一套专为精细操作设计、数据易解读的开源触觉指尖，经布料边缘与线缆追踪任务验证有效，相关资源已开源。
2023-06-09 cs.RO
A Compliant, Underactuated Hand for Robust Manipulation
Yale University（耶鲁大学）；Harvard University（哈佛大学）；iRobot Corporation（iRobot公司）
本文介绍了一种由5个驱动器驱动的欠驱动手i-HY手，它能够执行广泛的抓取和手内操作任务。这只手的设计是为了满足对适用于移动机器人的耐用、廉价、适度灵巧的手的需求。本文的主要重点将是新的简约设计的i-HY，这是通过选择一组目标任务，围绕这一目标任务的手的设计进行了优化。特别强调的是欠驱动手指的发展，能够既坚定的权力抓地力和低刚度指尖抓地力只使用被动力学的手指机制。实验结果表明，成功地掌握了广泛的目标对象，指尖抓持的稳定性，以及使用被动手指力学调整施加在抓持对象上的力的能力。
2013-01-17 cs.RO
Dexterous In-Hand Manipulation of Slender Cylindrical Objects through Deep Reinforcement Learning with Tactile Sensing
University of Edinburgh（爱丁堡大学）；Tencent Robotics X（腾讯机器人X实验室）；University College London（伦敦大学学院）
本文提出基于触觉反馈和深度强化学习的端到端策略框架，实现机器人三指灵巧手对细长圆柱物体的连续位姿控制，并通过模型校准与域随机化成功完成从仿真到现实的迁移验证。
2023-04-11 cs.RO
UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data
Korea Institute of Science and Technology（韩国科学技术研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出UniDex-ViTac框架，利用人类视频引导模拟生成演示，训练视觉-触觉策略，在模拟和真实机器人上均显著提升灵巧操作成功率。
2026-09-16 cs.RO
FingerTac -- An Interchangeable and Wearable Tactile Sensor for the Fingertips of Human and Robot Hands
Waseda University（早稻田大学）
本文提出一种可穿戴、可互换的指尖触觉传感器FingerTac，用于捕获分布式三轴力，实现人手到机器人手的技能迁移，测量精度高（平均绝对误差0.21/0.16/0.44牛顿）。
2023-10-13 cs.RO
ARTiS: An Adaptive Robotic Gripper for Enhanced Tool Manipulation in Disassembly Applications
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究所（AIST））；The University of Osaka（大阪大学）；Graduate School of Engineering Science, The University of Osaka（大阪大学工程科学研究生院）
本文介绍了一款名为ARTiS的新型机器人抓手，其结合柔性抓手、拟人机械手与刚性机构的优势，经测试可牢固握持各类拆卸工具，适用于自动化与协作任务。
2026-09-10 cs.RO
Robust In-Hand Manipulation via Priors in Reinforcement Learning and Mechanical Design
Center for Robotics and Biosystems, Northwestern University（西北大学机器人与生物系统中心）
研究无外部传感的手中操作难题，引入全局抓握质量先验和局部接触几何先验两种互补物理先验，用于多指机器人手操作物体的手中滚动操作学习，显著提升了旋转效率、抓握稳定性和抗干扰能力，增强任务稳健性与模拟到现实的转移。
2026-07-15 cs.LG cs.RO
Optical Proximity Sensing for Pose Estimation During In-Hand Manipulation
University of Washington（华盛顿大学）
本文首次评估指尖嵌入式光学飞行时间接近传感器在手内操作位姿估计中的效果，提出新型双指手测试平台，并通过粒子滤波和模型预测控制实验证明其位姿误差比触觉基线降低50%、定位误差降低30%。
2023-10-30 cs.RO
Effects of Haptic Feedback on the Wrist during Virtual Manipulation
Stanford University（斯坦福大学）；Facebook Reality Labs（Facebook现实实验室）；University of Birmingham（伯明翰大学）
我们提出了一个触觉系统的虚拟操作提供反馈用户的前臂，而不是指尖。除了视觉渲染的操纵与虚拟指尖，我们采用了一种设备来提供正常或剪切皮肤拉伸在手腕附近的多个点。为了了解设计参数如何影响体验，我们研究了感觉反馈的数量和位置对刚度感知的影响。参与者比较虚拟物体的刚度值，而触觉手镯在手腕的背侧、腹侧或两侧提供交互反馈。刚度歧视的判断和持续时间，以及口头收集的定性结果，表明在不同和多个位置的刺激刚度知觉没有显着差异。
2022-04-12 cs.HC cs.RO
High-Bandwidth Biomimetic Finger for Tactile-Transparent Remote Texture Sensing
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；State Key Laboratory of Smart Farm Technologies and Systems（智慧农场技术与系统全国重点实验室）
本文提出一种仿生指尖，通过多层机械梯度和指纹形态设计，结合高灵敏度惯性测量单元，实现远程振动触觉渲染，并揭示设计对触觉透明度的影响，为远程操作指尖设计提供原则。
2026-09-23 cs.RO
Rapid manufacturing of color-based hemispherical soft tactile fingertips
Delft University of Technology（代尔夫特理工大学）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）；Istituto Italiano di Tecnologia（意大利理工学院）
触觉感知可以提供对关于接触的信息（即，滑动、表面特征、摩擦）的访问，这是视觉所达不到的，但对于操纵是至关重要的。为了获得这些信息，需要对柔软指尖的变形进行密集测量。最近，依赖于摄像机观察可变形膜的触觉传感器已经证明，接触的密集测量是可能的。然而，它们的制造可能是耗时和劳动密集型的。在这里，我们展示了一种新的设计方法，该方法使用多色增材制造和硅胶铸造来有效地制造基于软标记的触觉传感器，这些传感器能够以高分辨率捕获界面处的三维变形场。每个标记由两个叠加的滤色器组成。减色混合编码的正常变形的膜，和横向变形的质心检测发现。通过这种制造方法，我们可以在21 mm半径的半球上达到400个标记的密度，从而可以定期和密集地测量变形。我们校准和验证的方法，通过寻找物体的曲率，与以前的实现相比，精度提高了三倍。结果表明，一个简单而有效的方法来制造人工指尖捕捉丰富的图像的触觉互动接触的位置。
2022-05-03 cs.RO
ARISTO Hand: Sensing-Driven Distal Hyperextension for Fine-Grained Manipulation
Human Centered Robotics Lab at The University of Texas at Austin（德克萨斯大学奥斯汀分校人本机器人实验室）；Sony Group Corporation（索尼集团）
提出一种肌腱驱动机械手ARISTO Hand，通过主动远端过伸和混合指尖传感架构（刚性指甲安装力-扭矩传感器与软电容触觉阵列），增强对薄物体的操作能力，在1-20 mm厚度范围内将拔出力提升2.76倍，并实现SD卡插拔等精细任务。
2026-05-28 cs.RO
FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing
National University of Singapore（新加坡国立大学）；RoboScience（机器人科学）；Huazhong University of Science and Technology（华中科技大学）；South China University of Technology（华南理工大学）
FingerEye通过连续视觉-触觉感知提升机器人灵巧操作，结合视觉和触觉反馈，在模拟和现实环境中使腕部策略的成功率提升超30个百分点。
2026-10-07 cs.RO
A model-free approach to fingertip slip and disturbance detection for grasp stability inference
Institute of Robotics and Intelligent Systems（机器人与智能系统研究所）；Sorbonne University（索邦大学）
针对触觉时间序列复杂性导致触觉感知在机器人操作中利用不足的问题，提出一种基于触觉感知的抓取稳定性评估方法，通过提取任务相关特征并设计支持向量机和逻辑回归分类器检测指尖滑动，实验证明该方法能有效实现在线滑动检测。
2023-11-22 cs.RO eess.SP stat.ML
DenseTact-Mini: An Optical Tactile Sensor for Grasping Multi-Scale Objects From Flat Surfaces
Stanford University（斯坦福大学）
本文提出DenseTact-Mini光学触觉传感器，通过轻拍、指甲和指尖三种抓取策略，实现对1毫米至15毫米多尺度物体的高成功率抓取，展示了软光学触觉传感器在灵巧操作中的潜力。
2023-09-16 cs.RO
HACo: Learning Haptic Active Compliance for Force-Aware Dexterous Manipulation
The University of Hong Kong（香港大学）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；Johns Hopkins University（约翰霍普金斯大学）
HACo通过触觉主动柔顺策略，利用指尖触觉和关节力矩反馈直接学习力调节动作，在真实基准上以83%成功率远超基线，实现无需显式接触建模的闭环力调节。
2026-10-14 cs.RO
Estimating Fingertip Forces, Torques, and Local Curvatures from Fingernail Images
Volkswagen Group（大众汽车集团）；Umeå University（于默奥大学）
灵巧操作的研究为人类的感觉运动控制提供了重要的见解，也为机器人手的操作策略提供了灵感。以前的工作集中在实验环境的限制。在这里，我们描述了一种方法，使用指甲及其周围的皮肤的变形和颜色分布，估计指尖的力，扭矩和接触表面曲率为各种对象，包括接触表面的形状和材料和对象的重量。所提出的方法规避了与传感器化物体、手套或固定接触表面类型相关的限制。此外，与以前的单手指估计在实验环境中相比，我们扩展的方法，多手指的力估计，这可以用于应用程序，如人类抓握分析。使用了四种算法，c.q.，高斯过程（GP）、卷积神经网络（CNN）、具有快速丢弃的神经网络（NN-FD）和具有快速丢弃的递归神经网络（RNN-FD），以对从图像到对应标签的映射进行建模。结果进一步表明，该方法具有较高的预测力，扭矩和接触表面的准确性。
2019-09-09 cs.CV cs.LG cs.RO
LightTact: A Visual-Tactile Fingertip Sensor for Deformation-Independent Contact Sensing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
提出LightTact传感器，通过环境光阻断光学配置实现变形无关的接触检测，在无宏观变形下（如液体、超软材料）实现高对比度接触分割，并解锁轻接触机器人操作。
2026-06-05 cs.RO
Digitizing Touch with an Artificial Multimodal Fingertip
FAIR at Meta（Meta FAIR研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；TU Dresden（德累斯顿工业大学）；The Centre for Tactile Internet with Human-in-the-Loop (CeTI)（以人为中心的触觉互联网中心（CeTI））
本研究提出一种人工多模态指尖传感器，集成高分辨率触觉感知与设备端AI，实现超人类触觉数字化，并开源平台以推动相关研究。
2024-11-04 cs.AI cs.LG cs.RO
Shear-based Grasp Control for Multi-fingered Underactuated Tactile Robotic Hands
University of Bristol（布里斯托尔大学）；University of Pisa（比萨大学）；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）
该研究针对欠驱动触觉机械手的易碎物体抓取操控问题，提出基于microTac触觉传感器反馈的剪切力控制框架，结合深度学习与迁移学习构建接触模型，实现了抗干扰的类人灵巧操控。
2025-03-21 cs.RO
Exploiting High Quality Tactile Sensors for Simplified Grasping
Nottingham Trent University（诺丁汉特伦特大学）；Ulster University（阿尔斯特大学）
机器人被期望抓住各种各样的物体，这些物体的形状、重量或材料类型都不同。因此，为机器人提供类似于人类的触觉能力对于涉及人与机器人或机器人与机器人交互的应用至关重要，特别是在机器人预期抓取和操纵以前未遇到的复杂物体的情况下。成功抓取和操纵物体的一个关键方面是使用配备有多个高性能传感器的高质量指尖，这些传感器适当地分布在特定的接触表面上。在本文中，我们提出了一个详细的分析使用两种不同类型的商用机器人指尖（BioTac和WTS-FT），其中每一个都配备了多个传感器分布在指尖的接触表面。我们进一步证明，由于指尖的高性能，不需要复杂的自适应抓取算法来抓取日常物体。我们的结论是，一个简单的算法的基础上的比例控制器将足以为许多抓应用程序，提供相关的指尖表现出高灵敏度。在定量评估中，我们还证明，部分由于传感器分布，基于BioTac的指尖比WTS-FT设备表现更好，能够提升高达850 g的负载，并且简单的比例控制器即使在物体暴露于显著的外部振动挑战时也可以适应抓握。
2022-07-25 cs.CV cs.RO
Design and Control of Roller Grasper V2 for In-Hand Manipulation
Stanford University（斯坦福大学）
执行手操作的能力仍然是一个未解决的问题;具有这种能力将允许机器人执行复杂的任务，需要重新定位和重新定向抓取的物体。在这项工作中，我们提出了一种新的非拟人机器人抓持器的能力，通过在指尖的主动表面操纵物体。主动表面是通过具有两个自由度（DoF）的球形滚动指尖实现的--用于表面重新定向的枢转运动--以及用于移动物体的连续滚动运动。另一个自由度位于每个手指的底部，允许手指抓住一系列大小和形状的物体。瞬时运动学的推导和对象都成功地操纵了一个自定义的手工制作的控制方案，以及通过模仿学习，在模拟和实验上的硬件。
2020-11-17 cs.LG cs.RO cs.SY
HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning
King’s College London, UK（伦敦国王学院）；Huawei, Noah’s Ark Lab, UK（华为、诺亚实验室）；University College London, UK（伦敦大学学院）
提出HapTile数据集，通过集成指尖触觉反馈和操作员触觉感知，为接触丰富的机器人操作任务提供视觉-触觉-语言-动作联合数据，并验证其在策略学习中的有效性。
2026-06-23 cs.RO
A novel tactile palm for robotic object manipulation
Wuhan University（武汉大学）；Tencent Robotics X（腾讯机器人X实验室）；Renmin Hospital of Wuhan University（武汉大学人民医院）；Wuhan Institute of Technology（武汉工程大学）
本文提出一种模拟人类手掌功能的新型软体触觉传感器，通过电极阵列、软体皮肤和导电海绵估计物体接触状态，实验验证了其用于机器人物体操作的有效性。
2023-08-10 cs.RO
GrainGrasp: Dexterous Grasp Generation with Fine-grained Contact Guidance
Dalian University of Technology（大连理工大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对灵巧手最优抓取策略生成难的问题，提出GrainGrasp方案，通过生成模型预测各指尖接触图、开发仅需点云的优化算法，实现精准类人抓取。
2024-05-16 cs.RO
FINO-Net: A Deep Multimodal Sensor Fusion Framework for Manipulation Failure Detection
Istanbul Technical University（伊斯坦布尔理工大学）；Halmstad University（哈尔姆斯塔德大学）
服务机器人在非结构化环境中的安全操作是一个具有挑战性的问题。需要一个故障检测系统来监测和检测非预期的结果。我们提出了FINO-Net，一种新型的基于多模态传感器融合的深度神经网络来检测和识别操作故障。我们还介绍了一个多模态数据集，包含229个真实世界的操作数据记录与巴克斯特机器人。我们的网络结合了RGB、深度和音频读数，可以有效地检测和分类故障。结果表明，融合RGB与深度和音频模态显着提高了性能。FINO-Net在我们的新数据集上实现了98.60%的检测和87.31%的分类准确率。代码和数据可在https://github.com/ardai/fino-net上公开获取。
2021-07-30 cs.RO
Multimodal Sensory Learning for Real-time, Adaptive Manipulation
Ecole Polytechnique Federal de Lausanne（洛桑联邦理工学院）
实时的【形】操作的自适应控制需要快速估计和预测对象属性。虽然这一领域的机器人学习主要集中在使用视觉，但由于物体遮挡，许多任务无法依赖视觉。在这里，我们制定了一个学习框架，使用触觉和音频数据的多模态感官融合，以快速表征和预测对象的属性。预测中使用的反应控制器，以适应对物体的抓地力，以补偿运动过程中所经历的预测惯性力。从人类如何与物体互动中汲取灵感，我们提出了一个实验装置，从中我们可以了解如何最好地利用不同的感官信号，并积极与物体互动和操纵物体，以快速学习它们的物体属性，以进行安全操纵。
2021-10-09 cs.RO
MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
MIGU通过融合几何与语义不确定性，实现多模态指令接地，提升操作规划性能，在真实基准上优于基线。
2026-09-22 cs.RO
Tactile-Driven Gentle Grasping for Human-Robot Collaborative Tasks
University of Bristol（布里斯托大学）；University of Pisa（比萨大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出了一种控制方案，力敏，温柔的把握与比萨/IIT拟人SoftHand配备了一个简化版本的TacTip光学触觉传感器的所有五个指尖。触觉传感器提供有关抓握以及手指如何与所持物体交互的高分辨率信息。我们首先描述了一系列的硬件开发，用于执行异步传感器数据采集和处理，从而在一个快速的控制回路足以实时把握控制。然后，我们开发了一种新的把握控制器，同时使用所有五个指尖传感器的触觉反馈，轻轻地，稳定地抓住43个不同的几何形状和刚度的对象，然后应用到人与机器人的交接任务。这些发展打开了大门，以更先进的操纵与欠驱动的手通过快速反射控制使用高分辨率触觉感知。
2023-03-16 cs.RO
Bi-HIL: Bilateral Control-Based Multimodal Hierarchical Imitation Learning via Subtask-Level Progress Rate and Keyframe Memory for Long-Horizon Contact-Rich Robotic Manipulation
The University of Osaka（大阪大学）；Kobe University（神户大学）
本文提出Bi-HIL框架，通过子任务级进度率和关键帧记忆实现长时程接触丰富机械臂操作的稳定分层协调，验证了显式建模子任务进展与力感知控制的重要性。
2026-03-26 cs.RO
Fine Manipulation Using a Tactile Skin: Learning in Simulation and Sim-to-Real Transfer
DLR Institute of Robotics and Mechatronics（DLR机器人与机电一体化研究所）；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
本研究提出一种与刚体模拟器兼容的触觉皮肤模型，通过自校准方法实现仿真到现实的迁移，成功完成两指间滚动弹珠和螺栓的精细操作任务，并证明触觉反馈对亚毫米级精度至关重要。
2024-09-19 cs.RO
Multimodal Spiking Neural Network for Space Robotic Manipulation
School of Astronautics, Harbin Institute of Technology（航天学院，哈尔滨工业大学）
本文提出一种用于空间站机械臂的基于脉冲神经网络的多模态控制框架，结合多源信息并采用双通道三阶段课程强化学习方案，在任务成功率和能效上优于基线方法，适用于星载资源受限的航空航天应用。
2025-08-10 cs.RO
GlowTact: Simple and Compact Vision-Based Tactile Sensing with High Sensitivity and Spatial Resolution
GlowTact 提出一种仅需单色照明的视觉触觉传感机制，直接可视化接触压力，实现紧凑高灵敏触觉，支持克级检测与精细几何重建，适用于人形指尖。
2026-10-05 cs.RO
Multi-Fingered In-Hand Manipulation with Various Object Properties Using Graph Convolutional Networks and Distributed Tactile Sensors
Waseda University（早稻田大学）
多指手可以用来完成许多灵巧的操作任务，类似于人类，和触觉感知可以提高各种对象的操作稳定性。然而，多指手上的触觉传感器具有各种尺寸和形状。卷积神经网络（CNN）可以用于处理触觉信息，但是来自多指手的信息需要任意预处理，因为CNN需要矩形形状的输入，这可能导致不稳定的结果。因此，如何处理这种复杂形状的触觉信息，并利用它来实现操作技能仍然是一个悬而未决的问题。本文提出了一种基于图卷积网络（GCN）的控制方法，该方法从具有复杂传感器排列的触觉数据中提取大地线特征。此外，对象属性标签被提供给GCN以调整手内操纵运动。分布式三轴触觉传感器安装在指尖，手指指骨和手掌的快板手，导致1152触觉测量。利用数据手套采集训练数据，将人的灵巧操作直接传递给机器人手。GCN实现了高成功率的手操作。我们还证实，当向GCN提供正确的对象标签时，易碎对象变形较少。当用PCA可视化GCN的激活时，我们验证了网络获得了测地线特征。我们的方法实现了稳定的操作，即使当实验者拉一个把握对象和未经训练的对象。
2022-05-09 cs.RO
Complementarity-Free Multi-Contact Modeling and Optimization for Dexterous Manipulation
Arizona State University（亚利桑那州立大学）
本文提出一种无互补性的轻量级多接触模型，用于灵巧操作，通过闭式时间步进和可微性实现高效规划与控制，在多种任务中达到96.5%成功率和高精度。
2025-04-22 cs.RO
Multimodal Detection and Identification of Robot Manipulation Failures
Istanbul Technical University（伊斯坦布尔理工大学）；Halmstad University（哈尔姆斯塔德大学）
针对服务机器人在非结构化环境中操作失败的问题，提出基于多模态传感器融合的FINO-Net网络，利用扩展FAILURE数据集实现高精度失败检测与分类，并支持实时应用。
2023-05-08 cs.RO
RealDexUMI: A Wearable Universal Manipulation Interface for Dexterous Robot Learning
Peking University（北京大学）；BeingBeyond；Beihang University（北航）；LinkerBot；Tsinghua University（清华大学）
提出RealDexUMI，一种基于共享灵巧末端执行器模块的可穿戴通用操作接口，通过掌侧同构遥操作手套实现无重定向、直观精确的手部控制，在八项真实机器人任务中平均成功率达88.75%。
2026-06-06 cs.RO
MAIA: Anticipating Interaction Anomalies in Contact-Rich Manipulation via Multimodal World Models
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
本研究提出MAIA多模态框架，结合视觉-动作-力世界模型与轻量异常头，引入CRIA数据集，在接触丰富型操作中实现更准确、更早的异常预判，提升了任务成功率。
2026-10-19 cs.RO
Generating Robot Hands from Human Demonstrations
University of California San Diego（加州大学圣迭戈分校）；Amazon Frontier AI & Robotics（亚马逊前沿人工智能与机器人）
提出数据驱动框架，利用人类日常操作中超过400万帧指尖运动数据，通过逆运动学匹配指尖位置，优化树状结构机器人手的设计，生成通用6自由度手和低自由度任务专用手，并训练强化学习智能体加速设计搜索。
2026-06-19 cs.RO
Zero-Shot Robotic Manipulation via 3D Gaussian Splatting-Enhanced Multimodal Retrieval-Augmented Generation
本文提出RobMRAG框架，通过3D高斯点云增强多模态检索增强生成，提升零样本机器人操作的泛化能力和可解释性。
2026-02-28 cs.RO
