DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation
HKUST (GZ)(香港科技大学(广州));Xspark AI;PKU(北京大学);THU(清华大学);HKU(香港大学)
提出DexTouch-WM,利用人类触觉数据训练动作条件世界模型,预测灵巧操作的视觉与触觉动态,通过人类交互扩展显著提升机器人预测性能。
2026-09-21 cs.CV cs.RO
Multimodal perception for dexterous manipulation
Department One(第一系);Department Two(第二系)
人类通常以多模态的方式感知世界,即视觉,触觉,声音被用来从各个维度理解周围环境。这些感觉结合在一起,以实现协同效应,其中学习比单独使用每个感觉更有效。对于机器人来说,视觉和触觉是实现灵巧操作的两个关键感官。视觉通常给我们明显的特征,如形状,颜色,和触摸提供局部信息,如摩擦,纹理等,由于视觉和触觉之间的互补性,这是我们希望结合视觉和触摸的协同感知和操纵。多通道感知的研究主要集中在跨通道学习、三维重建、视觉和触觉的多通道翻译等方面。具体来说,我们提出了一个用于视觉和触觉之间转换的跨模态感觉数据生成框架,该框架能够生成逼真的伪数据。通过使用这种跨模态翻译方法,我们希望弥补不可访问的数据,帮助我们从不同的角度学习对象的属性。近年来,注意力机制成为视觉感知和触觉感知中的一种流行方法。本文提出了一种时空注意力模型用于触觉纹理识别,该模型同时考虑了空间特征和时间维度。我们提出的方法不仅关注每个空间特征中的显著特征,而且在整个时间上对时间相关性进行建模。这一明显的改善证明了我们的选择性注意力机制的有效性。时空注意方法在抓取、识别和多模态感知等方面有着广泛的应用前景。
2021-12-28 cs.CV cs.RO
The Role of Touch: Towards Optimal Tactile Sensing Distribution in Anthropomorphic Hands for Dexterous In-Hand Manipulation
VisLab, Institute for Systems;Soft Robotics Lab National University of Singapore, Singapore;BRAIR Lab, BioRobotics Institute Scuola Superiore Sant'Anna, Pisa, Italia
本文研究了在拟人手部中触觉传感分布对在手操作任务的影响,通过分析不同区域的触觉反馈对深度强化学习控制策略的影响,提出了优化触觉传感配置以提高操作效率和准确性的方法。
2025-09-18 cs.AI cs.LG cs.RO
Spark-0: Scaling Spatially Aligned Tactile Pretraining for Robot Dexterous Manipulation
Xspark AI;THU(清华大学);HKUST (GZ)(香港科技大学(广州));PKU(北京大学)
本文提出Spark-0空间对齐VTLA模型,结合HumanTouch数据集预训练,在SparkArena和Ego Humanoid基准中提升机器人灵巧操作性能,验证触觉兼具策略输入与预训练监督的作用。
2026-10-16 cs.RO
Tac2Pix: Image-Space Visuo-Tactile Fusion for Dexterous Manipulation
ShanghaiTech University(上海科技大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
提出RGB-S框架,通过正向运动学和相机标定将触觉传感器位置投影到RGB图像平面,生成力调制高斯显著性图,显式对齐触觉与视觉,在严重遮挡下灵巧操作成功率提升26.7个百分点。
2026-09-29 cs.CV cs.RO
Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
TU Dresden(德累斯顿工业大学)
本研究利用高分辨率动态触觉和时间多模态模型预测灵巧手抓取稳定性,并在真实机器人上实现视觉-触觉引导的重新抓取,将成功率提升10.5个百分点。
2026-10-08 cs.CV cs.LG cs.RO
PianoMime: Learning a Generalist, Dexterous Piano Player from Internet Demonstrations
TU Munich(慕尼黑工业大学);TU Darmstadt(达姆施塔特工业大学);UC Berkeley(加州大学伯克利分校)
PianoMime是一个利用互联网视频演示训练通用型钢琴演奏智能体的框架,通过数据准备、策略学习和策略蒸馏三个阶段,使智能体能够演奏任意歌曲,并在未见歌曲上达到56%的F1分数。
2024-07-25 cs.AI cs.CV cs.RO
Learning Versatile Humanoid Manipulation with Touch Dreaming
Carnegie Mellon University(卡内基梅隆大学);UT Arlington(UT阿灵顿);Bosch Center for AI(博世人工智能中心)
本文提出HTD模型,结合触觉、视觉和本体感觉,通过触觉梦想增强学习实现高灵活性的人形操作,实验证明在五个真实任务中成功率提升显著。
2026-08-18 cs.RO
A Sensorized Multicurved Robot Finger with Data-driven Touch Sensing via Overlapping Light Signals
Columbia University(哥伦比亚大学)
尽管在触摸和力转换方面取得了重大进展,但触觉感知在机器人操作中仍然远未普及。用于构建触摸传感器的现有方法已被证明难以集成到机器人手指中,这是由于存在多种挑战,包括难以覆盖多曲面、高线数或包装限制,从而阻止它们在灵巧的手中使用。在本文中,我们提出了一个多曲面机器人手指准确的触摸定位和正常的力量检测复杂的,三维表面。我们的方法的关键是重叠信号的新颖使用,从光发射器和接收器嵌入在一个透明的波导层,覆盖手指的功能区域。通过测量每个发射器和接收器之间的光传输,我们表明,我们可以获得一个非常丰富的信号集,响应于手指的变形,由于触摸的变化。然后,我们证明了纯数据驱动的深度学习方法能够从这些数据中提取有用的信息,例如接触位置和施加的法向力,而不需要分析模型。最终的结果是一个完全集成的,传感器化的机器人手指,具有低线数和使用易于访问的制造方法,旨在轻松集成到灵巧的机械手。
2020-04-01 cs.RO
CANTABILE: Learning Expressive Dynamics for Robotic Piano Performance
KAIST(韩国科学技术院);DGIST(大邱庆北科学技术院)
针对机器人钢琴演奏缺乏动态评估的问题,提出CANTABILE框架,通过速度感知策略与双重奖励提升表现力,在EXPRESSIVE-51上速度F1从0.06升至0.34,并支持运行时强度控制。
2026-09-17 cs.RO
RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands
University of Oulu(奥卢大学);Aalto University(阿尔托大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加利福尼亚大学)
为解决强化学习在多曲目机器人钢琴演奏中的泛化难题,提出含超百万轨迹的RP1M数据集,通过最优传输实现自动标注,并验证其能显著提升模仿学习方法的演奏性能。
2024-11-18 cs.AI cs.LG cs.RO
FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance
Stanford University(斯坦福大学)
本研究构建了首个大规模顶尖钢琴家3D手部演奏动作数据集,提出结合扩散模型、模仿与强化学习的物理合成方法,可生成自然灵巧的手部动作并泛化到训练外的乐谱。
2024-10-08 cs.AI cs.GR cs.SD
DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Northwestern University(西北大学)
DexTacWAM提出视觉-触觉世界-动作模型,通过独立编码指尖并注入触觉潜变量到视频扩散模型,在灵巧操作任务中显著超越基线,并实现数据高效、计算高效的持续触觉适应。
2026-09-22 cs.AI cs.CV cs.RO
See to Touch: Learning Tactile Dexterity through Visual Incentives
New York University(纽约大学);Meta AI Research(Meta人工智能研究院)
本文提出TAVI框架,通过视觉表示和最优传输匹配构建视觉奖励,结合在线强化学习优化触觉策略,在六项灵巧操作任务中显著提升了四指机器人的成功率。
2023-09-21 cs.AI cs.CV cs.LG
Dexterous Robotic Piano Playing at Scale
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Aalto University(阿alto大学);University of Southern California(南加州大学);Imperial College London(伦敦帝国理工学院);University of Oulu(奥卢大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
提出OmniPianist,结合最优传输指法、大规模强化学习与Flow Matching Transformer模仿学习,实现无需人类演示的大规模双手机器人钢琴演奏。
2025-11-04 cs.RO
Rotating without Seeing: Towards In-hand Dexterity through Touch
HKUST(香港科技大学);UC San Diego(加州大学圣地亚哥分校)
触觉信息在人类的灵活性中起着至关重要的作用。它揭示了可能无法直接从视觉中推断出的有用的联系信息。事实上,人类甚至可以在不使用视觉的情况下进行手灵巧的操作。我们能为多指机器人手提供同样的能力吗?在本文中,我们提出了触摸灵巧,一个新的系统,可以执行在手的对象旋转,只使用触摸看不到的对象。而不是依赖于精确的触觉感知在一个小的区域,我们引入了一个新的系统设计,使用密集的二进制力传感器(触摸或不触摸)覆盖在整个机器人的手(手掌,手指链接,指尖)的一侧。这样的设计成本低,提供更大的物体覆盖范围,同时最小化Sim2Real间隙。我们使用强化学习对仿真中的不同对象进行训练,以实现手内旋转策略。依靠仅触摸传感,我们可以直接在真正的机器人手中部署策略,并旋转训练中没有出现的新对象。广泛的消融是如何进行触觉信息帮助手操纵。我们的项目可在https://touchdexterity.github.io。
2023-03-27 cs.AI cs.LG cs.RO
The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning
UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 M3L 掩码多模态学习框架,在强化学习中联合训练视觉-触觉表征与策略,提升样本效率和跨任务泛化,并在三类机器人操控仿真中验证其优势。
2023-11-02 cs.AI cs.RO
FBI: Learning Dexterous In-hand Manipulation with Dynamic Visuotactile Shortcut Policy
Shanghai Jiao Tong University(上海交通大学)
针对机器人灵巧手内操作因模态单一限制适应性的问题,提出FBI视觉触觉模仿学习框架,通过动态融合触觉与视觉观测,建立触觉信号与物体运动的因果联系,在多任务中优于基线方法。
2025-08-20 cs.RO
TactoFind: A Tactile Only System for Object Retrieval
Improbable AI Lab(Improbable人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学)
我们研究的问题,对象检索的场景中,视觉感知是缺席的,对象的形状是未知的事先和对象可以自由移动,就像抓住一个抽屉里的对象。成功的解决方案需要定位自由对象,识别特定对象实例,然后仅使用触摸反馈来抓住识别的对象。与视觉不同,摄像机可以观察整个场景,触摸传感器是本地的,只观察与操纵器接触的场景部分。此外,经由触摸传感器的信息收集需要在触摸表面上施加力,这可能干扰场景本身。因此,用触觉进行推理需要随着时间的推移对信息进行仔细的探索和整合-这是我们面临的挑战。我们提出了一个系统,能够使用稀疏的触觉反馈,从灵巧的手指尖触摸传感器本地化,识别和把握新的对象,没有任何视觉反馈。视频可在https://taochenshh.github.io/projects/tactofind上获得。
2023-03-23 cs.AI cs.CV cs.LG
PANDORA: Diffusion Policy Learning for Dexterous Robotic Piano Playing
Texas A&M University(德克萨斯农工大学)
本研究提出专为灵巧机器人钢琴演奏设计的扩散策略学习框架PANDORA,结合FiLM增强的条件U-Net、含LLM语义反馈的复合奖励与残差逆运动学优化,在ROBOPIANIST环境中实现精度与表现力均优于基线的SOTA性能。
2025-03-17 cs.LG cs.RO cs.SD
ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation
University of California, Berkeley(加州大学伯克利分校);Peking University(北京大学);Sharpa
本文提出ViTacFormer,通过跨注意力编码器融合高分辨率视觉与触觉,并结合自回归触觉预测头提升精度与鲁棒性,实现多指手的模仿学习,成功完成高精度灵巧操作任务。
2026-05-13 cs.RO
SpikeATac: A Multimodal Tactile Finger with Taxelized Dynamic Sensing for Dexterous Manipulation
SpikeATac通过结合动态和静态触觉传感技术,实现对易碎物体的灵活操控,利用强化学习优化力调节能力。
2026-07-13 cs.RO
Manipulation by Feel: Touch-Based Control with Deep Predictive Models
University of California, Berkeley(加利福尼亚大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
触摸感测被广泛认为对于灵巧的机器人操纵是重要的,但是利用触觉感知进行连续的、非易失性的操纵是具有挑战性的。能够有效利用触觉感知以及接触和力的准确物理模型的通用控制技术在很大程度上仍然难以捉摸,甚至不清楚如何在触觉感知方面指定所需的行为。在本文中,我们通过将高分辨率触觉感知与使用深度神经网络动力学模型的数据驱动建模相结合,朝着解决这些问题迈出了一步。我们提出了深度触觉MPC,学习执行触觉伺服从原始触觉传感器输入的框架,没有人工监督。我们表明,这种方法使机器人配备了GelSight风格的触觉传感器来操纵球,模拟棒,和20面骰子,从无人监督的自主交互学习,然后使用学习的触觉预测模型,重新定位每个对象到用户指定的配置,由目标触觉读数指示。视频,可视化和代码可在这里:https://sites.google.com/view/deeptactilempc
2019-03-11 cs.AI cs.CV cs.LG
DigiArm: An Anthropomorphic 3D-Printed Prosthetic Hand with Enhanced Dexterity for Typing Tasks
Department of Computer Science, Technion, Haifa, Israel(计算机科学系,技术学院,海法,以色列);Department of Mechanical Engineering, Technion, Haifa, Israel(机械工程系,技术学院,海法,以色列)
DigiArm是一种低成本3D打印假手,专为提高打字任务的灵活性而设计,通过增强手指和腕部控制实现精确操作。
2026-02-26 cs.RO
Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation
FAIR at Meta(Meta的FAIR);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
该研究提出首个覆盖四种触觉模态的多感官触觉表征Sparsh-X,基于百万级富接触数据自监督训练融合多模态信号,在机器人操作的模仿学习、策略适配及物理属性推断任务中均显著优于端到端方法。
2025-06-17 cs.RO
Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation
ETH Zürich(苏黎世联邦理工学院);UC Berkeley(伯克利加州大学)
提出基于物理原理的中心压力(CoP)触觉表示,结合可微动力学传感器标定,实现多指手的零样本仿真到现实迁移,在插销入孔和球平衡任务中优于二元接触和原始触觉基线。
2026-05-27 cs.AI cs.LG cs.RO
GelTip Tactile Sensor for Dexterous Manipulation in Clutter
University of Liverpool(利物浦大学)
触觉感知是机器人执行灵巧操作任务的基本能力。虽然摄像头、激光雷达和其他遥感器可以在全球范围内即时评估场景,但触觉传感器可以降低其测量不确定性,并获得有关接触对象与机器人之间的局部物理交互的信息,这些信息通常无法通过遥感获得。触觉传感器可以分为两大类:电子触觉皮肤和基于相机的光学触觉传感器。前者很薄,可以适合不同的身体部位,而后者则采用更棱柱的形状,具有更高的传感分辨率,为用作机器人手指或指尖提供了很好的优势。这种光学触觉传感器之一是我们的GelTip传感器,它的形状像手指,可以感测其表面任何位置的接触。因此,GelTip传感器能够检测来自所有方向的接触,就像人的手指一样。为了捕捉这些接触,它使用安装在其底部的摄像头来跟踪覆盖其中空,刚性和透明主体的不透明弹性体的变形。由于这种设计,配备GelTip传感器的夹具能够同时监测其抓握闭合内部和外部发生的接触。使用该传感器进行的实验演示了如何定位接触,更重要的是,在手指的任何位置都可能发生接触的杂乱环境中,在灵巧的操作任务中利用全方位触摸感测的优势,甚至可能是必要的。用于制造GelTip传感器的所有材料可在https://danfergo.github.io/geltip/上找到
2021-12-03 cs.RO
DexterityGen: Foundation Controller for Unprecedented Dexterity
BAIR, UC Berkeley(加州大学伯克利分校BAIR实验室);FAIR at Meta(Meta FAIR实验室)
本文提出 DexterityGen,通过强化学习预训练大规模灵巧运动原语并训练基础控制器,结合人类遥操作提示,首次实现笔、注射器、螺丝刀等多样化灵巧工具使用,并将持物稳定性提升10-100倍。
2025-02-06 cs.AI cs.LG cs.RO
TaSA: Two-Phased Deep Predictive Learning of Tactile Sensory Attenuation for Improving In-Grasp Manipulation
Waseda University(早稻田大学)
TaSA通过两种阶段深度预测学习实现基于感觉衰减的触觉衰减,提升机械手在抓握操作中的灵巧性与触觉感知能力。
2026-02-05 cs.RO
TactEx: An Explainable Multimodal Robotic Interaction Framework for Human-Like Touch and Hardness Estimation
Imperial College London(帝国理工学院)
TactEx通过融合视觉、触觉和语言模态,实现类人触觉和硬度估计,展示了在水果成熟度评估中的高任务成功率和可解释性。
2026-02-21 cs.RO
Dexterous Robot Manipulation from Human Demonstrations via Contact-Anchored Retargeting and Residual Policy Learning
DexGEM Lab(DexGEM实验室);Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学);DexRobot Co. Ltd.(DexRobot有限公司)
针对人类示教缺乏接触力导致灵巧操作学习困难的问题,提出物理细化、接触锚定重定向和残差策略学习三阶段流水线,无需真实机器人数据即可将人类运动捕捉转化为机器人策略,显著提升成功率并跨手迁移。
2026-11-04 cs.RO
Planning Visual-Tactile Precision Grasps via Complementary Use of Vision and Touch
University of Utah(犹他大学);NVIDIA(英伟达)
对于包括工具使用、插入和灵巧的手内操作在内的许多任务,可靠地规划多指手的指尖抓握是一个关键挑战。当机器人缺乏要抓取的物体的精确模型时,这项任务变得更加困难。触觉感知提供了一种很有前途的方法来解决物体形状的不确定性。然而,目前的机器人手往往缺乏完整的触觉覆盖。因此,出现了如何计划和执行多指手的抓握以使得与触觉传感器覆盖的区域进行接触的问题。为了解决这个问题,我们提出了一种抓取规划的方法,明确的原因,在那里的指尖应该接触估计的物体表面,同时最大限度地提高把握成功的概率。我们的方法的成功的关键是使用视觉表面估计的初始规划编码的接触约束。然后,机器人使用一个模糊反馈控制器执行该计划,该控制器使机器人能够适应物体表面的在线估计,以纠正初始计划中的错误。重要的是,机器人从来没有明确地集成视觉和触觉感知之间的对象姿势或表面估计,而是以互补的方式使用这两种方式。视觉在接触之前引导机器人运动;当接触发生时,触摸更新计划不同于视觉预测。我们表明,我们的方法使用来自单个相机视图的表面估计成功地合成并执行了对以前未见过的物体的精确抓取。此外,我们的方法优于最先进的多指抓取规划器,同时也击败了我们提出的几个基线。
2022-12-16 cs.AI cs.LG cs.RO
Minsight: A Fingertip-Sized Vision-Based Tactile Sensor for Robotic Manipulation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出指尖大小的视觉触觉传感器 Minsight,利用机器学习以 60 Hz 输出三维接触力图,并通过低误差测量与两项机器人任务验证其灵巧操作价值。
2023-04-21 cs.RO
T-Rex: Tactile-Reactive Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);Stanford(斯坦福大学);Panasonic(松下);La Sapienza University(罗马大学);ItalAI
提出大规模触觉数据集和可变速率混合Transformer架构,在12项精细操作任务上平均成功率提升超30%。
2026-06-23 cs.RO
Analysing the Interplay of Vision and Touch for Dexterous Insertion Tasks
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所)
针对机器人插入任务感知与控制难题,该研究分析了灵巧插入中视觉与触觉反馈的相互作用,证实触觉可提升小公差、多变孔朝向插入任务的成功率,为多模态机器人控制系统设计提供参考。
2024-10-31 cs.RO
OmniTact: A Multi-Directional High Resolution Touch Sensor
University of California, Berkeley(加利福尼亚大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Stanford(斯坦福大学)
将触摸作为机器人的感测模态可以实现更精细和更强大的操纵技能。现有的触觉传感器要么是平面的,敏感区域小,要么只提供低分辨率的信号。在本文中,我们介绍了OmniTact,一个多方向的高分辨率触觉传感器。OmniTact被设计为用作机器人手的机器人操作的指尖,并使用多个微型相机来检测基于凝胶的皮肤的多方向变形。这提供了丰富的信号,使用现代图像处理和计算机视觉方法可以从该信号推断出各种不同的接触状态变量。我们评估的能力OmniTact上的一个具有挑战性的机器人控制任务,需要插入一个电连接器到插座,以及一个状态估计的问题,这是典型的灵巧的机器人操作中遇到的,其中的目标是推断接触的角度弯曲的手指压在一个对象。这两项任务都只使用触摸感应和深度卷积神经网络来处理来自传感器摄像头的图像。我们比较了仅在一侧敏感的最先进的触觉传感器以及最先进的多方向触觉传感器,发现OmniTact的高分辨率和多方向感测的组合对于可靠地插入电连接器至关重要,并且允许在状态估计任务中具有更高的精度。视频和补充材料可以在https://sites.google.com/berkeley.edu/omnitact上找到
2020-03-16 cs.CV cs.LG cs.RO
Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Dexterous Grasping
School of Artificial Intelligence and Robotics, Hunan University(人工智能与机器人学院,湖南大学);National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University(机器人视觉感知与控制技术国家工程研究中心,湖南大学)
本文提出GAAF-Dex框架,通过弱监督学习从人-物交互图像中提取粒度感知的可供性特征,实现功能性区域定位与灵巧手势预测,并构建FAH数据集验证其优于现有方法。
2025-07-19 cs.CV cs.RO eess.IV
Look-to-Touch: A Vision-Enhanced Proximity and Tactile Sensor for Distance and Geometry Perception in Robotic Manipulation
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University(上海交通大学机械系统与振动国家重点实验室);Robotics Institute, School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械工程学院机器人研究所)
针对机器人全面环境感知需额外传感器导致系统 bulky 的问题,提出具有部分透明滑动窗口的视觉增强双模态传感器,实现50cm至-3mm全范围距离传感与超高分辨率纹理感知,结合两种模态提升抓取效率并解锁软体手新操作能力。
2025-04-14 cs.RO
Touch2Trace: Tactile-Driven Imitation Learning for Dexterous Cable Tracing
Analog Devices, Inc.(亚德诺半导体公司)
Touch2Trace提出触觉驱动的模仿学习系统,用于灵巧线缆追踪,通过自监督预训练编码器和Transformer策略,显著提升追踪性能,实现零样本迁移。
2026-09-15 cs.RO
UniTacHand: Unified Spatio-Tactile Representation for Human to Robotic Hand Skill Transfer
Peking University(北京大学);BeingBeyond
UniTacHand通过统一空间触觉表示,实现从人类到机械手的零样本触觉政策转移,提升触觉驱动的灵巧操作能力。
2025-12-29 cs.RO
Learning to Play Piano in the Real World
LASR Lab, TU Dresden(德累斯顿工业大学 LASR 实验室)
本文提出首个结合学习方法的现实世界钢琴演奏机器人系统,通过Sim2Real2Sim方法在现实世界中准确演奏多首钢琴曲,达到0.881的平均F1分数。
2026-04-13 cs.AI cs.LG cs.RO
Learning compliant grasping and manipulation by teleoperation with adaptive force control
Hunan University(湖南大学);Bielefeld University(比勒费尔德大学);University of the West of England(西英格兰大学)
在这项工作中,我们专注于提高机器人的灵巧能力,利用视觉传感和自适应力控制。TeachNet是一个基于视觉的遥操作学习框架,用于将人手姿态映射到多指机器人手。我们增强TeachNet,这是最初基于不精确的运动映射和位置伺服,与仿生学习为基础的顺应性控制算法灵巧的操作任务。该柔顺控制器以TeachNet中映射的机器人关节角度为目标,计算期望的关节力矩。它是从人类运动学习中的仿生控制策略的计算模型导出的,其允许在执行参考关节角度轨迹期间在线调整控制变量(阻抗和前馈力)。阻抗和前馈曲线的同时适应使机器人能够以顺应的方式与环境交互。我们的方法已经在物理模拟中的多个任务中得到验证,即,抓握、开门、转动帽子和触摸鼠标,并且已经显示出比现有的位置控制和基于固定增益的力控制方法更可靠的性能。
2021-07-21 cs.RO
Towards Artificial Nerves: Biomimetic Optical-Fiber Tactile Sensing for Robots
School of Engineering Mathematics and Technology, University of Bristol(工程数学与技术学院,布里斯托大学)
研究旨在为机器人开发仿生光纤触觉传感,以实现类人触觉感知。核心方法是OptiTac传感器模拟人类触觉结构,将触觉信号当图像用简单分析方法处理。主要贡献是建立传感框架,为未来分布式触觉系统提供可扩展路线,展示生物学原理对机器人人工神经开发的指导作用。
2026-07-20 cs.RO
When Does Touch Matter? Charting the Vision-Interaction Gap in Cluttered Dexterous Grasping
University of Southern California(南加州大学);University of New Mexico(新墨西哥大学)
本研究通过真实世界实验比较视觉、力矩和触觉反馈,发现组合交互信号显著提升杂乱灵巧抓取成功率,并揭示视觉-交互差距。
2026-10-14 cs.RO
A Haptic Robot Finger Designed for Guqin Instrument Playing
The Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);The Chinese University of Hong Kong - Shenzhen(香港中文大学(深圳));School of Physics and Optoelectronic Engineering, Shenzhen University(深圳大学物理与光电工程学院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
该研究设计了一款模仿人类手指的高精度触觉传感机器人指尖,以古琴为验证场景,开展了古琴弦接触相关任务的验证,将触觉传感与机器人技术结合,助力世界遗产保护与文化传播。
2026-08-10 cs.RO
Fingertip Contact Force Direction Control using Tactile Feedback
Institut des sytemes intelligents et de la robotique, Sorbonne University(索邦大学智能与机器人系统研究所)
针对灵巧操作中单指接触力方向精确控制的难题,本文提出一种基于触觉传感的力方向引导方法,并在配备Xela触觉传感器的Allegro手上完成实验验证。
2024-06-17 cs.RO
Learning thin deformable object manipulation with a multi-sensory integrated soft hand
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Hong Kong University of Science and Technology(香港理工大学)
针对机器人操作薄型可变形物体的难题,提出集成被动顺应性软手与多感官反馈的无模型强化学习方案,实现无需精确控制的灵巧操作,并在真实机器人上完成展示布料和翻乐谱等任务。
2025-07-08 cs.RO
Object Pose Estimation through Dexterous Touch
Faculty of Electrical Engineering, Mathematics and Computer Science, University of Twente(电子工程、数学和计算机科学学院,代尔夫特理工大学);Department of Electrical Engineering, Wright State University(电气工程系,怀特州立大学)
本文提出一种基于强化学习和感觉运动探索的双手机器人触觉位姿估计方法,通过主动收集触觉点云数据迭代细化物体形状与位姿,在无几何先验下有效识别关键位姿特征。
2025-09-16 cs.CV cs.RO
Tactile-Filter: Interactive Tactile Perception for Part Mating
Mitsubishi Electric(三菱电机);Mitsubishi Electric Research Labs(三菱电机研究实验室);MIT(麻省理工学院)
本文提出Tactile-Filter,利用视觉触觉图像训练深度网络预测销孔概率对应,并结合粒子滤波与最大化不确定性降低的动作选择,实现机器人零件配合中的交互式触觉感知。
2023-06-05 cs.AI cs.LG cs.RO
Demonstrating the Octopi-1.5 Visual-Tactile-Language Model
Dept. of Computer Science, National University of Singapore(新加坡国立大学计算机科学系);NUS Smart Systems Institute(新加坡国立大学智能系统研究所)
本文展示了视觉-触觉-语言模型 Octopi-1.5,通过引入多部位触觉信号处理和 RAG 模块提升物体识别与即时学习能力,并借助手持触觉接口实现无需机器人的现场交互演示。
2025-07-14 cs.AI cs.RO
RAPID Hand Prototype: Design of an Affordable, Fully-Actuated Biomimetic Hand for Dexterous Teleoperation
School of Computer Science and Engineering, Sun Yat-sen University(1 计算机科学与工程学院,中山大学);ORBOT Ltd(2 ORBOT公司)
本文提出低成本 20-DoA 全驱动五指 RAPID Hand 原型,采用拟人化驱动传动、优化电机布局与 3D 打印结构,并通过三类遥操作任务验证其灵巧操作潜力。
2025-10-21 cs.RO
TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning
The University of Hong Kong(香港大学);INFIFORCE;The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Wuhan Textile University(武汉纺织大学);Ocean University of China(中国海洋大学);Wuhan University(武汉大学)
TACROSS是一款跨异构触觉传感器的系统,通过接触事件对齐实现人类触觉到机器人的迁移,在四个接触操作任务上效率提升3.5倍、设备成本降低95.7%,将开源软硬件及超150小时触觉数据集。
2026-10-09 cs.LG cs.RO
Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California Berkeley(加州大学伯克利分校);Dongguk University(东国大学);Tsinghua University(清华大学);University of California San Diego(加州大学圣迭戈分校)
本文提出受人类联觉启发的基于点云的触觉表示方法Robot Synesthesia,融合视觉与触觉输入以提升手内操作的强化学习和Sim2Real性能。
2024-07-31 cs.CV cs.LG cs.RO
Development of a Novel Impedance-Controlled Quasi-Direct-Drive Robot Hand
Stony Brook University(石溪大学)
本研究研发了一款带关节与笛卡尔空间可变阻抗控制的准直驱双指机器人手,采用FOC电流传感控转矩、可反向驱动齿轮系,3D打印加现成组件实现低成本,无需复杂力/触觉传感器即可完成多种灵巧抓取与操作任务。
2023-08-21 cs.RO