DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
MIT（麻省理工学院）；UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对多指手灵巧操作可变形物体面临的物理交互复杂与接触模式爆炸难题，提出DexDeform框架，结合人类演示与可微物理优化技能，有效提升了对新目标的探索与泛化能力。
2023-03-27 cs.AI cs.CV cs.LG
Vegetable Peeling: A Case Study in Constrained Dexterous Manipulation
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）
针对现有灵巧操作研究较少探索下游应用的问题，本文聚焦食品削皮约束场景，提出一种学习重定向控制器的简单系统，可实现重定向后稳固持物以支持后续削皮任务。
2024-07-10 cs.AI cs.LG cs.RO
Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation
Stanford University（斯坦福大学）
提出序列灵巧性系统，通过链式灵巧策略和过渡可行性函数，解决长时程操作任务，实现仿真到真实的零样本迁移。
2023-10-16 cs.AI cs.LG cs.RO
DexDLO: Learning Goal-Conditioned Dexterous Policy for Dynamic Manipulation of Deformable Linear Objects
University of Edinburgh（爱丁堡大学）；University of York（约克大学）
DexDLO提出一种无模型端到端框架，利用固定底座灵巧手学习可变形线性物体的目标条件动态操作策略，在Mujoco中统一参数高效完成五种操作任务，并深入分析策略与奖励设计。
2023-12-23 cs.LG cs.RO
CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
提出CoorDex学习框架，通过将高维身体和灵巧手控制转化为协调的潜在残差控制，实现类人机器人在运动中执行灵巧操作，如不停顿抓取瓶子、移动中开冰箱门等。
2026-06-23 cs.AI cs.LG cs.RO
DexMachina: Functional Retargeting for Bimanual Dexterous Manipulation
Stanford University（斯坦福大学）；NVIDIA（英伟达）
针对包含铰接物体的长时程双手灵巧操作任务，提出基于课程学习的DexMachina算法，利用强度衰减的虚拟控制器引导策略接管控制，并发布仿真基准，显著超越基线方法且支持硬件设计比较。
2025-05-30 cs.AI cs.LG cs.RO
Learning Dexterous Manipulation from Exemplar Object Trajectories and Pre-Grasps
Carnegie Mellon University（卡内基梅隆大学）；Meta AI Research（Meta人工智能研究院）
学习不同的灵巧操作行为与各种物体仍然是一个开放的巨大挑战。虽然策略学习方法提供了一个强大的途径来解决这个问题，他们需要广泛的每任务工程和算法调优。本文试图摆脱这些限制，通过开发一个预抓取知情灵巧操作（PGDM）框架，产生不同的灵巧操作行为，没有任何特定于任务的推理或超参数调整。PGDM的核心是一个众所周知的机器人结构，即预抓取（即为物体交互做准备的手部姿势）。这个简单的原语是足够的，以获得复杂的灵巧操作行为诱导有效的探索策略。为了彻底验证这些说法，我们介绍了TCDM，一个基准的50个不同的操作任务定义在多个对象和灵巧的机械手。TCDM的任务是使用来自各种来源（动画师、人类行为等）的示例对象轨迹自动定义的，而无需任何每任务工程和/或监督。我们的实验验证了PGDM的探索策略，由一个令人惊讶的简单成分（单一的预抓取姿势）诱导，与先前方法的性能相匹配，这些方法需要昂贵的每任务功能/奖励工程，专家监督和超参数调整。有关动画可视化、经过训练的策略和项目代码，请参阅：https://pregrasps.github.io/
2023-02-12 cs.AI cs.RO
DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出DexCompose框架，通过手指级动作所有权和双残差模块，解决灵巧操作中多任务组合时的冲突问题，在16个复合任务上平均成功率达77.4%。
2026-06-29 cs.AI cs.CV cs.LG
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland（奥克兰大学）；New Dexterity（新 Dexterity 研究机构）
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作，对三种RL算法在复杂手内操作任务上进行了基准测试，验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
Learning Adaptive Dexterous Grasping from Single Demonstrations
University of California, San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Hillbot
提出 AdaDexGrasp 框架，通过单次演示学习抓取技能库并利用 VLM 进行上下文选择，结合轨迹跟随奖励与课程学习提升 RL 效率，实现零样本真实世界迁移且成功率达 90%。
2025-08-09 cs.AI cs.LG cs.RO
Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration
University of California at Berkeley（加州大学伯克利分校）；Technische Universität Berlin（柏林工业大学）
灵巧的多指手可以完成精细的操作行为，这是不可行的简单的机器人抓手。然而，复杂的多指手往往是昂贵和脆弱的。低成本的软手为更传统的设备提供了一种有吸引力的替代方案，但在传感和致动方面存在相当大的挑战，使得它们难以应用于更复杂的操作任务。在本文中，我们描述了一种方法，从示范，可用于训练软机器人手执行灵巧的操作任务的学习。我们的方法使用以对象为中心的演示，其中人类用自己的手演示所需的操作对象的运动，机器人自主学习模仿这些演示使用强化学习。我们提出了一种新的算法，使我们能够混合和选择一个子集的最可行的示范学习模仿的硬件，我们使用的指导政策搜索框架的扩展，使用多个示范学习概括的神经网络政策。我们在RBO Hand 2上展示了我们的方法，学习了转动阀门，操纵算盘和抓握的运动技能。
2017-03-20 cs.LG cs.RO
REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；University of Washington（华盛顿大学）
本文提出REBOOT系统，通过整合样本高效强化学习与重放缓冲区引导技术，重用不同任务数据作为新任务训练起点，并结合基于模仿的拾取策略和学习的奖励函数实现真实世界自动重置，显著提升了四指机械手灵巧操作技能的学习效率。
2023-09-06 cs.AI cs.LG cs.RO
Dexterous Point Policy: Learning Point-based Dexterous Hand Policies from Human Demonstrations
KAIST（韩国科学技术院）
提出Dexterous Point Policy框架，通过统一3D关键点表示从人类视频学习灵巧操作策略，无需机器人演示，在真实任务中达到75%成功率。
2026-06-09 cs.CV cs.LG cs.RO
AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning
Zhejiang University（浙江大学）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Paxini Tech（帕西尼科技）
AdvDex是一种统一视觉-语言-动作框架，通过OmniShare数据集、JAAS动作空间与领域对抗学习，实现从人类和机器人演示中学习灵巧操作，提升跨实体泛化与技能迁移能力。
2026-08-17 cs.AI cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战，重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展，并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Object-Focus Actor for Data-efficient Robot Generalization Dexterous Manipulation
JD Explore Academy（京东探索学院）；JD Company（京东公司）；Beijing Jiaotong University（北京交通大学）
针对机器人操作学习从人类演示中获取技能泛化性差、VLA范式因数据稀缺性能受限的问题，提出数据高效的OFA方法，利用灵巧操作一致末端轨迹和分层流水线，仅10次演示即可在七项任务泛化测试中显著优于基线。
2025-05-21 cs.AI cs.RO
Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation
Shanghai Jiao Tong University（上海交通大学）；State Key Laboratory of General Artificial Intelligence, BIGAI（北京通用人工智能研究院 通用人工智能全国重点实验室）；Sharpa Robotics；Beijing Institute of Technology（北京理工大学）
提出统一视觉-触觉-动作模型，利用人类触觉示教数据提升灵巧操作策略，在五个任务上实现70%平均成功率，显著优于基线。
2026-09-30 cs.AI cs.RO
Learning Dexterous In-Hand Manipulation
OpenAI（开放人工智能研究中心）
我们使用强化学习（RL）来学习灵巧手操作策略，该策略可以在物理Shadow Dexterous Hand上执行基于视觉的对象重定向。训练是在模拟环境中进行的，在模拟环境中，我们随机化了系统的许多物理属性，如摩擦系数和物体的外观。我们的政策转移到物理机器人，尽管完全在模拟训练。我们的方法不依赖于任何人类演示，但在人类操作中发现的许多行为自然出现，包括手指步态，多指协调和重力的控制使用。我们的结果是使用用于训练OpenAI Five的相同分布式RL系统获得的。我们还包含一段结果视频：https://youtu.be/jwSbzNHGflM
2019-01-18 cs.AI cs.LG cs.RO
Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance
UC Berkeley（加州大学伯克利分校）；Meta AI Research（Meta人工智能研究院）；University of Washington（华盛顿大学）
复杂和接触丰富的机器人操作任务，特别是那些涉及多指手和欠驱动的对象操作，提出了一个重大的挑战，任何控制方法。基于强化学习的方法为这种设置提供了一个有吸引力的选择，因为它们可以使机器人学习微妙地平衡接触力并灵巧地重新定位物体，而无需强有力的建模假设。然而，在现实世界的灵巧操作系统上运行强化学习通常需要大量的人工工程。这否定了强化学习原则上应该提供的自主数据汇集和易用性的好处。在本文中，我们描述了一个基于视觉的灵巧操作系统，提供了一个“无编程”的方法，为用户定义新的任务，并使机器人与复杂的多指手，通过互动来学习执行它们。我们系统的核心原则是，在基于视觉的环境中，用户应该能够提供高水平的中间监督，以规避遥操作或动觉教学中的挑战，使机器人不仅能够有效地学习任务，而且能够自主练习。我们的系统包括一个框架，让用户定义一个最终的任务和中间的子任务与图像的例子，一个强化学习过程，学习任务自主没有干预，和实验结果与四指机器人手学习多阶段的对象操作任务直接在现实世界中，没有模拟，手动建模，或奖励工程。
2022-12-19 cs.AI cs.CV cs.LG
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
NVIDIA（英伟达）
提出CHORD框架，通过物体中心的接触力空间引导，利用人类演示的力和力矩信息增强强化学习，在包含4739个双臂灵巧操作任务的大规模基准上平均成功率82.12%，并泛化到全身操作和真实世界。
2026-11-11 cs.AI cs.CV cs.RO
EaDex: A Cross-Embodiment Dexterous Manipulation Framework from Low-Cost Demonstrations
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院）；School of Automation, Nanjing University of Information Science and Technology（自动化学院，南京信息科学技术大学）
提出EaDex框架，通过RGB-D相机捕捉人手运动并构建结构化演示数据，结合基于接触奖励的动态演示退火机制，在低成本演示条件下实现多形态灵巧操作的快速学习和训练。
2026-06-02 cs.RO
OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation
Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Physical Automation, Inc.（Physical Automation 公司）
OpenEgo是一个大规模多模态自我中心操作数据集，含1107小时视频、290个任务，提供标准化手部姿态和动作原语，用于降低灵巧操作模仿学习门槛并支持可复现研究。
2025-09-05 cs.AI cs.CV cs.RO
TransDex: Pre-training Visuo-Tactile Policy with Point Cloud Reconstruction for Dexterous Manipulation of Transparent Objects
TransDex通过点云重建预训练实现视觉-触觉融合政策，解决透明物体操作中的自遮挡和深度噪声问题，提升真实机器人系统中精细操作性能。
2026-07-22 cs.AI cs.RO
Dexterous Manipulation Transfer via Progressive Kinematic-Dynamic Alignment
针对多指灵巧手操作数据稀缺问题，提出渐进式运动学-动力学对齐的手型无关迁移框架，可将人手演示视频转换为高质量灵巧操作轨迹，平均迁移成功率达73%，具备强泛化性与可扩展性。
2025-11-14 cs.RO
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego（加州大学圣地亚哥分校）；HKUST（香港科技大学）
我们提出了一个模拟到真实的灵巧操作框架，可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化：（i）使用想象的手部点云作为增强输入;（ii）设计新颖的基于接触的奖励。我们经验性地评估我们的方法，使用快板手抓住新的对象在模拟和现实世界中。据我们所知，这是第一个基于策略学习的框架，可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
EgoAERO: Learning Dexterous Manipulation from a Single Egocentric Video without Object Assets
School of Astronautics, Harbin Institute of Technology（哈尔滨工业大学航天学院）；Lumos Robotic；Suzhou Research Institute, Harbin Institute of Technology（哈尔滨工业大学苏州研究院）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）；Nanjing University（南京大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Fudan University（复旦大学）
提出EgoAERO框架，无需物体资产，从单个第一人称RGB-D视频中通过无资产物体跟踪与重建、自我运动补偿和自适应接触优化重建接触一致的手-物轨迹，并利用两阶段残差学习转化为机器人策略，实现单次演示的灵巧操作。
2026-06-06 cs.AI cs.RO
TypeTele: Releasing Dexterity in Teleoperation by Dexterous Manipulation Types
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Stanford University, USA（斯坦福大学）；Imperial College London, UK（伦敦帝国理工学院）
TypeTele提出类型引导的灵巧遥操作系统，通过引入灵巧操作类型库和MLLM辅助类型检索，使灵巧手突破人类运动模式限制，显著提升多样复杂任务的成功率。
2025-07-02 cs.RO
Planning for Dexterous Ungrasping: Secure Ungrasping through Dexterous Manipulation
The Hong Kong University of Science and Technology（香港科技大学）
本文研究机器人灵巧松持问题，提出可规划最小成本安全运动路径的框架，并发现夹爪手指长度不对称是实现可行、安全松持的关键。
2021-08-31 cs.RO
A Tendon-Driven Five-Fingered Hand with Distributed Tactile Perception for Dexterous Manipulation
该研究针对人形机器人复杂操作需求，设计了带分布式触觉感知的刚柔混合肌腱驱动五指机械手，通过双模态触觉传感实现接触与力检测，实验验证了其集成驱动-感知系统的可行性。
2026-08-27 cs.AI cs.RO
Dexterous Cable Manipulation: Taxonomy, Multi-Fingered Hand Design, and Long-Horizon Manipulation
University of Edinburgh（爱丁堡大学）；EPFL（洛桑联邦理工学院）；University of York（约克大学）
本文针对灵巧线缆操作缺乏系统定义与合适硬件的问题，提出了线缆操作任务分类体系，并设计了一种25自由度、具有对称拇指-食指配置和可旋转指尖关节的五指手，同时开发了相应的演示采集流程，以支持长时程线缆操作任务。
2025-02-06 cs.RO
FAR-Dex: Few-shot Data Augmentation and Adaptive Residual Policy Refinement for Dexterous Manipulation
FAR-Dex通过少样本数据增强和自适应残差策略细化，提升机械臂与手的协同精度，实现高成功率的灵巧操作任务。
2026-03-11 cs.AI cs.RO
Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning
Institute for AI, Peking University（北京大学人工智能研究院）；Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心）；University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
实现人类水平的灵活性是机器人技术中一个重要的开放性问题。然而，灵巧手操作的任务，即使在婴儿级别，通过强化学习（RL）解决也是具有挑战性的。困难在于高自由度和异构代理之间所需的合作（例如，手指的关节）。在这项研究中，我们提出了双手灵巧手基准（Bi-DexHands），一个模拟器，涉及两个灵巧的手与数十双手操作任务和数千个目标对象。具体来说，根据认知科学文献，Bi-DexHands中的任务旨在匹配不同水平的人类运动技能。我们在Issac Gym中构建了Bi-DexHands;这可以实现高效的RL训练，仅通过一台NVIDIA RTX 3090即可达到30，000 + FPS。我们为不同设置下的流行RL算法提供了一个全面的基准;这包括单代理/多代理RL，离线RL，多任务RL和Meta RL。我们的研究结果表明，PPO类型的策略算法可以掌握简单的操作任务，相当于48个月的人类婴儿（例如，捕捉飞行物体，打开瓶子），而多智能体RL可以进一步帮助掌握需要熟练双手合作的操作（例如，举锅、堆积木）。尽管在每个单一任务上都取得了成功，但当涉及到获取多种操作技能时，现有的RL算法无法在大多数多任务和少样本学习设置中工作，这需要RL社区进行更实质性的发展。我们的项目在https://github.com/PKU-MARL/DexterousHands上开源。
2022-10-11 cs.AI cs.LG cs.MA
Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning
Warwick Manufacturing Group, University of Warwick（华威大学华威制造集团）；University of Warwick（华威大学）
训练代理自主学习如何使用拟人机器人手有可能导致系统能够在非结构化和不确定的环境中执行多种复杂的操作任务。在这项工作中，我们首先介绍了一套具有挑战性的模拟操作任务，目前的强化学习和轨迹优化技术发现困难。其中包括两个模拟的手必须在彼此之间传递或投掷物体的环境，以及代理必须学习在手指之间旋转一支长笔的环境。然后，我们介绍了一个简单的轨迹优化，在这些环境中执行显着优于现有的方法。最后，在具有挑战性的PenSpin任务中，我们将通过轨迹优化生成的次优演示与离线强化学习相结合，获得了远远超过这两种方法的性能，有效地解决了环境问题。我们所有结果的视频可在以下网站获得：https://dexterous-manipulation.github.io/
2021-05-16 cs.AI cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego（加州大学圣地亚哥分校）
虽然计算机视觉在理解手-物交互方面取得了重大进展，但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中，我们提出了一个新的平台和流水线DexMV（灵巧操作视频）的模仿学习。我们设计了一个平台：（i）用于具有多指机器人手的复杂灵巧操纵任务的模拟系统，以及（ii）用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中，我们从视频中提取3D手部和物体姿态，并提出了一种新的演示翻译方法，将人体运动转换为机器人演示。然后，我们应用和基准多个模仿学习算法的演示。我们表明，演示确实可以大大提高机器人学习，并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到：https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
Dexterous Manipulation Graphs
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hong Kong University of Science and Technology（香港科技大学）
我们提出灵巧操作图作为一种工具，以解决在手操作和重新定位机器人的末端执行器内的对象。该图用于规划操纵基元的序列，以便将对象带到所需的结束姿势。该基元序列被转换成机器人的运动，以移动由末端执行器保持的物体。我们使用一个双臂机器人与平行的抓手，以测试我们的方法在一个真实的系统，并成功地规划和执行的手操作。
2018-03-01 cs.RO
Contact Mode Guided Sampling-Based Planning for Quasistatic Dexterous Manipulation in 2D
Carnegie Mellon University（卡内基梅隆大学）
由接触引入的不连续性和多模态使得操纵规划具有挑战性。许多以前的作品避免了这个问题，预先设计了一套高层次的动作原语，如抓和推。然而，这样的运动基元往往不足以描述灵巧的操纵运动。在这项工作中，我们提出了一种方法，灵巧操作规划在一个更原始的水平。其关键思想是使用接触模式，以指导在一个基于抽样的规划框架的搜索。我们的方法可以自动生成接触过渡和准静态假设下的运动轨迹。在实验中，这种方法有时会生成通常预先设计为运动基元的运动，以及更特定于任务的灵巧运动。
2021-05-30 cs.RO
Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
本文提出目标条件概率模型预测控制（GC-PMPC）方法，通过概率神经网络集成和异步MPC策略解决多目标灵巧手操作问题，在模拟与真实DexHand 021平台上均展现出卓越的学习效率与控制性能。
2025-04-30 cs.AI cs.RO cs.SY
DexSim2Real: Foundation Model-Guided Sim-to-Real Transfer for Generalizable Dexterous Manipulation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Bengbu University（Bengbu大学）；UCSI University（UCSI大学）
本文提出DexSim2Real框架，结合基础模型引导的域随机化、触觉视觉交叉注意力策略和渐进技能课程，提升灵巧操作的仿真到现实迁移性能，实验表明其在现实世界中的成功率达到78.2%。
2026-05-03 cs.LG cs.RO
Multi-Phase Multi-Objective Dexterous Manipulation with Adaptive Hierarchical Curriculum
Colorado School of Mines（科罗拉多矿业学院）；GAC R&D Center Silicon Valley（广汽研发中心硅谷分部）
针对灵巧操作中多目标优先级随阶段变化导致深度强化学习困难的问题，提出自适应分层奖励机制（AHRM），动态确定目标优先级并更新奖励分层，在JACO机械臂实验中显著提升了任务性能与学习效率。
2022-07-29 cs.AI cs.RO
Dexterous Manipulation through Imitation Learning: A Survey
Tianjin Key Laboratory of Intelligent Unmanned Swarm Technology and System（天津智能集群技术与系统重点实验室）；School of Electrical and Information Engineering（电气与信息工程学院）；Shandong University（山东大学）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；Division of Robotics, Perception and Learning（机器人、感知与学习 division）；School of Control Science and Engineering（控制科学与工程学院）；Massachusetts Institute of Technology（麻省理工学院）；School of Computer Science（计算机科学学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence（人工智能学院）
本文综述了基于模仿学习的灵巧操作方法，探讨了最新进展和关键挑战，并提出增强IL驱动灵巧操作的潜在研究方向。
2025-12-17 cs.LG cs.RO
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种通过深度强化学习训练人机交互控制策略的方法，例如握手或拍手。该策略控制一个人形的影子灵巧手，连接到一个机器人arm.We提出了一个参数化的多目标奖励函数，允许学习的各种互动，而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计，以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用：握手，拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策，并进行了大规模的用户研究，表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation
Massachusetts Institute of Technology（麻省理工学院）
高分辨率触觉传感器通常体积庞大，并且具有使它们难以用于操纵的形状轮廓。当使用诸如用于灵巧的多指手的指尖的传感器时，这变得重要，其中方形或平面指尖限制了可用的平滑操纵策略集。高分辨率的光学传感器，如GelSight，由于照明几何形状的限制，到目前为止一直被限制在相对平坦的几何形状。在这里，我们展示了如何构建一个圆形的指尖，利用一种形式的光管道定向照明。我们的传感器可以取代Allegro手的标准圆形指尖。它们可以捕获接触表面的高分辨率地图，并可用于支持各种灵巧的操作任务。
2020-05-18 cs.RO
DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation
DexRobot Co. Ltd.（德克斯机器人有限公司）；University of Michigan（密歇根大学）；Shanghai Jiao Tong University（上海交通大学）；Chongqing University（重庆大学）；East China University of Science and Technology（东华大学）
DexCanvas是一个包含7000小时混合真实-合成数据的大规模灵巧操作数据集，基于Cutkosky分类法覆盖21种操作类型，结合真实到模拟流程和强化学习，实现物理验证的接触力发现，促进机器人操作学习与技能迁移。
2026-11-04 cs.LG cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego（加州大学圣地亚哥分校）
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比，模仿学习的最新进展大大提高了样本效率，但由于专家演示有限，学习的策略很难推广到操纵新对象。在本文中，我们建议学习灵巧的操作，使用大规模的示范与不同的3D对象的类别，这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策，我们提出了一个新的模仿学习目标与几何表示学习目标，使用我们的演示。通过在模拟中重新定位不同对象的实验，我们表明，我们的方法在操纵新对象时优于基线，具有很大的优势。我们还消融了3D对象表示学习的重要性，为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
ContactExplorer: Contact Coverage-Guided Exploration for General-Purpose Dexterous Manipulation
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；RoboScience（机器人科学）
提出ContactExplorer方法，通过接触覆盖奖励和能量引导奖励，在灵巧操作任务中高效探索接触模式，提升样本效率和成功率。
2026-09-30 cs.AI cs.RO
Kinematic Nonlinear Spatio-Temporal Trajectory Warping for Contact-Rich Dexterous Manipulation Demonstrations
Carnegie Mellon University（卡内基梅隆大学）
提出一种利用接触分布进行非线性时空轨迹扭曲的方法，可重利用接触丰富的灵巧操作演示，生成考虑路点、障碍和时间偏移的高质量轨迹，并在公开数据集上验证了其有效性和泛化性。
2026-09-30 cs.RO
Dual-Arm In-Hand Manipulation and Regrasping Using Dexterous Manipulation Graphs
KTH Royal Institute of Technology（瑞典皇家理工学院）；Yale University（耶鲁大学）
本文主要研究了用平行夹持器对物体进行手内操作和重夹持的问题。我们提出灵巧操作图（DMG）作为一种表示，我们定义规划在手的操作和重握。DMG是一个断开的无向图，表示手指沿着物体表面的可能运动。我们制定的手操纵和重握问题作为一个图形搜索问题，从初始到最终的配置。由此产生的计划是一系列协调的手推和重握运动。我们提出了一个双臂系统的执行顺序，双手可互换使用。我们展示了我们的方法，ABB Yumi机器人的任务与不同的把握重新配置。
2019-05-16 cs.RO
DexHiL: A Human-in-the-Loop Framework for Vision-Language-Action Model Post-Training in Dexterous Manipulation
CASIA（中国科学院自动化研究所）；SJTU（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
DexHiL是一种用于灵巧操作中视觉-语言-动作模型后训练的人机协同框架，通过干预意识的数据采样策略和轻量级远程操作界面，显著提升了模型在不同任务中的成功率。
2026-03-10 cs.AI cs.RO
Learning Diverse Bimanual Dexterous Manipulation Skills from Human Demonstrations
School of Computer Science（计算机学院）；Peking University（北京大学）；BAAI（北京智源人工智能研究院）
本文提出BiDexHD框架，通过从现有双手数据集自动构建任务并结合教师-学生策略学习，在TACO数据集141个任务上实现了74.59%的已训练任务完成率和51.07%的零样本泛化能力，推动了通用双手灵巧操作技能的学习。
2024-10-03 cs.LG cs.RO
Deep Dynamics Models for Learning Dexterous Manipulation
Google Brain（谷歌大脑（Google Brain））
灵巧的多指手可以为机器人提供灵活执行各种操作技能的能力。然而，许多更复杂的行为也是众所周知的难以控制的：执行手内物体操作，执行手指步态移动物体，并表现出精确的精细运动技能，如书写，都需要精细地平衡接触力，反复断开和重新建立接触，并保持对未致动物体的控制。基于学习的技术提供了直接从数据中获取这些技能的吸引人的可能性，但目前的学习方法要么需要大量的数据并产生特定于任务的策略，要么尚未被证明可以扩展到需要精细运动技能的更复杂和现实的任务。在这项工作中，我们证明了我们的深度动态模型（PDDM）在线规划方法解决了这两个限制;我们表明，学习动力学模型的改进，以及在线模型预测控制的改进，确实可以有效地学习灵活的、接触丰富的灵巧操作技能--而且，在现实世界中的24自由度拟人手上，仅使用4小时的纯现实世界数据来学习同时协调多个自由浮动的对象。视频可以在https://sites.google.com/view/pddm/上找到
2019-09-25 cs.LG cs.RO
HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning
Fudan University（复旦大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）；University of Science and Technology of China（中国科学技术大学）；East China University of Science and Technology（东华大学）
针对人形机器人双臂灵巧操作缺乏高质量仿真任务与演示数据的问题，提出HumanoidGen框架，结合原子操作、LLM推理与改进蒙特卡洛树搜索自动生成任务与演示，实验验证生成数据可提升扩散策略性能。
2025-11-16 cs.AI cs.RO
DexPBT: Scaling up Dexterous Manipulation for Hand-Arm Systems with Population Based Training
本文提出DexPBT算法，利用去中心化基于种群的训练（PBT）大规模放大深度强化学习的探索能力，使模拟单臂或双臂多指手机器人能学习重新抓取、抓取并投掷等极具挑战性的灵巧操作任务，显著优于常规端到端学习并能发现鲁棒控制策略。
2023-05-20 cs.AI cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich（苏黎世联邦理工学院）；Mimic Robotics（Mimic机器人公司）；Microsoft Research（微软研究院）
MAPLE通过从第一人称视频中学习的先验知识，提升灵巧机器人操作任务的策略学习，有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
DexHandDiff: Interaction-aware Diffusion Planning for Adaptive Dexterous Manipulation
The University of Hong Kong（香港大学）；University of California, Berkeley（加州大学伯克利分校）
针对现有扩散规划方法在复杂富接触灵巧操作中存在幽灵状态、适应性不足的问题，提出交互感知框架DexHandDiff，通过双阶段扩散、双重引导及大语言模型辅助生成引导函数，显著提升了训练分布外任务的成功率与泛化性。
2025-06-17 cs.CV cs.LG cs.RO
