The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
A Bilateral Teleoperation Framework for Dexterous Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony Group Corporation(索尼集团公司);Meta Reality Labs Research(Meta现实实验室)
提出模块化双边遥操作框架,集成操作端输入与机器人端灵巧手及柔顺臂,通过位置重定向、差分控制、多尺度触觉反馈和共享控制实现灵巧操作,验证了协调控制与接触感知能力。
2026-06-16 cs.HC cs.RO cs.SY
Scenario Convex Programs for Dexterous Manipulation under Modeling Uncertainties
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院);ESME Sudria Engineering School(ESME苏德里亚工程学校);College of Computing, University Mohammed VI Polytechnic(穆罕默德六世理工大学计算机学院);ESME Research Lab.(ESME研究实验室)
提出基于场景凸规划的多指手灵巧操作控制器,通过采样处理接触点不确定性和多操作点,实现鲁棒极点配置。
2024-07-16 cs.RO cs.SY eess.SY
Dexterous Manipulation Transfer via Progressive Kinematic-Dynamic Alignment
针对多指灵巧手操作数据稀缺问题,提出渐进式运动学-动力学对齐的手型无关迁移框架,可将人手演示视频转换为高质量灵巧操作轨迹,平均迁移成功率达73%,具备强泛化性与可扩展性。
2025-11-14 cs.RO
TypeTele: Releasing Dexterity in Teleoperation by Dexterous Manipulation Types
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Stanford University, USA(斯坦福大学);Imperial College London, UK(伦敦帝国理工学院)
TypeTele提出类型引导的灵巧遥操作系统,通过引入灵巧操作类型库和MLLM辅助类型检索,使灵巧手突破人类运动模式限制,显著提升多样复杂任务的成功率。
2025-07-02 cs.RO
Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation
New York University(纽约大学)
优化灵巧操作的行为一直是机器人技术中的一个长期挑战,从基于模型的控制到无模型强化学习的各种方法先前已经在文献中进行了探索。也许学习复杂操作策略的最强大的技术之一是模仿学习。然而,收集和示教学习示范灵巧操作是相当具有挑战性的。多指控制涉及的复杂、高维动作空间通常导致基于学习的方法的低样本效率。在这项工作中,我们提出了“灵巧模仿容易”(DIME)一个新的模仿学习框架灵巧操作。DIME只需要一个RGB摄像头来观察人类操作员并远程操作我们的机器人手。一旦示范收集,DIME采用标准的模仿学习方法,训练灵巧的操作政策。在模拟和真实的机器人基准测试中,我们证明了DIME可用于解决复杂的手操作任务,如“翻转”,“旋转”和“旋转”对象与快板手。我们的框架以及预先收集的演示可在https://nyu-robot-learning.github.io/dime上公开获取。
2022-03-24 cs.AI cs.CV cs.LG
Planning for Dexterous Ungrasping: Secure Ungrasping through Dexterous Manipulation
The Hong Kong University of Science and Technology(香港科技大学)
本文研究机器人灵巧松持问题,提出可规划最小成本安全运动路径的框架,并发现夹爪手指长度不对称是实现可行、安全松持的关键。
2021-08-31 cs.RO
Dexterous Manipulation Based on Prior Dexterous Grasp Pose Knowledge
Shanghai Jiao Tong University(上海交通大学)
提出一种利用先验灵巧抓取位姿知识的强化学习方法,将操作解耦为抓取位姿生成与环境探索两阶段,显著提升了灵巧操作的学习效率与成功率。
2024-12-20 cs.LG cs.RO
Dexterous Cable Manipulation: Taxonomy, Multi-Fingered Hand Design, and Long-Horizon Manipulation
University of Edinburgh(爱丁堡大学);EPFL(洛桑联邦理工学院);University of York(约克大学)
本文针对灵巧线缆操作缺乏系统定义与合适硬件的问题,提出了线缆操作任务分类体系,并设计了一种25自由度、具有对称拇指-食指配置和可旋转指尖关节的五指手,同时开发了相应的演示采集流程,以支持长时程线缆操作任务。
2025-02-06 cs.RO
Dexterous Manipulation Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);Hong Kong University of Science and Technology(香港科技大学)
我们提出灵巧操作图作为一种工具,以解决在手操作和重新定位机器人的末端执行器内的对象。该图用于规划操纵基元的序列,以便将对象带到所需的结束姿势。该基元序列被转换成机器人的运动,以移动由末端执行器保持的物体。我们使用一个双臂机器人与平行的抓手,以测试我们的方法在一个真实的系统,并成功地规划和执行的手操作。
2018-03-01 cs.RO
Contact Mode Guided Sampling-Based Planning for Quasistatic Dexterous Manipulation in 2D
Carnegie Mellon University(卡内基梅隆大学)
由接触引入的不连续性和多模态使得操纵规划具有挑战性。许多以前的作品避免了这个问题,预先设计了一套高层次的动作原语,如抓和推。然而,这样的运动基元往往不足以描述灵巧的操纵运动。在这项工作中,我们提出了一种方法,灵巧操作规划在一个更原始的水平。其关键思想是使用接触模式,以指导在一个基于抽样的规划框架的搜索。我们的方法可以自动生成接触过渡和准静态假设下的运动轨迹。在实验中,这种方法有时会生成通常预先设计为运动基元的运动,以及更特定于任务的灵巧运动。
2021-05-30 cs.RO
Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
高分辨率触觉传感器通常体积庞大,并且具有使它们难以用于操纵的形状轮廓。当使用诸如用于灵巧的多指手的指尖的传感器时,这变得重要,其中方形或平面指尖限制了可用的平滑操纵策略集。高分辨率的光学传感器,如GelSight,由于照明几何形状的限制,到目前为止一直被限制在相对平坦的几何形状。在这里,我们展示了如何构建一个圆形的指尖,利用一种形式的光管道定向照明。我们的传感器可以取代Allegro手的标准圆形指尖。它们可以捕获接触表面的高分辨率地图,并可用于支持各种灵巧的操作任务。
2020-05-18 cs.RO
Dual-Arm In-Hand Manipulation and Regrasping Using Dexterous Manipulation Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);Yale University(耶鲁大学)
本文主要研究了用平行夹持器对物体进行手内操作和重夹持的问题。我们提出灵巧操作图(DMG)作为一种表示,我们定义规划在手的操作和重握。DMG是一个断开的无向图,表示手指沿着物体表面的可能运动。我们制定的手操纵和重握问题作为一个图形搜索问题,从初始到最终的配置。由此产生的计划是一系列协调的手推和重握运动。我们提出了一个双臂系统的执行顺序,双手可互换使用。我们展示了我们的方法,ABB Yumi机器人的任务与不同的把握重新配置。
2019-05-16 cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Contact Mode Guided Motion Planning for Quasidynamic Dexterous Manipulation in 3D
Carnegie Mellon University(卡内基梅隆大学)
提出了一种基于接触模式的灵巧手三维准静态和准动态刚体运动规划方法。CMGMP算法生成包括连续状态转换和离散接触模式切换的混合运动计划,而不需要预先指定的接触序列或预先设计的运动基元。其核心思想是使用自动枚举的环境对象接触的接触模式,以指导在搜索过程中的树扩展。接触模式自动合成操作基元,而基于采样的规划框架将这些基元排序为连贯的计划。我们在14个3D操作任务上测试了我们的算法,并通过在一个真实的机器人-机械手系统上开环执行一些计划来验证我们的模型
2022-06-03 cs.RO
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);J.P. Morgan AI Research(摩根大通AI研究);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
本研究提出DexUMI数据收集与策略学习框架,通过可穿戴外骨骼的硬件适配和机器人手图像修复的软件适配缩小人机具身差距,实现人手向多类机器人手的灵巧技能迁移,真实实验平均任务成功率达86%。
2025-10-02 cs.RO
HANDFUL: Sequential Grasp-Conditioned Dexterous Manipulation with Resource Awareness
Northwestern University(西北大学);University of Southern California(南加州大学)
本文提出HANDFUL框架,通过资源感知抓取提升多任务操作的灵活性和鲁棒性,结合仿真与现实验证其有效性。
2026-07-08 cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对灵巧手操作学习难的问题,提出基于DeltaHand软体手和运动学孪生遥操作界面TeleHand的模仿学习系统,采用扩散策略,在七个任务上平均成功率90%。
2024-08-21 cs.RO
DexDLO: Learning Goal-Conditioned Dexterous Policy for Dynamic Manipulation of Deformable Linear Objects
University of Edinburgh(爱丁堡大学);University of York(约克大学)
DexDLO提出一种无模型端到端框架,利用固定底座灵巧手学习可变形线性物体的目标条件动态操作策略,在Mujoco中统一参数高效完成五种操作任务,并深入分析策略与奖励设计。
2023-12-23 cs.LG cs.RO
Jacta: A Versatile Planner for Learning Dexterous and Whole-body Manipulation
TU Munich(慕尼黑工业大学);Boston Dynamics AI Institute(波士顿动力人工智能研究所)
本文提出灵活运动规划器 Jacta,为强化学习生成可直接使用的演示,从而高效学习灵巧与全身操作策略,并验证其可迁移至真实机器人。
2024-10-26 cs.RO
Circus ANYmal: A Quadruped Learning Dexterous Manipulation with Its Limbs
The University of Tokyo(东京大学);ETH Zürich(苏黎世联邦理工学院)
四足机器人擅长运动任务,但缺乏操纵技能,更不用说灵巧的操纵能力了。受动物行为和多足运动和多指操纵之间的二元性的启发,我们展示了一个四足机器人ANYmal的马戏团球挑战。我们采用无模型强化学习方法来训练深度策略,使机器人能够使用其四肢在没有任何接触测量传感器的情况下稳健地平衡和操纵轻质球。该策略在仿真中进行训练,通过加性噪声对许多物理属性进行随机化,并在操作过程中注入随机干扰力,在不进行任何调整的情况下在真实机器人上实现零触发(zero-shot)部署。在硬件实验中,实现了动态性能的最大旋转速度为15度/秒,和鲁棒恢复下的外部戳。据我们所知,这是第一个工作,演示了灵巧的动态操纵一个真正的四足机器人。
2020-12-10 cs.RO
Learning Dexterous Manipulation from Exemplar Object Trajectories and Pre-Grasps
Carnegie Mellon University(卡内基梅隆大学);Meta AI Research(Meta人工智能研究院)
学习不同的灵巧操作行为与各种物体仍然是一个开放的巨大挑战。虽然策略学习方法提供了一个强大的途径来解决这个问题,他们需要广泛的每任务工程和算法调优。本文试图摆脱这些限制,通过开发一个预抓取知情灵巧操作(PGDM)框架,产生不同的灵巧操作行为,没有任何特定于任务的推理或超参数调整。PGDM的核心是一个众所周知的机器人结构,即预抓取(即为物体交互做准备的手部姿势)。这个简单的原语是足够的,以获得复杂的灵巧操作行为诱导有效的探索策略。为了彻底验证这些说法,我们介绍了TCDM,一个基准的50个不同的操作任务定义在多个对象和灵巧的机械手。TCDM的任务是使用来自各种来源(动画师、人类行为等)的示例对象轨迹自动定义的,而无需任何每任务工程和/或监督。我们的实验验证了PGDM的探索策略,由一个令人惊讶的简单成分(单一的预抓取姿势)诱导,与先前方法的性能相匹配,这些方法需要昂贵的每任务功能/奖励工程,专家监督和超参数调整。有关动画可视化、经过训练的策略和项目代码,请参阅:https://pregrasps.github.io/
2023-02-12 cs.AI cs.RO
UniHM: Unified Dexterous Hand Manipulation with Vision Language Model
ShanghaiTech University(上海科技大学);InstAdapt
UniHM通过统一的视觉语言模型实现灵巧手操作,利用开放词汇指令提升泛化能力和物理可行性。
2026-02-28 cs.CV cs.RO
V2P-Manip: Learning Dexterous Manipulation from Monocular Human Videos
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
提出V2P-Manip框架,从单目人类演示视频中提取具有视觉保真度和物理合理性的轨迹,通过两阶段精炼实现空间对齐与物理一致性,在TACO和OakInk基准上显著优于先前方法。
2026-06-16 cs.CV cs.RO
DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo
NLPR & MAIS, CASIA(中国科学院南京自动化研究所与模式识别与人工智能实验室);SJTU(上海交通大学);MBZUAI(马克斯·普朗克研究所);Beijing Institute of Basic Medical Sciences(北京基础医学研究所);PKU & Galbot(北京大学与Galbot);CUHK(香港大学)
本文提出DexJoCo基准和工具包,包含11个功能任务评估灵巧手的工具使用、双臂协调、长周期执行和推理能力,通过低成本数据收集系统和领域随机化评估鲁棒性,揭示当前策略的局限性。
2026-09-23 cs.RO
STAR: Sparse Tactile Representation Learning in Vision-Tactile-Language-Action Models for Dexterous Manipulation
Shanghai Innovation Institute(上海创新研究院);Agibot(智元机器人)
针对灵巧操作中触觉信号稀疏的挑战,本文构建200小时双臂数据集并提出STAR训练方案,通过联合预训练与稀疏表示,在真实任务中达到61%平均成功率。
2026-09-21 cs.RO
TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation
Shanghaitech University(上海科技大学);InstAdapt(自适应研究所)
研究针对当前人到机器人灵巧转移管道依赖运动轨迹缺乏物理交互的问题,引入TactiDex基准,提出触觉驱动转移框架及TactiSkill,经实验证明其在操作成功率和物理逼真度上表现出色,为触觉感知灵巧操作奠定基础。
2026-07-13 cs.RO
RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出RoboDexVLM框架,结合VLM任务规划与语言引导的零样本灵巧抓取算法,解决长程复杂操作任务,实现开放词汇的灵巧机器人操作。
2025-03-03 cs.RO
EaDex: A Cross-Embodiment Dexterous Manipulation Framework from Low-Cost Demonstrations
Faculty of Robot Science and Engineering, Northeastern University(机器人科学与工程学院,东北大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);School of Automation, Nanjing University of Information Science and Technology(自动化学院,南京信息科学技术大学)
提出EaDex框架,通过RGB-D相机捕捉人手运动并构建结构化演示数据,结合基于接触奖励的动态演示退火机制,在低成本演示条件下实现多形态灵巧操作的快速学习和训练。
2026-06-02 cs.RO
DexFormer: Cross-Embodied Dexterous Manipulation via History-Conditioned Transformer
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Wuhan University(武汉大学)
DexFormer通过历史条件化的Transformer实现跨具身体验的灵巧操作,能够适应不同手型并实现零样本迁移。
2026-02-09 cs.RO
A Dexterous and Compliant Gripper With Soft Hydraulic Actuation for Microgravity Manipulation
Aerospace Engineering Program, University of California, Berkeley(加州大学伯克利分校航空航天工程系);Department of Mechanical Engineering, University of California, Berkeley(加州大学伯克利分校机械工程系);Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系)
本文提出将DexCoHand灵活的双指六自由度机械手与Astrobee自由飞行机器人集成,以实现微重力环境下的灵活操作,该机械手在保持稳定接触的同时减少了对自由飞行基底的干扰,提高了操作的连续性和适应性。
2026-05-18 cs.RO
Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);Carnegie Mellon University(卡内基梅隆大学)
对任意物体的灵巧操作是人类的基本日常任务,对自主机器人系统来说是一个巨大的挑战。虽然使用强化学习的数据驱动方法可以开发出发现控制单个对象的行为的专业策略,但它们通常对看不见的对象表现出很差的泛化能力。在这项工作中,我们表明,通过现有的强化学习算法学习的政策实际上可以是通才时,结合多任务学习和精心选择的对象表示。我们表明,一个单一的通才政策可以执行手操纵超过100几何不同的现实世界中的对象,并推广到新的对象看不见的形状或大小。有趣的是,我们发现,使用对象点云表示的多任务学习不仅泛化更好,而且在训练和保持测试对象上的性能甚至优于单对象专家策略。视频结果请访问https://huangwl18.github.io/geometry-dex
2021-11-04 cs.AI cs.CV cs.LG
OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation
Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系);Physical Automation, Inc.(Physical Automation 公司)
OpenEgo是一个大规模多模态自我中心操作数据集,含1107小时视频、290个任务,提供标准化手部姿态和动作原语,用于降低灵巧操作模仿学习门槛并支持可复现研究。
2025-09-05 cs.AI cs.CV cs.RO
Local Trajectory Stabilization for Dexterous Manipulation via Piecewise Affine Approximations
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个基于模型的方法来设计灵巧机器人操作的反馈策略。针对一类非光滑非线性系统,将操纵问题转化为从初始状态到达目标区域的问题。首先,我们使用轨迹优化来找到一个可行的轨迹。接下来,我们将轨迹周围的局部多接触动力学表征为分段仿射系统,并使用多面体围绕标称轨迹的线性化构建漏斗。我们证明了在线性化附近的反馈控制器是保证驱动非线性系统的目标区域。在在线执行期间,我们求解线性规划来跟踪系统轨迹。我们在硬件上验证了算法,表明即使在大的外部干扰下,控制器也能够完成任务。
2020-05-21 cs.RO
Kinematic Nonlinear Spatio-Temporal Trajectory Warping for Contact-Rich Dexterous Manipulation Demonstrations
Carnegie Mellon University(卡内基梅隆大学)
提出一种利用接触分布进行非线性时空轨迹扭曲的方法,可重利用接触丰富的灵巧操作演示,生成考虑路点、障碍和时间偏移的高质量轨迹,并在公开数据集上验证了其有效性和泛化性。
2026-09-30 cs.RO
Mana: Dexterous Manipulation of Articulated Tools
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);Stanford University(斯坦福大学);Amazon FAR(亚马逊FAR)
提出Mana框架,将灵巧操作重解释为动画问题,通过粗到细的流水线自动生成操作轨迹,实现铰接工具的零样本仿真到现实迁移。
2026-06-12 cs.AI cs.CV cs.LG
FoLD: Force-Informed Learning for Dexterous Articulated Object Manipulation
University of Science and Technology of China(中国科学技术大学);Institute of AI for Industries, Chinese Academy of Sciences(中国科学院人工智能产业研究院);Shenzhen University(深圳大学)
FoLD通过从人类演示中计算补偿力场生成力量先验,指导残差策略适应接触要求,在关节物体操作基准和真实机器人上优于基线,实现灵巧操作技能迁移。
2026-10-15 cs.RO
EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data
NVIDIA;University of California, Berkeley(加州大学伯克利分校);University of Maryland(马里兰大学)
EgoScale通过大规模视点人类数据训练视觉语言动作模型,实现高效的灵巧操作转移,提升机器人任务成功率54%。
2026-02-18 cs.RO
DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos
Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);NVIDIA(英伟达)
DexImit通过四阶段生成流程,将单目人类视频转化为物理合理的机器人数据,以解决双臂灵巧操作的泛化问题。
2026-02-10 cs.RO
Learning Dexterous Manipulation with Quantized Hand State
本文提出DQ-RISE方法,通过量化手状态简化手部动作预测,同时允许手臂动作与紧凑手状态协同扩散,从而实现更平衡高效的灵巧操作学习。
2026-03-16 cs.RO
Dex-X: Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction
Tsinghua University(清华大学);Shanghai Qizhi Institute(上海智己研究院);Sharpa(Sharpa公司);Tongji University(同济大学);Renmin University(中国人民大学)
DEX-X通过模拟补全触觉信息,从人类视频学习视觉-触觉灵巧操作策略,实现零样本模拟到现实迁移,在抓取和工具使用任务中取得高成功率。
2026-10-02 cs.RO
HERMES: Human-to-Robot Embodied Learning from Multi-Source Motion Data for Mobile Dexterous Manipulation
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海启智研究院);Peking University(北京大学)
针对多源人手运动向机器人行为转化难、策略泛化性不足等问题,提出HERMES框架,通过统一强化学习、深度图像端到端sim2real迁移及增强PnP定位的导航模型,实现移动双臂灵巧操作,在多样真实场景中表现出良好泛化性。
2025-08-31 cs.RO
Object-Focus Actor for Data-efficient Robot Generalization Dexterous Manipulation
JD Explore Academy(京东探索学院);JD Company(京东公司);Beijing Jiaotong University(北京交通大学)
针对机器人操作学习从人类演示中获取技能泛化性差、VLA范式因数据稀缺性能受限的问题,提出数据高效的OFA方法,利用灵巧操作一致末端轨迹和分层流水线,仅10次演示即可在七项任务泛化测试中显著优于基线。
2025-05-21 cs.AI cs.RO
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
NVIDIA(英伟达)
提出CHORD框架,通过物体中心的接触力空间引导,利用人类演示的力和力矩信息增强强化学习,在包含4739个双臂灵巧操作任务的大规模基准上平均成功率82.12%,并泛化到全身操作和真实世界。
2026-11-11 cs.AI cs.CV cs.RO
Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids
UC Berkeley(伯克利大学);NVIDIA(英伟达);UT Austin(奥斯汀大学)
针对人形机器人视觉灵巧操作策略学习难、现有方法成本高的问题,提出含自动现实-仿真调优、通用奖励等模块的sim-to-real强化学习方案,在三项任务上实现高成功率与鲁棒性,验证了该方案的可行性与可扩展性。
2025-09-01 cs.AI cs.CV cs.LG
Analyzing Key Objectives in Human-to-Robot Retargeting for Dexterous Manipulation
Department of Automation, Beijing National Research Center for Information Science and Technology, Tsinghua University, China(自动化系,信息科学与技术国家工程研究中心,清华大学)
本文通过实验分析回退目标在灵巧操作中的应用,提出综合目标公式并评估各因素的重要性。
2025-12-24 cs.RO
Design of an Adaptive Modular Anthropomorphic Dexterous Hand for Human-like Manipulation
School of Artificial Intelligence and Robotics, Hunan University(人工智能与机器人学院,湖南大学)
本文提出了一种具有4自由度的仿人手指拓扑结构,并基于此设计了自适应模块化灵活手,通过生物协同原理实现人样的抓取与操作。
2025-11-27 cs.RO
DexVerse: A Modular Benchmark for Multi-Task, Multi-Embodiment Dexterous Manipulation
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The University of Hong Kong(香港大学);UC Berkeley(加州大学伯克利分校)
DexVerse是用于多任务、多实体灵巧操作的模块化基准测试,含100个任务,支持多种机器人手臂和手,可扩展且提供视觉变化等。通过对多种方法的基准测试,揭示任务泛化和视觉运动鲁棒性挑战,为通用灵巧操作提供测试平台。
2026-07-10 cs.RO
Dexterous Non-Prehensile Manipulation for Ungraspable Object via Extrinsic Dexterity
Peking University(北京大学)
针对基底面积过大的不可抓取物体,提出基于强化学习的灵巧臂手系统ExDex,通过将物体移至边缘或墙壁利用外部灵巧性实现非抓取操作,实验验证性能优越且可泛化至新物体,并成功迁移至真实机器人。
2025-03-29 cs.RO
Scalable Multi-Task Data Generation via Reinforcement Learning for Language-Conditioned Bimanual Dexterous Manipulation
TU Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe GmbH(本田欧洲研究院有限公司);DFKI(德国人工智能研究中心)
提出基于强化学习的系统化数据生成流程,结合通用奖励设计、域随机化和语言条件任务标注,合成高质量双手灵巧操作数据集,训练语言条件多任务策略,提升跨任务泛化能力。
2026-06-23 cs.RO
Dexterous In-Hand Manipulation of Slender Cylindrical Objects through Deep Reinforcement Learning with Tactile Sensing
University of Edinburgh(爱丁堡大学);Tencent Robotics X(腾讯机器人X实验室);University College London(伦敦大学学院)
本文提出基于触觉反馈和深度强化学习的端到端策略框架,实现机器人三指灵巧手对细长圆柱物体的连续位姿控制,并通过模型校准与域随机化成功完成从仿真到现实的迁移验证。
2023-04-11 cs.RO
Coordi-pi: Coordination-Aware Dual-Hand Action Representation for Bimanual Dexterous Manipulation
Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学)
针对双手机器人灵巧操作的高维动作空间问题,提出Coordi-π结构化动作表示,在DexJoCo基准及真实任务中均优于现有方法π₀.₅,实现最优性能。
2026-10-15 cs.RO