Learning Diverse Bimanual Dexterous Manipulation Skills from Human Demonstrations
School of Computer Science(计算机学院);Peking University(北京大学);BAAI(北京智源人工智能研究院)
本文提出BiDexHD框架,通过从现有双手数据集自动构建任务并结合教师-学生策略学习,在TACO数据集141个任务上实现了74.59%的已训练任务完成率和51.07%的零样本泛化能力,推动了通用双手灵巧操作技能的学习。
2024-10-03 cs.LG cs.RO
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego(加州大学圣地亚哥分校);HKUST(香港科技大学)
我们提出了一个模拟到真实的灵巧操作框架,可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化:(i)使用想象的手部点云作为增强输入;(ii)设计新颖的基于接触的奖励。我们经验性地评估我们的方法,使用快板手抓住新的对象在模拟和现实世界中。据我们所知,这是第一个基于策略学习的框架,可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation
DexRobot Co. Ltd.(德克斯机器人有限公司);University of Michigan(密歇根大学);Shanghai Jiao Tong University(上海交通大学);Chongqing University(重庆大学);East China University of Science and Technology(东华大学)
DexCanvas是一个包含7000小时混合真实-合成数据的大规模灵巧操作数据集,基于Cutkosky分类法覆盖21种操作类型,结合真实到模拟流程和强化学习,实现物理验证的接触力发现,促进机器人操作学习与技能迁移。
2026-11-04 cs.LG cs.RO
DexMV: Imitation Learning for Dexterous Manipulation from Human Videos
University of California San Diego(加州大学圣地亚哥分校)
虽然计算机视觉在理解手-物交互方面取得了重大进展,但机器人执行复杂灵巧操作仍然非常具有挑战性。在本文中,我们提出了一个新的平台和流水线DexMV(灵巧操作视频)的模仿学习。我们设计了一个平台:(i)用于具有多指机器人手的复杂灵巧操纵任务的模拟系统,以及(ii)用于记录执行相同任务的人手的大规模演示的计算机视觉系统。在我们的新管道中,我们从视频中提取3D手部和物体姿态,并提出了一种新的演示翻译方法,将人体运动转换为机器人演示。然后,我们应用和基准多个模仿学习算法的演示。我们表明,演示确实可以大大提高机器人学习,并解决强化学习无法单独解决的复杂任务。更多细节可以在项目页面中找到:https://yzqin.github.io/dexmv
2022-07-06 cs.CV cs.LG cs.RO
Mana: Dexterous Manipulation of Articulated Tools
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);Stanford University(斯坦福大学);Amazon FAR(亚马逊FAR)
提出Mana框架,将灵巧操作重解释为动画问题,通过粗到细的流水线自动生成操作轨迹,实现铰接工具的零样本仿真到现实迁移。
2026-06-12 cs.AI cs.CV cs.LG
A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation
Cornell University(康奈尔大学);Amazon FAR(亚马逊FAR)
研究如何将重定向引导强化学习用于灵巧操作,提出REGRIND方法,从单人演示学习策略,经重定向、模拟训练、零样本转移到硬件,在丰富接触任务中产生类人行为,还分析了模拟到现实转移的关键因素。
2026-07-14 cs.AI cs.LG cs.RO
Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation
Stanford University(斯坦福大学)
提出序列灵巧性系统,通过链式灵巧策略和过渡可行性函数,解决长时程操作任务,实现仿真到真实的零样本迁移。
2023-10-16 cs.AI cs.LG cs.RO
CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出CoorDex学习框架,通过将高维身体和灵巧手控制转化为协调的潜在残差控制,实现类人机器人在运动中执行灵巧操作,如不停顿抓取瓶子、移动中开冰箱门等。
2026-06-23 cs.AI cs.LG cs.RO
State-Only Imitation Learning for Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校);New York University(纽约大学)
现代无模型强化学习方法最近在许多问题上表现出令人印象深刻的结果。然而,由于样品的高度复杂性,像灵巧操作这样的复杂领域仍然是一个挑战。为了解决这个问题,目前的方法采用状态-动作对形式的专家演示,这对于现实世界的设置(例如从视频中学习)是很难获得的。在本文中,我们走向一个更现实的设置,并探讨只有状态的模仿学习。为了解决这个问题,我们训练一个逆动力学模型,并使用它来预测仅状态演示的动作。逆动力学模型和策略被联合训练。我们的方法与状态-动作方法相当,并且远远优于单独的RL。通过不依赖于专家的行动,我们能够从不同的动态,形态和对象的演示中学习。视频可在https://people.eecs.berkeley.edu/~ilija/soil获得。
2021-12-29 cs.LG cs.RO stat.ML
Benchmarking Reinforcement Learning Methods for Dexterous Robotic Manipulation with a Three-Fingered Gripper
The University of Auckland(奥克兰大学);New Dexterity(新 Dexterity 研究机构)
本研究探讨了在真实环境中直接训练强化学习算法以执行灵巧操作,对三种RL算法在复杂手内操作任务上进行了基准测试,验证了真实世界训练的实用性并分享了实验经验。
2024-08-27 cs.AI cs.LG cs.RO
DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
MIT(麻省理工学院);UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对多指手灵巧操作可变形物体面临的物理交互复杂与接触模式爆炸难题,提出DexDeform框架,结合人类演示与可微物理优化技能,有效提升了对新目标的探索与泛化能力。
2023-03-27 cs.AI cs.CV cs.LG
Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations
University of Washington(华盛顿大学);OpenAI;University of California Berkeley(加州大学伯克利分校);Istituto Italiano di Tecnologia(意大利理工学院)
灵巧的多指手是非常通用的,并提供了一种通用的方式来执行以人为中心的环境中的许多任务。然而,有效地控制它们仍然具有挑战性,因为它们的高维度和大量的潜在接触。深度强化学习(DRL)提供了一种模型不可知的方法来控制复杂的动力系统,但尚未被证明可以扩展到高维灵巧操作。此外,由于样本效率低下,在物理系统上部署DRL仍然具有挑战性。因此,迄今为止,DRL在机器人领域的成功仅限于简单的机械手和任务。在这项工作中,我们表明,无模型DRL可以有效地扩展到复杂的操作任务与高维24自由度的手,并解决他们从头开始在模拟实验。此外,通过使用少量的人类演示,可以显着降低样本的复杂性,这使得学习的样本大小相当于几个小时的机器人经验。使用示威导致政策表现出非常自然的运动,而且令人惊讶的是,也更加强大。
2018-06-26 cs.AI cs.LG cs.RO
REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院);University of Washington(华盛顿大学)
本文提出REBOOT系统,通过整合样本高效强化学习与重放缓冲区引导技术,重用不同任务数据作为新任务训练起点,并结合基于模仿的拾取策略和学习的奖励函数实现真实世界自动重置,显著提升了四指机械手灵巧操作技能的学习效率。
2023-09-06 cs.AI cs.LG cs.RO
Learning Dexterous In-Hand Manipulation
OpenAI(开放人工智能研究中心)
我们使用强化学习(RL)来学习灵巧手操作策略,该策略可以在物理Shadow Dexterous Hand上执行基于视觉的对象重定向。训练是在模拟环境中进行的,在模拟环境中,我们随机化了系统的许多物理属性,如摩擦系数和物体的外观。我们的政策转移到物理机器人,尽管完全在模拟训练。我们的方法不依赖于任何人类演示,但在人类操作中发现的许多行为自然出现,包括手指步态,多指协调和重力的控制使用。我们的结果是使用用于训练OpenAI Five的相同分布式RL系统获得的。我们还包含一段结果视频:https://youtu.be/jwSbzNHGflM
2019-01-18 cs.AI cs.LG cs.RO
DexMan: Learning Bimanual Dexterous Manipulation from Human and Generated Videos
National Taiwan University(国立台湾大学);Stanford University(斯坦福大学)
DexMan是一个自动化框架,从人类和生成视频中学习双臂灵巧操作,无需标定或标注,通过接触奖励提升策略,在姿态估计和成功率上达到最先进水平。
2025-10-09 cs.CV cs.LG cs.RO
Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance
UC Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院);University of Washington(华盛顿大学)
复杂和接触丰富的机器人操作任务,特别是那些涉及多指手和欠驱动的对象操作,提出了一个重大的挑战,任何控制方法。基于强化学习的方法为这种设置提供了一个有吸引力的选择,因为它们可以使机器人学习微妙地平衡接触力并灵巧地重新定位物体,而无需强有力的建模假设。然而,在现实世界的灵巧操作系统上运行强化学习通常需要大量的人工工程。这否定了强化学习原则上应该提供的自主数据汇集和易用性的好处。在本文中,我们描述了一个基于视觉的灵巧操作系统,提供了一个“无编程”的方法,为用户定义新的任务,并使机器人与复杂的多指手,通过互动来学习执行它们。我们系统的核心原则是,在基于视觉的环境中,用户应该能够提供高水平的中间监督,以规避遥操作或动觉教学中的挑战,使机器人不仅能够有效地学习任务,而且能够自主练习。我们的系统包括一个框架,让用户定义一个最终的任务和中间的子任务与图像的例子,一个强化学习过程,学习任务自主没有干预,和实验结果与四指机器人手学习多阶段的对象操作任务直接在现实世界中,没有模拟,手动建模,或奖励工程。
2022-12-19 cs.AI cs.CV cs.LG
Learning a Universal Human Prior for Dexterous Manipulation from Human Preference
Princeton University(普林斯顿大学);South China University of Technology(华南理工大学);OpenAI(开放人工智能研究中心);Peking University(北京大学)
提出基于人类反馈强化学习的框架,通过视频偏好学习通用人类先验,无需示范即可高效微调20个双手机器人操作任务,在多样及未见任务上展现类人行为与泛化能力。
2023-09-13 cs.HC cs.LG cs.RO
Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning
Institute for AI, Peking University(北京大学人工智能研究院);Center on Frontiers of Computing Studies, Peking University(北京大学前沿计算研究中心);University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
实现人类水平的灵活性是机器人技术中一个重要的开放性问题。然而,灵巧手操作的任务,即使在婴儿级别,通过强化学习(RL)解决也是具有挑战性的。困难在于高自由度和异构代理之间所需的合作(例如,手指的关节)。在这项研究中,我们提出了双手灵巧手基准(Bi-DexHands),一个模拟器,涉及两个灵巧的手与数十双手操作任务和数千个目标对象。具体来说,根据认知科学文献,Bi-DexHands中的任务旨在匹配不同水平的人类运动技能。我们在Issac Gym中构建了Bi-DexHands;这可以实现高效的RL训练,仅通过一台NVIDIA RTX 3090即可达到30,000 + FPS。我们为不同设置下的流行RL算法提供了一个全面的基准;这包括单代理/多代理RL,离线RL,多任务RL和Meta RL。我们的研究结果表明,PPO类型的策略算法可以掌握简单的操作任务,相当于48个月的人类婴儿(例如,捕捉飞行物体,打开瓶子),而多智能体RL可以进一步帮助掌握需要熟练双手合作的操作(例如,举锅、堆积木)。尽管在每个单一任务上都取得了成功,但当涉及到获取多种操作技能时,现有的RL算法无法在大多数多任务和少样本学习设置中工作,这需要RL社区进行更实质性的发展。我们的项目在https://github.com/PKU-MARL/DexterousHands上开源。
2022-10-11 cs.AI cs.LG cs.MA
Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);Carnegie Mellon University(卡内基梅隆大学)
对任意物体的灵巧操作是人类的基本日常任务,对自主机器人系统来说是一个巨大的挑战。虽然使用强化学习的数据驱动方法可以开发出发现控制单个对象的行为的专业策略,但它们通常对看不见的对象表现出很差的泛化能力。在这项工作中,我们表明,通过现有的强化学习算法学习的政策实际上可以是通才时,结合多任务学习和精心选择的对象表示。我们表明,一个单一的通才政策可以执行手操纵超过100几何不同的现实世界中的对象,并推广到新的对象看不见的形状或大小。有趣的是,我们发现,使用对象点云表示的多任务学习不仅泛化更好,而且在训练和保持测试对象上的性能甚至优于单对象专家策略。视频结果请访问https://huangwl18.github.io/geometry-dex
2021-11-04 cs.AI cs.CV cs.LG
Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids
UC Berkeley(伯克利大学);NVIDIA(英伟达);UT Austin(奥斯汀大学)
针对人形机器人视觉灵巧操作策略学习难、现有方法成本高的问题,提出含自动现实-仿真调优、通用奖励等模块的sim-to-real强化学习方案,在三项任务上实现高成功率与鲁棒性,验证了该方案的可行性与可扩展性。
2025-09-01 cs.AI cs.CV cs.LG
DexDLO: Learning Goal-Conditioned Dexterous Policy for Dynamic Manipulation of Deformable Linear Objects
University of Edinburgh(爱丁堡大学);University of York(约克大学)
DexDLO提出一种无模型端到端框架,利用固定底座灵巧手学习可变形线性物体的目标条件动态操作策略,在Mujoco中统一参数高效完成五种操作任务,并深入分析策略与奖励设计。
2023-12-23 cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Deep Dynamics Models for Learning Dexterous Manipulation
Google Brain(谷歌大脑(Google Brain))
灵巧的多指手可以为机器人提供灵活执行各种操作技能的能力。然而,许多更复杂的行为也是众所周知的难以控制的:执行手内物体操作,执行手指步态移动物体,并表现出精确的精细运动技能,如书写,都需要精细地平衡接触力,反复断开和重新建立接触,并保持对未致动物体的控制。基于学习的技术提供了直接从数据中获取这些技能的吸引人的可能性,但目前的学习方法要么需要大量的数据并产生特定于任务的策略,要么尚未被证明可以扩展到需要精细运动技能的更复杂和现实的任务。在这项工作中,我们证明了我们的深度动态模型(PDDM)在线规划方法解决了这两个限制;我们表明,学习动力学模型的改进,以及在线模型预测控制的改进,确实可以有效地学习灵活的、接触丰富的灵巧操作技能--而且,在现实世界中的24自由度拟人手上,仅使用4小时的纯现实世界数据来学习同时协调多个自由浮动的对象。视频可以在https://sites.google.com/view/pddm/上找到
2019-09-25 cs.LG cs.RO
Dexterous Manipulation Transfer via Progressive Kinematic-Dynamic Alignment
针对多指灵巧手操作数据稀缺问题,提出渐进式运动学-动力学对齐的手型无关迁移框架,可将人手演示视频转换为高质量灵巧操作轨迹,平均迁移成功率达73%,具备强泛化性与可扩展性。
2025-11-14 cs.RO
TypeTele: Releasing Dexterity in Teleoperation by Dexterous Manipulation Types
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Stanford University, USA(斯坦福大学);Imperial College London, UK(伦敦帝国理工学院)
TypeTele提出类型引导的灵巧遥操作系统,通过引入灵巧操作类型库和MLLM辅助类型检索,使灵巧手突破人类运动模式限制,显著提升多样复杂任务的成功率。
2025-07-02 cs.RO
Planning for Dexterous Ungrasping: Secure Ungrasping through Dexterous Manipulation
The Hong Kong University of Science and Technology(香港科技大学)
本文研究机器人灵巧松持问题,提出可规划最小成本安全运动路径的框架,并发现夹爪手指长度不对称是实现可行、安全松持的关键。
2021-08-31 cs.RO
LensDFF: Language-enhanced Sparse Feature Distillation for Efficient Few-Shot Dexterous Manipulation
Agile Robots SE(敏捷机器人SE公司);Technical University of Munich(慕尼黑工业大学)
提出语言增强稀疏蒸馏特征场LensDFF,通过高效融合策略实现单视角少样本泛化,并构建集成抓取基元的灵巧操作框架与real2sim评估流水线,性能优于现有方法。
2025-03-05 cs.LG cs.RO
Dexterous Cable Manipulation: Taxonomy, Multi-Fingered Hand Design, and Long-Horizon Manipulation
University of Edinburgh(爱丁堡大学);EPFL(洛桑联邦理工学院);University of York(约克大学)
本文针对灵巧线缆操作缺乏系统定义与合适硬件的问题,提出了线缆操作任务分类体系,并设计了一种25自由度、具有对称拇指-食指配置和可旋转指尖关节的五指手,同时开发了相应的演示采集流程,以支持长时程线缆操作任务。
2025-02-06 cs.RO
Hand-in-the-Loop: Improving VLA Policies for Dexterous Manipulation via Seamless Hand-Arm Intervention
State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University(机械系统与振动国家重点实验室,机械工程学院,上海交通大学);Shanghai Key Laboratory of Intelligent Robotics, Meta Robotics Institute, Shanghai Jiao Tong University, Shanghai 200240, China(智能机器人上海市重点实验室,元机器人研究院,上海交通大学,上海200240,中国);The University of Tokyo(东京大学)
本文提出Hand-in-the-Loop方法,通过无缝整合人类干预与自主策略执行,减少手部操作中的突兀变化,提升双臂灵巧操作的鲁棒性和效率。
2026-05-20 cs.LG cs.RO
Dexterous Manipulation Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);Hong Kong University of Science and Technology(香港科技大学)
我们提出灵巧操作图作为一种工具,以解决在手操作和重新定位机器人的末端执行器内的对象。该图用于规划操纵基元的序列,以便将对象带到所需的结束姿势。该基元序列被转换成机器人的运动,以移动由末端执行器保持的物体。我们使用一个双臂机器人与平行的抓手,以测试我们的方法在一个真实的系统,并成功地规划和执行的手操作。
2018-03-01 cs.RO
Contact Mode Guided Sampling-Based Planning for Quasistatic Dexterous Manipulation in 2D
Carnegie Mellon University(卡内基梅隆大学)
由接触引入的不连续性和多模态使得操纵规划具有挑战性。许多以前的作品避免了这个问题,预先设计了一套高层次的动作原语,如抓和推。然而,这样的运动基元往往不足以描述灵巧的操纵运动。在这项工作中,我们提出了一种方法,灵巧操作规划在一个更原始的水平。其关键思想是使用接触模式,以指导在一个基于抽样的规划框架的搜索。我们的方法可以自动生成接触过渡和准静态假设下的运动轨迹。在实验中,这种方法有时会生成通常预先设计为运动基元的运动,以及更特定于任务的灵巧运动。
2021-05-30 cs.RO
Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
高分辨率触觉传感器通常体积庞大,并且具有使它们难以用于操纵的形状轮廓。当使用诸如用于灵巧的多指手的指尖的传感器时,这变得重要,其中方形或平面指尖限制了可用的平滑操纵策略集。高分辨率的光学传感器,如GelSight,由于照明几何形状的限制,到目前为止一直被限制在相对平坦的几何形状。在这里,我们展示了如何构建一个圆形的指尖,利用一种形式的光管道定向照明。我们的传感器可以取代Allegro手的标准圆形指尖。它们可以捕获接触表面的高分辨率地图,并可用于支持各种灵巧的操作任务。
2020-05-18 cs.RO
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego(加州大学圣地亚哥分校)
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比,模仿学习的最新进展大大提高了样本效率,但由于专家演示有限,学习的策略很难推广到操纵新对象。在本文中,我们建议学习灵巧的操作,使用大规模的示范与不同的3D对象的类别,这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策,我们提出了一个新的模仿学习目标与几何表示学习目标,使用我们的演示。通过在模拟中重新定位不同对象的实验,我们表明,我们的方法在操纵新对象时优于基线,具有很大的优势。我们还消融了3D对象表示学习的重要性,为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
Dual-Arm In-Hand Manipulation and Regrasping Using Dexterous Manipulation Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);Yale University(耶鲁大学)
本文主要研究了用平行夹持器对物体进行手内操作和重夹持的问题。我们提出灵巧操作图(DMG)作为一种表示,我们定义规划在手的操作和重握。DMG是一个断开的无向图,表示手指沿着物体表面的可能运动。我们制定的手操纵和重握问题作为一个图形搜索问题,从初始到最终的配置。由此产生的计划是一系列协调的手推和重握运动。我们提出了一个双臂系统的执行顺序,双手可互换使用。我们展示了我们的方法,ABB Yumi机器人的任务与不同的把握重新配置。
2019-05-16 cs.RO
Vegetable Peeling: A Case Study in Constrained Dexterous Manipulation
Massachusetts Institute of Technology(麻省理工学院);Toyota Research Institute(丰田研究所)
针对现有灵巧操作研究较少探索下游应用的问题,本文聚焦食品削皮约束场景,提出一种学习重定向控制器的简单系统,可实现重定向后稳固持物以支持后续削皮任务。
2024-07-10 cs.AI cs.LG cs.RO
DexHandDiff: Interaction-aware Diffusion Planning for Adaptive Dexterous Manipulation
The University of Hong Kong(香港大学);University of California, Berkeley(加州大学伯克利分校)
针对现有扩散规划方法在复杂富接触灵巧操作中存在幽灵状态、适应性不足的问题,提出交互感知框架DexHandDiff,通过双阶段扩散、双重引导及大语言模型辅助生成引导函数,显著提升了训练分布外任务的成功率与泛化性。
2025-06-17 cs.CV cs.LG cs.RO
TrajectoTree: Trajectory Optimization Meets Tree Search for Planning Multi-contact Dexterous Manipulation
Stanford University(斯坦福大学)
灵巧的操作任务通常需要接触切换,其中手指与物体接触和断开接触。我们提出了一种方法,计划轨迹灵巧的操作任务,涉及接触切换接触隐式轨迹优化(CITO)增强了高层次的离散接触序列规划。我们首先使用高层次的规划,找到一个序列的手指接触开关给定所需的对象轨迹。有了这个接触序列计划,我们在CITO问题中施加了额外的约束。我们表明,我们的方法找到的轨迹比一般CITO基线的四指平面操作方案快约7倍。此外,当在全动态模拟器中执行计划轨迹时,我们能够更紧密地跟踪由我们的方法计划的对象姿态轨迹,而不是由基线计划的对象姿态轨迹。
2021-09-28 cs.RO
Contact Mode Guided Motion Planning for Quasidynamic Dexterous Manipulation in 3D
Carnegie Mellon University(卡内基梅隆大学)
提出了一种基于接触模式的灵巧手三维准静态和准动态刚体运动规划方法。CMGMP算法生成包括连续状态转换和离散接触模式切换的混合运动计划,而不需要预先指定的接触序列或预先设计的运动基元。其核心思想是使用自动枚举的环境对象接触的接触模式,以指导在搜索过程中的树扩展。接触模式自动合成操作基元,而基于采样的规划框架将这些基元排序为连贯的计划。我们在14个3D操作任务上测试了我们的算法,并通过在一个真实的机器人-机械手系统上开环执行一些计划来验证我们的模型
2022-06-03 cs.RO
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);J.P. Morgan AI Research(摩根大通AI研究);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
本研究提出DexUMI数据收集与策略学习框架,通过可穿戴外骨骼的硬件适配和机器人手图像修复的软件适配缩小人机具身差距,实现人手向多类机器人手的灵巧技能迁移,真实实验平均任务成功率达86%。
2025-10-02 cs.RO
HANDFUL: Sequential Grasp-Conditioned Dexterous Manipulation with Resource Awareness
Northwestern University(西北大学);University of Southern California(南加州大学)
本文提出HANDFUL框架,通过资源感知抓取提升多任务操作的灵活性和鲁棒性,结合仿真与现实验证其有效性。
2026-07-08 cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对灵巧手操作学习难的问题,提出基于DeltaHand软体手和运动学孪生遥操作界面TeleHand的模仿学习系统,采用扩散策略,在七个任务上平均成功率90%。
2024-08-21 cs.RO
Jacta: A Versatile Planner for Learning Dexterous and Whole-body Manipulation
TU Munich(慕尼黑工业大学);Boston Dynamics AI Institute(波士顿动力人工智能研究所)
本文提出灵活运动规划器 Jacta,为强化学习生成可直接使用的演示,从而高效学习灵巧与全身操作策略,并验证其可迁移至真实机器人。
2024-10-26 cs.RO
Circus ANYmal: A Quadruped Learning Dexterous Manipulation with Its Limbs
The University of Tokyo(东京大学);ETH Zürich(苏黎世联邦理工学院)
四足机器人擅长运动任务,但缺乏操纵技能,更不用说灵巧的操纵能力了。受动物行为和多足运动和多指操纵之间的二元性的启发,我们展示了一个四足机器人ANYmal的马戏团球挑战。我们采用无模型强化学习方法来训练深度策略,使机器人能够使用其四肢在没有任何接触测量传感器的情况下稳健地平衡和操纵轻质球。该策略在仿真中进行训练,通过加性噪声对许多物理属性进行随机化,并在操作过程中注入随机干扰力,在不进行任何调整的情况下在真实机器人上实现零触发(zero-shot)部署。在硬件实验中,实现了动态性能的最大旋转速度为15度/秒,和鲁棒恢复下的外部戳。据我们所知,这是第一个工作,演示了灵巧的动态操纵一个真正的四足机器人。
2020-12-10 cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo
NLPR & MAIS, CASIA(中国科学院南京自动化研究所与模式识别与人工智能实验室);SJTU(上海交通大学);MBZUAI(马克斯·普朗克研究所);Beijing Institute of Basic Medical Sciences(北京基础医学研究所);PKU & Galbot(北京大学与Galbot);CUHK(香港大学)
本文提出DexJoCo基准和工具包,包含11个功能任务评估灵巧手的工具使用、双臂协调、长周期执行和推理能力,通过低成本数据收集系统和领域随机化评估鲁棒性,揭示当前策略的局限性。
2026-09-23 cs.RO
STAR: Sparse Tactile Representation Learning in Vision-Tactile-Language-Action Models for Dexterous Manipulation
Shanghai Innovation Institute(上海创新研究院);Agibot(智元机器人)
针对灵巧操作中触觉信号稀疏的挑战,本文构建200小时双臂数据集并提出STAR训练方案,通过联合预训练与稀疏表示,在真实任务中达到61%平均成功率。
2026-09-21 cs.RO
TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation
Shanghaitech University(上海科技大学);InstAdapt(自适应研究所)
研究针对当前人到机器人灵巧转移管道依赖运动轨迹缺乏物理交互的问题,引入TactiDex基准,提出触觉驱动转移框架及TactiSkill,经实验证明其在操作成功率和物理逼真度上表现出色,为触觉感知灵巧操作奠定基础。
2026-07-13 cs.RO
RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出RoboDexVLM框架,结合VLM任务规划与语言引导的零样本灵巧抓取算法,解决长程复杂操作任务,实现开放词汇的灵巧机器人操作。
2025-03-03 cs.RO
EaDex: A Cross-Embodiment Dexterous Manipulation Framework from Low-Cost Demonstrations
Faculty of Robot Science and Engineering, Northeastern University(机器人科学与工程学院,东北大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);School of Automation, Nanjing University of Information Science and Technology(自动化学院,南京信息科学技术大学)
提出EaDex框架,通过RGB-D相机捕捉人手运动并构建结构化演示数据,结合基于接触奖励的动态演示退火机制,在低成本演示条件下实现多形态灵巧操作的快速学习和训练。
2026-06-02 cs.RO
DexFormer: Cross-Embodied Dexterous Manipulation via History-Conditioned Transformer
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Wuhan University(武汉大学)
DexFormer通过历史条件化的Transformer实现跨具身体验的灵巧操作,能够适应不同手型并实现零样本迁移。
2026-02-09 cs.RO
DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
提出DexCompose框架,通过手指级动作所有权和双残差模块,解决灵巧操作中多任务组合时的冲突问题,在16个复合任务上平均成功率达77.4%。
2026-06-29 cs.AI cs.CV cs.LG
A Dexterous and Compliant Gripper With Soft Hydraulic Actuation for Microgravity Manipulation
Aerospace Engineering Program, University of California, Berkeley(加州大学伯克利分校航空航天工程系);Department of Mechanical Engineering, University of California, Berkeley(加州大学伯克利分校机械工程系);Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系)
本文提出将DexCoHand灵活的双指六自由度机械手与Astrobee自由飞行机器人集成,以实现微重力环境下的灵活操作,该机械手在保持稳定接触的同时减少了对自由飞行基底的干扰,提高了操作的连续性和适应性。
2026-05-18 cs.RO
Local Trajectory Stabilization for Dexterous Manipulation via Piecewise Affine Approximations
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个基于模型的方法来设计灵巧机器人操作的反馈策略。针对一类非光滑非线性系统,将操纵问题转化为从初始状态到达目标区域的问题。首先,我们使用轨迹优化来找到一个可行的轨迹。接下来,我们将轨迹周围的局部多接触动力学表征为分段仿射系统,并使用多面体围绕标称轨迹的线性化构建漏斗。我们证明了在线性化附近的反馈控制器是保证驱动非线性系统的目标区域。在在线执行期间,我们求解线性规划来跟踪系统轨迹。我们在硬件上验证了算法,表明即使在大的外部干扰下,控制器也能够完成任务。
2020-05-21 cs.RO