Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation
Stanford University(斯坦福大学)
提出序列灵巧性系统,通过链式灵巧策略和过渡可行性函数,解决长时程操作任务,实现仿真到真实的零样本迁移。
2023-10-16 cs.AI cs.LG cs.RO
DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies
Carnegie Mellon University(卡内基梅隆大学)
本文提出DexWild框架,通过结合人类和机器人示范数据,提升机器人在多样化环境中的泛化能力,实验表明其在未见环境中的成功率显著高于传统方法。
2026-05-17 cs.AI cs.CV cs.LG
OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation
Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系);Physical Automation, Inc.(Physical Automation 公司)
OpenEgo是一个大规模多模态自我中心操作数据集,含1107小时视频、290个任务,提供标准化手部姿态和动作原语,用于降低灵巧操作模仿学习门槛并支持可复现研究。
2025-09-05 cs.AI cs.CV cs.RO
DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
提出DexCompose框架,通过手指级动作所有权和双残差模块,解决灵巧操作中多任务组合时的冲突问题,在16个复合任务上平均成功率达77.4%。
2026-06-29 cs.AI cs.CV cs.LG
Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对灵巧手操作学习难的问题,提出基于DeltaHand软体手和运动学孪生遥操作界面TeleHand的模仿学习系统,采用扩散策略,在七个任务上平均成功率90%。
2024-08-21 cs.RO
DEFT: Dexterous Fine-Tuning for Real-World Hand Policies
Carnegie Mellon University(卡内基梅隆大学)
针对真实世界中柔软可变形物体操作、长周期复杂任务的灵巧操作数据效率低的问题,提出DEFT方法,结合人工先验与在线优化,搭配柔性机器人手实现多任务鲁棒高效的灵巧操作。
2023-12-12 cs.AI cs.CV cs.LG
Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);Carnegie Mellon University(卡内基梅隆大学)
对任意物体的灵巧操作是人类的基本日常任务,对自主机器人系统来说是一个巨大的挑战。虽然使用强化学习的数据驱动方法可以开发出发现控制单个对象的行为的专业策略,但它们通常对看不见的对象表现出很差的泛化能力。在这项工作中,我们表明,通过现有的强化学习算法学习的政策实际上可以是通才时,结合多任务学习和精心选择的对象表示。我们表明,一个单一的通才政策可以执行手操纵超过100几何不同的现实世界中的对象,并推广到新的对象看不见的形状或大小。有趣的是,我们发现,使用对象点云表示的多任务学习不仅泛化更好,而且在训练和保持测试对象上的性能甚至优于单对象专家策略。视频结果请访问https://huangwl18.github.io/geometry-dex
2021-11-04 cs.AI cs.CV cs.LG
DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
Stanford University(斯坦福大学)
本文提出便携式手部动作捕捉系统DexCap和模仿学习算法DexIL,通过SLAM与电磁场跟踪结合点云模仿学习,直接从人类手部数据训练机器人灵巧操作技能,并在六项任务中验证了其有效性与真实场景数据学习能力。
2024-07-04 cs.AI cs.CV cs.LG
Hand-in-the-Loop: Improving VLA Policies for Dexterous Manipulation via Seamless Hand-Arm Intervention
State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University(机械系统与振动国家重点实验室,机械工程学院,上海交通大学);Shanghai Key Laboratory of Intelligent Robotics, Meta Robotics Institute, Shanghai Jiao Tong University, Shanghai 200240, China(智能机器人上海市重点实验室,元机器人研究院,上海交通大学,上海200240,中国);The University of Tokyo(东京大学)
本文提出Hand-in-the-Loop方法,通过无缝整合人类干预与自主策略执行,减少手部操作中的突兀变化,提升双臂灵巧操作的鲁棒性和效率。
2026-05-20 cs.LG cs.RO
DextrAH-RGB: Visuomotor Policies to Grasp Anything with Dexterous Hands
NVIDIA Corporation(英伟达公司);University of California, Berkeley(加州大学伯克利分校)
本文提出DextrAH-RGB系统,通过强化学习训练特权织物引导策略并蒸馏为基于RGB的策略,实现端到端灵巧抓取,在真实世界中对未见物体展现出强泛化能力与鲁棒的sim2real迁移。
2025-02-01 cs.RO
FBI: Learning Dexterous In-hand Manipulation with Dynamic Visuotactile Shortcut Policy
Shanghai Jiao Tong University(上海交通大学)
针对机器人灵巧手内操作因模态单一限制适应性的问题,提出FBI视觉触觉模仿学习框架,通过动态融合触觉与视觉观测,建立触觉信号与物体运动的因果联系,在多任务中优于基线方法。
2025-08-20 cs.RO
Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation
Siemens AG, Research and Predevelopment(西门子股份公司,研究与预开发部);Technical University of Munich(慕尼黑工业大学)
Res-HIL提出人在回路残差强化学习框架,在冻结的模仿策略上学习纠正动作,结合直接监督与奖励塑形,仅用20个示范和十分钟训练即在五个灵巧操作任务上超越现有方法。
2026-09-25 cs.RO
Evaluating the Effectiveness of Corrective Demonstrations and a Low-Cost Sensor for Dexterous Manipulation
Georgia Institute of Technology(佐治亚理工学院)
模仿学习是一种很有前途的方法,可以帮助机器人获得灵巧的操作能力,而不需要精心设计的奖励或大量的计算工作。然而,现有的模仿学习方法需要复杂的数据汇集基础设施,并且难以推广到训练分布之外。解决此限制的一种方法是收集更好地表示完整操作条件的附加数据。在这项工作中,我们调查这些额外的示威活动的特点及其对性能的影响。具体来说,我们研究的影响,纠正和随机抽样的额外示范学习的政策,指导一个五指机器人手通过拾取和放置任务。我们的研究结果表明,纠正示威大大优于随机抽样示威,当额外的示威从完整的任务分布抽样的比例大于原始示威从限制性训练分布抽样的数量。相反,当原始演示的数量高于额外的演示,我们发现没有显着差异之间的校正和随机抽样的额外演示。这些结果提供了深入了解的内在权衡所需的努力,以收集纠正示威和他们的相对优势,随机抽样示威。此外,我们表明,廉价的基于视觉的传感器,如LeapMotion,可用于显着降低成本,提供演示灵巧的操作任务。我们的代码可在https://github.com/GT-STAR-Lab/corrective-demos-dexterous-manipulation上获得。
2022-04-15 cs.AI cs.LG cs.RO
EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video
Apple(苹果公司)
EgoDex通过大规模第一人称视频数据集推动灵巧操作研究,提供3D手部跟踪数据及模仿学习评估框架。
2026-03-09 cs.CV cs.LG cs.RO
Benchmarking Structured Policies and Policy Optimization for Real-World Dexterous Object Manipulation
Technical University of Darmstadt(达姆施塔特工业大学);University of Washington(华盛顿大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Cornell University(康奈尔大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
灵巧操作是机器人技术中一个具有挑战性的重要问题。虽然数据驱动方法是一种很有前途的方法,但由于流行方法的样本效率低下,目前的基准测试需要模拟或广泛的工程支持。我们为TriFinger系统提供了基准测试,TriFinger系统是一个用于灵巧操作的开源机器人平台,也是2020年真正机器人挑战赛的焦点。在挑战中取得成功的基准方法通常可以被描述为结构化策略,因为它们结合了经典机器人技术和现代策略优化的元素。电感偏置的这种包含促进了样本效率、可解释性、可靠性和高性能。该基准测试的关键方面是验证模拟和真实系统的基线,对每个解决方案的核心功能进行彻底的消融研究,以及对作为操作基准的挑战进行回顾性分析。可以在我们的网站(https://sites.google.com/view/benchmark-rrc)上找到这项工作的代码和演示视频。
2021-12-08 cs.RO
REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院);University of Washington(华盛顿大学)
本文提出REBOOT系统,通过整合样本高效强化学习与重放缓冲区引导技术,重用不同任务数据作为新任务训练起点,并结合基于模仿的拾取策略和学习的奖励函数实现真实世界自动重置,显著提升了四指机械手灵巧操作技能的学习效率。
2023-09-06 cs.AI cs.LG cs.RO
On the Utility of Koopman Operator Theory in Learning Dexterous Manipulation Skills
Georgia Institute of Technology(佐治亚理工学院)
本研究探索Koopman算子理论在灵巧操作技能学习中的应用,提出基于该理论的模仿学习框架,可解析学习策略,显著降低计算负担并消除初始化敏感性,在成功率和样本效率上与最先进算法相当且速度更快。
2023-08-31 cs.RO
Dext-Gen: Dexterous Grasping in Sparse Reward Environments with Full Orientation Control
Technical University Munich(慕尼黑工业大学)
强化学习是一种很有前途的机器人抓取方法,因为它可以在困难的场景中学习有效的到达和抓取策略。然而,由于问题的高维性,用复杂的机器人手实现类似人类的操作能力是具有挑战性的。虽然可以采用奖励塑造或专家示范等补救措施来克服这一问题,但它们往往导致过于简单和有偏见的政策。我们提出了Dext-Gen,一个强化学习框架,用于稀疏奖励激励中的灵巧抓取,适用于各种抓取器,并学习无偏见和复杂的策略。通过平滑的方向表示,实现了抓取器和物体的完全方向控制。我们的方法具有合理的培训持续时间,并提供了包括所需先验知识的选项。仿真实验证明了该框架对不同场景的有效性和适应性。
2022-06-28 cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
DexDLO: Learning Goal-Conditioned Dexterous Policy for Dynamic Manipulation of Deformable Linear Objects
University of Edinburgh(爱丁堡大学);University of York(约克大学)
DexDLO提出一种无模型端到端框架,利用固定底座灵巧手学习可变形线性物体的目标条件动态操作策略,在Mujoco中统一参数高效完成五种操作任务,并深入分析策略与奖励设计。
2023-12-23 cs.LG cs.RO
VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations using Visual-Tactile Alignment
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
VisTacAlign通过对齐人类与机器人演示的视觉和触觉模态,共同训练灵巧策略,在精确力任务上优于仅机器人策略。
2026-10-14 cs.RO
HandelBot: Real-World Piano Playing via Fast Adaptation of Dexterous Robot Policies
Stanford University(斯坦福大学);Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人实验室)
本文提出HandelBot框架,结合仿真策略和快速适应,通过两阶段流程实现高精度双手钢琴演奏,实验表明其在真实环境中的表现优于直接仿真部署。
2026-05-15 cs.RO
R$\times$R: Rapid eXploration for Reinforcement Learning via Sampling-based Reset Distributions and Imitation Pre-training
Columbia University(哥伦比亚大学)
针对强化学习中高维状态空间探索难的问题,提出结合基于采样的非完整RRT算法与模仿预训练的R×R方法,可学习更高难度的灵巧操作技能且能迁移到真实机器人。
2024-01-27 cs.RO
A Minimalist Retargeting-Guided Reinforcement Learning Recipe for Dexterous Manipulation
Cornell University(康奈尔大学);Amazon FAR(亚马逊FAR)
研究如何将重定向引导强化学习用于灵巧操作,提出REGRIND方法,从单人演示学习策略,经重定向、模拟训练、零样本转移到硬件,在丰富接触任务中产生类人行为,还分析了模拟到现实转移的关键因素。
2026-07-14 cs.AI cs.LG cs.RO
Cross-Embodiment Dexterous Grasping with Reinforcement Learning
School of Computer Science, Peking University(北京大学计算机学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出基于人手特征抓取的通用动作空间,利用强化学习训练单一视觉策略实现跨多种灵巧手的抓取,在四种具身上达到80%成功率并具备零样本泛化能力。
2024-10-03 cs.LG cs.RO
Dex-X: Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction
Tsinghua University(清华大学);Shanghai Qizhi Institute(上海智己研究院);Sharpa(Sharpa公司);Tongji University(同济大学);Renmin University(中国人民大学)
DEX-X通过模拟补全触觉信息,从人类视频学习视觉-触觉灵巧操作策略,实现零样本模拟到现实迁移,在抓取和工具使用任务中取得高成功率。
2026-10-02 cs.RO
TacBPM: A Tactile-conditioned Behavior Prior Model for Dexterous Reorientation
Sharpa Robotics
本文提出TacBPM,一种触觉条件行为先验模型,通过蒸馏多尺度球体专家到潜在控制器,利用残差潜在动作加速灵巧重定向策略训练,并在掌上和手臂-手部任务中实现稳定的仿真到现实迁移。
2026-09-17 cs.RO
SERNF: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows
Soft Robotics Lab, D-MAVT(软机器人实验室,D-MAVT);ETH Zurich(苏黎世联邦理工学院)
提出SERNF框架,结合归一化流策略和动作块评论家,实现真实世界灵巧操作策略的样本高效微调,解决多模态动作分布和信用分配问题。
2026-06-05 cs.LG cs.RO
LAMP: Latent Motion Prior-Guided Real-World Learning for Dexterous Hand Manipulation
Fudan University(复旦大学);Tsinghua University(清华大学);Peking University(北京大学);PsiBot
研究针对灵巧手部现实世界学习易出错的问题,提出含潜在运动先验模块的三阶段学习框架LAMP,先预训练模块,再训练视觉运动策略并通过在线残差RL改进,在真实机器人任务中取得高成功率,提升了学习效果。
2026-07-08 cs.RO
Learning a Universal Human Prior for Dexterous Manipulation from Human Preference
Princeton University(普林斯顿大学);South China University of Technology(华南理工大学);OpenAI(开放人工智能研究中心);Peking University(北京大学)
提出基于人类反馈强化学习的框架,通过视频偏好学习通用人类先验,无需示范即可高效微调20个双手机器人操作任务,在多样及未见任务上展现类人行为与泛化能力。
2023-09-13 cs.HC cs.LG cs.RO
AnyDexRT: Calibration-Efficient Dexterous Hand Retargeting with Few-Shot Human Guidance
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院)
研究提出免校准的AnyDexRT方法用于灵巧手遥操作重定向,结合自监督指尖对应学习与少量人类引导,在任务相关区域锚定映射并优化捏合姿势,实验表明该方法提升重定向质量、减少手动调整,控制更直观高效。
2026-11-06 cs.RO
Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
VIDEOMANIP通过3D手-物体轨迹重建从RGB视频直接学习灵巧操作策略,实现无需设备的高效训练和高成功率抓取
2026-02-11 cs.CV cs.RO
Learning Dexterous In-Hand Manipulation
OpenAI(开放人工智能研究中心)
我们使用强化学习(RL)来学习灵巧手操作策略,该策略可以在物理Shadow Dexterous Hand上执行基于视觉的对象重定向。训练是在模拟环境中进行的,在模拟环境中,我们随机化了系统的许多物理属性,如摩擦系数和物体的外观。我们的政策转移到物理机器人,尽管完全在模拟训练。我们的方法不依赖于任何人类演示,但在人类操作中发现的许多行为自然出现,包括手指步态,多指协调和重力的控制使用。我们的结果是使用用于训练OpenAI Five的相同分布式RL系统获得的。我们还包含一段结果视频:https://youtu.be/jwSbzNHGflM
2019-01-18 cs.AI cs.LG cs.RO
Learning Diverse Bimanual Dexterous Manipulation Skills from Human Demonstrations
School of Computer Science(计算机学院);Peking University(北京大学);BAAI(北京智源人工智能研究院)
本文提出BiDexHD框架,通过从现有双手数据集自动构建任务并结合教师-学生策略学习,在TACO数据集141个任务上实现了74.59%的已训练任务完成率和51.07%的零样本泛化能力,推动了通用双手灵巧操作技能的学习。
2024-10-03 cs.LG cs.RO
Data-efficient Deep Reinforcement Learning for Dexterous Manipulation
DeepMind
深度学习和强化学习方法最近已被用于解决连续控制领域中的各种问题。这些技术的一个明显的应用是机器人中的灵巧操作任务,这些任务很难使用传统的控制理论或手工工程方法来解决。这种任务的一个例子是抓住一个物体并将其精确地堆叠在另一个物体上。在现实世界中解决这个困难和实际相关的问题是机器人领域的一个重要的长期目标。在这里,我们通过研究模拟中的问题,并提供旨在解决它的模型和技术,向这个目标迈出了一步。我们引入了两个扩展的深度确定性策略梯度算法(DDPG),一个无模型的Q学习的方法,这使得它显着更数据效率和可扩展性。我们的研究结果表明,通过广泛使用的政策外的数据和重放,它是可能的控制策略,鲁棒地抓住对象和堆栈。此外,我们的研究结果表明,它可能很快就可行的训练成功的堆叠政策,通过收集真实的机器人的相互作用。
2017-04-10 cs.LG cs.RO
RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation
University of Washington, Paul G. Allen School of Computer Science & Engineering(华盛顿大学,保罗·G·艾伦计算机科学与工程学院);Amazon Frontier AI & Robotics(亚马逊前沿人工智能与机器人)
RFS通过残差流引导强化学习,实现高效适应预训练生成策略,提升灵巧操作任务的性能
2026-02-05 cs.RO
Industrial Dexterity Benchmark: A Hardware-Software Benchmarking Platform for Industrial Dexterous Manipulation
Analog Devices, Inc.(亚德诺半导体技术有限公司)
针对工业灵巧操作瓶颈,提出从经典流程到端到端多模态模仿学习框架的转变,介绍了IDB板、DAG-ROS框架和AG-iDP3策略框架,通过数据中心电缆操作实验表明新策略在多方面优于传统方法,推动向可扩展机器人自动化发展。
2026-09-22 cs.RO
PhysGraph: Physically-Grounded Graph-Transformer Policies for Bimanual Dexterous Hand-Tool-Object Manipulation
University of California, San Diego(加州大学圣地亚哥分校)
PhysGraph通过物理基础图变换策略提升双臂手工具物体操作的精度和成功率,仅用51%参数超越基线模型。
2026-03-02 cs.RO
Jacta: A Versatile Planner for Learning Dexterous and Whole-body Manipulation
TU Munich(慕尼黑工业大学);Boston Dynamics AI Institute(波士顿动力人工智能研究所)
本文提出灵活运动规划器 Jacta,为强化学习生成可直接使用的演示,从而高效学习灵巧与全身操作策略,并验证其可迁移至真实机器人。
2024-10-26 cs.RO
TypeTele: Releasing Dexterity in Teleoperation by Dexterous Manipulation Types
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Stanford University, USA(斯坦福大学);Imperial College London, UK(伦敦帝国理工学院)
TypeTele提出类型引导的灵巧遥操作系统,通过引入灵巧操作类型库和MLLM辅助类型检索,使灵巧手突破人类运动模式限制,显著提升多样复杂任务的成功率。
2025-07-02 cs.RO
Scalable Multi-Task Data Generation via Reinforcement Learning for Language-Conditioned Bimanual Dexterous Manipulation
TU Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe GmbH(本田欧洲研究院有限公司);DFKI(德国人工智能研究中心)
提出基于强化学习的系统化数据生成流程,结合通用奖励设计、域随机化和语言条件任务标注,合成高质量双手灵巧操作数据集,训练语言条件多任务策略,提升跨任务泛化能力。
2026-06-23 cs.RO
DexRepNet++: Learning Dexterous Robotic Manipulation with Geometric and Spatial Hand-Object Representations
IEEE Publication Technology Group(IEEE出版技术组)
DexRepNet++通过几何和空间手-物体表示提升机器人灵巧操作的泛化能力和效率。
2026-02-25 cs.RO
KineDex: Learning Tactile-Informed Visuomotor Policies via Kinesthetic Teaching for Dexterous Manipulation
Tongji University(同济大学);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);University of Hong Kong(香港大学);Shanghai Qi Zhi Institute(上海启智研究院);Shanghai AI Lab(上海人工智能实验室)
KineDex通过手把手动觉示教直接传递运动并采集真实触觉反馈,结合图像修复和力控制训练视觉运动策略,在接触密集型灵巧操作任务中显著提升成功率和数据收集效率。
2025-05-04 cs.RO
DexTac: Learning Contact-aware Visuotactile Policies via Hand-by-hand Teaching
DexTac通过手把手教学学习接触感知的视觉触觉策略,提升复杂交互中的灵活操作能力。
2026-01-29 cs.RO
CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation
UC San Diego(加州大学圣迭戈分校);University of Southern California(南加州大学)
本文提出 CyberDemo,通过在模拟环境中增强人类演示并迁移到真实机器人,在多任务成功率和未见物体泛化上优于真实演示基线。
2024-03-01 cs.CV cs.RO
Sampling-based Exploration for Reinforcement Learning of Dexterous Manipulation
Columbia University(哥伦比亚大学)
本文提出利用非完整快速扩展随机树算法进行基于采样的探索,生成重置分布以训练无模型强化学习控制策略,解决了高维状态空间探索难题,实现了复杂物体的无支撑灵巧操作并有效迁移至真实机器人。
2023-05-23 cs.RO
Getting the Ball Rolling: Learning a Dexterous Policy for a Biomimetic Tendon-Driven Hand with Rolling Contact Joints
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心)
本文提出仿生肌腱驱动Faive Hand及其GPU并行仿真RL训练架构,实现高自由度灵巧手的掌内转球策略零样本迁移到实物。
2024-01-22 cs.RO
Dexterous In-Hand Manipulation of Slender Cylindrical Objects through Deep Reinforcement Learning with Tactile Sensing
University of Edinburgh(爱丁堡大学);Tencent Robotics X(腾讯机器人X实验室);University College London(伦敦大学学院)
本文提出基于触觉反馈和深度强化学习的端到端策略框架,实现机器人三指灵巧手对细长圆柱物体的连续位姿控制,并通过模型校准与域随机化成功完成从仿真到现实的迁移验证。
2023-04-11 cs.RO
Analyzing Key Objectives in Human-to-Robot Retargeting for Dexterous Manipulation
Department of Automation, Beijing National Research Center for Information Science and Technology, Tsinghua University, China(自动化系,信息科学与技术国家工程研究中心,清华大学)
本文通过实验分析回退目标在灵巧操作中的应用,提出综合目标公式并评估各因素的重要性。
2025-12-24 cs.RO
TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation
Shanghaitech University(上海科技大学);InstAdapt(自适应研究所)
研究针对当前人到机器人灵巧转移管道依赖运动轨迹缺乏物理交互的问题,引入TactiDex基准,提出触觉驱动转移框架及TactiSkill,经实验证明其在操作成功率和物理逼真度上表现出色,为触觉感知灵巧操作奠定基础。
2026-07-13 cs.RO
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
NVIDIA(英伟达)
提出CHORD框架,通过物体中心的接触力空间引导,利用人类演示的力和力矩信息增强强化学习,在包含4739个双臂灵巧操作任务的大规模基准上平均成功率82.12%,并泛化到全身操作和真实世界。
2026-11-11 cs.AI cs.CV cs.RO
Holo-Dex: Teaching Dexterity with Immersive Mixed Reality
New York University(纽约大学);Meta AI
教学机器人的一个基本挑战是为人类教师提供有效的界面,以向机器人展示有用的技能。这一挑战在灵巧的操作中加剧,其中教导高维、接触丰富的行为通常需要深奥的遥操作工具。在这项工作中,我们提出了Holo-Dex,这是一个灵巧操作的框架,可以通过商品VR耳机将教师置于沉浸式混合现实中。耳机上的高保真手姿态估计器用于远程操作机器人,并收集各种通用灵巧任务的演示。鉴于这些示范,我们使用强大的特征学习结合非参数模仿训练灵巧的技能。我们对六种常见的灵巧任务进行了实验,包括手旋转,旋转和开瓶,表明Holo-Dex可以在几个小时内收集高质量的演示数据和训练技能。最后,我们发现我们训练的技能可以在训练中看不到的对象上表现出泛化。Holo-Dex的视频可在https://holo-dex.github.io上获得。
2022-10-12 cs.AI cs.CV cs.HC
DexVerse: A Modular Benchmark for Multi-Task, Multi-Embodiment Dexterous Manipulation
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The University of Hong Kong(香港大学);UC Berkeley(加州大学伯克利分校)
DexVerse是用于多任务、多实体灵巧操作的模块化基准测试,含100个任务,支持多种机器人手臂和手,可扩展且提供视觉变化等。通过对多种方法的基准测试,揭示任务泛化和视觉运动鲁棒性挑战,为通用灵巧操作提供测试平台。
2026-07-10 cs.RO
Safe and Steerable Geometric Motion Policies for Robotic Dexterous Manipulation
Computer Science Department, Stanford University(斯坦福大学计算机科学系);Laboratory of Signals and Systems, University of Paris-Saclay, CNRS, CentraleSupélec(巴黎-萨克雷大学信号实验室,CNRS,CentraleSupélec);Toyota Research Institute(丰田研究院)
本研究提出SafePBDS框架,通过几何一致的方法计算最优且可证明安全的配置流形加速度,以实现机器人灵巧操作中的目标和约束的持续协调,并在模拟和Franka Panda-Allegro手平台上验证了其在灵巧抓取和手部重定向中的高效规划和安全保障。
2026-05-20 cs.RO