Cold Diffusion on the Replay Buffer: Learning to Plan from Known Good States
Northwestern University(西北大学);Toyota Technological Institute(丰田工业大学);Toyota Technological Institute at Chicago(芝加哥丰田工业研究院);Yale University(耶鲁大学)
本文提出基于回放缓冲区的冷扩散方法,通过引导优化过程经过已知良好状态,提升LfD生成轨迹的可行性,在模拟环境中显著改善机器人避障规划能力。
2023-10-21 cs.RO
ASkDAgger: Active Skill-level Data Aggregation for Interactive Imitation Learning
Department of Cognitive Robotics(认知机器人学系);Delft University of Technology(代尔夫特理工大学);Department of Computer Science(计算机科学系);RWTH Aachen University(亚琛工业大学)
ASkDAgger框架通过利用新手计划中的不确定性信息,结合三种机制减少交互式模仿学习中的查询次数,提升泛化与适应能力,并在模拟和真实环境中验证有效性。
2025-08-07 cs.AI cs.HC cs.LG
Stage Conscious Attention Network (SCAN) : A Demonstration-Conditioned Policy for Few-Shot Imitation
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Mobile Drive Technology
在Few-Shot模仿学习(FSIL)中,利用行为克隆(BC)技术解决未知任务,无需专家演示,是一个热门的研究方向。以下能力在机器人应用中是必不可少的:(1)在包含多个阶段的复合任务中表现。(2)从几个长度变化和未对准演示中检索知识。(3)向不同的专家学习。以前的工作无法同时实现这些能力。在这项工作中,我们进行FSIL问题的联合上述设置,并介绍了一种新的阶段意识的注意力网络(SCAN)检索知识,同时从几个演示。SCAN使用注意力模块来识别长度变化演示中的每个阶段。此外,它是在学习专家和代理之间的关系的示范条件下设计的。实验结果表明,SCAN可以从不同的专家学习,而无需微调,并在复杂的复合任务与可解释的可视化优于基线。
2021-12-04 cs.AI cs.RO
Overcoming Exploration in Reinforcement Learning with Demonstrations
OpenAI;University of California, Berkeley(加州大学伯克利分校)
在奖励稀疏的环境中进行探索一直是强化学习(RL)中的一个持续问题。许多任务很自然地指定稀疏的奖励,手动塑造奖励函数可能会导致次优性能。然而,随着任务范围或行动维度的增加,找到非零奖励的难度呈指数级增加。这使得许多现实世界的任务超出了RL方法的实际范围。在这项工作中,我们使用演示来克服探索问题,并成功地学习执行长视野,多步机器人任务与连续控制,如堆叠块与机器人arm.Our方法,它建立在顶部的深度确定性策略梯度和后见之明经验重放,提供了一个数量级的加速比RL的模拟机器人任务。它实现起来很简单,并且只做了一个额外的假设,即我们可以收集一小部分演示。此外,我们的方法是能够解决的任务,无论是RL或行为克隆单独解决,并最终往往优于演示政策。
2018-02-25 cs.AI cs.LG cs.NE
Learning to Stack: Cube-Stacking Imitation Learning from Virtual Reality Demonstrations
University of Louisville(路易斯维尔大学)
本研究提出基于虚拟现实的数据收集流程,在Isaac Sim中收集200个立方体堆叠演示,训练行为克隆策略,实现无需重复遥操作的演示复用。
2026-09-17 cs.RO
Learning to Generalize Across Long-Horizon Tasks from Human Demonstrations
Stanford Vision and Learning Lab(斯坦福视觉与学习实验室)
模仿学习是一种在现实世界中训练机器人策略的有效和安全的技术,因为它不依赖于昂贵的随机探索过程。然而,由于缺乏探索,学习政策,推广以外的表现出的行为仍然是一个开放的挑战。我们提出了一个新的模仿学习框架,使机器人1)学习复杂的现实世界的操作任务,有效地从少量的人类示范,2)合成新的行为不包含在收集的示范。我们的关键见解是,多任务域往往呈现出一种潜在的结构,其中不同任务的演示轨迹在状态空间的公共区域相交。我们提出了泛化通过模仿(GTI),一个两阶段的离线模仿学习算法,利用这种交叉结构的训练目标导向的政策,推广到看不见的开始和目标状态的组合。在GTI的第一阶段,我们训练一个随机的政策,利用轨迹交叉点有能力组成不同的演示轨迹的行为在一起。在第二阶段的GTI,我们收集了一个小的推出从第一阶段的无条件随机政策,和训练目标导向代理推广到新的开始和目标配置。我们验证GTI在模拟域和一个具有挑战性的长期视野机器人操作域在现实世界中。其他结果和视频可在https://sites.google.com/view/gti2020/上获得。
2021-06-23 cs.AI cs.LG cs.RO
Offline Imitation Learning upon Arbitrary Demonstrations by Pre-Training Dynamics Representations
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);School of Computational Science and Engineering, Georgia Institute of Technology(佐治亚理工学院计算科学与工程学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);MERL(三菱电机研究实验室)
针对离线模仿学习有限数据瓶颈问题,提出预训练动力学表示的方法,理论证明最优决策变量位于表示空间以减少参数,可复用非专家数据,实验表明单轨迹即可模仿专家策略,还能从少量真实演示中学习行走。
2025-08-20 cs.LG cs.RO
CRAFT: Video Diffusion for Bimanual Robot Data Generation
University of Southern California(南加州大学)
CRAFT通过视频扩散生成双臂机器人演示数据,利用边缘结构线索提升生成多样性与鲁棒性,提升多视角任务的泛化能力。
2026-04-04 cs.AI cs.CV cs.LG
Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt
Tsinghua University, China(清华大学,中国);Shanghai Qi Zhi Institute, China(上海启智研究院,中国)
提出两阶段框架,利用人类演示视频学习可泛化机器人策略,无需遥操作数据或微调即可执行新任务。
2026-05-29 cs.RO
From a Single Demonstration to a General Policy for Contact-Rich Manipulation
Robotics and Biology Laboratory, Technische Universität Berlin(技术大学柏林机器人与生物学实验室);Science of Intelligence, Research Cluster of Excellence, Berlin(智能科学,卓越研究集群,柏林);Robotics Institute Germany(德国机器人研究所)
本文提出了一种学习从示范(LfD)框架,通过利用环境约束作为归纳偏差,实现多阶段、接触密集任务的一次性泛化。该方法将示范表示为利用环境约束的行为序列,将任务通用结构(约束类型及其转换)与实例特定细节(精确示范轨迹、姿态和局部几何)分离。四阶段流程在该表示上构建完整策略:机器人首先将单次示范抽象为环境约束原语,然后通过自我引导探索进行歧义消除,接着整合针对人类修正以处理超出分布的变化,最后通过合规交互在线恢复抽象掉的细节。由于最终策略遵循约束而非模仿轨迹,它在物体姿态、局部几何和未建模接触动力学上实现了泛化。我们在七个现实世界多阶段接触密集操纵任务上验证了该方法,成功率达到90%以上。这些广泛实验结果确立了环境约束作为学习从示范中高效泛化基本构建块的重要性。
2026-05-17 cs.RO
Hand-centric Human-to-Robot Trajectory Transfer from Video Demonstrations via Object Category-agnostic Temporal Localization
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
提出HOWTransfer框架,通过接触定位从人类视频中提取接触感知的机器人轨迹,无需物体特定描述,在多样化操作任务中实现86%的成功率。
2026-09-22 cs.RO
Learning Constraint Network from Demonstrations via Positive-Unlabeled Learning with Memory Replay
EPFL (Swiss Federal Institute of Technology in Lausanne)(洛桑联邦理工学院(瑞士联邦洛桑高等工业学院));School of Engineering(工程学院);LASA(LASA实验室)
针对约束未知或难指定的规划问题,提出带记忆重放的PU学习方法,通过迭代交替更新策略与约束模型,从演示中推断非线性连续约束,在Mujoco环境中验证了其优于基线的约束精度与策略安全性。
2025-01-16 cs.AI cs.LG cs.RO
One-Shot Dual-Arm Imitation Learning
Imperial College London(帝国理工学院)
本文提出一次性双臂模仿学习 ODIL,通过三阶段视觉伺服实现精确对齐,仅需一次演示即可让双臂机器人学会协调任务,无需额外数据或先验知识,并在真实机器人上验证了其领先性能和鲁棒性。
2025-03-10 cs.CV cs.RO
Demonstrate Once, Imitate Immediately (DOME): Learning Visual Servoing for One-Shot Imitation Learning
Imperial College London(伦敦帝国理工学院)
我们提出了DOME,一种用于一次性模仿学习的新方法,其中可以从单个演示中学习任务,然后立即部署,而无需任何进一步的数据汇集或训练。DOME不需要先前的任务或对象知识,并且可以在新颖的对象配置和干扰物中执行任务。在其核心,DOME使用一个图像调节的对象分割网络,其次是一个学习的视觉伺服网络,移动机器人的末端执行器到相同的相对姿势的对象在演示过程中,之后,可以通过重放演示的末端执行器的速度来完成任务。我们表明,DOME在7个现实世界的日常任务中实现了接近100%的成功率,我们进行了几项研究,以彻底了解DOME的每个组成部分。视频和补充材料可在https://www.robot-learning.uk/dome上获得。
2022-07-27 cs.AI cs.CV cs.RO
Relay Policy Learning: Solving Long-Horizon Tasks via Imitation and Reinforcement Learning
Berkeley AI Research(伯克利人工智能研究中心);Google(谷歌)
我们提出了中继策略学习,模仿和强化学习的方法,可以解决多阶段,长时间的机器人任务。这种普遍适用的两阶段方法包括一个模仿学习阶段和一个强化学习阶段,模仿学习阶段产生目标条件的分层策略,强化学习阶段微调这些策略以提高任务性能。我们的方法,虽然不一定是完美的模仿学习,是非常适合通过环境交互进一步改进,使其能够扩展到具有挑战性的长期任务。我们简化了长期的策略学习问题,使用一种新的数据重新标记算法学习目标条件的分层策略,其中低级别的行为只为固定数量的步骤,无论达到的目标。虽然我们依赖于演示数据来引导策略学习,但我们并不假设可以访问正在解决的每个特定任务的演示,而是利用语义上有意义的行为的非结构化和未分割的演示,这些演示不仅提供负担较轻,而且还可以大大促进使用强化学习的进一步改进。我们证明了我们的方法在一个具有挑战性的厨房模拟环境中的多阶段,长时间的操作任务的有效性。视频可在https://relay-policy-learning.github.io/上获得
2019-10-25 cs.LG cs.RO stat.ML
Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
针对密集人群中无示范数据的机器人导航问题,提出融合HER与CL的强化学习方法,以克服稀疏奖励并学习安全、高效、无碰撞的人类感知导航策略。
2021-10-09 cs.AI cs.LG cs.RO
Diffeomorphic Hidden-State Steering: Improving Imitation Learning Policy Robustness through Expert Hidden-State Geometry
KAIST(韩国科学技术院)
本文提出DHS方法,通过学习可逆非线性坐标映射,利用专家隐状态几何提升模仿学习策略在观测噪声下的鲁棒性,在模拟操作任务中取得更好效果。
2026-10-16 cs.RO
One-Shot Hierarchical Imitation Learning of Compound Visuomotor Tasks
UC Berkeley(加州大学伯克利分校)
我们考虑的问题,学习多阶段的视觉为基础的任务在一个真正的机器人从一个单一的视频的人执行的任务,同时利用演示数据的子任务与其他对象。这一问题提出了若干重大挑战。没有遥操作的视频演示很容易为人类提供,但不提供任何直接的监督。从原始像素学习策略可以实现完全的通用性,但需要学习具有许多参数的大型函数逼近器。最后,复合任务可能需要不切实际的演示数据量,当被视为一个整体的技能。为了解决这些挑战,我们提出了一种方法,学习如何学习原始的行为,从视频演示和如何动态地组成这些行为来执行多阶段的任务,通过“看”一个人的演示。我们的研究结果模拟Sawyer机器人和真正的PR2机器人说明了我们的方法学习各种订单履行和厨房服务任务与新的对象和原始像素输入。
2018-10-25 cs.AI cs.CV cs.LG
DexPIE: Stable Dexterous Policy Improvement from Real-World Experience
Hunan University(湖南大学)
提出DexPIE后训练框架,通过灵巧手适配干预系统、多阶段DAgger数据收集、相对动作空间异步推理和连续最优性指标条件化,在三个真实灵巧操作任务上成功率提升37%。
2026-10-07 cs.CV cs.RO
Minimizing Human Assistance: Augmenting a Single Demonstration for Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
在强化学习中使用人类演示已被证明可以显着提高代理性能。然而,任何人工“教导”模型的要求都与强化学习的目标有些对立。本文试图通过使用一个简单易用的虚拟现实模拟收集的单个人的例子来帮助RL训练,以尽量减少人类参与学习过程,同时保留性能优势。我们的方法增加了一个单一的演示,以生成许多类似人类的演示,当与深度确定性策略梯度和事后经验重演(DDPG + HER)相结合时,显着提高了简单任务的训练时间,并允许代理解决DDPG + HER单独无法解决的复杂任务(块堆叠)。该模型使用单个人类示例实现了这一显著的训练优势,需要不到一分钟的人工输入。此外,尽管从人类的例子中学习,智能体并不局限于人类水平的表现,往往学习的政策是显着不同的人类示范。
2023-03-19 cs.LG cs.RO
Curiosity-Driven Multi-Criteria Hindsight Experience Replay
University of California, Irvine(加州大学欧文分校)
处理稀疏奖励是强化学习中的一个长期挑战。最近使用的后见之明方法在各种稀疏奖励任务上取得了成功,但它们在复杂任务上失败了,例如在模拟中用机器人手臂堆叠多个块。好奇心驱动的探索使用学习动力学模型的预测误差作为内在奖励已被证明是有效的探索一些稀疏奖励环境。我们提出了一种方法,结合后见之明与好奇心驱动的探索和课程学习,以解决具有挑战性的稀疏奖励块堆叠任务。我们是第一个在没有人类演示的情况下仅使用稀疏奖励堆叠两个以上块的人。
2019-06-09 cs.AI cs.LG cs.RO
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);New York University(纽约大学)
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略,这些策略可以部署在真实机器人上,而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中,示范被用作促进初步探索的起点。在第二阶段,直接优化相关的任务奖励,并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
Explaining Multi-stage Tasks by Learning Temporal Logic Formulas from Suboptimal Demonstrations
University of Michigan(密歇根大学)
我们提出了一种学习多阶段任务的方法,通过学习一个一致的线性时序逻辑(LTL)公式的逻辑结构和原子命题的演示。学习者被给予成功的,但可能是次优的演示,其中演示者优化成本函数,同时满足LTL公式,和成本函数是不确定的学习者。我们的算法使用的Karush-Kuhn-Tucker(KKT)的最优性条件的演示连同一个反例引导证伪策略,学习原子命题参数和逻辑结构的LTL公式,分别。我们提供了理论保证的保守性恢复的原子命题集,以及完整性在寻找一个LTL公式与示威活动一致。我们通过学习解释7自由度臂和四旋翼系统多阶段任务的LTL公式来评估我们在高维非线性系统上的方法,并表明它优于从正例学习LTL公式的竞争方法。
2020-06-03 cs.LG cs.RO cs.SY
Touch2Robot: Robot Touch in the Human Demonstration Loop
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学)
提出Touch2Robot框架,在人类演示时可视化目标机器人手的接触,引导RL策略复现物体运动并偏好一致触觉,将行为蒸馏为实时重定向器。在四个真实任务中,将重放完成率从37.9%提升至72.1%,收集时间减少至18.2秒,并提升下游扩散策略性能29.1个百分点。
2026-09-23 cs.AI cs.RO
Multi-Stage Manipulation with Demonstration-Augmented Reward, Policy, and World Model Learning
University of California San Diego(加州大学圣迭戈分校);ETH Zürich, Switzerland(苏黎世联邦理工学院)
针对机器人长时域操作任务强化学习探索难、缺密集奖励的问题,提出DEMO3演示增强框架,整合多阶段奖励学习、双阶段训练与世界模型,在16项稀疏奖励任务上平均提升40%数据效率,高难任务提升70%。
2025-06-23 cs.CV cs.LG cs.RO
PACE: Stage-Consistent Long-Horizon Robot Manipulation via Progress-Aligned Context for Execution
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
针对长时程机器人操作中的阶段混淆问题,提出PACE方法,利用进度对齐上下文和因果执行记忆,在多个基准上将成功率显著提升。
2026-10-07 cs.RO
Safe Decision-making for Lane-change of Autonomous Vehicles via Human Demonstration-aided Reinforcement Learning
Nanyang Technological University(南洋理工大学);Energy Research Institute, Nanyang Technological University(南洋理工大学能源研究院)
决策对于自动驾驶中的车道变换至关重要。强化学习(Reinforcement learning,RL)算法旨在识别各种情况下的行为值,因此成为解决决策问题的一条有前途的途径。然而,运行时安全性差,阻碍了基于RL的决策策略,从复杂的驾驶任务在实践中。为了解决这个问题,人的示范纳入RL为基础的决策策略在本文中。在驾驶模拟器中由人类受试者做出的决定被视为安全演示,其被存储到重放缓冲器中,然后用于增强RL的训练过程。一个复杂的车道变换任务,在出口匝道的情况下,建立检查所开发的策略的性能。仿真结果表明,人工演示可以有效地提高强化学习决策的安全性。所提出的策略优于其他现有的基于学习的决策策略,就多种驾驶性能。
2022-07-07 cs.AI cs.RO
SHRED: Self-Play for Heterogeneous Road-Users without Expert Demonstrations
Applied Intuition(应用直觉公司);University of California, Berkeley(加州大学伯克利分校)
本研究提出SHRED框架,通过异构自博弈无需专家演示即可学习现实交通交互行为,在WOSAC、InterPlan等基准测试中性能优于现有方法,验证了该范式的有效性。
2026-10-16 cs.AI cs.LG cs.RO
WARP: Whole-Body Retargeting for Learning from Offline Human Demonstrations
提出WARP离线管线,通过闭式肩-肘-腕几何求解器精确跟踪末端执行器并保持全身结构意图,实现从人类演示到机器人动作的零样本全身移动操作。
2026-08-20 cs.RO
Relay Hindsight Experience Replay: Self-Guided Continual Reinforcement Learning for Sequential Object Manipulation Tasks with Sparse Rewards
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院智能机械研究所);University of Science and Technology of China(中国科学技术大学)
具有稀疏奖励的探索是强化学习(RL)中一个具有挑战性的研究问题。特别是对于顺序对象操作任务,RL Agent在完成所有子任务之前总是获得负的奖励,这导致了较低的探索效率。为了有效地解决这些任务,我们提出了一种新的自引导持续强化学习框架,RelayHER(RHER)。RHER首先将顺序任务分解为复杂性不断增加的新子任务,并确保最简单的子任务可以通过使用后见之明经验重放(HER)快速学习。其次,我们设计了一个多目标多任务网络来同时学习这些子任务。最后,我们提出了一个自我引导的探索策略(SGES)。通过SGES,学习到的子任务策略将引导智能体进入有助于HER学习更复杂子任务的状态,通过这种自我引导的探索和中继策略学习,RHER可以有效地逐步解决这些顺序任务。实验结果表明,在五个单对象和五个复杂的多对象操作任务(例如,Push、Insert、ObstaclePush、Stack、TStack等)。所提出的RHER也被应用于从头开始学习物理机器人上的接触丰富的推送任务,并且成功率达到10/10,只有250集。
2022-11-03 cs.AI cs.RO
Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
我们通过技能发现来解决现实世界中的长视野机器人操作任务。我们提出了一个自自底向上的【形】的方法来学习一个库的可重复使用的技能,从未分割的演示,并使用这些技能来合成延长机器人的行为。我们的方法首先通过凝聚聚类从每个演示构建一个分层的任务结构。从多任务演示的任务结构中,我们识别技能的基础上的循环模式和训练目标条件的感觉运动策略与分层模仿学习。最后,我们训练一个Meta控制器来组合这些技能,以解决长期的操作任务。整个模型可以在30分钟内收集的一小组人类演示上进行训练,而无需进一步的注释,使其能够在现实世界中部署。我们系统地评估了我们的方法在模拟环境中,并在一个真正的机器人。我们的方法在多阶段操作任务中表现出优于最先进的模仿学习方法的性能。此外,与从单个任务中发现的技能相比,从多任务演示中发现的技能将平均任务成功率提高了$8\%$。
2022-01-22 cs.LG cs.RO
Bounded-Fidelity Sim-as-Demo-Stage: Mocap Handoff for Governance Benchmarks
Harbin Institute of Technology(哈尔滨工业大学);Soochow University(苏州大学)
提出有界保真度模拟即演示阶段模式,通过抑制交接包络内接触物理,实现LLM驱动机器人治理基准的审计链字节级可重现,以近乎零成本提升基准可靠性。
2026-10-02 cs.AI cs.RO
SARM: Stage-Aware Reward Modeling for Long Horizon Robot Manipulation
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出一种基于视频的阶段感知奖励建模框架,通过自然语言子任务标注实现一致标签,提升长horizon任务的鲁棒性和泛化能力,实验表明其在真实世界和人类验证中表现优异。
2026-04-27 cs.RO
Concurrent Prehensile and Nonprehensile Manipulation: A Practical Approach to Multi-Stage Dexterous Tasks
本文提出DexMulti方法,通过分解示范为以物体为中心的技能,实现高效多阶段灵巧任务操作,在实际测试中达到66%的成功率,优于基线方法。
2026-08-04 cs.RO
EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团);Shanghai Innovation Institute(上海创新研究院);Sichuan University(四川大学)
EgoAlign通过执行反馈和控制器在环细化,将自我中心人类演示转化为适配人形机器人的动作监督,实现零样本远程操作-操控策略,提升物理拾取成功率并减少采集时间。
2026-10-05 cs.RO
Goal-based Self-Adaptive Generative Adversarial Imitation Learning (Goal-SAGAIL) for Multi-goal Robotic Manipulation Tasks
College of Engineering and Physical Sciences, Aston University(工程与物理科学学院,阿斯顿大学);Department of Computer Science Department, Loughborough University(计算机科学系,洛桑大学)
针对多目标机器人操作任务中演示数据覆盖不足导致学习偏向简单子任务的问题,提出结合自适应学习与目标条件GAIL的Goal-SAGAIL框架,在有限非最优演示下显著提升多场景学习效率。
2025-06-15 cs.RO
Reduced-Order Model-Guided Reinforcement Learning for Demonstration-Free Humanoid Locomotion
Laurentian University(拉芙勒大学)
该研究提出ROM-GRL两阶段强化学习框架,无需运动捕捉数据或复杂奖励塑形,先通过ROM生成高效步态模板,再引导全身策略训练,实验显示其步态稳定对称且跟踪误差低于纯奖励基线,弥合了两类运动方法的差距。
2025-09-23 cs.AI cs.RO
DITTO: Demonstration Imitation by Trajectory Transformation
University of Freiburg(弗莱堡大学)
提出基于RGB-D视频的两阶段一次性模仿方法DITTO,通过离线提取示范轨迹并在线变形至当前场景执行,结合辅助模型在十项任务及真实机器人上验证了有效性。
2024-10-02 cs.CV cs.RO
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿人的演示是赋予机器人各种操作能力的一种很有前途的方法。虽然最近在模仿学习和批量(离线)强化学习方面取得了进展,但缺乏开源的人类数据集和可重复的学习方法使得评估该领域的状态变得困难。在本文中,我们进行了广泛的研究,六个离线学习算法机器人操作的五个模拟和三个真实世界的多阶段操作任务的复杂性不同,并与不同质量的数据集。我们的研究分析了从离线人类数据中学习进行操作时面临的最关键挑战。基于这项研究,我们得出了一系列的教训,包括不同的算法设计选择的敏感性,对演示质量的依赖性,以及由于训练和评估的不同目标而导致的基于停止标准的可变性。我们还强调了从人类数据集学习的机会,例如能够学习超出当前强化学习方法范围的具有挑战性的多阶段任务的熟练策略,以及能够轻松扩展到只有原始感官信号可用的自然,真实世界的操纵场景。我们已经开源了我们的数据集和所有算法实现,以促进未来的研究和从人类演示数据中学习的公平比较。代码库、数据集、训练模型以及更多信息,请访问https://arise-initiative.github.io/robomimic-web/
2021-09-25 cs.AI cs.LG cs.RO
ThorArena: Benchmarking Humanoid Physical Interaction with Human Motion-Force Demonstrations
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Technical University of Munich(慕尼黑工业大学)
本文提出ThorArena基准,通过人类运动-力演示评估力感知人形机器人交互。收集真实世界交互数据集,提出评估指标与统一协议,实验表明力感知评估能揭示传统评估下隐藏的性能差异,为人形机器人交互研究提供实用框架与新基准。
2026-07-08 cs.RO
TANDEM: Task and Motion Planning with As-Needed Demonstrations for Efficient Vision-Language-Action Model Fine-tuning
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
TANDEM结合任务与运动规划与按需人类演示,扩展规划域并高效收集演示,微调VLA模型,使五个长时程任务平均成功率从0%提升至60%。
2026-09-24 cs.RO
Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration
Stanford University(斯坦福大学)
本文提出 Human2Sim2Robot 框架,仅用一段人类 RGB-D 演示视频,通过提取物体姿态轨迹和操作前手部姿态,在仿真中利用强化学习训练灵巧操作策略,无需可穿戴设备或遥操作,在多项操作任务上显著超越物体感知回放和模仿学习方法。
2025-08-16 cs.AI cs.RO
ConCent: Contact-Centric Real-to-Sim-to-Real Learning from One Demonstration
Microsoft Research Asia - Tokyo(微软亚洲研究院-东京);The University of Tokyo(东京大学)
提出接触中心真实-仿真-真实强化学习框架,利用真实演示中的接触事件序列作为学习目标,优化仿真中物体的接触几何,实现更稳定的策略迁移。
2026-06-29 cs.RO
RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);Hupan Lab(虎扑实验室)
本文提出RynnVLA-001,通过两阶段人类演示视频预训练和ActionVAE压缩动作表示,为VLA模型提供更有效的初始化,在机器人操作任务上超越现有基线。
2025-09-18 cs.CV cs.RO
DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
The Hong Kong University of Science and Technology(香港科技大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室);Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
DexRoam提出无追踪器采集系统与三阶段对齐方法,利用自我中心全身人体演示提升移动双臂灵巧操作策略学习,将成功率提升至约56-57%。
2026-09-29 cs.RO
FlashDexRetarget: Accelerating Dexterous Manipulation Data Generation through Multi-Motion Retargeting
KAIST AI(韩国科学技术院人工智能学院);Holiday Robotics
FlashDexRetarget提出基于强化学习的灵巧动作重定向框架,结合点云观测与互补奖励,在50动作基准上达90%成功率,训练计算量较基线降低百倍。
2026-10-06 cs.RO
EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos
Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本研究提出EgoMatrix端到端数据引擎,将第一人称人类视频转为可直接在真实机器人重放的双臂灵巧轨迹与配对观测,在仿真中实现54.84%端到端成功率,优于基线及现有方法。
2026-10-14 cs.RO
The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction
The University of Hong Kong(香港大学);TranscEngram;Fudan University(复旦大学);Zhejiang University(浙江大学)
该研究推出四级基准《模仿者游戏》及配套数据集、评估平台,发现功能替代是机器人意图层面模仿的关键障碍,微调IG-10K预训练模型可显著提升性能。
2026-08-25 cs.AI cs.RO
SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学)
提出多任务阶段感知奖励模型RM,结合动作基元阶段估计器和多门控专家混合值头,为机器人操作任务提供密集逐步奖励,并基于RM构建SPIRAL框架,通过廉价自主轨迹改进VLA策略,在10任务基准上显著提升成功率。
2026-06-09 cs.RO
Make a Donut: Hierarchical EMD-Space Planning for Zero-Shot Deformable Manipulation with Tools
Stanford University(斯坦福大学);Peking University(北京大学)
提出一种无需演示的零样本可变形物体操作分层规划方法,利用LLM生成阶段计划和子目标点云,结合EMD空间中的可微物理损失进行闭环控制,在面团操作和真实机器人实验中展现出卓越性能与泛化能力。
2025-02-02 cs.AI cs.RO
GoalNet: Inferring Conjunctive Goal Predicates from Human Plan Demonstrations for Robot Instruction Following
Indian Institute of Technology Delhi(德里印度理工学院);Samsung R&D Institute India, Delhi(三星印度德里研发中心);Imperial College London(帝国理工学院)
我们的目标是使机器人能够学习如何排序其行动,以执行指定为自然语言指令的任务,从人类合作伙伴的成功示范。计划高级任务的能力可以被分解为(i)推断特定目标谓词,其表征由用于给定世界状态的语言指令所暗示的任务,以及(ii)用这样的谓词合成可行的达到目标的动作序列。对于前者,我们利用一个神经网络预测模型,而后者利用一个符号规划。我们介绍了一种新的神经符号模型,GoalNet,上下文和任务相关的推理的目标谓词从人类示威和语言的任务描述。GoalNet结合了(i)学习,其中获取密集表示用于语言教学和世界状态,从而能够泛化到新的设置和(ii)规划,其中符号规划器的因果建模避开了不相关的谓词,从而促进了大领域的多阶段决策。GoalNet在显示语言变化的基准数据集上,与最先进的基于规则的方法相比,任务完成率有显着提高(51%),特别是对于多阶段指令。
2022-05-14 cs.AI cs.RO
Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference-Scoped Exploration
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
Dexplore提出统一单循环优化,直接从运动捕捉数据联合重定向与跟踪,以软引导和自适应范围训练策略,蒸馏为视觉技能控制器,实现可扩展的灵巧操作。
2025-09-11 cs.CV cs.RO
Active and Transfer Learning of Grasps by Sampling from Demonstration
University of Innsbruck(因斯布鲁克大学)
我们猜测人类早在婴儿阶段就开始通过两个关键过程获得抓握技能。首先,婴儿试图通过模仿人类来学习抓握已知物体。其次,在此过程中获得的知识在学习中重新使用,以掌握新的对象。我们认为,这些过程的主动和迁移学习归结为一个随机搜索的把握对象,适当的偏见,由先前的经验。在本文中,我们介绍了主动学习的掌握已知的对象,以及迁移学习的掌握新的对象的核自适应,跳模马尔可夫链蒙特卡罗。我们的实验表明,我们提出的学习方法的适用性。
2016-11-19 cs.RO
One-shot Video Imitation via Parameterized Symbolic Abstraction Graphs
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出通过参数化符号抽象图(PSAG)解释单样本视频演示,结合仿真估计不可见物理属性,实现真实机器人对动态可变形物体的操作并泛化至新物体。
2024-09-22 cs.CV cs.RO