Episodic Self-Imitation Learning with Hindsight
Imperial College London（帝国理工学院）
提出了一种新的具有轨迹选择模块和自适应损失函数的自模仿学习算法--情节自模仿学习，以加快强化学习的速度。与原始的自我模仿学习算法相比，该算法从经验重放缓冲区中采样良好的状态-动作对，我们的代理利用具有后见之明的整个情节来帮助自我模仿学习。一个选择模块被引入到过滤器的更新的每一集的无信息的样本。该方法克服了标准自模仿学习算法的局限性，该算法是一种基于转换的方法，在处理具有稀疏奖励的连续控制环境时表现不佳。从实验中，情节自我模仿学习的表现优于基线上的政策算法，实现可比的性能，以国家的最先进的关闭政策算法在几个模拟机器人控制任务。轨迹选择模块示出，以防止代理学习不良的事后经验。情景自模仿学习具有在连续控制环境中解决稀疏奖励问题的能力，因此有可能应用于具有连续动作空间的现实问题，例如机器人引导和操纵。
2020-11-26 cs.AI cs.RO
PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving
the Hong Kong University of Science and Technology（香港科技大学）
提出PLUTO框架，通过纵向-横向感知架构、创新辅助损失计算及对比学习训练框架，在nuPlan基准上首次实现超越规则方法的SOTA闭环性能。
2024-04-22 cs.RO
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）
模仿学习的目标是通过演示模仿专家的行为，而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习（IRL）推断（未知）奖励函数，然后通过强化学习（RL）最大化该奖励函数。然而，通过这些方法学习的策略在实践中非常脆弱，即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时（植入），一个新的元算法模仿学习，利用决策时规划，以纠正任何基础模仿政策的复合错误。与现有方法相比，我们在决策时保留了模仿策略和奖励模型，从而受益于这两个组件的学习信号。从经验上讲，我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时，受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Georgia Institute of Technology（佐治亚理工学院）
SPIRE通过任务与运动规划分解长时程操作任务，并结合模仿学习与强化学习，在性能、数据效率和训练速度上显著超越已有方法。
2024-10-23 cs.AI cs.CV cs.LG
Do What I Want, Not What I Did: Imitation of Skills by Planning Sequences of Actions
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种从演示中学习的方法，用于从专家数据中进行接地操作，并使用这些操作在新环境中执行任务的算法。我们的方法是基于应用程序的采样为基础的运动规划搜索通过树的离散，高层次的行动从一个任务的象征性表示。递归采样为基础的规划是用来探索这些行动的可能的连续空间实例化的空间。我们证明了我们的方法的实用性与磁结构装配任务，表明机器人可以智能地选择在工作空间的不同部分，并在存在障碍物的一系列行动。这种方法可以更好地适应新的环境，为特定的环境选择正确的高层次的行动，同时考虑到人类的喜好。
2016-12-05 cs.RO
PP-TIL: Personalized Planning for Autonomous Driving with Instance-based Transfer Imitation Learning
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Carleton University（卡尔顿大学）
针对个性化驾驶规划中用户数据稀疏导致的过拟合问题，提出基于实例的迁移模仿学习方法，利用专家数据预训练、用户风格正则化微调，并结合可微非线性优化器提升安全规划性能。
2024-08-04 cs.AI cs.LG cs.RO
PILOT: Efficient Planning by Imitation Learning and Optimisation for Safe Autonomous Driving
Five AI Ltd.（Five AI有限公司）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
在规划质量、安全性和效率之间取得适当的平衡是自动驾驶面临的主要挑战。基于优化的运动规划器能够生成安全、平滑和舒适的计划，但通常以运行效率为代价。另一方面，天真地部署由高效运行的深度模仿学习方法产生的轨迹可能会危及安全。在本文中，我们提出了PILOT --一个规划框架，该框架包括一个模仿神经网络，然后是一个高效的优化器，可以主动纠正网络的计划，确保满足安全和舒适性要求。高效优化器的目标与神经网络被离线训练以模仿的基于运行成本高的优化的规划系统的目标相同。这种高效的优化器提供了一个关键的在线保护层，防止在可能危及安全性或舒适性的非分布情况下出现学习失败或缺陷。使用最先进的，基于运行时密集型优化的方法作为专家，我们在CARLA的模拟自动驾驶实验中证明，与它模仿的专家相比，PILOT在不牺牲规划质量的情况下实现了运行时间的七倍减少。
2021-07-30 cs.LG cs.RO
Hierarchical Model-Based Imitation Learning for Planning in Autonomous Driving
Waymo（Waymo公司）
我们展示了基于模型的生成对抗模仿学习（MGAIL）在密集城市自动驾驶任务中的首次大规模应用。我们增加标准MGAIL使用层次模型，使泛化到任意目标路线，并使用模拟交互式代理的闭环评估框架来衡量性能。我们从在旧金山行驶超过10万英里的真实车辆收集的专家轨迹中训练训练策略，并展示了一种可操纵的策略，即使在zero-shot设置中也可以稳健地导航，推广到具有现实驾驶中从未发生过的新目标的合成场景。我们还证明了混合闭环MGAIL损失与开环行为克隆损失的重要性，并显示我们的最佳策略方法的专家的性能。我们评估我们的模仿模型在平均和具有挑战性的情况下，并显示它如何可以作为一个有用的计划成功的轨迹之前。
2022-10-18 cs.AI cs.LG cs.RO
Planning for Sample Efficient Imitation Learning
HKUST（香港科技大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
模仿学习是一类很有前途的策略学习算法，它不存在强化学习的许多实际问题，如奖励设计问题和探索困难。然而，当前的模拟算法难以同时实现高性能和高环境内样本效率。行为克隆（BC）不需要环境中的交互，但它遭受协变量偏移问题，这损害了它的性能。对抗性模仿学习（AIL）将模仿学习转化为分布匹配问题。它可以在某些任务上实现更好的性能，但它需要大量的环境内交互。受到最近在RL中的EfficientZero的成功的启发，我们提出了EfficientImitate（EI），这是一种基于规划的模仿学习方法，可以同时实现高的环境内样本效率和性能。我们在本文中的算法贡献是双重的。首先，我们将AIL扩展到基于MCTS的RL中。其次，我们表明，看似不兼容的两类模仿算法（BC和AIL）可以自然地统一在我们的框架下，享受两者的好处。我们不仅在基于状态的DeepMind Control Suite上对我们的方法进行了基准测试，而且还在许多以前的作品中发现极具挑战性的图像版本上进行了基准测试。实验结果表明，EI在性能和样本效率方面达到了最先进的水平。EI在基于状态和基于图像的任务的有限样本设置中显示出超过4倍的性能增益，并且可以解决具有挑战性的问题，如Humanoid，其中以前的方法在少量交互时失败。我们的代码可在https://github.com/zhaohengyin/EfficientImitate上获得。
2022-10-18 cs.AI cs.LG
Decentralized Real-Time Planning for Multi-UAV Cooperative Manipulation via Imitation Learning
Department for Cognitive Robotics, ME, Delft University of Technology（认知机器人系，代尔夫特理工大学）
针对多无人机协同吊运中集中式控制与通信依赖问题，提出基于模仿学习和物理信息神经网络的去中心化运动动力学规划方法，在无通信条件下达到接近集中式方法的性能。
2025-10-20 cs.RO
Temporal Self-Imitation Learning
Duke University（杜克大学）
提出时间自我模仿学习框架，通过挖掘高效成功轨迹并转化为可重用监督信号，提升长时域机器人操作任务的学习效率与鲁棒性。
2026-09-30 cs.AI cs.RO
Get Back Here: Robust Imitation by Return-to-Distribution Planning
Google Research（谷歌研究院）；ETH（苏黎世联邦理工学院）
针对模仿学习中专家数据与部署环境存在分布偏移的问题，提出结合行为克隆与返回分布规划器的POIR算法，可离线训练并在线微调，实验验证其在机器人操作任务中对分布偏移和噪声动力学具鲁棒性。
2023-05-02 cs.AI cs.LG cs.RO
Data-driven Planning via Imitation Learning
The Robotics Institute Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Microsoft Research（微软研究院）
机器人规划是选择一系列动作的过程，这些动作针对特定任务目标进行优化。这些任务的最佳解决方案在很大程度上受到环境中的隐式结构的影响，即世界中对象的配置。然而，最先进的规划方法并没有利用这种结构，从而花费了宝贵的努力来搜索行动空间，而不是专注于潜在的良好行动。在本文中，我们解决的问题，使规划人员，以适应他们的搜索策略推断这种良好的行动，在一个有效的方式只使用的信息发现的搜索，直到那个时候。我们制定这作为一个问题的顺序决策的不确定性，在一个给定的迭代规划政策必须映射的搜索状态的规划行动。不幸的是，这种基于部分信息的策略的训练过程收敛缓慢，并且容易受到局部最小值的影响。我们的关键见解是，如果我们能够充分观察潜在的世界地图，我们将很容易区分好的和坏的行为。因此，我们提出了一种新的数据驱动的模仿学习框架，有效地训练规划政策，通过模仿千里眼的甲骨文-一个甲骨文，在训练时间有充分的知识，世界地图，可以计算最优决策。我们利用这样的事实，规划问题，这样的预言可以有效地计算，并获得性能保证的学习政策。我们研究两个重要的领域，依赖于部分信息为基础的政策-信息路径规划和搜索为基础的运动规划。我们验证了这两个问题域的一系列环境中的方法，包括在一个真正的无人机上的实验，并表明学习的政策始终优于最先进的算法。
2017-11-17 cs.RO
Human-in-the-Loop Task and Motion Planning for Imitation Learning
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
提出HITL-TAMP系统，结合TAMP与人类遥操作，通过门控机制提升数据收集效率并训练出高性能的模仿学习策略。
2023-10-24 cs.AI cs.CV cs.LG
Efficient Motion Planning for Automated Lane Change based on Imitation Learning and Mixed-Integer Optimization
Beijing Institute of Technology（北京理工大学）；McGill University（麦吉尔大学）
智能运动规划是自动驾驶汽车的核心组成部分之一，受到了广泛的关注。传统的运动规划方法在最优性、效率和泛化能力方面存在一些缺陷。基于采样的方法不能保证生成的轨迹的最优性。而基于优化的方法不能够实时地进行运动规划，并且受到简化形式化的限制。在这项工作中，我们提出了一种基于学习的方法来处理这些缺点。基于混合二次优化问题（MIQP）生成最优换道轨迹，作为基于学习的动作生成算法的训练数据集。设计了一种分层监督学习模型来进行快速换道决策。大量的实验已经进行了评估所提出的方法的最优性，效率和泛化能力。实验结果表明，该模型优于几种常用的运动规划基线。
2020-05-08 cs.LG cs.RO stat.ML
SIL-RRT*: Learning Sampling Distribution through Self Imitation Learning
Czech Technical University in Prague（布拉格捷克技术大学）
针对移动对象安全可行轨迹规划问题，提出基于自模仿学习的SIL-RRT*算法，通过深度神经网络预测采样分布扩展RRT*，在2D和3D环境中验证其样本效率更高且可扩展到复杂环境，为高维机器人运动规划提供新方案。
2024-11-26 cs.RO
Enhanced View Planning for Robotic Harvesting: Tackling Occlusions with Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人采摘中的遮挡问题，提出基于 ACT 模仿学习的 6-DoF 主动视角规划方法，从专家演示学习相机运动策略，并在仿真与真实农业场景中验证其高成功率、效率及跨作物泛化能力。
2025-03-13 cs.RO
Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning
Stanford University（斯坦福大学）；Nvidia（英伟达）
我们解决一次性模仿学习，其目标是执行一个以前看不见的任务的基础上一个单一的演示。虽然在这个方向上已经取得了令人兴奋的进展，但大多数方法仍然需要几百个任务进行元训练，这限制了方法的可扩展性。我们的主要贡献是制定一杆模仿学习作为一个象征性的规划问题，随着符号接地问题。该公式将策略执行从任务间泛化中解脱出来，从而提高了数据效率。关键的技术挑战是符号基础在有限的训练数据下容易出错，并导致随后的符号规划失败。我们解决这个挑战，提出了一个连续放松的离散符号规划，直接计划的概率输出的符号接地模型。我们对规划器的连续放松仍然可以利用概率符号基础中包含的信息，并且在不使用大的训练数据的情况下，显著地改善了一次性模仿学习任务的基线规划器。
2019-11-05 cs.AI cs.LG cs.RO
Differentiable Constrained Imitation Learning for Robot Motion Planning and Control
TU Dortmund University（多特蒙德工业大学）
针对机器人运动规划中软约束模仿学习在分布外场景易出安全故障的问题，提出融合硬约束的可微模仿学习框架，经仿真实验验证了其在移动机器人与自动驾驶场景的有效性。
2023-08-28 cs.LG cs.RO
PLANRL: A Motion Planning and Imitation Learning Framework to Bootstrap Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）
PLANRL框架通过动态切换经典运动规划与强化学习，并利用模仿数据引导探索，显著提升了机器人在仿真和真实任务中的样本效率、泛化能力与操作成功率。
2024-10-17 cs.AI
Imitation-Guided Bimanual Planning for Stable Manipulation under Changing External Forces
HRI；Istituto Italiano Di Tecnologia (IIT)（意大利技术研究所）；LASA, School of Engineering, EPFL（激光实验室，工程学院，瑞士联邦理工学院）；Guangdong University of Technology（广东技术大学）；The Technical University of Munich（慕尼黑技术大学）；The School of Computer Science, University of Nottingham（nottingham大学计算机科学学院）
本文提出模仿引导双臂规划框架，通过抓取流形稳定交集采样和分层双阶段运动架构，解决变化外力下单手与双手抓取的无缝过渡问题，提升操作稳定性与运动性能。
2025-09-23 cs.RO
Interpretable Motion Planner for Urban Driving via Hierarchical Imitation Learning
Horizon Robotics（地平线机器人）
本文提出一种包含高层行为规划器和低层轨迹规划器的分层规划架构，通过闭环仿真和实车测试验证，解决了神经网络在自动驾驶运动规划中的可靠性与可解释性问题，在复杂城市场景表现优异。
2023-07-30 cs.AI cs.RO
Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting
Tufts University, United States（美国塔夫茨大学）；Austrian Institute of Technology, Austria（奥地利技术研究所）；Human-Robot Interaction Lab（人机交互实验室）
针对模仿学习长时程任务数据需求高、泛化弱的问题，提出联合学习符号抽象与连续控制的少样本神经符号框架，仅需五次演示即可实现强泛化和可解释决策。
2025-08-29 cs.RO
DARIL: When Imitation Learning outperforms Reinforcement Learning in Surgical Action Planning
Surgical and Interventional Engineering, King's College London, London, UK（外科与介入工程，伦敦国王学院，伦敦，英国）；Interventional Engineering, King's College London, London, UK（介入工程，伦敦国王学院，伦敦，英国）
该研究在 CholecT50 上比较手术动作规划中的 IL 与 RL，提出 DARIL 基线，发现其显著优于三种 RL 方法，并揭示专家测试分布对 IL 的系统性偏好。
2025-10-20 cs.AI cs.CV
EKMP: Generalized Imitation Learning with Adaptation, Nonlinear Hard Constraints and Obstacle Avoidance
School of Computing, University of Leeds（利兹大学计算机学院）
模仿学习作为机器人轨迹生成的一种简单易行的方法，已被视为机器人技能学习的一个重要方向。无约束模仿学习忽略了环境和机器人运动学/动力学可能产生的内部和外部约束，与此相反，约束模仿学习允许将人类技能转移到非结构化场景，进一步扩大了模仿学习的应用领域。虽然已经研究了各种约束，例如，关节限制，避障和平面约束，非线性硬约束的问题还没有得到很好的解决。在本文中，我们提出了扩展核化运动原语（EKMP），以应付大多数的关键问题，在模仿学习，包括非线性硬约束。具体来说，EKMP是能够学习的概率特性的多个演示，适应学习的技能对任意所需的关节位置和速度方面的点，避免障碍物的机器人链接的水平，以及满足任意的线性和非线性，等式和不等式硬约束。此外，EKMP和最先进的运动规划方法之间的联系进行了讨论。几个评估，包括规划关节轨迹的7自由度的机器人手臂，以验证我们的框架的有效性。
2021-03-12 cs.RO
Model-Free Imitation Learning with Policy Optimization
Stanford University（斯坦福大学）
在模仿学习中，智能体通过模仿专家演示来学习如何在具有未知成本函数的环境中表现。现有的模仿学习算法通常涉及解决一系列规划或强化学习问题。因此，这样的算法不直接适用于大的，高维的环境，其性能可以显着降低，如果规划问题没有解决到最优。根据学徒学习形式主义，我们开发了替代无模型算法，以找到一个参数化的随机政策，执行至少以及一个专家政策的一个未知的成本函数，根据样本轨迹从专家。我们的方法，基于策略梯度，规模大的连续环境，保证收敛到局部极小值。
2016-05-26 cs.AI cs.LG
VILP: Imitation Learning with Latent Video Planning
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出VILP方法，利用潜在视频扩散模型生成多视角时间一致的预测视频用于机器人模仿学习，在降低训练成本、提升推理速度与策略性能的同时减少对高质量动作数据的依赖。
2025-02-03 cs.CV cs.RO
Build on Priors: Vision--Language--Guided Neuro-Symbolic Imitation Learning for Data-Efficient Real-World Robot Manipulation
Tufts University（塔夫茨大学）；Austrian Institute of Technology GmbH (AIT)（奥地利技术研究所（AIT））
本文提出一种可扩展的神经符号框架，通过少量未标注的示范数据自动构建符号规划领域和高效控制策略，无需手动领域工程，提升现实机器人操作的效率和可解释性。
2026-04-04 cs.AI cs.RO
Self-Augmented Robot Trajectory: Efficient Imitation Learning via Safe Self-augmentation with Demonstrator-annotated Precision
AIST（日本产业技术综合研究所）
SART通过安全自增强技术，从单次人类演示中高效学习机器人轨迹，提升数据收集效率并减少碰撞风险。
2026-02-11 cs.AI cs.RO
Imitation Learning-Based Path Generation for the Complex Assembly of Deformable Objects
SDU Robotics（SDU机器人研究所）；The Maersk Mc-Kinney Moller Institute（马士基麦金尼莫勒研究所）；Syddansk Universitet（西丹麦大学）
本文提出利用人类演示和离线无碰撞路径规划，结合柔顺控制与行为克隆，在仅使用简单动力学模型的情况下，生成可变形物体复杂装配的高质量路径。
2025-05-30 cs.RO
Reinforced Imitative Trajectory Planning for Urban Automated Driving
本文提出一种结合强化学习与模仿学习的多步轨迹规划方法，引入基于Transformer的贝叶斯奖励函数和混合驱动框架，在nuPlan数据集上显著优于基线并媲美最先进方法。
2025-07-16 cs.AI cs.RO
Versatile Skill Control via Self-supervised Adversarial Imitation of Unlabeled Mixed Motions
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习不同的技能是机器人技术的主要挑战之一。为此，模仿学习方法已经取得了令人印象深刻的结果。这些方法需要明确标记的数据集或假设一致的技能执行，以实现对个体行为的学习和主动控制，这限制了它们的适用性。在这项工作中，我们提出了一种合作对抗方法，通过最大限度地提高其可辨别性，从包含不同状态转换模式的未标记数据集中获得具有可控技能集的单一通用策略。此外，我们表明，通过利用生成对抗模仿学习框架中的无监督技能发现，新的和有用的技能出现与成功的任务完成。最后，所获得的多功能的政策进行了测试，一个敏捷的四足机器人称为独奏8，并提出忠实的复制编码在演示中的各种技能。
2023-02-11 cs.AI cs.LG cs.RO
Beyond Imitation: Reinforcement Learning for Active Latent Planning
School of Computing, National University of Singapore, Singapore（计算学院，新加坡国立大学）
本文提出ATP-Latent方法，通过主动规划和强化学习优化潜在空间，提升链式推理的准确性和效率。
2026-01-29 cs.AI
MILES: Making Imitation Learning Easy with Self-Supervision
Imperial College London（帝国理工学院）
提出自监督自主数据收集范式 MILES，仅用单个演示和单次环境重置即可学习机器人策略，并在富接触真实任务中显著优于结合强化学习的模仿学习方法。
2024-10-25 cs.AI cs.LG cs.RO
Universal Planning Networks
UC Berkeley, Computer Science（加州大学伯克利分校计算机科学）
复杂视觉控制中的一个关键挑战是学习有效的抽象表示，用于指定目标，规划和泛化。为此，我们引入通用规划网络（UPN）。UPN在目标导向的政策中嵌入了可区分的规划。该规划计算在潜在空间中展开前向模型，并且通过梯度下降轨迹优化来推断最优行动计划。逐梯度下降过程及其底层表示是端到端学习的，以直接优化有监督的模仿学习目标。我们发现，学习的表示不仅是有效的目标导向的视觉模仿，通过基于梯度的轨迹优化，但也可以提供一个指标，指定目标使用图像。可以利用学习的表示来指定基于距离的奖励，以达到无模型强化学习的新目标状态，从而在解决通过基于图像的目标描述的新任务时实现更有效的学习。我们能够在具有显著不同形态和驱动能力的机器人之间成功地转移视觉规划策略。
2018-04-04 cs.AI cs.CV cs.LG
HumanoidMimicGen: Data Generation for Loco-Manipulation via Whole-Body Planning
NVIDIA；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出HumanoidMimicGen方法，通过全身规划自动生成人形机器人行走操作演示数据，在模拟基准上使联合训练的策略性能提升20%。
2026-05-26 cs.AI cs.RO
Extraneousness-Aware Imitation Learning
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
视觉模仿学习为从示范中学习技能提供了一个有效的框架。然而，所提供的演示的质量通常会显着影响代理获得所需技能的能力。因此，标准的视觉模仿学习假设接近最优的演示，这是昂贵的或有时禁止收集。以前的作品提出从嘈杂的演示学习，然而，噪声通常被假设为遵循上下文无关的分布，如均匀或高斯分布。在本文中，我们考虑了另一个关键但尚未探索的设置--模仿学习，其中演示中的任务无关但局部一致的片段（例如，在烹饪教程中切土豆时擦汗）。我们认为，这种噪音是常见的，在现实世界中的数据和术语“无关”的部分。为了解决这个问题，我们引入了外部感知模仿学习（EIL），这是一种自我监督的方法，可以从具有外部约束的第三人称演示中学习视觉策略。EIL以自我监督的方式学习动作条件观测嵌入，并在排除无关观测的同时检索视觉演示中与任务相关的观测。实验结果表明，EIL的性能优于强基线，并实现了与那些在模拟和现实世界的机器人控制任务上进行了完美演示的训练的策略相当的策略。该项目的页面可以在https://sites.google.com/view/eil-website上找到。
2023-03-01 cs.AI cs.RO
A Benchmark Comparison of Imitation Learning-based Control Policies for Autonomous Racing
University of Pennsylvania（宾夕法尼亚大学）
本文针对自动驾驶赛车控制策略，系统基准测试了多种模仿学习方法，证明交互式模仿学习优于传统方法，并能通过引导显著提升强化学习性能。
2023-05-28 cs.RO
Generative Adversarial Self-Imitation Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文通过提出生成对抗自模仿学习（GASIL）来探索一种简单的强化学习正则化器，该正则化器通过生成对抗模仿学习框架来鼓励智能体模仿过去的良好轨迹。GASIL不是直接最大化奖励，而是专注于再现过去的良好轨迹，这可能会在奖励稀疏和延迟时使长期信用分配更容易。GASIL可以很容易地与任何策略梯度目标相结合，通过使用GASIL作为一个学习成形的奖励函数。我们的实验结果表明，GASIL提高了近端策略优化的性能在2D点质量和MuJoCo环境延迟奖励和随机动态。
2018-12-03 cs.AI cs.LG stat.ML
SCIZOR: A Self-Supervised Approach to Data Curation for Large-Scale Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA Research（NVIDIA研究）
SCIZOR是一种自监督数据整理框架，通过过滤低质量状态-动作对提升模仿学习性能，在多个基准上平均提升15.4%。
2025-09-09 cs.AI cs.LG cs.RO
Agile Autonomous Driving using End-to-End Deep Imitation Learning
Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个端到端的模仿学习系统，用于仅使用低成本传感器的敏捷越野自动驾驶。通过模仿配备先进传感器的模型预测控制器，我们训练深度神经网络控制策略，将原始的高维观测映射到连续的转向和油门命令。与最近的类似任务的方法相比，我们的方法既不需要状态估计，也不飞行规划导航车辆。我们的方法依赖于最近的模仿学习理论，并通过实验验证。从经验上讲，我们表明，用在线模仿学习训练的政策克服了与协变量偏移相关的众所周知的挑战，并且比用批量模仿学习训练的政策更好地推广。基于这些见解，我们的自动驾驶系统展示了成功的高速越野驾驶，与最先进的性能相匹配。
2019-08-09 cs.RO
Hierarchical Imitation Learning with Vector Quantized Models
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence FCAI（芬兰人工智能中心FCAI）
本文提出一种分层模仿学习方法，利用强化学习识别专家轨迹中的子目标，并结合向量量化生成模型进行子目标层级规划，在复杂长时程决策任务中超越现有最优方法。
2023-05-29 cs.AI cs.LG
Self-evolved Imitation Learning in Simulated World
College of Science and Engineering, Hamad Bin Khalifa University（1 科学与工程学院，哈马德·本·卡西姆大学）；College of Computer Science and Technology, Zhejiang University（2 计算机科学与技术学院，浙江大学）；Guangdong Provincial Key Laboratory of Sensing Physics and System Integration Applications（4 广东省传感物理与系统集成应用重点实验室）
提出自进化模仿学习框架SEIL，通过模拟器交互和双层增强及轨迹筛选，在少样本场景下实现LIBERO基准上的最先进性能。
2025-09-23 cs.AI cs.LG cs.RO
Generalizable Imitation Learning Through Pre-Trained Representations
Center for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）
本文提出DVK算法，利用预训练视觉Transformer的块级嵌入聚类形成稳定语义关键点，以提升模仿学习在物体操作任务中的泛化能力，并公开代码与数据集。
2025-03-10 cs.AI cs.RO
Deep Imitation Learning for Autonomous Driving in Generic Urban Scenarios with Enhanced Safety
University of California, Berkeley（加州大学伯克利分校）
城市环境中自动驾驶的决策和规划系统很难设计。大多数当前方法手动设计驱动策略，这对于大规模开发和维护来说可能是昂贵的。相反，通过模仿学习，我们只需要收集数据，计算机就会自动学习和改进驾驶策略。然而，现有的自动驾驶模仿学习方法在复杂的城市场景中表现不佳。此外，当我们使用深度神经网络策略时，安全性得不到保证。在本文中，我们提出了一个框架，在离线连接的驾驶数据的情况下，有效地学习城市场景中的驾驶策略，并结合了一个安全控制器，以保证测试时的安全。实验表明，我们的方法可以实现高性能的现实模拟城市驾驶场景。
2019-10-12 cs.RO
Self-Imitation Learning for Robot Tasks with Sparse and Delayed Rewards
Beihang University（北京航空航天大学）；Nanjing Research Institute of Electronics Technology（南京电子技术研究所）
强化学习（RL）在机器人控制中的应用在具有稀疏和延迟奖励的环境中仍然受到限制。本文提出了一种实用的自模仿学习方法--具有恒定奖励的自模仿学习（SILCR）.我们的方法不需要从环境中手工定义即时奖励，而是根据最终的情节奖励在每个时间步为即时奖励分配恒定值。通过这种方式，即使来自环境的密集奖励不可用，智能体采取的每一个行动都将得到正确的指导。我们证明了我们的方法在一些具有挑战性的连续机器人控制任务的MuJoCo模拟的有效性，结果表明，我们的方法显着优于其他方法在稀疏和延迟奖励的任务。即使与具有密集奖励的替代品相比，我们的方法也达到了有竞争力的性能。烧蚀实验也证明了该方法的稳定性和可重复性。
2021-05-25 cs.AI cs.LG
PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning
Carnegie Mellon University（卡内基梅隆大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））；University of Southern California（南加州大学）
多智能体路径查找（MAPF）是许多大规模、真实世界机器人部署的重要组成部分，从空中集群到仓库自动化。然而，尽管社区不断努力，大多数最先进的MAPF规划者仍然依赖于集中规划和规模不足，超过几百个代理。这种规划方法不适合现实世界的部署，其中噪声和不确定性通常需要在线重新计算路径，当规划时间以秒到分钟为单位时，这是不可能的。我们提出了PRIMAL，一个新的框架MAPF，结合强化和模仿学习，教完全分散的政策，代理反应性地规划路径在线部分可观察的世界，同时表现出隐式协调。该框架扩展了我们以前的工作，通过引入示范的专家MAPF规划师在培训过程中，以及仔细的奖励塑造和环境采样的分布式学习的协作政策。一旦学习，所产生的策略可以复制到任何数量的代理上，并自然地扩展到不同的团队规模和世界维度。我们目前的结果随机世界多达1024代理和比较成功率对国家的最先进的MAPF规划。最后，我们通过实验验证了学习的政策，在一个混合模拟的工厂样机，涉及现实世界和模拟机器人。
2019-02-20 cs.RO
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University（北京大学）
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展，但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中，我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题，其中我们假设没有手工制作的密集奖励，而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题，我们确定了几个关键问题，可以失败的以前的模仿学习算法，并阻碍了推广到看不见的实例。然后，我们提出了几个一般的，但关键的技术，包括生成对抗性自我模仿学习从示范，渐进增长的学习，和实例平衡专家缓冲区，准确地指出和解决这些问题，可以受益于类别级操作策略学习，无论任务。我们在ManiSkill基准上的实验表明，所有任务都有显着的改进，我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
KiRAS: Keyframe Guided Self-Imitation for Robust and Adaptive Skill Learning in Quadruped Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University, China（复旦大学智能机器人与先进制造学院）
KiRAS通过关键帧引导的自我模仿学习，在复杂地形上实现多样技能的获取与过渡，无需专家数据集，提升机器人在无结构环境中的鲁棒性和适应性。
2026-03-16 cs.RO
IRL-DAL: Safe and Adaptive Trajectory Planning for Autonomous Driving via Energy-Guided Diffusion Models
Department of Electrical Engineering, Amirkabir University of Technology (Tehran Polytechnic)（电气工程系，阿米尔卡比尔技术大学（德黑兰理工大学））
本文提出IRL-DAL框架，通过能量引导扩散模型实现自动驾驶的安全自适应轨迹规划，结合模仿学习与强化学习，提升行驶安全性和鲁棒性。
2026-01-30 cs.AI cs.RO
SSIL: Self-Supervised Imitation Learning for End-to-End Driving
R & D Center, SL Corporation（SL公司研发中心）；Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电子与计算机工程系）；Department of Information and Communication Engineering, Handong Global University（翰林全球大学信息与通信工程系）；College of Engineering, Texas A & M University-Corpus Christi（德克萨斯A&M大学科珀斯克里斯蒂分校工程学院）；School of Computer Science and Electrical Engineering, Handong Global University（翰林全球大学计算机科学与电子工程学院）
提出自监督模仿学习框架SSIL，利用车辆位姿生成伪转向角数据，无需驾驶命令或预训练模型，结合交叉注意力条件方法CACA，在三个基准数据集上达到与监督学习相当的驾驶精度。
2026-06-17 cs.AI cs.RO
DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University（南洋理工大学）；Desay SV Automotive（德赛西威汽车）
DecompGAIL通过分解多智能体生成对抗模仿学习方法，解决多智能体设置中GAIL的不稳定性问题，提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
An Independently Learnable Hierarchical Model for Bilateral Control-Based Imitation Learning Applications
University of Tsukuba（筑波大学）；Saitama University（埼玉大学）
近来，已经积极地研究通过机器学习的运动生成以使各种任务自动化。模仿学习就是这样一种从预先收集的数据中学习运动的方法。然而，执行长期任务仍然具有挑战性。因此，提出了一种新的模仿学习框架来解决这个问题。所提出的框架包括上层和下层，其中上层模型，其时间尺度是长的，而下层模型，其时间尺度是短的，可以独立地训练。在该模型中，上层学习长期任务规划，下层学习运动基元。通过实验将该方法与基于层次RNN的方法进行了比较，验证了其有效性。因此，所提出的方法显示出等于或大于传统方法的成功率。此外，该方法所需的训练时间不到传统方法的1/20。此外，它成功地执行未学习的任务，通过重用训练的下层。
2022-03-16 cs.RO
Shared Multi-Task Imitation Learning for Indoor Self-Navigation
Ball State University（鲍尔州立大学）
深度模仿学习使机器人能够从专家演示中学习，以执行车道跟踪或避障等任务。然而，在传统的模仿学习框架中，一个模型只能学习一个任务，因此缺乏在室内环境中支持机器人使用一个模型执行各种不同导航任务的能力。本文提出了一种新的框架，共享多头模仿学习（SMIL），它允许机器人执行多个任务与一个模型之间没有切换不同的模型。我们将每个任务建模为一个子策略，并设计了一个多头策略，通过总结所有子策略的激活来学习相关任务之间的共享信息。与单一或非共享的多头策略相比，该框架能够利用任务之间的相关信息来提高性能。我们使用基于NVIDIA TX2的机器人实现了该框架，并在室内环境中使用不同的基线解决方案进行了广泛的实验。结果表明，SMIL比非共享多头策略的性能提高了一倍。
2018-08-14 cs.CV cs.RO
