Imitation Learning from Suboptimal Demonstrations via Meta-Learning An Action Ranker
University of Electronic Science and Technology of China(电子科技大学);Duke Kunshan University(昆山杜克大学);Sichuan Artificial Intelligence Research Institute(四川省人工智能研究院)
本文提出ILMAR方法,通过元学习动作排序器并利用优势函数泛函选择性整合次优演示知识,以加权行为克隆提升模仿学习性能,实验证明其显著优于现有方法。
2024-12-28 cs.AI cs.LG
Imitation Learning from Imperfect Demonstration
National Taiwan University(台湾大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
模仿学习的目的是从示范中学习最优策略。然而,这种示范往往是不完美的,因为收集最佳的是昂贵的。为了有效地从不完美的演示中学习,我们提出了一种新的方法,利用置信度分数,它描述了演示的质量。更具体地说,我们提出了两种基于置信度的IL方法,即两步重要性加权IL(2IWIL)和生成对抗IL与不完美的示范和信心(IC-GAIL)。我们发现,只给一小部分的次优演示的信心分数显着提高IL的性能,无论是理论上和经验。
2019-01-30 cs.AI cs.LG stat.ML
On Combining Expert Demonstrations in Imitation Learning via Optimal Transport
University College London(伦敦大学学院)
针对模仿学习中多专家演示组合的标准拼接法在多模态轨迹下的缺陷,提出基于多边缘最优传输距离的组合方法,可实现演示的合理几何平均,实验验证其效率优于标准方法。
2023-07-20 cs.AI cs.LG
Confidence-Aware Imitation Learning from Demonstrations with Varying Optimality
Stanford University(斯坦福大学);Tsinghua University(清华大学)
大多数现有的模仿学习方法都假设演示来自最佳专家,但放松这一假设使我们能够使用更广泛的数据。标准的模仿学习可以从具有变化的最优性的演示中学习次优策略。先前的工作使用置信度分数或排名来从具有不同最优性的演示中捕获有益信息,但是它们受到许多限制,例如,手动注释的置信度得分或演示的高平均最优性。在本文中,我们提出了一个通用的框架,从不同的最优性,共同学习的信心得分和表现良好的政策的演示学习。我们的方法,信心感知模仿学习(CAIL)学习一个良好的表现政策,从信心重新加权的演示,同时使用外部损失跟踪我们的模型的性能和学习的信心。我们提供了理论保证CAIL的收敛性,并评估其性能在模拟和真实的机器人实验。我们的研究结果表明,CAIL显着优于其他模仿学习方法,从不同的最优性演示。我们进一步表明,即使没有任何最佳的示范,CAIL仍然可以学习一个成功的政策,并优于以前的工作。
2022-01-26 cs.AI cs.LG cs.RO
Robust Imitation Learning from Noisy Demonstrations
RIKEN(日本理化学研究所);University of Tokyo(东京大学)
从噪声中进行鲁棒学习是模仿学习中的一个实际而又极具挑战性的问题。在本文中,我们首先从理论上证明了鲁棒模仿学习可以通过优化对称损失的分类风险来实现。基于这一理论发现,我们提出了一种新的模仿学习方法,通过有效地结合伪标记和协同训练来优化分类风险。与现有的方法不同,我们的方法不需要额外的标签或严格的假设噪声分布。连续控制基准上的实验结果表明,我们的方法是更强大的国家的最先进的方法相比。
2021-02-19 cs.AI cs.LG stat.ML
Semi-Supervised Imitation Learning of Team Policies from Suboptimal Demonstrations
Rice University(莱斯大学)
我们提出了贝叶斯团队模仿学习器(BTIL),一个模仿学习算法来模拟在马尔可夫域中执行顺序任务的团队行为。与现有的多智能体模仿学习技术相比,BTIL明确建模和推断团队成员随时间变化的心理状态,从而使分散的团队政策的学习从次优团队合作的示范。此外,为了允许从小数据集进行样本和标签有效的策略学习,BTIL采用贝叶斯观点,并且能够从半监督演示中学习。我们展示和基准的合成多智能体任务的性能,以及一个新的数据集的人类代理团队合作的BTIL。我们的实验表明,尽管团队成员的心理状态(随时间变化和潜在的不一致)对他们的行为的影响,BTIL可以成功地学习团队政策的演示。
2022-09-20 cs.AI cs.LG cs.MA
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
模仿学习的目标是通过演示模仿专家的行为,而不需要获得明确的奖励信号。一种流行的方法通过逆强化学习(IRL)推断(未知)奖励函数,然后通过强化学习(RL)最大化该奖励函数。然而,通过这些方法学习的策略在实践中非常脆弱,即使由于复合误差引起的小的测试时间扰动也会迅速恶化。我们提出了模仿与规划在测试时(植入),一个新的元算法模仿学习,利用决策时规划,以纠正任何基础模仿政策的复合错误。与现有方法相比,我们在决策时保留了模仿策略和奖励模型,从而受益于这两个组件的学习信号。从经验上讲,我们证明了植入显着优于基准模仿学习方法的标准控制环境和擅长zero-shot泛化时,受到挑战性的扰动测试时间动态。
2022-04-18 cs.AI cs.LG
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT(麻省理工学院);Stanford University(斯坦福大学)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而,由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中,我们提出了一个新的算法,可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上,不仅可以模仿复杂的行为,还可以学习复杂行为数据的可解释和有意义的表示,包括视觉演示。在驾驶领域,我们表明,从人类演示中学习的模型能够准确地再现各种行为,并使用原始视觉输入准确地预测人类的行为。与各种基线相比,我们的方法可以更好地捕捉潜在的结构专家演示,往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG
Beyond-Expert Performance with Limited Demonstrations: Efficient Imitation Learning with Double Exploration
Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系);IHPC, Agency for Science, Technology and Research, Singapore(新加坡科技研究局信息与通信技术研究所);CFAR, Agency for Science, Technology and Research, Singapore(新加坡科技研究局癌症研究基金会)
提出双重探索模仿学习算法(ILDE),通过乐观策略优化和好奇心驱动的状态探索,在有限样本下提升收敛速度并实现超越专家的性能,且具有次线性遗憾的理论保证。
2025-06-25 cs.AI cs.LG
Robust Imitation Learning from Corrupted Demonstrations
Tencent AI Lab(腾讯人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑从损坏的演示中离线模仿学习,其中恒定部分的数据可能是噪声甚至是任意离群值。经典的方法,如行为克隆假设,示范是由一个假定的最佳专家收集,因此可能会严重失败时,从损坏的示范学习。我们提出了一种新的鲁棒算法,通过最小化的中位数(MENS)的目标,保证了准确的估计政策,即使在存在恒定比例的离群值。我们的理论分析表明,我们的强大的方法在损坏的设置享有几乎相同的错误缩放和样本复杂性的保证,作为经典的行为克隆在专家演示设置。在连续控制基准上的实验验证了该方法的鲁棒性和有效性,与现有的模仿学习方法相比,取得了较好的效果。
2022-01-29 cs.AI cs.LG stat.ML
Adversarial Imitation Learning from Incomplete Demonstrations
Hong Kong University of Science and Technology(香港科技大学)
模仿学习的目标是导出从状态到动作的映射,也称为政策,从专家示范。现有的模仿学习方法通常要求演示中的任何动作都是完全可用的,这在实际应用中很难保证。虽然已经提出了不可观察动作的学习算法,但它们只关注状态信息,而忽略了动作序列仍然可以部分可用并为策略导出提供有用信息的事实。在本文中,我们提出了一种新的算法,称为引导对抗模仿学习(AGAIL),它从具有不完整动作序列的演示中学习策略,不完整的演示。AGAIL的核心思想是将演示分为状态和动作轨迹,并使用状态轨迹训练策略,同时使用动作作为辅助信息来指导训练。AGAIL建立在生成式对抗模仿学习的基础上,有三个组成部分:生成器、学习者和指导者。生成器学习策略,并由策略管理器提供奖励,策略管理器试图区分策略生成的演示和样本之间的状态分布。当特定状态的演示操作可用时,该指南向生成器提供额外奖励。我们比较AGAIL与其他方法的基准任务,并表明AGAIL始终提供相当的性能,即使在演示中的动作序列只有部分可用的国家的最先进的方法。
2019-06-23 cs.AI cs.LG stat.ML
To Follow or not to Follow: Selective Imitation Learning from Observations
University of Southern California(南加州大学)
示教学习是将技能从一个智能体转移到另一个智能体的有用方法。虽然大多数模仿学习方法旨在通过一步一步地跟随演示来模仿专家技能,但当学习者及其环境与演示不同时,模仿演示中的每一步往往变得不可行。在本文中,我们提出了一种方法,可以模仿演示组成的观察,这可能是不可重现的当前代理。我们的方法,被称为选择性模仿学习从观察(SILO),选择可达到的状态,在演示和学习如何达到选定的状态。我们在模拟和真实机器人环境中的实验表明,我们的方法可靠地执行一个新的任务,通过以下演示。视频和代码可在https://clvrai.com/silo上获得。
2019-12-16 cs.AI cs.LG cs.RO
Language-Critique Imitation Learning from Suboptimal Demonstrations
Graduate Institute of Communication Engineering, National Taiwan University (NTU)(国立台湾大学电信工程学研究所);University of Utah(犹他大学);National Yang Ming Chiao Tung University(国立阳明交通大学);NTU Artificial Intelligence Center of Research Excellence(国立台湾大学人工智能卓越研究中心)
提出语言批评框架,用自然语言作为结构化监督信号从次优演示中学习策略,避免压缩为标量,在连续控制任务上优于基线方法。
2026-07-02 cs.AI cs.LG
Imitation Bootstrapped Reinforcement Learning
Stanford University(斯坦福大学)
针对模仿学习泛化难、强化学习样本效率低的问题,提出模仿自举强化学习框架,先训练模仿策略再用于探索和自举目标,在多类任务中性能显著优于现有方法。
2024-05-20 cs.AI cs.LG
Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations
New York University(纽约大学)
虽然模仿学习为我们提供了一个有效的工具包来训练机器人,学习技能,是强大的环境变化仍然是一个重大的挑战。当前的方法通过依赖于跨越环境变化的大量演示或需要状态估计的手工制作的奖励函数来解决这一挑战。这两个方向都无法快速模仿。在这项工作中,我们提出了快速模仿人类技能(FISH),一种新的模仿学习方法,可以在不到一分钟的人类演示中学习强大的视觉技能。给定通过离线模仿演示训练的弱基本策略,FISH计算与机器人行为和演示之间的“匹配”相对应的奖励。然后,这些奖励用于自适应地更新添加到基本策略的剩余策略。在所有任务中,FISH最多需要20分钟的交互式学习来模仿演示中未看到的对象配置演示。重要的是,FISH被构造为通用的,这允许它在机器人形态(例如xArm,Allegro,Stretch)和相机配置(例如第三人称,手眼)中使用。我们对9个不同任务的实验评估表明,FISH的平均成功率为93%,比现有的最先进的方法高出约3.8倍。
2023-03-02 cs.AI cs.CV cs.LG
Imitation Learning via Focused Satisficing
Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系);Department of Computer Science, Cornell University(康奈尔大学计算机科学系)
针对模仿学习假设示范接近最优的局限,提出聚焦满意化方法,利用基于间隔的目标引导深度强化学习,使策略超越示范者期望水平,实验证明其能更好模仿高质量示范并提高可接受性。
2025-05-25 cs.AI cs.LG
Imitation Learning from Purified Demonstrations
Wuhan University(武汉大学);City University of Hong Kong(香港城市大学);The University of Sydney(悉尼大学)
针对不完美专家演示影响模仿学习性能的问题,提出基于扩散过程的两步演示净化方法,并从理论与 MuJoCo、RoboSuite 实验上验证其有效性。
2024-08-06 cs.LG
Multi-Modal Imitation Learning from Unstructured Demonstrations using Generative Adversarial Nets
University of Southern California(南加州大学);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
传统上,模仿学习被应用于从单个任务的演示中学习单个任务。结构化和孤立的演示的要求限制了模仿学习方法的可扩展性,因为它们难以应用于现实世界的场景,其中机器人必须能够执行大量任务。在本文中,我们提出了一个多模态的模仿学习框架,能够分割和模仿技能,从无标记和非结构化的示范学习技能分割和模仿学习联合。大量的仿真结果表明,我们的方法可以有效地分离到个人技能的演示,并学习模仿他们使用一个单一的多模态政策。我们实验的视频可以在http://sites.google.com/view/nips17intentiongan上获得
2017-11-23 cs.LG cs.RO
Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations
JD Technology(京东科技);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
我们研究离线模仿学习(IL)的问题,其中代理的目的是学习一个最佳的专家行为策略,而无需额外的在线环境的相互作用。相反,代理被提供来自次优行为的补充离线数据集。解决这个问题的现有工作要么要求专家数据占据离线数据集的大部分比例,要么需要学习奖励函数并在之后执行离线强化学习(RL)。在本文中,我们的目标是解决这个问题,没有额外的奖励学习和离线RL训练的情况下,演示包含很大比例的次优数据的步骤。在行为克隆(BC)的基础上,我们引入了一个额外的分类器来区分专家和非专家数据。我们提出了一个合作框架来促进这两个任务的学习,在这个框架的基础上,我们设计了一个新的IL算法,其中的输出作为BC损失的权重。实验结果表明,我们提出的算法实现了更高的回报率和更快的训练速度相比,基线算法。
2022-07-20 cs.AI cs.LG
Zero-shot Imitation Learning by Latent Topology Mapping
Purdue University, Department of Computer Science(普渡大学计算机科学系)
本文提出ZALT方法,通过识别潜在枢纽状态和拓扑规划,实现对未见过的任务的零样本适应,实验显示其在复杂3D迷宫环境中表现优于基线方法。
2026-05-08 cs.AI cs.LG
Out-of-Dynamics Imitation Learning from Multimodal Demonstrations
Tsinghua University(清华大学);Stanford University(斯坦福大学)
现有的模仿学习工作主要假设收集演示的演示者与模仿者共享相同的动力学。然而,这个假设限制了模仿学习的使用,特别是当模仿者很难收集示范时。在本文中,我们研究了动态外模仿学习(OOD-IL),它放宽了假设,演示者和模仿者有相同的状态空间,但可以有不同的动作空间和动力。OOD-IL使模仿学习能够利用来自广泛的演示者的演示,但引入了一个新的挑战:由于不同的动态,一些演示无法由模仿者实现。以前的作品试图过滤出这样的示威可行性测量,但忽略了这样一个事实,即示威表现出多峰分布,因为不同的示威者可能会采取不同的政策,在不同的动态。我们开发了一个更好的可转移性度量来应对这一新出现的挑战。首先设计了一种新的基于序列的对比聚类算法,对同一模式下的演示进行聚类,避免不同模式下演示的相互干扰,然后在每个聚类中使用基于对抗学习的算法学习每个演示的可迁移性。几个MuJoCo环境,驾驶环境,和模拟机器人环境的实验结果表明,所提出的可转移性测量更准确地发现和向下加权不可转移的演示,并优于以前的作品的最终模仿学习性能。我们在网站上展示了实验结果的视频。
2022-11-13 cs.LG cs.RO
Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习的性能通常是由演示者的性能上限。虽然最近的实证结果表明,排名示范允许更好的性能比演示,演示的偏好可能很难获得,理论上知之甚少,当这种方法可以预期成功地外推超出演示的性能。为了解决这些问题,我们首先贡献了一个比演示者更好的模仿学习的充分条件,并提供了理论结果,说明为什么在执行逆强化学习时,演示的偏好可以更好地减少奖励函数的模糊性。在此理论的基础上,我们引入了基于干扰的奖励外推(D-REX),这是一种基于排名的模仿学习方法,它将噪声注入通过行为克隆学习的策略中,以自动生成排名演示。这些排名的演示用于有效地学习奖励函数,然后可以使用强化学习来优化该奖励函数。我们在模拟机器人和Atari模仿学习基准上实证验证了我们的方法,并表明D-REX优于标准的模仿学习方法,并且可以显着超过演示器的性能。D-REX是第一种模仿学习方法,可以在没有额外的辅助信息或监督(如奖励或人类偏好)的情况下,实现对演示者表现的显著外推。通过自动生成排名,我们表明,基于偏好的逆强化学习可以应用于传统的模仿学习设置中,只有未标记的演示。
2019-10-14 cs.LG stat.ML
Self-Imitation Learning from Demonstrations
JetBrains Research(JetBrains研究院)
尽管强化学习(RL)取得了许多突破,但解决具有稀疏奖励的环境仍然是一项具有挑战性的任务,需要进行复杂的探索。示教学习(LfD)通过引导智能体对专家所经历的状态的探索来解决这个问题。当然,这种方法的好处取决于演示的质量,而演示在现实场景中很少是最佳的。现代LfD算法需要对控制演示影响的超参数进行细致的调整,正如我们在论文中所展示的那样,努力从次优演示中学习。为了解决这些问题,我们扩展自模仿学习(SIL),最近的RL算法,利用代理的过去的良好经验,LfD设置通过初始化其重放缓冲区的演示。我们将我们的算法表示为来自演示的SIL(SILfD)。我们的经验表明,SILfD可以从嘈杂或远离最佳的演示中学习,并且可以在整个训练过程中自动调整演示的影响,而无需额外的超参数或手工制作的时间表。我们还发现SILfD优于现有的国家的最先进的LfD算法在稀疏环境中,特别是当示威是高度次优。
2022-03-21 cs.LG
Hindsight Generative Adversarial Imitation Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
与强化学习相比,模仿学习(IL)是训练智能体从专家演示中有效学习控制策略的强大范例。然而,在大多数情况下,获取演示数据既昂贵又费力,这在某些情况下构成了重大挑战。一个有前途的替代方案是通过模仿学习来训练Agent学习技能,而无需专家演示,这在一定程度上将极大地扩展模仿学习领域。为了实现这一目标,本文提出了后见之明生成对抗模仿学习(HGAIL)算法,旨在实现无需演示的模仿学习。将后见之明的思想与生成对抗模仿学习(GAIL)框架相结合,实现了在缺乏专家论证数据的情况下成功实现模仿学习。实验表明,该方法可以训练的政策表现出相当的性能,目前的模仿学习方法。HGAIL从本质上赋予了课程学习机制,而这一机制对学习政策的制定至关重要。
2019-03-19 cs.LG stat.ML
Generative adversarial imitation learning for robot swarms: Learning from human demonstrations and trained policies
University of Konstanz(康斯坦茨大学);Zukunftskolleg(未来学院)
本文提出基于生成对抗模仿学习的框架,从人类示范和训练策略中学习机器人群体的集体行为,并在真实机器人上验证了其有效性。
2026-03-03 cs.LG cs.MA cs.RO
Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble
深度强化学习(Deep Reinforcement Learning,DRL)为机器人控制策略的生成提供了新的途径。然而,训练控制策略的过程需要漫长的探索,导致强化学习(RL)在现实世界的任务中的低样本效率。模仿学习(IL)和示教学习(LfD)都通过使用专家示范来改进培训过程,但不完美的专家示范会误导政策改进。离线到在线强化学习需要大量离线数据来初始化策略,在线微调时分布偏移容易导致性能下降。针对上述问题,本文提出了一种示教学习方法A-SILfD,该方法将专家示教视为Agent的成功经验,并利用经验约束策略改进。此外,我们防止性能下降,由于大的估计误差的Q-函数的合奏Q-函数。我们的实验表明,A-SILfD可以显着提高样本效率使用少量的不同质量的专家演示。在四个Mujoco连续控制任务中,A-SILfD在经过150,000步在线训练后可以显著优于基线方法,并且在训练期间不会被不完美的专家演示所误导。
2022-12-07 cs.LG
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
学习敏捷技能是机器人技术的主要挑战之一。为此,强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家,可以在模拟中查询,以提供一个目标控制输出,这限制了它们的适用性。在这项工作中,我们提出了一种生成对抗方法,用于从部分和潜在的物理不兼容的演示中推断奖励函数,以获得成功的技能,其中参考或专家演示不容易获得。此外,我们表明,通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入,我们能够提取的政策,是强大的,能够模仿演示的行为。最后,所获得的技能,如后空翻进行了测试,一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
SPRINQL: Sub-optimal Demonstrations driven Offline Imitation Learning
Singapore Management Univerisity(新加坡管理大学)
本文提出基于逆向soft-Q学习的离线模仿学习方法SPRINQL,通过赋予专家演示更高权重、次优演示较低权重,将问题转化为Q函数空间上的凸优化,有效利用次优演示并避免过拟合,在离线IL基准上达到SOTA性能。
2024-10-10 cs.AI cs.LG
Imitation from Diverse Behaviors: Wasserstein Quality Diversity Imitation Learning with Single-Step Archive Exploration
Agency for Science, Technology and Research(新加坡科技研究局);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出WQDIL方法,通过基于WAE的潜在对抗训练和带单步存档探索奖励的测度条件奖励函数,解决了从有限演示中学习多样且高性能行为的挑战,在MuJoCo连续控制任务上实现了超越专家的QD性能。
2025-04-04 cs.AI cs.LG
Generative Adversarial Imitation from Observation
University of Texas at Austin(德克萨斯大学奥斯汀分校);U.S. Army Research Laboratory(美国陆军研究实验室)
从观察中模仿(IfO)是直接从只有状态的演示中学习而不接触演示者的行为的问题。行动信息的缺乏既将IfO与模仿学习中的大多数文献区分开来,也将其作为一种方法区分开来,这种方法可以使代理从大量以前不适用的资源(如互联网视频)中学习。在本文中,我们提出了一个一般框架的IfO方法,也是一个新的IfO方法的基础上生成的对抗网络生成对抗网络称为生成对抗模仿观察(GAIfO)。我们在两种不同的环境中进行实验:(1)当演示由低维,手动定义的状态特征组成时,以及(2)当演示由高维,原始视觉数据组成时。我们证明,我们的方法执行传统的模仿学习方法(可以访问演示者的行动),并显着优于现有的模仿从观察方法在高维仿真环境。
2019-06-18 cs.AI cs.LG stat.ML
The MAGICAL Benchmark for Robust Imitation
University of California, Berkeley(加利福尼亚大学伯克利分校)
模仿学习(IL)算法通常在用于创建演示的相同环境中进行评估。这奖励在一个特定的环境中的演示的精确再现,但提供了一个算法可以概括演示者的意图,大大不同的部署设置如何稳健的信息很少。本文介绍了魔术基准套件,它允许系统的评估,通过量化的鲁棒性,不同种类的分布偏移,IL算法可能会遇到在实践中的推广。使用魔术套件,我们确认现有的IL算法过拟合显着提供示范的上下文中。我们还表明,减少过拟合的标准方法是有效的,在创建狭窄的感知不变性,但不足以使转移到需要显着不同的行为,这表明,将需要新的方法,以稳健地概括演示者的意图。MAGICAL套件的代码和数据可在https://github.com/qxcv/magical/上获得。
2020-11-01 cs.AI cs.LG
LMAct: A Benchmark for In-Context Imitation Learning with Long Multimodal Demonstrations
Google DeepMind(谷歌DeepMind)
提出LMAct基准,在长达百万token的上下文中压力测试前沿模型的多模态决策能力,评估8个模型在多个交互任务上从大量专家演示中学习的效果,并开源统一覆盖零样本、少样本和多样本场景的基准。
2025-05-23 cs.AI cs.LG
How to Leverage Diverse Demonstrations in Offline Imitation Learning
Tsinghua University(清华大学);Zhongguancun Laboratory(中关村实验室);University of Houston(休斯顿大学);University of California, Davis(加州大学戴维斯分校)
针对离线模仿学习中不完美示范的数据选择问题,提出基于结果状态识别积极行为的简单数据选择方法及轻量级行为克隆算法,在20/21个基准上显著优于现有方法。
2024-05-30 cs.AI cs.LG
What Matters for Adversarial Imitation Learning?
Univ. de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Google Research(谷歌研究院)
对抗性模仿学习已经成为一个流行的框架,模仿在连续控制。多年来,它的组件的几个变化被提出来提高学习策略的性能以及算法的样本复杂度。在实践中,这些选择很少在严格的实证研究中得到检验。因此,很难讨论和理解在高级算法选项以及低级实现细节中的哪些选择是重要的。为了解决这个问题,我们在一个通用的对抗性模仿学习框架中实现了其中的50多个选择,并在一项大规模研究(>500k训练有素的代理)中研究了它们的影响,包括合成和人工生成的演示。虽然我们的许多发现证实了常见的做法,但其中一些令人惊讶,甚至与先前的工作相矛盾。特别是,我们的研究结果表明,人工演示是不是一个很好的代理人的数据和非常常见的做法,评估模仿算法只与合成演示可能会导致算法表现不佳,在更现实的情况下,与人类示威。
2021-06-01 cs.AI cs.LG cs.NE
Reinforced Imitation Learning by Free Energy Principle
The University of Tokyo(东京大学)
强化学习(RL)需要大量的探索,尤其是在稀疏奖励环境中。模仿学习(Imitation Learning,IL)可以从专家的演示中学习而无需探索,但它永远不会超过专家的表现,而且也容易受到演示和执行之间的分布转移的影响。本文从自由能原理出发,从根本上统一了强化学习和交互学习。FEP是一种统一的大脑贝叶斯理论,它通过一个共同的基本原理来解释感知,行动和模型学习。我们提出了一个理论上的扩展FEP和推导出一个算法,在该算法中,代理学习的世界模型,内化专家演示,并在同一时间使用该模型来推断当前和未来的状态和行动,最大限度地提高回报。因此,该算法通过部分模仿专家以及以无缝的方式最大化其回报来降低探索成本,从而获得比次优专家更高的性能。我们的实验结果表明,这种方法是有前途的视觉控制任务,特别是在稀疏奖励环境。
2021-07-25 cs.AI cs.LG
Burn-In Demonstrations for Multi-Modal Imitation Learning
Stanford University(斯坦福大学)
最近关于模仿学习的工作已经产生了从多模态数据再现专家行为的策略。然而,过去的方法只专注于重新创建少量不同的专家策略,或者依赖于产生不稳定策略的监督学习技术。这项工作扩展了InfoGAIL,一种多模态模仿学习的算法,可以在很长一段时间内重现行为。我们的方法涉及到重新制定典型的模仿学习设置,包括“老化示范”的政策是在测试时的条件。我们证明,我们的方法优于标准InfoGAIL在最大限度地提高道路场景模拟中预测和看不见的样式标签之间的互信息,我们表明,我们的方法导致模仿专家自动驾驶系统在很长一段时间内的政策。
2017-10-13 cs.LG stat.ML
Learning from Imperfect Demonstrations from Agents with Varying Dynamics
Stanford University(斯坦福大学)
模仿学习使机器人能够从演示中学习。以前的模仿学习算法通常假设访问最优专家演示。然而,在许多现实世界的应用中,这种假设是有限的。大多数收集的演示不是最佳的,或者是由具有稍微不同动态的代理产生的。因此,我们解决的问题时,模仿学习的演示可以是次优的或从代理不同的动态。我们开发了一个由可行性分数和最优性分数组成的度量标准来衡量演示对模仿学习的有用程度。建议的分数可以从更多信息的演示中学习,而忽略不太相关的演示。我们在四个环境中的模拟和真实的机器人上的实验表明,改进的学习策略具有更高的预期回报。
2021-03-10 cs.LG cs.RO
Domain Adaptive Imitation Learning
Stanford University(斯坦福大学);Tsinghua University(清华大学)
我们研究的问题是如何模仿任务跨域的差异,如体现,观点和动态不匹配。许多以前的工作需要成对的,对齐的演示和一个额外的RL步骤,需要环境交互。然而,成对的,对齐的演示很少获得,RL程序是昂贵的。我们形式化的域自适应模仿学习(DAIL)问题,这是一个统一的框架,模仿学习的观点,实施例,和动态失配的存在。非正式地说,DAIL是学习如何最佳地执行任务的过程,在不同的领域中演示任务。我们提出了一个两步的方法DAIL:调整后的适应。在对齐步骤中,我们执行一种新的无监督MDP对齐算法,生成对抗MDP对齐(GAMA),从\emph{unpaired, unaligned}演示中学习状态和动作对应关系。在自适应步骤中,我们利用对应关系来跨域zero-shot模仿任务。为了描述DAIL通过对齐和自适应的可行性,我们引入了MDP可扩展性理论。我们的实验评估GAMA对基线的实施例,观点和动态不匹配的情况下,对齐的演示不存在,并显示我们的方法的有效性。
2020-07-18 cs.AI cs.LG stat.ML
Good Better Best: Self-Motivated Imitation Learning for noisy Demonstrations
Beijing Institute of Technology(北京理工大学);Beijing Institute of Electronic System Engineering(北京电子系统工程研究所);University of the Sunshine Coast(阳光海岸大学)
本文提出自我激励模仿学习方法SMILE,利用扩散模型预测当前策略与演示者的专业性差距,在无需额外信息下逐步过滤噪声演示,有效学习专家策略。
2023-10-24 cs.LG
Discriminator-Guided Model-Based Offline Imitation Learning
Tsinghua University(清华大学);JD Technology(京东科技);Beijing Jiaotong University(北京交通大学);Shanghai AI Laboratory(上海人工智能实验室)
离线模仿学习(IL)是一种解决决策问题的强有力的方法,从专家示范没有奖励标签。现有的离线IL方法在有限的专家数据下遭受严重的性能退化。包括学习的动态模型可以潜在地改善专家数据的状态-动作空间覆盖,然而,它也面临着具有挑战性的问题,如模型近似/泛化误差和推出数据的次优性。在本文中,我们提出了鉴别器引导的基于模型的离线模仿学习(DMIL)框架,该框架引入了一个鉴别器,以同时区分模型推出数据的动态正确性和次优性与真实的专家演示。DMIL采用了一种新颖的合作对抗学习策略,利用策略学习器引导和耦合策略和动力学模型的学习过程,从而提高了模型的性能和鲁棒性。我们的框架也可以扩展到的情况下,当演示包含很大比例的次优数据。实验结果表明,DMIL及其扩展实现了优越的性能和鲁棒性相比,国家的最先进的离线IL方法在小数据集。
2023-01-10 cs.AI cs.LG
MisoDICE: Multi-Agent Imitation from Unlabeled Mixed-Quality Demonstrations
Singapore Management University(新加坡国立管理大学);University of Oregon(俄勒冈大学)
MisoDICE提出两阶段方法,结合大语言模型标注轨迹与新型多智能体DICE算法,从混合质量示范中学习稳健策略,在标准基准上表现优越。
2025-05-24 cs.AI cs.LG cs.MA
Causal Imitation Learning with Unobserved Confounders
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
孩子们学习的一种常见方式是模仿成年人。模仿学习的重点是学习政策与适当的性能从示范产生的专家,一个未指定的性能指标,和未观察到的奖励信号。流行的模仿学习方法要么直接模仿专家的行为策略(行为克隆),要么学习一个奖励函数,优先考虑观察到的专家轨迹(逆强化学习)。然而,这些方法依赖于这样的假设,即专家用来确定其行为的协变量被完全观察到。在本文中,我们放松了这一假设,并研究了当学习者和专家的感官输入不同时的模仿学习。首先,我们提供了一个非参数的,图形化的标准,是完整的(既必要又充分),以确定模仿的可行性,从示范数据和定性假设的基础环境的组合,表示在因果模型的形式。然后,我们表明,当这样的标准不成立,模仿仍然是可行的,利用定量知识的专家轨迹。最后,我们开发了一个有效的程序学习模仿政策,从专家的轨迹。
2022-08-12 cs.AI cs.LG
SD2AIL: Adversarial Imitation Learning from Synthetic Demonstrations via Diffusion Models
本文提出SD2AIL,利用扩散模型生成合成演示作为伪专家数据,结合优先级专家演示回放策略提升性能,实验显示在Hopper任务中优于现有方法。
2026-04-29 cs.LG cs.RO
Augmented Reality Demonstrations for Scalable Robot Imitation Learning
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于增强现实的辅助框架,使非专家用户能用HoloLens 2为机器人模仿学习提供演示,实现可扩展的演示收集,并在到达、推、拾取与放置三项任务上验证了真实机器人重播演示的成功执行。
2024-03-20 cs.GR cs.LG cs.RO
Hierarchical Imitation Learning of Team Behavior from Heterogeneous Demonstrations
Rice University(莱斯大学)
本文提出层次化模仿学习算法DTIL,从异构示范中学习多模态团队行为,通过层次化策略和分布匹配方法,有效处理复杂序列任务,优于现有MAIL基线。
2025-02-24 cs.AI cs.LG cs.MA
Robust Imitation of Diverse Behaviors
DeepMind
深度生成模型最近在运动控制的模仿学习中显示出巨大的前景。如果有足够的数据,即使是有监督的方法也可以进行一次性的模仿学习;然而,当代理轨迹偏离演示时,它们很容易发生级联故障。与纯监督方法相比,生成对抗模仿学习(GAIL)可以从更少的演示中学习更鲁棒的控制器,但本质上是模式搜索,更难以训练。在本文中,我们将展示如何结合这两种方法的有利方面。我们的模型的基础是一种新型的变分自编码器的演示轨迹,学习语义策略嵌入。我们表明,这些嵌入可以在9自由度的雅科机器人手臂上学习,达到任务,然后平滑插值与由此产生的平滑插值达到的行为。利用这些策略表示,我们开发了一个新版本的GAIL,(1)比纯监督控制器更强大,特别是很少的演示,(2)避免了模式坍塌,捕获许多不同的行为时,GAIL本身没有。我们展示了我们的方法,学习不同的步态从演示的2D机器人和62自由度的3D人形在MuJoCo物理环境。
2017-07-14 cs.LG
How to Leverage Demonstration Data in Alignment for Large Language Model? A Self-Imitation Learning Perspective
Artificial Intelligence Research Laboratory, Pennsylvania State University(宾夕法尼亚州立大学人工智能研究实验室);Tencent AI Lab(腾讯AI实验室);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
本文提出广义自模仿学习(GSIL)框架,通过密度比估计的替代目标利用离线示范数据对齐大语言模型,消除对抗训练实现高效微调,在代码、数学推理和指令遵循等基准上显著优于基线。
2024-10-14 cs.CL cs.LG
Coarse-to-Fine Imitation Learning: Robot Manipulation from a Single Demonstration
Imperial College London(帝国理工学院)
我们介绍了一种简单的新方法,视觉模仿学习,它允许一个新的机器人操作任务,从一个单一的人类示范学习,而不需要任何先验知识的对象进行交互。我们的方法将模仿学习建模为状态估计问题,状态定义为对象交互开始时末端执行器的姿势,如从演示中观察到的。然后通过将操纵任务建模为粗略的接近轨迹,然后是精细的交互轨迹,可以通过自动地围绕对象移动末端执行器的相机来以自我监督的方式训练该状态估计器。在测试时,末端执行器通过线性路径移动到估计状态,在该点处简单地重放原始演示的末端执行器速度。这使得能够方便地获取复杂的交互轨迹,而实际上不需要显式地学习策略。在8个日常任务上的真实实验表明,我们的方法可以从单个人类演示中学习各种技能,同时还可以生成稳定且可解释的控制器。
2021-06-10 cs.LG cs.RO
Third-Person Imitation Learning
OpenAI;UC Berkeley(加州大学伯克利分校)
强化学习(RL)使得训练能够在复杂和不确定的环境中实现复杂目标的智能体成为可能。强化学习中的一个关键难点是为智能体指定一个要优化的奖励函数。传统上,RL中的模仿学习被用来克服这个问题。不幸的是,迄今为止的模仿学习方法倾向于要求以第一人称提供演示:代理人被提供了一系列状态和它应该采取的行动的规范。虽然功能强大,但这种模仿学习受到收集第一人称演示的相对困难问题的限制。人类通过从第三人称演示中学习来解决这个问题:他们观察其他人执行任务,推断任务,并自己完成相同的任务。本文提出了一种无监督的第三人称模仿学习方法。这里的第三人称指的是训练一个智能体在一个简单的环境中正确地实现一个简单的目标,当它被提供了一个教师实现相同的目标,但从不同的观点的演示;和无监督指的是这样一个事实,即智能体只接收这些第三人称演示,而不是提供教师状态和学生状态之间的对应关系。我们的方法的主要观点是,可以利用领域混淆的最新进展来产生领域不可知特征,这在训练过程中至关重要。为了验证我们的方法,我们报告成功的实验学习从第三人称演示在pointmass域,reacher域,倒立摆。
2019-09-22 cs.LG
Demonstration-Efficient Guided Policy Search via Imitation of Robust Tube MPC
MIT Department of Aeronautics and Astronautics(麻省理工学院航空航天系)
我们提出了一种演示有效的策略,将计算昂贵的模型预测控制器(MPC)压缩为基于深度神经网络和模仿学习(IL)的计算效率更高的表示。通过生成MPC的鲁棒管变体(RTMPC)并利用管的属性,我们引入了一种数据增强方法,该方法能够实现高演示效率,能够补偿IL中通常遇到的分布偏移。我们的方法打开了zero-shot转移的可能性,从一个单一的示范收集在一个名义域,如模拟或机器人在实验室/受控环境中,域有界模型误差/扰动。对四旋翼的轨迹跟踪MPC进行的数值和实验评估表明,我们的方法在演示效率和对训练过程中看不到的扰动的鲁棒性方面优于IL中常用的策略,如Dagger和Domain Randomization。
2021-09-23 cs.LG cs.RO
VILD: Variational Imitation Learning with Diverse-quality Demonstrations
RIKEN AIP(理化学研究所先进智能项目中心);The University of Tokyo(东京大学)
模仿学习(IL)的目标是从高质量的示范中学习一个好的政策。然而,在现实中,演示的质量可能是多种多样的,因为从专家和业余爱好者的混合中收集演示更容易和更便宜。在这种情况下,IL可能是具有挑战性的,特别是当示威者的专业知识水平是未知的。我们提出了一种新的IL方法称为\underline{v}变异\underline{i} mitation \underline{l} earning with \underline{d} iverse-quality demonstrations(VILD),在这里我们明确地建模与概率图形模型和估计它与奖励函数的演示者的专业知识水平。我们表明,一个天真的估计方法是不适合大的状态和动作空间,并修复其问题,使用变分方法,可以很容易地实现使用现有的强化学习方法。连续控制基准测试的实验表明,VILD优于国家的最先进的方法。我们的工作使可扩展的和数据高效的IL比以前更现实的设置下。
2019-09-15 cs.LG stat.ML
Imitator Learning: Achieve Out-of-the-Box Imitation Ability in Variable Environments
Nanjing University(南京大学);National University of Defense Technology(国防科技大学);Nanjing University of Science and Technology(南京理工大学)
针对可变环境下少量演示即可完成多任务模仿的需求,提出模仿者学习新课题与DAAC算法,结合强化学习正则化与演示注意力架构,仅用单条演示即可生成适配未见任务与环境变化的策略,性能显著优于现有方法。
2023-10-09 cs.LG
DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
Deakin Applied Artificial Intelligence Initiative(迪肯应用人工智能倡议)
本文提出DISEIL,通过有意选择失败模式和演示起点,用视觉-语言模型生成演示请求,在模拟任务中显著提升样本效率,实现高成功率。
2026-09-09 cs.AI cs.LG cs.RO
MILES: Making Imitation Learning Easy with Self-Supervision
Imperial College London(帝国理工学院)
提出自监督自主数据收集范式 MILES,仅用单个演示和单次环境重置即可学习机器人策略,并在富接触真实任务中显著优于结合强化学习的模仿学习方法。
2024-10-25 cs.AI cs.LG cs.RO