Multi-agent imitation learning with function approximation: Linear Markov games and beyond
EPFL(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
本文首次理论分析线性马尔可夫博弈中的多智能体模仿学习,利用特征级集中性系数替代状态-动作级系数,并提出首个计算高效的交互式MAIL算法,样本复杂度仅依赖特征维度d。
2026-06-24 cs.LG
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University(新加坡管理大学);University of Oregon(俄勒冈大学)
最近对深度强化学习(RL)漏洞的研究表明,对手代理采用的对抗策略可以影响目标RL代理(受害者代理)在多代理环境中表现不佳。在现有的研究中,对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点:从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域,这使得经过训练的对抗性政策的有效性大大降低。在这项工作中,我们设计了一个新的有效的对抗策略学习算法,克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略,而对抗策略不仅基于与受害者代理的交互,而且还基于模仿者的反馈来预测受害者的意图。通过这样做,我们可以利用模仿学习的能力,仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型,因为环境的动态由对手的策略驱动,并且在对抗策略训练过程中会不断变化。当对手的策略稳定时,我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本,进一步加强了我们的对抗性策略学习。最后,我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明,我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
Simulating Emergent Properties of Human Driving Behavior Using Multi-Agent Reward Augmented Imitation Learning
Stanford University(斯坦福大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
多智能体模仿学习的最新发展已经显示出对人类驾驶员行为建模的有希望的结果。然而,它是具有挑战性的捕捉紧急交通行为,在现实世界中观察到的数据集。这种行为的出现是由于代理之间的许多局部交互作用,而这些交互作用通常在模仿学习中不被考虑。本文提出了奖励增强模仿学习(RAIL),它集成了奖励增强到多智能体模仿学习框架,并允许设计者指定先验知识的原则性的方式。我们证明了收敛保证的模仿学习过程中保留的应用程序的奖励增强。该方法在驾驶场景中进行了验证,其中整个交通场景由使用我们提出的算法学习的驾驶策略控制。此外,我们证明了改进的性能相比,传统的模仿学习算法在一个单一的代理的本地行动和复杂的,多代理设置的紧急属性的行为。
2019-03-14 cs.AI cs.LG cs.MA
Interactive Imitation Learning in State-Space
Delft University of Technology(代尔夫特理工大学)
模仿学习技术通过演示而不是手动工程来编程代理的行为。然而,它们受到现有示范数据质量的限制。交互式模仿学习技术可以提高学习的效率,因为它们涉及教师提供反馈,而代理执行其任务。在这项工作中,我们提出了一种新的交互式学习技术,在状态空间中使用人的反馈训练和提高代理的行为(而不是替代方法,使用反馈的动作空间)。我们的方法名为教学模仿政策的状态空间~(TIPS),使提供指导的代理方面的“改变其状态”,这往往是更直观的人类示威者。通过纠正反馈的持续改进,使用TIPS的非专家演示者训练的代理优于演示者和传统的模仿学习代理。
2020-11-17 cs.LG cs.RO
Multi-Agent Generative Adversarial Imitation Learning
Stanford University(斯坦福大学)
模仿学习算法可用于从专家演示中学习策略,而无需访问奖励信号。然而,大多数现有的方法是不适用于多智能体设置由于存在多个(纳什)均衡和非平稳环境。我们提出了一个新的框架,多智能体模仿学习一般马尔可夫游戏,在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
Learning Equilibria from Data: Provably Efficient Multi-Agent Imitation Learning
University of Zurich(苏黎世大学);EPFL(苏黎世联邦理工学院);Earth Species Project(地球物种项目)
本文首次刻画了马尔可夫博弈中从专家数据学习纳什均衡的样本复杂度,提出单策略偏差集中性系数并开发了MAIL-BRO和MURMAIL两种算法,分别以不同查询复杂度实现ε-纳什均衡学习,并通过数值实验验证了理论结果。
2025-10-09 cs.LG
Multi-Agent Imitation Learning: Value is Easy, Regret is Hard
Carnegie Mellon University(卡内基梅隆大学)
研究多智能体模仿学习中的遗憾差距,证明价值等价不足以保证策略鲁棒性,并提出两种高效最小化遗憾差距的算法。
2024-06-26 cs.LG
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题,提出结合生成式单智能体策略学习与博弈论结构的框架,通过两步学习提升性能,仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Diffusion Imitation from Observation
National Taiwan University(台湾大学)
针对现有基于观测的对抗模仿学习方法超参数敏感、训练不稳定的问题,提出将扩散模型整合进该框架的DIFO方法,以扩散模型作为二分类器提供奖励,在多类连续控制任务中取得更优性能。
2024-10-07 cs.LG
Interpretable Imitation Learning with Dynamic Causal Relations
The Pennsylvania State University(宾夕法尼亚州立大学);NEC Laboratories America(NEC美国实验室);East China Normal University(华东师范大学)
针对模仿学习智能体黑箱难解释、决策因果机制动态变化的问题,提出基于格兰杰因果的可自解释模仿学习框架,以状态依赖的动态因果图揭示决策逻辑,在多数据集上兼顾可解释性与预测准确率。
2024-01-30 cs.LG
Efficient Active Imitation Learning with Random Network Distillation
Centrale Supelec(中央高等电力学院);Ubisoft La Forge(育碧 La Forge(育碧旗下研发机构));H Company(H公司)
针对无明确目标的复杂任务中模仿学习在分布外场景失效、依赖人类演示扩展数据集成本高的问题,提出RND-DAgger方法,利用随机网络蒸馏的分布外度量触发必要专家干预,在多任务中减少专家查询并超越传统方法。
2025-04-14 cs.LG
Efficiently Guiding Imitation Learning Agents with Human Gaze
University of Texas at Austin(德克萨斯大学奥斯汀分校);Tufts University(塔夫茨大学)
人类的凝视被认为是人类任务演示中的意图揭示信号。在这项工作中,我们使用来自人类示范者的凝视线索来增强通过三种流行的模仿学习方法训练的代理的性能-行为克隆(BC),行为克隆观察(BCO)和轨迹排名奖励外推(T-REX)。基于强化学习代理的注意力和人类凝视之间的相似性,我们提出了一种新的方法,用于以计算高效的方式利用凝视数据,作为辅助损失函数的一部分,该函数引导网络在人类凝视的图像区域中具有更高的激活。这项工作是朝着用辅助凝视数据增强任何现有卷积模仿学习代理的训练迈出的一步。我们的辅助基于覆盖的凝视损失(CGL)引导学习更好的奖励函数或策略,而无需添加任何额外的可学习参数,也无需在测试时获得凝视数据。我们发现,我们提出的方法提高了95%的性能BC,343%的BCO,和390%的T-REX,平均超过20个不同的雅达利游戏。我们还发现,与现有的最先进的模仿学习方法辅助人类凝视(AGIL)相比,我们的方法实现了更好的性能,并且在学习方面更有效,演示更少。我们进一步解释训练CGL代理显着图可视化方法来解释他们的表现。最后,我们证明了CGL可以帮助缓解模仿学习中一个著名的因果混淆问题。
2021-04-21 cs.AI cs.LG
Accelerating Reinforcement Learning through Implicit Imitation
University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学)
模仿可以被看作是在多智能体环境中增强学习的一种手段。它通过智能地利用合作教师或其他更有经验的代理所展示的行为中隐含的知识来增强代理学习有用行为的能力。我们提出并研究了一种形式化的内隐模仿模型,该模型在某些情况下可以显著加速强化学习。粗略地说,通过观察导师,一个自主学习的智能体可以提取关于它自己在状态空间中未访问部分的能力和相对价值的信息。我们研究了这个模型的两个具体实例,其中一个学习代理和导师具有相同的能力,一个旨在处理代理和导师不同的行动集。我们说明了隐式模仿的好处,通过将其与优先扫描相结合,并通过观察单个和多个导师来展示改进的性能和收敛性。虽然我们对可观测性和可能的相互作用做了一些严格的假设,但我们简要地评论了放松这些限制的模型的扩展。
2011-06-03 cs.AI cs.LG
Going Beyond Expert Performance via Deep Implicit Imitation Reinforcement Learning
Department of Physics, J.K. Institute of Science(J.K.科学研究院物理系);World Scientific University(世界科学大学);University of Intelligent Studies(智能研究大学);Technical University of Crete(克里特技术大学)
本文提出深度隐式模仿强化学习框架DIIQN及异构动作扩展HA-DIIQN,通过动作推断与动态置信机制利用仅观测的次优专家数据,实现超越专家表现并处理动作集不一致场景。
2025-11-05 cs.LG
Mimicking To Dominate: Imitation Learning Strategies for Success in Multiagent Competitive Games
Singapore Management University(新加坡管理大学);University of Oregon(俄勒冈大学)
本文提出融合对手动作预测模仿模型与策略训练的多智能体强化学习算法,以应对竞争游戏中的动态不确定性,并在 SMACv2 等三类环境中验证其优于现有方法。
2023-08-20 cs.LG cs.MA
Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games
研究针对流式视频游戏中模仿学习面临的挑战,提出流式增强方法,基于预测逆动力学模型,在现代3D游戏三个任务中评估其效果,结果显示该增强方法能有效提升代理性能,是训练鲁棒高效游戏代理的有力工具。
2026-07-17 cs.LG
Imitation Learning for Multi-turn LM Agents via On-policy Expert Corrections
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);Scale AI
本文提出通过在线专家纠正解决多轮LM代理模仿学习中的协变量偏移问题,实验显示在软件工程任务中效果优于传统方法。
2025-12-16 cs.AI cs.LG
Online Adaptation for Enhancing Imitation Learning Policies
School of Computing University of Eastern Finland Joensuu, Finland
本文提出在线自适应方法,将预训练模仿学习策略的动作提议与专家经验相结合,以在基础策略失败时恢复并提升智能体性能。
2024-06-07 cs.AI cs.LG
Co-Imitation Learning without Expert Demonstration
针对专家示范难以获取的问题,本文提出 CoIL 框架,让两个智能体交替探索并依据价值函数预期增益筛选同伴经验进行选择性模仿,实验表明其无需外部监督即可显著提升性能。
2023-07-23 cs.AI cs.LG
Imitation Learning Datasets: A Toolkit For Creating Datasets, Training Agents and Benchmarking
University of Sussex(萨塞克斯大学)
本文提出 Imitation Learning Datasets 工具包,通过多线程专家策略、现成数据集与技术及共享实现,解决模仿学习数据创建繁琐和评估不一致的问题。
2024-03-01 cs.AI cs.LG
Learning from Imperfect Demonstrations from Agents with Varying Dynamics
Stanford University(斯坦福大学)
模仿学习使机器人能够从演示中学习。以前的模仿学习算法通常假设访问最优专家演示。然而,在许多现实世界的应用中,这种假设是有限的。大多数收集的演示不是最佳的,或者是由具有稍微不同动态的代理产生的。因此,我们解决的问题时,模仿学习的演示可以是次优的或从代理不同的动态。我们开发了一个由可行性分数和最优性分数组成的度量标准来衡量演示对模仿学习的有用程度。建议的分数可以从更多信息的演示中学习,而忽略不太相关的演示。我们在四个环境中的模拟和真实的机器人上的实验表明,改进的学习策略具有更高的预期回报。
2021-03-10 cs.LG cs.RO
Decentralized Multi-Agents by Imitation of a Centralized Controller
UCLA(加州大学洛杉矶分校);Max Planck Institute, Leipzig(莱比锡马克斯·普朗克研究所);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种基于集中训练、去中心执行框架的新型算法,通过模仿学习生成去中心化多智能体,解决了多智能体强化学习中非平稳和部分可观测环境下的协作问题。
2021-04-22 cs.AI cs.LG cs.MA
Cross-Domain Imitation Learning via Optimal Transport
Berkeley AI Research(伯克利人工智能研究)
GWIL通过Gromov-Wasserstein距离实现跨领域模仿学习,有效对齐不同空间的状态,适用于连续控制领域。
2026-01-13 cs.AI cs.LG cs.RO
MisoDICE: Multi-Agent Imitation from Unlabeled Mixed-Quality Demonstrations
Singapore Management University(新加坡国立管理大学);University of Oregon(俄勒冈大学)
MisoDICE提出两阶段方法,结合大语言模型标注轨迹与新型多智能体DICE算法,从混合质量示范中学习稳健策略,在标准基准上表现优越。
2025-05-24 cs.AI cs.LG cs.MA
Domain-Robust Visual Imitation Learning with Mutual Information Constraints
Centre for Robotics Research(机器人研究中心);Department of Engineering, King’s College London(伦敦国王学院工程系)
人类能够通过简单地观察他人执行任务来理解目标和学习。模仿学习方法的目的是复制这样的能力,然而,它们通常依赖于访问代理的执行器和从代理的角度采取的一整套最佳状态和动作。在本文中,我们介绍了一种新的算法-称为解开生成对抗模仿学习(DisentanGAIL)-目的是绕过这些限制。我们的算法使自主智能体直接从执行任务的专家的高维观察中学习,通过利用对抗学习与潜在的代表性内的神经网络。通过互信息约束来正则化这种潜在表示,以激励仅学习对关于所演示的任务的完成水平的信息进行编码的特征。这允许获得一个共享的特征空间,以成功地执行模仿,同时忽略专家和代理的域之间的差异。从经验上讲,我们的算法是能够有效地模仿各种控制问题,包括平衡,操纵和机车任务,同时是强大的各种领域的差异,在环境外观和代理的实施例。
2021-03-08 cs.AI cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts(美国艺电)
针对强化学习难以建模多样人类游戏风格的问题,提出MultiGAIL,通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略,并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
Conditional Imitation Learning for Multi-Agent Games
Stanford University(斯坦福大学)
虽然多智能体学习的进步已经使得越来越复杂的代理的培训成为可能,但大多数现有技术产生的最终政策并不是为了适应新合作伙伴的策略而设计的。然而,我们希望我们的人工智能智能体能够根据周围人的策略来调整自己的策略。在这项工作中,我们研究的问题,有条件的多智能体模仿学习,我们有机会在训练时的联合轨迹演示,我们必须在测试时与新的合作伙伴进行互动和适应。这种设置是具有挑战性的,因为我们必须推断新合作伙伴的策略,并根据该策略调整我们的策略,所有这些都不需要了解环境奖励或动态。我们正式这个问题的条件多智能体模仿学习,并提出了一种新的方法来解决的困难,可扩展性和数据稀缺。我们的关键见解是,在多智能体游戏的合作伙伴之间的变化往往是高度结构化的,可以通过一个低秩子空间表示。利用张量分解的工具,我们的模型在自我和合作伙伴代理策略上学习一个低秩子空间,然后通过在子空间中插值来推断和适应新的合作伙伴策略。我们实验了各种协作任务,包括强盗、粒子和Hanabi环境。此外,我们测试我们的条件政策对真正的人类合作伙伴在用户研究的过度烹饪游戏。与基线相比,我们的模型更好地适应新的合作伙伴,并鲁棒地处理各种设置,从离散/连续动作到人工智能/人类合作伙伴的静态/在线评估。
2022-01-05 cs.LG cs.MA
Imitator Learning: Achieve Out-of-the-Box Imitation Ability in Variable Environments
Nanjing University(南京大学);National University of Defense Technology(国防科技大学);Nanjing University of Science and Technology(南京理工大学)
针对可变环境下少量演示即可完成多任务模仿的需求,提出模仿者学习新课题与DAAC算法,结合强化学习正则化与演示注意力架构,仅用单条演示即可生成适配未见任务与环境变化的策略,性能显著优于现有方法。
2023-10-09 cs.LG
DecompGAIL: Learning Realistic Traffic Behaviors with Decomposed Multi-Agent Generative Adversarial Imitation Learning
Nanyang Technological University(南洋理工大学);Desay SV Automotive(德赛西威汽车)
DecompGAIL通过分解多智能体生成对抗模仿学习方法,解决多智能体设置中GAIL的不稳定性问题,提升交通行为的真实性和整体性能。
2026-01-26 cs.AI cs.LG cs.RO
Hindsight Generative Adversarial Imitation Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
与强化学习相比,模仿学习(IL)是训练智能体从专家演示中有效学习控制策略的强大范例。然而,在大多数情况下,获取演示数据既昂贵又费力,这在某些情况下构成了重大挑战。一个有前途的替代方案是通过模仿学习来训练Agent学习技能,而无需专家演示,这在一定程度上将极大地扩展模仿学习领域。为了实现这一目标,本文提出了后见之明生成对抗模仿学习(HGAIL)算法,旨在实现无需演示的模仿学习。将后见之明的思想与生成对抗模仿学习(GAIL)框架相结合,实现了在缺乏专家论证数据的情况下成功实现模仿学习。实验表明,该方法可以训练的政策表现出相当的性能,目前的模仿学习方法。HGAIL从本质上赋予了课程学习机制,而这一机制对学习政策的制定至关重要。
2019-03-19 cs.LG stat.ML
MimicBot: Combining Imitation and Reinforcement Learning to win in Bot Bowl
Philips Research(飞利浦研究院);Eindhoven University of Technology(埃因霍温理工大学)
本文描述了一种混合智能体,它被训练成参加Bot Bowl III比赛的Fantasy Football AI。代理MimicBot使用专门设计的深度策略网络实现,并使用模仿和强化学习相结合的方法进行训练。在这种背景下使用强化学习方法的先前尝试由于许多原因而失败,例如,由于环境中的固有随机性以及大量且不均匀数量的可用动作,其中课程学习方法未能始终如一地击败随机支付的代理。目前,没有任何机器学习方法可以击败使用游戏领域知识的脚本机器人。我们的解决方案,由于模仿学习和混合决策过程,始终击败这样的脚本代理。此外,我们揭示了如何在强化学习设置中更有效地训练,同时大幅提高样本效率。MimicBot是Bot Bowl III比赛的获胜者,它是目前最先进的解决方案。
2021-08-21 cs.AI cs.LG
Primal Wasserstein Imitation Learning
Google Research, Brain Team(谷歌研究院大脑团队);Univ. de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);UMR 9189 CRIStAL
模仿学习(IL)方法试图将智能体的行为与专家的行为相匹配。在目前的工作中,我们提出了一种新的IL方法的基础上,一个概念上简单的算法:原始Wasserstein模仿学习(PWIL),它的关系到原始形式的Wasserstein距离之间的专家和代理状态动作分布。我们提出了一个离线导出的奖励函数,而不是最近的对抗IL算法,通过与环境的交互来学习奖励函数,并且几乎不需要微调。我们表明,我们可以恢复专家的行为在各种连续的控制任务的MuJoCo域在一个样本有效的方式在代理交互和专家与环境的交互。最后,我们表明,代理人的行为,我们训练匹配的行为与专家的Wasserstein距离,而不是常用的代理性能。
2021-03-17 cs.LG stat.ML
On Combining Expert Demonstrations in Imitation Learning via Optimal Transport
University College London(伦敦大学学院)
针对模仿学习中多专家演示组合的标准拼接法在多模态轨迹下的缺陷,提出基于多边缘最优传输距离的组合方法,可实现演示的合理几何平均,实验验证其效率优于标准方法。
2023-07-20 cs.AI cs.LG
Imitation Learning of Factored Multi-agent Reactive Models
我们将深度生成建模的最新进展应用于生物制剂的模仿学习任务。具体来说,我们将变分递归神经网络模型的变体应用于多代理设置,在该设置中,我们根据个体不协调代理的感知输入和隐藏的信念状态来学习个体不协调代理的策略。我们直接从观测数据中学习这些代理的随机策略,而不构建奖励函数。与策略联合学习的推理网络允许在给定其当前感知输入序列和其执行的先前动作的情况下对代理的信念状态进行有效推理,这使我们能够将观察到的行为序列外推到未来,同时保持对未来轨迹的不确定性估计。我们在2D环境中相互作用的苍蝇数据集上测试了我们的方法,在那里我们展示了比现有方法更好的预测性能,这些方法使用递归神经网络学习确定性策略。我们进一步表明,我们获得的未来轨迹的不确定性估计是很好的校准,这使得他们有用的各种下游处理任务。
2020-06-30 cs.AI cs.LG cs.MA
Tracking the Race Between Deep Reinforcement Learning and Imitation Learning -- Extended Version
Saarland University(萨尔兰大学)
近年来,基于学习的方法来解决大型序列决策问题已成为流行。由此产生的代理执行不同,他们的特点取决于那些底层的学习方法。在这里,我们考虑一个基准规划问题,从强化学习域,赛道,调查来自不同的深度(强化)学习方法的代理的属性。我们比较了深度监督学习的性能,特别是模仿学习,以及赛道模型的强化学习。我们发现,模仿学习产生的代理人遵循更危险的路径。相比之下,深度强化学习的决策更具预见性,即,避免出现更有可能做出致命决定的状态。我们的评估表明,对于这个顺序决策问题,深度强化学习在许多方面表现最好,即使对于模仿学习考虑最优决策。
2020-08-03 cs.AI cs.LG
Reinforced Imitation in Heterogeneous Action Space
Jagiellonian University(雅盖隆大学);Element AI;Université de Montréal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Rutgers University(罗格斯大学)
模仿学习是一种有效的替代方法来学习策略时,奖励函数是稀疏的。在本文中,我们考虑了一个具有挑战性的设置,代理和专家使用不同的动作。我们假设代理可以访问稀疏奖励函数和仅限状态的专家观察。我们提出了一种在模仿学习代价和强化学习目标之间逐渐平衡的方法。此外,该方法根据模仿专家行为或最大化稀疏奖励来调整代理的策略。我们表明,通过导航的情况下,(i)代理是能够有效地利用稀疏奖励优于标准的状态只有模仿学习,(ii)它可以学习的政策,即使它的行动是不同的专家,和(iii)代理的性能不受限制的专家,由于稀疏奖励的优化使用。
2019-08-26 cs.AI cs.LG stat.ML
SAFARI: Safe and Active Robot Imitation Learning with Imagination
Imperial College London(帝国理工学院)
模仿学习的主要问题之一是智能体在面对分布外的情况时的错误行为,而专家给出的演示集没有涵盖。在这项工作中,我们解决这个问题,通过引入一种新的主动学习和控制算法,SAFARI。在训练过程中,它允许代理在满足这些分布外的情况时请求进一步的人类演示。在部署时,它将使用行为克隆的无模型行为与基于模型的规划相结合,以减少状态分布偏移,使用未来状态重建作为状态熟悉度的测试。我们经验证明,这种方法如何增加一组被动的模仿学习的操作任务的性能,通过收集更多的信息演示和最小化状态分布偏移在测试时。我们还展示了这种方法如何使代理能够快速,安全地自主预测故障。
2020-11-18 cs.LG cs.RO
Learning Speed-Adaptive Walking Agent Using Imitation Learning with Physics-Informed Simulation
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学)
提出融合物理信息仿真与对抗模仿学习的框架,训练可适应不同步速且运动生物力学真实的骨骼人形行走智能体,误差达5.24±0.09度。
2024-12-05 cs.LG cs.RO
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法,利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试,该方法能提升适应性、减少对齐错误,在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning
Singapore Management University(新加坡管理大学);University of Oregon(俄勒冈大学)
本文提出一种基于逆因子化Q学习的多智能体模仿学习算法,通过混合网络聚合去中心化Q函数实现集中式学习,并在SMACv2等环境中验证了其有效性。
2023-10-10 cs.LG cs.MA
Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance
Ocean University of China(中国海洋大学)
针对多AUV控制奖励难设计且MAGAIL依赖最优示范、难以超越专家的问题,本文提出MAGAISIL,通过人类筛选的自生成优质轨迹逐步替换次优示范,实现编队控制与避障性能提升。
2024-01-21 cs.LG cs.RO
Generative Adversarial Neuroevolution for Control Behaviour Imitation
Montreal University Geriatric Institute(蒙特利尔大学老年医学研究所)
提出协同进化对抗生成框架,利用深度神经进化在8项OpenAI Gym控制任务上模仿预训练智能体,精英演员达到相近分数并贴合其轨迹。
2023-04-03 cs.LG cs.NE
Learning Representations in Video Game Agents with Supervised Contrastive Imitation Learning
Sony Interactive Entertainment Europe(索尼互动娱乐欧洲)
本文将监督对比学习应用于模仿学习,提出结合连续输出空间的方法以学习更有效的状态表示,在多款游戏中提升了表示质量、收敛速度和泛化能力。
2025-09-15 cs.AI cs.LG
Unlabeled Imperfect Demonstrations in Adversarial Imitation Learning
Wuhan University(武汉大学);The University of Sydney(悉尼大学)
对抗性模仿学习已经成为一种广泛使用的模仿学习框架。该模型通常通过分别从两个类别(积极与消极)中选取专家演示和政策轨迹作为示例来训练,然后期望该政策产生与专家演示无法区分的轨迹。但在现实世界中,收集的专家演示更有可能是不完美的,只有一个未知的部分演示是最佳的。而不是把不完美的专家示范作为绝对积极或消极的,我们调查未标记的不完美的专家示范,因为他们是。提出了一种正向无标记对抗性模仿学习算法,用于动态地抽取专家演示样本,使其与不断优化的智能体策略的轨迹相匹配.初始代理策略的轨迹可能更接近那些非最优的专家演示,但在对抗模仿学习的框架内,代理策略将被优化以欺骗模仿者并产生与那些最优专家演示相似的轨迹。理论分析表明,我们的方法学习不完美的示威通过一个自定进度的方式。在MuJoCo和RoboSuite平台上的实验结果从不同方面验证了该方法的有效性。
2023-02-13 cs.AI cs.LG
Imitation Learning: Progress, Taxonomies and Challenges
University of Technology Sydney(悉尼科技大学)
模仿学习旨在从人类专家的演示或人工创建的代理中提取知识,以便复制他们的行为。它的成功已经在视频游戏、自动驾驶、机器人模拟和物体操纵等领域得到了证明。然而,这种复制过程可能是有问题的,例如性能高度依赖于演示质量,并且大多数训练有素的代理仅限于在特定任务环境中表现良好。本文对模仿学习进行了系统的综述。首先介绍了背景知识学习的发展历史和分类,然后介绍了模仿学习的不同分类和该领域的关键里程碑。然后,我们详细介绍了学习策略的挑战,并从次优演示,语音指令和其他相关的优化方案的学习策略,目前的研究机会。
2022-10-21 cs.LG cs.RO
Semi-Supervised Imitation Learning of Team Policies from Suboptimal Demonstrations
Rice University(莱斯大学)
我们提出了贝叶斯团队模仿学习器(BTIL),一个模仿学习算法来模拟在马尔可夫域中执行顺序任务的团队行为。与现有的多智能体模仿学习技术相比,BTIL明确建模和推断团队成员随时间变化的心理状态,从而使分散的团队政策的学习从次优团队合作的示范。此外,为了允许从小数据集进行样本和标签有效的策略学习,BTIL采用贝叶斯观点,并且能够从半监督演示中学习。我们展示和基准的合成多智能体任务的性能,以及一个新的数据集的人类代理团队合作的BTIL。我们的实验表明,尽管团队成员的心理状态(随时间变化和潜在的不一致)对他们的行为的影响,BTIL可以成功地学习团队政策的演示。
2022-09-20 cs.AI cs.LG cs.MA
Scaling Laws for Imitation Learning in Single-Agent Games
Princeton University(普林斯顿大学);Amazon(亚马逊公司);University of Pennsylvania(宾夕法尼亚大学);Harvard University(哈佛大学)
研究单智能体博弈中模仿学习的缩放效应,发现IL损失和平均回报随计算预算呈幂律关系,扩大规模训练的NetHack智能体超越先前最优1.5倍。
2024-12-19 cs.AI cs.LG stat.ML
FitLight: Federated Imitation Learning for Plug-and-Play Autonomous Traffic Signal Control
East China Normal University(华东师范大学);Kent State University(肯特州立大学)
提出FitLight联邦模仿学习框架,通过知识共享、混合压力智能体、模型剪枝与异构聚合,实现多交叉口交通信号控制的即插即用、快速收敛及微控制器部署。
2025-02-17 cs.AI cs.LG
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University(吉林大学)
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高,但对超参数设置敏感,需要有效探索;进化算法稳定,但样本效率低;模仿学习样本效率高,但需要专家数据指导。在本文中,我们提出了招募模仿机制(RIM)的进化强化学习,一个可扩展的框架,结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员,这指示自己从经验重放缓冲区中学习。同时,进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式,提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明,RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件,使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI(艾伦人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在实践中,模仿学习优于纯强化学习,只要有可能设计一个教学代理提供专家监督。然而,我们发现,当教学代理人作出决定,访问特权信息是不可用的学生,这些信息被边缘化在模仿学习,导致“模仿差距”,并可能,效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的,但对于需要在探索和记忆之间频繁切换的任务来说,渐进式学习是失败的。为了更好地解决这些任务,并减轻模仿差距,我们提出了“适应性不服从”(ADVISOR)。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权,从而实现在模仿和探索之间的动态切换。在网格世界,多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中,我们证明了ADVISOR的动态切换优于纯模仿,纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
Accelerating Training in Pommerman with Imitation and Reinforcement Learning
TCS Research(塔塔咨询服务公司研究院)
Pommerman模拟是最近开发的,以模仿经典的日本游戏Bomberman,并专注于多智能体设置中的竞争性游戏。我们专注于Pommerman的2 $\times$ 2团队版本,该版本是为NeurIPS 2018的比赛而开发的。我们的方法包括训练代理最初通过模仿学习的嘈杂的专家政策,其次是近端策略优化(PPO)强化学习算法。基本的PPO方法被修改为从模仿学习阶段通过奖励塑造、基于行为学的动作过滤器和课程学习的稳定过渡。所提出的方法能够通过100,000个训练游戏击败启发式和纯强化学习基线,比文献中的其他非树搜索方法快得多。我们目前的结果对多个代理商提供的模拟,包括一些,我们已经增强。我们包括对不同参数的敏感性分析,并强调一些策略,最初出现有希望的不良影响。由于Pommerman是一个复杂的多智能体竞争环境,这里开发的策略提供了对几个现实问题的见解,这些问题具有部分可观察性,分散执行(无通信)以及非常稀疏和延迟的奖励等特征。
2019-11-13 cs.LG stat.ML
Learning Strategy Representation for Imitation Learning in Multi-Agent Games
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Beijing Wenge Technology Co., Ltd.(北京文阁科技有限公司)
针对多智能体博弈离线示范数据策略混杂的问题,提出可插拔的STRIL框架,通过学习策略表示、估计指标并过滤次优轨迹,显著提升现有模仿学习算法性能。
2025-02-14 cs.AI cs.LG cs.MA
Matching Multiple Experts: On the Exploitability of Multi-Agent Imitation Learning
EPFL(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);University of Zurich(苏黎世大学)
本文研究了多智能体模仿学习中学习低可利用策略的不可能性与难度,通过战略支配假设提出纳什差距的分析方法,并引入最佳响应连续性概念。
2026-02-24 cs.GT cs.LG cs.MA
Active Learning within Constrained Environments through Imitation of an Expert Questioner
Georgia Institute of Technology(佐治亚理工学院)
主动学习代理通常采用查询选择算法,该算法仅考虑代理的学习目标。然而,这在更现实的人类领域中可能是不够的。这项工作使用模仿学习,使代理在一个受约束的环境中,同时考虑其内部的学习目标和外部施加的环境约束,所有在其目标函数。实验进行了概念学习任务,以测试所提出的算法的推广到不同的环境条件下,并分析时间和资源约束如何影响解决学习问题的效率。我们的研究结果表明,环境意识的学习代理是能够在统计上优于所有其他主动学习者探索在大多数的约束条件下。一个关键的含义是适应主动学习代理更现实的人类环境,约束往往是外部强加给学习者。
2019-07-01 cs.AI cs.LG cs.RO