From Imitation to Interaction: Mastering Game of Schnapsen with Shallow Reinforcement Learning
Vrije Universiteit Amsterdam（弗里兹大学阿姆斯特丹）
本文研究浅层神经网络代理是否能掌握纸牌游戏斯纳普森，并挑战使用蒙特卡洛采样和前瞻搜索的强搜索基线RdeepBot。通过逐步更复杂的实验设计，首先评估了基于回放数据训练的监督学习代理（MLPBot）以及通过异步蒙特卡洛更新和经验回放训练的强化学习代理（RLBot）。结果表明，监督模仿不足以击败强RdeepBot对手，而强化学习产生了更强的代理。在聚焦RdeepBot深度参数的设置中，最佳性能是在学习的价值函数与游戏过程中更深层次的前瞻搜索结合时实现的，使RLBot在最强的RdeepBot基线下实现了统计显著更高的胜率。在基于样本的设置中，收益更具条件性：最强性能出现在相对较低的训练num_samples参数下，而不是随着更强采样均匀增加。
2026-05-16 cs.AI cs.LG
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
最近对深度强化学习（RL）漏洞的研究表明，对手代理采用的对抗策略可以影响目标RL代理（受害者代理）在多代理环境中表现不佳。在现有的研究中，对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点：从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域，这使得经过训练的对抗性政策的有效性大大降低。在这项工作中，我们设计了一个新的有效的对抗策略学习算法，克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略，而对抗策略不仅基于与受害者代理的交互，而且还基于模仿者的反馈来预测受害者的意图。通过这样做，我们可以利用模仿学习的能力，仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型，因为环境的动态由对手的策略驱动，并且在对抗策略训练过程中会不断变化。当对手的策略稳定时，我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本，进一步加强了我们的对抗性策略学习。最后，我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明，我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
Conditional Imitation Learning for Multi-Agent Games
Stanford University（斯坦福大学）
虽然多智能体学习的进步已经使得越来越复杂的代理的培训成为可能，但大多数现有技术产生的最终政策并不是为了适应新合作伙伴的策略而设计的。然而，我们希望我们的人工智能智能体能够根据周围人的策略来调整自己的策略。在这项工作中，我们研究的问题，有条件的多智能体模仿学习，我们有机会在训练时的联合轨迹演示，我们必须在测试时与新的合作伙伴进行互动和适应。这种设置是具有挑战性的，因为我们必须推断新合作伙伴的策略，并根据该策略调整我们的策略，所有这些都不需要了解环境奖励或动态。我们正式这个问题的条件多智能体模仿学习，并提出了一种新的方法来解决的困难，可扩展性和数据稀缺。我们的关键见解是，在多智能体游戏的合作伙伴之间的变化往往是高度结构化的，可以通过一个低秩子空间表示。利用张量分解的工具，我们的模型在自我和合作伙伴代理策略上学习一个低秩子空间，然后通过在子空间中插值来推断和适应新的合作伙伴策略。我们实验了各种协作任务，包括强盗、粒子和Hanabi环境。此外，我们测试我们的条件政策对真正的人类合作伙伴在用户研究的过度烹饪游戏。与基线相比，我们的模型更好地适应新的合作伙伴，并鲁棒地处理各种设置，从离散/连续动作到人工智能/人类合作伙伴的静态/在线评估。
2022-01-05 cs.LG cs.MA
Accelerating Training in Pommerman with Imitation and Reinforcement Learning
TCS Research（塔塔咨询服务公司研究院）
Pommerman模拟是最近开发的，以模仿经典的日本游戏Bomberman，并专注于多智能体设置中的竞争性游戏。我们专注于Pommerman的2 $\times$ 2团队版本，该版本是为NeurIPS 2018的比赛而开发的。我们的方法包括训练代理最初通过模仿学习的嘈杂的专家政策，其次是近端策略优化（PPO）强化学习算法。基本的PPO方法被修改为从模仿学习阶段通过奖励塑造、基于行为学的动作过滤器和课程学习的稳定过渡。所提出的方法能够通过100，000个训练游戏击败启发式和纯强化学习基线，比文献中的其他非树搜索方法快得多。我们目前的结果对多个代理商提供的模拟，包括一些，我们已经增强。我们包括对不同参数的敏感性分析，并强调一些策略，最初出现有希望的不良影响。由于Pommerman是一个复杂的多智能体竞争环境，这里开发的策略提供了对几个现实问题的见解，这些问题具有部分可观察性，分散执行（无通信）以及非常稀疏和延迟的奖励等特征。
2019-11-13 cs.LG stat.ML
Self-Imitation Advantage Learning
Google Research（谷歌研究院）；Inria Lille Nord Europe（法国国家信息与自动化研究所里尔-北欧欧洲分部）
自我模仿学习是一种强化学习（RL）方法，它鼓励回报高于预期的行动，这有助于硬探索和稀疏奖励问题。它被证明可以提高在几个离散控制任务中的政策行动者-批评者方法的性能。然而，将自我模仿应用于大多数基于动作值的非策略强化学习方法并不简单。我们提出了SAIL，一种新的推广的自模仿学习的非政策RL，基于修改的贝尔曼最优算子，我们连接到优势学习。至关重要的是，我们的方法通过选择观察到的回报和自我模仿的当前动作值之间最乐观的回报估计来缓解陈旧回报的问题。我们证明了经验的有效性，帆的街机学习环境，重点是硬探索游戏。
2020-12-22 cs.LG
Self-Imitation Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文提出了自模仿学习（SIL），一个简单的关闭政策的演员批评算法，学习再现代理的过去好的决定。该算法旨在验证我们的假设，即利用过去的良好经验可以间接推动深度探索。我们的实证结果表明，SIL显着提高优势演员评论家（A2C）的几个硬探索雅达利游戏，是最先进的计数为基础的探索方法的竞争力。我们还表明，SIL提高了MuJoCo任务的近端策略优化（PPO）。
2018-06-14 cs.AI cs.LG stat.ML
Multi-Agent Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
模仿学习算法可用于从专家演示中学习策略，而无需访问奖励信号。然而，大多数现有的方法是不适用于多智能体设置由于存在多个（纳什）均衡和非平稳环境。我们提出了一个新的框架，多智能体模仿学习一般马尔可夫游戏，在那里我们建立在广义逆强化学习的概念。我们进一步介绍了一个实用的多代理actor-critic算法具有良好的经验性能。我们的方法可以用来模仿复杂的行为在高维环境中的多个合作或竞争代理。
2018-07-26 cs.AI cs.LG cs.MA
Unbeatable Imitation
University of Heidelberg（海德堡大学）；University of California, Davis（加州大学戴维斯分校）
我们表明，对于许多类对称的两个球员的游戏，简单的决策规则“模仿最好的”几乎不能击败任何其他决策规则。我们提供了模仿是不可战胜的必要和充分条件，并表明它只能在石头剪刀布的游戏中被击败。因此，在许多有趣的例子中，如2x2博弈、古诺双寡头垄断、价格竞争、寻租、公共物品博弈、公共资源博弈、最小努力协调博弈、军备竞赛、搜索、讨价还价等，即使是一个非常聪明的对手，模仿也不可能被击败。
2010-03-22 cs.GT cs.LG
Continuous Mean-Zero Disagreement-Regularized Imitation Learning (CMZ-DRIL)
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
针对少量专家示范且无环境奖励的模仿学习问题，提出CMZ-DRIL，利用智能体集成动作分歧构造连续均值零奖励并强化优化，在导航和MuJoCo任务中优于既有方法。
2024-03-02 cs.LG
Intrinsic Reward Driven Imitation Learning via Generative Model
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究院）
在高维环境中进行模仿学习是具有挑战性的。大多数逆强化学习（IRL）方法在这样的高维环境中无法胜过演示器，例如，雅达利的地盘。为了解决这一挑战，我们提出了一种新的奖励学习模块，通过生成模型生成内在的奖励信号。我们的生成式方法可以执行更好的前向状态转换和向后的动作编码，这提高了模块的动力学建模能力的环境。因此，我们的模块提供了模仿代理的内在意图的演示和更好的探索能力，这是至关重要的代理优于演示。实证结果表明，我们的方法优于国家的最先进的IRL方法在多个雅达利游戏，即使与一个生命的演示。值得注意的是，我们的方法实现的性能是演示性能的5倍。
2020-09-11 cs.AI cs.LG stat.ML
MimicBot: Combining Imitation and Reinforcement Learning to win in Bot Bowl
Philips Research（飞利浦研究院）；Eindhoven University of Technology（埃因霍温理工大学）
本文描述了一种混合智能体，它被训练成参加Bot Bowl III比赛的Fantasy Football AI。代理MimicBot使用专门设计的深度策略网络实现，并使用模仿和强化学习相结合的方法进行训练。在这种背景下使用强化学习方法的先前尝试由于许多原因而失败，例如，由于环境中的固有随机性以及大量且不均匀数量的可用动作，其中课程学习方法未能始终如一地击败随机支付的代理。目前，没有任何机器学习方法可以击败使用游戏领域知识的脚本机器人。我们的解决方案，由于模仿学习和混合决策过程，始终击败这样的脚本代理。此外，我们揭示了如何在强化学习设置中更有效地训练，同时大幅提高样本效率。MimicBot是Bot Bowl III比赛的获胜者，它是目前最先进的解决方案。
2021-08-21 cs.AI cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
SCC: an efficient deep reinforcement learning agent mastering the game of StarCraft II
AlphaStar是《星际争霸II》中达到大师级的AI，它是一个非凡的里程碑，展示了深度强化学习在复杂的实时战略（RTS）游戏中可以实现的目标。然而，游戏、算法和系统的复杂性，特别是所需的巨大计算量，是社区在这一方向上进行进一步研究的巨大障碍。我们提出了一个深度强化学习代理，星际争霸指挥官（SCC）。凭借数量级更少的计算，它展示了顶级人类在测试比赛中击败大师级球员和现场比赛中击败顶级职业球员的表现。此外，它对各种人类策略表现出强大的鲁棒性，并发现了人类游戏中看不到的新策略。在本文中，我们将分享关于星际争霸2完整游戏的高效模仿学习和强化学习的关键见解和优化。
2021-06-09 cs.LG
CCPT: Automatic Gameplay Testing and Validation with Curiosity-Conditioned Proximal Trajectories
SEED - Electronic Arts (EA)（SEED - 美国艺电公司（EA））；Università degli Studi di Firenze（佛罗伦萨大学）
本文提出了一种新的深度强化学习算法，用于在复杂的3D导航环境中自动分析和检测游戏问题。好奇心条件下的近端轨迹（CCPT）方法结合好奇心和模仿学习训练代理，有条不紊地探索从专家演示中获得的已知轨迹附近。我们展示了CCPT如何探索复杂的环境，发现游戏问题和设计过程中的疏忽，并直接向游戏设计师识别和突出它们。我们进一步证明了该算法的有效性，在一个新的三维导航环境，反映了现代AAA视频游戏的复杂性。我们的研究结果显示了更高的覆盖率和错误发现比基线方法，因此它可以提供一个有价值的工具，游戏设计师自动识别游戏设计中的问题。
2022-02-21 cs.AI cs.LG
Efficiently Guiding Imitation Learning Agents with Human Gaze
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tufts University（塔夫茨大学）
人类的凝视被认为是人类任务演示中的意图揭示信号。在这项工作中，我们使用来自人类示范者的凝视线索来增强通过三种流行的模仿学习方法训练的代理的性能-行为克隆（BC），行为克隆观察（BCO）和轨迹排名奖励外推（T-REX）。基于强化学习代理的注意力和人类凝视之间的相似性，我们提出了一种新的方法，用于以计算高效的方式利用凝视数据，作为辅助损失函数的一部分，该函数引导网络在人类凝视的图像区域中具有更高的激活。这项工作是朝着用辅助凝视数据增强任何现有卷积模仿学习代理的训练迈出的一步。我们的辅助基于覆盖的凝视损失（CGL）引导学习更好的奖励函数或策略，而无需添加任何额外的可学习参数，也无需在测试时获得凝视数据。我们发现，我们提出的方法提高了95%的性能BC，343%的BCO，和390%的T-REX，平均超过20个不同的雅达利游戏。我们还发现，与现有的最先进的模仿学习方法辅助人类凝视（AGIL）相比，我们的方法实现了更好的性能，并且在学习方面更有效，演示更少。我们进一步解释训练CGL代理显着图可视化方法来解释他们的表现。最后，我们证明了CGL可以帮助缓解模仿学习中一个著名的因果混淆问题。
2021-04-21 cs.AI cs.LG
Generative Adversarial Neuroevolution for Control Behaviour Imitation
Montreal University Geriatric Institute（蒙特利尔大学老年医学研究所）
提出协同进化对抗生成框架，利用深度神经进化在8项OpenAI Gym控制任务上模仿预训练智能体，精英演员达到相近分数并贴合其轨迹。
2023-04-03 cs.LG cs.NE
Action Assembly: Sparse Imitation Learning for Text Based Games with Combinatorial Action Spaces
Technion Israel Institute of Technology（以色列理工学院）；DeepMind（深度思维）；Google Research（谷歌研究院）
我们提出了一个计算效率高的算法，结合压缩感知与模仿学习来解决基于文本的游戏与组合动作空间。具体来说，我们介绍了一种新的压缩感知算法，命名为IK-OMP，它可以被看作是一个扩展的正交匹配追踪（OMP）。我们将IK-OMP到一个监督模仿学习设置，并表明，结合的方法（稀疏模仿学习，稀疏IL）解决了整个基于文本的游戏Zork 1的动作空间约1000万的行动，完美和嘈杂的演示。
2020-02-09 cs.LG
Deep Bayesian Reward Learning from Preferences
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯逆强化学习（IRL）方法是安全模仿学习的理想方法，因为它们允许学习代理推理奖励的不确定性和学习策略的安全性。然而，贝叶斯IRL是计算上棘手的高维问题，因为从后验的每个样本需要解决整个马尔可夫决策过程（MDP）。虽然存在非贝叶斯深度IRL方法，但这些方法通常推断奖励函数的点估计，从而排除了严格的安全性和不确定性分析。我们提出了贝叶斯奖励外推（B-REX），一个高效的，基于偏好的贝叶斯奖励学习算法，可扩展到高维，视觉控制任务。我们的方法使用继任者的功能表示和偏好的演示，有效地生成样本的后验分布的演示者的奖励函数，而不需要一个MDP求解器。使用后验样本，我们演示了如何在模仿学习设置中计算策略性能的高置信度界限，其中地面真实奖励函数是未知的。我们评估我们提出的方法学习玩雅达利游戏的任务，通过模仿学习从像素输入，没有访问游戏得分。我们证明了B-REX学习的模仿策略与最先进的深度模仿学习方法具有竞争力，该方法只学习奖励函数的点估计。此外，我们证明了通过B-REX生成的后验样本可以用于计算各种评估策略的高置信度性能界限。我们表明，高置信度的性能界限是有用的，准确地排名不同的评价政策时，奖励函数是未知的。我们还表明，高置信度的性能界限可能是有用的检测奖励投机。
2019-12-10 cs.AI cs.LG stat.ML
IQ-Learn: Inverse soft-Q Learning for Imitation
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
在许多顺序决策问题中（例如，机器人控制、玩游戏、顺序预测），可获得包含关于任务的有用信息的人类或专家数据。然而，从少量的专家数据中进行模仿学习（IL）在具有复杂动态的高维环境中可能具有挑战性。行为克隆是一种简单的方法，由于其实现简单和稳定的收敛性而被广泛使用，但不利用任何涉及环境动态的信息。许多利用动态信息的现有方法在实践中难以训练，这是由于在奖励和策略近似器或有偏的高方差梯度估计器上的对抗性优化过程。我们介绍了一种动态感知IL的方法，该方法通过学习单个Q函数来避免对抗性训练，隐式地表示奖励和策略。在标准基准测试中，隐式学习的奖励与地面真实奖励表现出高度的正相关性，说明我们的方法也可以用于逆强化学习（IRL）。我们的方法，逆软Q学习（IQ-Learn）在离线和在线模仿学习设置中获得了最先进的结果，在所需的环境交互数量和高维空间的可扩展性方面都显著优于现有方法，通常超过3倍。
2022-11-03 cs.AI cs.LG
Language-Critique Imitation Learning from Suboptimal Demonstrations
Graduate Institute of Communication Engineering, National Taiwan University (NTU)（国立台湾大学电信工程学研究所）；University of Utah（犹他大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；NTU Artificial Intelligence Center of Research Excellence（国立台湾大学人工智能卓越研究中心）
提出语言批评框架，用自然语言作为结构化监督信号从次优演示中学习策略，避免压缩为标量，在连续控制任务上优于基线方法。
2026-07-02 cs.AI cs.LG
Learning on a Budget via Teacher Imitation
Queen Mary University of London（伦敦玛丽女王大学）
深度强化学习（RL）技术可以从利用先前的经验中受益匪浅，这些经验可以是自我生成的，也可以是从其他实体获得的。行动建议是一个框架，提供了一个灵活的方式来转移这种知识的形式之间的师生同行的行动。然而，由于现实的考虑，这些互动的数量是有限的预算;因此，至关重要的是在最合适的时刻执行这些。最近有几项很有前途的研究，特别是从学生的角度来解决这个问题。尽管它们取得了成功，但在实际适用性和完整性方面，它们作为从建议中学习挑战的整体解决方案存在一些缺点。在本文中，我们通过教师模仿建议重用的想法，构建一个统一的方法，解决建议收集和建议利用问题。我们还提出了一种方法来自动调整这些组件的相关超参数，使其能够以最少的人为干预适应任何任务。我们在5个不同的Atari游戏中进行的实验验证了我们的算法超越或与其顶级竞争对手相提并论，同时使用起来更简单。此外，还发现其各个组成部分单独提供了显著的优点。
2021-06-30 cs.AI cs.LG
Improving Generalization in Game Agents with Data Augmentation in Imitation Learning
Uppsala University（乌普萨拉大学）；SEED - Electronic Arts (EA)（艺电（EA）SEED部门）
本文针对模仿学习游戏智能体在未知场景中的泛化难题，提出对观测进行组合式数据增强，并在多个 3D 环境中验证其有效性。
2024-04-07 cs.LG
Building an Automated Gesture Imitation Game for Teenagers with ASD
Ecole Supérieure Africaine des TIC（非洲高等信息技术学院）；Institut Mines Telecom Atlantique de Bretagne（布列塔尼大西洋矿业电信学院）
自闭症谱系障碍是一种神经发育状况，包括沟通和社会互动问题。ASD患者也经常有有限的兴趣和重复的行为。在本文中，我们建立了一个自动化的手势模仿游戏，旨在改善与青少年ASD的社会交往初步砖。介绍了游戏的结构，以及骨架检测和模仿学习的支持工具和方法。游戏将在稍后使用交互式机器人实现。
2020-07-09 cs.HC cs.LG stat.ML
Universal Imitation Games
Adobe Research（奥多比研究院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文利用范畴论中的Yoneda结果和始对象、终对象等泛性质，系统刻画了静态、动态和演化三类通用模仿博弈，并将归纳学习与共归纳学习分别对应于初始代数与终余代数，还简要探讨了量子计算场景下的扩展。
2024-02-02 cs.AI cs.LG
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题，提出结合生成式单智能体策略学习与博弈论结构的框架，通过两步学习提升性能，仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Multi-agent imitation learning with function approximation: Linear Markov games and beyond
EPFL（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文首次理论分析线性马尔可夫博弈中的多智能体模仿学习，利用特征级集中性系数替代状态-动作级系数，并提出首个计算高效的交互式MAIL算法，样本复杂度仅依赖特征维度d。
2026-06-24 cs.LG
Learning Representations in Video Game Agents with Supervised Contrastive Imitation Learning
Sony Interactive Entertainment Europe（索尼互动娱乐欧洲）
本文将监督对比学习应用于模仿学习，提出结合连续输出空间的方法以学习更有效的状态表示，在多款游戏中提升了表示质量、收敛速度和泛化能力。
2025-09-15 cs.AI cs.LG
Towards Informed Design and Validation Assistance in Computer Games Using Imitation Learning
SEED - Electronic Arts (EA)（SEED——美国艺电（EA））；Università degli Studi di Firenze（佛罗伦萨大学）
在游戏和其他许多领域，设计验证和测试是一个巨大的挑战，因为系统的规模越来越大，手动测试变得不可行。本文提出了一种新的方法来自动游戏验证和测试。我们的方法利用了数据驱动的模仿学习技术，这需要很少的精力和时间，不需要机器学习或编程的知识，设计师可以用来有效地训练游戏测试代理。我们通过与行业专家的用户研究来调查我们方法的有效性。调查结果表明，我们的方法确实是一种有效的游戏验证方法，数据驱动编程将有助于减少工作量和提高现代游戏测试的质量。调查还强调了几个公开的挑战。在最新文献的帮助下，我们分析了所确定的挑战，并提出了适合支持和最大限度地利用我们的方法的未来研究方向。
2022-08-19 cs.AI cs.LG cs.SE
Visual Encoders for Data-Efficient Imitation Learning in Modern Video Games
Microsoft Research（微软研究院）；Microsoft Gaming（微软游戏）
本文研究现代电子游戏中基于图像的模仿学习，系统对比了预训练视觉编码器与端到端训练在多款游戏中的表现，发现预训练编码器（如DINOv2）能提升决策效果并大幅降低训练成本。
2025-06-30 cs.AI cs.CV cs.LG
Scaling Laws for Imitation Learning in Single-Agent Games
Princeton University（普林斯顿大学）；Amazon（亚马逊公司）；University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
研究单智能体博弈中模仿学习的缩放效应，发现IL损失和平均回报随计算预算呈幂律关系，扩大规模训练的NetHack智能体超越先前最优1.5倍。
2024-12-19 cs.AI cs.LG stat.ML
Of Moments and Matching: A Game-Theoretic Framework for Closing the Imitation Gap
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
我们提供了一个统一的观点，以前的模仿学习算法通过镜头的时刻匹配的大家庭。在其核心，我们的分类方案是基于学习者是否试图匹配（1）奖励或（2）专家行为的行动价值时刻，每个选项导致不同的算法方法。通过考虑学习者和专家行为之间的对立选择分歧，我们能够推导出适用于这些类中的所有算法的政策性能的界限，这是我们所知的第一个。我们还介绍了瞬间可恢复性的概念，隐含在许多以前的分析模仿学习，这使我们能够清楚地描绘如何以及每个算法家族能够减轻复合错误。我们推导出三种新的算法模板（AdVIL，AdRIL和DAeQuIL）具有强有力的保证，简单的实现，和竞争力的经验性能。
2021-06-10 cs.LG cs.RO stat.ML
Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games
研究针对流式视频游戏中模仿学习面临的挑战，提出流式增强方法，基于预测逆动力学模型，在现代3D游戏三个任务中评估其效果，结果显示该增强方法能有效提升代理性能，是训练鲁棒高效游戏代理的有力工具。
2026-07-17 cs.LG
How An Automated Gesture Imitation Game Can Improve Social Interactions With Teenagers With ASD
ESATIC (École Supérieure Africaine des Technologies de l’Information et de la Communication)（非洲高等信息与通信技术学院）；LASTIC（LASTIC实验室）；Institut Mines Télécom Atlantique（大西洋矿业电信学院）；U2IS ENSTA Paris（巴黎ENSTA大学U2IS实验室）；Institut Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）
为了提高自闭症患者的沟通和社交能力，我们建议将机器人模仿游戏的范式扩展到自闭症青少年。在本文中，我们提出了一个互动的情况下，适应ASD青少年，提出了一个计算架构，使用最新的机器学习算法Openpose的人体姿态检测，并提出了我们的基本测试的结果与人类照顾者的情况。这些结果是初步的，因为会议的数量（1）和参与者（4）。它们包括对Openpose性能的技术评估，以及初步的用户研究，以确认我们的游戏场景可以引起受试者的预期反应。
2020-07-10 cs.CY cs.HC cs.LG
Population-Aware Imitation Learning in Mean-field Games with Common Noise
Institut National des Sciences et Techniques de l'Information et des Systèmes (INSTI)（信息与系统科学与技术国家研究院）
针对含共同噪声的平均场博弈，提出群体感知模仿学习框架，通过行为克隆和对抗散度两种代理，建立有限样本误差界，并利用广义虚拟博弈和深度学习计算专家策略，实验证明群体感知策略对应对随机性的重要性。
2026-06-08 cs.LG math.OC
Robust Imitation Learning for Automated Game Testing
Sony Interactive Entertainment Europe（索尼互动娱乐欧洲）
提出EVOLUTE架构，结合BC与EBM处理连续和离散动作，在游戏中实现高效自动化测试。
2024-01-09 cs.LG
Learning Strategy Representation for Imitation Learning in Multi-Agent Games
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Beijing Wenge Technology Co., Ltd.（北京文阁科技有限公司）
针对多智能体博弈离线示范数据策略混杂的问题，提出可插拔的STRIL框架，通过学习策略表示、估计指标并过滤次优轨迹，显著提升现有模仿学习算法性能。
2025-02-14 cs.AI cs.LG cs.MA
Selective Eye-gaze Augmentation To Enhance Imitation Learning In Atari Games
University at Buffalo（布法罗大学）
本文提出了选择性地使用眼睛凝视信息在雅达利游戏中学习人类的行动。大量证据表明，我们的眼球运动传达了大量关于我们注意力方向和精神状态的信息，并编码了完成任务所需的信息。基于这一证据，我们假设，选择性地使用眼睛注视，作为注意方向的线索，将提高从示范示教学习。为此，我们提出了一个选择性的眼睛注视增强（SEA）网络，学习何时使用眼睛注视信息。所提出的网络架构由三个子网络组成：凝视预测，门控和动作预测网络。使用先前的4个游戏帧，由用于增强输入帧的注视预测网络预测注视图。门控网络将确定预测的凝视图是否应该用于学习，并被馈送到最终网络以预测当前帧处的动作。为了验证这种方法，我们使用公开的Atari人眼跟踪和演示（Atari-HEAD）数据集，该数据集由20个Atari游戏组成，其中2800万人演示和3.28亿眼注视（超过游戏帧）从四个主题中收集。我们通过与最先进的注意力引导模仿学习（AGIL）、行为克隆（BC）的比较，证明了选择性眼凝视增强的有效性。结果表明，选择性增强方法（SEA网络）的性能显着优于AGIL和BC。此外，为了证明通过门控网络选择性使用凝视的意义，我们将我们的方法与随机选择凝视进行比较。即使在这种情况下，SEA网络的表现也明显更好，验证了在演示学习中选择性使用凝视的优势。
2020-12-05 cs.CV cs.LG
Your Self-Play Algorithm is Secretly an Adversarial Imitator: Understanding LLM Self-Play through the Lens of Imitation Learning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Research（微软研究院）
本文通过将自对弈微调建模为模型与自身参数化的正则化隐式奖励玩家之间的极小极大博弈，统一了自对弈模仿与偏好对齐，并提出了基于χ²散度的新算法，在多种语言模型微调任务上优于现有方法。
2026-06-08 cs.LG
The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络（TTN）作为任务无关的“裁判”，通过对抗性交互在数据集上下文中评估伪标签，无需监督或重训练即可提升标签准确性，并实现零样本任务迁移。
2026-07-01 cs.AI cs.CV cs.LG
Synthetically Generating Human-like Data for Sequential Decision Making Tasks via Reward-Shaped Imitation Learning
Naval Research Laboratory（海军研究实验室）；University of Wisconsin-Whitewater（威斯康星大学怀特沃特分校）
本文提出一种结合奖励塑形与模仿学习的算法，仅用少量人类决策数据即可合成类人决策数据，并在三个序列决策任务中验证其可几乎无差别替代人类数据。
2023-04-14 cs.AI cs.LG
Efficient Active Imitation Learning with Random Network Distillation
Centrale Supelec（中央高等电力学院）；Ubisoft La Forge（育碧 La Forge（育碧旗下研发机构））；H Company（H公司）
针对无明确目标的复杂任务中模仿学习在分布外场景失效、依赖人类演示扩展数据集成本高的问题，提出RND-DAgger方法，利用随机网络蒸馏的分布外度量触发必要专家干预，在多任务中减少专家查询并超越传统方法。
2025-04-14 cs.LG
Learning Equilibria from Data: Provably Efficient Multi-Agent Imitation Learning
University of Zurich（苏黎世大学）；EPFL（苏黎世联邦理工学院）；Earth Species Project（地球物种项目）
本文首次刻画了马尔可夫博弈中从专家数据学习纳什均衡的样本复杂度，提出单策略偏差集中性系数并开发了MAIL-BRO和MURMAIL两种算法，分别以不同查询复杂度实现ε-纳什均衡学习，并通过数值实验验证了理论结果。
2025-10-09 cs.LG
Imitation Learning: Progress, Taxonomies and Challenges
University of Technology Sydney（悉尼科技大学）
模仿学习旨在从人类专家的演示或人工创建的代理中提取知识，以便复制他们的行为。它的成功已经在视频游戏、自动驾驶、机器人模拟和物体操纵等领域得到了证明。然而，这种复制过程可能是有问题的，例如性能高度依赖于演示质量，并且大多数训练有素的代理仅限于在特定任务环境中表现良好。本文对模仿学习进行了系统的综述。首先介绍了背景知识学习的发展历史和分类，然后介绍了模仿学习的不同分类和该领域的关键里程碑。然后，我们详细介绍了学习策略的挑战，并从次优演示，语音指令和其他相关的优化方案的学习策略，目前的研究机会。
2022-10-21 cs.LG cs.RO
Imitation Game: Reproducing Deep Learning Bugs Leveraging an Intelligent Agent
Dalhousie University（达尔豪斯大学）
RepGen通过智能代理和生成-验证-改进机制，提高了深度学习bug的重现率和效率。
2026-02-26 cs.AI cs.LG cs.SE
Matching Multiple Experts: On the Exploitability of Multi-Agent Imitation Learning
EPFL（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；University of Zurich（苏黎世大学）
本文研究了多智能体模仿学习中学习低可利用策略的不可能性与难度，通过战略支配假设提出纳什差距的分析方法，并引入最佳响应连续性概念。
2026-02-24 cs.GT cs.LG cs.MA
Diffusion Imitation from Observation
National Taiwan University（台湾大学）
针对现有基于观测的对抗模仿学习方法超参数敏感、训练不稳定的问题，提出将扩散模型整合进该框架的DIFO方法，以扩散模型作为二分类器提供奖励，在多类连续控制任务中取得更优性能。
2024-10-07 cs.LG
Teach me to play, gamer! Imitative learning in computer games via linguistic description of complex phenomena and decision tree
University of Cadiz（加的斯大学）；University of the Bio-Bio（比奥比奥大学）；University of Católica Santísima Concepción（圣孔塞普西翁天主教大学）
在这篇文章中，我们提出了一个新的机器学习模型的基础上模仿复杂现象的语言描述。这个想法包括，首先，通过创建一个基于游戏执行轨迹的计算感知网络来捕捉人类玩家的行为，其次，使用模糊逻辑（语言变量和“若-则”规则）来表示它。根据这些知识，自动创建一组数据（数据集），以生成基于决策树的学习模型。这个模型将在后面用于自动控制机器人的移动。结果是一个模仿人类玩家的人工代理。我们已经实施、测试和评估了这项技术。所获得的结果是有趣的和有前途的，表明该方法可以是一个很好的替代设计和实现的智能代理在视频游戏开发的行为。
2021-01-06 cs.LG
The Quantum Imitation Game: Reverse Engineering of Quantum Machine Learning Models
Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对NISQ时代QML模型的逆向工程安全风险，首次开展QML电路逆向工程实验，验证了多量子比特分类器可被逆向的特性，并提出添加虚拟固定参数门的防御方法以提升攻击开销。
2024-07-15 cs.CR cs.ET cs.LG
Sample Efficient Training in Multi-Agent Adversarial Games with Limited Teammate Communication
TCS Research（塔塔咨询服务公司研究部）；IIT Bombay（印度理工学院孟买分校）
我们描述了Pommerman TeamRadio的解决方案，这是一个与NeurIPS 2019相关的竞争环境。我们的算法的定义特征是在有限的计算预算内实现样本效率，同时击败前几年的学习代理。所提出的算法（i）使用模仿学习来播种策略，（ii）明确定义两个队友之间的通信协议，（iii）在训练期间塑造奖励以向每个代理提供更丰富的反馈信号，以及（iv）对灾难性的不良行为使用掩蔽。我们描述了针对基线的广泛测试，包括2019年竞争排行榜的测试，以及对学习策略的具体调查以及每次修改对性能的影响。我们表明，所提出的方法能够在50万场比赛的训练中达到有竞争力的表现，明显快于文献中的其他研究。
2020-11-01 cs.LG cs.MA
