MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Mathematical Institute, University of Oxford（牛津大学数学系）；Citadel Securities（Citadel证券公司）
多智能体游戏的强化学习最近引起了很多关注。然而，鉴于解决大型人口博弈的纳什均衡的挑战，现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体，要么旨在解决（粗）相关均衡，要么需要访问模拟器，要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML（Mean-Field Occupation-Measure Learning），用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法，用于可证明地解决纳什均衡（直到平均场近似差距，随着参与者$N$的数量变为无穷大而消失），超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差，该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏，和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏，其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品，我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Deep Reinforcement Learning for FlipIt Security Game
Boston University（波士顿大学）；Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）；CMSA, Harvard University（哈佛大学数学与应用中心）
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而，在大多数这些游戏中，智能体在任何时候都对环境有充分的了解。在本文中，我们描述了一个深度学习模型，在该模型中，智能体成功地适应不同类别的对手，并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt，这是一个两个玩家的安全游戏，其中两个玩家，攻击者和防御者，争夺一个共享资源的所有权，并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络，并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息，我们的模型成功地学习了一个具有成本效益的反策略，优于对手的策略，并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏，引入了一个新的低成本移动，并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究院）
我们提出了一种多智能体分布式强化学习算法，该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡，并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励，以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法，并证明：1）我们的算法优于两个基准算法在直接竞争，成本社会福利，和2）我们的算法的积极的竞争行为可以指导与长期奖励信号，以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University（卡内基梅隆大学）
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展，重点关注其有限时间收敛速率，回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Multi-Agent Reinforcement Learning in Cournot Games
University of Washington（华盛顿大学）
在这项工作中，我们研究了有限信息反馈的连续行动古诺博弈中战略代理人的相互作用。古诺博弈是许多社会经济系统中必不可少的市场模型，在这种模型中，代理人在不完全了解系统或彼此的情况下学习和竞争。我们考虑了凹古诺博弈中策略梯度算法的动态性，这是一种被广泛采用的连续控制强化学习算法。证明了当价格函数为线性函数或代理商个数为2时，策略梯度动态收敛于纳什均衡。这是第一个结果（据我们所知）的收敛性的学习算法与连续的行动空间，不属于无遗憾类。
2020-09-14 cs.GT cs.LG cs.MA
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia（弗吉尼亚大学）；IBM Research（IBM研究院）
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习（MIRL）。与著名的逆强化学习（IRL）问题相比，MIRL是在随机博弈的背景下形式化的，它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题，并提出了一个贝叶斯解决方案的方法，其中生成模型是基于一个假设，即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下，一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明，协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Robust Adversarial Reinforcement Learning in Stochastic Games via Sequence Modeling
University College London（伦敦大学学院）
针对序列建模强化学习在对抗随机博弈中的鲁棒性缺失，提出CART框架，通过阶段博弈和NashQ条件化，实现更精确的极小极大估计与更优的最坏情况回报。
2025-10-13 cs.GT cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
SCC: an efficient deep reinforcement learning agent mastering the game of StarCraft II
AlphaStar是《星际争霸II》中达到大师级的AI，它是一个非凡的里程碑，展示了深度强化学习在复杂的实时战略（RTS）游戏中可以实现的目标。然而，游戏、算法和系统的复杂性，特别是所需的巨大计算量，是社区在这一方向上进行进一步研究的巨大障碍。我们提出了一个深度强化学习代理，星际争霸指挥官（SCC）。凭借数量级更少的计算，它展示了顶级人类在测试比赛中击败大师级球员和现场比赛中击败顶级职业球员的表现。此外，它对各种人类策略表现出强大的鲁棒性，并发现了人类游戏中看不到的新策略。在本文中，我们将分享关于星际争霸2完整游戏的高效模仿学习和强化学习的关键见解和优化。
2021-06-09 cs.LG
Reinforcement Learning and Video Games
University of Sheffield（谢菲尔德大学）
根据DeepMind在Go和Atari游戏上的实验，强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法，成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意，但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)（美国艺电（EA））
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题，介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践，总结了落地中的耗时难点并提出相关研究方向，助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；DeepMind（深度思维）；Meta AI；Columbia University（哥伦比亚大学）
本文提出磁性镜像下降算法，统一解决双人零和博弈中的均衡求解与强化学习问题，首次实现一阶反馈下扩展式博弈分位数响应均衡的线性收敛，并在表格设置中达到与CFR相当的性能。
2023-04-11 cs.AI cs.GT cs.LG
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London（帝国理工学院）
深度强化学习系统在许多复杂的双人游戏（围棋、国际象棋、象棋）中表现优于世界级的人类玩家。然而，由于易处理性的考虑，极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中，我们考虑简单的游戏（Noughts-and-Crosses和Hexapawn），其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾，以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中，正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差（更高的累积极大极小遗憾）。此外，MIGO的学习规则相对容易理解，并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
OpenSpiel: A Framework for Reinforcement Learning in Games
DeepMind；Google（谷歌）；University of Alberta（阿尔伯塔大学）
OpenSpiel是一个环境和算法的集合，用于研究一般的强化学习和游戏中的搜索/规划。OpenSpiel支持n玩家（单和多智能体）零和、合作和一般和、一次性和顺序、严格轮流和错误移动、完美和不完美信息游戏，以及传统的多智能体环境，如（部分和完全可观察的）网格世界和社会困境。OpenSpiel还包括分析学习动态和其他常见评估指标的工具。本文档既概述了代码库，又介绍了强化学习、计算博弈论和搜索领域的术语、核心概念和算法。
2020-09-26 cs.AI cs.GT cs.LG
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University（普林斯顿大学）
本文提出了新的端到端深度强化学习算法，用于学习两人零和马尔可夫博弈。不同于以往的努力，训练代理击败一组固定的对手，我们的目标是找到纳什均衡政策，甚至从剥削的敌对对手。我们提出了（a）Nash-DQN算法，该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;（b）Nash-DQN-Exploiter算法，该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子，以及各种两个球员雅达利游戏。我们的实证结果表明，（i）通过许多现有方法（包括神经虚拟自玩和策略空间响应Oracle）发现的策略可能容易被敌对对手利用;（ii）我们算法的输出策略对利用具有鲁棒性，因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说，该方法利用异步优势演员评论家（A3 C）架构，使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法，使用多个代理并行训练目标游戏的不同表示来更新模型，而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能，OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
Diversity-based Deep Reinforcement Learning Towards Multidimensional Difficulty for Fighting Game AI
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
在格斗游戏中，具有相同技能水平的个体玩家通常通过他们的游戏玩法表现出彼此不同的策略。尽管如此，大多数用于格斗游戏的人工智能智能体对于每个“级别”的难度只有一个策略。为了让AI对手更像人类，我们希望在每个难度级别上看到多种不同的策略，我们称之为“多维”难度。在本文中，我们介绍了一种基于多样性的深度强化学习方法，用于生成一组利用不同策略的相似难度的代理。我们发现，这种方法在多样性和性能方面都优于使用专门的、人工编写的奖励函数训练的基线。
2022-11-04 cs.LG
Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模，其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法，实现了一个次线性的遗憾相比，与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径，这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策，UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略，其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
4Hammer: a board-game reinforcement learning environment for the hour long time frame
DEIB – Politecnico di Milano（米兰理工大学DEIB）
针对大语言模型难以应对长时长任务、缺乏专用复杂桌游评估环境的问题，提出基于复杂零和桌游《Warhammer 40,000》部分玩法的数字孪生强化学习环境4Hammer，可用于强化学习与大语言模型的长时长任务能力评估。
2025-05-19 cs.CL cs.LG
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
Transformer Based Reinforcement Learning For Games
Indian Institute of Technology-Bombay（印度理工学院孟买分校）
最近，使用深度强化学习技术（如Deep Q Networks，策略梯度，Actor Critic方法）的强化学习任务有了显著的改进，这些方法基于基于深度学习的模型和梯度的反向传播来训练这些模型。强化学习的一个活跃研究领域是训练智能体玩复杂的视频游戏，到目前为止，这只能通过人类智能来完成。使用深度强化学习的视频游戏中的一些最先进的性能是通过处理视频游戏中的帧序列来获得的，将它们通过卷积网络以获得特征，然后使用递归神经网络来计算导致最佳奖励的动作。递归神经网络将学习从这些特征的序列中提取有意义的信号。在这项工作中，我们提出了一种利用Transformer网络的方法，该网络最近取代了自然语言处理（NLP）中的RNN，并进行实验，与现有的方法进行比较。
2019-12-09 cs.LG cs.NE
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences（计算机与信息科学学院）；Northeastern University（东北大学）
强化学习最近已经作为一种非常强大的工具出现，以解决棋盘游戏领域中的复杂问题，其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法，但它尚未在古代游戏中展示其能力。在这里，我们解决了这样一个问题，我们训练我们的代理使用不同的方法，即蒙特卡洛，Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的，但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论，当使用有限的资源进行训练时，哪种算法的整体性能更好，但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT（NCsoft公司）
强化学习与深度神经网络相结合，最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而，据我们所知，目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难，包括：巨大的动作空间，动作依赖性和不完美的信息。我们克服了这些挑战，并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛，获胜率达到了62%。本文提出了一种实用的强化学习方法，包括一个新的自我发挥的课程和数据跳过技术。通过课程，三种不同风格的代理人创建的奖励塑造，并训练对彼此。此外，本文还提出了数据跳过技术，可以提高数据效率，方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间，我们预计其应用到游戏开发，包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
深度强化学习的进步使自主智能体在Atari游戏中表现出色，往往优于人类，只使用原始像素来做出决定。然而，这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中，我们提出了第一个架构，以解决第一人称射击游戏中的3D环境，涉及部分可观察的状态。通常，深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型，以利用游戏特征信息，如敌人或项目的存在，在训练阶段。我们的模型经过训练，可以同时学习这些特征以及最小化Q学习目标，这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的，允许不同的模型在游戏的不同阶段进行独立训练。我们表明，所提出的架构大大优于内置的人工智能智能体的游戏，以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory
School of EECS, Peking University（北京大学电子信息工程学院）
深度强化学习（RL）近年来取得了突出的成果，导致方法和应用数量急剧增加。最近的工作是探索学习超越单代理的情况下，并考虑多代理的情况下。然而，他们面临着许多挑战，并正在寻求帮助，从传统的博弈论算法，这反过来，显示出光明的应用前景结合现代算法和提高计算能力。本文首先介绍了单智能体强化学习和多智能体强化学习的基本概念和算法，然后从三个方面对相关算法进行了综述。博弈论中的解决方案概念给了算法以灵感，这些算法试图评估代理或在多代理系统中找到更好的解决方案。虚拟自我游戏的流行对多智能体强化学习算法产生了很大的影响。反事实遗憾最小化是解决不完全信息游戏的重要工具，当与深度学习相结合时显示出巨大的力量。
2020-01-31 cs.AI cs.GT cs.LG
Reinforcement Learning for High-Level Strategic Control in Tower Defense Games
Electronic Arts (EA)（美国艺电公司（EA））
本文提出将强化学习与脚本化AI相结合用于塔防游戏测试与验证，并在《植物大战僵尸》上验证该方法比纯启发式AI成功率更高、更稳健。
2024-06-12 cs.LG
Targets in Reinforcement Learning to solve Stackelberg Security Games
University of Maryland（马里兰大学）；Montgomery Blair High School（蒙哥马利布莱尔高中）；Wootton High School（伍顿高中）
强化学习（RL）算法已成功应用于现实世界的情况，如非法走私，偷猎，森林砍伐，气候变化，机场安全等。这些场景可以被框定为Stackelberg安全游戏（SSG），其中防御者和攻击者竞争控制目标资源。该算法的能力是由代理控制的目标进行评估。本文综述了强化学习中SSG的建模，重点是强化学习算法中目标表示的可能改进。
2022-11-30 cs.AI cs.GT cs.LG
A Comprehensive Review of Multi-Agent Reinforcement Learning in Video Games
DigiPen Institute of Technology（迪吉彭理工学院）；Suzhou City University（苏州城市学院）；Soochow University（苏州大学）
本文综述了多智能体强化学习（MARL）在多品类电子游戏中的应用进展，分析了核心挑战与典型落地案例，提出了游戏复杂度评估新方法并指明未来研究方向。
2025-09-03 cs.LG
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning
DeepMind
为了实现通用智能，智能体必须学习如何在共享环境中与其他智能体交互：这是多智能体强化学习（MARL）的挑战。最简单的形式是独立强化学习（InRL），其中每个代理将其经验视为其（非静态）环境的一部分。在本文中，我们首先观察到使用InRL学习的策略在训练过程中可能过拟合其他代理的策略，在执行过程中无法充分概括。我们引入了一个新的度量，联合政策的相关性，量化这种影响。我们描述了一个算法，一般MARL，基于近似的最佳反应的混合使用深度强化学习产生的政策，和经验博弈论分析计算元策略的政策选择。该算法推广了以前的算法，如InRL，迭代最佳对策，双预言机和虚拟播放。然后，我们提出了一个可扩展的实现，减少了使用解耦元求解器的内存需求。最后，我们证明了所得到的政策的一般性，在两个部分可观察的设置：网格世界协调游戏和扑克。
2017-11-07 cs.AI cs.GT cs.LG
Requirement-Based Testing: Enhancing Reinforcement Learning with Game Theory
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Mitsubishi Electrics R&D Centre Europe（三菱电机欧洲研发中心）；Mitsubishi Electric Corporation（三菱电机株式会社）
针对反应式实现的黑盒测试用例在线合成问题，提出基于蒙特卡洛树搜索并结合博弈论启发式的方法，加速算法收敛并提升测试性能。
2026-10-08 cs.AI cs.GT cs.LG
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University（台湾大学）
深度强化学习已经在游戏中取得了成功。然而，2.5D格斗游戏将是一项具有挑战性的任务，因为视觉外观的模糊性，如人物的高度或深度。此外，此类游戏中的动作通常涉及特定的连续动作顺序，这也使得网络设计非常困难。基于异步优势演员-评论家（A3 C）网络，我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2（LF 2），并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络，它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中，我们在不同的设置中考虑LF 2，这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
From Game-theoretic Multi-agent Log Linear Learning to Reinforcement Learning
University of Oxford（牛津大学）；University of Toronto（多伦多大学）
本文的主要重点是增强两种类型的博弈论学习算法：对数线性学习和强化学习。对数线性学习的标准分析需要一个高度结构化的环境，即从实现的角度对游戏进行强有力的假设。在本文中，我们介绍了对数线性学习的一个变体，它提供了渐近保证，同时放松了结构假设，包括同步更新和玩家可用信息的限制。另一方面，无模型强化学习即使在对参与者关于环境和其他参与者策略的知识的较弱假设下也能够执行。我们提出了一种强化算法，使用双聚合方案，以加深玩家对环境的洞察力和恒定的学习步长，从而实现更高的收敛速度。数值实验验证了算法的鲁棒性和性能。
2018-09-18 cs.LG cs.MA
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick（华威大学）
我们介绍了一个新的虚拟环境，模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏，具有相对复杂的动作空间（允许从13张牌的初始开始手牌玩1，2，3，4或5张牌组合）。因此，它对许多当前的强化学习方法提出了挑战。然后，我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏，纯粹通过自我游戏来学习，并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平，而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
Can Reinforcement Learning Find Stackelberg-Nash Equilibria in General-Sum Markov Games with Myopic Followers?
Peking University（北京大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）
本文研究了多人一般和马氏对策，其中一个人被指定为领导者，其他人被视为追随者。特别是，我们专注于一类游戏的追随者是近视，即，他们的目标是最大化他们的即时回报。对于这样的博弈，我们的目标是找到一个斯塔克伯格-纳什均衡（SNE），它是一个策略对$(π^*, ν^*)$，使得（i）当跟随者总是采取他们的最佳对策时，$π^*$是领导者的最优策略，（ii）$ν^*$是跟随者的最佳对策，这是由$π^*$诱导的跟随者博弈的纳什均衡。我们开发了样本高效的强化学习（RL）算法，用于在线和离线设置中求解SNE。我们的算法是乐观和悲观的最小二乘值迭代的变种，他们很容易能够将函数逼近工具在大的状态空间的设置。此外，对于线性函数逼近的情况，我们证明了我们的算法分别在在线和离线设置下实现次线性遗憾和次最优。据我们所知，我们建立了第一个可证明有效的RL算法求解SNE在一般和马尔可夫游戏近视的追随者。
2021-12-27 cs.GT cs.LG stat.ML
Game-Theoretical Analysis of Reviewer Rewards in Peer-Review Journal Systems: Analysis and Experimental Evaluation using Deep Reinforcement Learning
Chung-Ang University（中央大学）
本文利用博弈论和深度强化学习分析同行评审期刊中基于代金券的审稿人奖励系统缺陷，提出并验证了一种能缓解二元决策偏差、促进全面评审的替代奖励系统，展现出更平衡的决策分布与稳定性。
2023-05-20 cs.AI cs.GT cs.LG
Visual Rationalizations in Deep Reinforcement Learning for Atari Games
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；Informatics Institute（信息学研究所）
由于深度学习在高维问题中表现良好的能力，深度强化学习代理在Atari 2600游戏等具有挑战性的任务中表现良好。然而，清楚地解释为什么代理人采取某种行动可能与决策本身一样重要。与其他深度学习模型一样，深度强化学习模型在决策过程中往往是不透明的。在这项工作中，我们建议通过可视化代理基于其决策的证据来使深度强化学习更加透明。在这项工作中，我们强调的重要性，生产的理由，观察到的行动，这可以适用于一个黑盒决策代理。
2019-02-01 cs.LG stat.ML
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤，需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求，使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性，并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络，这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息，并推断下一步行动。我们将结果与随机玩家的表现进行比较，发现网络显示出最高的成功率。在大多数情况下，结果与真实用户获得的结果相似，随着时间的推移，网络也成功地学习了区分游戏级别的不同特征，并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
Gym-$μ$RTS: Toward Affordable Full Game Real-time Strategy Games Research with Deep Reinforcement Learning
Drexel University（德雷塞尔大学）；Google（谷歌）；Queen Mary University（玛丽女王大学）
近年来，研究人员在将深度强化学习（DRL）算法应用于实时的【形】策略（RTS）游戏方面取得了巨大成功，创造了强大的自主智能体，可以在《星际争霸2》中击败职业玩家。然而，现有的处理完整游戏的方法具有很高的计算成本，通常需要使用数千个GPU和CPU数周。本文有两个主要贡献，以解决这个问题：1）我们介绍了健身房- $μ$ RTS（发音为“健身房微RTS”）作为一个快速运行的RL环境，为完整的游戏RTS研究和2）我们提出了一系列的技术来缩放DRL玩完整的游戏$μ$ RTS以及消融研究，以证明其经验的重要性。我们训练得最好的机器人可以击败我们在过去的$μ$ RTS比赛中测试的每一个$μ$ RTS机器人，在单地图设置中工作，从而产生最先进的DRL代理，而使用单台机器（一个GPU，三个vCPU，16 GB RAM）只需要大约60小时的训练。请参阅https://wandb.ai/vwxyzjn/gym-microrts-paper/reports/Gym-RTS-Toward-Affordable-Deep-Reinforcement-Learning-Research-in-Real-Time-Strategy-Games--Vmlldzo2MDIzMTg上的博客文章和https://github.com/vwxyzjn/gym-microrts-paper上的源代码
2021-07-28 cs.LG
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI；MIT（麻省理工学院）
No-press Diplomacy是一个复杂的策略游戏，涉及合作和竞争，是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功，但在涉及与人类合作的领域中，自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法，我们称之为DiL-piKL，规范化的奖励最大化的政策对人类模仿学习的政策，以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后，我们表明，DiL-piKL可以扩展到一个自我发挥的强化学习算法，我们称之为RL-DiL-piKL，它提供了一个模型的人类发挥，同时训练代理，以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中，62名人类参与者的技能水平从初学者到专家，两名梁龙代理人的平均得分都高于所有其他参与者，他们玩了两局以上，根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing（交互式计算学院）；Georgia Institute of Technology（佐治亚理工学院）
基于文本的冒险游戏提供了一个在组合动作空间（如自然语言）的背景下探索强化学习的平台。我们提出了一个深度强化学习架构，将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间，从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务，这是一种迁移学习的形式，可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中，我们表明，我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences（科隆应用技术大学）
本文介绍了基于n元组的强化学习（RL）算法的游戏。我们提出了TD，SARSA和Q学习的新算法，这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的，其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL（FARL）的新元素。我们的主要贡献是，FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果，其中包括1，2和3名球员，包括奥赛罗，ConnectFour和Hex。在大多数情况下，发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology（意大利理工学院）；University of British Columbia（英属哥伦比亚大学）
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而，大多数交互式场景并不具有单独的最终目标性能;相反，这些代理人与人类交互时的社会影响同样重要，并且在大多数情况下，从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念，我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
LeDeepChef: Deep Reinforcement Learning Agent for Families of Text-Based Games
ETH Zurich（苏黎世联邦理工学院）
虽然强化学习（RL）方法在近代历史上的各个领域取得了重大成就，但自然语言任务几乎没有受到影响，因为它们的组成和组合性质使其难以优化。随着基于文本的游戏（TBG）的出现，研究人员试图弥合这一差距。受Atari游戏中RL算法的成功启发，该想法是在受限的游戏世界中开发新方法，然后逐渐转向更复杂的环境。以前在TBG领域的工作主要集中在解决单个游戏。然而，我们考虑的任务是设计一个代理，不仅在单个游戏中成功，而且在整个游戏家族中表现良好，共享相同的主题。在这项工作中，我们提出了我们的深度RL代理-LeDeepChef-它显示了对具有不同环境和任务描述的同一家族中从未见过的游戏的泛化能力。该代理参加了微软研究院的“第一个文本世界问题：语言和强化学习挑战”，并在最终测试集上超过了所有竞争对手。挑战中的游戏都有相同的主题，即在现代家庭环境中烹饪，但在房间的布置，呈现的对象和具体目标（烹饪食谱）方面有很大的不同。为了构建一个在整个游戏家族中获得高分的代理，我们使用了一个演员-评论家框架，并通过使用分层强化学习和在配方数据库上训练的专门模块的想法来修剪动作空间。
2019-09-04 cs.AI cs.LG stat.ML
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架，通过分析行为轨迹自动修订游戏配置，实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
