Deep reinforcement learning for time series: playing idealized trading games
Georgia Institute of Technology（佐治亚理工学院）
深度Q学习是一种端到端的解决方案，用于估计对时间序列输入采取行动的最佳策略。实验是在两个理想化的交易游戏上进行的。1)单变量：唯一的输入是波浪状价格时间序列，以及2）双变量：输入包括随机逐步价格时间序列和噪声信号时间序列，噪声信号时间序列与未来价格变化正相关。单变量博弈测试智能体是否能够捕获潜在的动态，而双变量博弈测试智能体是否能够利用输入之间的隐藏关系。堆叠门控递归单元（GRU）、长短期记忆（LSTM）单元、卷积神经网络（CNN）和多层感知器（MLP）用于对Q值进行建模。对于这两个游戏，所有的代理人都成功地找到了一个有利可图的策略。基于GRU的代理在单变量博弈中表现出最好的整体性能，而基于MLP的代理在双变量博弈中表现出更好的整体性能。
2018-03-11 cs.LG stat.ML
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University（台湾大学）
深度强化学习已经在游戏中取得了成功。然而，2.5D格斗游戏将是一项具有挑战性的任务，因为视觉外观的模糊性，如人物的高度或深度。此外，此类游戏中的动作通常涉及特定的连续动作顺序，这也使得网络设计非常困难。基于异步优势演员-评论家（A3 C）网络，我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2（LF 2），并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络，它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中，我们在不同的设置中考虑LF 2，这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
The University of Sydney（悉尼大学）
中国跳棋游戏是一个具有挑战性的完全信息的传统棋盘游戏，它与其他传统游戏的主要区别在于两个方面：第一，与国际象棋不同，所有跳棋都在游戏中无限地保留，因此搜索树的分支因子不会随着游戏的进行而减少;其次，与Go不同，搜索树的深度也没有上限，因为允许重复和向后移动。因此，即使在受限制的游戏实例中，游戏的状态空间仍然可以是无界的，这使得计算机程序具有挑战性。在这项工作中，我们提出了一种方法，有效地结合了使用算法，蒙特卡罗树搜索，和深度强化学习建立一个中国的机器人代理，而不使用任何人类的游戏数据。实验结果表明，我们的代理是胜任不同的情况下，达到有经验的人类球员的水平。
2019-03-08 cs.LG stat.ML
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick（华威大学）
我们介绍了一个新的虚拟环境，模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏，具有相对复杂的动作空间（允许从13张牌的初始开始手牌玩1，2，3，4或5张牌组合）。因此，它对许多当前的强化学习方法提出了挑战。然后，我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏，纯粹通过自我游戏来学习，并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平，而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤，需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求，使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性，并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络，这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息，并推断下一步行动。我们将结果与随机玩家的表现进行比较，发现网络显示出最高的成功率。在大多数情况下，结果与真实用户获得的结果相似，随着时间的推移，网络也成功地学习了区分游戏级别的不同特征，并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
LeDeepChef: Deep Reinforcement Learning Agent for Families of Text-Based Games
ETH Zurich（苏黎世联邦理工学院）
虽然强化学习（RL）方法在近代历史上的各个领域取得了重大成就，但自然语言任务几乎没有受到影响，因为它们的组成和组合性质使其难以优化。随着基于文本的游戏（TBG）的出现，研究人员试图弥合这一差距。受Atari游戏中RL算法的成功启发，该想法是在受限的游戏世界中开发新方法，然后逐渐转向更复杂的环境。以前在TBG领域的工作主要集中在解决单个游戏。然而，我们考虑的任务是设计一个代理，不仅在单个游戏中成功，而且在整个游戏家族中表现良好，共享相同的主题。在这项工作中，我们提出了我们的深度RL代理-LeDeepChef-它显示了对具有不同环境和任务描述的同一家族中从未见过的游戏的泛化能力。该代理参加了微软研究院的“第一个文本世界问题：语言和强化学习挑战”，并在最终测试集上超过了所有竞争对手。挑战中的游戏都有相同的主题，即在现代家庭环境中烹饪，但在房间的布置，呈现的对象和具体目标（烹饪食谱）方面有很大的不同。为了构建一个在整个游戏家族中获得高分的代理，我们使用了一个演员-评论家框架，并通过使用分层强化学习和在配方数据库上训练的专门模块的想法来修剪动作空间。
2019-09-04 cs.AI cs.LG stat.ML
On Reinforcement Learning for Turn-based Zero-sum Markov Games
MIT（麻省理工学院）；Cornell University（康奈尔大学）
研究了两人回合制零和博弈的纳什均衡求解问题。受AlphaGo Zero（AGZ）算法的启发，我们开发了一种基于强化学习的方法。具体来说，我们提出了探索-改进-监督（EIS）方法，结合“探索”，“政策改进”“和“监督学习“，以找到价值函数和政策相关的纳什均衡。我们确定这样的方法的收敛性和正确性的充分条件。对于EIS的一个具体实例，其中随机策略用于“探索”，蒙特卡罗树搜索用于“策略改进”，最近邻用于“监督学习“，我们建立了这种方法找到一个$\varepsilon$ -近似价值函数的纳什均衡在$\widetilde{O}(\varepsilon^{-(d+4)})$步骤时，潜在的状态空间的游戏是连续的和$d$维。这几乎是最优的，因为我们为任何策略建立了$\widetildeΩ(\varepsilon^{-(d+2)})$的下限。
2020-02-25 cs.LG stat.ML
Inverse reinforcement learning for video games
UC Berkeley（加州大学伯克利分校）
深度强化学习在一系列视频游戏环境中实现了超人的性能，但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习（IRL）算法可以从低维连续控制环境中的演示中推断出奖励，但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中，我们修改了最先进的对抗IRL（AIRL）算法，将CNN用于生成器和迭代器。为了稳定训练，我们将奖励标准化，并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入，提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能，大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分，但与专家性能不匹配，突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
Reinforcement Learning for Mean Field Game
Purdue University（普渡大学）
随机博弈为多个主体之间的交互提供了一个框架，并使无数的应用成为可能。在这些游戏中，代理同时决定行动，每个代理的状态移动到下一个状态，每个代理都获得奖励。然而，在这个游戏中找到一个均衡（如果存在）往往是困难的，当代理人的数量变得很大。本文的重点是寻找一个平均场均衡（MFE）的行动耦合随机博弈设置在一个情节的框架。假设其他代理人的影响可以通过行动平均值的经验分布来假设。所有的代理知道的行动分布，并采用低近视的最佳反应动力学选择最佳的遗忘策略。本文提出了一种基于后验抽样的平均场博弈强化学习方法，每个智能体从先前的转换中抽取一个转换概率。我们表明，政策和行动的分布收敛到最佳的遗忘策略和限制分布，分别构成一个MFE。
2019-10-08 cs.AI cs.LG stat.ML
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences（科隆应用技术大学）
本文介绍了基于n元组的强化学习（RL）算法的游戏。我们提出了TD，SARSA和Q学习的新算法，这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的，其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL（FARL）的新元素。我们的主要贡献是，FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果，其中包括1，2和3名球员，包括奥赛罗，ConnectFour和Hex。在大多数情况下，发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
SCC: an efficient deep reinforcement learning agent mastering the game of StarCraft II
AlphaStar是《星际争霸II》中达到大师级的AI，它是一个非凡的里程碑，展示了深度强化学习在复杂的实时战略（RTS）游戏中可以实现的目标。然而，游戏、算法和系统的复杂性，特别是所需的巨大计算量，是社区在这一方向上进行进一步研究的巨大障碍。我们提出了一个深度强化学习代理，星际争霸指挥官（SCC）。凭借数量级更少的计算，它展示了顶级人类在测试比赛中击败大师级球员和现场比赛中击败顶级职业球员的表现。此外，它对各种人类策略表现出强大的鲁棒性，并发现了人类游戏中看不到的新策略。在本文中，我们将分享关于星际争霸2完整游戏的高效模仿学习和强化学习的关键见解和优化。
2021-06-09 cs.LG
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)（美国艺电（EA））
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题，介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践，总结了落地中的耗时难点并提出相关研究方向，助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Deep Reinforcement Learning for General Video Game AI
New York University（纽约大学）；Southern University of Science and Technology（南方科技大学）；Queen Mary University of London（伦敦玛丽女王大学）
通用视频游戏AI（GVGAI）竞赛及其相关的软件框架提供了一种在大量以特定领域描述语言编写的游戏上对AI算法进行基准测试的方法。虽然竞争已经看到了很多的兴趣，它迄今为止一直集中在在线规划，提供了一个前向模型，允许使用算法，如蒙特卡罗树搜索。在本文中，我们描述了如何将GVGAI接口到OpenAI Gym环境，这是一种将代理连接到强化学习问题的广泛使用的方式。使用这个接口，我们描述了几种深度强化学习算法在一些GVGAI游戏中的广泛使用的实现。我们进一步分析结果，以提供这些游戏相对于彼此的相对难度的第一个指标，以及在类似条件下相对于街机学习环境中的相对难度。
2018-06-06 cs.AI cs.LG cs.NE
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London（帝国理工学院）
深度强化学习系统在许多复杂的双人游戏（围棋、国际象棋、象棋）中表现优于世界级的人类玩家。然而，由于易处理性的考虑，极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中，我们考虑简单的游戏（Noughts-and-Crosses和Hexapawn），其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾，以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中，正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差（更高的累积极大极小遗憾）。此外，MIGO的学习规则相对容易理解，并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research（脸书人工智能研究院）
深度强化学习和搜索在训练和测试时的结合是一个强大的范例，它在单智能体设置和完美信息游戏中取得了许多成功，AlphaZero就是最好的例子。然而，这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL，一个自我发挥强化学习和搜索的一般框架，可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中，ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明，ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现，同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Mathematical Institute, University of Oxford（牛津大学数学系）；Citadel Securities（Citadel证券公司）
多智能体游戏的强化学习最近引起了很多关注。然而，鉴于解决大型人口博弈的纳什均衡的挑战，现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体，要么旨在解决（粗）相关均衡，要么需要访问模拟器，要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML（Mean-Field Occupation-Measure Learning），用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法，用于可证明地解决纳什均衡（直到平均场近似差距，随着参与者$N$的数量变为无穷大而消失），超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差，该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏，和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏，其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品，我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏，如雅达利游戏，或简单的任务，如在迷宫中导航。这仍然是一个悬而未决的问题，如何解决更复杂的环境中，奖励是稀疏的，状态空间是巨大的。在本文中，我们提出了一种分而治之的深度强化学习解决方案，并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比，最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说，该方法利用异步优势演员评论家（A3 C）架构，使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法，使用多个代理并行训练目标游戏的不同表示来更新模型，而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能，OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
Diversity-based Deep Reinforcement Learning Towards Multidimensional Difficulty for Fighting Game AI
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
在格斗游戏中，具有相同技能水平的个体玩家通常通过他们的游戏玩法表现出彼此不同的策略。尽管如此，大多数用于格斗游戏的人工智能智能体对于每个“级别”的难度只有一个策略。为了让AI对手更像人类，我们希望在每个难度级别上看到多种不同的策略，我们称之为“多维”难度。在本文中，我们介绍了一种基于多样性的深度强化学习方法，用于生成一组利用不同策略的相似难度的代理。我们发现，这种方法在多样性和性能方面都优于使用专门的、人工编写的奖励函数训练的基线。
2022-11-04 cs.LG
Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模，其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法，实现了一个次线性的遗憾相比，与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径，这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策，UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略，其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
4Hammer: a board-game reinforcement learning environment for the hour long time frame
DEIB – Politecnico di Milano（米兰理工大学DEIB）
针对大语言模型难以应对长时长任务、缺乏专用复杂桌游评估环境的问题，提出基于复杂零和桌游《Warhammer 40,000》部分玩法的数字孪生强化学习环境4Hammer，可用于强化学习与大语言模型的长时长任务能力评估。
2025-05-19 cs.CL cs.LG
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
Transformer Based Reinforcement Learning For Games
Indian Institute of Technology-Bombay（印度理工学院孟买分校）
最近，使用深度强化学习技术（如Deep Q Networks，策略梯度，Actor Critic方法）的强化学习任务有了显著的改进，这些方法基于基于深度学习的模型和梯度的反向传播来训练这些模型。强化学习的一个活跃研究领域是训练智能体玩复杂的视频游戏，到目前为止，这只能通过人类智能来完成。使用深度强化学习的视频游戏中的一些最先进的性能是通过处理视频游戏中的帧序列来获得的，将它们通过卷积网络以获得特征，然后使用递归神经网络来计算导致最佳奖励的动作。递归神经网络将学习从这些特征的序列中提取有意义的信号。在这项工作中，我们提出了一种利用Transformer网络的方法，该网络最近取代了自然语言处理（NLP）中的RNN，并进行实验，与现有的方法进行比较。
2019-12-09 cs.LG cs.NE
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences（计算机与信息科学学院）；Northeastern University（东北大学）
强化学习最近已经作为一种非常强大的工具出现，以解决棋盘游戏领域中的复杂问题，其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法，但它尚未在古代游戏中展示其能力。在这里，我们解决了这样一个问题，我们训练我们的代理使用不同的方法，即蒙特卡洛，Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的，但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论，当使用有限的资源进行训练时，哪种算法的整体性能更好，但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT（NCsoft公司）
强化学习与深度神经网络相结合，最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而，据我们所知，目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难，包括：巨大的动作空间，动作依赖性和不完美的信息。我们克服了这些挑战，并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛，获胜率达到了62%。本文提出了一种实用的强化学习方法，包括一个新的自我发挥的课程和数据跳过技术。通过课程，三种不同风格的代理人创建的奖励塑造，并训练对彼此。此外，本文还提出了数据跳过技术，可以提高数据效率，方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间，我们预计其应用到游戏开发，包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
PettingZoo: Gym for Multi-Agent Reinforcement Learning
本文介绍了PettingZoo库和伴随的Agent环境循环（AEC）游戏模型。PettingZoo是一个包含多种多代理环境的库，具有通用，优雅的Python API。PettingZoo的开发目标是加速多智能体强化学习（“MARL”）的研究，通过使工作更具可互换性，可访问性和可复制性，类似于OpenAI的Gym库为单智能体强化学习所做的工作。PettingZoo的API虽然继承了Gym的许多功能，但在MARL API中是独一无二的，因为它基于新颖的AEC游戏模型。我们认为，部分通过流行的MARL环境中的主要问题的案例研究，流行的游戏模型是穷人的概念模型的游戏中常用的MARL，因此可以促进混乱的错误，很难检测到，AEC游戏模型解决这些问题。
2021-10-26 cs.LG cs.MA stat.ML
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
深度强化学习的进步使自主智能体在Atari游戏中表现出色，往往优于人类，只使用原始像素来做出决定。然而，这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中，我们提出了第一个架构，以解决第一人称射击游戏中的3D环境，涉及部分可观察的状态。通常，深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型，以利用游戏特征信息，如敌人或项目的存在，在训练阶段。我们的模型经过训练，可以同时学习这些特征以及最小化Q学习目标，这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的，允许不同的模型在游戏的不同阶段进行独立训练。我们表明，所提出的架构大大优于内置的人工智能智能体的游戏，以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University（卡内基梅隆大学）
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展，重点关注其有限时间收敛速率，回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Reinforcement Learning for High-Level Strategic Control in Tower Defense Games
Electronic Arts (EA)（美国艺电公司（EA））
本文提出将强化学习与脚本化AI相结合用于塔防游戏测试与验证，并在《植物大战僵尸》上验证该方法比纯启发式AI成功率更高、更稳健。
2024-06-12 cs.LG
Multi-Agent Reinforcement Learning in Cournot Games
University of Washington（华盛顿大学）
在这项工作中，我们研究了有限信息反馈的连续行动古诺博弈中战略代理人的相互作用。古诺博弈是许多社会经济系统中必不可少的市场模型，在这种模型中，代理人在不完全了解系统或彼此的情况下学习和竞争。我们考虑了凹古诺博弈中策略梯度算法的动态性，这是一种被广泛采用的连续控制强化学习算法。证明了当价格函数为线性函数或代理商个数为2时，策略梯度动态收敛于纳什均衡。这是第一个结果（据我们所知）的收敛性的学习算法与连续的行动空间，不属于无遗憾类。
2020-09-14 cs.GT cs.LG cs.MA
Deep Reinforcement Learning for FlipIt Security Game
Boston University（波士顿大学）；Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）；CMSA, Harvard University（哈佛大学数学与应用中心）
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而，在大多数这些游戏中，智能体在任何时候都对环境有充分的了解。在本文中，我们描述了一个深度学习模型，在该模型中，智能体成功地适应不同类别的对手，并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt，这是一个两个玩家的安全游戏，其中两个玩家，攻击者和防御者，争夺一个共享资源的所有权，并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络，并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息，我们的模型成功地学习了一个具有成本效益的反策略，优于对手的策略，并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏，引入了一个新的低成本移动，并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
Targets in Reinforcement Learning to solve Stackelberg Security Games
University of Maryland（马里兰大学）；Montgomery Blair High School（蒙哥马利布莱尔高中）；Wootton High School（伍顿高中）
强化学习（RL）算法已成功应用于现实世界的情况，如非法走私，偷猎，森林砍伐，气候变化，机场安全等。这些场景可以被框定为Stackelberg安全游戏（SSG），其中防御者和攻击者竞争控制目标资源。该算法的能力是由代理控制的目标进行评估。本文综述了强化学习中SSG的建模，重点是强化学习算法中目标表示的可能改进。
2022-11-30 cs.AI cs.GT cs.LG
A Comprehensive Review of Multi-Agent Reinforcement Learning in Video Games
DigiPen Institute of Technology（迪吉彭理工学院）；Suzhou City University（苏州城市学院）；Soochow University（苏州大学）
本文综述了多智能体强化学习（MARL）在多品类电子游戏中的应用进展，分析了核心挑战与典型落地案例，提出了游戏复杂度评估新方法并指明未来研究方向。
2025-09-03 cs.LG
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Reinforcement Learning for Finite Space Mean-Field Type Games
Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海前沿科学中心人工智能与深度学习中心）；NYU Shanghai（纽约大学上海校区）；NYU Center for Data Science（纽约大学数据科学中心）；NYU-ECNU Institute of Mathematical Sciences（纽约大学-东华大学数学科学研究所）
针对有限空间平均场类型博弈缺乏可扩展计算方法的问题，提出基于量化与Nash Q-learning及深度强化学习的算法，并证明近似均衡与实验有效性。
2025-07-26 cs.GT cs.LG math.OC
Disentangling Controllable Object through Video Prediction Improves Visual Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在许多基于视觉的强化学习（RL）问题中，智能体控制其视野中的可移动物体，例如，视频游戏中的玩家化身和视觉抓取和操纵中的机器人手臂。利用动作条件视频预测，我们提出了一个端到端的学习框架，从观察信号中分离出可控对象。解纠缠的表示是有用的RL作为额外的观察渠道的代理。在一组Atari游戏上进行的实验表明，该算法提高了样本效率和游戏性能（从222.8%提高到261.4%，标准化游戏分数，预测奖金奖励）。
2020-02-21 cs.CV cs.LG stat.ML
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
From Game-theoretic Multi-agent Log Linear Learning to Reinforcement Learning
University of Oxford（牛津大学）；University of Toronto（多伦多大学）
本文的主要重点是增强两种类型的博弈论学习算法：对数线性学习和强化学习。对数线性学习的标准分析需要一个高度结构化的环境，即从实现的角度对游戏进行强有力的假设。在本文中，我们介绍了对数线性学习的一个变体，它提供了渐近保证，同时放松了结构假设，包括同步更新和玩家可用信息的限制。另一方面，无模型强化学习即使在对参与者关于环境和其他参与者策略的知识的较弱假设下也能够执行。我们提出了一种强化算法，使用双聚合方案，以加深玩家对环境的洞察力和恒定的学习步长，从而实现更高的收敛速度。数值实验验证了算法的鲁棒性和性能。
2018-09-18 cs.LG cs.MA
Learning in games via reinforcement and regularization
CNRS (French National Center for Scientific Research)（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Wisconsin（威斯康星大学）
我们研究了一类强化学习动态，其中玩家根据他们的行动随时间的累积收益调整他们的策略-具体来说，通过玩混合策略来最大化他们的预期累积收益减去正则化项。一个被广泛研究的例子是指数强化学习，这是一个由熵正则化项引起的过程，它导致混合策略根据复制动力学进化。然而，与用于在随机虚拟游戏模型中定义平滑最佳响应的正则化函数类相反，本文中使用的函数在单纯形的边界处不需要无限陡峭;事实上，放弃这一要求会导致陡峭和非陡峭情况之间的重要二分法。在这个一般框架中，我们扩展了指数学习的几个性质，包括消除支配策略，严格纳什均衡的渐近稳定性，以及在具有内部纳什均衡的零和对策中时间平均轨迹的收敛性。
2016-02-08 cs.GT cs.LG math.OC
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
Can Reinforcement Learning Find Stackelberg-Nash Equilibria in General-Sum Markov Games with Myopic Followers?
Peking University（北京大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）
本文研究了多人一般和马氏对策，其中一个人被指定为领导者，其他人被视为追随者。特别是，我们专注于一类游戏的追随者是近视，即，他们的目标是最大化他们的即时回报。对于这样的博弈，我们的目标是找到一个斯塔克伯格-纳什均衡（SNE），它是一个策略对$(π^*, ν^*)$，使得（i）当跟随者总是采取他们的最佳对策时，$π^*$是领导者的最优策略，（ii）$ν^*$是跟随者的最佳对策，这是由$π^*$诱导的跟随者博弈的纳什均衡。我们开发了样本高效的强化学习（RL）算法，用于在线和离线设置中求解SNE。我们的算法是乐观和悲观的最小二乘值迭代的变种，他们很容易能够将函数逼近工具在大的状态空间的设置。此外，对于线性函数逼近的情况，我们证明了我们的算法分别在在线和离线设置下实现次线性遗憾和次最优。据我们所知，我们建立了第一个可证明有效的RL算法求解SNE在一般和马尔可夫游戏近视的追随者。
2021-12-27 cs.GT cs.LG stat.ML
Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games
Yale University（耶鲁大学）
本文针对连续状态空间且智能体互不观测动作的随机博弈，提出一种去中心化MARL算法并证明其策略更新近最优，同时给出基于最佳响应的全局策略更新收敛概率的闭式刻画。
2023-03-16 cs.GT cs.LG
Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games
两个玩家零和同时动作游戏在视频游戏、金融市场、战争、商业竞争和许多其他设置中很常见。我们首先介绍了强化学习的基本概念，在两个玩家零和同时行动游戏，并讨论了这种类型的游戏所带来的独特挑战。然后，我们介绍了两个新的代理，试图通过使用联合行动深度Q网络（DQN）来处理这些挑战。第一个代理，称为最佳反应策略（BRAT），使用模仿学习建立对手策略的显式模型，然后使用该模型找到最佳反应以利用对手的策略。第二个代理，元纳什DQN，建立一个隐式模型，其对手的政策，以产生一个上下文变量，用作Q值计算的一部分。一个明确的极小极大的Q值是用来找到行动接近纳什均衡。我们发现经验，这两个代理收敛到纳什均衡在一个简单的矩阵游戏的自我发挥设置，同时也表现良好的游戏具有较大的状态和动作空间。这些新的算法进行评估香草RL算法，以及最新的最先进的多代理和两个代理算法。这项工作结合了传统的强化学习，博弈论和元学习的思想。
2021-10-10 cs.GT cs.LG
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Simon Fraser University（西蒙弗雷泽大学）
已经提出了各种机器学习模型来评估职业运动员的表现。然而，他们只有有限的能力来模拟玩家的表现如何取决于游戏环境。本文提出了一种捕获游戏上下文的新方法：我们应用深度强化学习（DRL）从国家曲棍球联盟（NHL）的3M逐场比赛事件中学习动作值Q函数。神经网络表示使用基于占有的LSTM集成了连续上下文信号和游戏历史。学习的Q函数用于评估玩家在不同游戏情境下的行为。为了评估玩家的整体表现，我们引入了一个新的游戏影响指标（GIM），聚合玩家的行动的价值。实证评估表明，GIM是一致的，在整个赛季，并与标准的成功措施和未来的工资高度相关。
2018-07-16 cs.AI cs.LG stat.ML
Gym-$μ$RTS: Toward Affordable Full Game Real-time Strategy Games Research with Deep Reinforcement Learning
Drexel University（德雷塞尔大学）；Google（谷歌）；Queen Mary University（玛丽女王大学）
近年来，研究人员在将深度强化学习（DRL）算法应用于实时的【形】策略（RTS）游戏方面取得了巨大成功，创造了强大的自主智能体，可以在《星际争霸2》中击败职业玩家。然而，现有的处理完整游戏的方法具有很高的计算成本，通常需要使用数千个GPU和CPU数周。本文有两个主要贡献，以解决这个问题：1）我们介绍了健身房- $μ$ RTS（发音为“健身房微RTS”）作为一个快速运行的RL环境，为完整的游戏RTS研究和2）我们提出了一系列的技术来缩放DRL玩完整的游戏$μ$ RTS以及消融研究，以证明其经验的重要性。我们训练得最好的机器人可以击败我们在过去的$μ$ RTS比赛中测试的每一个$μ$ RTS机器人，在单地图设置中工作，从而产生最先进的DRL代理，而使用单台机器（一个GPU，三个vCPU，16 GB RAM）只需要大约60小时的训练。请参阅https://wandb.ai/vwxyzjn/gym-microrts-paper/reports/Gym-RTS-Toward-Affordable-Deep-Reinforcement-Learning-Research-in-Real-Time-Strategy-Games--Vmlldzo2MDIzMTg上的博客文章和https://github.com/vwxyzjn/gym-microrts-paper上的源代码
2021-07-28 cs.LG
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing（交互式计算学院）；Georgia Institute of Technology（佐治亚理工学院）
基于文本的冒险游戏提供了一个在组合动作空间（如自然语言）的背景下探索强化学习的平台。我们提出了一个深度强化学习架构，将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间，从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务，这是一种迁移学习的形式，可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中，我们表明，我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology（意大利理工学院）；University of British Columbia（英属哥伦比亚大学）
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而，大多数交互式场景并不具有单独的最终目标性能;相反，这些代理人与人类交互时的社会影响同样重要，并且在大多数情况下，从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念，我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架，通过分析行为轨迹自动修订游戏配置，实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University（国立阳明交通大学）
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行，并吸引了研究人员开发游戏程序。由于其简单性和复杂性，2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况，对强化学习和计算机游戏算法进行了全面的研究。首先，本文提出了乐观的时间差学习，它通过采用乐观的初始化来鼓励探索2048，从而显着提高了学习质量。此外，基于这种方法，一个国家的最先进的计划，为2048年的发展，实现了最高的性能在所有的学习为基础的计划，即625377分的平均成绩和率为72%，达到32768瓦片。其次，本文研究了与2048相关的几种技术，包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的，为进一步提高当前国家的最先进的程序的性能。最后，本文通过提出课程设计方案和总结教学经验，探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生，并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia（弗吉尼亚大学）；IBM Research（IBM研究院）
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习（MIRL）。与著名的逆强化学习（IRL）问题相比，MIRL是在随机博弈的背景下形式化的，它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题，并提出了一个贝叶斯解决方案的方法，其中生成模型是基于一个假设，即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下，一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明，协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
