Baselines for Reinforcement Learning in Text Games
Charles University（查尔斯大学）
在动作空间由自然语言的句子定义的系统中学习最优控制策略的能力将允许许多有趣的现实世界应用，例如对话系统的自动优化。具有多个结局和奖励的基于文本的游戏是一个很有前途的平台，因为它们的反馈允许我们采用强化学习技术来共同学习文本表示和控制策略。我们认为，人工智能智能体的关键属性，特别是在文本游戏的背景下，是他们的能力，概括到以前看不见的游戏。我们提出了一个极简的文本游戏代理，测试其泛化和迁移学习性能，并显示其能够同时玩多个游戏。我们还介绍了pyfiction，一个开源库，可以通用访问不同的文本游戏，连同我们的代理，实现其接口，作为未来研究的基线。
2018-11-12 cs.AI
Playing a Strategy Game with Knowledge-Based Reinforcement Learning
arago GmbH（arago有限公司）
本文提出基于知识的强化学习KB-RL，融合多专家知识与强化学习冲突解决策略，在FreeCiv策略游戏中实现完整通关并战胜电脑玩家，且随经验增加持续缩短获胜回合数。
2019-08-15 cs.AI
RLCard: A Toolkit for Reinforcement Learning in Card Games
Texas A&M University（得克萨斯农工大学）；Simon Fraser University（西蒙弗雷泽大学）
RLCard是一个开源工具包，用于纸牌游戏中的强化学习研究。它支持各种纸牌环境，界面简单易用，包括21点、乐杜克扑克、德州扑克、UNO、斗地主和麻将。RLCard的目标是在强化学习和不完全信息博弈之间架起一座桥梁，推动强化学习在多智能体、大状态和动作空间、稀疏奖励等领域的研究。在本文中，我们提供了一个概述的关键组成部分，在RLCard的设计原则的讨论，接口的简要介绍，和环境的综合评价。代码和文档可在https://github.com/datamllab/rlcard上获得
2020-02-14 cs.AI
Reinforcement Learning for ConnectX
IIT Bombay（印度理工学院孟买分校）
ConnectX是一款双人游戏，推广了流行的游戏Connect 4。目标是让X个硬币穿过M x N棋盘的一行、一列或对角线。第一个这样做的玩家赢得比赛。参数（M，N，X）允许在每个游戏中改变，使得ConnectX成为一个新颖且具有挑战性的问题。在本文中，我们提出了我们的工作的实施和修改的各种强化学习算法发挥ConnectX。
2022-10-15 cs.AI
PyTAG: Challenges and Opportunities for Reinforcement Learning in Tabletop Games
Queen Mary University of London（伦敦玛丽女王大学）
针对现代桌面游戏强化学习研究不足的问题，提出对接桌面游戏框架TAG的Python API PyTAG，给出强化学习智能体训练技术与基准结果，为该领域研究提供平台与方向。
2023-07-19 cs.AI
Multiple Domain Cyberspace Attack and Defense Game Based on Reward Randomization Reinforcement Learning
Command and Control Engineering College, Army Engineering University of PLA（中国人民解放军陆军工程大学指挥控制工程学院）；troop of PLA（中国人民解放军31436部队）；Academy of Military Science（军事科学院）
现有的网络攻防手段可以看作是博弈，但大多数博弈只涉及网络域，而不是多域的网络空间。针对这一挑战，提出了一种基于强化学习的多域网络空间攻防博弈模型。我们将网络空间定义为物理域、网络域和数字域的多域网络空间。通过建立两个代理，分别代表攻击者和防御者，防御者通过强化学习在多域网络空间中选择多个域行为，以获得防御者的最优奖励。为了提高防守方的防守能力，提出了一种基于奖励随机化强化学习的博弈模型。当防御者采取多域防御行动时，奖励随机给予，并服从线性分布，以寻找更好的防御策略，提高防御成功率。实验结果表明，该博弈模型能有效模拟多域网络空间的攻防状态，且防御成功率高于DDPG和DQN。
2022-05-23 cs.AI
Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder（阿格德大学）
近年来，强化学习取得了许多突破，最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问，当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时，深度强化学习将发挥重要作用。要做到这一点，需要有一个针对和促进人工智能研究的游戏环境，特别是深度强化学习。一些游戏环境已经存在，然而，这些要么过于简单，如雅达利2600或复杂，如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境，特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外，作为环境可以包含深度增强算法的概念证明，我们提出并应用了深度Q增强架构。该架构简化了状态空间，使其适用于Q学习，并反过来提高了性能相比，目前最先进的方法。我们的实验表明，所提出的架构可以很好地学习游戏环境，并且比标准的Deep Q学习高出33%，这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
Monte Carlo Q-learning for General Game Playing
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高等计算机科学研究所）；Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高等计算机科学研究所）；Leiden University, Leiden, the Netherlands（莱顿大学，荷兰莱顿）
在AlphaGo最近的突破性成果之后，我们看到了人们对游戏中的强化学习的浓厚兴趣。一般博弈（GGP）为强化学习提供了一个很好的测试平台。在GGP中，给出了一个游戏规则的规范。GGP问题可以通过强化学习来解决。Q学习是一种典型的强化学习方法，并且已经被（Banerjee & Stone，IJCAI 2007）用于GGP。在本文中，我们在GGP中实现了三个小棋盘游戏（Tic-Tac-Toe，Connect Four，Hex）的Q学习，以与Banerjee等人进行比较。正如预期的那样，Q学习收敛，尽管比MCTS慢得多。借鉴MCTS的思想，我们用蒙特卡洛搜索增强Q学习，给出QM学习。这种增强提高了纯Q学习的性能。我们相信，QM学习也可以用于进一步提高大型游戏的强化学习性能，我们将在未来的工作中进行测试。
2018-05-21 cs.AI
Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）
本文利用部分物理知识学习动力学模型并生成想象轨迹训练无模型策略与 Q 函数，同时结合模型进行混合规划，从而在强化学习的样本效率、推理时间和渐近性能间取得更优平衡。
2024-07-02 cs.AI cs.LG
FlashRL: A Reinforcement Learning Platform for Flash Games
University of Agder（阿格德尔大学）
强化学习（RL）是近年来蓬勃发展的一个研究领域，在成功玩计算机游戏等方面表现出了巨大的潜力。然而，只有少数游戏平台提供了推进RL算法所需的任务和状态空间的多样性。现有的平台提供对Atari和一些基于Web的游戏的RL访问，但没有平台完全公开对Flash游戏的访问。这是不幸的，因为将RL应用于Flash游戏有可能推动RL算法的研究。本文介绍了Flash强化学习平台（FlashRL），它试图通过在一个新颖的Flash自动化平台上为数千个Flash游戏提供一个环境来填补这一空白。它为Flash游戏的RL算法打开了简单的实验，这在以前是具有挑战性的。该平台显示出卓越的性能，在消费类硬件上的CPU利用率仅为5%。它显示了新的强化学习算法有前途的结果。
2018-01-26 cs.AI cs.GT
Optimizing Energy Management of Smart Grid using Reinforcement Learning aided by Surrogate models built using Physics-informed Neural Networks
针对强化学习求解智能电网最优潮流时依赖昂贵模拟器、样本效率低的问题，提出用PINNs代理模型替代原环境，从而显著加速策略训练并获得收敛结果。
2025-10-20 cs.AI cs.LG
Causally-Informed Reinforcement Learning for Adaptive Emotion-Aware Social Media Recommendation
Pennsylvania State University（宾夕法尼亚州立大学）
针对现有社交媒体推荐仅优化参与度、损害用户情绪健康的问题，提出ESMR框架，融合Transformer情绪预测与混合推荐策略，兼顾用户情绪健康与平台参与度表现。
2025-10-01 cs.AI cs.IR
Language Understanding for Text-based Games Using Deep Reinforcement Learning
MIT（麻省理工学院）
在本文中，我们认为基于文本的游戏的学习控制策略的任务。在这些游戏中，虚拟世界中的所有交互都是通过文本进行的，并且无法观察到底层状态。由此产生的语言障碍使得这种环境对自动游戏玩家具有挑战性。我们采用深度强化学习框架，使用游戏奖励作为反馈来联合学习状态表示和动作策略。这个框架使我们能够将文本描述映射到捕获游戏状态语义的矢量表示中。我们在两个游戏世界上评估了我们的方法，使用词袋和二元组袋进行状态表示，与基线进行比较。我们的算法在这两个世界上都优于基线，证明了学习表达性表征的重要性。
2015-09-11 cs.AI cs.CL
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London（帝国理工学院）
深度强化学习系统在许多复杂的双人游戏（围棋、国际象棋、象棋）中表现优于世界级的人类玩家。然而，由于易处理性的考虑，极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中，我们考虑简单的游戏（Noughts-and-Crosses和Hexapawn），其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾，以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中，正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差（更高的累积极大极小遗憾）。此外，MIGO的学习规则相对容易理解，并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Bridging Physics-Informed Neural Networks with Reinforcement Learning: Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO)
University of Waterloo（滑铁卢大学）
将Hamilton-Jacobi-Bellman近端策略优化（HJBPPO）算法引入到强化学习中。Hamilton-Jacobi-Bellman（HJB）方程在控制理论中用于评估价值函数的最优性。我们的工作将HJB方程与连续状态和动作空间中的强化学习相结合，以改善价值网络的训练。我们将价值网络视为物理信息神经网络（PINN），通过精确计算其对输入的导数来求解HJB方程。近端策略优化（PPO）-裁剪算法是利用该实现改进的，因为它使用价值网络来计算其策略网络的目标函数。HJBPPO算法在MuJoCo环境中显示出比PPO更好的性能。
2023-02-01 cs.AI cs.LG cs.NA
PiCSRL: Physics-Informed Contextual Spectral Reinforcement Learning
Florida State University（佛罗里达州立大学）
本文提出PiCSRL，结合领域知识设计嵌入以改进自适应传感，通过物理信息特征提升预测能力，在湖 Erie 超光谱图像中实现最优站点选择和高检测率。
2026-03-26 cs.AI cs.LG
Physically-Grounded Goal Imagination: Physics-Informed Variational Autoencoder for Self-Supervised Reinforcement Learning
FPT University（FPT大学）
本文提出PI-RIG，通过增强物理信息变分自编码器将物理约束融入目标生成，分离物理变量与环境因素，提升自监督强化学习中目标的物理一致性与可实现性，改善机器人操作技能学习效果。
2025-11-10 cs.AI cs.RO
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences（计算机与信息科学学院）；Northeastern University（东北大学）
强化学习最近已经作为一种非常强大的工具出现，以解决棋盘游戏领域中的复杂问题，其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法，但它尚未在古代游戏中展示其能力。在这里，我们解决了这样一个问题，我们训练我们的代理使用不同的方法，即蒙特卡洛，Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的，但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论，当使用有限的资源进行训练时，哪种算法的整体性能更好，但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT（NCsoft公司）
强化学习与深度神经网络相结合，最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而，据我们所知，目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难，包括：巨大的动作空间，动作依赖性和不完美的信息。我们克服了这些挑战，并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛，获胜率达到了62%。本文提出了一种实用的强化学习方法，包括一个新的自我发挥的课程和数据跳过技术。通过课程，三种不同风格的代理人创建的奖励塑造，并训练对彼此。此外，本文还提出了数据跳过技术，可以提高数据效率，方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间，我们预计其应用到游戏开发，包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
深度强化学习的进步使自主智能体在Atari游戏中表现出色，往往优于人类，只使用原始像素来做出决定。然而，这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中，我们提出了第一个架构，以解决第一人称射击游戏中的3D环境，涉及部分可观察的状态。通常，深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型，以利用游戏特征信息，如敌人或项目的存在，在训练阶段。我们的模型经过训练，可以同时学习这些特征以及最小化Q学习目标，这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的，允许不同的模型在游戏的不同阶段进行独立训练。我们表明，所提出的架构大大优于内置的人工智能智能体的游戏，以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Synergizing Code Coverage and Gameplay Intent: Coverage-Aware Game Playtesting with LLM-Guided Reinforcement Learning
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；College of Science and Technology, Nihon University（日本立命馆大学科学技术学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Waseda Institute for Advanced Study, Waseda University（早稻田大学高级研究机构）
SMART框架通过LLM引导强化学习，结合结构验证与功能验证，提升游戏更新测试的覆盖率和任务完成率。
2025-12-14 cs.AI cs.SE
Two-Step Reinforcement Learning for Multistage Strategy Card Game
Warsaw University of Technology（华沙理工大学）
本文针对复杂多阶段卡牌游戏《指环王：卡牌游戏》提出两步强化学习方法，先简化环境学习再进入完整环境，并结合多智能体分工决策，在1万局随机对战中取得78.5%胜率。
2023-11-29 cs.AI cs.GT
A Technique to Create Weaker Abstract Board Game Agents via Reinforcement Learning
Miami University（迈阿密大学）
棋盘游戏，除了单人游戏，至少需要一个其他玩家来玩。正因为如此，我们创建了人工智能（AI）代理，以便在对手失踪时与我们对抗。这些人工智能智能体是以多种方式创建的，但这些智能体的一个挑战是，与我们相比，智能体可能具有更优越的能力。在这项工作中，我们描述了如何创建玩棋盘游戏的较弱的人工智能智能体。我们使用井字游戏、九人莫里斯游戏和曼卡拉游戏，我们的技术使用强化学习模型，其中代理使用Q-学习算法来学习这些游戏。我们展示了这些代理如何学习完美地玩棋盘游戏，然后描述了我们制作这些代理的较弱版本的方法。最后，我们提供了一种方法来比较人工智能智能体。
2022-09-01 cs.AI cs.HC
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab（vivo人工智能实验室）
实时的战略（RTS）游戏具有大的状态空间、动作空间和隐藏信息，需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型，掌握多人在线对战竞技场（MOBA）游戏，RTS游戏的子类型。本文的创新之处在于：（1）提出了一个层次化的框架，其中智能体通过模仿学习执行宏观策略，通过强化学习进行微观操作;（2）开发了一种简单的自学习方法，以获得更好的样本效率进行训练;（3）在没有游戏引擎或应用编程接口（API）的情况下，设计了一种用于多智能体合作的密集奖励函数。最后，各种实验已经被执行，以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI，实验表明，我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)（美国艺电（EA））
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题，介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践，总结了落地中的耗时难点并提出相关研究方向，助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Conceptual Belief-Informed Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出概念信念引导的强化学习（HI-RL），通过提取环境高层概念并构建自适应概率信念作为经验先验，集成到DQN、PPO、SAC和TD3中，在离散与连续控制任务上一致提升样本效率和性能。
2025-11-08 cs.AI cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
Generalization in Text-based Games via Hierarchical Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（澳大利亚人工智能研究所，悉尼科技大学）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）
深度强化学习为基于文本的游戏研究人类与人工智能体之间的自然语言交流提供了一种很有前途的方法。然而，泛化仍然是一个很大的挑战，因为智能体严重依赖于训练任务的复杂性和多样性。在本文中，我们解决这个问题，通过引入一个分层的框架，建立在知识图谱为基础的RL代理。在高层，执行元策略将整个游戏分解为一组由文本目标指定的子任务，并基于KG选择其中一个。然后执行低层的子策略进行目标条件强化学习。对不同难度的游戏进行了实验，结果表明该方法具有良好的推广性。
2021-09-21 cs.AI cs.CL
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research（脸书人工智能研究院）
深度强化学习和搜索在训练和测试时的结合是一个强大的范例，它在单智能体设置和完美信息游戏中取得了许多成功，AlphaZero就是最好的例子。然而，这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL，一个自我发挥强化学习和搜索的一般框架，可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中，ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明，ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现，同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Large-scale Urban Facility Location Selection with Knowledge-informed Reinforcement Learning
Tsinghua University（清华大学）
本文提出知识引导的图神经网络强化学习方法，通过模拟局部搜索的交换操作高效求解大规模城市设施选址问题，在四个美国城市上以低于5%的可达性损失达到接近商业求解器的性能，并实现最高1000倍加速。
2024-09-06 cs.AI cs.CY cs.LG
Reinforcement Learning in Strategy-Based and Atari Games: A Review of Google DeepMinds Innovations
Computer Science Engineering Undergraduate Student（计算机科学工程本科生）；Egypt Japan University of Science and Technology（埃及-日本科学技术大学）；Department of Computer Science and Engineering, School of Electronics, Communications and Computer Engineering（计算机科学与工程系，电子、通信与计算机工程学院）
本文综述了谷歌DeepMind在Atari和策略类游戏中应用强化学习的创新，分析了AlphaGo、AlphaGo Zero和MuZero等模型的核心方法及贡献。
2026-02-11 cs.AI cs.GT
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology（意大利理工学院）；University of British Columbia（英属哥伦比亚大学）
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而，大多数交互式场景并不具有单独的最终目标性能;相反，这些代理人与人类交互时的社会影响同样重要，并且在大多数情况下，从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念，我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架，通过分析行为轨迹自动修订游戏配置，实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University（国立阳明交通大学）
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行，并吸引了研究人员开发游戏程序。由于其简单性和复杂性，2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况，对强化学习和计算机游戏算法进行了全面的研究。首先，本文提出了乐观的时间差学习，它通过采用乐观的初始化来鼓励探索2048，从而显着提高了学习质量。此外，基于这种方法，一个国家的最先进的计划，为2048年的发展，实现了最高的性能在所有的学习为基础的计划，即625377分的平均成绩和率为72%，达到32768瓦片。其次，本文研究了与2048相关的几种技术，包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的，为进一步提高当前国家的最先进的程序的性能。最后，本文通过提出课程设计方案和总结教学经验，探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生，并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Mastering the Game of Guandan with Deep Reinforcement Learning and Behavior Regulating
本文提出GuanZero框架，通过深度神经网络编码方案调控智能体行为，并结合蒙特卡洛方法掌握掼蛋游戏，实验证明其优于现有方法。
2024-02-21 cs.AI cs.LG
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tencent Timi Studio（腾讯天美工作室）
研究多人在线对战竞技场（MOBA）1v 1游戏中复杂动作控制的强化学习问题。这个问题涉及比传统的1v 1游戏（如围棋和Atari系列）复杂得多的状态和动作空间，这使得搜索任何具有人类水平性能的策略变得非常困难。在本文中，我们提出了一个深度强化学习框架，从系统和算法的角度来解决这个问题。我们的系统是低耦合和高可扩展性，这使得在大规模的有效探索。我们的算法包括几个新的策略，包括控制依赖解耦，动作掩码，目标注意力，和双剪辑PPO，我们提出的演员-评论家网络可以有效地在我们的系统中训练。在MOBA游戏《王者荣耀》上测试，我们的人工智能智能体腾讯Solo可以在全1v 1游戏中击败顶尖的人类职业选手。
2020-12-15 cs.AI cs.LG
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics（数学系）；Department of Electrical Engineering and Information Technology（电气工程与信息科技系）；IIIT at ETIT（ETIT的IIIT）
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题，提出先行为克隆后强化学习的混合方法，并采用多头注意力网络，最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Deep Reinforcement Learning for FlipIt Security Game
Boston University（波士顿大学）；Center for Brains, Minds and Machines, MIT（麻省理工学院脑、心智与机器中心）；CMSA, Harvard University（哈佛大学数学与应用中心）
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而，在大多数这些游戏中，智能体在任何时候都对环境有充分的了解。在本文中，我们描述了一个深度学习模型，在该模型中，智能体成功地适应不同类别的对手，并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt，这是一个两个玩家的安全游戏，其中两个玩家，攻击者和防御者，争夺一个共享资源的所有权，并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络，并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息，我们的模型成功地学习了一个具有成本效益的反策略，优于对手的策略，并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏，引入了一个新的低成本移动，并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
Perceiving the World: Question-guided Reinforcement Learning for Text-based Games
University of Technology Sydney（悉尼科技大学）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）；A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心）
基于文本的游戏为研究自然语言处理提供了一种互动的方式。虽然深度强化学习在开发游戏代理方面表现出了有效性，但低样本效率和大的动作空间仍然是阻碍DRL在现实世界中应用的两个主要挑战。在本文中，我们通过引入世界感知模块来解决这些挑战，这些模块通过回答有关环境的问题来自动分解任务和修剪动作。然后，我们提出了一个两阶段的训练框架，以解耦语言学习强化学习，这进一步提高了样本效率。实验结果表明，该方法显著提高了性能和样本效率。此外，它还表现出对复合误差和有限的预训练数据的鲁棒性。
2022-04-21 cs.AI cs.CL
Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Retelling
University of New South Wales（新南威尔士大学）
提出RRR强化学习框架，结合结构主义叙事学与标量叙事性，通过d-RLAIF从文本特征中获取训练信号，无需参考输出，提升LLM故事复述的逻辑性、合理性和完整性。
2026-10-14 cs.AI cs.CL
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University（台湾大学）
深度强化学习已经在游戏中取得了成功。然而，2.5D格斗游戏将是一项具有挑战性的任务，因为视觉外观的模糊性，如人物的高度或深度。此外，此类游戏中的动作通常涉及特定的连续动作顺序，这也使得网络设计非常困难。基于异步优势演员-评论家（A3 C）网络，我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2（LF 2），并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络，它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中，我们在不同的设置中考虑LF 2，这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology（南方科技大学）；NetEase Games AI Lab（网易游戏人工智能实验室）
尽管将演化计算集成到强化学习中取得了新的进展，但缺乏一个高性能的平台来赋予可组合性和大规模并行性，这给异步商业游戏的研究和应用带来了不小的困难。在这里，我们介绍Lamarkian-一个开源平台，支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率，Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求，拉马克为异步马尔可夫决策过程定制了一个接口，并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比，我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势：i）在Google足球游戏上运行PPO时，采样效率和训练速度都提高了一倍; ii）在Pong游戏上运行PBT+PPO时，训练速度提高了13倍。此外，我们还提出了两个用例：i）拉马克如何应用于生成行为多样化的游戏AI; ii）拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games
University of Technology Sydney（悉尼科技大学）；Tencent Robotics X（腾讯Robotics X）；University College London（伦敦大学学院）；IHPC A*STAR（新加坡科技研究局高性能计算研究所）
我们研究了基于文本的游戏的强化学习（RL），这是在自然语言的上下文中的交互式模拟。虽然已经开发了不同的方法来表示环境信息和语言动作，但现有的RL代理没有任何推理能力来处理文本游戏。在这项工作中，我们的目标是进行明确的推理与知识图谱的决策，使代理的行动产生和支持的可解释的推理过程。我们提出了一个堆叠的层次注意力机制，通过利用知识图谱的结构来构建一个明确的表示的推理过程。我们广泛评估我们的方法在一些人造的基准游戏，实验结果表明，我们的方法比现有的基于文本的代理执行得更好。
2020-12-25 cs.AI cs.LG
Sample-Efficient Learning to Solve a Real-World Labyrinth Game Using Data-Augmented Model-Based Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
针对物理环境快速学习难题，提出采用基于模型的强化学习、结合图像观测提取与对称性数据增强的机器人系统，仅用5小时真实数据就创纪录地学会求解真实迷宫游戏，提升了学习样本效率。
2023-12-15 cs.AI cs.RO
Double A3C: Deep Reinforcement Learning on OpenAI Gym Games
Stanford University（斯坦福大学）
强化学习（RL）是机器学习的一个领域，它研究智能体如何在未知环境中采取行动以最大化其回报。与经典的马尔可夫决策过程（MDP）不同，在MDP中，智能体完全了解其状态、奖励和转移概率，强化学习利用对模型不确定性的探索和利用。在模型通常具有大的状态空间的情况下，可以使用神经网络（NN）将其输入状态与其输出动作相关联，以最大化代理的奖励。然而，构建和训练高效的神经网络是具有挑战性的。受Double Q-learning和Asynchronous Advantage Actor-Critic（A3 C）算法的启发，我们将提出并实现Double A3 C算法的改进版本，利用这两种算法的优势来玩OpenAI Gym Atari 2600游戏，以击败我们项目的基准。
2023-03-04 cs.AI cs.LG
Distributional Offline Continuous-Time Reinforcement Learning with Neural Physics-Informed PDEs (SciPhy RL for DOCTR-L)
Fidelity Investments（富达投资）
针对高维最优控制问题，提出了一种基于随机策略的分布式离线连续时间强化学习（DOCTR-L）方法.利用半线性偏微分方程给出了经典Hamilton-Jacobi-Bellman（HJB）方程的软分布形式。这个“软HJB方程”可以从离线数据中学习，而无需假设后者对应于先前的最优或接近最优的政策。软HJB方程的数据驱动解决方案使用在科学机器学习（SciML）领域中开发的神经PDE和物理信息神经网络的方法。因此，被称为“SciPhy RL”的建议方法将DOCTR-L简化为从数据中解决神经PDE。我们的算法称为Deep DOCTR-L，通过将其简化为监督学习，而不是依赖于值迭代或策略迭代方法，将离线高维数据一步转换为最优策略。该方法使一个可计算的方法获得的政策的预期回报和不确定性，他们的价值方面的质量控制。
2021-04-02 cs.AI cs.LG physics.comp-ph
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick（华威大学）
我们介绍了一个新的虚拟环境，模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏，具有相对复杂的动作空间（允许从13张牌的初始开始手牌玩1，2，3，4或5张牌组合）。因此，它对许多当前的强化学习方法提出了挑战。然后，我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏，纯粹通过自我游戏来学习，并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平，而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Boosting Reinforcement Learning in 3D Visuospatial Tasks Through Human-Informed Curriculum Design
York University（约克大学）
本文通过人类指导的课程设计提升强化学习在复杂三维视觉空间任务中的性能。
2025-11-17 cs.AI cs.LG
DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
在本文中，我们介绍了DeepCrawl，这是一个适用于iOS和Android的完全可玩的Roguelike原型，其中所有代理都由使用深度强化学习（DRL）训练的策略网络控制。我们的目标是了解DRL的最新进展是否可以用于为视频游戏中的非玩家角色开发令人信服的行为模型。我们首先分析了这样一个AI系统应该满足的要求，以便在视频游戏开发中实际应用，并确定了DeepCrawl原型中使用的DRL模型的元素。DeepCrawl的成功和局限性通过在最终游戏上进行的一系列可玩性测试来记录。我们相信，我们提出的技术为视频游戏中非玩家角色的行为发展提供了创新的新途径，因为它们提供了克服关键问题的潜力，
2020-12-03 cs.AI cs.LG
ScrofaZero: Mastering Trick-taking Poker Game Gongzhu by Deep Reinforcement Learning
University of Michigan（密歇根大学）；Peking University（北京大学）；Tsinghua University（清华大学）
人们在博弈人工智能方面取得了显著的进展，特别是在完全信息博弈领域。然而，作为一种流行的不完全信息博弈形式，扑克牌游戏中的取整策略一直被认为是一个挑战。由于诡计游戏不仅需要高水平的推理，而且还需要高水平的推理才能脱颖而出，因此它可以成为不完全信息游戏AI的一个新里程碑。我们研究公珠，一种类似于但比契约桥牌稍微简单一点的技巧游戏。尽管如此，公主的策略对人类和计算机玩家来说都足够复杂。我们通过深度强化学习从\textit{tabula rasa}中训练了一个强大的公珠AI ScrofaZero，而以前解决扑克游戏的努力很少利用神经网络的表示能力。此外，我们引入了新的技术，不完美的信息游戏，包括分层抽样，重要性加权，积分超过等价类，贝叶斯推理等，我们的人工智能可以达到人类专家级的性能。在构建我们的程序的方法可以很容易地转移到一个广泛的技巧游戏。
2021-02-15 cs.AI cs.GT cs.NE
