Playing 2048 With Reinforcement Learning
Stanford University(斯坦福大学)
《2048》是一款非常容易上瘾的游戏。这是很容易学习的游戏,但很难掌握,因为创建的游戏显示,只有约1%的游戏出数亿曾经玩过已经赢得了。在本文中,我们想探讨强化学习技术,以赢得2048年。我们采用的方法包括深度Q学习和束搜索,其中束搜索达到2048 28.5的时间。
2021-10-20 cs.AI
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
A Survey of Deep Reinforcement Learning in Video Games
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度强化学习(Deep Reinforcement Learning,DRL)自提出以来取得了巨大的成就。一般来说,DRL代理在每一步都接收高维输入,并根据基于深度神经网络的策略进行操作。这种学习机制通过端到端的方法来更新策略以最大化回报。本文综述了DRL方法的研究进展,包括基于值的算法、策略梯度算法和基于模型的算法,并对它们的主要技术和性能进行了比较。此外,DRL在游戏人工智能(AI)中发挥着重要作用。我们还回顾了DRL在各种视频游戏中的成就,包括经典的街机游戏,第一人称视角游戏和多智能体实时策略游戏,从2D到3D,从单智能体到多智能体。大量具有DRL的视频游戏AI已经实现了超人的性能,但在这一领域仍然存在一些挑战。因此,我们也讨论了DRL方法在该领域应用的一些关键问题,包括探索-开发、样本效率、泛化和迁移、多智能体学习、不完美信息和延迟剩余报酬等,以及一些研究方向。
2019-12-26 cs.AI cs.LG cs.MA
Augmenting Game AI with Deep Reinforcement Learning
Electronic Arts (EA), Stockholm, Sweden(美国艺电公司(EA),斯德哥尔摩,瑞典)
本文提出一种框架,通过深度强化学习训练游戏AI,以增强角色行为的真实感,并探讨了部署中的挑战与未来研究方向。
2026-06-19 cs.AI
Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay
University Politehnica of Bucharest(布加勒斯特理工大学)
本文介绍了一种使用深度强化学习从Arcade学习环境中学习如何玩最难的Atari 2600游戏的新方法。所提出的方法,人类检查点重放,包括使用从人类游戏中采样的检查点作为学习过程的起点。这是为了弥补当前探索策略的困难,例如ε贪婪,在稀疏奖励的游戏中找到成功的控制策略。与其他深度强化学习架构一样,我们的模型使用了一个卷积神经网络,它只接收原始像素输入来估计状态价值函数。我们在Atari平台上最具挑战性的两款游戏Montezuma's Revenge和Private Eye上测试了我们的方法。我们得到的结果显示了显着的改善相比,以前的学习方法,以及在一个随机的球员。我们还提出了一种使用人类游戏体验来训练深度强化学习代理的方法,我们称之为人类体验重播。
2016-07-18 cs.AI
Reinforcement Learning approach for Real Time Strategy Games Battle city and S3
Gymtrekker Fitness Private Limited(Gymtrekker健身私人有限公司);RGUKT IIIT Nuzvid(拉吉夫·甘地知识技术大学 努兹维德印度信息技术学院)
提出了一种基于广义奖励函数的强化学习算法。在我们提出的方法中,我们使用Q-学习和SARSA算法与广义奖励函数的训练的强化学习代理。我们评估了我们提出的算法的性能,两个实时战略游戏称为BattleCity和S3。与RTS中的其他作品相比,采用这种方法有两个主要优点。(1)我们可以忽略模拟器的概念,它通常是游戏特定的,并且通常在任何类型的RTS游戏中都是硬编码的(2)我们的系统可以从与任何对手的交互中学习,并根据对手快速改变策略,并且不需要像以前的作品中使用的任何人类痕迹。关键词:强化学习,机器学习,实时的策略,人工智能。
2016-02-16 cs.AI
Baselines for Reinforcement Learning in Text Games
Charles University(查尔斯大学)
在动作空间由自然语言的句子定义的系统中学习最优控制策略的能力将允许许多有趣的现实世界应用,例如对话系统的自动优化。具有多个结局和奖励的基于文本的游戏是一个很有前途的平台,因为它们的反馈允许我们采用强化学习技术来共同学习文本表示和控制策略。我们认为,人工智能智能体的关键属性,特别是在文本游戏的背景下,是他们的能力,概括到以前看不见的游戏。我们提出了一个极简的文本游戏代理,测试其泛化和迁移学习性能,并显示其能够同时玩多个游戏。我们还介绍了pyfiction,一个开源库,可以通用访问不同的文本游戏,连同我们的代理,实现其接口,作为未来研究的基线。
2018-11-12 cs.AI
Playing a Strategy Game with Knowledge-Based Reinforcement Learning
arago GmbH(arago有限公司)
本文提出基于知识的强化学习KB-RL,融合多专家知识与强化学习冲突解决策略,在FreeCiv策略游戏中实现完整通关并战胜电脑玩家,且随经验增加持续缩短获胜回合数。
2019-08-15 cs.AI
RLCard: A Toolkit for Reinforcement Learning in Card Games
Texas A&M University(得克萨斯农工大学);Simon Fraser University(西蒙弗雷泽大学)
RLCard是一个开源工具包,用于纸牌游戏中的强化学习研究。它支持各种纸牌环境,界面简单易用,包括21点、乐杜克扑克、德州扑克、UNO、斗地主和麻将。RLCard的目标是在强化学习和不完全信息博弈之间架起一座桥梁,推动强化学习在多智能体、大状态和动作空间、稀疏奖励等领域的研究。在本文中,我们提供了一个概述的关键组成部分,在RLCard的设计原则的讨论,接口的简要介绍,和环境的综合评价。代码和文档可在https://github.com/datamllab/rlcard上获得
2020-02-14 cs.AI
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences(科隆应用技术大学)
本文介绍了基于n元组的强化学习(RL)算法的游戏。我们提出了TD,SARSA和Q学习的新算法,这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的,其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL(FARL)的新元素。我们的主要贡献是,FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果,其中包括1,2和3名球员,包括奥赛罗,ConnectFour和Hex。在大多数情况下,发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Reinforcement Learning for ConnectX
IIT Bombay(印度理工学院孟买分校)
ConnectX是一款双人游戏,推广了流行的游戏Connect 4。目标是让X个硬币穿过M x N棋盘的一行、一列或对角线。第一个这样做的玩家赢得比赛。参数(M,N,X)允许在每个游戏中改变,使得ConnectX成为一个新颖且具有挑战性的问题。在本文中,我们提出了我们的工作的实施和修改的各种强化学习算法发挥ConnectX。
2022-10-15 cs.AI
PyTAG: Challenges and Opportunities for Reinforcement Learning in Tabletop Games
Queen Mary University of London(伦敦玛丽女王大学)
针对现代桌面游戏强化学习研究不足的问题,提出对接桌面游戏框架TAG的Python API PyTAG,给出强化学习智能体训练技术与基准结果,为该领域研究提供平台与方向。
2023-07-19 cs.AI
Multiple Domain Cyberspace Attack and Defense Game Based on Reward Randomization Reinforcement Learning
Command and Control Engineering College, Army Engineering University of PLA(中国人民解放军陆军工程大学指挥控制工程学院);troop of PLA(中国人民解放军31436部队);Academy of Military Science(军事科学院)
现有的网络攻防手段可以看作是博弈,但大多数博弈只涉及网络域,而不是多域的网络空间。针对这一挑战,提出了一种基于强化学习的多域网络空间攻防博弈模型。我们将网络空间定义为物理域、网络域和数字域的多域网络空间。通过建立两个代理,分别代表攻击者和防御者,防御者通过强化学习在多域网络空间中选择多个域行为,以获得防御者的最优奖励。为了提高防守方的防守能力,提出了一种基于奖励随机化强化学习的博弈模型。当防御者采取多域防御行动时,奖励随机给予,并服从线性分布,以寻找更好的防御策略,提高防御成功率。实验结果表明,该博弈模型能有效模拟多域网络空间的攻防状态,且防御成功率高于DDPG和DQN。
2022-05-23 cs.AI
Deep Reinforcement Learning for Green Security Games with Real-Time Information
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);World Wild Fund for Nature(世界自然基金会);Microsoft Research(微软研究院)
绿色安全游戏(GSGs)已被提出并应用于优化执法机构在绿色安全领域(如打击偷猎,非法采伐和过度捕捞)的巡逻。然而,诸如足迹和代理在接收到信息时的后续动作的实时的【形】信息,例如,护林员跟随脚印追捕偷猎者,在以前的工作中被忽视了。为了填补这一空白,我们首先提出了一个新的游戏模型GSG-I,它增加了GSG的顺序运动和实时的【形】信息的重要元素。其次,我们设计了一种新的基于深度强化学习的算法DeDOL,以计算适应实时的【形】信息的巡逻策略来对抗最佳响应攻击者。DeDOL建立在双预言机框架和策略空间响应预言机的基础上,通过训练深度Q网络来解决一个受限制的游戏并迭代地向其添加最佳响应策略。探索游戏结构,DeDOL使用特定领域的启发式策略作为初始策略,并构建了几个本地模式,以实现高效和并行化的训练。据我们所知,这是第一次尝试将深度Q学习用于安全游戏。
2018-11-06 cs.AI cs.LG cs.MA
FlashRL: A Reinforcement Learning Platform for Flash Games
University of Agder(阿格德尔大学)
强化学习(RL)是近年来蓬勃发展的一个研究领域,在成功玩计算机游戏等方面表现出了巨大的潜力。然而,只有少数游戏平台提供了推进RL算法所需的任务和状态空间的多样性。现有的平台提供对Atari和一些基于Web的游戏的RL访问,但没有平台完全公开对Flash游戏的访问。这是不幸的,因为将RL应用于Flash游戏有可能推动RL算法的研究。本文介绍了Flash强化学习平台(FlashRL),它试图通过在一个新颖的Flash自动化平台上为数千个Flash游戏提供一个环境来填补这一空白。它为Flash游戏的RL算法打开了简单的实验,这在以前是具有挑战性的。该平台显示出卓越的性能,在消费类硬件上的CPU利用率仅为5%。它显示了新的强化学习算法有前途的结果。
2018-01-26 cs.AI cs.GT
Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder(阿格德大学)
近年来,强化学习取得了许多突破,最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问,当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时,深度强化学习将发挥重要作用。要做到这一点,需要有一个针对和促进人工智能研究的游戏环境,特别是深度强化学习。一些游戏环境已经存在,然而,这些要么过于简单,如雅达利2600或复杂,如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境,特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外,作为环境可以包含深度增强算法的概念证明,我们提出并应用了深度Q增强架构。该架构简化了状态空间,使其适用于Q学习,并反过来提高了性能相比,目前最先进的方法。我们的实验表明,所提出的架构可以很好地学习游戏环境,并且比标准的Deep Q学习高出33%,这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
OpenSpiel: A Framework for Reinforcement Learning in Games
DeepMind;Google(谷歌);University of Alberta(阿尔伯塔大学)
OpenSpiel是一个环境和算法的集合,用于研究一般的强化学习和游戏中的搜索/规划。OpenSpiel支持n玩家(单和多智能体)零和、合作和一般和、一次性和顺序、严格轮流和错误移动、完美和不完美信息游戏,以及传统的多智能体环境,如(部分和完全可观察的)网格世界和社会困境。OpenSpiel还包括分析学习动态和其他常见评估指标的工具。本文档既概述了代码库,又介绍了强化学习、计算博弈论和搜索领域的术语、核心概念和算法。
2020-09-26 cs.AI cs.GT cs.LG
Language Understanding for Text-based Games Using Deep Reinforcement Learning
MIT(麻省理工学院)
在本文中,我们认为基于文本的游戏的学习控制策略的任务。在这些游戏中,虚拟世界中的所有交互都是通过文本进行的,并且无法观察到底层状态。由此产生的语言障碍使得这种环境对自动游戏玩家具有挑战性。我们采用深度强化学习框架,使用游戏奖励作为反馈来联合学习状态表示和动作策略。这个框架使我们能够将文本描述映射到捕获游戏状态语义的矢量表示中。我们在两个游戏世界上评估了我们的方法,使用词袋和二元组袋进行状态表示,与基线进行比较。我们的算法在这两个世界上都优于基线,证明了学习表达性表征的重要性。
2015-09-11 cs.AI cs.CL
Monte Carlo Q-learning for General Game Playing
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高等计算机科学研究所);Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高等计算机科学研究所);Leiden University, Leiden, the Netherlands(莱顿大学,荷兰莱顿)
在AlphaGo最近的突破性成果之后,我们看到了人们对游戏中的强化学习的浓厚兴趣。一般博弈(GGP)为强化学习提供了一个很好的测试平台。在GGP中,给出了一个游戏规则的规范。GGP问题可以通过强化学习来解决。Q学习是一种典型的强化学习方法,并且已经被(Banerjee & Stone,IJCAI 2007)用于GGP。在本文中,我们在GGP中实现了三个小棋盘游戏(Tic-Tac-Toe,Connect Four,Hex)的Q学习,以与Banerjee等人进行比较。正如预期的那样,Q学习收敛,尽管比MCTS慢得多。借鉴MCTS的思想,我们用蒙特卡洛搜索增强Q学习,给出QM学习。这种增强提高了纯Q学习的性能。我们相信,QM学习也可以用于进一步提高大型游戏的强化学习性能,我们将在未来的工作中进行测试。
2018-05-21 cs.AI
Sub-optimal Policy Aided Multi-Agent Reinforcement Learning for Flocking Control
Tsinghua University(清华大学)
群集控制是一个具有挑战性的问题,其中多个代理,如无人机或车辆,需要到达目标位置,同时保持群集并避免与障碍物的碰撞以及环境中代理之间的碰撞。多智能体强化学习在群集控制中取得了良好的效果。然而,基于传统的强化学习的方法需要相当数量的代理和环境之间的交互。提出一种次优策略辅助的多智能体强化学习算法(SPA-MARL),以提高样本效率。SPA-MARL直接利用可以手动设计或使用非学习方法求解的先验策略来帮助代理学习,其中策略的性能可能是次优的。SPA-MARL识别次优策略和自身之间的性能差异,然后如果次优策略更好,则模仿次优策略。我们利用SPA-MARL来解决植绒控制问题。基于人工势场的传统控制方法被用来生成次优策略。实验表明,SPA-MARL可以加快训练过程,并优于MARL基线和使用的次优策略。
2022-09-17 cs.AI cs.LG cs.MA
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University(纽约大学);University of Strathclyde(思克莱德大学);University of Hertfordshire(赫特福德大学);Maastricht University(马斯特里赫特大学)
深度强化学习已经学会了玩很多游戏,但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因,我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家(A2 C)算法,这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的,这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现,其中几个游戏可靠地欺骗了深度强化学习器,并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式,进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学,这可以帮助我们更好地理解(深度)强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology(意大利理工学院);Simon Fraser University(西蒙弗雷泽大学)
强化学习与社会代理人的最新进展,使这些模型实现人类水平的性能在特定的互动任务。然而,大多数交互式场景并没有一个单独的版本作为最终目标;相反,这些代理与人类交互时的社会影响同样重要,而且在很大程度上尚未探索。在这方面,这项工作提出了一种新的强化学习机制的基础上的竞争行为的社会影响。我们提出的模型聚合了客观和社会感知机制,以获得一个竞争分数,用于调节人工代理的学习。为了研究我们提出的模型,我们设计了一个交互式的游戏场景,使用厨师的帽子纸牌游戏,并研究竞争调制如何改变代理的游戏风格,以及这如何影响人类玩家在游戏中的体验。我们的研究结果表明,人类可以检测到特定的社会特征时,对竞争对手的代理相比,共同的代理,这直接影响了人类玩家在随后的游戏中的表现。最后,我们讨论了不同的社会和客观特征,组成的人工竞争分数有助于我们的结果,我们的工作。
2022-08-22 cs.AI
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)(美国艺电(EA))
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题,介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践,总结了落地中的耗时难点并提出相关研究方向,助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Multi-Agent Deep Reinforcement Learning using Attentive Graph Neural Architectures for Real-Time Strategy Games
Korea University(高丽大学);Electronics and Telecommunications Research Institute(电子通信研究院)
在实时的【形】策略(RTS)游戏人工智能研究中,各种多智能体深度强化学习(MADRL)算法得到了广泛而活跃的应用。大部分的研究是基于星际争霸2的环境,因为它是最知名的RTS游戏在世界范围内。在我们提出的基于MADRL的算法中,从根本上使用分布式MADRL,称为QMIX。除了基于QMIX的分布式计算,我们考虑状态分类,可以显着降低计算复杂性。此外,自我注意力机制用于识别图形形式的代理之间的关系。基于这些方法,我们提出了一个分类状态图注意力策略(CSGA-policy)。正如在性能评估中所观察到的,我们提出的CSGA策略与最知名的星际争霸II模拟环境,我们提出的算法在各种设置,以及预期。
2021-05-21 cs.AI
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences(计算机与信息科学学院);Northeastern University(东北大学)
强化学习最近已经作为一种非常强大的工具出现,以解决棋盘游戏领域中的复杂问题,其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法,但它尚未在古代游戏中展示其能力。在这里,我们解决了这样一个问题,我们训练我们的代理使用不同的方法,即蒙特卡洛,Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的,但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论,当使用有限的资源进行训练时,哪种算法的整体性能更好,但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT(NCsoft公司)
强化学习与深度神经网络相结合,最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而,据我们所知,目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难,包括:巨大的动作空间,动作依赖性和不完美的信息。我们克服了这些挑战,并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛,获胜率达到了62%。本文提出了一种实用的强化学习方法,包括一个新的自我发挥的课程和数据跳过技术。通过课程,三种不同风格的代理人创建的奖励塑造,并训练对彼此。此外,本文还提出了数据跳过技术,可以提高数据效率,方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间,我们预计其应用到游戏开发,包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
Targets in Reinforcement Learning to solve Stackelberg Security Games
University of Maryland(马里兰大学);Montgomery Blair High School(蒙哥马利布莱尔高中);Wootton High School(伍顿高中)
强化学习(RL)算法已成功应用于现实世界的情况,如非法走私,偷猎,森林砍伐,气候变化,机场安全等。这些场景可以被框定为Stackelberg安全游戏(SSG),其中防御者和攻击者竞争控制目标资源。该算法的能力是由代理控制的目标进行评估。本文综述了强化学习中SSG的建模,重点是强化学习算法中目标表示的可能改进。
2022-11-30 cs.AI cs.GT cs.LG
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
深度强化学习的进步使自主智能体在Atari游戏中表现出色,往往优于人类,只使用原始像素来做出决定。然而,这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中,我们提出了第一个架构,以解决第一人称射击游戏中的3D环境,涉及部分可观察的状态。通常,深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型,以利用游戏特征信息,如敌人或项目的存在,在训练阶段。我们的模型经过训练,可以同时学习这些特征以及最小化Q学习目标,这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的,允许不同的模型在游戏的不同阶段进行独立训练。我们表明,所提出的架构大大优于内置的人工智能智能体的游戏,以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research(脸书人工智能研究院)
深度强化学习和搜索在训练和测试时的结合是一个强大的范例,它在单智能体设置和完美信息游戏中取得了许多成功,AlphaZero就是最好的例子。然而,这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL,一个自我发挥强化学习和搜索的一般框架,可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中,ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明,ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现,同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Synergizing Code Coverage and Gameplay Intent: Coverage-Aware Game Playtesting with LLM-Guided Reinforcement Learning
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);College of Science and Technology, Nihon University(日本立命馆大学科学技术学院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Waseda Institute for Advanced Study, Waseda University(早稻田大学高级研究机构)
SMART框架通过LLM引导强化学习,结合结构验证与功能验证,提升游戏更新测试的覆盖率和任务完成率。
2025-12-14 cs.AI cs.SE
Two-Step Reinforcement Learning for Multistage Strategy Card Game
Warsaw University of Technology(华沙理工大学)
本文针对复杂多阶段卡牌游戏《指环王:卡牌游戏》提出两步强化学习方法,先简化环境学习再进入完整环境,并结合多智能体分工决策,在1万局随机对战中取得78.5%胜率。
2023-11-29 cs.AI cs.GT
Learning from Learners: Adapting Reinforcement Learning Agents to be Competitive in a Card Game
Istituto Italiano di Tecnologia(意大利理工学院)
学习如何适应复杂和动态的环境是有助于我们智力的最重要因素之一。赋予人工智能这种能力并不是一项简单的任务,特别是在竞争激烈的情况下。在本文中,我们提出了一个广泛的研究如何流行的强化学习算法可以适应和实现学习和发挥现实世界的实现竞争性多人纸牌游戏。我们提出了具体的训练和验证例程的学习代理,以评估代理如何学习竞争力,并解释他们如何适应对方的打法。最后,我们指出每个代理的行为是如何从他们的学习风格中衍生出来的,并为未来在这种情况下的研究创建一个基线。
2020-04-08 cs.AI
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI;MIT(麻省理工学院)
No-press Diplomacy是一个复杂的策略游戏,涉及合作和竞争,是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功,但在涉及与人类合作的领域中,自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法,我们称之为DiL-piKL,规范化的奖励最大化的政策对人类模仿学习的政策,以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后,我们表明,DiL-piKL可以扩展到一个自我发挥的强化学习算法,我们称之为RL-DiL-piKL,它提供了一个模型的人类发挥,同时训练代理,以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中,62名人类参与者的技能水平从初学者到专家,两名梁龙代理人的平均得分都高于所有其他参与者,他们玩了两局以上,根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
A Technique to Create Weaker Abstract Board Game Agents via Reinforcement Learning
Miami University(迈阿密大学)
棋盘游戏,除了单人游戏,至少需要一个其他玩家来玩。正因为如此,我们创建了人工智能(AI)代理,以便在对手失踪时与我们对抗。这些人工智能智能体是以多种方式创建的,但这些智能体的一个挑战是,与我们相比,智能体可能具有更优越的能力。在这项工作中,我们描述了如何创建玩棋盘游戏的较弱的人工智能智能体。我们使用井字游戏、九人莫里斯游戏和曼卡拉游戏,我们的技术使用强化学习模型,其中代理使用Q-学习算法来学习这些游戏。我们展示了这些代理如何学习完美地玩棋盘游戏,然后描述了我们制作这些代理的较弱版本的方法。最后,我们提供了一种方法来比较人工智能智能体。
2022-09-01 cs.AI cs.HC
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab(vivo人工智能实验室)
实时的战略(RTS)游戏具有大的状态空间、动作空间和隐藏信息,需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型,掌握多人在线对战竞技场(MOBA)游戏,RTS游戏的子类型。本文的创新之处在于:(1)提出了一个层次化的框架,其中智能体通过模仿学习执行宏观策略,通过强化学习进行微观操作;(2)开发了一种简单的自学习方法,以获得更好的样本效率进行训练;(3)在没有游戏引擎或应用编程接口(API)的情况下,设计了一种用于多智能体合作的密集奖励函数。最后,各种实验已经被执行,以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI,实验表明,我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
FlapAI Bird: Training an Agent to Play Flappy Bird Using Reinforcement Learning Techniques
Stanford University(斯坦福大学)
强化学习是自动化游戏中最流行的方法之一。该方法允许智能体估计其状态的期望效用,以便在未知环境中做出最优动作。我们试图将强化学习算法应用于Flappy Bird游戏。我们实现了SARSA和Q-Learning,并对其进行了一些修改,如$ε$ -贪婪策略,离散化和向后更新。我们发现SARSA和Q-Learning的表现优于基线,经常达到1400+的分数,最高的游戏分数为2069。
2020-04-08 cs.AI
Training Interactive Agent in Large FPS Game Map with Rule-enhanced Reinforcement Learning
School of Software Engineering, University of Science and Technology of China(中国科学技术大学软件学院);Tencent Games(腾讯游戏)
针对大型复杂3D FPS游戏中AI部署的导航与战斗挑战,提出结合Navmesh、射击规则与深度强化学习的NSRL方法,构建可在《Arena Breakout》大地图交互作战的PMCA智能体,实现多样化类人可控行为。
2024-10-07 cs.AI
DanZero+: Dominating the GuanDan Game through Reinforcement Learning
针对掼蛋复杂规则与巨大状态动作空间,本文提出基于DMC和分布式训练的DanZero,并结合预训练模型改进策略强化学习,使AI性能超越启发式基线。
2023-12-05 cs.AI
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架,通过博弈论重述和镜像下降算法实现全局收敛,并显著超越基线。
2025-10-23 cs.AI cs.LG
Generalization in Text-based Games via Hierarchical Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney(澳大利亚人工智能研究所,悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);King’s College London(伦敦国王学院)
深度强化学习为基于文本的游戏研究人类与人工智能体之间的自然语言交流提供了一种很有前途的方法。然而,泛化仍然是一个很大的挑战,因为智能体严重依赖于训练任务的复杂性和多样性。在本文中,我们解决这个问题,通过引入一个分层的框架,建立在知识图谱为基础的RL代理。在高层,执行元策略将整个游戏分解为一组由文本目标指定的子任务,并基于KG选择其中一个。然后执行低层的子策略进行目标条件强化学习。对不同难度的游戏进行了实验,结果表明该方法具有良好的推广性。
2021-09-21 cs.AI cs.CL
Deep Reinforcement Learning for FlipIt Security Game
Boston University(波士顿大学);Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心);CMSA, Harvard University(哈佛大学数学与应用中心)
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而,在大多数这些游戏中,智能体在任何时候都对环境有充分的了解。在本文中,我们描述了一个深度学习模型,在该模型中,智能体成功地适应不同类别的对手,并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt,这是一个两个玩家的安全游戏,其中两个玩家,攻击者和防御者,争夺一个共享资源的所有权,并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络,并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息,我们的模型成功地学习了一个具有成本效益的反策略,优于对手的策略,并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏,引入了一个新的低成本移动,并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
Reinforcement Learning in Strategy-Based and Atari Games: A Review of Google DeepMinds Innovations
Computer Science Engineering Undergraduate Student(计算机科学工程本科生);Egypt Japan University of Science and Technology(埃及-日本科学技术大学);Department of Computer Science and Engineering, School of Electronics, Communications and Computer Engineering(计算机科学与工程系,电子、通信与计算机工程学院)
本文综述了谷歌DeepMind在Atari和策略类游戏中应用强化学习的创新,分析了AlphaGo、AlphaGo Zero和MuZero等模型的核心方法及贡献。
2026-02-11 cs.AI cs.GT
Sample-Efficient Multi-Agent Reinforcement Learning with Demonstrations for Flocking Control
Tsinghua University(清华大学)
群集控制是多智能体系统中的一个重要问题,它可以提高智能体之间的协作性和安全性,如多智能体无人机和多智能体水下航行器等。与传统方法相比,多智能体强化学习(MARL)更灵活地解决了群集控制问题。然而,基于MARL的方法存在样本效率低下的问题,因为它们需要从代理与环境之间的交互中收集大量的经验。我们提出了一种新的方法预训练与示范MARL(PwD-MARL),它可以利用非专家的示范收集预先与传统的方法来预训练代理。在预训练过程中,智能体同时从MARL和行为克隆的示范中学习策略,并防止过度拟合示范。PwD-MARL通过非专家演示进行预训练,提高了在线MARL过程中的样本效率,具有良好的启动效果。实验表明,即使在演示不好或很少的情况下,PwD-MARL也能提高集群控制问题的样本效率和策略性能。
2022-09-17 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University(台湾大学)
深度强化学习已经在游戏中取得了成功。然而,2.5D格斗游戏将是一项具有挑战性的任务,因为视觉外观的模糊性,如人物的高度或深度。此外,此类游戏中的动作通常涉及特定的连续动作顺序,这也使得网络设计非常困难。基于异步优势演员-评论家(A3 C)网络,我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2(LF 2),并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络,它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中,我们在不同的设置中考虑LF 2,这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology(南方科技大学);NetEase Games AI Lab(网易游戏人工智能实验室)
尽管将演化计算集成到强化学习中取得了新的进展,但缺乏一个高性能的平台来赋予可组合性和大规模并行性,这给异步商业游戏的研究和应用带来了不小的困难。在这里,我们介绍Lamarkian-一个开源平台,支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率,Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求,拉马克为异步马尔可夫决策过程定制了一个接口,并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比,我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势:i)在Google足球游戏上运行PPO时,采样效率和训练速度都提高了一倍; ii)在Pong游戏上运行PBT+PPO时,训练速度提高了13倍。此外,我们还提出了两个用例:i)拉马克如何应用于生成行为多样化的游戏AI; ii)拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology(意大利理工学院);University of British Columbia(英属哥伦比亚大学)
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而,大多数交互式场景并不具有单独的最终目标性能;相反,这些代理人与人类交互时的社会影响同样重要,并且在大多数情况下,从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念,我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London(伦敦大学学院)
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域,以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中,我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时,神经虚拟自我游戏(NFSP)接近纳什均衡,而常见的强化学习方法则出现分歧。在极限德州扑克(Limit Texas Holdem)中,NFSP学习了一种策略,该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架,通过分析行为轨迹自动修订游戏配置,实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University(国立阳明交通大学)
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行,并吸引了研究人员开发游戏程序。由于其简单性和复杂性,2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况,对强化学习和计算机游戏算法进行了全面的研究。首先,本文提出了乐观的时间差学习,它通过采用乐观的初始化来鼓励探索2048,从而显着提高了学习质量。此外,基于这种方法,一个国家的最先进的计划,为2048年的发展,实现了最高的性能在所有的学习为基础的计划,即625377分的平均成绩和率为72%,达到32768瓦片。其次,本文研究了与2048相关的几种技术,包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的,为进一步提高当前国家的最先进的程序的性能。最后,本文通过提出课程设计方案和总结教学经验,探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生,并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Mastering the Game of Guandan with Deep Reinforcement Learning and Behavior Regulating
本文提出GuanZero框架,通过深度神经网络编码方案调控智能体行为,并结合蒙特卡洛方法掌握掼蛋游戏,实验证明其优于现有方法。
2024-02-21 cs.AI cs.LG
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick(华威大学)
我们介绍了一个新的虚拟环境,模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏,具有相对复杂的动作空间(允许从13张牌的初始开始手牌玩1,2,3,4或5张牌组合)。因此,它对许多当前的强化学习方法提出了挑战。然后,我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏,纯粹通过自我游戏来学习,并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平,而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML