Reinforcement Learning and Video Games
University of Sheffield(谢菲尔德大学)
根据DeepMind在Go和Atari游戏上的实验,强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法,成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意,但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences(科隆应用技术大学)
本文介绍了基于n元组的强化学习(RL)算法的游戏。我们提出了TD,SARSA和Q学习的新算法,这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的,其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL(FARL)的新元素。我们的主要贡献是,FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果,其中包括1,2和3名球员,包括奥赛罗,ConnectFour和Hex。在大多数情况下,发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Deep Reinforcement Learning for Doom using Unsupervised Auxiliary Tasks
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
深度强化学习的最新发展使得能够创建用于解决给定视觉输入的各种游戏的代理。这些方法已经被证明是成功的2D游戏,如雅达利游戏,或简单的任务,如在迷宫中导航。这仍然是一个悬而未决的问题,如何解决更复杂的环境中,奖励是稀疏的,状态空间是巨大的。在本文中,我们提出了一种分而治之的深度强化学习解决方案,并在第一人称射击游戏Doom中测试了我们的代理。我们的工作是基于以前在深度强化学习和Doom代理中的工作。我们还介绍了我们的代理是如何能够在未知的环境中表现得更好相比,最先进的强化学习算法。
2018-07-05 cs.AI cs.LG stat.ML
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)(美国艺电(EA))
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题,介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践,总结了落地中的耗时难点并提出相关研究方向,助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
Deep Reinforcement Learning for General Video Game AI
New York University(纽约大学);Southern University of Science and Technology(南方科技大学);Queen Mary University of London(伦敦玛丽女王大学)
通用视频游戏AI(GVGAI)竞赛及其相关的软件框架提供了一种在大量以特定领域描述语言编写的游戏上对AI算法进行基准测试的方法。虽然竞争已经看到了很多的兴趣,它迄今为止一直集中在在线规划,提供了一个前向模型,允许使用算法,如蒙特卡罗树搜索。在本文中,我们描述了如何将GVGAI接口到OpenAI Gym环境,这是一种将代理连接到强化学习问题的广泛使用的方式。使用这个接口,我们描述了几种深度强化学习算法在一些GVGAI游戏中的广泛使用的实现。我们进一步分析结果,以提供这些游戏相对于彼此的相对难度的第一个指标,以及在类似条件下相对于街机学习环境中的相对难度。
2018-06-06 cs.AI cs.LG cs.NE
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences(计算机与信息科学学院);Northeastern University(东北大学)
强化学习最近已经作为一种非常强大的工具出现,以解决棋盘游戏领域中的复杂问题,其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法,但它尚未在古代游戏中展示其能力。在这里,我们解决了这样一个问题,我们训练我们的代理使用不同的方法,即蒙特卡洛,Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的,但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论,当使用有限的资源进行训练时,哪种算法的整体性能更好,但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research(脸书人工智能研究院)
深度强化学习和搜索在训练和测试时的结合是一个强大的范例,它在单智能体设置和完美信息游戏中取得了许多成功,AlphaZero就是最好的例子。然而,这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL,一个自我发挥强化学习和搜索的一般框架,可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中,ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明,ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现,同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT(NCsoft公司)
强化学习与深度神经网络相结合,最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而,据我们所知,目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难,包括:巨大的动作空间,动作依赖性和不完美的信息。我们克服了这些挑战,并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛,获胜率达到了62%。本文提出了一种实用的强化学习方法,包括一个新的自我发挥的课程和数据跳过技术。通过课程,三种不同风格的代理人创建的奖励塑造,并训练对彼此。此外,本文还提出了数据跳过技术,可以提高数据效率,方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间,我们预计其应用到游戏开发,包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
深度强化学习的进步使自主智能体在Atari游戏中表现出色,往往优于人类,只使用原始像素来做出决定。然而,这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中,我们提出了第一个架构,以解决第一人称射击游戏中的3D环境,涉及部分可观察的状态。通常,深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型,以利用游戏特征信息,如敌人或项目的存在,在训练阶段。我们的模型经过训练,可以同时学习这些特征以及最小化Q学习目标,这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的,允许不同的模型在游戏的不同阶段进行独立训练。我们表明,所提出的架构大大优于内置的人工智能智能体的游戏,以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab(vivo人工智能实验室)
实时的战略(RTS)游戏具有大的状态空间、动作空间和隐藏信息,需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型,掌握多人在线对战竞技场(MOBA)游戏,RTS游戏的子类型。本文的创新之处在于:(1)提出了一个层次化的框架,其中智能体通过模仿学习执行宏观策略,通过强化学习进行微观操作;(2)开发了一种简单的自学习方法,以获得更好的样本效率进行训练;(3)在没有游戏引擎或应用编程接口(API)的情况下,设计了一种用于多智能体合作的密集奖励函数。最后,各种实验已经被执行,以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI,实验表明,我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
PyTAG: Tabletop Games for Multi-Agent Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学)
本文提出PyTAG框架,用于多智能体强化学习研究,通过自博弈训练PPO智能体,并与简单智能体和MCTS对比,展示桌游带来的挑战与机遇。
2024-05-28 cs.AI
A Survey of Text Games for Reinforcement Learning informed by Natural Language
University of Manchester(曼彻斯特大学)
强化学习在许多复杂的虚拟环境中取得了成功。然而,以自然语言为核心组件解决问题仍然存在许多挑战。交互式小说游戏(或文本游戏)就是这样一种问题类型,它提供了一组部分可观察的环境,其中需要自然语言作为强化学习解决方案的一部分。因此,这项调查的目的是协助开发新的文本游戏问题设置和自然语言告知的强化学习解决方案。具体而言,本次调查总结:1)引入文本游戏强化学习问题的挑战,2)生成工具,用于评估文本游戏和随后产生的环境,3)目前应用的代理架构进行比较,为未来的研究人员提供基准方法和机会的系统性审查。
2021-09-20 cs.AI
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln(林肯大学);University of Toulouse III(图卢兹第三大学)
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题,特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法,作为朝着这个方向迈出的一步,我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏,我们将注意力集中在训练机器人感知游戏,并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征,并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明,机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音,视觉和手势-报告,合理和流畅的互动,可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架,通过博弈论重述和镜像下降算法实现全局收敛,并显著超越基线。
2025-10-23 cs.AI cs.LG
Deep Reinforcement Learning for FlipIt Security Game
Boston University(波士顿大学);Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心);CMSA, Harvard University(哈佛大学数学与应用中心)
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而,在大多数这些游戏中,智能体在任何时候都对环境有充分的了解。在本文中,我们描述了一个深度学习模型,在该模型中,智能体成功地适应不同类别的对手,并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt,这是一个两个玩家的安全游戏,其中两个玩家,攻击者和防御者,争夺一个共享资源的所有权,并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络,并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息,我们的模型成功地学习了一个具有成本效益的反策略,优于对手的策略,并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏,引入了一个新的低成本移动,并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
Visual Rationalizations in Deep Reinforcement Learning for Atari Games
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);Informatics Institute(信息学研究所)
由于深度学习在高维问题中表现良好的能力,深度强化学习代理在Atari 2600游戏等具有挑战性的任务中表现良好。然而,清楚地解释为什么代理人采取某种行动可能与决策本身一样重要。与其他深度学习模型一样,深度强化学习模型在决策过程中往往是不透明的。在这项工作中,我们建议通过可视化代理基于其决策的证据来使深度强化学习更加透明。在这项工作中,我们强调的重要性,生产的理由,观察到的行动,这可以适用于一个黑盒决策代理。
2019-02-01 cs.LG stat.ML
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Simon Fraser University(西蒙弗雷泽大学)
已经提出了各种机器学习模型来评估职业运动员的表现。然而,他们只有有限的能力来模拟玩家的表现如何取决于游戏环境。本文提出了一种捕获游戏上下文的新方法:我们应用深度强化学习(DRL)从国家曲棍球联盟(NHL)的3M逐场比赛事件中学习动作值Q函数。神经网络表示使用基于占有的LSTM集成了连续上下文信号和游戏历史。学习的Q函数用于评估玩家在不同游戏情境下的行为。为了评估玩家的整体表现,我们引入了一个新的游戏影响指标(GIM),聚合玩家的行动的价值。实证评估表明,GIM是一致的,在整个赛季,并与标准的成功措施和未来的工资高度相关。
2018-07-16 cs.AI cs.LG stat.ML
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology(南方科技大学);NetEase Games AI Lab(网易游戏人工智能实验室)
尽管将演化计算集成到强化学习中取得了新的进展,但缺乏一个高性能的平台来赋予可组合性和大规模并行性,这给异步商业游戏的研究和应用带来了不小的困难。在这里,我们介绍Lamarkian-一个开源平台,支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率,Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求,拉马克为异步马尔可夫决策过程定制了一个接口,并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比,我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势:i)在Google足球游戏上运行PPO时,采样效率和训练速度都提高了一倍; ii)在Pong游戏上运行PBT+PPO时,训练速度提高了13倍。此外,我们还提出了两个用例:i)拉马克如何应用于生成行为多样化的游戏AI; ii)拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London(伦敦大学学院)
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域,以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中,我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时,神经虚拟自我游戏(NFSP)接近纳什均衡,而常见的强化学习方法则出现分歧。在极限德州扑克(Limit Texas Holdem)中,NFSP学习了一种策略,该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Targets in Reinforcement Learning to solve Stackelberg Security Games
University of Maryland(马里兰大学);Montgomery Blair High School(蒙哥马利布莱尔高中);Wootton High School(伍顿高中)
强化学习(RL)算法已成功应用于现实世界的情况,如非法走私,偷猎,森林砍伐,气候变化,机场安全等。这些场景可以被框定为Stackelberg安全游戏(SSG),其中防御者和攻击者竞争控制目标资源。该算法的能力是由代理控制的目标进行评估。本文综述了强化学习中SSG的建模,重点是强化学习算法中目标表示的可能改进。
2022-11-30 cs.AI cs.GT cs.LG
Compression and Localization in Reinforcement Learning for ATARI Games
Carnegie Mellon University(卡内基梅隆大学)
深度神经网络在强化学习领域已经变得司空见惯,但在所需参数的数量方面通常是昂贵的。虽然压缩深度神经网络最近被认为对克服这一缺点非常重要,但在强化学习代理的背景下,几乎没有做过什么工作来解决这个问题。这项工作的目的是在RL代理的模型压缩的第一步。特别是,我们压缩网络以大幅减少其中的参数数量(大小小于其原始大小的3%),通过在最终卷积层之后应用全局最大池来进一步促进,并建议在压缩的上下文中使用Actor-Mimic。最后,我们证明了这个全局最大池允许弱监督对象定位,提高了识别代理焦点的能力。
2019-04-20 cs.AI cs.LG stat.ML
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology(意大利理工学院);University of British Columbia(英属哥伦比亚大学)
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而,大多数交互式场景并不具有单独的最终目标性能;相反,这些代理人与人类交互时的社会影响同样重要,并且在大多数情况下,从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念,我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架,通过分析行为轨迹自动修订游戏配置,实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University(国立阳明交通大学)
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行,并吸引了研究人员开发游戏程序。由于其简单性和复杂性,2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况,对强化学习和计算机游戏算法进行了全面的研究。首先,本文提出了乐观的时间差学习,它通过采用乐观的初始化来鼓励探索2048,从而显着提高了学习质量。此外,基于这种方法,一个国家的最先进的计划,为2048年的发展,实现了最高的性能在所有的学习为基础的计划,即625377分的平均成绩和率为72%,达到32768瓦片。其次,本文研究了与2048相关的几种技术,包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的,为进一步提高当前国家的最先进的程序的性能。最后,本文通过提出课程设计方案和总结教学经验,探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生,并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Mastering the Game of Guandan with Deep Reinforcement Learning and Behavior Regulating
本文提出GuanZero框架,通过深度神经网络编码方案调控智能体行为,并结合蒙特卡洛方法掌握掼蛋游戏,实验证明其优于现有方法。
2024-02-21 cs.AI cs.LG
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室);Tencent Timi Studio(腾讯天美工作室)
研究多人在线对战竞技场(MOBA)1v 1游戏中复杂动作控制的强化学习问题。这个问题涉及比传统的1v 1游戏(如围棋和Atari系列)复杂得多的状态和动作空间,这使得搜索任何具有人类水平性能的策略变得非常困难。在本文中,我们提出了一个深度强化学习框架,从系统和算法的角度来解决这个问题。我们的系统是低耦合和高可扩展性,这使得在大规模的有效探索。我们的算法包括几个新的策略,包括控制依赖解耦,动作掩码,目标注意力,和双剪辑PPO,我们提出的演员-评论家网络可以有效地在我们的系统中训练。在MOBA游戏《王者荣耀》上测试,我们的人工智能智能体腾讯Solo可以在全1v 1游戏中击败顶尖的人类职业选手。
2020-12-15 cs.AI cs.LG
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics(数学系);Department of Electrical Engineering and Information Technology(电气工程与信息科技系);IIIT at ETIT(ETIT的IIIT)
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题,提出先行为克隆后强化学习的混合方法,并采用多头注意力网络,最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤,需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求,使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性,并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络,这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息,并推断下一步行动。我们将结果与随机玩家的表现进行比较,发现网络显示出最高的成功率。在大多数情况下,结果与真实用户获得的结果相似,随着时间的推移,网络也成功地学习了区分游戏级别的不同特征,并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
Deep reinforcement learning for time series: playing idealized trading games
Georgia Institute of Technology(佐治亚理工学院)
深度Q学习是一种端到端的解决方案,用于估计对时间序列输入采取行动的最佳策略。实验是在两个理想化的交易游戏上进行的。1)单变量:唯一的输入是波浪状价格时间序列,以及2)双变量:输入包括随机逐步价格时间序列和噪声信号时间序列,噪声信号时间序列与未来价格变化正相关。单变量博弈测试智能体是否能够捕获潜在的动态,而双变量博弈测试智能体是否能够利用输入之间的隐藏关系。堆叠门控递归单元(GRU)、长短期记忆(LSTM)单元、卷积神经网络(CNN)和多层感知器(MLP)用于对Q值进行建模。对于这两个游戏,所有的代理人都成功地找到了一个有利可图的策略。基于GRU的代理在单变量博弈中表现出最好的整体性能,而基于MLP的代理在双变量博弈中表现出更好的整体性能。
2018-03-11 cs.LG stat.ML
Playing 2048 With Reinforcement Learning
Stanford University(斯坦福大学)
《2048》是一款非常容易上瘾的游戏。这是很容易学习的游戏,但很难掌握,因为创建的游戏显示,只有约1%的游戏出数亿曾经玩过已经赢得了。在本文中,我们想探讨强化学习技术,以赢得2048年。我们采用的方法包括深度Q学习和束搜索,其中束搜索达到2048 28.5的时间。
2021-10-20 cs.AI
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing(交互式计算学院);Georgia Institute of Technology(佐治亚理工学院)
基于文本的冒险游戏提供了一个在组合动作空间(如自然语言)的背景下探索强化学习的平台。我们提出了一个深度强化学习架构,将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间,从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务,这是一种迁移学习的形式,可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中,我们表明,我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
The University of Sydney(悉尼大学)
中国跳棋游戏是一个具有挑战性的完全信息的传统棋盘游戏,它与其他传统游戏的主要区别在于两个方面:第一,与国际象棋不同,所有跳棋都在游戏中无限地保留,因此搜索树的分支因子不会随着游戏的进行而减少;其次,与Go不同,搜索树的深度也没有上限,因为允许重复和向后移动。因此,即使在受限制的游戏实例中,游戏的状态空间仍然可以是无界的,这使得计算机程序具有挑战性。在这项工作中,我们提出了一种方法,有效地结合了使用算法,蒙特卡罗树搜索,和深度强化学习建立一个中国的机器人代理,而不使用任何人类的游戏数据。实验结果表明,我们的代理是胜任不同的情况下,达到有经验的人类球员的水平。
2019-03-08 cs.LG stat.ML
Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games
University of Technology Sydney(悉尼科技大学);Tencent Robotics X(腾讯Robotics X);University College London(伦敦大学学院);IHPC A*STAR(新加坡科技研究局高性能计算研究所)
我们研究了基于文本的游戏的强化学习(RL),这是在自然语言的上下文中的交互式模拟。虽然已经开发了不同的方法来表示环境信息和语言动作,但现有的RL代理没有任何推理能力来处理文本游戏。在这项工作中,我们的目标是进行明确的推理与知识图谱的决策,使代理的行动产生和支持的可解释的推理过程。我们提出了一个堆叠的层次注意力机制,通过利用知识图谱的结构来构建一个明确的表示的推理过程。我们广泛评估我们的方法在一些人造的基准游戏,实验结果表明,我们的方法比现有的基于文本的代理执行得更好。
2020-12-25 cs.AI cs.LG
FlashRL: A Reinforcement Learning Platform for Flash Games
University of Agder(阿格德尔大学)
强化学习(RL)是近年来蓬勃发展的一个研究领域,在成功玩计算机游戏等方面表现出了巨大的潜力。然而,只有少数游戏平台提供了推进RL算法所需的任务和状态空间的多样性。现有的平台提供对Atari和一些基于Web的游戏的RL访问,但没有平台完全公开对Flash游戏的访问。这是不幸的,因为将RL应用于Flash游戏有可能推动RL算法的研究。本文介绍了Flash强化学习平台(FlashRL),它试图通过在一个新颖的Flash自动化平台上为数千个Flash游戏提供一个环境来填补这一空白。它为Flash游戏的RL算法打开了简单的实验,这在以前是具有挑战性的。该平台显示出卓越的性能,在消费类硬件上的CPU利用率仅为5%。它显示了新的强化学习算法有前途的结果。
2018-01-26 cs.AI cs.GT
Sample-Efficient Learning to Solve a Real-World Labyrinth Game Using Data-Augmented Model-Based Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
针对物理环境快速学习难题,提出采用基于模型的强化学习、结合图像观测提取与对称性数据增强的机器人系统,仅用5小时真实数据就创纪录地学会求解真实迷宫游戏,提升了学习样本效率。
2023-12-15 cs.AI cs.RO
Double A3C: Deep Reinforcement Learning on OpenAI Gym Games
Stanford University(斯坦福大学)
强化学习(RL)是机器学习的一个领域,它研究智能体如何在未知环境中采取行动以最大化其回报。与经典的马尔可夫决策过程(MDP)不同,在MDP中,智能体完全了解其状态、奖励和转移概率,强化学习利用对模型不确定性的探索和利用。在模型通常具有大的状态空间的情况下,可以使用神经网络(NN)将其输入状态与其输出动作相关联,以最大化代理的奖励。然而,构建和训练高效的神经网络是具有挑战性的。受Double Q-learning和Asynchronous Advantage Actor-Critic(A3 C)算法的启发,我们将提出并实现Double A3 C算法的改进版本,利用这两种算法的优势来玩OpenAI Gym Atari 2600游戏,以击败我们项目的基准。
2023-03-04 cs.AI cs.LG
Autonomous Decision Making for UAV Cooperative Pursuit-Evasion Game with Reinforcement Learning
本文提出基于深度强化学习的多无人机协同追逃博弈决策模型,采用多环境异步双深度Q网络与优先级经验回放算法,通过角色与目标分配提升协作能力,仿真验证了自主决策与协作性能。
2024-11-05 cs.AI cs.MA cs.RO
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
在本文中,我们介绍了DeepCrawl,这是一个适用于iOS和Android的完全可玩的Roguelike原型,其中所有代理都由使用深度强化学习(DRL)训练的策略网络控制。我们的目标是了解DRL的最新进展是否可以用于为视频游戏中的非玩家角色开发令人信服的行为模型。我们首先分析了这样一个AI系统应该满足的要求,以便在视频游戏开发中实际应用,并确定了DeepCrawl原型中使用的DRL模型的元素。DeepCrawl的成功和局限性通过在最终游戏上进行的一系列可玩性测试来记录。我们相信,我们提出的技术为视频游戏中非玩家角色的行为发展提供了创新的新途径,因为它们提供了克服关键问题的潜力,
2020-12-03 cs.AI cs.LG
Mastering Asymmetrical Multiplayer Game with Multi-Agent Asymmetric-Evolution Reinforcement Learning
Netease(网易)
针对非对称多人游戏中自博弈训练失衡的问题,提出含ADA与ER的多智能体AET框架,并在Tom & Jerry中以无人类数据训练的AI取得98.5%胜率。
2023-04-20 cs.AI cs.LG cs.MA
Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索使用的潜在表示从多个输入感官模态(如图像或声音),允许代理学习和利用政策的不同子集的输入模态。我们提出了一个三阶段的体系结构,允许一个强化学习代理在一个给定的感官模态训练,执行其任务的不同的感官模态,例如,学习视觉策略的图像输入,然后执行这样的政策时,只有声音输入可用。我们表明,广义的政策实现更好的开箱即用的性能相比,不同的基线。此外,我们在不同的OpenAI健身房和视频游戏环境中证明了这一点,即使使用不同的多模态生成模型和强化学习算法。
2019-11-28 cs.AI cs.LG
Re-conceptualising the Language Game Paradigm in the Framework of Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);KU Leuven(鲁汶大学)
在本文中,我们制定的挑战重新概念化的语言游戏实验范式的框架内的多智能体强化学习(MARL)。如果成功的话,未来的语言游戏实验将受益于MARL社区快速和有前途的方法进步,而未来的MARL学习紧急通信实验将受益于语言游戏实验的见解和结果。我们坚信,这种异花授粉有可能在模拟类人语言如何在多智能体系统中出现和进化方面取得重大突破。
2020-04-09 cs.AI cs.CL cs.LG
Language Understanding for Text-based Games Using Deep Reinforcement Learning
MIT(麻省理工学院)
在本文中,我们认为基于文本的游戏的学习控制策略的任务。在这些游戏中,虚拟世界中的所有交互都是通过文本进行的,并且无法观察到底层状态。由此产生的语言障碍使得这种环境对自动游戏玩家具有挑战性。我们采用深度强化学习框架,使用游戏奖励作为反馈来联合学习状态表示和动作策略。这个框架使我们能够将文本描述映射到捕获游戏状态语义的矢量表示中。我们在两个游戏世界上评估了我们的方法,使用词袋和二元组袋进行状态表示,与基线进行比较。我们的算法在这两个世界上都优于基线,证明了学习表达性表征的重要性。
2015-09-11 cs.AI cs.CL
Augmenting Game AI with Deep Reinforcement Learning
Electronic Arts (EA), Stockholm, Sweden(美国艺电公司(EA),斯德哥尔摩,瑞典)
本文提出一种框架,通过深度强化学习训练游戏AI,以增强角色行为的真实感,并探讨了部署中的挑战与未来研究方向。
2026-06-19 cs.AI
Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay
University Politehnica of Bucharest(布加勒斯特理工大学)
本文介绍了一种使用深度强化学习从Arcade学习环境中学习如何玩最难的Atari 2600游戏的新方法。所提出的方法,人类检查点重放,包括使用从人类游戏中采样的检查点作为学习过程的起点。这是为了弥补当前探索策略的困难,例如ε贪婪,在稀疏奖励的游戏中找到成功的控制策略。与其他深度强化学习架构一样,我们的模型使用了一个卷积神经网络,它只接收原始像素输入来估计状态价值函数。我们在Atari平台上最具挑战性的两款游戏Montezuma's Revenge和Private Eye上测试了我们的方法。我们得到的结果显示了显着的改善相比,以前的学习方法,以及在一个随机的球员。我们还提出了一种使用人类游戏体验来训练深度强化学习代理的方法,我们称之为人类体验重播。
2016-07-18 cs.AI
Can Deep Reinforcement Learning Solve Erdos-Selfridge-Spencer Games?
Cornell University(康奈尔大学);Google Brain(谷歌大脑);University of California, Berkeley(加州大学伯克利分校)
深度强化学习最近取得了许多成功,但我们对它的优势和局限性的理解受到缺乏丰富环境的阻碍,我们可以充分描述最佳行为,并相应地诊断个人行为。在这里,我们考虑一个家庭的组合游戏,从工作中产生的鄂尔多斯,塞尔弗里奇,斯宾塞,我们建议他们使用的环境进行评估和比较不同的方法来强化学习。这些游戏具有许多吸引人的特征:它们对当前的学习方法具有挑战性,但它们形成(i)低维,简单参数化的环境,其中(ii)任何状态的最佳行为都有线性封闭形式的解决方案,以及(iii)游戏的难度可以通过以可解释的方式改变环境参数来调整。我们使用这些Erdos-Selfridge-Spencer游戏不仅比较不同的算法,而且测试泛化,与监督学习进行比较,分析多智能体游戏,甚至开发一个自我游戏算法。代码可以在:https://github.com/rubai5/ESS_Game上找到
2018-06-29 cs.AI cs.NE stat.ML
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所)
本文提出 LCD 工具,用于分别量化电子游戏任务的感知与强化学习需求,并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Non-zero-sum Game Control for Multi-vehicle Driving via Reinforcement Learning
Tsinghua University(清华大学)
车辆在道路上行驶时,其行为会受到周围车辆的影响。预测和决策不应该被认为是两个独立的阶段,因为所有的车辆都是交互式地做出决策的。本文将多车驾驶场景构建为一个非零和博弈,提出了一个集预测、决策和控制为一体的博弈控制框架。在此框架中考虑了车辆之间相互作用的相互影响,因为决策是由纳什均衡策略做出的。为了有效地获得该策略,ADP,一个基于基于模型的强化学习方法,被用来解决耦合Hamilton-Jacobi-Bellman方程。驾驶性能通过跟踪、效率、安全性和舒适性指标进行评估。实验表明,我们的算法可以通过直接控制加速度和转向角来实现完美的驾驶。车辆可以学习超车和超车等互动行为。综上所述,本文提出了一个多车驾驶非零和博弈模型,为解决多车驾驶的纳什均衡策略提供了一种有效的方法,并在无信号交叉口进行了验证。
2023-02-08 cs.AI cs.LG
Interpretable Deep Reinforcement Learning for Green Security Games with Real-Time Information
University of Maryland(马里兰大学)
实时的【形】信息绿色安全博弈(GSG-I)将智能体运动的实时的【形】信息添加到典型的GSG公式中。先前的GSG-I工作使用深度强化学习(DRL)来学习这种环境中代理的最佳策略,而无需存储GSG-I的大量状态表示。然而,DRL方法的决策过程在很大程度上是不透明的,这导致人们对它们的预测缺乏信任。为了解决这个问题,我们提出了一个可解释的DRL方法GSG-I生成可视化来解释DRL算法所采取的决定。我们还表明,这种方法表现更好,与现有方法相比,使用更简单的训练方案效果更好。
2022-11-09 cs.AI cs.LG