Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模,其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法,实现了一个次线性的遗憾相比,与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径,这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策,UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略,其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
Reinforcement Learning in Economics and Finance
Université du Québec à Montréal (UQAM)(蒙特利尔魁北克大学);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
强化学习算法描述了智能体如何通过重复的经验在顺序决策过程中学习最优的行动策略。在给定的环境中,代理策略为他提供了一些运行和终端奖励。与在线学习一样,智能体也是顺序学习的。在多臂强盗问题中,当一个代理人选择一个行动时,他不能事后推断其他行动选择引起的奖励。在强化学习中,他的行为会产生后果:它们不仅会影响奖励,还会影响世界的未来状态。强化学习的目标是找到一个最优策略--一个从世界状态到行动集合的映射,以最大化累积奖励,这是一个长期策略。探索可能在短期内是次优的,但可能导致最佳的长期目标。许多在经济学中流行了四十多年的最优控制问题可以在强化学习框架中表达,而计算科学的最新进展,特别是深度学习算法,可以被经济学家用来解决复杂的行为问题。在这篇文章中,我们提出了一个国家的最先进的强化学习技术,并在经济学,博弈论,运筹学和金融目前的应用。
2020-03-22 cs.LG econ.TH q-fin.CP
Economic span selection of bridge based on deep reinforcement learning
Jiangsu College of Finance & Accounting(江苏财会职业学院);Lianyungang Open University(连云港开放大学);Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd(万世先行数智交通科技有限公司)
针对桥梁跨径选择影响工程成本的问题,结合经济跨径理论,构建含对应观测、动作空间和奖励函数的仿真环境,采用基于卷积网络、ε贪心策略与经验回放的深度Q网络智能体学习最优策略,实现桥梁经济跨径选择,为桥梁设计提供决策工具。
2024-07-09 cs.AI cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University(南京大学);East China Normal University(华东师范大学)
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL(follow-the-regularized-leader)和MD(mirror descent)更新思想的启发,我们提出了一种无遗憾风格的强化学习算法PORL,而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证,这对于对抗和合作博弈都很重要。实证研究表明,在静态环境中,如MuJoCo运动控制任务,PORL的表现与软演员-评论家(SAC)算法一样好,如果不是更好的话;在非静态环境中,包括动态环境,对抗训练和竞争游戏,PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Reinforcement Learning and Video Games
University of Sheffield(谢菲尔德大学)
根据DeepMind在Go和Atari游戏上的实验,强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法,成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意,但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Reinforcement Learning for High-Level Strategic Control in Tower Defense Games
Electronic Arts (EA)(美国艺电公司(EA))
本文提出将强化学习与脚本化AI相结合用于塔防游戏测试与验证,并在《植物大战僵尸》上验证该方法比纯启发式AI成功率更高、更稳健。
2024-06-12 cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University(纽约大学);University of Strathclyde(思克莱德大学);University of Hertfordshire(赫特福德大学);Maastricht University(马斯特里赫特大学)
深度强化学习已经学会了玩很多游戏,但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因,我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家(A2 C)算法,这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的,这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现,其中几个游戏可靠地欺骗了深度强化学习器,并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式,进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学,这可以帮助我们更好地理解(深度)强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
A Comprehensive Review of Multi-Agent Reinforcement Learning in Video Games
DigiPen Institute of Technology(迪吉彭理工学院);Suzhou City University(苏州城市学院);Soochow University(苏州大学)
本文综述了多智能体强化学习(MARL)在多品类电子游戏中的应用进展,分析了核心挑战与典型落地案例,提出了游戏复杂度评估新方法并指明未来研究方向。
2025-09-03 cs.LG
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)(美国艺电(EA))
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题,介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践,总结了落地中的耗时难点并提出相关研究方向,助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University(哥伦比亚大学工业工程与运营研究系);Mathematical Institute, University of Oxford(牛津大学数学系);Citadel Securities(Citadel证券公司)
多智能体游戏的强化学习最近引起了很多关注。然而,鉴于解决大型人口博弈的纳什均衡的挑战,现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体,要么旨在解决(粗)相关均衡,要么需要访问模拟器,要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML(Mean-Field Occupation-Measure Learning),用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法,用于可证明地解决纳什均衡(直到平均场近似差距,随着参与者$N$的数量变为无穷大而消失),超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差,该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏,和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏,其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品,我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning
Salesforce Research(赛富时研究院);Harvard University(哈佛大学)
人工智能和强化学习(RL)已经改善了许多领域,但尚未广泛应用于经济政策设计,机制设计或经济学。与此同时,当前的经济学方法受到缺乏反事实数据、简单化的行为模型以及有限的政策实验和评估行为反应的机会的限制。在这里,我们表明,基于机器学习的经济模拟是一个强大的政策和机制设计框架,以克服这些限制。人工智能经济学家是一个两级深度强化学习框架,可以训练智能体和社会规划者共同适应,为高度不稳定和新颖的两级强化学习挑战提供了一个易于处理的解决方案。从一个简单的经济规范,我们学习理性的代理人的行为,以适应学习计划者的政策,反之亦然。我们证明了AI经济学家在最优税收问题上的有效性。在简单的一步经济中,AI经济学家恢复了经济理论的最优税收政策。在复杂、动态的经济体中,AI经济学家大大改善了功利主义的社会福利以及平等与生产率之间的权衡。尽管出现了税收博弈策略,但它仍然如此,同时比经济理论更准确地解释了代理人的相互作用和行为变化。这些结果首次表明,两级深度强化学习可以用于理解,并作为经济设计理论的补充,开启了一种新的基于计算学习的方法来理解经济政策。
2021-08-05 cs.LG econ.GN q-fin.EC
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说,该方法利用异步优势演员评论家(A3 C)架构,使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法,使用多个代理并行训练目标游戏的不同表示来更新模型,而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能,OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
4Hammer: a board-game reinforcement learning environment for the hour long time frame
DEIB – Politecnico di Milano(米兰理工大学DEIB)
针对大语言模型难以应对长时长任务、缺乏专用复杂桌游评估环境的问题,提出基于复杂零和桌游《Warhammer 40,000》部分玩法的数字孪生强化学习环境4Hammer,可用于强化学习与大语言模型的长时长任务能力评估。
2025-05-19 cs.CL cs.LG
Independent policy gradient-based reinforcement learning for economic and reliable energy management of multi-microgrid systems
School of Mechanical and Electrical Engineering, Shenzhen Polytechnic University(机械与电气工程学院,深圳职业技术大学);School of Business, Sun Yat-Sen University(商学院,中山大学)
本文提出了一种基于独立策略梯度的分布式强化学习方法,用于解决多微电网系统的经济可靠能源管理问题,通过均值-方差团队随机博弈模型实现去中心化策略优化。
2025-11-26 cs.LG cs.SY eess.SY
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)(SEED - 艺电公司)
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习(DRL),我们将自学习机制引入游戏测试框架。通过DRL,该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果,测试覆盖率增加,并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中,我们表明,DRL可以用来增加测试覆盖率,发现漏洞,测试地图的难度,并检测常见的问题,出现在第一人称射击(FPS)游戏的测试。
2021-03-29 cs.AI cs.LG
Transformer Based Reinforcement Learning For Games
Indian Institute of Technology-Bombay(印度理工学院孟买分校)
最近,使用深度强化学习技术(如Deep Q Networks,策略梯度,Actor Critic方法)的强化学习任务有了显著的改进,这些方法基于基于深度学习的模型和梯度的反向传播来训练这些模型。强化学习的一个活跃研究领域是训练智能体玩复杂的视频游戏,到目前为止,这只能通过人类智能来完成。使用深度强化学习的视频游戏中的一些最先进的性能是通过处理视频游戏中的帧序列来获得的,将它们通过卷积网络以获得特征,然后使用递归神经网络来计算导致最佳奖励的动作。递归神经网络将学习从这些特征的序列中提取有意义的信号。在这项工作中,我们提出了一种利用Transformer网络的方法,该网络最近取代了自然语言处理(NLP)中的RNN,并进行实验,与现有的方法进行比较。
2019-12-09 cs.LG cs.NE
SIR-RL: Reinforcement Learning for Optimized Policy Control during Epidemiological Outbreaks in Emerging Market and Developing Economies
BML Munjal University(BML Munjal大学);Ambo University(安博大学)
本文提出SIR-RL强化学习框架,结合SIR模型、封锁严格性指数与疫苗接种策略,为新兴市场和发展中经济体优化疫情期间公共卫生与经济稳定之间的政策权衡。
2024-04-30 cs.LG physics.soc-ph q-bio.PE
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research(脸书人工智能研究院)
深度强化学习和搜索在训练和测试时的结合是一个强大的范例,它在单智能体设置和完美信息游戏中取得了许多成功,AlphaZero就是最好的例子。然而,这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL,一个自我发挥强化学习和搜索的一般框架,可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中,ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明,ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现,同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences(计算机与信息科学学院);Northeastern University(东北大学)
强化学习最近已经作为一种非常强大的工具出现,以解决棋盘游戏领域中的复杂问题,其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法,但它尚未在古代游戏中展示其能力。在这里,我们解决了这样一个问题,我们训练我们的代理使用不同的方法,即蒙特卡洛,Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的,但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论,当使用有限的资源进行训练时,哪种算法的整体性能更好,但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
A Survey of Reinforcement Learning For Economics
Georgetown University(乔治城大学)
本文综述了强化学习在经济学中的应用,探讨了其在高维状态和连续动作问题中的扩展,分析了算法的局限性及经济结构下的灵活性。
2026-07-27 cs.LG econ.GN q-fin.EC
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT(NCsoft公司)
强化学习与深度神经网络相结合,最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而,据我们所知,目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难,包括:巨大的动作空间,动作依赖性和不完美的信息。我们克服了这些挑战,并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛,获胜率达到了62%。本文提出了一种实用的强化学习方法,包括一个新的自我发挥的课程和数据跳过技术。通过课程,三种不同风格的代理人创建的奖励塑造,并训练对彼此。此外,本文还提出了数据跳过技术,可以提高数据效率,方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间,我们预计其应用到游戏开发,包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
深度强化学习的进步使自主智能体在Atari游戏中表现出色,往往优于人类,只使用原始像素来做出决定。然而,这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中,我们提出了第一个架构,以解决第一人称射击游戏中的3D环境,涉及部分可观察的状态。通常,深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型,以利用游戏特征信息,如敌人或项目的存在,在训练阶段。我们的模型经过训练,可以同时学习这些特征以及最小化Q学习目标,这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的,允许不同的模型在游戏的不同阶段进行独立训练。我们表明,所提出的架构大大优于内置的人工智能智能体的游戏,以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University(卡内基梅隆大学)
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展,重点关注其有限时间收敛速率,回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab(vivo人工智能实验室)
实时的战略(RTS)游戏具有大的状态空间、动作空间和隐藏信息,需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型,掌握多人在线对战竞技场(MOBA)游戏,RTS游戏的子类型。本文的创新之处在于:(1)提出了一个层次化的框架,其中智能体通过模仿学习执行宏观策略,通过强化学习进行微观操作;(2)开发了一种简单的自学习方法,以获得更好的样本效率进行训练;(3)在没有游戏引擎或应用编程接口(API)的情况下,设计了一种用于多智能体合作的密集奖励函数。最后,各种实验已经被执行,以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI,实验表明,我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Multi-Agent Reinforcement Learning in Cournot Games
University of Washington(华盛顿大学)
在这项工作中,我们研究了有限信息反馈的连续行动古诺博弈中战略代理人的相互作用。古诺博弈是许多社会经济系统中必不可少的市场模型,在这种模型中,代理人在不完全了解系统或彼此的情况下学习和竞争。我们考虑了凹古诺博弈中策略梯度算法的动态性,这是一种被广泛采用的连续控制强化学习算法。证明了当价格函数为线性函数或代理商个数为2时,策略梯度动态收敛于纳什均衡。这是第一个结果(据我们所知)的收敛性的学习算法与连续的行动空间,不属于无遗憾类。
2020-09-14 cs.GT cs.LG cs.MA
Deep Reinforcement Learning for FlipIt Security Game
Boston University(波士顿大学);Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心);CMSA, Harvard University(哈佛大学数学与应用中心)
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而,在大多数这些游戏中,智能体在任何时候都对环境有充分的了解。在本文中,我们描述了一个深度学习模型,在该模型中,智能体成功地适应不同类别的对手,并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt,这是一个两个玩家的安全游戏,其中两个玩家,攻击者和防御者,争夺一个共享资源的所有权,并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络,并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息,我们的模型成功地学习了一个具有成本效益的反策略,优于对手的策略,并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏,引入了一个新的低成本移动,并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
From Game-theoretic Multi-agent Log Linear Learning to Reinforcement Learning
University of Oxford(牛津大学);University of Toronto(多伦多大学)
本文的主要重点是增强两种类型的博弈论学习算法:对数线性学习和强化学习。对数线性学习的标准分析需要一个高度结构化的环境,即从实现的角度对游戏进行强有力的假设。在本文中,我们介绍了对数线性学习的一个变体,它提供了渐近保证,同时放松了结构假设,包括同步更新和玩家可用信息的限制。另一方面,无模型强化学习即使在对参与者关于环境和其他参与者策略的知识的较弱假设下也能够执行。我们提出了一种强化算法,使用双聚合方案,以加深玩家对环境的洞察力和恒定的学习步长,从而实现更高的收敛速度。数值实验验证了算法的鲁棒性和性能。
2018-09-18 cs.LG cs.MA
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架,通过博弈论重述和镜像下降算法实现全局收敛,并显著超越基线。
2025-10-23 cs.AI cs.LG
Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games
Yale University(耶鲁大学)
本文针对连续状态空间且智能体互不观测动作的随机博弈,提出一种去中心化MARL算法并证明其策略更新近最优,同时给出基于最佳响应的全局策略更新收敛概率的闭式刻画。
2023-03-16 cs.GT cs.LG
Visual Rationalizations in Deep Reinforcement Learning for Atari Games
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);Informatics Institute(信息学研究所)
由于深度学习在高维问题中表现良好的能力,深度强化学习代理在Atari 2600游戏等具有挑战性的任务中表现良好。然而,清楚地解释为什么代理人采取某种行动可能与决策本身一样重要。与其他深度学习模型一样,深度强化学习模型在决策过程中往往是不透明的。在这项工作中,我们建议通过可视化代理基于其决策的证据来使深度强化学习更加透明。在这项工作中,我们强调的重要性,生产的理由,观察到的行动,这可以适用于一个黑盒决策代理。
2019-02-01 cs.LG stat.ML
Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games
两个玩家零和同时动作游戏在视频游戏、金融市场、战争、商业竞争和许多其他设置中很常见。我们首先介绍了强化学习的基本概念,在两个玩家零和同时行动游戏,并讨论了这种类型的游戏所带来的独特挑战。然后,我们介绍了两个新的代理,试图通过使用联合行动深度Q网络(DQN)来处理这些挑战。第一个代理,称为最佳反应策略(BRAT),使用模仿学习建立对手策略的显式模型,然后使用该模型找到最佳反应以利用对手的策略。第二个代理,元纳什DQN,建立一个隐式模型,其对手的政策,以产生一个上下文变量,用作Q值计算的一部分。一个明确的极小极大的Q值是用来找到行动接近纳什均衡。我们发现经验,这两个代理收敛到纳什均衡在一个简单的矩阵游戏的自我发挥设置,同时也表现良好的游戏具有较大的状态和动作空间。这些新的算法进行评估香草RL算法,以及最新的最先进的多代理和两个代理算法。这项工作结合了传统的强化学习,博弈论和元学习的思想。
2021-10-10 cs.GT cs.LG
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University(台湾大学)
深度强化学习已经在游戏中取得了成功。然而,2.5D格斗游戏将是一项具有挑战性的任务,因为视觉外观的模糊性,如人物的高度或深度。此外,此类游戏中的动作通常涉及特定的连续动作顺序,这也使得网络设计非常困难。基于异步优势演员-评论家(A3 C)网络,我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2(LF 2),并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络,它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中,我们在不同的设置中考虑LF 2,这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Lamarckian Platform: Pushing the Boundaries of Evolutionary Reinforcement Learning towards Asynchronous Commercial Games
Southern University of Science and Technology(南方科技大学);NetEase Games AI Lab(网易游戏人工智能实验室)
尽管将演化计算集成到强化学习中取得了新的进展,但缺乏一个高性能的平台来赋予可组合性和大规模并行性,这给异步商业游戏的研究和应用带来了不小的困难。在这里,我们介绍Lamarkian-一个开源平台,支持可扩展到分布式计算资源的进化强化学习。为了提高训练速度和数据效率,Lamarckian采用了优化的通信方法和异步进化强化学习工作流程。为了满足商业游戏和各种方法对异步接口的需求,拉马克为异步马尔可夫决策过程定制了一个接口,并设计了一个模块解耦的面向对象的软件体系结构。与最先进的RLlib相比,我们在多达6000个CPU内核的基准测试中实证证明了Lamarckian的独特优势:i)在Google足球游戏上运行PPO时,采样效率和训练速度都提高了一倍; ii)在Pong游戏上运行PBT+PPO时,训练速度提高了13倍。此外,我们还提出了两个用例:i)拉马克如何应用于生成行为多样化的游戏AI; ii)拉马克如何应用于异步商业游戏的游戏平衡测试。
2022-09-21 cs.AI cs.LG cs.NE
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London(伦敦大学学院)
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域,以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中,我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时,神经虚拟自我游戏(NFSP)接近纳什均衡,而常见的强化学习方法则出现分歧。在极限德州扑克(Limit Texas Holdem)中,NFSP学习了一种策略,该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick(华威大学)
我们介绍了一个新的虚拟环境,模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏,具有相对复杂的动作空间(允许从13张牌的初始开始手牌玩1,2,3,4或5张牌组合)。因此,它对许多当前的强化学习方法提出了挑战。然后,我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏,纯粹通过自我游戏来学习,并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平,而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology(意大利理工学院);University of British Columbia(英属哥伦比亚大学)
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而,大多数交互式场景并不具有单独的最终目标性能;相反,这些代理人与人类交互时的社会影响同样重要,并且在大多数情况下,从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念,我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架,通过分析行为轨迹自动修订游戏配置,实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University(国立阳明交通大学)
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行,并吸引了研究人员开发游戏程序。由于其简单性和复杂性,2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况,对强化学习和计算机游戏算法进行了全面的研究。首先,本文提出了乐观的时间差学习,它通过采用乐观的初始化来鼓励探索2048,从而显着提高了学习质量。此外,基于这种方法,一个国家的最先进的计划,为2048年的发展,实现了最高的性能在所有的学习为基础的计划,即625377分的平均成绩和率为72%,达到32768瓦片。其次,本文研究了与2048相关的几种技术,包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的,为进一步提高当前国家的最先进的程序的性能。最后,本文通过提出课程设计方案和总结教学经验,探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生,并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Mastering the Game of Guandan with Deep Reinforcement Learning and Behavior Regulating
本文提出GuanZero框架,通过深度神经网络编码方案调控智能体行为,并结合蒙特卡洛方法掌握掼蛋游戏,实验证明其优于现有方法。
2024-02-21 cs.AI cs.LG
Solving Heterogeneous General Equilibrium Economic Models with Deep Reinforcement Learning
Bank of England(英格兰银行);University College London(伦敦大学学院);Office for National Statistics(英国国家统计局)
一般均衡宏观经济模型是决策者用来理解一国经济的核心工具。它们将经济体描述为具有前瞻性的行为者的集合,这些行为者的行为可能与随机效应相结合,以动态平衡的方式确定全球变量(如价格)。然而,解决这些模型的标准半分析技术使其难以包括异质性经济行为体的重要影响。COVID-19大流行进一步凸显了异质性的重要性,例如年龄和就业部门,以及宏观经济结果,以及对更容易纳入它的模型的需求。我们使用强化学习的技术来解决这种模型,以简单,可扩展和计算效率高的方式纳入异构代理。我们证明了该方法的准确性和稳定性的玩具问题,有一个已知的分析解决方案,它的通用性,通过解决一个一般均衡问题,包括全球随机性,其灵活性,通过解决一个综合的宏观经济和流行病学模型,以探索经济和健康的影响大流行。后者成功地捕捉到了由不同年龄的健康风险引起的合理的经济行为。
2021-03-31 cs.LG cs.MA econ.GN
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室);Tencent Timi Studio(腾讯天美工作室)
研究多人在线对战竞技场(MOBA)1v 1游戏中复杂动作控制的强化学习问题。这个问题涉及比传统的1v 1游戏(如围棋和Atari系列)复杂得多的状态和动作空间,这使得搜索任何具有人类水平性能的策略变得非常困难。在本文中,我们提出了一个深度强化学习框架,从系统和算法的角度来解决这个问题。我们的系统是低耦合和高可扩展性,这使得在大规模的有效探索。我们的算法包括几个新的策略,包括控制依赖解耦,动作掩码,目标注意力,和双剪辑PPO,我们提出的演员-评论家网络可以有效地在我们的系统中训练。在MOBA游戏《王者荣耀》上测试,我们的人工智能智能体腾讯Solo可以在全1v 1游戏中击败顶尖的人类职业选手。
2020-12-15 cs.AI cs.LG
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤,需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求,使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性,并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络,这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息,并推断下一步行动。我们将结果与随机玩家的表现进行比较,发现网络显示出最高的成功率。在大多数情况下,结果与真实用户获得的结果相似,随着时间的推移,网络也成功地学习了区分游戏级别的不同特征,并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics(数学系);Department of Electrical Engineering and Information Technology(电气工程与信息科技系);IIIT at ETIT(ETIT的IIIT)
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题,提出先行为克隆后强化学习的混合方法,并采用多头注意力网络,最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing(交互式计算学院);Georgia Institute of Technology(佐治亚理工学院)
基于文本的冒险游戏提供了一个在组合动作空间(如自然语言)的背景下探索强化学习的平台。我们提出了一个深度强化学习架构,将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间,从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务,这是一种迁移学习的形式,可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中,我们表明,我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Deep reinforcement learning for time series: playing idealized trading games
Georgia Institute of Technology(佐治亚理工学院)
深度Q学习是一种端到端的解决方案,用于估计对时间序列输入采取行动的最佳策略。实验是在两个理想化的交易游戏上进行的。1)单变量:唯一的输入是波浪状价格时间序列,以及2)双变量:输入包括随机逐步价格时间序列和噪声信号时间序列,噪声信号时间序列与未来价格变化正相关。单变量博弈测试智能体是否能够捕获潜在的动态,而双变量博弈测试智能体是否能够利用输入之间的隐藏关系。堆叠门控递归单元(GRU)、长短期记忆(LSTM)单元、卷积神经网络(CNN)和多层感知器(MLP)用于对Q值进行建模。对于这两个游戏,所有的代理人都成功地找到了一个有利可图的策略。基于GRU的代理在单变量博弈中表现出最好的整体性能,而基于MLP的代理在双变量博弈中表现出更好的整体性能。
2018-03-11 cs.LG stat.ML
LeDeepChef: Deep Reinforcement Learning Agent for Families of Text-Based Games
ETH Zurich(苏黎世联邦理工学院)
虽然强化学习(RL)方法在近代历史上的各个领域取得了重大成就,但自然语言任务几乎没有受到影响,因为它们的组成和组合性质使其难以优化。随着基于文本的游戏(TBG)的出现,研究人员试图弥合这一差距。受Atari游戏中RL算法的成功启发,该想法是在受限的游戏世界中开发新方法,然后逐渐转向更复杂的环境。以前在TBG领域的工作主要集中在解决单个游戏。然而,我们考虑的任务是设计一个代理,不仅在单个游戏中成功,而且在整个游戏家族中表现良好,共享相同的主题。在这项工作中,我们提出了我们的深度RL代理-LeDeepChef-它显示了对具有不同环境和任务描述的同一家族中从未见过的游戏的泛化能力。该代理参加了微软研究院的“第一个文本世界问题:语言和强化学习挑战”,并在最终测试集上超过了所有竞争对手。挑战中的游戏都有相同的主题,即在现代家庭环境中烹饪,但在房间的布置,呈现的对象和具体目标(烹饪食谱)方面有很大的不同。为了构建一个在整个游戏家族中获得高分的代理,我们使用了一个演员-评论家框架,并通过使用分层强化学习和在配方数据库上训练的专门模块的想法来修剪动作空间。
2019-09-04 cs.AI cs.LG stat.ML
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
在本文中,我们感兴趣的最优控制问题的纯经济成本,这往往会产生最优的政策具有(近)bang-bang结构。我们专注于基于模型预测控制(MPC)的政策近似和使用的确定性策略梯度方法来优化MPC的闭环性能,在存在未建模的随机性或模型误差。当策略具有(接近)bang-bang结构时,我们观察到策略梯度方法可能难以在策略参数中产生有意义的步骤。为了解决这个问题,我们提出了一个同伦策略的基础上的邻域点的方法,提供了一个放松的政策在学习过程中。我们调查了一个特定的众所周知的电池存储问题,并表明,所提出的方法提供了一个均匀的和更快的学习比经典的策略梯度方法。
2021-04-06 cs.LG cs.SY eess.SY
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences(科隆应用技术大学)
本文介绍了基于n元组的强化学习(RL)算法的游戏。我们提出了TD,SARSA和Q学习的新算法,这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的,其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL(FARL)的新元素。我们的主要贡献是,FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果,其中包括1,2和3名球员,包括奥赛罗,ConnectFour和Hex。在大多数情况下,发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Re-conceptualising the Language Game Paradigm in the Framework of Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);KU Leuven(鲁汶大学)
在本文中,我们制定的挑战重新概念化的语言游戏实验范式的框架内的多智能体强化学习(MARL)。如果成功的话,未来的语言游戏实验将受益于MARL社区快速和有前途的方法进步,而未来的MARL学习紧急通信实验将受益于语言游戏实验的见解和结果。我们坚信,这种异花授粉有可能在模拟类人语言如何在多智能体系统中出现和进化方面取得重大突破。
2020-04-09 cs.AI cs.CL cs.LG
Inverse reinforcement learning for video games
UC Berkeley(加州大学伯克利分校)
深度强化学习在一系列视频游戏环境中实现了超人的性能,但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习(IRL)算法可以从低维连续控制环境中的演示中推断出奖励,但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中,我们修改了最先进的对抗IRL(AIRL)算法,将CNN用于生成器和迭代器。为了稳定训练,我们将奖励标准化,并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入,提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能,大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分,但与专家性能不匹配,突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML