Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Smith College(史密斯学院)
强化学习中的再现是具有挑战性的:来自许多来源的不受控制的随机性,例如学习算法,学习策略和环境本身,导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是,在强化学习代理中仍然存在有害的可变性来源,使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布,而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences(科隆应用技术大学)
本文介绍了基于n元组的强化学习(RL)算法的游戏。我们提出了TD,SARSA和Q学习的新算法,这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的,其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL(FARL)的新元素。我们的主要贡献是,FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果,其中包括1,2和3名球员,包括奥赛罗,ConnectFour和Hex。在大多数情况下,发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Playing 2.5D Fighting Games
National Taiwan University(台湾大学)
深度强化学习已经在游戏中取得了成功。然而,2.5D格斗游戏将是一项具有挑战性的任务,因为视觉外观的模糊性,如人物的高度或深度。此外,此类游戏中的动作通常涉及特定的连续动作顺序,这也使得网络设计非常困难。基于异步优势演员-评论家(A3 C)网络,我们创建了一个OpenAI健身房般的游戏环境与游戏的小战士2(LF 2),并提出了一种新的A3 C+网络学习RL代理。引入的模型包括一个循环信息网络,它利用游戏相关的信息功能与循环层观察战斗的组合技能。在实验中,我们在不同的设置中考虑LF 2,这成功地证明了我们提出的模型用于学习2.5D格斗游戏。
2018-05-05 cs.AI cs.LG stat.ML
Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学)
我们提出了一种新的强化学习训练算法,它将深度Q学习的强度与约束优化方法相结合,以收紧最优性并鼓励更快的奖励传播。我们的新技术通过大幅减少训练时间,使深度强化学习更加实用。我们评估了我们的方法在具有挑战性的街机学习环境的49场比赛中的表现,并报告了训练时间和准确性的显着改善。
2016-11-05 cs.LG stat.ML
A Sharp Analysis of Model-based Reinforcement Learning with Self-Play
Princeton University(普林斯顿大学);MIT(麻省理工学院);Salesforce Research(Salesforce研究院)
基于模型的算法--通过构建和利用估计模型来探索环境的算法--广泛用于强化学习实践,理论上可以实现马尔可夫决策过程(MDP)中单代理强化学习的最佳样本效率。然而,对于马尔可夫博弈中的多智能体强化学习,基于模型的算法目前最知名的样本复杂度是次优的,与最近的无模型方法相比是不利的。在本文中,我们提出了一个尖锐的分析模型为基础的自我发挥算法的多智能体马尔可夫游戏。我们设计了一个两人零和马尔可夫博弈的算法--乐观纳什值迭代算法(Nash-VI),该算法能够在博弈的$\tilde{\mathcal{O}}(H^3SAB/ε^2)$情节中输出一个$ε$ -近似纳什策略,其中$S$是状态数,$A,B$是两人各自的行动数,$H$是视界长度.这显著地改进了$\tilde{\mathcal{O}}(H^4S^2AB/ε^2)$的最佳已知的基于模型的保证,并且是除了$\min\{A,B\}$因子之外第一个匹配信息理论下限$Ω(H^3S(A+B)/ε^2)$的保证。此外,我们的保证比较有利的最知名的无模型算法,如果$\min \{A,B\}=o(H^3)$,并输出一个单一的马尔可夫策略,而现有的样本效率的无模型算法输出的马尔可夫策略,一般是非马尔可夫的嵌套混合,而不方便存储和执行。我们进一步调整我们的分析,以设计一个可证明有效的零和马尔可夫游戏的任务不可知算法,并设计第一行的可证明样本有效的多玩家一般和马尔…
2021-02-07 cs.AI cs.LG stat.ML
Building a 3-Player Mahjong AI using Deep Reinforcement Learning
University of Cambridge(剑桥大学)
麻将是19世纪末在中国开发的一种流行的多人信息游戏,具有一些对人工智能研究非常具有挑战性的特征。Sanma是日本Riichi麻将的3人版本,具有独特的特点,包括较少的瓷砖,因此,更具侵略性的游戏风格。因此,它本身具有挑战性和巨大的研究兴趣,但尚未进行探索。在本文中,我们介绍了Meowjong,一个使用深度强化学习的Sanma AI。我们定义了一个信息丰富和紧凑的2维数据结构编码的可观察的信息在一个三马游戏。我们为Sanma的5个动作--丢弃、Pon、Kan、Kita和Riichi预训练了5个卷积神经网络(CNN),并使用Monte Carlo策略梯度方法通过自我强化学习增强了主要动作的模型,即丢弃模型。Meowjong的模型通过监督学习实现了与4人麻将AI相当的测试精度,并从强化学习中获得了显着的进一步增强。作为Sanma的第一个AI,我们声称Meowjong在这个游戏中是最先进的。
2022-05-14 cs.AI cs.LG
Diverse Behavior Is What Game AI Needs: Generating Varied Human-Like Playing Styles Using Evolutionary Multi-Objective Deep Reinforcement Learning
这篇论文已经被撤回了
2020-04-16 cs.LG stat.ML
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
在分层强化学习中,一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案,该方案基于Sukhbaatar et al.(2018)的非对称自我游戏,可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后,高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型,包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化,我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London(伦敦大学学院)
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域,以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中,我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时,神经虚拟自我游戏(NFSP)接近纳什均衡,而常见的强化学习方法则出现分歧。在极限德州扑克(Limit Texas Holdem)中,NFSP学习了一种策略,该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Improving Fictitious Play Reinforcement Learning with Expanding Models
Nanjing University(南京大学);Polixir(玻色量子(注:Polixir常见译名为玻色量子,若为其他译法可调整,此处按常见科技公司译名处理))
具有强化学习的虚拟游戏是零和游戏的通用和有效的框架。然而,使用当前的深度神经网络模型,虚拟游戏的实现面临着至关重要的挑战。神经网络模型训练采用梯度下降的方法来更新所有的连接权值,因此在训练后很容易忘记旧的对手来击败新的对手。现有的方法通常维护一个历史政策模型池,以避免遗忘。然而,学习在随机游戏中击败游泳池,即,在策略模型上的广泛分布或者消耗样本,或者不足以利用具有有限样本量的所有模型。在本文中,我们提出了一个学习过程与神经虚拟发挥,以减轻上述问题。我们训练单个模型作为我们的策略模型,该模型由子模型和选择器组成。每次面对一个新的对手,模型通过添加一个新的子模型来扩展,其中仅更新新的子模型而不是整个模型。同时,选择器也被更新,以在状态级将新的子模型与先前的子模型混合,使得模型被维护为行为策略,而不是广泛分布在策略模型上。在网格世界寻宝游戏Kuhn poker和Mini-RTS环境下的实验表明,该方法有效地解决了遗忘问题,提高了神经网络虚拟博弈的学习效率和鲁棒性.
2019-11-28 cs.AI cs.LG stat.ML
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Battlesnake Challenge: A Multi-agent Reinforcement Learning Playground with Human-in-the-loop
Amazon Web Services(亚马逊云科技)
我们提出了Battlesnake Challenge,这是一个基于人机在环学习(HILL)的多智能体强化学习框架。它是基于Battlesnake开发的,Battlesnake是传统蛇游戏的多人游戏扩展,其中2条或更多蛇争夺最终生存。Battlesnake Challenge包括一个用于模型训练的离线模块和一个用于现场比赛的在线模块。我们开发了一个模拟的游戏环境,用于离线多智能体模型训练,并确定了一组可以灌输以改善学习的基线知识。我们的框架是代理不可知论和不可知论,研究人员可以设计自己的算法,训练他们的模型,并在网上的Battlesnake比赛中展示。我们验证了我们的初步实验的框架和基线算法。我们的研究结果表明,提出的HILL方法的代理始终优于代理没有HILL。此外,奖励操纵策略在网络竞赛中表现最好。我们在https://github.com/awslabs/sagemaker-battlesnake-ai上开源了我们的框架。
2020-07-20 cs.AI cs.LG stat.ML
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究了自我对战强化学习中的对抗性动作遮蔽,发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性,揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
DeepMind
国际象棋是人工智能历史上研究最广泛的领域。最强大的程序是基于复杂的搜索技术,特定领域的适应性和手工制作的评估功能的组合,这些功能已经由人类专家在几十年内进行了改进。相比之下,AlphaGo Zero程序最近在围棋比赛中取得了超人的表现,这是通过自玩游戏的tabula rasa强化学习实现的。在本文中,我们将这种方法概括为一个单一的AlphaZero算法,可以实现,白板,超人的性能在许多具有挑战性的领域。从随机游戏开始,除了游戏规则之外没有任何领域知识,AlphaZero在24小时内在国际象棋和将棋(日本象棋)以及围棋游戏中达到了超人水平,并且令人信服地击败了世界冠军程序。
2017-12-05 cs.AI cs.LG
Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning
Nagoya University(名古屋大学);RIKEN(理化学研究所);Japan Science and Technology Agency(日本科学技术振兴机构)
本文提出基于多智能体深度强化学习的统一框架,在连续状态空间中评估足球有球与无球球员的行动价值,并通过与传统指标和专家评分的对比验证了其有效性。
2023-12-01 cs.AI cs.LG
Playing 2048 With Reinforcement Learning
Stanford University(斯坦福大学)
《2048》是一款非常容易上瘾的游戏。这是很容易学习的游戏,但很难掌握,因为创建的游戏显示,只有约1%的游戏出数亿曾经玩过已经赢得了。在本文中,我们想探讨强化学习技术,以赢得2048年。我们采用的方法包括深度Q学习和束搜索,其中束搜索达到2048 28.5的时间。
2021-10-20 cs.AI
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University(哥伦比亚大学)
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统,用于中国象棋的自我对弈与自我改进,克服高分支因子和不对称棋子动态等挑战,推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
MARTI-4: new model of human brain, considering neocortex and basal ganglia -- learns to play Atari game by reinforcement learning on a single CPU
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们提出了深度控制-皮质-纹状体脑回路的新ML架构,它使用整个皮质柱作为结构元素,而不是单个神经元。在此基础上,我们提出了一种新的人脑模型MARTI,它考虑了新皮层和基底神经节。该模型是为了实现权宜行为而设计的,能够在未知的环境中学习和实现目标。我们引入了一种新的惊喜感机制,通过内部奖励显著改善了强化学习过程。我们使用OpenAI Gym环境在几个小时内在单个CPU上演示了MARTI学习。
2022-08-18 cs.AI cs.LG
Beyond Winning and Losing: Modeling Human Motivations and Behaviors Using Inverse Reinforcement Learning
近年来,强化学习(RL)方法已被应用于建模游戏,并取得了巨大的成功,在各种环境中实现了超人的表现,如雅达利,围棋和扑克。然而,这些研究大多集中在赢得游戏,在很大程度上忽略了丰富而复杂的人类动机,这是理解不同球员的不同行为所必需的。在本文中,我们提出了一种新的方法,称为多动机行为建模(MMBM),考虑到多方面的人类动机和模型的底层价值结构的球员使用逆RL。我们的方法不需要访问系统的动态,使得它可行的大型多人在线游戏等复杂的交互式环境建模。MMBM在魔兽世界阿凡达历史数据集上进行了测试,该数据集记录了超过70,000名用户在三年内的游戏体验。我们的模型揭示了不同玩家群体的价值结构存在显著差异。利用动机建模的结果,我们还预测和解释了他们的不同的游戏行为,并提供了一个定量评估的游戏环境的重新设计如何影响玩家的行为。
2018-07-05 cs.AI cs.LG stat.ML
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
FlapAI Bird: Training an Agent to Play Flappy Bird Using Reinforcement Learning Techniques
Stanford University(斯坦福大学)
强化学习是自动化游戏中最流行的方法之一。该方法允许智能体估计其状态的期望效用,以便在未知环境中做出最优动作。我们试图将强化学习算法应用于Flappy Bird游戏。我们实现了SARSA和Q-Learning,并对其进行了一些修改,如$ε$ -贪婪策略,离散化和向后更新。我们发现SARSA和Q-Learning的表现优于基线,经常达到1400+的分数,最高的游戏分数为2069。
2020-04-08 cs.AI
A Structural Threshold in Decision Capacity Governs Collapse in Self-Play Reinforcement Learning
Independent Researcher(独立研究者)
研究揭示决策能力阈值决定自我对战强化学习代理在不对称规则扰动下的崩溃,通过消除所有正可达条件决策导致快速收敛到确定性利用吸引子,而保留单个正可达条件决策可防止崩溃。
2026-05-04 cs.AI cs.LG
Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索使用的潜在表示从多个输入感官模态(如图像或声音),允许代理学习和利用政策的不同子集的输入模态。我们提出了一个三阶段的体系结构,允许一个强化学习代理在一个给定的感官模态训练,执行其任务的不同的感官模态,例如,学习视觉策略的图像输入,然后执行这样的政策时,只有声音输入可用。我们表明,广义的政策实现更好的开箱即用的性能相比,不同的基线。此外,我们在不同的OpenAI健身房和视频游戏环境中证明了这一点,即使使用不同的多模态生成模型和强化学习算法。
2019-11-28 cs.AI cs.LG
Learning to Play Soccer by Reinforcement and Applying Sim-to-Real to Compete in the Real World
Universidade Federal de Pernambuco(伯南布哥联邦大学);Universite de Montréal(蒙特利尔大学)
这项工作提出了一个应用程序的强化学习(RL)的IEEE非常小尺寸足球(VSSS),在拉丁美洲机器人比赛(LARC)的传统联赛的真正的足球机器人的完全控制。在VSSS联赛中,两支由三个小机器人组成的球队互相比赛。我们提出了一个模拟的环境中,连续或离散的控制策略可以训练,和一个模拟到真实的方法,允许使用所获得的政策,以控制机器人在现实世界中。结果表明,学习的政策显示了广泛的剧目的行为是很难指定的手。这种称为VSSS-RL的方法能够在1对1的比赛中击败2018年LARC排名第三的球队前锋的人类设计策略。
2020-03-24 cs.AI cs.LG cs.RO
A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games
Carnegie Mellon University(卡内基梅隆大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);DeepMind(深度思维);Meta AI;Columbia University(哥伦比亚大学)
本文提出磁性镜像下降算法,统一解决双人零和博弈中的均衡求解与强化学习问题,首次实现一阶反馈下扩展式博弈分位数响应均衡的线性收敛,并在表格设置中达到与CFR相当的性能。
2023-04-11 cs.AI cs.GT cs.LG
Giraffe: Using Deep Reinforcement Learning to Play Chess
Imperial College London(帝国理工学院)
这份报告介绍了Giraffe,一个国际象棋引擎,它使用自我游戏来发现所有特定领域的知识,程序员只需要提供最少的手工知识。与之前使用机器学习仅对手工制作的评估函数进行参数调整的尝试不同,Giraffe的学习系统还执行自动特征提取和模式识别。经过训练的评估函数执行最先进的国际象棋引擎的评估函数-所有这些引擎都包含数千行精心手工制作的模式识别器,经过计算机国际象棋专家和人类国际象棋大师多年的调整。Giraffe是迄今为止在使用端到端机器学习下棋方面最成功的尝试。
2015-09-14 cs.AI cs.LG cs.NE
At Human Speed: Deep Reinforcement Learning with Action Delay
DeepMind(深度思维);MIT(麻省理工学院);Stanford(斯坦福大学)
最近,玩游戏的人工智能的能力出现了爆炸式增长。许多类别的任务,从视频游戏到运动控制再到棋盘游戏,现在都可以通过基于深度学习和强化学习的相当通用的算法来解决,这些算法可以用最少的先验知识从经验中学习游戏。然而,这些机器通常不仅仅是通过智能取胜--它们拥有远远优越的速度和精确度,使它们能够以人类永远无法做到的方式行事。为了公平竞争,我们将机器的反应时间限制在人类的水平,并发现标准的深度强化学习方法的性能会迅速下降。我们提出了一个解决方案的行动延迟问题的灵感来自人类的感知-赋予代理与环境的神经预测模型,“撤销”固有的延迟在他们的环境-并证明其对专业玩家的效力在超级粉碎兄弟。
2018-10-16 cs.AI cs.LG
MDP Playground: An Analysis and Debug Testbed for Reinforcement Learning
University of Freiburg(弗莱堡大学)
本文提出 MDP Playground,通过可控的强化学习难度维度、参数化玩具环境和 Gym 封装器,分析智能体表现并支持调试。
2023-07-14 cs.AI cs.LG stat.ML
Spatial Assembly: Generative Architecture With Reinforcement Learning, Self Play and Tree Search
University of Oxford(牛津大学);Bartlett School of Architecture, UCL(伦敦大学学院巴特莱特建筑学院)
在这项工作中,我们研究了使用强化学习(RL)的空间组件的生成,通过结合程序生成算法(波函数折叠算法(WFC))和RL的游戏解决的想法。WFC是一种生成式设计算法,受约束求解的启发。在WFC中,定义了一组瓦片/块和约束,并且算法生成满足这些约束的组件。将空间装配体的生成问题转化为一个马尔可夫决策过程,其状态转移由WFC定义,提出了一种利用强化学习和Self-Play学习策略生成装配体的算法,该算法能够最大化设计者设定的目标。最后,我们展示了我们的空间组装算法在建筑设计中的应用。
2021-01-19 cs.AI cs.GR cs.LG
PufferLib: Making Reinforcement Learning Libraries and Environments Play Nice
针对强化学习中环境、模型与库不兼容的问题,PufferLib提供单行环境包装器与快速向量化功能,支持多类库适配从经典基准到复杂模拟器的数十种环境,且开源并配套完整资源。
2024-06-11 cs.AI cs.LG cs.MA
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania(宾夕法尼亚大学)
本文提出一个自我对弈强化学习框架,在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法,发现PPO优于其他方法,并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University(普林斯顿大学)
本文提出了新的端到端深度强化学习算法,用于学习两人零和马尔可夫博弈。不同于以往的努力,训练代理击败一组固定的对手,我们的目标是找到纳什均衡政策,甚至从剥削的敌对对手。我们提出了(a)Nash-DQN算法,该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;(b)Nash-DQN-Exploiter算法,该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子,以及各种两个球员雅达利游戏。我们的实证结果表明,(i)通过许多现有方法(包括神经虚拟自玩和策略空间响应Oracle)发现的策略可能容易被敌对对手利用;(ii)我们算法的输出策略对利用具有鲁棒性,因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
Towards Playing Full MOBA Games with Deep Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室);Tencent TiMi L1 Studio(腾讯天美L1工作室)
MOBA游戏,例如,《王者荣耀》、《英雄联盟》、《Dota 2》等游戏对人工智能系统提出了多智能体、巨大的状态-动作空间、复杂的动作控制等巨大挑战,开发MOBA游戏的人工智能也因此备受关注。然而,现有的工作在处理由代理组合的爆炸引起的原始游戏复杂性方面存在不足,即,阵容,当扩大英雄池的情况下,OpenAI的Dota AI限制发挥只有17个英雄池.因此,没有限制的完整MOBA游戏远远不是任何现有AI系统所能掌握的。在本文中,我们提出了一种MOBA AI学习范式,该范式在方法论上可以通过深度强化学习玩完整的MOBA游戏。具体来说,我们开发了一个新的和现有的学习技术相结合,包括课程自我发挥学习,政策蒸馏,政策外的适应,多头价值估计,和蒙特卡罗树搜索,在训练和发挥了大量的英雄,同时巧妙地解决了可扩展性问题。在流行的MOBA游戏《王者荣耀》上进行测试,我们展示了如何构建能够击败顶级电竞选手的超人人工智能智能体。MOBA人工智能智能体在文献中的首次大规模性能测试证明了我们的AI的优越性。
2020-12-31 cs.AI cs.LG
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而,一旦解决,这些环境变得不那么有价值,需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena,这是一个用于强化学习研究和实验的新平台,它具有一系列高质量的环境,暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务,由原始像素和额外的数值组成,所有这些都支持单人和双人模式,允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理,以获得类似人类的行为,证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性,提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing(交互式计算学院);Georgia Institute of Technology(佐治亚理工学院)
基于文本的冒险游戏提供了一个在组合动作空间(如自然语言)的背景下探索强化学习的平台。我们提出了一个深度强化学习架构,将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间,从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务,这是一种迁移学习的形式,可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中,我们表明,我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Estimating player completion rate in mobile puzzle games using reinforcement learning
IT University of Copenhagen(哥本哈根信息技术大学);Tactile Games(Tactile Games公司)
本研究探讨了利用强化学习智能体在移动端益智游戏《Lily's Garden》中的表现来估计玩家关卡完成率的可行性,发现智能体表现最佳的约5%运行次数的完成步数是最强预测因子,尽管智能体绝对表现不及人类,但其行为差异与人类高度相关,可用于估计和建模玩家指标。
2023-06-26 cs.AI cs.LG
Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making
Machine Intelligence Research Institute(机器智能研究所);UC Berkeley, Center for Human Compatible AI(加州大学伯克利分校人类兼容人工智能中心)
现有的多目标强化学习(MORL)算法不考虑具有不同信念的玩家产生的目标。具体地说,考虑两个具有不同信念和效用函数的参与者,他们可以合作建造一台代表他们采取行动的机器。需要一个表示来表示机器的策略将在多大程度上优先考虑每个玩家的利益。假设球员已经达到了他们的情况的共同知识,本文推导出一个递归,任何帕累托最优策略必须满足。从递归中可以得到两个定性的观察结果:机器必须(1)使用每个参与者自己的信念来评估一个行动对该参与者的效用函数有多好,以及(2)随着时间的推移,它分配给每个参与者的预期效用的相对优先级,与参与者的信念预测机器输入的程度成正比。观察结果(2)代表了与朴素的线性效用聚合(如海萨尼的效用定理和现有的MORL算法)的实质性分歧,这里表明,代表不同信念的参与者进行帕累托最优顺序决策是不够的。
2017-05-13 cs.AI cs.GT cs.LG
Using reinforcement learning to design an AI assistantfor a satisfying co-op experience
NC State University(北卡罗来纳州立大学)
在这个项目中,我们设计了一个智能助理球员的单人游戏太空侵略者,旨在提供一个令人满意的合作经验。代理行为的设计使用强化学习技术和评估的基础上的几个标准。我们验证了一个假设,即人工智能驱动的计算机播放器可以提供令人满意的合作体验。
2021-05-07 cs.AI
Playing a Strategy Game with Knowledge-Based Reinforcement Learning
arago GmbH(arago有限公司)
本文提出基于知识的强化学习KB-RL,融合多专家知识与强化学习冲突解决策略,在FreeCiv策略游戏中实现完整通关并战胜电脑玩家,且随经验增加持续缩短获胜回合数。
2019-08-15 cs.AI
A Reinforcement Learning Based Approach to Play Calling in Football
University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着对足球的大量数据收集和计算能力的增长,许多涉及决策选择的游戏可以被优化。基本规则是结果的期望效用最大化和大数定律。可用的数据使我们能够高精度地计算决策结果的概率,并且游戏中定义良好的积分系统使我们能够拥有必要的终端效用。有了一些成熟的理论,我们就可以在一个游戏层面上优化选择。
2021-03-11 cs.LG stat.AP stat.ME
Learning to Play Air Hockey with Model-Based Deep Reinforcement Learning
Interdisciplinary Centre for Security, Reliability and Trust (SnT)(安全、可靠性与跨学科信任中心(SnT));University of Luxembourg(卢森堡大学)
本文研究基于模型的深度强化学习在 Robot Air Hockey Challenge 2023 中的应用,通过稀疏奖励与自博弈训练智能体自主打冰球,发现自博弈可提升泛化能力且更长想象视界能带来更稳定的学习与更优性能。
2024-06-01 cs.AI cs.LG cs.RO
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
深度强化学习的进步使自主智能体在Atari游戏中表现出色,往往优于人类,只使用原始像素来做出决定。然而,这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中,我们提出了第一个架构,以解决第一人称射击游戏中的3D环境,涉及部分可观察的状态。通常,深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型,以利用游戏特征信息,如敌人或项目的存在,在训练阶段。我们的模型经过训练,可以同时学习这些特征以及最小化Q学习目标,这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的,允许不同的模型在游戏的不同阶段进行独立训练。我们表明,所提出的架构大大优于内置的人工智能智能体的游戏,以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Finding Effective Security Strategies through Reinforcement Learning and Self-Play
KTH Royal Institute of Technology(KTH皇家理工学院);KTH Center for Cyber Defense and Information Security(KTH网络防御与信息安全中心)
提出一种基于强化学习与自博弈的入侵防御策略自动生成方法,通过马尔可夫博弈建模攻防交互,并采用函数近似、对手池和自回归策略表示克服领域挑战,其表现优于两种基线方法。
2020-10-04 cs.CR cs.LG cs.NI
Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay
University Politehnica of Bucharest(布加勒斯特理工大学)
本文介绍了一种使用深度强化学习从Arcade学习环境中学习如何玩最难的Atari 2600游戏的新方法。所提出的方法,人类检查点重放,包括使用从人类游戏中采样的检查点作为学习过程的起点。这是为了弥补当前探索策略的困难,例如ε贪婪,在稀疏奖励的游戏中找到成功的控制策略。与其他深度强化学习架构一样,我们的模型使用了一个卷积神经网络,它只接收原始像素输入来估计状态价值函数。我们在Atari平台上最具挑战性的两款游戏Montezuma's Revenge和Private Eye上测试了我们的方法。我们得到的结果显示了显着的改善相比,以前的学习方法,以及在一个随机的球员。我们还提出了一种使用人类游戏体验来训练深度强化学习代理的方法,我们称之为人类体验重播。
2016-07-18 cs.AI
Reinforcement Learning for ConnectX
IIT Bombay(印度理工学院孟买分校)
ConnectX是一款双人游戏,推广了流行的游戏Connect 4。目标是让X个硬币穿过M x N棋盘的一行、一列或对角线。第一个这样做的玩家赢得比赛。参数(M,N,X)允许在每个游戏中改变,使得ConnectX成为一个新颖且具有挑战性的问题。在本文中,我们提出了我们的工作的实施和修改的各种强化学习算法发挥ConnectX。
2022-10-15 cs.AI
DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
在本文中,我们介绍了DeepCrawl,这是一个适用于iOS和Android的完全可玩的Roguelike原型,其中所有代理都由使用深度强化学习(DRL)训练的策略网络控制。我们的目标是了解DRL的最新进展是否可以用于为视频游戏中的非玩家角色开发令人信服的行为模型。我们首先分析了这样一个AI系统应该满足的要求,以便在视频游戏开发中实际应用,并确定了DeepCrawl原型中使用的DRL模型的元素。DeepCrawl的成功和局限性通过在最终游戏上进行的一系列可玩性测试来记录。我们相信,我们提出的技术为视频游戏中非玩家角色的行为发展提供了创新的新途径,因为它们提供了克服关键问题的潜力,
2020-12-03 cs.AI cs.LG
Modelling Stock-market Investors as Reinforcement Learning Agents [Correction]
University of Sheffield(谢菲尔德大学)
在不确定和风险环境中的决策是一个突出的研究领域。标准的经济理论无法完全解释人类行为,而一个潜在的有前途的替代方案可能是强化学习(RL)理论。我们分析了从金融市场在线游戏中提取的46名玩家的数据,并测试了强化学习(Q-Learning)是否可以使用基于金融建模的风险度量来捕获这些玩家的行为。此外,我们测试了一个早期的假设,即玩家是“天真的”(短视的)。我们的研究结果表明,一个简单的强化学习模型,只考虑任务的销售部分,捕捉决策过程的一个子集的球员,但这是不足以得出任何结论的人口。我们还发现,当使用一个完整的RL模型对一个近视的版本,只有即时奖励是由球员的价值,有没有一个显着的改善拟合的球员。这表明,如果使用强化学习方法,玩家会很天真地这样做
2016-09-20 cs.CE cs.LG
Playing Atari with Deep Reinforcement Learning
DeepMind Technologies(DeepMind科技公司)
我们提出了第一个使用强化学习直接从高维感觉输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络,用Q学习的变体训练,其输入是原始像素,其输出是估计未来奖励的价值函数。我们将我们的方法应用于Arcade学习环境中的七个Atari 2600游戏,没有调整架构或学习算法。我们发现它在六个游戏上的表现优于所有以前的方法,并且在其中三个游戏上超过了人类专家。
2013-12-19 cs.LG
Mirror Mode in Fire Emblem: Beating Players at their own Game with Imitation and Reinforcement Learning
LIACS, Leiden University(莱顿大学 LIACS)
本研究通过模仿与强化学习实现镜像模式,使敌方AI模仿玩家策略以提升玩家体验。
2025-12-10 cs.AI cs.GT cs.LG
Reinforcement Learning and Video Games
University of Sheffield(谢菲尔德大学)
根据DeepMind在Go和Atari游戏上的实验,强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法,成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意,但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Near-Optimal Reinforcement Learning with Self-Play under Adaptivity Constraints
UC Santa Barbara(加州大学圣巴巴拉分校)
针对多智能体强化学习中的自适应约束问题,提出基于策略消除的算法,在双人零和马尔可夫博弈中实现近最优遗憾和低批次复杂度,并证明匹配的下界。
2024-02-02 cs.AI cs.LG cs.MA
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架,通过分析行为轨迹自动修订游戏配置,实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University(赫瑞-瓦特大学)
具有战略技能的智能代理,可以在与其他自然或人工代理的交互过程中进行谈判,仍然不发达。本文描述了一个成功的应用深度强化学习(DRL)训练智能代理的战略会话技能,在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术,后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中,我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里,玩家可以提供资源,以换取他人,他们也可以回答由其他玩家提供。我们的实验结果表明,基于DRL的学习策略显著优于几个基线,包括随机,基于规则和基于监督的行为。基于DRL的策略与3个自动播放器(“机器人”)相比具有53%的胜率,而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架,用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI