Deep Learning for Reward Design to Improve Monte Carlo Tree Search in ATARI Games
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
事实证明,蒙特卡罗树搜索(MCTS)方法在规划顺序决策问题(例如围棋和视频游戏)方面非常强大,但当规划深度和采样轨迹有限或奖励稀疏时,它们的性能可能会很差。我们提出了一个自适应的PGRD(策略梯度奖励设计)学习奖励奖金函数,以改善UCT(MCTS算法)。与以前的PGRD应用程序中,奖励奖金函数的空间被限制为手工编码的状态-动作-功能的线性函数不同,我们使用PGRD与多层卷积神经网络,以自动学习原始感知的功能,以及适应非线性奖励奖金函数参数。我们还采用了一个方差减少梯度的方法来改善PGRD的性能。与没有奖励奖金的UCT相比,新方法提高了UCT在多个ATARI游戏上的性能。以这种方式将PGRD和深度学习结合起来,应该会使MCTS算法的适应性奖励比以前更加广泛和实用。
2016-04-24 cs.AI
Learning To Play Atari Games Using Dueling Q-Learning and Hebbian Plasticity
University of Sussex(萨塞克斯大学)
本文使用深度Q网络和决斗Q网络训练智能体玩Atari游戏,并扩展至基于反向传播和赫布规则的可塑性神经网络,分析其可行性,为自适应学习提供新见解。
2024-05-22 cs.AI cs.LG
Playing Atari Ball Games with Hierarchical Reinforcement Learning
Florida State University(佛罗里达州立大学)
人类特别擅长从几个例子中进行推理和推断。当面临新任务时,人类会利用以前学到的知识和技能,并迅速将它们与新任务结合起来。除了通过实验学习,人类还通过指导和榜样学习来学习社会文化。通过这种方式,在许多任务中,与当前大多数人工智能算法相比,人类可以更快地学习。在本文中,我们测试了通过社会学习加速机器学习的想法。我们认为,在解决现实世界中的问题,特别是当任务是由人类设计的,和/或为人类,通常有指示,从用户手册和/或人类专家,提供指导方针,如何更好地完成任务。我们认为,这些指令在设计一个可以以人类方式学习的强化学习系统方面具有巨大的价值,我们通过玩Atari游戏网球和乒乓来测试这个想法。我们的实验表明,指令提供了关键信息的任务,可用于分解的学习任务到子系统和构建选项的时间扩展的规划,并大大加快学习过程。
2019-09-27 cs.AI
Atari-5: Distilling the Arcade Learning Environment down to Five Games
Australian National University(澳大利亚国立大学);Deepmind(深度思维)
Arcade学习环境(ALE)已成为评估强化学习算法性能的重要基准。然而,在整个57场比赛数据集上生成结果的计算成本限制了ALE的使用,并使许多结果的可重复性变得不可行。我们提出了一个新的解决方案,这个问题的形式选择一个小的,但有代表性的子集的环境中的基准套件的原则性方法。我们应用我们的方法来识别五个ALE游戏的子集,称为Atari-5,它产生了57个游戏的平均得分估计值,其真实值在10%以内。将子集扩展到10场比赛恢复了57场比赛集内所有比赛的日志得分的方差的80%。我们表明,这种程度的压缩是可能的,由于高度的相关性,许多游戏在ALE。
2022-10-05 cs.AI cs.LG
Evolving simple programs for playing Atari games
University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);University of York(约克大学)
笛卡尔遗传编程(CGP)先前已经通过使用专用于计算机视觉的函数集来进化程序而显示出在图像处理任务中的能力。类似的方法可以应用于Atari游戏。程序是使用混合型CGP来进化的,其具有适合于矩阵操作的函数集,包括图像处理,但允许出现控制器行为。虽然程序相对较小,但许多控制器与Atari基准集的最先进方法相比具有竞争力,并且需要更少的训练时间。通过评估最佳进化个体的程序,可以找到简单但有效的策略。
2018-06-14 cs.AI cs.NE
ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents
Smith College(史密斯学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
一个被广泛接受的原则是,没有测试的软件有bug。测试强化学习代理是特别困难的,因为代理和环境的随机性,最先进的模型的复杂性,以及其预测的顺序性。最近,Arcade学习环境(ALE)已成为深度学习研究中使用最广泛的基准套件之一,最先进的强化学习(RL)代理已被证明在许多ALE任务上通常等于或超过人类表现。由于ALE是基于原始Atari游戏的仿真,因此环境不提供内部游戏状态的语义有意义的表示。这意味着ALE作为支持测试或模型内省的环境的实用性有限。我们提出了ToyBox,这些游戏的重新实现的集合,解决了这个关键问题,并使强大的测试RL代理。
2019-01-25 cs.AI
Distributed Deep Reinforcement Learning: Learn how to play Atari games in 21 minutes
Intel(英特尔);Biz On Sp. z o.o.(Biz On 有限责任公司);Polish Academy of Sciences(波兰科学院)
我们在分布式深度强化学习(DDRL)中进行了一项研究,重点关注最先进的深度强化学习算法(称为Batch Asynchronous Advantage ActorCritic(BA3C))的可扩展性。我们表明,使用亚当优化算法的批量大小高达2048进行大规模机器学习计算是一个可行的选择。结合对优化器超参数的仔细检查,在节点级别上使用同步训练(同时保持算法的本地单节点部分异步)并最小化模型的内存占用,使我们能够实现最多64个CPU节点的线性扩展。这相当于在768个CPU内核上的训练时间为21分钟,而在使用具有24个内核的单节点时,基线单节点实现的训练时间为10小时。
2018-04-09 cs.AI
Enhancing Two-Player Performance Through Single-Player Knowledge Transfer: An Empirical Study on Atari 2600 Games
University of Calgary(卡尔加里大学)
本文提出将同一游戏单玩家版本的知识迁移到双玩家强化学习训练中,并在十个Atari 2600环境中验证该方法可提升训练效率和性能。
2024-10-22 cs.AI cs.LG
Atari games and Intel processors
Intel(英特尔公司);University of Warsaw(华沙大学)
最先进的强化学习算法(如Asynchronous Advantage Actor-Critic算法)的异步性质使其非常适合CPU计算。然而,考虑到深度强化学习通常处理解释视觉信息的事实,训练和推理时间的很大一部分都花在执行卷积上。在这项工作中,我们使用卷积神经网络,数学核函数库和TensorFlow 0.11rc 0机器学习框架,在Atari游戏中的学习策略,我们提出了我们的结果。我们还分析了异步计算对强化学习算法收敛性的影响。
2017-05-19 cs.AI cs.DC cs.LG
Virtual Augmented Reality for Atari Reinforcement Learning
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文研究SAM图像分割模型能否提升Atari游戏RL智能体性能,发现其可作为虚拟增强现实,在特定条件下改善表现,为相关研究提供方向。
2023-10-12 cs.AI cs.LG
A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games
Microsoft Research(微软研究院)
强化学习关注的是在最初未知的环境中识别奖励最大化的行为策略。最先进的强化学习方法,如深度Q网络,是无模型的,可以在Atari游戏等广泛的环境中有效地学习,但需要大量的数据。基于模型的技术数据效率更高,但需要获得有关环境的明确知识。在本文中,我们采取了一个步骤,使用基于模型的技术,在环境中的高维视觉状态空间,证明它是可能的学习系统动力学和奖励结构联合。我们的贡献是扩展最近开发的用于Atari游戏中视频帧预测的深度神经网络,以实现奖励预测。为此,我们提出了一个联合优化问题,以最小化视频帧和奖励重建损失,并相应地调整网络参数。对五款Atari游戏的实证评估表明,累积奖励预测准确度高达200帧。我们认为这些结果为复杂的、最初未知的环境中的基于模型的强化学习开辟了重要的方向。
2017-08-17 cs.AI cs.LG stat.ML
Reinforcement Learning in Strategy-Based and Atari Games: A Review of Google DeepMinds Innovations
Computer Science Engineering Undergraduate Student(计算机科学工程本科生);Egypt Japan University of Science and Technology(埃及-日本科学技术大学);Department of Computer Science and Engineering, School of Electronics, Communications and Computer Engineering(计算机科学与工程系,电子、通信与计算机工程学院)
本文综述了谷歌DeepMind在Atari和策略类游戏中应用强化学习的创新,分析了AlphaGo、AlphaGo Zero和MuZero等模型的核心方法及贡献。
2026-02-11 cs.AI cs.GT
From Chess and Atari to StarCraft and Beyond: How Game AI is Driving the World of AI
IT University of Copenhagen(哥本哈根信息技术大学);LIACS, Universiteit Leiden(莱顿大学LIACS研究所)
本文回顾了游戏AI领域,它不仅涉及创建可以玩某个游戏的代理,而且涉及自动创建游戏内容,游戏分析或玩家建模等多种领域。虽然游戏人工智能在很长一段时间内没有得到更大的科学界的认可,但它已经成为开发和测试最先进形式的人工智能算法的研究领域,并且在最负盛名的期刊上发表了关于掌握视频游戏(如星际争霸2和雷神之锤III)的进展的文章。由于这一领域的发展,一个单一的审查不能完全涵盖它。因此,我们将重点放在最近的重要发展上,包括游戏人工智能的进步开始扩展到游戏以外的领域,例如机器人技术或化学合成。在本文中,我们回顾了为这些突破铺平道路的算法和方法,报告了游戏AI研究的其他重要领域,并为游戏AI的未来指出了令人兴奋的方向。
2020-02-24 cs.AI cs.LG
MARTI-4: new model of human brain, considering neocortex and basal ganglia -- learns to play Atari game by reinforcement learning on a single CPU
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们提出了深度控制-皮质-纹状体脑回路的新ML架构,它使用整个皮质柱作为结构元素,而不是单个神经元。在此基础上,我们提出了一种新的人脑模型MARTI,它考虑了新皮层和基底神经节。该模型是为了实现权宜行为而设计的,能够在未知的环境中学习和实现目标。我们引入了一种新的惊喜感机制,通过内部奖励显著改善了强化学习过程。我们使用OpenAI Gym环境在几个小时内在单个CPU上演示了MARTI学习。
2022-08-18 cs.AI cs.LG
Action-Conditional Video Prediction using Deep Networks in Atari Games
University of Michigan(密歇根大学)
基于视觉的强化学习(RL)的问题,特别是雅达利游戏从最近的基准Aracade学习环境(ALE)的动机,我们考虑时空预测问题,未来(图像)帧依赖于控制变量或动作以及以前的帧。虽然不是由自然场景组成,但雅达利游戏中的帧在尺寸上是高维的,可以涉及数十个对象,其中一个或多个对象直接由动作控制,许多其他对象受到间接影响,可以涉及对象的进入和离开,并且可以涉及深度局部可观察性。我们提出并评估了两种深度神经网络架构,包括基于卷积神经网络和递归神经网络的编码层、动作条件变换层和解码层。实验结果表明,所提出的架构是能够产生视觉上逼真的帧,也是有用的控制约100步的动作条件的未来在一些游戏。据我们所知,本文是第一个对控制输入条件下的高维视频进行长期预测和评估的。
2015-12-22 cs.AI cs.CV cs.LG
MinAtar: An Atari-Inspired Testbed for Thorough and Reproducible Reinforcement Learning Experiments
University of Alberta(阿尔伯塔大学)
Arcade Learning Environment(ALE)是一个用于评估强化学习代理的流行平台。雅达利游戏的吸引力很大程度上来自于这样一个事实,即雅达利游戏展示了我们期望从智能代理中获得的能力,并且不偏向于任何特定的解决方案。ALE的挑战包括(1)从原始像素提取相关信息的表示学习问题,以及(2)利用动作和奖励之间复杂的延迟关联的行为学习问题。通常,我们感兴趣的研究问题更多地属于后者,但表示学习问题增加了显着的计算费用。我们介绍MinAtar,简称微型雅达利,一套新的环境,捕捉特定雅达利游戏的一般机制,同时简化了代表性的复杂性,更专注于行为的挑战。MinAtar由五款Atari游戏组成:Seaquest,Breakout,Asterix,Freeway和Space Invaders。每个MinAtar环境为代理提供10 x10 xn二进制状态表示。每个游戏都在10 x10的网格上进行,其中n个通道对应于游戏特定的对象,例如游戏Breakout中的球,球拍和砖块。为了调查MinAtar带来的行为挑战,我们评估了一个较小版本的DQN架构以及具有资格跟踪的在线演员-评论家。随着表示学习问题的简化,我们可以用显著更少的计算开销来执行实验。在我们的实验中,我们使用节省的计算时间来执行步长参数扫描和更多的运行比典型的ALE。像这样的实验提高了可重复性,并使我们能够得出更有信心的结论。我们希…
2019-06-07 cs.AI cs.LG
Learning from the memory of Atari 2600
University of Warsaw(华沙大学)
我们训练一些神经网络玩游戏保龄球,突破和Seaquest使用存储在视频游戏控制台Atari 2600的存储器中的信息。我们考虑四个模型的神经网络不同的大小和架构:两个网络只使用包含在RAM中的信息和两个混合网络,使用RAM中的信息和信息从屏幕上。作为基准,我们使用了NIPS中提出的卷积模型,并在所有考虑的游戏中获得了可比的结果。令人惊讶的是,在Seaquest的情况下,我们能够训练RAM的代理,它的行为比基准的屏幕代理更好。与仅屏幕和仅RAM代理相比,混合屏幕和RAM并没有导致性能的改善。
2016-05-04 cs.AI cs.LG
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University(普林斯顿大学)
本文提出了新的端到端深度强化学习算法,用于学习两人零和马尔可夫博弈。不同于以往的努力,训练代理击败一组固定的对手,我们的目标是找到纳什均衡政策,甚至从剥削的敌对对手。我们提出了(a)Nash-DQN算法,该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;(b)Nash-DQN-Exploiter算法,该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子,以及各种两个球员雅达利游戏。我们的实证结果表明,(i)通过许多现有方法(包括神经虚拟自玩和策略空间响应Oracle)发现的策略可能容易被敌对对手利用;(ii)我们算法的输出策略对利用具有鲁棒性,因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
MiniZero: Comparative Analysis of AlphaZero and MuZero on Go, Othello, and Atari Games
Institute of Information Science, Academia Sinica(中央研究院資訊科學研究所);National Yang Ming Chiao Tung University(國立陽明交通大學);Kochi University of Technology(高知工科大學)
本文提出零知识学习框架MiniZero,系统评估AlphaZero等四种算法在围棋、黑白棋和Atari游戏上的表现,并引入渐进式模拟方法以更高效分配计算资源,显著提升棋盘游戏性能,同时公开框架与模型作为未来研究基准。
2024-04-26 cs.AI cs.LG
Performing Deep Recurrent Double Q-Learning for Atari Games
Universidad Católica San Pablo(圣巴勃罗天主教大学)
目前,机器学习中的许多应用程序都是基于定义新模型来提取有关数据的更多信息,在这种情况下,深度强化学习与Atari,Mario等视频游戏中最常见的应用程序对计算机如何通过仅从任何动作中获得的称为奖励的信息进行自我学习产生了影响。在AlphaZero和Go中,有很多基于DeepMind提出的深度递归Q-Learning建模和实现的算法。在本文中,我们提出了深度递归双Q学习,这是使用双Q-学习算法和递归网络(如LSTM和DRQN)实现深度强化学习的一种实现。
2019-10-17 cs.AI cs.LG cs.NE
Fractal AI: A fragile theory of intelligence
分形人工智能是一种通用的人工智能理论。它允许衍生新的数学工具,构成了一种新的随机微积分的基础,通过使用类似细胞自动机的结构而不是光滑函数来建模信息。在存储库中包括我们提出了一个新的代理,来自理论的第一原则,这是能够解决雅达利游戏几个数量级更有效地比其他类似的技术,如蒙特卡罗树搜索。提供的代码显示了如何在Atari游戏上击败一些当前最先进的基准测试,而无需之前的学习,并且使用不到1000个样本来计算每个动作,而标准MCTS使用300万个样本。除此之外,Fractal AI还可以生成一个巨大的高性能示例数据库,只需很少的计算量,将强化学习转化为监督问题。所提出的算法能够解决离散和连续情况下的探索与开发的困境,同时保持对Agent行为的任何方面的控制。从一般的方法,这里提出的新技术有直接的应用到其他领域,如非平衡态热力学,化学,量子物理,经济学,信息论,和非线性控制理论。
2020-07-30 cs.AI
Mastering Atari Games with Limited Data
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校);Shanghai Qi Zhi Institute(上海期智研究院)
强化学习在许多应用中取得了巨大的成功。然而,样本效率仍然是一个关键的挑战,突出的方法需要数百万(甚至数十亿)的环境步骤来训练。最近,在样本高效的基于图像的RL算法方面取得了重大进展;然而,在Atari游戏基准测试中保持一致的人类水平性能仍然是一个难以捉摸的目标。我们提出了一个基于MuZero的高效的基于模型的视觉RL算法,我们称之为EfficientZero。我们的方法在Atari 100 k基准测试中实现了194.3%的平均人类性能和109.0%的中值性能,只有两个小时的实时游戏体验,并且在DMControl 100 k基准测试中的某些任务中优于国家SAC。这是第一次一个算法在Atari游戏上用这么少的数据实现超人的性能。EfficientZero的性能也接近DQN的2亿帧性能,而我们消耗的数据少500倍。EfficientZero的低样本复杂度和高性能可以使RL更接近现实世界的适用性。我们以易于理解的方式实现我们的算法,可以在https://github.com/YeWR/EfficientZero上找到。我们希望它将加速在更广泛的社区基于MCTS的RL算法的研究。
2021-12-12 cs.AI cs.CV cs.LG
Observe and Look Further: Achieving Consistent Performance on Atari
DeepMind(深度思维)
尽管深度强化学习(RL)领域取得了重大进展,但今天的算法仍然无法在Atari 2600游戏等一系列不同任务上一致地学习人类水平的策略。我们确定了任何算法都需要掌握的三个关键挑战,以便在所有游戏中表现良好:处理不同的奖励分布,长时间范围内的推理,以及有效地探索。在本文中,我们提出了一种算法,解决了这些挑战,并能够学习人类水平的政策,几乎所有的雅达利游戏。一个新的变换贝尔曼算子允许我们的算法处理不同密度和规模的奖励;辅助的时间一致性损失允许我们稳定地使用$γ= 0.999$(而不是$γ= 0.99$)的折扣因子训练,有效的规划范围扩展了一个数量级;我们缓解了探索问题,通过使用人类示范,引导代理对奖励状态。当在一组42个Atari游戏上进行测试时,我们的算法超过了使用一组通用超参数的40个游戏的平均人类性能。此外,它是第一个解决Montezuma复仇第一级的深度RL算法。
2018-05-29 cs.AI cs.LG stat.ML
Reward learning from human preferences and demonstrations in Atari
DeepMind(深度思维);OpenAI(开放人工智能研究中心)
为了用强化学习解决复杂的现实问题,我们不能依赖手动指定的奖励函数。相反,我们可以让人类直接向智能体传达目标。在这项工作中,我们结合了两种方法来学习人类的反馈:专家演示和轨迹偏好。我们训练一个深度神经网络来模拟奖励函数,并使用其预测的奖励来训练一个基于DQN的深度强化学习代理9个Atari游戏。我们的方法在7个游戏中击败了模仿学习基线,并在2个游戏中实现了严格的超人表现,而不使用游戏奖励。此外,我们研究了奖励模型的拟合优度,提出了一些奖励投机问题,并研究了人类标签中噪声的影响。
2018-11-15 cs.AI cs.LG cs.NE
Is Policy Learning Overrated?: Width-Based Planning and Active Learning for Atari
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
基于宽度的规划在使用像素输入的Atari 2600游戏上显示出有希望的结果,同时使用比强化学习少得多的环境交互。最近的基于宽度的方法已经使用手工设计的特征集或在游戏屏幕上训练的变分自编码器(VAE-IW)来计算每个屏幕的特征向量,并且在搜索期间修剪不具有新颖特征的屏幕。我们提出橄榄(在线VAE-IW),它更新的VAE功能在线使用主动学习,以最大限度地提高规划过程中观察到的屏幕的效用。在55个Atari游戏中的实验结果表明,它比Rollout-IW高出42比11,比VAE-IW高出32比20。此外,Olive优于现有的同策略学习($π$ -IW,DQN)的工作,该工作使用100倍的训练预算进行训练,分别为30比22和31比17,以及最先进的数据高效强化学习(EfficientZero),该学习使用相同的训练预算进行训练,并在Atari 100 k基准测试中使用1.8倍的规划预算进行运行,根本没有策略学习。源代码可在github.com/ibm/atari-active-learning上获得。
2022-03-19 cs.AI cs.LG
Unsupervised Representation Learning in Partially Observable Atari Games
University of Oslo(奥斯陆大学);University of Agder(阿格德大学);Oslo Metropolitan University(奥斯陆城市大学)
状态表示学习旨在捕捉环境中潜在的因素。在以前的状态表示学习研究中,对比方法比生成模型表现得更好。尽管一些研究者已经意识到了掩码图像建模和对比表示学习之间的联系,但他们的努力主要集中在使用掩模作为增强技术来更好地表示潜在的生成因素。强化学习中的部分可观察环境尚未使用无监督状态表示学习方法进行仔细研究。在这篇文章中,我们创建了一个无监督的状态表示学习计划的部分可观察的状态。我们在以前的Atari 2600框架上进行了实验,该框架旨在评估表示学习模型。一种名为Spatiotemporal DeepInfomax(ST-DIM)的对比方法在这个基准测试中表现出了最先进的性能,但仍然不如其监督的对应方法。我们的方法在环境不完全可观察时改进了ST-DIM,并获得了比监督学习更高的F1分数和准确性分数。我们的方法在类别上的平均准确率得分为~ 66%,而监督学习为~38%。平均F1评分为~64%至~ 33%。
2023-03-13 cs.AI cs.LG
Decision Transformer vs. Decision Mamba: Analysing the Complexity of Sequential Decision Making in Atari Games
The University of Edinburgh(爱丁堡大学)
本文通过扩展至12款Atari游戏并结合视觉复杂性、随机森林回归、相关性及动作空间简化分析,揭示DT与DM性能差异主要由动作空间和视觉复杂性决定。
2024-12-01 cs.AI cs.LG
On Catastrophic Interference in Atari 2600 Games
Google Brain(谷歌大脑);University of Montreal (Mila)(蒙特利尔大学(米拉研究所));CIFAR(加拿大高等研究院)
无模型深度强化学习是样本低效的。有一种假说--推测但未证实--是环境中的灾难性干扰会抑制学习。我们通过在街机学习环境(ALE)中进行的大规模实证研究来验证这一假设,并找到了支持这一假设的证据。我们发现,干扰导致性能高原;网络不能训练段高原以外,而不降低的政策,用于达到那里。通过综合控制干扰,我们展示了跨架构,学习算法和环境的性能提升。更精确的分析表明,学习游戏的一个部分通常会增加其他地方的预测误差。我们的研究在强化学习中提供了灾难性干扰和样本效率之间的明确经验联系。
2020-06-09 cs.AI cs.LG stat.ML
A Review for Deep Reinforcement Learning in Atari:Benchmarks, Challenges, and Solutions
街机学习环境(ALE)提出了作为一个评估平台,经验评估的一般性代理在几十个雅达利2600游戏。ALE提供了各种具有挑战性的问题,并引起了深度强化学习(RL)社区的极大关注。从Deep Q-Networks(DQN)到Agent 57,RL代理似乎在ALE中实现了超人的性能。然而,事实是否如此呢?在本文中,为了探讨这个问题,我们首先回顾了目前的评价指标在Atari基准,然后揭示,目前的评价标准,实现超人的性能是不适当的,它低估了人类的性能相对于什么是可能的。为了解决这些问题,促进强化学习研究的发展,本文提出了一种基于人类世界纪录(HWR)的Atari基准测试,该基准测试对强化学习智能体的最终性能和学习效率提出了更高的要求。此外,我们总结了Atari基准测试中的最先进(SOTA)方法,并提供了基于人类世界记录的新评估指标的基准测试结果。我们的结论是,至少有四个开放的挑战阻碍了RL代理从这些新的基准测试结果中实现超人的性能。最后,我们还讨论了一些有前途的方法来处理这些问题。
2023-02-27 cs.AI
Compression and Localization in Reinforcement Learning for ATARI Games
Carnegie Mellon University(卡内基梅隆大学)
深度神经网络在强化学习领域已经变得司空见惯,但在所需参数的数量方面通常是昂贵的。虽然压缩深度神经网络最近被认为对克服这一缺点非常重要,但在强化学习代理的背景下,几乎没有做过什么工作来解决这个问题。这项工作的目的是在RL代理的模型压缩的第一步。特别是,我们压缩网络以大幅减少其中的参数数量(大小小于其原始大小的3%),通过在最终卷积层之后应用全局最大池来进一步促进,并建议在压缩的上下文中使用Actor-Mimic。最后,我们证明了这个全局最大池允许弱监督对象定位,提高了识别代理焦点的能力。
2019-04-20 cs.AI cs.LG stat.ML
Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University(首尔大学);Yonsei University(延世大学)
最近,强化学习已经成功地应用于逻辑游戏围棋,各种雅达利游戏,甚至3D游戏,Labruth,尽管它仍然存在稀疏奖励设置的问题。在学习政策时,探索少数成功是困难的,也是困难的。为解决这一问题,提出了子目标和选项框架。然而,在线发现子目标的成本太高,无法用于学习大型状态空间中的选项。我们提出了微目标学习(MOL)来解决这个问题。其主要思想是在训练时估计一个状态的重要性,并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法:Montezuma的复仇和Seaquest。每场比赛进行三次实验,MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中,MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
Using Generative Adversarial Nets on Atari Games for Feature Extraction in Deep Reinforcement Learning
Middle East Technical University(中东技术大学)
深度强化学习(Deep Reinforcement Learning,DRL)已成功应用于机器人导航和自动视频游戏等多个研究领域。然而,这些方法需要过多的计算和与环境的交互,因此需要提高样本效率。这一要求的主要原因是稀疏和延迟的奖励不能为深度神经网络的表示学习提供有效的监督。在这项研究中,近端策略优化(PPO)算法与生成对抗网络(GANs)增强,通过强制网络学习有效的表示而不依赖于稀疏和延迟的奖励作为监督来提高样本效率。结果表明,通过联合训练DRL代理和GAN代理,可以获得更高的性能。- Derin Pekistirmeli Oakme,robot navigasyonu ve otomatikelestirilmis video oyunu oaku a gibi arastirma alanlarinda basariyla uygulanmaktadir.此外,我们还可以看到,由于气候变化和环境变化,我们的工作人员无法确定他们的工作是否正常。但是,在一个人的生活中,人们对自己的生活和生活的看法是,他们的生活和生活是如此的丰富多彩,以至于他们的生活和生活都变得如此的艰难。但据了解,Uretici Cekismeli Aglar(UCA)算法的优化政策方案将使目标明确,并使目标明确或使目标明确,从而使目标明确。其他的声音算法也可以用其他的方法来实现。
2020-04-06 cs.AI cs.LG
Frog Soup: Zero-Shot, In-Context, and Sample-Efficient Frogger Agents
Stanford University(斯坦福大学)
本文展示了经过域外强化学习后训练的推理大语言模型可在零样本设置下玩 Frogger,并研究了上下文内学习与推理工作量的影响,同时提出用 LLM 演示引导传统强化学习以提升性能和样本效率。
2025-05-06 cs.AI
A quantum-classical reinforcement learning model to play Atari games
Technische Universität Wien(维也纳技术大学);Freie Universität Berlin(柏林自由大学)
针对近期量子强化学习技术难以处理高维复杂问题的空白,提出结合参数化量子电路与经典编码、后处理层的混合模型,可完成雅达利游戏任务,性能与经典参照模型相当,为量子学习模型落地现实强化学习场景提供支撑。
2024-12-11 cs.AI cs.LG quant-ph
Approximate Shielding of Atari Agents for Safe Exploration
Imperial College London(帝国理工学院)
本文针对强化学习安全探索问题,提出基于潜在世界模型并结合安全评判器的近似屏蔽算法,在带安全标签的 Atari 游戏中降低违规率并改善收敛与策略质量。
2023-04-21 cs.AI
Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.(日立有限公司)
我们提出了Mask Atari,这是一个新的基准,可以帮助解决基于深度强化学习(DRL)的方法的部分可观察马尔可夫决策过程(POMDP)问题。为了实现POMDP问题的仿真环境,基于Atari 2600游戏构建了Mask Atari,该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域,特别是在POMDP中设置了主动信息收集(AIG)。鉴于目前还不存在这样的方法,Mask Atari提供了一个具有挑战性的,有效的基准来评估专注于上述问题的方法。此外,掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试,这意味着评估不偏离感知能力,并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能,并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
APF+: Boosting adaptive-potential function reinforcement learning methods with a W-shaped network for high-dimensional games
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所);Data61 of CSIRO(澳大利亚联邦科学与工业研究组织Data61)
本文提出APF+,通过W形网络W-Net将像素帧编码为低维表示并结合APF训练DDQN,在20款Atari游戏中显著优于DDQN与ST-DIM变体,并达到接近使用内部真值状态ARI方法的性能。
2025-03-17 cs.AI cs.LG
Playing Atari with Six Neurons
eXascale Infolab(eXascale信息实验室);University of Fribourg, Switzerland(瑞士弗里堡大学);Game Innovation Lab(游戏创新实验室);Tandon School of Engineering(坦登工程学院);New York University, NY, USA(美国纽约大学)
深度强化学习应用于Atari游戏等基于视觉的问题,将像素直接映射到动作;在内部,深度神经网络承担着提取有用信息和基于信息做出决策的责任。通过将图像处理与决策分离,人们可以更好地理解每个任务的复杂性,以及潜在地找到更小的策略表示,更容易被人类理解并且可以更好地概括。为此,我们提出了一种新的方法,分别学习政策和紧凑的状态表示,但同时在强化学习的政策近似。状态表示由编码器基于两种新算法生成:增加字典矢量量化使编码器能够随着时间的推移增加其字典大小,以解决出现在开放式在线学习上下文中的新观测;直接残差稀疏编码通过忽略重建误差最小化来编码观测,并以最高的信息包含为目标。编码器自动选择在线观测值进行训练,以最大化代码稀疏性。随着字典大小的增加,编码器为神经网络产生越来越大的输入:这是通过指数自然演化策略算法的变体来解决的,该算法沿着运行调整其概率分布维度。我们使用只有6到18个神经元的小型神经网络(取决于游戏的控制)在一系列Atari游戏上测试我们的系统。这些仍然能够达到与使用两个数量级以上神经元的最先进技术相当的结果,有时甚至更好。
2019-03-03 cs.AI cs.LG cs.NE
Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals
Carnegie Mellon University(卡内基梅隆大学);Ariel University(阿里尔大学);Microsoft Research(微软研究院)
针对强化学习样本效率低的问题,提出Read and Reward框架,通过阅读Atari游戏说明手册提取信息并生成辅助奖励,显著提升多种RL算法的性能与训练速度。
2024-07-20 cs.AI cs.CL cs.LG
Playing Atari Space Invaders with Sparse Cosine Optimized Policy Evolution
本文提出 SCOPE 方法,利用离散余弦变换对输入状态进行截断和稀疏化以降低维度,并结合 CMA-ES 算法在 Atari Space Invaders 游戏中取得了优于多种进化与强化学习方法的性能。
2025-08-11 cs.AI cs.NE
HackAtari: Atari Learning Environments for Robust and Continual Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);Centre for Cognitive Science of Darmstadt(达姆施塔特认知科学中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出 HackAtari 框架,通过在 Atari 学习环境中引入受控新异性(场景简化、颜色交换和奖励信号变化),用于提升强化学习智能体的鲁棒性与行为对齐能力,并支持课程 RL、因果 RL 和 LLM 驱动 RL 等方向。
2024-06-06 cs.AI cs.LG
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley(加州大学伯克利分校)
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证,他们往往是不切实际的,在更高的维度,由于它们依赖于枚举的状态动作空间。因此,复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中,我们考虑了具有挑战性的Atari游戏领域,它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略,包括汤普森采样和玻尔兹曼勘探,并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型,我们能够开发一种可扩展且有效的探索奖金方法,该方法可应用于具有复杂高维状态空间的任务。在雅达利领域,我们的方法提供了最一致的改进,在一系列的游戏,构成了一个重大的挑战,以前的方法。除了原始游戏分数,我们还为Atari学习领域开发了AUC-100指标,以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
Free-Lunch Saliency via Attention in Atari Agents
Samsung AI Center(三星人工智能中心);Steklov Institute of Mathematics at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所);Neuromation OU(Neuromation公司)
我们提出了一种新的方法来可视化深度神经网络模型的显着性图,并将其应用于在Atari环境中训练的深度强化学习代理。我们的方法将我们称为FLS(免费午餐显著性)的注意力模块添加到来自已建立基线的特征提取器(Mnih等人,2015年)。这种添加导致可训练模型,其可以产生显著性图,即,输入的不同部分对于智能体当前决策制定的重要性的可视化。我们通过实验证明,具有FLS模块的网络表现出与基线相似的性能(即,它是“免费的”,没有性能成本),并且可以用作强化学习代理的直接替代。我们还设计了另一个特征提取器,得分略低,但提供更高保真的可视化。除了获得的分数,我们还报告了在Atari-HEAD人类游戏数据集上评估的显着性指标。
2019-10-30 cs.AI cs.CV cs.LG
Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
显着图经常被用来支持解释深度强化学习(RL)代理的行为。然而,对显着图在实践中如何使用的回顾表明,所得出的解释往往是不可证伪的,并且可能是高度主观的。我们引入了一种基于反事实推理的实证方法来测试显着性图产生的假设,并评估它们与RL环境的语义相对应的程度。我们使用Atari游戏,深度RL的常见基准,来评估三种类型的显着性图。我们的研究结果表明,在何种程度上可以评估现有的雅达利游戏的索赔,并建议显着图最好被视为一种探索性的工具,而不是一个解释性的工具。
2020-02-20 cs.AI cs.LG
IGN : Implicit Generative Networks
Northwestern University(西北大学)
本研究结合GAN的生成器、判别器与分位数回归,提出基于IQN的先进分布式强化学习模型IGN,在57款Atari 2600游戏上实现性能提升,并验证了其在风险敏感策略训练中的先进表现。
2025-02-21 cs.AI cs.LG
Mastering Atari with Discrete World Models
Google Research(谷歌研究);DeepMind(深度思维);University of Toronto(多伦多大学)
智能代理需要从过去的经验中进行归纳,以在复杂的环境中实现目标。世界模型促进了这种泛化,并允许从想象的结果中学习行为,以提高样本效率。虽然从图像输入中学习世界模型最近对于某些任务来说已经变得可行,但对Atari游戏进行足够精确的建模以获得成功的行为多年来一直是一个开放的挑战。我们介绍DreamerV2,一个强化学习代理,纯粹从一个强大的世界模型的紧凑的潜在空间中的预测来学习行为。世界模型使用离散表示,并与策略分开训练。DreamerV2构成了第一个通过在单独训练的世界模型内学习行为来在Atari基准的55个任务上实现人类水平性能的智能体。在相同的计算预算和挂钟时间下,Dreamer V2达到了2亿帧,并超越了顶级单GPU代理IQN和Rainbow的最终性能。DreamerV2还适用于具有连续动作的任务,在该任务中,它学习复杂人形机器人的精确世界模型,并仅通过像素输入解决站立和行走问题。
2022-02-12 cs.AI cs.LG stat.ML
Multiplayer Support for the Arcade Learning Environment
Swarm Labs;University of Maryland, College Park(马里兰大学学院市分校)
Arcade Learning Environment(ALE)是强化学习社区中广泛使用的库,它允许通过Stella模拟器与Atari 2600游戏轻松编程接口。我们引入了一个公开可用的扩展ALE,扩展其支持多人游戏和游戏模式。这个界面还与PettingZoo集成,允许Python中的简单Gym-like界面与这些游戏交互。我们还为所有环境引入了实验基线。
2021-01-17 cs.AI cs.LG
Combining Experience Replay with Exploration by Random Network Distillation
University of Bologna(博洛尼亚大学)
我们的工作是一个简单的扩展文件“随机网络蒸馏的探索”。更详细地说,我们展示了如何有效地结合内在奖励与经验重放,以实现更有效和强大的探索(相对于PPO/RND),从而更好的结果,代理性能和样本效率。我们能够通过使用一种名为优先级过采样经验重放(POER)的新技术来做到这一点,该技术建立在对重放有用的重要经验的定义之上。最后,我们评估我们的技术在著名的Atari游戏蒙特祖玛的复仇和其他一些困难的探索Atari游戏。
2019-05-18 cs.AI cs.LG stat.ML
Diffusion for World Modeling: Visual Details Matter in Atari
University of Geneva(日内瓦大学);University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
针对现有离散潜变量世界模型忽略视觉细节的问题,提出基于扩散模型的世界模型DIAMOND,在Atari 100k基准上刷新纯世界模型训练智能体的性能纪录,还可作为独立神经游戏引擎,相关资源已开源。
2024-10-30 cs.AI cs.CV cs.LG
Reinforcement Learning with Structured Hierarchical Grammar Representations of Actions
Imperial College London(帝国理工学院);Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);MRC London Institute of Medical Sciences(英国医学研究委员会伦敦医学科学研究所)
从很小的时候起,人类就学会了使用语法原则来分层地将单词组合成句子。动作语法是一个平行的概念,即有一组潜在的规则(一种“语法”)来控制我们如何分层地组合动作以形成新的、更复杂的动作。我们引入了动作语法强化学习(AG-RL)框架,该框架利用动作语法的概念来不断提高强化学习代理的样本效率。AG-RL通过使用语法推理算法来推断训练中途代理的“动作语法”。代理的动作空间,然后增加了由语法识别的宏动作。我们将此框架应用于双深度Q学习(AG-DDQN)和Soft Actor-Critic(AG-SAC)的离散动作版本,并发现它分别在8个测试的Atari游戏中的8个(中位数+31%,最大+668%)和20个测试的Atari游戏中的19个(中位数+96%,最大+3,756%)中提高了性能,而无需实质性的超参数调整。我们还表明,AG-SAC在20个测试的Atari游戏中的17个中的样本效率方面击败了无模型的最先进水平(中位数+62%,最大值+13,140%),同样没有实质性的超参数调整。
2019-10-23 cs.AI cs.LG stat.ML
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
Department of Information Technology, SRMIST(SRMIST信息科技系);Indian Institute of Technology, Madras(印度理工学院Madras分校)
本文提出将上下文赌博机与深度Q网络结合,根据状态上下文自适应选择动作重复率,在Atari 2600游戏中显著优于静态持续时间基线,为游戏和机器人等实时应用提供了可扩展的解决方案。
2025-06-17 cs.AI cs.LG
Counterfactual States for Atari Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
尽管深度强化学习代理在许多领域都取得了令人印象深刻的成果,但它们的决策很难向人类解释。为了解决这个问题,过去的工作主要集中在解释为什么在给定的状态下选择一个动作。另一种有用的解释是反事实解释,它涉及“如果?“场景。在这项工作中,我们引入了反事实状态的概念,以帮助人类更好地了解Atari游戏图像中需要改变(最低限度)的代理选择不同的动作。我们引入了一种新的方法来从生成式深度学习架构中创建反事实状态。此外,我们评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的用户研究结果表明,我们生成的反事实状态是有用的,帮助非专家参与者获得更好地了解代理的决策过程。
2019-09-27 cs.AI cs.HC cs.LG
Learning Time-Sensitive Strategies in Space Fortress
尽管在Atari游戏上的强化学习(RL)已经取得了显著的进展和令人印象深刻的性能,但在RL的深度学习中还没有探索出许多具有挑战性特征的问题。这些包括奖励稀疏,突然的上下文相关的策略逆转和时间敏感的游戏。在本文中,我们介绍了太空堡垒,这是一款融合了所有这些特征的游戏,并通过实验表明,任何这些特征的存在都会使最先进的深度RL算法无法学习。然后,我们提出了我们的增强现有的算法,并通过消融研究,通过每个增强显示大的性能提高。我们讨论了这些增强功能是如何帮助的,并认为适当的迁移学习可以提高性能。
2018-09-13 cs.AI
TextAtari: 100K Frames Game Playing with Language Agents
Tongji University(同济大学);East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);Bank of Communications(中国银行);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出TextAtari文本游戏基准,将Atari视觉状态转为文本描述,在近100个长达100,000步的任务中评估三种LLM与智能体框架,揭示其长程推理和规划短板。
2025-06-10 cs.AI cs.CL cs.LG