Octax: Accelerated CHIP-8 Arcade Environments for Reinforcement Learning in JAX
Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189-CRIStAL(里尔大学、法国国家科学研究中心、中央理工大学、UMR 9189-CRIStAL)
研究为强化学习引入Octax,基于CHIP-8仿真在JAX实现经典街机游戏环境,相比传统CPU模拟器有数量级加速,可训练RL智能体,模块化设计便于扩展,是大规模RL实验理想平台。
2026-07-07 cs.LG
Benchmarking Bonus-Based Exploration Methods on the Arcade Learning Environment
MILA, Université de Montréal(蒙特利尔大学米拉研究所);Google Research, Brain Team(谷歌研究院大脑团队);CIFAR Fellow(加拿大高级研究所研究员)
本文提供了一个实证评估最近开发的探索算法在街机学习环境(ALE)。我们研究了在强化学习中激励探索的不同奖励奖金的使用。我们这样做是通过固定使用的学习算法,只关注不同的探索奖金在代理的性能的影响。我们使用彩虹,国家的最先进的算法,基于价值的代理,并专注于一些奖金在过去几年中提出的。我们考虑了这些算法对流行游戏Montezuma's Revenge中性能的影响,该游戏已经引起了探索社区的极大兴趣,在Bellemare et al.(2016)确定的七个游戏中,探索具有挑战性,而更容易的游戏探索不是问题。我们发现,在我们的设置,最近开发的奖金不提供显着改善性能蒙特祖玛的复仇或硬探索游戏。我们还发现,现有的奖金为基础的方法可能会产生负面影响的游戏中,探索是不是一个问题,甚至可能比$ε$贪婪的探索性能差。
2021-09-24 cs.LG stat.ML
Arcades: A deep model for adaptive decision making in voice controlled smart-home
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(信息学实验室)
在语音控制的灵巧家庭中,控制器不仅要响应用户的请求,还要根据交互上下文做出响应。本文介绍了Arcades,一个系统,它使用深度强化学习从家庭自动化系统的图形表示中提取上下文,并不断更新其行为到用户的行为。该系统通过其图形化表示(缩放良好)和强化机制(适应良好)对环境变化(传感器故障或添加)具有鲁棒性。实际数据实验表明,该方法有望实现灵巧家庭的长寿命上下文感知控制。
2018-07-05 cs.AI cs.LG cs.RO
On Bonus-Based Exploration Methods in the Arcade Learning Environment
MILA, Université de Montréal(蒙特利尔大学米拉研究所);Google Brain(谷歌大脑)
应用于Atari 2600游戏的强化学习中的探索研究强调解决困难的探索问题,例如Montezuma的复仇(Bellemare et al.,2016)。最近,基于奖金的探索方法,通过增加环境奖励进行探索,在这些领域达到了高于人类平均水平的表现。在本文中,我们重新评估流行的奖金为基础的探索方法在一个共同的评估框架。我们结合彩虹(Hessel等人,2018年)与不同的探索奖金,并评估其性能蒙特祖玛的复仇,贝勒马尔等人。的一套艰苦的探索游戏与稀疏的奖励,和整个雅达利2600套件。我们发现,虽然探索奖金导致更高的分数蒙特祖玛的复仇,他们不提供有意义的收益比简单的$ε$贪婪的计划。事实上,我们发现,在该游戏上表现最好的方法往往不如$ε$-贪婪的容易探索雅达利2600游戏。我们发现,我们的结论仍然有效,即使超参数调整这些容易探索的游戏。最后,我们发现,没有一个调查的方法受益于额外的训练样本(10亿帧,而彩虹的2亿帧)Bellemare等人。的艰苦探索游戏。我们的研究结果表明,最近在蒙特祖玛的复仇的收益可能更好地归因于架构的变化,而不是更好的探索计划,并在雅达利2600游戏的探索研究的实际进展速度可能已经混淆了一个单一的域上的良好结果。
2021-09-22 cs.LG
Optimistic Policy Regularization: Elite-Statistic Reward Shaping
OPR通过保留和强化历史成功轨迹提升深度强化学习的样本效率和最终性能
2026-10-23 cs.AI cs.LG
Fast and Data-Efficient Training of Rainbow: an Experimental Study on Atari
TU Wien(维也纳工业大学)
在整个Arcade学习环境中,Rainbow达到了与人类和现代RL算法竞争的性能水平。然而,达到这种性能水平需要大量的数据和硬件资源,使得在这一领域的研究计算昂贵,并在实际应用中使用往往是不可行的。本文的贡献有三个方面:(1)提出了Rainbow的改进版本,寻求大幅减少Rainbow的数据,训练时间和计算需求,同时保持其竞争力;(2)通过在Arcade学习环境上的实验,我们实证地证明了我们的方法的有效性,以及(3)我们进行了大量的消融研究,以调查所提出的个体修改的效果。我们改进的Rainbow版本达到了接近经典Rainbow的人类标准化得分中值,同时使用的数据减少了20倍,并且在单个GPU上只需要7.5小时的训练时间。我们还提供完整的实现,包括预先训练的模型。
2021-11-19 cs.LG
Playing SNES in the Retro Learning Environment
Technion, Israel Institute of Technology(以色列理工学院)
掌握一个视频游戏需要技巧,战术和战略。虽然这些属性可以由人类玩家自然地获得,但将它们教授给计算机程序是一项更具挑战性的任务。近年来,在强化学习领域进行了广泛的研究,并引入了许多算法,旨在学习如何执行人类任务,如玩视频游戏。因此,Arcade学习环境(ALE)(Bellemare等人,2013)已经成为一个常用的基准测试环境,允许算法在各种Atari 2600游戏上进行训练。在许多游戏中,最先进的算法都胜过人类。本文介绍了一种新的学习环境,复古学习环境- RLE,它可以运行在超级任天堂娱乐系统(SNES),世嘉创世纪和其他几个游戏机的游戏。该环境是可扩展的,允许更多的视频游戏和控制台轻松添加到环境中,同时保持与ALE相同的界面。此外,RLE与Python和Torch兼容。SNES游戏由于其更高的复杂性和多功能性,对当前的算法构成了重大挑战。
2017-02-07 cs.AI cs.LG
Obstacle Tower: A Generalization Challenge in Vision, Control, and Planning
Unity Technologies(Unity科技公司);New York University(纽约大学)
最近人工智能研究的快速发展在一定程度上是由快速和具有挑战性的模拟环境的存在所推动的。这些环境通常采取游戏的形式;任务范围从简单的棋盘游戏到竞争性视频游戏。我们提出了一个新的基准-障碍塔:高保真,三维,第三人称,程序生成的环境。一个玩障碍塔的智能体必须学会同时解决低级控制和高级规划问题,同时从像素和稀疏的奖励信号中学习。与其他基准测试(如Arcade Learning Environment)不同,Obstacle Tower中对代理性能的评估是基于代理在环境中看不见的实例上表现良好的能力。在本文中,我们概述了环境,并提供了一组由当前最先进的深度RL方法以及人类玩家产生的基线结果。这些算法无法产生能够接近人类水平的代理。
2019-07-01 cs.AI cs.LG
Planning from Pixels in Environments with Combinatorially Hard Search Spaces
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University Innsbruck(因斯布鲁克大学)
基于原始视觉输入形成复杂计划的能力是对人工智能当前能力的试金石,因为它需要视觉处理和抽象算法执行的无缝结合,这是计算机科学的两个传统独立领域。最近在这一领域的兴趣激增带来的进步,产生良好的性能,从街机游戏的任务,连续控制,但这些方法并不是没有重大的问题,如有限的泛化能力和困难时,处理组合硬规划实例。我们的贡献是双重的:(i)我们提出了一种方法,该方法学习将其环境表示为潜在图,并利用状态重新识别来降低从指数到线性找到良好策略的复杂性(ii)我们引入了一组具有底层离散组合结构的轻量级环境,其中规划即使对于人类也是具有挑战性的。此外,我们表明,我们的方法实现了强有力的经验概括的变化,在环境中,即使在高度不利的制度,如“一杆”规划,或在离线RL范式,只提供低质量的轨迹。
2022-03-18 cs.AI cs.LG
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
强化学习中的环境通常只能部分观察。为了解决这个问题,一个可能的解决方案是向代理提供有关过去的信息。然而,提供许多步骤的完整观察可能是过度的。受人类记忆的启发,我们建议只使用环境中的重要变化来表示历史,并且在我们的方法中,使用自我监督来自动获得这种表示。我们的方法(TempAl)对齐时间上接近的帧,揭示了环境的一般,缓慢变化的状态。这个过程是基于对比损失,它将附近观测值的嵌入拉到彼此,同时将其他样本从批次中推开。它可以被解释为一个度量,捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示,我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
Attention Option-Critic
McGill University(麦吉尔大学);Mila(米拉研究所);Google Deepmind(谷歌DeepMind)
强化学习中的时间抽象是智能体学习和使用高级行为的能力,称为选项。option-critic架构提供了一种基于梯度的端到端学习方法来构建选项。我们提出了一个基于注意力的扩展这个框架,它使代理学习集中不同的选项在观察空间的不同方面。我们表明,这导致行为上的不同的选项,也能够状态抽象,并防止退化问题的选项统治和频繁的选项切换发生在选项批评,同时实现类似的样本复杂性。我们还证明了更有效的,可解释的,和可重用的性质相比,通过不同的迁移学习任务的选择的选择。实验结果在一个相对简单的四个房间的环境和更复杂的ALE(商场学习环境)展示了我们的方法的有效性。
2022-01-07 cs.AI cs.LG
Counteractive RL: Rethinking Core Principles for Efficient and Scalable Deep Reinforcement Learning
Ezgi Korkmaz
本文提出基于对抗性行动经验的理论新范式,解决高维MDP中状态空间爆炸导致的计算复杂性与策略成功率矛盾,通过实验验证方法在高维环境中的高效性和样本效率。
2026-03-16 cs.AI cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Meta Arcade: A Configurable Environment Suite for Meta-Learning
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
深度强化学习(DRL)的大多数方法都试图一次解决一个任务。因此,大多数现有的研究基准由具有共同界面但在感知特征、目标或奖励结构方面几乎没有重叠的单个游戏或游戏套件组成。为了促进对受过训练的代理之间的知识转移的研究(例如,通过多任务和元学习),需要更多的环境套件,这些环境套件提供具有足够共性的可配置任务以供集体研究。在本文中,我们提出了Meta Arcade,一个工具,可以轻松地定义和配置自定义的2D街机游戏,共享共同的视觉效果,状态空间,动作空间,游戏组件和评分机制。Meta Arcade与先前环境的不同之处在于,任务通用性和可配置性都被优先考虑:整个游戏集可以从通用元素构建,并且这些元素可以通过暴露的参数进行调整。我们包括一套24个预定义的游戏,共同说明了这个框架的可能性,并讨论了这些游戏可以配置为研究应用程序。我们提供了几个实验来说明如何使用Meta Arcade,包括预定义游戏的单任务基准测试,在设定的时间表上改变游戏参数的基于示例的方法,以及游戏之间的迁移学习的探索。
2021-12-01 cs.LG
ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents
Smith College(史密斯学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
一个被广泛接受的原则是,没有测试的软件有bug。测试强化学习代理是特别困难的,因为代理和环境的随机性,最先进的模型的复杂性,以及其预测的顺序性。最近,Arcade学习环境(ALE)已成为深度学习研究中使用最广泛的基准套件之一,最先进的强化学习(RL)代理已被证明在许多ALE任务上通常等于或超过人类表现。由于ALE是基于原始Atari游戏的仿真,因此环境不提供内部游戏状态的语义有意义的表示。这意味着ALE作为支持测试或模型内省的环境的实用性有限。我们提出了ToyBox,这些游戏的重新实现的集合,解决了这个关键问题,并使强大的测试RL代理。
2019-01-25 cs.AI
Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning
Department of Electrical Engineering(电气工程系)
深度强化学习(DRL)算法的不稳定性和可变性往往会对其性能产生不利影响。Averaged-DQN是DQN算法的一个简单扩展,基于对先前学习的Q值估计进行平均,通过减少目标值中的近似误差方差,从而实现更稳定的训练过程和改进的性能。为了了解该算法的效果,我们研究了价值函数估计误差的来源,并提供了一个简化模型内的分析比较。我们进一步提出了实验的街机学习环境的基准,证明显着提高稳定性和性能,由于所提出的扩展。
2017-03-10 cs.AI cs.LG stat.ML
On Catastrophic Interference in Atari 2600 Games
Google Brain(谷歌大脑);University of Montreal (Mila)(蒙特利尔大学(米拉研究所));CIFAR(加拿大高等研究院)
无模型深度强化学习是样本低效的。有一种假说--推测但未证实--是环境中的灾难性干扰会抑制学习。我们通过在街机学习环境(ALE)中进行的大规模实证研究来验证这一假设,并找到了支持这一假设的证据。我们发现,干扰导致性能高原;网络不能训练段高原以外,而不降低的政策,用于达到那里。通过综合控制干扰,我们展示了跨架构,学习算法和环境的性能提升。更精确的分析表明,学习游戏的一个部分通常会增加其他地方的预测误差。我们的研究在强化学习中提供了灾难性干扰和样本效率之间的明确经验联系。
2020-06-09 cs.AI cs.LG stat.ML
Escape Room: A Configurable Testbed for Hierarchical Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Austin(奥斯汀)
最近在强化学习方面的成功鼓励了快速增长的强化学习研究人员网络和强化学习研究的一些突破。随着RL社区和RL工作主体的增长,对广泛适用的基准测试的需求也在增长,这些基准测试可以公平有效地评估各种RL算法。这种需求在分层强化学习(HRL)领域中尤其明显。虽然许多现有的测试域可能会表现出分层的动作或状态结构,但现代RL算法在解决需要分层建模和动作规划的域时仍然表现出很大的困难,即使这些域看起来微不足道。这些困难突出了需要更多地关注HRL算法本身,以及需要新的测试平台来鼓励和验证HRL研究。现有的HRL测试平台表现出一个金发女孩的问题,他们往往要么太简单(例如出租车)或太复杂(例如蒙特祖玛的复仇从街机学习环境)。在本文中,我们提出了逃生室域(ERD),一个新的灵活的,可扩展的,并完全实现的测试域HRL的桥梁“中等复杂性”的差距留下现有的替代品。ERD是开源的,可以通过GitHub免费获得,并且符合广泛使用的公共测试接口,可以与各种公共RL代理实现进行简单的集成和测试。我们表明,ERD提出了一套挑战,可扩展的困难,以提供一个平稳的学习梯度从出租车到街机学习环境。
2018-12-22 cs.AI
Neural MMO v1.3: A Massively Multiagent Game Environment for Training and Evaluating Neural Networks
Massachusetts Institute of Technology(麻省理工学院);Google Brain(谷歌大脑)
多智能体智能研究的进展从根本上受到可供研究的环境的数量和质量的限制。近年来,模拟游戏已成为强化学习中的主要研究平台,部分原因是其可访问性和可解释性。之前的作品已经在街机,第一人称射击(FPS),实时战略(RTS)和大型在线战斗竞技场(MOBA)游戏上取得了成功。我们的工作考虑了大型多人在线角色扮演游戏(MMORPG或MMO),它捕捉了现实世界学习的几个复杂性,这些复杂性没有被任何其他游戏类型很好地建模。我们提出神经MMO,一个大规模的多智能体游戏环境的启发MMO和讨论我们的进展,在人工智能研究的多智能体系统工程的两个更一般的挑战:分布式基础设施和游戏IO。我们进一步证明,标准的策略梯度方法和简单的基线模型可以学习有趣的紧急探索和专业化的行为,在这种情况下。
2020-04-17 cs.AI cs.LG cs.MA
Guiding Reinforcement Learning Exploration Using Natural Language
University of Kentucky(肯塔基大学);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了一种使用自然语言来帮助强化学习推广到看不见的环境的技术。这种技术使用神经机器翻译,特别是使用编码器-解码器网络,来学习自然语言行为描述和状态-动作信息之间的关联。然后,我们使用这个学习模型来指导代理探索,使用修改后的策略塑造版本,使其在看不见的环境中学习更有效。我们评估这种技术使用流行的街机游戏,青蛙,在理想和非理想条件下。该评估表明,我们修改后的策略成形算法提高了Q学习代理以及基线版本的策略成形。
2017-09-14 cs.AI cs.CL cs.LG
Learning and Querying Fast Generative Models for Reinforcement Learning
DeepMind
基于基于模型的强化学习(RL)的一个关键挑战是综合计算效率高且准确的环境模型。我们表明,精心设计的生成模型,学习和操作紧凑的状态表示,所谓的状态空间模型,大大降低了预测结果的行动序列的计算成本。大量的实验表明,状态空间模型准确地捕捉动态的雅达利游戏从街机学习环境从原始像素。状态空间模型的计算速度提高,同时保持高精度,使其在强化学习中的应用是可行的:我们证明,代理查询这些模型的决策优于强大的无模型基线的游戏MSPACMAN,展示了使用学习环境模型进行规划的潜力。
2018-02-08 cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance(字节跳动);Nankai University(南开大学)
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制,具有封闭多样性、不变性探索和自适应权衡三个特性,这有助于基于值的方法避免策略崩溃问题。然而,不存在一个并行的机制,基于策略的方法,实现所有三个特征。在本文中,我们提出了一个熵正则化的自由机制,设计的基于策略的方法,实现了封闭形式的多样性,不变性探索和自适应权衡。我们的实验表明,我们的机制是超级样本效率的基于策略的方法,并提高了基于策略的基线,以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Quantile QT-Opt for Risk-Aware Vision-Based Robotic Grasping
University of Cambridge(剑桥大学);Google Brain(谷歌大脑)
强化学习(RL)的分布式视角已经产生了一系列成功的Q-学习算法,从而在街机游戏环境中实现了最先进的性能。然而,它还没有被分析如何将这些发现从一个离散的设置转化为复杂的实际应用,其特点是嘈杂的,高维的和连续的状态动作空间。在这项工作中,我们提出了分位数QT-选项(Q2-Opt),最近推出的分布式Q-连续域的学习算法的分布变体,并检查其行为在一系列模拟和真实的基于视觉的机器人抓取任务。在Q2-Opt中没有演员,这使得我们可以直接与文献中以前的离散实验进行比较,而无需演员-评论家架构引起的额外复杂性。我们证明了Q2-Opt实现了卓越的基于视觉的物体抓取成功率,同时也具有更高的采样效率。分布式公式还允许我们实验各种风险失真指标,这些指标为我们提供了机器人如何使用深度RL控制策略在实践中具体管理风险的指示。作为额外的贡献,我们在虚拟环境中进行批量RL实验,并将其与离散设置的最新发现进行比较。令人惊讶的是,我们发现,从街机游戏环境中获得的文献中先前的批次RL结果并不适用于我们的设置。
2020-06-04 cs.LG cs.RO stat.ML
Deep Exploration via Bootstrapped DQN
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出Bootstrap DQN算法,通过随机价值函数实现高效探索,提升复杂环境中的学习速度和性能,尤其在Atari游戏中表现优异。
2016-07-04 cs.AI cs.LG cs.SY
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构,用于大规模的深度强化学习,使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合:行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互,并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放,只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平,在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
结构化探索的最新研究强调在状态空间中识别新的状态,并通过内在奖励奖金激励代理重新访问它们。在这项研究中,我们的问题,通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中,我们调查的影响,在政策和奖励空间的探索行为的代理。我们继续表明,在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现,我们建议对结构化探索研究的任何改进进行基准测试,以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
DeepMind Technologies(DeepMind科技公司)
在这项工作中,我们的目标是解决一个大的任务集合使用一个单一的强化学习代理与一组参数。一个关键的挑战是处理增加的数据量和延长的训练时间。我们已经开发了一种新的分布式代理IMPALA(重要性加权的演员-学习者架构),它不仅在单机训练中更有效地使用资源,而且可以扩展到数千台机器,而不会牺牲数据效率或资源利用率。我们实现了稳定的学习,在高吞吐量相结合的解耦代理和学习与一种新的偏离政策的校正方法,称为V-跟踪。我们在DMLab-30(来自DeepMind实验室环境的一组30个任务)上证明了IMPAL用于多任务强化学习的有效性(Beattie等人,2016))和Atari-57(Arcade Learning Environment中所有可用的Atari游戏(Bellemare等人,2013年a))。我们的研究结果表明,IMPALA是能够实现更好的性能比以前的代理与更少的数据,关键是表现出积极的任务之间的转移,由于其多任务的方法。
2018-06-28 cs.AI cs.LG
Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning
针对直接优势估计(DAE)在部分可观测域和高维观测下的局限性,本文扩展其理论框架并引入离散潜动态模型降低计算复杂度,在Arcade学习环境中验证了DAE的可扩展性和样本效率。
2026-06-19 cs.LG
Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学)
我们提出了一种新的强化学习训练算法,它将深度Q学习的强度与约束优化方法相结合,以收紧最优性并鼓励更快的奖励传播。我们的新技术通过大幅减少训练时间,使深度强化学习更加实用。我们评估了我们的方法在具有挑战性的街机学习环境的49场比赛中的表现,并报告了训练时间和准确性的显着改善。
2016-11-05 cs.LG stat.ML
Revisiting the Arcade Learning Environment: Evaluation Protocols and Open Problems for General Agents
University of Alberta(阿尔伯塔大学);Google Brain(谷歌大脑);Franklin & Marshall College(富兰克林与马歇尔学院);DeepMind;Microsoft Research(微软研究院)
Arcade Learning Environment(ALE)是一个评估平台,它提出了在数十个Atari 2600游戏中构建具有一般能力的人工智能智能体的挑战。它支持各种不同的问题设置,并且越来越受到科学界的关注,导致了一些备受瞩目的成功案例,例如广为宣传的Deep Q-Networks(DQN)。在这篇文章中,我们将全面了解研究社区如何使用ALE。我们展示了如何多样化的评估方法在ALE已成为随着时间的推移,并强调一些关键问题时,评估代理人在ALE。我们利用这一讨论来提出一些方法的最佳实践,并使用这些最佳实践提供新的基准测试结果。为了进一步在该领域的进展,我们引入了一个新版本的ALE,支持多种游戏模式,并提供了一种形式的随机性,我们称之为粘性行动。我们通过重新审视ALE引入时所带来的挑战,总结各种问题的最新技术水平,并突出仍然存在的问题来总结这一大局。
2017-12-01 cs.LG
Playing Atari with Deep Reinforcement Learning
DeepMind Technologies(DeepMind科技公司)
我们提出了第一个使用强化学习直接从高维感觉输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络,用Q学习的变体训练,其输入是原始像素,其输出是估计未来奖励的价值函数。我们将我们的方法应用于Arcade学习环境中的七个Atari 2600游戏,没有调整架构或学习算法。我们发现它在六个游戏上的表现优于所有以前的方法,并且在其中三个游戏上超过了人类专家。
2013-12-19 cs.LG
On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning
AI Research Dept. JPMorganChase Madrid, ES(摩根大通西班牙马德里人工智能研究部);AI Research Dept. JPMorganChase London, UK(摩根大通英国伦敦人工智能研究部)
本文分析了有限时间跨度下基于势函数的奖励塑形(PBRS)的偏差,提出利用抽象近似最优值函数作为势函数,在四个环境中显著提升了样本效率,并用简单全连接网络达到了CNN的性能。
2025-08-11 cs.AI cs.LG
Reward Scale Robustness for Proximal Policy Optimization via DreamerV3 Tricks
University of Maryland(马里兰大学);Massachusetts Institute of Technology(麻省理工学院);Drexel University(德雷塞尔大学)
本文首次将DreamerV3的技巧应用于PPO,通过超一万A100小时的消融实验发现这些技巧并非通用改进,但在无奖励裁剪场景下可显著提升PPO的奖励尺度鲁棒性。
2023-10-26 cs.AI cs.LG
Is Deep Reinforcement Learning Really Superhuman on Atari? Leveling the playing field
MINES ParisTech(巴黎矿业学院);Valeo DAR(法雷奥驾驶辅助研究部);Valeo Driving Assistance Research(法雷奥驾驶辅助研究部);Center for Robotics(机器人中心);PSL(巴黎文理研究大学)
深度强化学习(DRL)的一致性和可重复性评估并不简单。在街机学习环境(ALE)中,环境参数(如随机性或最大允许播放时间)的微小变化可能导致非常不同的性能。在这项工作中,我们讨论了比较不同的代理培训ALE的困难。为了进一步实现可重复和可比的DRL,我们引入了SABER,这是一种用于一般强化学习算法的标准化Atari BEnchmark。我们的方法扩展了以前的建议,并包含一套完整的环境参数以及训练和测试程序。然后,我们使用SABER来评估当前最先进的Rainbow。此外,我们引入了人类世界纪录的基线,并认为以前的专家或超人的DRL性能的索赔可能是不准确的。最后,我们提出了Rainbow-IQN,通过使用隐式分位数网络(IQN)扩展Rainbow,从而获得新的最先进的性能。源代码可用于再现性。
2019-11-08 cs.AI
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University(首尔大学);Soongsil University(崇实大学);UC Berkeley(加州大学伯克利分校)
本文提出PG-Rainbow算法,将分布式强化学习与策略梯度结合,利用隐式分位数网络向PPO的评论家提供奖励分布信息,提升样本效率和决策质量,并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
Offline Policy Comparison under Limited Historical Agent-Environment Interactions
Lirio AI Research(Lirio人工智能研究院);Lirio, LLC(Lirio有限责任公司)
我们解决了政策评估的挑战,在现实世界中的应用强化学习系统,由于道德,实用或安全考虑,可用的历史数据是有限的。数据样本的这种受约束的分布往往导致有偏见的政策评估估计。为了弥补这一点,我们建议,而不是政策评估,应该执行政策比较,即排名的政策利益的价值的基础上,现有的历史数据。此外,我们提出了有限的数据估计(LDE)作为一个简单的方法来评估和比较政策,从少量的相互作用与环境。根据我们的理论分析,LDE被证明是统计上可靠的政策比较任务的历史数据的分布在温和的假设。此外,我们的数值实验比较的LDE其他政策评估方法的政策排名的任务,并证明其优势,在各种设置。
2021-06-07 cs.AI cs.LG
Rotation, Translation, and Cropping for Zero-Shot Generalization
New York University(纽约大学)
深度强化学习(DRL)在具有视觉输入的领域中表现出令人印象深刻的性能,特别是各种游戏。然而,智能体通常在固定的环境中训练,例如固定数量的级别。越来越多的证据表明,这些训练过的模型无法泛化到即使是轻微的变化,他们被trainedon.This本文提出的假设,缺乏泛化的部分原因是由于输入表示,并探讨如何旋转,裁剪和平移可以增加的一般性。我们表明,裁剪,平移和旋转的观察可以得到更好的泛化看不见的水平的二维街机游戏从GVGAI框架。的代理人的一般性进行评估,在人类设计和程序生成的水平。
2020-06-12 cs.CV cs.LG stat.ML
Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex(俄罗斯搜索引擎公司(或:雅虎迪));Samsung AI Center NYC(三星人工智能中心纽约分部);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI));National Research University Higher School of Economics(高等经济学院)
信用分配是强化学习中的一个基本问题,即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能,但到目前为止,对于一般用途仍然不切实际。最近,一个家庭的方法被称为后见之明信用分配(HCA)的建议,明确分配信用的行动在后见之明的基础上的概率的行动,导致观察到的结果。这种方法具有吸引人的特性,但仍然是一个主要的理论思想,适用于一组有限的表格RL任务。此外,目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中,我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性,这些局限性导致其性能不佳或完全缺乏训练,然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境(ALE)基准的定量和定性的影响,并观察到,它提高了性能优势演员-评论家(A2 C)在许多游戏中,非平凡的信用分配是必要的,以达到高分,事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
WILD-SCAV: Benchmarking FPS Gaming AI on Unity3D-based Environments
University of Toronto(多伦多大学);Nanjing University(南京大学)
深度强化学习(RL)的最新进展已经在Arcade Learning Environment、MuJoCo和ViZDoom等模拟环境中展示了复杂的决策能力。然而,它们很难扩展到更复杂的问题,主要是由于缺乏复杂性和变化的环境中,他们被训练和测试。此外,他们不能扩展到一个开放的世界环境,以促进长期的探索研究。为了学习现实的任务解决能力,我们需要开发一个具有更大多样性和复杂性的环境。我们开发了WILD-SCAV,这是一个基于3D开放世界FPS(第一人称射击)游戏的强大且可扩展的环境,以弥补这一差距。它提供了可变复杂性,各种任务和多种交互模式的逼真3D环境,智能体可以学习感知3D环境,导航和计划,以类似人类的方式竞争和合作。WILD-SCAV还支持不同的复杂性,例如具有不同地形的可配置地图,建筑结构和分布,以及具有合作和竞争任务的多智能体设置。可配置的复杂性,多任务和多代理场景的实验结果表明,WILD-SCAV在基准测试各种RL算法的有效性,以及它是潜在的,以产生具有广义任务解决能力的智能代理。我们的开源代码的链接可以在这里找到https://github.com/inspirai/wilderness-scavenger。
2022-10-14 cs.LG stat.ML
Deep Reinforcement Learning Agents are not even close to Human Intelligence
Department of Computer Science, Technical University Darmstadt(德累斯顿技术大学计算机科学系);National Research Center for Applied Cybersecurity (ATHENE)(应用网络安全国家研究中心(ATHENE));Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心(hessian.AI));Centre for Cognitive Science, Darmstadt(达姆施塔特认知科学中心);Institute of Psychology, Technical University Darmstadt(德累斯顿技术大学心理学系);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Sorbonne Université, Paris, France(巴黎索邦大学)
本文提出HackAtari基准,通过任务简化变体证明深度强化学习智能体在简单任务上性能骤降,揭示其依赖捷径,远未达到人类智能。
2025-05-27 cs.AI cs.LG
Challenges of Context and Time in Reinforcement Learning: Introducing Space Fortress as a Benchmark
Carnegie Mellon University(卡内基梅隆大学)
深度强化学习(RL)的研究已经围绕着提高基准测试(如Arcade学习环境)的性能而展开。然而,这些基准明显错过了重要的特征,如突然的上下文相关的战略和时间敏感性的变化,往往存在于现实世界的领域。因此,强化学习研究并没有关注这些挑战,导致算法不理解上下文的关键变化,并且几乎没有真实世界时间的概念。为了解决这个问题,本文介绍了游戏的空间堡垒作为强化学习基准,它结合了这些特点。我们表明,现有的国家的最先进的强化学习算法无法学习玩太空堡垒游戏。然后,我们确认这种糟糕的性能是由于RL算法的上下文不敏感性和奖励稀疏性。我们还确定了独立的轴沿不同的上下文和时间的敏感性,使太空堡垒被用作一个测试平台,了解这两个特点的组合,也在隔离。我们将Space Fortress作为一个开源的Gym环境发布。
2018-09-06 cs.AI cs.LG stat.ML
MinAtar: An Atari-Inspired Testbed for Thorough and Reproducible Reinforcement Learning Experiments
University of Alberta(阿尔伯塔大学)
Arcade Learning Environment(ALE)是一个用于评估强化学习代理的流行平台。雅达利游戏的吸引力很大程度上来自于这样一个事实,即雅达利游戏展示了我们期望从智能代理中获得的能力,并且不偏向于任何特定的解决方案。ALE的挑战包括(1)从原始像素提取相关信息的表示学习问题,以及(2)利用动作和奖励之间复杂的延迟关联的行为学习问题。通常,我们感兴趣的研究问题更多地属于后者,但表示学习问题增加了显着的计算费用。我们介绍MinAtar,简称微型雅达利,一套新的环境,捕捉特定雅达利游戏的一般机制,同时简化了代表性的复杂性,更专注于行为的挑战。MinAtar由五款Atari游戏组成:Seaquest,Breakout,Asterix,Freeway和Space Invaders。每个MinAtar环境为代理提供10 x10 xn二进制状态表示。每个游戏都在10 x10的网格上进行,其中n个通道对应于游戏特定的对象,例如游戏Breakout中的球,球拍和砖块。为了调查MinAtar带来的行为挑战,我们评估了一个较小版本的DQN架构以及具有资格跟踪的在线演员-评论家。随着表示学习问题的简化,我们可以用显著更少的计算开销来执行实验。在我们的实验中,我们使用节省的计算时间来执行步长参数扫描和更多的运行比典型的ALE。像这样的实验提高了可重复性,并使我们能够得出更有信心的结论。我们希…
2019-06-07 cs.AI cs.LG
Deep Reinforcement Learning for General Video Game AI
New York University(纽约大学);Southern University of Science and Technology(南方科技大学);Queen Mary University of London(伦敦玛丽女王大学)
通用视频游戏AI(GVGAI)竞赛及其相关的软件框架提供了一种在大量以特定领域描述语言编写的游戏上对AI算法进行基准测试的方法。虽然竞争已经看到了很多的兴趣,它迄今为止一直集中在在线规划,提供了一个前向模型,允许使用算法,如蒙特卡罗树搜索。在本文中,我们描述了如何将GVGAI接口到OpenAI Gym环境,这是一种将代理连接到强化学习问题的广泛使用的方式。使用这个接口,我们描述了几种深度强化学习算法在一些GVGAI游戏中的广泛使用的实现。我们进一步分析结果,以提供这些游戏相对于彼此的相对难度的第一个指标,以及在类似条件下相对于街机学习环境中的相对难度。
2018-06-06 cs.AI cs.LG cs.NE
ELF: An Extensive, Lightweight and Flexible Research Platform for Real-time Strategy Games
Facebook AI Research(Facebook 人工智能研究院);Oculus
在本文中,我们提出了ELF,一个广泛的,轻量级的和灵活的基础强化学习研究平台。使用ELF,我们实现了一个高度可定制的实时的【形】策略(RTS)引擎,具有三个游戏环境(迷你RTS,夺旗和塔防)。Mini-RTS作为《星际争霸》的微缩版,能够捕捉关键的游戏动态,并在Macbook Pro笔记本电脑上以每核心40 K帧每秒(FPS)的速度运行。当与现代强化学习方法相结合时,该系统可以在一天内使用6个CPU和1个GPU对内置AI进行端到端的训练完整的游戏机器人。此外,我们的平台是灵活的环境智能体通信拓扑结构,RL方法的选择,游戏参数的变化,并可以托管现有的C/C++为基础的游戏环境,如街机学习环境。使用ELF,我们彻底探索了训练参数,并表明具有Leaky ReLU和批量归一化以及长期训练和渐进课程的网络在Mini-RTS的完整游戏中击败了基于规则的内置AI超过$70\%$。在其他两场比赛中也取得了不错的成绩。在游戏回放中,我们展示了我们的代理学习有趣的策略。ELF及其RL平台在https://github.com/facebookresearch/ELF上开源。
2017-11-10 cs.AI
Distributional Bellman Operators over Mean Embeddings
Google DeepMind(谷歌DeepMind);Gatsby Unit, University College London(伦敦大学学院盖茨比单元)
本文提出基于回报分布有限维均值嵌入的分布式强化学习框架,推导动态规划与时序差分算法并证明收敛,实验表明其可扩展至深度强化学习并在 ALE 上优于基线。
2024-03-04 cs.LG stat.ML
Self-Imitation Advantage Learning
Google Research(谷歌研究院);Inria Lille Nord Europe(法国国家信息与自动化研究所里尔-北欧欧洲分部)
自我模仿学习是一种强化学习(RL)方法,它鼓励回报高于预期的行动,这有助于硬探索和稀疏奖励问题。它被证明可以提高在几个离散控制任务中的政策行动者-批评者方法的性能。然而,将自我模仿应用于大多数基于动作值的非策略强化学习方法并不简单。我们提出了SAIL,一种新的推广的自模仿学习的非政策RL,基于修改的贝尔曼最优算子,我们连接到优势学习。至关重要的是,我们的方法通过选择观察到的回报和自我模仿的当前动作值之间最乐观的回报估计来缓解陈旧回报的问题。我们证明了经验的有效性,帆的街机学习环境,重点是硬探索游戏。
2020-12-22 cs.LG
Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison
Ruhr-University Bochum(波鸿鲁尔大学);TH Köln(科隆应用技术大学)
本研究比较了基于解耦表示学习的常见辅助任务在非视觉RL环境中的效果,发现辅助任务仅在足够复杂环境中提升性能,且学习环境动态优于预测奖励。
2023-10-09 cs.AI cs.LG
Monte Carlo Tree Search with Scalable Simulation Periods for Continuously Running Tasks
NEC-AIST AI Cooperative Research Laboratory(NEC-产业技术综合研究所人工智能合作研究实验室);NEC Security Research Laboratories(NEC安全研究实验室);The University of Tokyo(东京大学)
蒙特卡罗树搜索(MCTS)特别适用于潜在动作可以表示为顺序决策树的域。为了有效的动作选择,MCTS执行许多模拟来构建决策空间的可靠树表示。因此,当在动作选择之间不能执行足够的模拟时,MCTS的瓶颈出现。这在连续运行的任务中尤其突出,由于环境的状态不断变化,可用于在操作之间执行模拟的时间往往受到限制。在本文中,我们提出了一种方法,利用MCTS的随时特性,以增加仿真时间时允许的。我们的方法是有效地平衡的前景,选择一个动作的时间,可以节省执行MCTS模拟之前,下一个动作的选择。为此,我们将模拟时间视为与动作一起选择的决策变量。我们扩展了分层乐观优化树(HOOT)方法,以适应我们的方法与连续决策空间的环境。我们通过OpenAI gym的Pendulum和Continuous Mountain Car环境评估了具有连续决策空间的环境的方法,并通过街机学习环境(ALE)平台评估了具有离散动作空间的环境。评估结果表明,与可变的模拟时间,所提出的方法优于传统的MCTS在评估的连续决策空间任务,并提高了MCTS的性能在大多数ALE任务。
2018-09-07 cs.AI
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind(谷歌DeepMind)
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件:生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法(DQN)。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境,使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN,并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
Go-Blend behavior and affect
Institute of Digital Games University of Malta(马耳他大学数字游戏研究所)
本文提出了一种范式转换的情感计算,通过查看情感建模任务作为一个强化学习过程。根据我们提出的框架的背景(环境)和代理的行动定义的共同表示,交织的行为和影响。为了实现这一框架,我们建立在强化学习的最新进展基础上,并使用了Go-Explore算法的修改版本,该算法在硬探索任务中表现出了最高的性能。在这个初步的研究中,我们测试我们的框架在街机游戏中训练去探索代理既发挥最佳,并试图模仿人类的觉醒示威。我们改变了最佳游戏和唤醒模仿之间的重要性程度,并创造了能够有效显示情感和行为模式的代理。我们的Go-Explore实现不仅为情感建模引入了一种新的范式;它通过提供可以混合和表达多种行为和情感模式的代理来实现可信的基于AI的游戏测试。
2021-09-24 cs.AI cs.HC cs.LG
A new Potential-Based Reward Shaping for Reinforcement Learning Agent
University of Kansas(堪萨斯大学);University of New Mexico(新墨西哥大学);Iran University of Science and Technology(伊朗科技大学)
基于潜能的奖励塑造(PBRS)是一类特殊的机器学习方法,其目的是通过在执行任务时提取和利用额外的知识来提高强化学习代理的学习速度。在迁移学习的过程中有两个步骤:从先前学习的任务中提取知识,并将该知识转移到目标任务中使用。后一步在文献中讨论得很好,提出了各种方法,而前一步则很少探索。考虑到这一点,传播的知识类型非常重要,可以带来相当大的改进。在迁移学习和基于潜能的奖励塑造的文献中,一个从未被提及的主题是在学习过程本身中收集的知识。在本文中,我们提出了一种新的潜在的奖励塑造方法,试图从学习过程中提取知识。该方法从情节的累积奖励中提取知识。所提出的方法已在Arcade学习环境中进行了评估,结果表明,在单任务和多任务强化学习代理的学习过程中的改进。
2023-03-13 cs.AI cs.LG
Reinforcement Learning with Attention that Works: A Self-Supervised Approach
注意力模型在一系列任务中对深度学习产生了显著的积极影响。然而,之前将注意力与强化学习相结合的尝试未能产生显着的改善。我们提出了自注意力和强化学习的第一个组合,能够产生显着的改进,包括在街机学习环境中的最先进的新成果。与以前尝试中使用的选择性注意力模型不同,它通过先入为主的重要性概念来限制注意力,我们的实现利用了状态输入中固有的马尔可夫特性。我们的方法产生了一个忠实的可视化的政策,专注于代理的行为。我们的实验表明,经过训练的策略同时使用多个注意力焦点,并且能够随着时间的推移调整注意力,以处理部分可观察性的情况。
2019-04-06 cs.LG stat.ML
A Distributional Perspective on Reinforcement Learning
DeepMind
在本文中,我们认为价值分布的根本重要性:由强化学习代理接收的随机回报的分布。这与强化学习的常见方法形成对比,后者对这种回报或价值的期望进行建模。虽然有一个既定的文献研究的价值分布,到目前为止,它一直被用于特定的目的,如实施风险意识的行为。我们从政策评估和控制设置的理论结果开始,揭示了后者的显著分布不稳定性。然后,我们使用分布的角度来设计一个新的算法,适用于贝尔曼方程的学习近似值分布。我们使用Arcade学习环境中的游戏套件来评估我们的算法。我们获得了最先进的结果和轶事证据,证明了值分布在近似强化学习中的重要性。最后,我们结合理论和经验证据,强调在近似设置的价值分布影响学习的方式。
2017-07-21 cs.AI cs.LG stat.ML
Deep Quality-Value (DQV) Learning
Montefiore Institute(蒙特菲奥雷研究所);Université de Liège(列日大学);University of Groningen(格罗宁根大学)
我们介绍了一种新的深度强化学习(DRL)算法,称为深度质量值(DQV)学习。DQV使用时间差学习来训练值神经网络,并使用该网络来训练学习估计状态动作值的第二质量值网络。我们首先测试DQV的更新规则,使用多层感知器作为两个经典RL问题的函数逼近器,然后使用深度卷积神经网络、“经验重放”和“目标神经网络”扩展DQV,以处理Atari Arcade学习环境的四个游戏。我们的研究结果表明,DQV的学习速度明显快于Deep Q-Learning和Double Deep Q-Learning,这表明我们的算法可能是一种比DRL中现有算法性能更好的同步时间差分算法。
2018-10-10 cs.LG stat.ML