Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.（日立有限公司）
我们提出了Mask Atari，这是一个新的基准，可以帮助解决基于深度强化学习（DRL）的方法的部分可观察马尔可夫决策过程（POMDP）问题。为了实现POMDP问题的仿真环境，基于Atari 2600游戏构建了Mask Atari，该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域，特别是在POMDP中设置了主动信息收集（AIG）。鉴于目前还不存在这样的方法，Mask Atari提供了一个具有挑战性的，有效的基准来评估专注于上述问题的方法。此外，掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试，这意味着评估不偏离感知能力，并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能，并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
Compression and Localization in Reinforcement Learning for ATARI Games
Carnegie Mellon University（卡内基梅隆大学）
深度神经网络在强化学习领域已经变得司空见惯，但在所需参数的数量方面通常是昂贵的。虽然压缩深度神经网络最近被认为对克服这一缺点非常重要，但在强化学习代理的背景下，几乎没有做过什么工作来解决这个问题。这项工作的目的是在RL代理的模型压缩的第一步。特别是，我们压缩网络以大幅减少其中的参数数量（大小小于其原始大小的3%），通过在最终卷积层之后应用全局最大池来进一步促进，并建议在压缩的上下文中使用Actor-Mimic。最后，我们证明了这个全局最大池允许弱监督对象定位，提高了识别代理焦点的能力。
2019-04-20 cs.AI cs.LG stat.ML
The Atari Data Scraper
Washington State University（华盛顿州立大学）；University of Alberta（阿尔伯塔大学）
由于使用深度神经网络的方法的成功，强化学习近年来取得了长足的进步。然而，这样的神经网络就像一个黑匣子，掩盖了内部工作。虽然强化学习具有解决独特问题的潜力，但对强化学习算法缺乏信任和理解可能会阻止其广泛采用。在这里，我们展示了一个将“数据刮刀”附加到深度强化学习代理的库，充当观察者，然后展示如何使用Atari Data Scraper收集的数据来理解和解释深度强化学习代理。Atari Data Scraper的代码可以在这里找到：https://github.com/IRLL/Atari-Data-Scraper
2021-04-11 cs.AI cs.LG cs.SY
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说，该方法利用异步优势演员评论家（A3 C）架构，使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法，使用多个代理并行训练目标游戏的不同表示来更新模型，而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能，OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games
Microsoft Research（微软研究院）
强化学习关注的是在最初未知的环境中识别奖励最大化的行为策略。最先进的强化学习方法，如深度Q网络，是无模型的，可以在Atari游戏等广泛的环境中有效地学习，但需要大量的数据。基于模型的技术数据效率更高，但需要获得有关环境的明确知识。在本文中，我们采取了一个步骤，使用基于模型的技术，在环境中的高维视觉状态空间，证明它是可能的学习系统动力学和奖励结构联合。我们的贡献是扩展最近开发的用于Atari游戏中视频帧预测的深度神经网络，以实现奖励预测。为此，我们提出了一个联合优化问题，以最小化视频帧和奖励重建损失，并相应地调整网络参数。对五款Atari游戏的实证评估表明，累积奖励预测准确度高达200帧。我们认为这些结果为复杂的、最初未知的环境中的基于模型的强化学习开辟了重要的方向。
2017-08-17 cs.AI cs.LG stat.ML
MARTI-4: new model of human brain, considering neocortex and basal ganglia -- learns to play Atari game by reinforcement learning on a single CPU
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了深度控制-皮质-纹状体脑回路的新ML架构，它使用整个皮质柱作为结构元素，而不是单个神经元。在此基础上，我们提出了一种新的人脑模型MARTI，它考虑了新皮层和基底神经节。该模型是为了实现权宜行为而设计的，能够在未知的环境中学习和实现目标。我们引入了一种新的惊喜感机制，通过内部奖励显著改善了强化学习过程。我们使用OpenAI Gym环境在几个小时内在单个CPU上演示了MARTI学习。
2022-08-18 cs.AI cs.LG
Atari games and Intel processors
Intel（英特尔公司）；University of Warsaw（华沙大学）
最先进的强化学习算法（如Asynchronous Advantage Actor-Critic算法）的异步性质使其非常适合CPU计算。然而，考虑到深度强化学习通常处理解释视觉信息的事实，训练和推理时间的很大一部分都花在执行卷积上。在这项工作中，我们使用卷积神经网络，数学核函数库和TensorFlow 0.11rc 0机器学习框架，在Atari游戏中的学习策略，我们提出了我们的结果。我们还分析了异步计算对强化学习算法收敛性的影响。
2017-05-19 cs.AI cs.DC cs.LG
Improved robustness of reinforcement learning policies upon conversion to spiking neuronal network platforms applied to ATARI games
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Memphis（孟菲斯大学）
深度强化学习（RL）在可以通过训练策略解决的任务上表现出出色的性能。它在使用多层神经网络（NN）的尖端机器学习方法中起着主导作用。与此同时，Deep RL对噪声、不完整和误导性输入数据具有高敏感性。遵循生物直觉，我们使用脉冲神经网络（SNN）来解决深度RL解决方案的一些不足。之前在图像分类领域的研究表明，使用监督学习训练的标准NN（具有ReLU非线性）可以转换为SNN，性能下降可以忽略不计。在本文中，我们将这些转换结果扩展到使用RL训练的Q-Learning NN领域。我们提供了一个标准的NN SNN转换的原则证明。此外，我们表明，SNN具有更好的鲁棒性，在输入图像中的遮挡。最后，我们介绍了将全尺寸Deep Q网络转换为SNN的结果，为未来研究鲁棒的Deep RL应用铺平了道路。
2019-08-19 cs.LG cs.NE stat.ML
Agent57: Outperforming the Atari Human Benchmark
DeepMind（深度思维）
在过去的十年里，Atari游戏一直是强化学习（RL）社区的长期基准。这个基准测试被提出来测试RL算法的一般能力。以前的工作已经取得了良好的平均表现，做了出色的许多游戏的设置，但在几个最具挑战性的游戏非常差。我们提出了Agent57，这是第一个在所有57个Atari游戏上都优于标准人类基准的深度RL代理。为了实现这一结果，我们训练一个神经网络，它参数化了一系列政策，从非常探索性的纯粹剥削。我们提出了一种自适应机制，以选择在整个训练过程中优先考虑哪种策略。此外，我们利用一种新的参数化的架构，允许更一致和稳定的学习。
2020-03-30 cs.LG stat.ML
Virtual Augmented Reality for Atari Reinforcement Learning
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文研究SAM图像分割模型能否提升Atari游戏RL智能体性能，发现其可作为虚拟增强现实，在特定条件下改善表现，为相关研究提供方向。
2023-10-12 cs.AI cs.LG
State of the Art Control of Atari Games Using Shallow Reinforcement Learning
Franklin & Marshall College（富兰克林与马歇尔学院）；University of Alberta（阿尔伯塔大学）
最近推出的Deep Q-Networks（DQN）算法作为深度神经网络和强化学习的首批成功组合之一，已经引起了人们的关注。它的承诺在街机学习环境（ALE）中得到了证明，这是一个具有挑战性的框架，由数十个Atari 2600游戏组成，用于评估AI的一般能力。它比以前的方法取得了更好的结果，表明它学习良好表示的能力是相当强大和通用的。本文试图了解DQN令人印象深刻的表现背后的原则，并更好地了解其成功的背景。我们系统地评估了DQN网络编码的关键代表性偏见的重要性，提出了简单的线性表示，利用这些概念。阐明这些特点，我们得到了一个计算上实用的功能集，实现竞争力的性能DQN在ALE。除了深入了解DQN的优点和缺点外，我们还为ALE提供了一个通用的表示，大大减轻了学习每个游戏表示的负担。此外，我们还提供了一个简单的，可重复的基准比较，在ALE未来的工作。
2016-04-21 cs.LG
Performing Deep Recurrent Double Q-Learning for Atari Games
Universidad Católica San Pablo（圣巴勃罗天主教大学）
目前，机器学习中的许多应用程序都是基于定义新模型来提取有关数据的更多信息，在这种情况下，深度强化学习与Atari，Mario等视频游戏中最常见的应用程序对计算机如何通过仅从任何动作中获得的称为奖励的信息进行自我学习产生了影响。在AlphaZero和Go中，有很多基于DeepMind提出的深度递归Q-Learning建模和实现的算法。在本文中，我们提出了深度递归双Q学习，这是使用双Q-学习算法和递归网络（如LSTM和DRQN）实现深度强化学习的一种实现。
2019-10-17 cs.AI cs.LG cs.NE
Object-sensitive Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
近年来，深度强化学习变得越来越流行，在玩Atari游戏和机器人导航等不同的视觉输入任务上显示出优越性。虽然对象是重要的图像元素，但很少有工作考虑使用对象特征来增强深度强化学习。在本文中，我们提出了一种新的方法，可以将对象识别处理纳入深度强化学习模型。这种方法可以适应任何现有的深度强化学习框架。国家的最先进的结果显示在Atari游戏的实验。我们还提出了一种名为“对象显着性图”的新方法，以直观地解释深度强化学习代理所做的动作。
2018-09-17 cs.CV cs.LG stat.ML
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University（普林斯顿大学）
本文提出了新的端到端深度强化学习算法，用于学习两人零和马尔可夫博弈。不同于以往的努力，训练代理击败一组固定的对手，我们的目标是找到纳什均衡政策，甚至从剥削的敌对对手。我们提出了（a）Nash-DQN算法，该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;（b）Nash-DQN-Exploiter算法，该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子，以及各种两个球员雅达利游戏。我们的实证结果表明，（i）通过许多现有方法（包括神经虚拟自玩和策略空间响应Oracle）发现的策略可能容易被敌对对手利用;（ii）我们算法的输出策略对利用具有鲁棒性，因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
MinAtar: An Atari-Inspired Testbed for Thorough and Reproducible Reinforcement Learning Experiments
University of Alberta（阿尔伯塔大学）
Arcade Learning Environment（ALE）是一个用于评估强化学习代理的流行平台。雅达利游戏的吸引力很大程度上来自于这样一个事实，即雅达利游戏展示了我们期望从智能代理中获得的能力，并且不偏向于任何特定的解决方案。ALE的挑战包括（1）从原始像素提取相关信息的表示学习问题，以及（2）利用动作和奖励之间复杂的延迟关联的行为学习问题。通常，我们感兴趣的研究问题更多地属于后者，但表示学习问题增加了显着的计算费用。我们介绍MinAtar，简称微型雅达利，一套新的环境，捕捉特定雅达利游戏的一般机制，同时简化了代表性的复杂性，更专注于行为的挑战。MinAtar由五款Atari游戏组成：Seaquest，Breakout，Asterix，Freeway和Space Invaders。每个MinAtar环境为代理提供10 x10 xn二进制状态表示。每个游戏都在10 x10的网格上进行，其中n个通道对应于游戏特定的对象，例如游戏Breakout中的球，球拍和砖块。为了调查MinAtar带来的行为挑战，我们评估了一个较小版本的DQN架构以及具有资格跟踪的在线演员-评论家。随着表示学习问题的简化，我们可以用显著更少的计算开销来执行实验。在我们的实验中，我们使用节省的计算时间来执行步长参数扫描和更多的运行比典型的ALE。像这样的实验提高了可重复性，并使我们能够得出更有信心的结论。我们希…
2019-06-07 cs.AI cs.LG
Reward learning from human preferences and demonstrations in Atari
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
为了用强化学习解决复杂的现实问题，我们不能依赖手动指定的奖励函数。相反，我们可以让人类直接向智能体传达目标。在这项工作中，我们结合了两种方法来学习人类的反馈：专家演示和轨迹偏好。我们训练一个深度神经网络来模拟奖励函数，并使用其预测的奖励来训练一个基于DQN的深度强化学习代理9个Atari游戏。我们的方法在7个游戏中击败了模仿学习基线，并在2个游戏中实现了严格的超人表现，而不使用游戏奖励。此外，我们研究了奖励模型的拟合优度，提出了一些奖励投机问题，并研究了人类标签中噪声的影响。
2018-11-15 cs.AI cs.LG cs.NE
OCAtari: Object-Centric Atari 2600 Reinforcement Learning Environments
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science of Darmstadt（达姆施塔特认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出OCAtari框架，在Atari 2600环境中高效提取以对象为中心的状态，支持对象发现、表示学习与强化学习，并验证了其检测能力与资源效率。
2024-02-27 cs.AI cs.CV cs.LG
Implicit Quantile Networks for Distributional Reinforcement Learning
DeepMind（深度思维）
在这项工作中，我们建立在分布式强化学习的最新进展，给出了一个普遍适用的，灵活的，最先进的分布式DQN的变体。我们通过使用分位数回归来近似状态-动作回报分布的完整分位数函数来实现这一点。通过重新参数化样本空间上的分布，这产生了一个隐含定义的回报分布，并产生了一个大类的风险敏感政策。我们证明了改进的性能在ALE的57雅达利2600游戏，并使用我们的算法的隐式定义的分布研究风险敏感的政策在雅达利游戏的影响。
2018-06-14 cs.AI cs.LG stat.ML
On Catastrophic Interference in Atari 2600 Games
Google Brain（谷歌大脑）；University of Montreal (Mila)（蒙特利尔大学（米拉研究所））；CIFAR（加拿大高等研究院）
无模型深度强化学习是样本低效的。有一种假说--推测但未证实--是环境中的灾难性干扰会抑制学习。我们通过在街机学习环境（ALE）中进行的大规模实证研究来验证这一假设，并找到了支持这一假设的证据。我们发现，干扰导致性能高原;网络不能训练段高原以外，而不降低的政策，用于达到那里。通过综合控制干扰，我们展示了跨架构，学习算法和环境的性能提升。更精确的分析表明，学习游戏的一个部分通常会增加其他地方的预测误差。我们的研究在强化学习中提供了灾难性干扰和样本效率之间的明确经验联系。
2020-06-09 cs.AI cs.LG stat.ML
Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations
National Unviersity of Singapore（新加坡国立大学）；The University of Queesland（昆士兰大学）
深度强化学习在诸如Atari、Go等复杂游戏的决策中是成功的，然而，现实世界的决策通常需要从复杂的视觉观察中提取部分信息进行推理。提出了一种新的用于复杂部分观测的强化学习框架--判别粒子滤波强化学习（DPFRL）。DPFRL在神经网络策略中编码可微粒子滤波器，用于随时间推移进行部分观测的显式推理。粒子滤波器使用学习的判别更新来保持信念，该信念是端到端训练的，用于决策。我们表明，使用判别更新而不是标准的生成模型，可以显着提高性能，特别是对于具有复杂视觉观察的任务，因为它们规避了对与决策无关的复杂观察进行建模的困难。此外，为了从粒子信念中提取特征，我们提出了一种基于矩生成函数的信念特征。DPFRL在现有的POMDP RL基准Flickering Atari Games和本文介绍的新的更具挑战性的POMDP RL基准Natural Flickering Atari Games中的表现优于最先进的POMDP RL模型。此外，DPFRL表现良好的视觉导航与现实世界的数据在人居环境中。
2020-02-23 cs.AI cs.LG stat.ML
Maximum Entropy Dueling Network Architecture in Atari Domain
Amirkabir University of Technology（阿米尔卡比尔理工大学）
近年来，强化学习出现了许多深层结构，主要用于价值函数估计和表示。这些方法在Atari 2600领域取得了很大的成功。本文提出了一种基于Dueling网络的改进结构，在这种结构中，有两个独立的估计器，一个逼近状态价值函数，另一个逼近状态优势函数。这种改进基于最大熵，显示出更好的政策评估相比，原来的网络和其他价值为基础的架构在Atari域。
2022-04-27 cs.AI cs.LG
Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models
University of California, Berkeley（加州大学伯克利分校）
在复杂领域实现高效和可扩展的探索是强化学习的一个主要挑战。虽然贝叶斯和PAC-MDP方法的探索问题提供了强有力的正式保证，他们往往是不切实际的，在更高的维度，由于它们依赖于枚举的状态动作空间。因此，复杂域中的探索通常使用简单的ε贪婪方法来执行。在本文中，我们考虑了具有挑战性的Atari游戏领域，它需要处理原始像素输入和延迟奖励。我们评估了几个更复杂的勘探策略，包括汤普森采样和玻尔兹曼勘探，并提出了一种新的勘探方法的基础上分配勘探奖金从一个并发学习模型的系统动力学。通过使用神经网络参数化我们的学习模型，我们能够开发一种可扩展且有效的探索奖金方法，该方法可应用于具有复杂高维状态空间的任务。在雅达利领域，我们的方法提供了最一致的改进，在一系列的游戏，构成了一个重大的挑战，以前的方法。除了原始游戏分数，我们还为Atari学习领域开发了AUC-100指标，以评估探索对该基准的影响。
2015-11-19 cs.AI cs.LG stat.ML
Reinforcement Learning with Structured Hierarchical Grammar Representations of Actions
Imperial College London（帝国理工学院）；Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technical University Berlin（柏林工业大学）；MRC London Institute of Medical Sciences（英国医学研究委员会伦敦医学科学研究所）
从很小的时候起，人类就学会了使用语法原则来分层地将单词组合成句子。动作语法是一个平行的概念，即有一组潜在的规则（一种“语法”）来控制我们如何分层地组合动作以形成新的、更复杂的动作。我们引入了动作语法强化学习（AG-RL）框架，该框架利用动作语法的概念来不断提高强化学习代理的样本效率。AG-RL通过使用语法推理算法来推断训练中途代理的“动作语法”。代理的动作空间，然后增加了由语法识别的宏动作。我们将此框架应用于双深度Q学习（AG-DDQN）和Soft Actor-Critic（AG-SAC）的离散动作版本，并发现它分别在8个测试的Atari游戏中的8个（中位数+31%，最大+668%）和20个测试的Atari游戏中的19个（中位数+96%，最大+3，756%）中提高了性能，而无需实质性的超参数调整。我们还表明，AG-SAC在20个测试的Atari游戏中的17个中的样本效率方面击败了无模型的最先进水平（中位数+62%，最大值+13，140%），同样没有实质性的超参数调整。
2019-10-23 cs.AI cs.LG stat.ML
Munchausen Reinforcement Learning
Google Research, Brain Team（谷歌研究，大脑团队）；Université de Lorraine, CNRS, Inria, IECL（洛林大学，法国国家科学研究中心，法国国家信息与自动化研究所，洛林高等计算机研究所）
自举是强化学习的核心机制。基于时间差异的大多数算法用其当前的估计值来替换过渡状态的真实值。然而，另一个估计可以用来引导RL：当前政策。我们的核心贡献在于一个非常简单的想法：将缩放日志策略添加到即时奖励中。我们表明，以这种方式稍微修改深度Q网络（DQN）提供了一个与Atari游戏上的分布式方法竞争的代理，而不使用分布式RL，n步返回或优先重放。为了证明这个想法的多功能性，我们还将其与隐式分位数网络（IQN）一起使用。由此产生的代理在Atari上优于Rainbow，安装了一个新的最先进的技术，对原始算法进行了很少的修改。为了补充这项实证研究，我们提供了强有力的理论见解，在引擎盖下发生了什么-隐式Kullback-Leibler正则化和增加的行动差距。
2020-11-04 cs.LG stat.ML
Fully Parameterized Quantile Function for Distributional Reinforcement Learning
UC San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
分布式强化学习（RL）与传统RL的不同之处在于，它不是对总回报的期望，而是估计分布，并在Atari Games上实现了最先进的性能。实际分布强化学习算法的关键挑战在于如何对估计分布进行参数化，以便更好地逼近真实的连续分布。现有的分布RL算法参数化分布函数的概率侧或返回值侧，使另一侧如C51、QR-DQN中那样均匀固定或如IQN中那样随机采样。在本文中，我们提出了完全参数化的分位数函数，该函数将分位数分数轴（即，x轴）和值轴（即，y轴）用于分布RL。我们的算法包含一个分数建议网络，生成一组离散的分位数分数和一个分位数值网络，给出相应的分位数值。这两个网络被联合训练，以找到真实分布的最佳近似。在55个Atari游戏上的实验表明，我们的算法显著优于现有的分布式RL算法，并为非分布式代理的Atari学习环境创造了新的记录。
2020-08-02 cs.AI cs.LG stat.ML
Investigating Pre-Training Objectives for Generalization in Vision-Based Reinforcement Learning
KAIST（韩国科学技术院）
本文提出Atari-PB基准，在50款Atari游戏上预训练ResNet-50，发现学习任务无关特征的预训练目标比任务特定目标更能提升跨环境泛化能力。
2024-06-10 cs.AI cs.CV cs.LG
Is Policy Learning Overrated?: Width-Based Planning and Active Learning for Atari
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
基于宽度的规划在使用像素输入的Atari 2600游戏上显示出有希望的结果，同时使用比强化学习少得多的环境交互。最近的基于宽度的方法已经使用手工设计的特征集或在游戏屏幕上训练的变分自编码器（VAE-IW）来计算每个屏幕的特征向量，并且在搜索期间修剪不具有新颖特征的屏幕。我们提出橄榄（在线VAE-IW），它更新的VAE功能在线使用主动学习，以最大限度地提高规划过程中观察到的屏幕的效用。在55个Atari游戏中的实验结果表明，它比Rollout-IW高出42比11，比VAE-IW高出32比20。此外，Olive优于现有的同策略学习（$π$ -IW，DQN）的工作，该工作使用100倍的训练预算进行训练，分别为30比22和31比17，以及最先进的数据高效强化学习（EfficientZero），该学习使用相同的训练预算进行训练，并在Atari 100 k基准测试中使用1.8倍的规划预算进行运行，根本没有策略学习。源代码可在github.com/ibm/atari-active-learning上获得。
2022-03-19 cs.AI cs.LG
Enhancing Two-Player Performance Through Single-Player Knowledge Transfer: An Empirical Study on Atari 2600 Games
University of Calgary（卡尔加里大学）
本文提出将同一游戏单玩家版本的知识迁移到双玩家强化学习训练中，并在十个Atari 2600环境中验证该方法可提升训练效率和性能。
2024-10-22 cs.AI cs.LG
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto（多伦多大学）
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中，我们应用克罗内克因子曲率估计技术（KFAC）最近提出的梯度估计控制变量优化，RELAX，以提高样本效率，使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
HackAtari: Atari Learning Environments for Robust and Continual Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science of Darmstadt（达姆施塔特认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出 HackAtari 框架，通过在 Atari 学习环境中引入受控新异性（场景简化、颜色交换和奖励信号变化），用于提升强化学习智能体的鲁棒性与行为对齐能力，并支持课程 RL、因果 RL 和 LLM 驱动 RL 等方向。
2024-06-06 cs.AI cs.LG
Using Generative Adversarial Nets on Atari Games for Feature Extraction in Deep Reinforcement Learning
Middle East Technical University（中东技术大学）
深度强化学习（Deep Reinforcement Learning，DRL）已成功应用于机器人导航和自动视频游戏等多个研究领域。然而，这些方法需要过多的计算和与环境的交互，因此需要提高样本效率。这一要求的主要原因是稀疏和延迟的奖励不能为深度神经网络的表示学习提供有效的监督。在这项研究中，近端策略优化（PPO）算法与生成对抗网络（GANs）增强，通过强制网络学习有效的表示而不依赖于稀疏和延迟的奖励作为监督来提高样本效率。结果表明，通过联合训练DRL代理和GAN代理，可以获得更高的性能。- Derin Pekistirmeli Oakme，robot navigasyonu ve otomatikelestirilmis video oyunu oaku a gibi arastirma alanlarinda basariyla uygulanmaktadir.此外，我们还可以看到，由于气候变化和环境变化，我们的工作人员无法确定他们的工作是否正常。但是，在一个人的生活中，人们对自己的生活和生活的看法是，他们的生活和生活是如此的丰富多彩，以至于他们的生活和生活都变得如此的艰难。但据了解，Uretici Cekismeli Aglar（UCA）算法的优化政策方案将使目标明确，并使目标明确或使目标明确，从而使目标明确。其他的声音算法也可以用其他的方法来实现。
2020-04-06 cs.AI cs.LG
Free-Lunch Saliency via Attention in Atari Agents
Samsung AI Center（三星人工智能中心）；Steklov Institute of Mathematics at St. Petersburg（圣彼得堡斯捷克洛夫数学研究所）；Neuromation OU（Neuromation公司）
我们提出了一种新的方法来可视化深度神经网络模型的显着性图，并将其应用于在Atari环境中训练的深度强化学习代理。我们的方法将我们称为FLS（免费午餐显著性）的注意力模块添加到来自已建立基线的特征提取器（Mnih等人，2015年）。这种添加导致可训练模型，其可以产生显著性图，即，输入的不同部分对于智能体当前决策制定的重要性的可视化。我们通过实验证明，具有FLS模块的网络表现出与基线相似的性能（即，它是“免费的”，没有性能成本），并且可以用作强化学习代理的直接替代。我们还设计了另一个特征提取器，得分略低，但提供更高保真的可视化。除了获得的分数，我们还报告了在Atari-HEAD人类游戏数据集上评估的显着性指标。
2019-10-30 cs.AI cs.CV cs.LG
A quantum-classical reinforcement learning model to play Atari games
Technische Universität Wien（维也纳技术大学）；Freie Universität Berlin（柏林自由大学）
针对近期量子强化学习技术难以处理高维复杂问题的空白，提出结合参数化量子电路与经典编码、后处理层的混合模型，可完成雅达利游戏任务，性能与经典参照模型相当，为量子学习模型落地现实强化学习场景提供支撑。
2024-12-11 cs.AI cs.LG quant-ph
Learn to Interpret Atari Agents
针对深度强化学习智能体决策难解释的问题，提出具备内在可视化能力的 RS-Rainbow 网络，通过注意力模块学习重要区域并反向传播梯度以可视化决策依据，在提升可解释性的同时改善了性能。
2023-04-05 cs.LG stat.ML
Deep Reinforcement Learning With Macro-Actions
University of Massachusetts（马萨诸塞大学）
深度强化学习已被证明是一个强大的框架，用于从复杂的高维感官输入到复杂任务（如Atari域）中的动作学习策略。在本文中，我们探索了时间抽象形式的输出表示建模，以提高深度强化学习方法的收敛性和可靠性。我们专注于宏观行动，并评估这些不同的雅达利2600游戏，在那里我们表明，他们在学习速度产生显着的改善。此外，我们还证明了它们甚至可以获得比DQN更好的分数。我们对收敛性和最终结果进行了分析和解释，揭示了深度RL方法在稀疏奖励信号方面存在的问题。
2016-06-15 cs.AI cs.LG cs.NE
Greener Deep Reinforcement Learning: Analysis of Energy and Carbon Efficiency Across Atari Benchmarks
University of North Florida（北弗罗里达大学）；University of Central Florida（中央弗罗里达大学）
该研究对7种基于Stable Baselines实现的先进DRL算法在10款Atari游戏上的能耗、碳排放及成本开展系统基准测试，揭示算法间效率差异，为兼顾性能与可持续性的DRL实践及算法设计提供参考。
2025-09-05 cs.LG cs.PF
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain（谷歌大脑）
在本文中，我们重新审视了由Hallak等人（2017）开创的强化学习（COP-TD）的政策外校正方法。在这种方法下，在线更新的价值函数被重新加权，以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的，它不能容易地转移到非线性函数逼近。首先，它需要一个投影到概率单纯形上的步骤;其次，即使描述离策略学习算法的预期行为的算子是收敛的，但它并不知道是一个收缩映射，因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为，发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚，可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域，我们发现折扣COP-TD在实践中表现得更好，比软正常化处罚。最后，我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估，在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
Hadamax Encoding: Elevating Performance in Model-Free Atari
Department of Computer Science（计算机科学系）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文提出 Hadamax 编码器，通过最大池化 GELU 激活并行层的哈达玛积，在 Atari-57 上使 PQN 性能提升 80%，超越 Rainbow-DQN。
2025-05-23 cs.AI cs.LG
Mastering Atari with Discrete World Models
Google Research（谷歌研究）；DeepMind（深度思维）；University of Toronto（多伦多大学）
智能代理需要从过去的经验中进行归纳，以在复杂的环境中实现目标。世界模型促进了这种泛化，并允许从想象的结果中学习行为，以提高样本效率。虽然从图像输入中学习世界模型最近对于某些任务来说已经变得可行，但对Atari游戏进行足够精确的建模以获得成功的行为多年来一直是一个开放的挑战。我们介绍DreamerV2，一个强化学习代理，纯粹从一个强大的世界模型的紧凑的潜在空间中的预测来学习行为。世界模型使用离散表示，并与策略分开训练。DreamerV2构成了第一个通过在单独训练的世界模型内学习行为来在Atari基准的55个任务上实现人类水平性能的智能体。在相同的计算预算和挂钟时间下，Dreamer V2达到了2亿帧，并超越了顶级单GPU代理IQN和Rainbow的最终性能。DreamerV2还适用于具有连续动作的任务，在该任务中，它学习复杂人形机器人的精确世界模型，并仅通过像素输入解决站立和行走问题。
2022-02-12 cs.AI cs.LG stat.ML
Momentum in Reinforcement Learning
Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
我们将优化的动量概念应用于强化学习。将状态-作用价值函数看作是优化中梯度的模拟，我们将动量解释为连续$q$函数的平均值。我们推导出动量价值迭代（MoVI），这是价值迭代的一种变体，它包含了动量的概念。我们的分析表明，这使得MoVI可以在连续迭代中平均误差。我们表明，所提出的方法可以很容易地扩展到深度学习。具体来说，我们提出了一个简单的改进DQN基于MoVI，并在Atari游戏进行实验。
2020-03-31 cs.LG stat.ML
Observe and Look Further: Achieving Consistent Performance on Atari
DeepMind（深度思维）
尽管深度强化学习（RL）领域取得了重大进展，但今天的算法仍然无法在Atari 2600游戏等一系列不同任务上一致地学习人类水平的策略。我们确定了任何算法都需要掌握的三个关键挑战，以便在所有游戏中表现良好：处理不同的奖励分布，长时间范围内的推理，以及有效地探索。在本文中，我们提出了一种算法，解决了这些挑战，并能够学习人类水平的政策，几乎所有的雅达利游戏。一个新的变换贝尔曼算子允许我们的算法处理不同密度和规模的奖励;辅助的时间一致性损失允许我们稳定地使用$γ= 0.999$（而不是$γ= 0.99$）的折扣因子训练，有效的规划范围扩展了一个数量级;我们缓解了探索问题，通过使用人类示范，引导代理对奖励状态。当在一组42个Atari游戏上进行测试时，我们的算法超过了使用一组通用超参数的40个游戏的平均人类性能。此外，它是第一个解决Montezuma复仇第一级的深度RL算法。
2018-05-29 cs.AI cs.LG stat.ML
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的强化学习（RL）方法在诸如Atari游戏等复杂领域中表现出强大的性能，但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造，这涉及到仔细设计奖励函数，为智能体向目标的进展提供中间奖励。然而，设计适当的成形奖励是已知的困难以及耗时。在这项工作中，我们解决这个问题，使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络（LEARN）。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验，这是RL中的一个流行基准。我们对15个不同任务的实验表明，对于与环境的相同数量的交互，与没有语言的学习相比，基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
显着图经常被用来支持解释深度强化学习（RL）代理的行为。然而，对显着图在实践中如何使用的回顾表明，所得出的解释往往是不可证伪的，并且可能是高度主观的。我们引入了一种基于反事实推理的实证方法来测试显着性图产生的假设，并评估它们与RL环境的语义相对应的程度。我们使用Atari游戏，深度RL的常见基准，来评估三种类型的显着性图。我们的研究结果表明，在何种程度上可以评估现有的雅达利游戏的索赔，并建议显着图最好被视为一种探索性的工具，而不是一个解释性的工具。
2020-02-20 cs.AI cs.LG
Reinforcement Learning and Video Games
University of Sheffield（谢菲尔德大学）
根据DeepMind在Go和Atari游戏上的实验，强化学习已经超过了人类在使用深度学习方法进行游戏AI方面的表现。深度学习解决了阻碍强化发展多年的高维输入问题。这项研究使用这两种技术来创建几个代理与不同的算法，成功地学习发挥霸王龙亚军。采用深度Q网络算法和三种改进方法对智能体进行训练。他们中的一些人的结果远远不能令人满意，但其他人比人类专家更好。批量归一化是解决深度神经网络内部协变量偏移问题的一种方法。这对强化学习的积极影响也在本研究中得到了证明。
2019-09-10 cs.LG stat.ML
Beyond The Rainbow: High Performance Deep Reinforcement Learning on a Desktop PC
该研究提出整合六项强化学习改进的BTR算法，在台式PC上刷新Atari-60基准性能，还能高效训练3D游戏智能体，并通过消融实验分析各组件作用。
2025-05-21 cs.AI cs.LG
Playing Atari with Six Neurons
eXascale Infolab（eXascale信息实验室）；University of Fribourg, Switzerland（瑞士弗里堡大学）；Game Innovation Lab（游戏创新实验室）；Tandon School of Engineering（坦登工程学院）；New York University, NY, USA（美国纽约大学）
深度强化学习应用于Atari游戏等基于视觉的问题，将像素直接映射到动作;在内部，深度神经网络承担着提取有用信息和基于信息做出决策的责任。通过将图像处理与决策分离，人们可以更好地理解每个任务的复杂性，以及潜在地找到更小的策略表示，更容易被人类理解并且可以更好地概括。为此，我们提出了一种新的方法，分别学习政策和紧凑的状态表示，但同时在强化学习的政策近似。状态表示由编码器基于两种新算法生成：增加字典矢量量化使编码器能够随着时间的推移增加其字典大小，以解决出现在开放式在线学习上下文中的新观测;直接残差稀疏编码通过忽略重建误差最小化来编码观测，并以最高的信息包含为目标。编码器自动选择在线观测值进行训练，以最大化代码稀疏性。随着字典大小的增加，编码器为神经网络产生越来越大的输入：这是通过指数自然演化策略算法的变体来解决的，该算法沿着运行调整其概率分布维度。我们使用只有6到18个神经元的小型神经网络（取决于游戏的控制）在一系列Atari游戏上测试我们的系统。这些仍然能够达到与使用两个数量级以上神经元的最先进技术相当的结果，有时甚至更好。
2019-03-03 cs.AI cs.LG cs.NE
Learning To Play Atari Games Using Dueling Q-Learning and Hebbian Plasticity
University of Sussex（萨塞克斯大学）
本文使用深度Q网络和决斗Q网络训练智能体玩Atari游戏，并扩展至基于反向传播和赫布规则的可塑性神经网络，分析其可行性，为自适应学习提供新见解。
2024-05-22 cs.AI cs.LG
Evolution Strategies as a Scalable Alternative to Reinforcement Learning
OpenAI
我们探索使用进化策略（ES），一类黑盒优化算法，作为流行的基于MDP的RL技术，如Q学习和策略约束的替代。MuJoCo和Atari上的实验表明，ES是一种可行的解决方案策略，可随可用CPU的数量扩展得非常好：通过使用基于常见随机数的新型通信策略，我们的ES实现仅需要通信标量，从而可以扩展到超过一千个并行工作者。这使我们能够在10分钟内解决3D人形步行问题，并在一小时的训练后在大多数Atari游戏中获得有竞争力的结果。此外，我们强调了ES作为黑盒优化技术的几个优点：它对动作频率和延迟奖励是不变的，容忍极长的视野，并且不需要时间折扣或值函数近似。
2017-09-07 cs.AI cs.LG cs.NE
Contingency-Aware Exploration in Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文研究了学习环境的偶然性意识和可控方面是否可以导致强化学习中更好的探索。为了研究这个问题，我们考虑在街机学习元素（ALE）上评估这个假设的实例。在这项研究中，我们开发了一个专注的动力学模型（ADM），发现可控元素的观察，这往往是与雅达利游戏中的角色的位置。ADM以自我监督的方式进行训练，以预测代理所采取的行动。所学习的偶然性信息被用作用于探索目的的状态表示的一部分。我们证明了演员-评论家算法与基于计数的探索相结合，使用我们的表示实现了令人印象深刻的结果，一组臭名昭著的具有挑战性的雅达利游戏，由于稀疏的奖励。例如，我们在《蒙特祖玛的复仇》中报告了一个>11,000分的最新分数，而没有使用专家演示、明确的高级信息（例如，RAM状态）或监控数据。我们的实验证实，偶然意识确实是一个非常强大的概念，用于解决强化学习中的探索问题，并为进一步的研究开辟了有趣的研究问题。
2019-03-04 cs.AI cs.LG stat.ML
Toybox: A Suite of Environments for Experimental Evaluation of Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
深度强化学习（RL）的评估具有内在的挑战性。特别是，学习的策略在很大程度上是不透明的，并且关于深度RL代理行为的假设很难在黑箱环境中进行测试。相当大的努力已经进入解决不透明性，但几乎没有努力一直致力于生产高品质的环境，实验评估代理的行为。我们介绍了TOYBOX，这是一个新的高性能，开源 * Atari环境子集，重新设计用于深度RL的实验评估。我们表明，TOYBOX使广泛的实验和分析，是不可能在其他环境中。*https：kdl-umass.github.io/Toybox/
2019-05-07 cs.LG stat.ML
Pretraining Representations for Data-Efficient Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；CIFAR（加拿大高等研究院）；Microsoft Research（微软研究院）
数据效率是深度强化学习的关键挑战。我们通过使用未标记的数据来预训练编码器来解决这个问题，然后对少量特定于任务的数据进行微调。为了鼓励学习表示，捕获底层MDP的各个方面，我们采用了潜在的动态建模和无监督的目标条件RL的组合。当限制在Atari游戏上的10万步交互（相当于两个小时的人类经验）时，我们的方法大大超过了之前将离线表示预训练与特定任务微调相结合的工作，并且与其他需要数量级更多数据的预训练方法相比毫不逊色。我们的方法在与更大的模型以及更多样化、与任务一致的观测数据相结合时表现出了特别的前景--在我们最好的环境中，在Atari上接近人类水平的性能和数据效率。我们在https://github.com/mila-iqia/SGI上提供与此工作相关的代码。
2021-06-09 cs.LG
Terminal Prediction as an Auxiliary Task for Deep Reinforcement Learning
Borealis AI（Borealis人工智能研究院）
近年来，深度强化学习取得了巨大的成功，但仍然存在一些挑战，例如收敛到局部最优策略和样本效率低下。在本文中，我们提出了一种新的自监督辅助任务，即，终端预测（TP），估计时间接近终端状态的情节任务。直觉是帮助表示学习，让代理预测它是如何接近终端状态，同时学习其控制策略。虽然TP可以与多种算法集成，但本文重点介绍异步优势Actor-Critic（A3 C），并展示A3 C-TP的优点。我们广泛的评估包括：一套雅达利游戏，双足步行者域，以及最近提出的多代理Pommerman游戏的迷你版本。我们在Atari游戏和双足步行者域上的结果表明，A3 C-TP在大多数测试域中优于标准A3 C，在其他域中具有类似的性能。在Pommerman中，我们提出的方法在学习效率和收敛到更好的策略来对抗不同的对手方面都提供了显着的改进。
2019-07-24 cs.LG cs.MA stat.ML
CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++
National Institute of Information and Communications Technology（日本信息通信研究机构）
本文介绍了一个名为CytonRL的开源执法学习工具包（https：//github.com/arthurxlw/cytonRL）。该工具包使用C++和NVIDIA的GPU加速库从头开始实现了四种最新的高级深度Q-学习算法。代码简单而优雅，这要归功于一个名为CytonLib的开源通用神经网络库。基准测试表明，该工具包在流行的Atari游戏Breakout上实现了具有竞争力的性能。
2018-04-14 cs.AI cs.LG stat.ML
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University（台湾大学）
在过去的几年里，深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括，并利用先前的经验更快地学习新技能。然而，目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识，并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法，这是一种流行的强化学习基准，并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
