Bigger, Better, Faster: Human-level Atari with human-level efficiency
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文提出BBF，一种基于价值的强化学习智能体，通过扩展神经网络规模及优化设计，在Atari 100K基准上实现超人类性能，并公开代码数据以推动样本高效RL研究。
2023-11-13 cs.AI cs.LG
Performing Deep Recurrent Double Q-Learning for Atari Games
Universidad Católica San Pablo（圣巴勃罗天主教大学）
目前，机器学习中的许多应用程序都是基于定义新模型来提取有关数据的更多信息，在这种情况下，深度强化学习与Atari，Mario等视频游戏中最常见的应用程序对计算机如何通过仅从任何动作中获得的称为奖励的信息进行自我学习产生了影响。在AlphaZero和Go中，有很多基于DeepMind提出的深度递归Q-Learning建模和实现的算法。在本文中，我们提出了深度递归双Q学习，这是使用双Q-学习算法和递归网络（如LSTM和DRQN）实现深度强化学习的一种实现。
2019-10-17 cs.AI cs.LG cs.NE
Free-Lunch Saliency via Attention in Atari Agents
Samsung AI Center（三星人工智能中心）；Steklov Institute of Mathematics at St. Petersburg（圣彼得堡斯捷克洛夫数学研究所）；Neuromation OU（Neuromation公司）
我们提出了一种新的方法来可视化深度神经网络模型的显着性图，并将其应用于在Atari环境中训练的深度强化学习代理。我们的方法将我们称为FLS（免费午餐显著性）的注意力模块添加到来自已建立基线的特征提取器（Mnih等人，2015年）。这种添加导致可训练模型，其可以产生显著性图，即，输入的不同部分对于智能体当前决策制定的重要性的可视化。我们通过实验证明，具有FLS模块的网络表现出与基线相似的性能（即，它是“免费的”，没有性能成本），并且可以用作强化学习代理的直接替代。我们还设计了另一个特征提取器，得分略低，但提供更高保真的可视化。除了获得的分数，我们还报告了在Atari-HEAD人类游戏数据集上评估的显着性指标。
2019-10-30 cs.AI cs.CV cs.LG
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说，该方法利用异步优势演员评论家（A3 C）架构，使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法，使用多个代理并行训练目标游戏的不同表示来更新模型，而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能，OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
OCAtari: Object-Centric Atari 2600 Reinforcement Learning Environments
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science of Darmstadt（达姆施塔特认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出OCAtari框架，在Atari 2600环境中高效提取以对象为中心的状态，支持对象发现、表示学习与强化学习，并验证了其检测能力与资源效率。
2024-02-27 cs.AI cs.CV cs.LG
Importance of using appropriate baselines for evaluation of data-efficiency in deep reinforcement learning for Atari
University of Birmingham（伯明翰大学）
强化学习（RL）在过去几年中取得了巨大的进步。尽管如此，RL社区的共识是，目前使用的方法，尽管它们有很多好处，但数据效率极低，特别是在Atari这样的丰富视觉领域。为了避免这个问题，引入了新的方法，这些方法通常声称比最先进的DQN算法的流行变体更有效。然而，在本文中，我们证明了新提出的技术只是在实验中使用了不公平的基线。也就是说，我们证明了效率的实际提高来自于允许算法对每个数据样本进行更多的训练更新，而不是采用新方法。通过允许DQN更频繁地执行网络更新，我们设法达到了与最近提出的改进类似或更好的结果，而复杂性和计算成本通常只是一小部分。此外，根据研究结果，我们认为，类似于本文中提出的修改后的DQN的代理应该被用作未来任何旨在提高深度强化学习样本效率的工作的基线。
2020-03-31 cs.LG stat.ML
Accelerating Reinforcement Learning through GPU Atari Emulation
NVIDIA（英伟达）
我们介绍了CuLE（CUDA学习环境），这是Atari学习环境（ALE）的CUDA端口，用于开发深度强化算法。CuLE克服了现有基于CPU的仿真器的许多限制，并自然地扩展到多个GPU。它利用GPU并行化来同时运行数千个游戏，并直接在GPU上渲染帧，以避免有限的CPU-GPU通信带宽带来的瓶颈。CuLE在单个GPU上每小时生成高达1.55亿帧，这一发现以前只能通过CPU集群实现。除了强调CPU和GPU仿真器在强化学习上下文中的差异之外，我们还展示了如何通过有效地训练训练数据来利用CuLE的高吞吐量，并展示了A2 C +V-trace的加速收敛。CuLE可在https://github.com/NVLabs/cule上获得。
2020-10-05 cs.LG stat.ML
Fast and Data-Efficient Training of Rainbow: an Experimental Study on Atari
TU Wien（维也纳工业大学）
在整个Arcade学习环境中，Rainbow达到了与人类和现代RL算法竞争的性能水平。然而，达到这种性能水平需要大量的数据和硬件资源，使得在这一领域的研究计算昂贵，并在实际应用中使用往往是不可行的。本文的贡献有三个方面：（1）提出了Rainbow的改进版本，寻求大幅减少Rainbow的数据，训练时间和计算需求，同时保持其竞争力;（2）通过在Arcade学习环境上的实验，我们实证地证明了我们的方法的有效性，以及（3）我们进行了大量的消融研究，以调查所提出的个体修改的效果。我们改进的Rainbow版本达到了接近经典Rainbow的人类标准化得分中值，同时使用的数据减少了20倍，并且在单个GPU上只需要7.5小时的训练时间。我们还提供完整的实现，包括预先训练的模型。
2021-11-19 cs.LG
Investigating Pre-Training Objectives for Generalization in Vision-Based Reinforcement Learning
KAIST（韩国科学技术院）
本文提出Atari-PB基准，在50款Atari游戏上预训练ResNet-50，发现学习任务无关特征的预训练目标比任务特定目标更能提升跨环境泛化能力。
2024-06-10 cs.AI cs.CV cs.LG
Domain Adaptation for Reinforcement Learning on the Atari
Aston University（阿斯顿大学）
深度强化学习智能体最近在各种离散和连续控制任务中取得了成功;然而，它们的训练速度可能很慢，并且需要与环境进行大量交互才能学习合适的策略。事实证明，强化学习代理没有关于世界的先验知识，没有预先存在的数据可以依赖，因此必须投入大量时间进行探索。迁移学习可以通过利用在源任务上完成的学习来帮助在目标任务上的学习来缓解一些问题。我们的工作提出了一种算法，用于初始化的隐藏功能表示的目标任务。我们提出了一个领域自适应方法来转移状态表示，并演示跨域，任务和动作空间的转移。我们利用对抗性领域自适应的想法结合对抗性自动编码器架构。我们将新策略的表示空间与预先训练的源策略对齐，从随机策略中获取目标任务数据。我们证明了这个初始化步骤在学习新的强化学习任务时提供了显着的改进，这突出了对抗性适应方法的广泛适用性;即使任务和标签/动作空间也发生了变化。
2018-12-18 cs.AI cs.LG stat.ML
Model-Based Reinforcement Learning for Atari
Google Brain（谷歌大脑）；Institute of Mathematics of the Polish Academy of Sciences（波兰科学院数学研究所）；Faculty of Mathematics, Informatics and Mechanics, University of Warsaw（华沙大学数学、信息学与力学学院）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
提出基于视频预测模型的完整模型驱动深度 RL 算法 SimPLe，使 Atari 智能体在仅 100k 次交互下多数游戏表现超越先进无模型方法。
2024-04-03 cs.LG stat.ML
Reinforcement Learning in Strategy-Based and Atari Games: A Review of Google DeepMinds Innovations
Computer Science Engineering Undergraduate Student（计算机科学工程本科生）；Egypt Japan University of Science and Technology（埃及-日本科学技术大学）；Department of Computer Science and Engineering, School of Electronics, Communications and Computer Engineering（计算机科学与工程系，电子、通信与计算机工程学院）
本文综述了谷歌DeepMind在Atari和策略类游戏中应用强化学习的创新，分析了AlphaGo、AlphaGo Zero和MuZero等模型的核心方法及贡献。
2026-02-11 cs.AI cs.GT
Improved robustness of reinforcement learning policies upon conversion to spiking neuronal network platforms applied to ATARI games
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Memphis（孟菲斯大学）
深度强化学习（RL）在可以通过训练策略解决的任务上表现出出色的性能。它在使用多层神经网络（NN）的尖端机器学习方法中起着主导作用。与此同时，Deep RL对噪声、不完整和误导性输入数据具有高敏感性。遵循生物直觉，我们使用脉冲神经网络（SNN）来解决深度RL解决方案的一些不足。之前在图像分类领域的研究表明，使用监督学习训练的标准NN（具有ReLU非线性）可以转换为SNN，性能下降可以忽略不计。在本文中，我们将这些转换结果扩展到使用RL训练的Q-Learning NN领域。我们提供了一个标准的NN SNN转换的原则证明。此外，我们表明，SNN具有更好的鲁棒性，在输入图像中的遮挡。最后，我们介绍了将全尺寸Deep Q网络转换为SNN的结果，为未来研究鲁棒的Deep RL应用铺平了道路。
2019-08-19 cs.LG cs.NE stat.ML
IGN : Implicit Generative Networks
Northwestern University（西北大学）
本研究结合GAN的生成器、判别器与分位数回归，提出基于IQN的先进分布式强化学习模型IGN，在57款Atari 2600游戏上实现性能提升，并验证了其在风险敏感策略训练中的先进表现。
2025-02-21 cs.AI cs.LG
Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations
National Unviersity of Singapore（新加坡国立大学）；The University of Queesland（昆士兰大学）
深度强化学习在诸如Atari、Go等复杂游戏的决策中是成功的，然而，现实世界的决策通常需要从复杂的视觉观察中提取部分信息进行推理。提出了一种新的用于复杂部分观测的强化学习框架--判别粒子滤波强化学习（DPFRL）。DPFRL在神经网络策略中编码可微粒子滤波器，用于随时间推移进行部分观测的显式推理。粒子滤波器使用学习的判别更新来保持信念，该信念是端到端训练的，用于决策。我们表明，使用判别更新而不是标准的生成模型，可以显着提高性能，特别是对于具有复杂视觉观察的任务，因为它们规避了对与决策无关的复杂观察进行建模的困难。此外，为了从粒子信念中提取特征，我们提出了一种基于矩生成函数的信念特征。DPFRL在现有的POMDP RL基准Flickering Atari Games和本文介绍的新的更具挑战性的POMDP RL基准Natural Flickering Atari Games中的表现优于最先进的POMDP RL模型。此外，DPFRL表现良好的视觉导航与现实世界的数据在人居环境中。
2020-02-23 cs.AI cs.LG stat.ML
Pretraining Representations for Data-Efficient Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila（米拉人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；CIFAR（加拿大高等研究院）；Microsoft Research（微软研究院）
数据效率是深度强化学习的关键挑战。我们通过使用未标记的数据来预训练编码器来解决这个问题，然后对少量特定于任务的数据进行微调。为了鼓励学习表示，捕获底层MDP的各个方面，我们采用了潜在的动态建模和无监督的目标条件RL的组合。当限制在Atari游戏上的10万步交互（相当于两个小时的人类经验）时，我们的方法大大超过了之前将离线表示预训练与特定任务微调相结合的工作，并且与其他需要数量级更多数据的预训练方法相比毫不逊色。我们的方法在与更大的模型以及更多样化、与任务一致的观测数据相结合时表现出了特别的前景--在我们最好的环境中，在Atari上接近人类水平的性能和数据效率。我们在https://github.com/mila-iqia/SGI上提供与此工作相关的代码。
2021-06-09 cs.LG
Strategy and Benchmark for Converting Deep Q-Networks to Event-Driven Spiking Neural Networks
University of Memphis（孟菲斯大学）
脉冲神经网络（SNN）对于在专用神经形态硬件上实现深度神经网络（DNN）的节能具有巨大潜力。最近的研究表明，与DNN相比，SNN在图像分类任务上具有竞争力的性能，包括CIFAR-10和ImageNet数据。目前的工作重点是将SNN与ATARI游戏中的深度强化学习结合使用，与图像分类相比，这涉及额外的复杂性。我们回顾了将DNN转换为SNN并将转换扩展到深度Q网络（DQN）的理论。我们提出了一个强大的表示的射击率，以减少在转换过程中的错误。此外，我们引入了一个新的指标来评估的转换过程中，通过比较的DQN和SNN，分别作出的决定。我们还分析了模拟时间和参数归一化如何影响转换SNN的性能。我们在17款表现最好的Atari游戏中获得了竞争力分数。据我们所知，我们的工作是第一个在多个Atari游戏上实现最先进性能的SNN。我们的工作作为一个基准的转换DQNs SNNs和铺平了道路，进一步研究解决强化学习任务SNNs。
2020-12-23 cs.LG cs.NE
IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
DeepMind Technologies（DeepMind科技公司）
在这项工作中，我们的目标是解决一个大的任务集合使用一个单一的强化学习代理与一组参数。一个关键的挑战是处理增加的数据量和延长的训练时间。我们已经开发了一种新的分布式代理IMPALA（重要性加权的演员-学习者架构），它不仅在单机训练中更有效地使用资源，而且可以扩展到数千台机器，而不会牺牲数据效率或资源利用率。我们实现了稳定的学习，在高吞吐量相结合的解耦代理和学习与一种新的偏离政策的校正方法，称为V-跟踪。我们在DMLab-30（来自DeepMind实验室环境的一组30个任务）上证明了IMPAL用于多任务强化学习的有效性（Beattie等人，2016））和Atari-57（Arcade Learning Environment中所有可用的Atari游戏（Bellemare等人，2013年a））。我们的研究结果表明，IMPALA是能够实现更好的性能比以前的代理与更少的数据，关键是表现出积极的任务之间的转移，由于其多任务的方法。
2018-06-28 cs.AI cs.LG
Graph Backup: Data Efficient Backup Exploiting Markovian Transitions
University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）的成功仅限于我们拥有大量在线体验的环境，但在数据高效的环境中应用RL，在线交互的访问权限有限仍然具有挑战性。数据高效强化学习的关键是良好的价值估计，但该领域的当前方法未能充分利用从环境中收集的轨迹数据的结构。在本文中，我们把转换数据的MDP作为一个图形，并定义了一个新的备份操作，图形备份，利用这种图形结构更好的价值估计。与诸如$n$ -步骤$Q$ -学习和TD（$λ$）的多步骤备份方法相比，图备份可以执行反事实信用分配，并且给出状态的稳定值估计，而不管状态从哪个轨迹采样。当与流行的基于值的方法相结合时，我们的方法在一套数据高效的RL基准测试（包括MiniGrid，Minatar和Atari 100 K）上提供了比一步和多步方法更好的性能。我们进一步分析了这种性能提升的原因，通过一个新的可视化的过渡图的雅达利游戏。
2022-05-31 cs.LG
Transforming Game Play: A Comparative Study of DCQN and DTQN Architectures in Reinforcement Learning
College of Computing and Software Engineering（计算与软件工程学院）；Kennesaw State University（肯尼索州立大学）
本研究比较了基于CNN的DCQN与基于Transformer的DTQN在三种Atari游戏中的性能，发现在3500万至4000万参数范围内，DCQN在速度及除《Centipede》外的所有游戏中均优于DTQN。
2024-10-14 cs.AI cs.CV cs.LG
Guardian: Decoupling Exploration from Safety in Reinforcement Learning
Sun Yat-sen University（中山大学）
提出RLPD-GX框架，通过守护者机制解耦探索与安全，结合动态课程稳定训练，在Atari-100k上超越现有混合方法45%，兼顾性能与安全性。
2025-10-26 cs.AI cs.LG
On BatchNorm Forward Modes in Value-Based Reinforcement Learning
FAIR at Meta（Meta FAIR）；Technical University of Darmstadt（达姆施塔特工业大学）
本文证明在离散动作值强化学习中，将批归一化的前向模式从运行统计量切换为批统计量，可显著提升C51和PQN在Atari基准上的性能与稳定性。
2026-09-09 cs.AI cs.LG
When should we prefer Decision Transformers for Offline Reinforcement Learning?
Meta AI；University of Texas, Austin（德克萨斯大学奥斯汀分校）
该研究针对离线强化学习中CQL、BC、DT三类主流算法的适用场景问题，通过D4RL、Robomimic等基准的多维度实验，明确了不同算法在数据质量、任务特性等条件下的优劣，并给出DT的架构与扩展建议。
2024-03-11 cs.AI cs.LG
Contingency-Aware Exploration in Reinforcement Learning
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文研究了学习环境的偶然性意识和可控方面是否可以导致强化学习中更好的探索。为了研究这个问题，我们考虑在街机学习元素（ALE）上评估这个假设的实例。在这项研究中，我们开发了一个专注的动力学模型（ADM），发现可控元素的观察，这往往是与雅达利游戏中的角色的位置。ADM以自我监督的方式进行训练，以预测代理所采取的行动。所学习的偶然性信息被用作用于探索目的的状态表示的一部分。我们证明了演员-评论家算法与基于计数的探索相结合，使用我们的表示实现了令人印象深刻的结果，一组臭名昭著的具有挑战性的雅达利游戏，由于稀疏的奖励。例如，我们在《蒙特祖玛的复仇》中报告了一个>11,000分的最新分数，而没有使用专家演示、明确的高级信息（例如，RAM状态）或监控数据。我们的实验证实，偶然意识确实是一个非常强大的概念，用于解决强化学习中的探索问题，并为进一步的研究开辟了有趣的研究问题。
2019-03-04 cs.AI cs.LG stat.ML
Probing the Impact of Scale on Data-Efficient, Generalist Transformer World Models for Atari
Graduate School of Artificial Intelligence（人工智能研究生院）
本文通过最小化Transformer世界模型分析Atari 100k基准的缩放行为，发现环境存在不同的缩放区域，联合训练可稳定缩放动态并提升下游控制性能。
2026-05-09 cs.AI cs.LG
Atari-HEAD: Atari Human Eye-Tracking and Demonstration Dataset
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
大规模公共数据集已被证明有利于现代人工智能多个领域的研究。对于需要人类数据的决策研究，高质量的数据集可以作为重要的基准，通过提供通用的可重复标准来促进新方法的开发。许多人类决策任务需要视觉注意力来获得高水平的性能。因此，测量眼球运动可以提供有关人类用于解决决策任务的策略的丰富信息来源。在这里，我们提供了一个大规模，高质量的人类动作数据集，同时记录了人类玩Atari视频游戏时的眼球运动。该数据集包含来自20款游戏的117小时游戏数据，其中包含800万个动作演示和3.28亿个凝视样本。我们介绍了一种新颖的游戏形式，其中人类以半帧逐帧的方式进行游戏。这导致接近最佳的游戏决策和游戏分数，与已知的人类记录相当或更好。我们通过两个简单的应用程序证明了数据集的有用性：预测人类的目光和模仿人类表现出的动作。数据的质量使这两项任务都取得了可喜的成果。此外，使用学习的人类凝视模型来通知模仿学习，导致游戏性能提高115%。我们将这些结果解释为强调将人类视觉注意力纳入决策模型的重要性，并展示了当前数据集对研究界的价值。我们希望这个数据集的规模和质量可以为视觉注意，模仿学习和强化学习领域的研究人员提供更多的机会。
2019-09-07 cs.CV cs.LG stat.ML
Deep Reinforcement Learning with Plasticity Injection
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维）
针对深度强化学习中神经网络易丧失可塑性的问题，提出一种不改变参数量、不引入预测偏差的可塑性注入方法，既可作为可塑性损失的诊断工具，也能提升训练效率，在Atari基准上表现优于现有方法。
2023-10-03 cs.AI cs.LG
Accelerating Representation Learning with View-Consistent Dynamics in Data-Efficient Reinforcement Learning
ShanghaiTech University（上海科技大学）；Zhejiang University（浙江大学）
从基于图像的观察中学习信息表示是深度强化学习（RL）的基本关注点。然而，数据效率低下仍然是实现这一目标的一个重大障碍。为了克服这一障碍，我们提出了加速状态表示学习的动态视图一致性。首先，我们介绍了一种形式主义的多视图马尔可夫决策过程（MMDP），它包含了多个视图的状态。根据MMDP的结构，我们的方法，视图一致的动力学（VCD），学习状态表示，通过训练一个视图一致的动力学模型在潜在的空间，其中的意见是通过应用数据增强的状态。对DeepMind Control Suite和Atari-100 k的实证评估表明，VCD是视觉控制任务的SoTA数据高效算法。
2022-01-18 cs.AI cs.LG
ViZDoom: A Doom-based AI Research Platform for Visual Reinforcement Learning
Institute of Computing Science, Poznan University of Technology（波兹南工业大学计算科学研究所）
深度神经网络的最新进展带来了有效的基于视觉的强化学习方法，这些方法已被用于从像素数据中获得Atari 2600游戏中的人类水平控制器。然而，Atari 2600游戏并不像现实世界的任务，因为它们涉及非现实的2D环境和第三人称视角。在这里，我们提出了一个新的测试平台，用于从原始视觉信息中进行强化学习研究，该信息在半现实的3D世界中采用第一人称视角。该软件名为ViZDoom，基于经典的第一人称射击游戏Doom。它允许开发使用屏幕缓冲区玩游戏的机器人。ViZDoom是轻量级的，快速的，并通过一个方便的用户场景机制高度可定制。在实验部分，我们通过尝试学习两种场景的机器人来测试环境：基本的移动和射击任务和更复杂的迷宫导航问题。使用具有Q学习和经验回放的卷积深度神经网络，对于这两种情况，我们都能够训练表现出类似人类行为的合格机器人。结果证实了ViZDoom作为AI研究平台的实用性，并暗示在3D逼真的第一人称视角环境中进行视觉强化学习是可行的。
2016-09-20 cs.AI cs.CV cs.LG
Reliable validation of Reinforcement Learning Benchmarks
Leiden University（莱顿大学）
强化学习（Reinforcement Learning，RL）是游戏AI和整个AI中最具活力的研究领域之一，各种各样的游戏被用作其突出的测试问题。然而，它受制于目前影响大多数算法AI研究的可复制性危机。强化学习中的基准测试可以通过可验证的结果来改进。有许多基准测试环境，其分数用于比较不同的算法，如Atari。尽管如此，评审人员必须相信数字代表真实的价值，因为很难重现精确的训练曲线。我们建议通过提供原始实验数据来验证研究结果来改善这种情况。为此，我们依赖于最小痕迹的概念。这些允许在确定性RL环境中重新模拟动作序列，反过来，使审查人员能够验证，重用和手动检查实验结果，而无需大型计算集群。它还允许验证呈现的奖励图，检查单个事件，并重新使用结果数据（基线），以便在后续论文中进行适当的比较。我们提供与Gym配合使用的即插即用代码，以便我们的措施能够很好地适应现有的RL和可重复性生态系统。我们的方法是免费提供的，易于使用，并增加了最小的开销，因为最小的跟踪允许高达$\approx 10^4:1$（94 GB到8 MB的Atari Pong）的数据压缩比相比，在离线RL数据集中使用的常规MDP跟踪。本文介绍了各种游戏的概念验证结果。
2022-03-02 cs.LG
Efficient Offline Policy Optimization with a Learned Model
Sea AI Lab（Sea人工智能实验室）；National University of Singapore（新加坡国立大学）
MuZero Unplugged为从记录的数据中进行离线策略学习提供了一种很有前途的方法。它使用学习模型进行蒙特卡罗树搜索（MCTS），并利用重新分析算法纯粹从离线数据学习。为了获得良好的性能，MCTS需要精确的学习模型和大量的模拟，从而花费大量的计算时间。本文研究了MuZero Unplugged在离线RL设置下可能无法正常工作的几个假设，包括1）有限数据覆盖的学习; 2）从随机环境的离线数据中学习; 3）离线数据的参数化模型不正确; 4）计算预算低。我们建议使用正则化的一步向前看的方法来解决上述问题。我们没有使用昂贵的MCTS进行规划，而是使用学习的模型来构建基于一步推出的优势估计。策略改进的方向是最大化数据集正则化的估计优势。我们与BSuite环境进行了广泛的实证研究，以验证假设，然后在RL Unplugged Atari基准上运行我们的算法。实验结果表明，我们提出的方法实现了稳定的性能，即使是不准确的学习模型。在大规模Atari基准测试中，该方法的性能比MuZero Unplugged高出43%。最重要的是，它只使用了5.6%的挂钟时间（即，1小时）与MuZero不插电（即，17.8小时），以实现150%的IQM标准化分数与相同的硬件和软件堆栈。我们的实现在https://github.com/sail-sg/rosmo上开源。
2023-02-15 cs.LG
Bayesian Q-learning With Imperfect Expert Demonstrations
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；DeepMind（深度思维）；Samsung（三星电子）
通过专家演示进行引导探索可以提高强化学习的数据效率，但目前的算法往往过度使用专家信息。我们提出了一种新的算法，以加快Q学习的帮助下，数量有限的不完美的专家演示。该算法通过放松最优专家假设和逐步减少无信息专家数据的使用，避免了对专家数据的过度依赖。在实验中，我们评估我们的方法在稀疏奖励链环境和六个更复杂的Atari游戏延迟奖励。利用所提出的方法，我们可以实现比从演示中进行深度Q-示教学习更好的结果（Hester等人，2017年，在大多数环境中。
2022-10-01 cs.AI cs.LG
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University（庆应义塾大学）；Sony AI（索尼AI）
在本文中，我们介绍了d3rlpy，一个开源的离线深度强化学习（RL）库。d3rlpy支持一组离线深度RL算法，以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题，我们使用D4RL和Atari 2600数据集进行了大规模基准测试，以确保实现质量，并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到：\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
Ensemble and Auxiliary Tasks for Data-Efficient Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
众所周知，当数据有限时，包围和辅助任务都可以提高机器学习模型的性能。然而，这两种方法之间的相互作用并没有得到很好的研究，特别是在深度强化学习的背景下。在本文中，我们研究了集成和辅助任务与深度Q-学习算法相结合时的效果。在有限的数据约束下，我们进行了ATARI游戏的案例研究。此外，我们推导出一个改进的偏差-方差-协方差分解来分析学习集成和使用辅助任务的不同方式，并使用分析来帮助提供一些理解的案例研究。我们的代码是开源的，可在https://github.com/NUS-LID/RENAULT上获得。
2021-07-06 cs.AI cs.LG
Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation
University of New South Wales（新南威尔士大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了非参数近似的轨迹间返回（NAIT），一个强化学习算法的离散动作，基于像素的环境，是高度的样本和计算效率。NAIT是一种惰性学习方法，其更新相当于情节完成时的情节蒙特卡洛，但它允许在情节正在进行时稳定地纳入奖励。我们使用一个固定的域不可知表示，简单的基于距离的探索和基于邻近图的查找，以促进非常快的执行。我们在ATARI 100k的26和57游戏变体上对NAIT进行了经验评估，尽管它很简单，但它在在线设置中实现了具有竞争力的性能，在墙时间内加速超过100倍。
2022-03-07 cs.AI cs.LG
CoBERL: Contrastive BERT for Reinforcement Learning
DeepMind（深度思维）
许多强化学习（RL）代理需要大量的经验来解决任务。我们提出了对比BERT的RL（CoBERL），一个代理，结合了一个新的对比损失和混合LSTM变压器架构，以解决提高数据效率的挑战。CoBERL能够从各种领域的像素中进行高效、鲁棒的学习。我们使用双向掩码预测结合最近的对比方法的推广来学习RL中Transformers的更好表示，而不需要手工设计的数据增强。我们发现，CoBERL在整个Atari套件、一系列控制任务和具有挑战性的3D环境中不断提高性能。
2022-02-22 cs.AI cs.LG
Execute Order 66: Targeted Data Poisoning for Reinforcement Learning
United States Navy（美国海军）；University of Maryland（马里兰大学）；United States Naval Academy（美国海军学院）
强化学习的数据投毒在历史上一直专注于一般性能下降，并且有针对性的攻击已经通过涉及控制受害者的策略和奖励的扰动而成功。我们为强化学习引入了一种阴险的中毒攻击，这种攻击只会在特定的目标状态下导致代理的不当行为-同时最小限度地修改一小部分训练观察结果，而不需要对策略或奖励进行任何控制。我们通过将最近的技术梯度对齐应用于强化学习来实现这一点。我们测试我们的方法，并证明在不同难度的两个雅达利游戏的成功。
2022-07-28 cs.AI cs.CR cs.LG
Active Evaluation of General Agents: Problem Definition and Comparison of Baseline Algorithms
Google DeepMind（谷歌DeepMind）；Google DeepMind, University of Waterloo（谷歌深Mind、滑铁卢大学）
本文提出通用智能体的主动评估框架，通过比较基线算法发现Elo系统在实践中可靠，而Soft Condorcet Optimization在真实评估中表现更优。
2026-02-10 cs.AI cs.GT cs.LG
Rainbow: Combining Improvements in Deep Reinforcement Learning
DeepMind
深度强化学习社区对DQN算法进行了几项独立的改进。然而，目前还不清楚这些扩展是互补的，可以卓有成效地结合起来。本文研究了六个扩展的DQN算法和实证研究他们的组合。我们的实验表明，该组合在Atari 2600基准测试中提供了最先进的性能，无论是在数据效率还是最终性能方面。我们还提供了详细的消融研究结果，显示了每个组件对整体性能的贡献。
2017-10-06 cs.AI cs.LG
Fractal AI: A fragile theory of intelligence
分形人工智能是一种通用的人工智能理论。它允许衍生新的数学工具，构成了一种新的随机微积分的基础，通过使用类似细胞自动机的结构而不是光滑函数来建模信息。在存储库中包括我们提出了一个新的代理，来自理论的第一原则，这是能够解决雅达利游戏几个数量级更有效地比其他类似的技术，如蒙特卡罗树搜索。提供的代码显示了如何在Atari游戏上击败一些当前最先进的基准测试，而无需之前的学习，并且使用不到1000个样本来计算每个动作，而标准MCTS使用300万个样本。除此之外，Fractal AI还可以生成一个巨大的高性能示例数据库，只需很少的计算量，将强化学习转化为监督问题。所提出的算法能够解决离散和连续情况下的探索与开发的困境，同时保持对Agent行为的任何方面的控制。从一般的方法，这里提出的新技术有直接的应用到其他领域，如非平衡态热力学，化学，量子物理，经济学，信息论，和非线性控制理论。
2020-07-30 cs.AI
Delta Schema Network in Model-based Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Bauman Moscow State Technical University（莫斯科鲍曼国立技术大学）
这项工作致力于解决人工通用智能的未解决问题-迁移学习的效率低下。在强化学习领域中用于解决这个问题的机制之一是基于模型的方法。在本文中，我们正在扩大模式网络的方法，允许提取对象和动作之间的逻辑关系，从环境数据。我们提出了用于训练Delta Schema Network（DSN）的算法，预测环境的未来状态并规划将导致积极奖励的行动。DSN在经典的Atari游戏环境中表现出很强的迁移学习性能。
2020-07-08 cs.AI cs.LG
BarlowRL: Barlow Twins for Data-Efficient Reinforcement Learning
Koc University（科奇大学）
本文提出BarlowRL，结合Barlow Twins自监督学习与DER算法，在Atari 100k基准上超越DER和CURL，通过避免维度坍缩提升数据效率与强化学习性能。
2023-10-12 cs.LG
Virtual Replay Cache
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
返回缓存是一种最近的策略，它可以使用多步估计器（例如λ-return）进行有效的小批量训练，用于深度强化学习。通过按顺序分批预先计算返回估计值，然后将结果存储在辅助数据结构中以供以后采样，可以大大减少每次估计花费的平均计算量。但是，返回缓存的效率还可以提高，特别是在其大量内存使用和重复数据副本方面。我们提出了一种新的数据结构，虚拟重放缓存（VRC），以解决这些缺点。当学习玩Atari 2600游戏时，VRC几乎消除了DQN（λ）的缓存内存占用，并略微减少了我们硬件上的总训练时间。
2021-12-06 cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
Smaller World Models for Reinforcement Learning
Heinrich Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）
样本效率仍然是强化学习的一个基本问题。基于模型的算法试图通过使用模型模拟环境来更好地利用数据。我们提出了一种新的世界模型神经网络架构，该架构基于矢量量化-变分自编码器（VQ-VAE）来编码观察结果，并基于卷积LSTM来预测下一个嵌入索引。一个无模型的PPO代理纯粹是根据来自世界模型的模拟经验进行训练的。我们采用了Kaiser等人（2020）介绍的设置，该设置仅允许与真实环境进行100 K的交互。我们将我们的方法应用于36个Atari环境，并表明我们达到了与他们的SimPLe算法相当的性能，而我们的模型要小得多。
2021-03-02 cs.AI cs.LG stat.ML
Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University（麦吉尔大学米拉研究所）；Facebook（脸书）；Facebook AI Research（脸书人工智能研究院）
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果，有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中，我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试，数据由单个部分训练的行为策略生成。我们发现，在这些条件下，这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN，以及部分训练的行为策略。为了引入一个强大的基线，我们将批量约束Q-学习算法适应于离散动作设置，并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning
Northwestern University（西北大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Zhejiang University（浙江大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
针对离线强化学习轨迹兼具局部与全局相关性的特点，提出基于Mamba的多尺度序列建模决策方法MambaDM，通过混合模块整合全局局部特征，在Atari等数据集上达SOTA，还探究了其缩放定律。
2024-09-11 cs.LG
Architecting and Visualizing Deep Reinforcement Learning Models
Milwaukee School of Engineering（密尔沃基工程学院）
为了满足人们对深度强化学习（DRL）日益增长的兴趣，我们试图构建一个DRL驱动的Atari Pong代理和附带的可视化工具。现有的方法不支持创建具有易于配置的物理和人类控制的播放器的交互式展览所需的灵活性。因此，我们构建了一个新的Pong游戏环境，发现并解决了一些独特的数据缺陷时出现的DRL应用到一个新的环境中，架构和调整基于策略梯度的DRL模型，开发了一个实时的网络可视化，并结合这些元素到一个交互式显示，以帮助建立直觉和意识的DRL推理机制。
2021-12-02 cs.AI
A Risk Manager for Intrusion Tolerant Systems: Enhancing HAL 9000 with New Scoring and Data Sources
Department of Computer Science（计算机科学系）；Faculty of Sciences of University of Porto（葡萄牙波尔图大学科学学院）；Centre Advanced Computing Systems（先进计算系统中心）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、科技与科学研究所）；UMBC（美国马里兰大学巴尔的摩县分校）
本文通过引入定制爬虫持续挖掘安全公告、研究论坛和实时漏洞利用概念验证等多样化威胁来源，扩展了入侵容忍系统风险管理器 HAL 9000 的情报基础，使其能更早检测和评估未验证漏洞，并验证了该集成显著提升了对新兴威胁的应对能力。
2025-08-18 cs.CR cs.LG
Joint Learning of Hierarchical Neural Options and Abstract World Model
Cornell University（康奈尔大学）；Google Deepmind（谷歌DeepMind）
本文提出AgentOWL方法，通过高效样本学习抽象世界模型和层级神经选项，使智能体在Object-Centric Ataris游戏中以更少数据学习更多技能。
2026-11-13 cs.AI cs.LG
High-Throughput Synchronous Deep RL
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（RL）对计算要求很高，需要处理许多数据点。同步方法具有训练稳定性，同时具有较低的数据吞吐量。相比之下，异步方法实现了高吞吐量，但是由于“陈旧策略”而遭受稳定性问题和较低的样本效率。为了结合这两种方法的优点，我们提出了高吞吐量同步深度强化学习（HTS-RL）。在HTS-RL中，我们同时执行学习和推出，设计一个系统设计，避免“陈旧的政策”，并确保演员与环境副本以异步的方式进行交互，同时保持完全的确定性。我们评估了我们在Atari游戏和Google Research Football环境中的方法。与同步基线相比，HTS-RL快2-6 $\times$。与最先进的异步方法相比，HTS-RL具有竞争力的吞吐量，并始终实现更高的平均情节奖励。
2020-12-17 cs.AI cs.LG
When to use parametric models in reinforcement learning?
DeepMind（深度思维）
我们研究了参数模型在强化学习中何时以及如何最有用的问题。特别是，我们看看参数模型和经验重放之间的共性和差异。基于重放的学习算法与基于模型的方法具有重要的特征，包括计划能力：在没有额外数据的情况下使用更多的计算来改进预测和行为。我们讨论了什么时候期望从这两种方法中获益，并在此背景下解释以前的工作。我们假设，在适当的条件下，重放为基础的算法应该是有竞争力的或更好的基于模型的算法，如果该模型只用于生成虚构的转换从观察到的状态的更新规则，否则模型自由。我们在Atari 2600视频游戏上验证了这一假设。基于回放的算法达到了最先进的数据效率，改善了参数模型的先前结果。
2019-06-12 cs.AI cs.LG stat.ML
Automatic Reward Shaping from Confounded Offline Data
Causal AI Lab, Columbia University, New York, USA（因果AI实验室，哥伦比亚大学，纽约，美国）；Department of Electrical Engineering and Computer Science, Syracuse University, New York, USA（电气工程与计算机科学系， Syracuse大学，纽约，美国）
本文提出一种基于DQN的鲁棒深度强化学习算法，应对离线数据中的未观测混杂偏差，在十二个混杂Atari游戏中始终优于标准DQN。
2025-09-09 cs.AI cs.LG
Proximal Policy Optimization Algorithms
OpenAI
我们提出了一个新的家庭策略梯度方法的强化学习，通过与环境的相互作用采样数据之间的交替，并使用随机梯度上升优化“代理”的目标函数。而标准的策略梯度方法执行一个梯度更新每个数据样本，我们提出了一个新的目标函数，使多个时期的小批量更新。我们称之为近端策略优化（PPO）的新方法具有信赖域策略优化（TRPO）的一些优点，但它们更易于实现，更通用，并且具有更好的样本复杂度（经验）。我们的实验测试PPO的基准任务，包括模拟机器人运动和雅达利游戏，我们表明，PPO优于其他在线策略梯度方法，并总体上取得了良好的平衡样本的复杂性，简单性和墙时间。
2017-08-28 cs.LG
