MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Distilled Replay: Overcoming Forgetting through Synthetic Samples
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学校）
重放策略是一种持续学习技术，它通过保留来自先前经验的模式缓冲区来减轻灾难性遗忘，这些模式在训练期间与新数据交织。存储在缓冲区中的模式的数量是一个关键参数，它在很大程度上影响最终的性能和该方法的内存占用。这项工作介绍了蒸馏重放，一种新的重放策略持续学习，它能够通过保持一个非常小的缓冲区（1模式每类）的高度信息化的样本，以减轻遗忘。Distilled Replay通过蒸馏过程构建缓冲区，该过程将大型数据集压缩为一组信息丰富的示例。我们展示了我们的蒸馏重放对流行的重放为基础的策略的有效性四个持续学习基准。
2021-06-22 cs.AI cs.LG
Heads collapse, features stay: Why Replay needs big buffers
研究揭示持续学习中特征空间与分类器层面遗忘的不对称性，提出通过扩展神经坍塌框架来解释Replay缓冲区大小对性能的影响，指出小缓冲区导致统计退化，需通过修正统计退化实现鲁棒性。
2026-03-19 cs.AI cs.LG
An Empirical Study of the Effectiveness of Using a Replay Buffer on Mode Discovery in GFlowNets
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）
该研究针对GFlowNets这类新型生成式强化学习算法，实证探索了经验回放缓冲区的多种采样技术对其模式发现的影响，实验证实该方法可显著提升模式发现的速度与质量。
2023-07-18 cs.LG
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich（慕尼黑技术大学）；University St. Gallen（圣加尔LEN大学）
本文提出ReaPER，通过引入时间差误差可靠性度量，改进优先经验回放，实现更高效的强化学习
2025-12-15 cs.LG stat.ML
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg（奥格斯堡大学）
许多深度强化学习算法的一个重要组成部分是经验重放，它作为存储机制或记忆的经验。这些经验用于训练，并帮助智能体稳定地找到通过问题空间的完美轨迹。然而，经典的经验重放只使用它实际产生的经验，但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法，在不确定的离散环境中创建合成的经验，以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估，我们表明它可以支持智能体更快地学习，甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning
针对类别增量经验回放在小缓冲区下性能下降的问题，提出 TEAL 样本选择策略，优先保存典型数据，在每类仅 1-3 个样本时显著提升现有方法并达到最先进水平。
2025-02-15 cs.LG
Hindsight Goal Ranking on Replay Buffer for Sparse Reward Environment
KAIST（韩国科学技术院）
本文提出了一种用于优先考虑重放经验的方法，称为后见之明目标排名（HGR），以克服后见之明经验重放（HER）的局限性，基于均匀采样生成后见之明目标。HGR对具有较大时间差异（TD）误差的剧集中访问的状态进行更高概率的样本，这被认为是RL代理可以从经验中学习的量的代理度量。大TD误差的实际采样分两步进行：首先，根据其经验的平均TD误差从中继缓冲器中采样一个事件，然后，对于采样的事件，导致较大TD误差的后见之明目标以更高的概率从未来访问状态中采样。该方法结合深度确定性策略梯度（DDPG），一种无策略模型的actor-critic算法，在四个具有挑战性的模拟机器人操作任务上，比没有任何优先级的学习速度快得多。实证结果表明，HGR在所有任务中比以前的方法更有效地使用样本。
2021-10-28 cs.LG
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；University of Exeter（埃克塞特大学）
基于最近深度强化学习方法的成功，我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处，例如能够评估每个结果策略。然而，他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中，我们提出了自适应的重放缓冲区的概念，借用了离策略学习设置，创建的方法，结合的优势，和离策略学习。为了实现这一点，所提出的算法概括的$Q$，价值和优势函数的数据从多个政策。该方法使用信赖域优化，同时避免了TRPO或ACKTR等算法的一些常见问题：它使用超参数代替信赖域选择算法，以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下，该方法不仅改善了结果相比，最先进的信任区域同策略学习算法，如PPO，ACKTR和TRPO，但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
Continual Reinforcement Learning with Multi-Timescale Replay
Imperial College London（帝国理工学院）；DeepMind
在本文中，我们提出了一个多时间尺度重放（MTR）缓冲区，以提高RL代理的持续学习面临的环境是不断变化的时间尺度是未知的代理。基本的MTR缓冲区包括一系列子缓冲区，这些子缓冲区在不同的时间尺度上积累经验，使代理能够改善适应新数据和保留旧知识之间的权衡。我们还将MTR框架与不变风险最小化相结合，并鼓励代理学习随着时间的推移在遇到的各种环境中具有鲁棒性的政策。MTR方法在三种不同的持续学习设置中对两个连续控制任务进行评估，在许多情况下，显示出超过基线的改进。
2020-04-16 cs.AI cs.LG stat.ML
A Deeper Look at Experience Replay
University of Alberta（阿尔伯塔大学）
近年来，经验重放被广泛应用于各种深度强化学习（RL）算法中，本文对经验重放的效用进行了重新思考。它引入了一个新的超参数，内存缓冲区大小，需要仔细调优。然而，不幸的是，这个新的超参数的重要性在很长一段时间内被低估了。本文对不同功能表征下的经验再现进行了系统的实证研究。我们展示了一个大的重放缓冲区可以显着损害性能。此外，我们提出了一个简单的O（1）的方法来弥补一个大的重放缓冲区的负面影响。我们展示了它的实用程序在简单的网格世界和具有挑战性的领域，如雅达利游戏。
2018-04-30 cs.AI cs.LG
Revisiting Fundamentals of Experience Replay
MILA, Université de Montréal（MILA，蒙特利尔大学）；Google Brain（谷歌大脑）；DeepMind
经验重放是深度强化学习（RL）中的非策略算法的核心，但我们的理解仍然存在重大差距。因此，我们提出了一个系统的和广泛的分析经验重放在Q学习方法，专注于两个基本属性：重放能力和学习更新的经验收集的比率（重放率）。我们的添加剂和消融研究颠覆了关于经验重放的传统智慧-发现更大的容量可以大幅提高某些算法的性能，而其他算法则不受影响。反直觉地，我们表明，理论上不接地，未校正的n步回报是唯一有益的，而其他技术赋予有限的好处筛选通过更大的内存。另外，通过直接控制重放比率，我们将文献中以前的观察结果置于上下文中，并在各种深度RL算法中凭经验衡量其重要性。最后，我们得出结论，通过测试一组假设的性质，这些性能的好处。
2020-07-13 cs.LG stat.ML
Remember and Forget for Experience Replay
ETH Zurich（苏黎世联邦理工学院）
经验重放（ER）是离线深度强化学习（RL）的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计，从而提高数据效率。然而，当策略偏离过去的行为时，这种更新的准确性可能会恶化，并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放（ReF-ER），一种新的方法，可以增强RL算法与参数化的政策。ReF-ER（1）跳过根据与当前策略太不可能的经验计算的梯度，并且（2）调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现，ReF-ER一贯提高性能的连续行动，关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Variance Reduction via Resampling and Experience Replay
Department of Statistics and Data Science, UCLA（加州大学洛杉矶分校统计与数据科学系）
本文针对经验回放理论特性不明的问题，构建基于重采样U/V统计量的理论框架给出方差缩减保证，验证其在多类机器学习任务中的降本增效效果。
2025-11-13 cs.LG stat.ML
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出一种名为不确定性驱动的回放记忆（UDRM）的经验回放缓冲区，通过基于不确定性估计更新存储的记忆，使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
ARROW: Augmented Replay for RObust World models
Imam Mohammad Ibn Saud Islamic University (IMSIU)（伊玛姆·穆罕默德·本·沙特伊斯兰大学）；Monash University（莫纳什大学）；University of New South Wales, Sydney（新南威尔士大学，悉尼）；Cerenaut
本文提出ARROW算法，一种基于模型的持续强化学习方法，通过高效的重放缓冲区减少灾难性遗忘，提升在无共享结构任务和有共享结构任务中的表现。
2026-06-12 cs.AI cs.LG
Reverse Experience Replay
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文描述了深度Q学习的一种改进，称为反向经验重放（Reverse Experience Replay，也称为RER），它解决了稀疏奖励的问题，并通过以相反的顺序连续采样转换来帮助处理奖励最大化任务。在具有足够的训练经验和足够的经验回放记忆容量的任务中，具有反向经验回放的深度Q学习网络与具有标准经验回放的Double DQN和vanilla DQN相比显示出具有竞争力的结果。此外，RER在缺乏经验和重放记忆能力的任务中取得了显着增加的结果。
2019-10-22 cs.AI cs.LG stat.ML
Buffer replay enhances the robustness of multimodal learning under missing-modality
College of Computer Science and Electronic Engineering Hunan University（湖南大学计算机科学与电子工程学院）；School of Computer Science Central South University（中南大学计算机学院）
REP通过特征缓冲和动态初始化提升多模态学习在缺失模态下的鲁棒性
2025-11-28 cs.CV cs.LG
Augmenting Replay in World Models for Continual Reinforcement Learning
Monash University（莫纳什大学）；Cerenaut（塞雷诺特公司）
提出WMAR算法，通过内存高效分布匹配重放缓冲区增强DreamerV3世界模型，在持续强化学习中减少遗忘并提升技能迁移，实验验证其有效性。
2024-07-16 cs.AI cs.LG
Large Batch Experience Replay
ISAE-SUPAERO（法国高等航空航天学院）；Université de Toulouse（图卢兹大学）；Google Research（谷歌研究院）
已经提出了几种算法来对深度强化学习（RL）代理的重放缓冲区进行非均匀采样以加速学习，但是很少提供这些采样方案的理论基础。其中，优先经验重放作为一个超参数敏感的启发式，即使它可以提供良好的性能。在这项工作中，我们投重放缓冲区采样问题作为一个重要性采样的梯度估计。这允许导出理论上最佳的采样分布，从而产生最佳的理论收敛速度。阐述了理想抽样方案的知识，我们展示了优先经验重放的新的理论基础。最佳采样分布是棘手的，我们做了几个近似提供良好的效果在实践中，并介绍，除其他外，LaBER（大批量经验重放），一个易于编码和有效的方法，用于采样重放缓冲区。LaBER可以与Deep Q-Networks，分布式RL代理或Actor-Critic方法相结合，与其实现的基础代理和其他优先级方案相比，在各种Atari游戏和PyBullet环境中产生更好的性能。
2022-06-14 cs.LG
GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning
Indian Institute of Technology (ISM) - Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Google Research, India（谷歌研究院（印度））
持续学习（CL）旨在开发技术，使单个模型适应顺序遇到的越来越多的任务，从而有可能以资源高效的方式利用跨任务的学习。CL系统面临的一个主要挑战是灾难性遗忘，即在学习新任务时忘记先前的任务。为了解决这个问题，基于重放的CL方法维护并重复重新训练在遇到的任务中选择的数据的小缓冲区。我们提出了梯度Coreset重放（GCR），重放缓冲区的选择和更新，使用精心设计的优化标准的一种新的策略。具体来说，我们选择并保持一个“coreset”，接近目前为止看到的所有数据的梯度相对于当前的模型参数，并讨论其有效应用到持续学习设置所需的关键策略。我们在经过充分研究的离线持续学习设置中显示出比最先进的显着增益（绝对值2%-4%）。我们的研究结果还有效地转移到在线/流媒体CL设置，显示出比现有方法高出5%的收益。最后，我们证明了监督对比损失的价值为持续学习，这产生了高达5%的准确性，当与我们的子集选择策略相结合的累积增益。
2022-04-15 cs.AI cs.LG
Continual Learning on Noisy Data Streams via Self-Purified Replay
NALBI Inc.（NALBI公司）；Seoul National University（首尔大学）
在现实世界中持续学习必须克服许多挑战，其中噪声标签是一个常见且不可避免的问题。在这项工作中，我们提出了一个基于替换的持续学习框架，同时解决了灾难性遗忘和噪声标签的第一次。我们的解决方案是基于两个观察;（i）即使有噪声标签，通过自监督学习也可以减轻遗忘，以及（ii）重放缓冲区的纯度至关重要。在此基础上，我们提出了我们方法的两个关键组成部分：（i）一种名为Self-Replay的自监督重放技术，可以避免由噪声标记数据产生的错误训练信号，以及（ii）Self-Centered filter，通过基于中心的随机图集成来维护纯化的重放缓冲区。MNIST，CIFAR-10，CIFAR-100和WebVision与现实世界的噪音的实证结果表明，我们的框架可以保持一个高度纯净的重放缓冲区中嘈杂的流数据，同时大大优于国家的最先进的持续学习和嘈杂的标签学习方法的组合。源代码可在http://vision.snu.ac.kr/projects/SPR上获得
2021-10-14 cs.LG
Replay Buffer with Local Forgetting for Adapting to Local Environment Changes in Deep Model-Based Reinforcement Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）；École Polytechnique de Montréal（蒙特利尔高等理工学院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
针对深度MBRL难以适应环境局部变化的问题，提出仅移除新样本局部邻域旧数据的回放缓冲区，使世界模型兼顾全局准确性与局部奖励变化适应能力。
2023-09-27 cs.AI cs.LG
Event Tables for Efficient Experience Replay
Sony AI（索尼人工智能）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出事件表分层采样（SSET）方法，通过划分经验回放缓冲区为事件表以捕获最优行为子序列，结合优先采样策略，在多个基准环境中验证了其提升学习速度与稳定性的优势。
2023-04-21 cs.AI cs.LG
Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning
William & Mary（威廉与玛丽学院）；University of Maryland, College Park（马里兰大学帕克分校）；JPMorgan Chase（摩根大通）
本文提出混合记忆回放方法，通过从历史检查点滑动窗口蒸馏合成数据并优化真实样本选择，融合两类样本优势以缓解类增量学习中的灾难性遗忘，在有限缓冲区下显著优于现有回放基线。
2024-10-20 cs.LG
Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay
University of Electronic Science and Technology of China（电子科技大学）
图神经网络（GNN）最近受到了极大的研究关注，因为它们在各种与图相关的学习任务上表现出色。目前的大多数工作集中在静态或动态图形设置上，解决单个特定任务，例如，节点/图分类、链接预测。在这项工作中，我们研究的问题：GNNs可以应用于连续学习一系列任务？为此，我们探索了连续图学习（CGL）范式，并提出了基于经验重放的框架ER-GNN CGL，以减轻现有GNN中的灾难性遗忘问题。ER-GNN将以前任务中的知识存储为经验，并在学习新任务时重放它们，以减轻灾难性遗忘问题。提出了特征均值、覆盖最大化和影响力最大化三种经验节点选择策略，指导经验节点的选择过程。在三个基准数据集上的大量实验证明了我们的ER-GNN的有效性，并揭示了增量图（非欧几里德）结构学习。
2021-02-08 cs.LG stat.ML
A Tighter Convergence Proof of Reverse Experience Replay
Purdue University（普渡大学）
本文针对反向经验回放（RER）现有理论仅适用于小学习率和短序列的局限，提出更紧的收敛性分析，证明其在更大学习率和更长序列下仍能收敛。
2024-08-30 cs.LG stat.ML
Quantifying the Energy Floor: Direct Measurement and Replay Buffer Bias in SAC-Based HVAC Control on sbsim
Shanghai Jiao Tong University College of Smart Energy（上海交通大学智能能源学院）
通过最小动作实验直接测量SAC HVAC控制中的能量下限，发现回放缓冲区初始化是次优性的主要来源，消除后可将成本降至接近下限。
2026-06-01 cs.LG
Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
University of Alberta（阿尔伯塔大学）；Amii（艾伯塔机器智能研究所）；National Research Council of Canada（加拿大国家研究委员会）；CIFAR Canada AI Chair（CIFAR加拿大人工智能首席科学家）
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题，提出增量方法AVG及配套归一化缩放技术，在仿真基准上性能媲美批量方法，首次实现真实机器人的增量式深度强化学习。
2025-05-21 cs.AI cs.LG cs.RO
Prioritized Experience Replay
Google DeepMind（谷歌DeepMind）
经验回放让在线强化学习代理记住并重用过去的经验。在先前的工作中，经验转换是从重放存储器中均匀采样的。然而，这种方法只是以它们最初经历的相同频率重放转换，而不管它们的重要性。在本文中，我们开发了一个优先考虑经验的框架，以便更频繁地重播重要的转换，从而更有效地学习。我们在Deep Q-Networks（DQN）中使用优先级经验重放，这是一种强化学习算法，在许多Atari游戏中实现了人类水平的性能。具有优先体验重播的DQN实现了新的最先进技术，在49场比赛中的41场比赛中表现优于DQN。
2016-02-25 cs.LG
Complementary Learning for Overcoming Catastrophic Forgetting Using Experience Replay
University of Pennsylvania（宾夕法尼亚大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）
尽管取得了巨大的成功，但深度网络无法在顺序多任务学习环境中有效地学习，因为它们在学习新任务后会忘记过去学习的任务。受互补学习系统理论的启发，我们通过学习一个生成模型来解决这一挑战，该模型通过一个有区别的嵌入空间将当前任务与过去学习的任务耦合起来。我们在嵌入中学习一个抽象层次的生成分布，它允许生成数据点来表示经验。我们从这个分布中采样，并利用经验重放来避免遗忘，同时将新知识积累到抽象分布中，以便将当前任务与过去的经验结合起来。我们从理论上和经验上证明，我们的框架在嵌入中学习了一个分布，该分布在所有任务中共享，从而解决了灾难性遗忘。
2019-05-31 cs.LG stat.ML
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习，其中许多因素动态地影响输出轨迹，期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而，平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制，我们提出了一个通用的基于方差减少的经验回放（VRER）框架，该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明，所提出的VRER可以加快学习的最优策略，提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
Prototype-Based Continual Learning with Label-free Replay Buffer and Cluster Preservation Loss
School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
本文提出一种基于无标签原型回放和聚类保持损失的持续学习方法，通过“推开”与“拉近”机制在类增量和域增量场景中保留旧知识并适应新任务，实验表明其性能优于现有持续学习方法，部分情况下甚至超过离线学习。
2025-04-09 cs.LG
Prioritized Sequence Experience Replay
Iowa State University（爱荷华州立大学）
经验重放广泛用于深度强化学习算法，并允许代理记住和学习过去的经验。为了更有效地学习，研究人员提出了优先经验重放（PER），它更频繁地采样重要的转换。在本文中，我们提出了优先顺序经验重放（PSER）的优先顺序的经验序列，试图更有效地学习，并获得更好的性能的框架。我们比较了PER和PSER采样技术在表格式Q学习环境中和在Atari 2600基准测试中的DQN中的性能。我们从理论上证明，PSER是保证收敛速度比PER和经验表明PSER大大提高PER。
2020-02-19 cs.AI cs.LG stat.ML
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay
Mila, McGill University（蒙特利尔学习算法研究所（Mila）、麦吉尔大学（McGill University））
优先经验重放（PER）是一种深度强化学习技术，其中智能体从与其时间差误差成比例的非均匀概率采样的转换中学习。我们证明，任何损失函数评估与非均匀采样数据可以转换成另一个均匀采样损失函数具有相同的期望梯度。令人惊讶的是，我们发现在某些环境中，PER可以完全取代这个新的损失函数，而不影响经验性能。此外，这种关系提出了一个新的分支改进PER通过纠正其均匀采样损失函数等效。我们证明了我们提出的修改PER和等价的损失函数在几个MuJoCo和Atari环境的有效性。
2020-10-22 cs.LG stat.ML
Adaptive Replay Buffer for Offline-to-Online Reinforcement Learning
KAIST（韩国科学技术院）；MongooseAI；Omelet
本文提出自适应回放缓冲区，通过动态优先级采样提升离线到在线强化学习的性能，实验表明其能有效缓解早期性能下降并提高最终表现。
2026-04-08 cs.AI cs.LG
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta；Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出了一种理论框架，分析经验回放中偏差、方差和有限时间收敛性，揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
Variance Reduction Based Experience Replay for Policy Optimization
Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出VRER框架，通过选择性重用信息样本减少策略梯度估计的方差，从而提升策略优化效率。
2026-11-03 cs.LG stat.ML
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Federated Learning Under Temporal Drift -- Mitigating Catastrophic Forgetting via Experience Replay
Columbia University（哥伦比亚大学）
本研究通过客户端侧经验回放方法缓解联邦学习中的时间漂移问题，实验表明该方法能有效恢复模型性能并防止灾难性遗忘。
2026-01-19 cs.DC cs.LG
Combining Experience Replay with Exploration by Random Network Distillation
University of Bologna（博洛尼亚大学）
我们的工作是一个简单的扩展文件“随机网络蒸馏的探索”。更详细地说，我们展示了如何有效地结合内在奖励与经验重放，以实现更有效和强大的探索（相对于PPO/RND），从而更好的结果，代理性能和样本效率。我们能够通过使用一种名为优先级过采样经验重放（POER）的新技术来做到这一点，该技术建立在对重放有用的重要经验的定义之上。最后，我们评估我们的技术在著名的Atari游戏蒙特祖玛的复仇和其他一些困难的探索Atari游戏。
2019-05-18 cs.AI cs.LG stat.ML
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory（陆军研究实验室）；Washington State University（华盛顿州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼AI）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
经验重放（ER）通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习（RL）算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER，但到目前为止，它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中，我们介绍了清醒梦的经验重放（LiDER），一个概念上的新框架，允许重放经验，利用代理的当前政策刷新。LiDER由三个步骤组成：首先，LiDER将代理移回过去的状态。其次，从这个状态，LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去，并且可以尝试不同的行为来遇到梦中的新体验。第三，LiDER存储和重用新的体验，如果它比代理先前体验的更好，即，来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略，多工作者RL算法;我们在这项工作中提出了一个案例研究，将LiDER应用于基于演员-评论家的算法。结果显示，LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
Non-Uniform Memory Sampling in Experience Replay
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文质疑经验回放默认均匀采样记忆样本的最优性，通过随机生成50种非均匀采样权重并跨缓冲区、模型和数据集比较，证明始终存在显著优于均匀基线的分布。
2025-02-16 cs.LG
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
控制学习的历史一直是两大类算法之间令人兴奋的来回：规划和强化学习。规划算法可以有效地在长时间范围内进行推理，但假设可以访问本地策略和无冲突路径上的距离度量。强化学习擅长学习政策和状态的相对值，但无法进行长期规划。尽管每种方法在各个领域都取得了成功，但需要在有限反馈和高维观察的情况下进行长期推理的任务对于规划和强化学习算法仍然极具挑战性。令人沮丧的是，这类任务可能是最有用的，因为它们设计简单（人类只需要提供一个示例目标状态），并且避免了奖励塑造，这可能会使智能体偏向于寻找次优解决方案。我们引入了一种通用的控制算法，该算法结合了规划和强化学习的优势，以有效地解决这些任务。我们的目标是将达到一个遥远目标状态的任务分解为一系列更容易的任务，每个任务对应于达到一个子目标。规划算法可以自动找到这些航路点，但前提是提供适当的环境抽象-即由节点和边组成的图。我们的主要观点是，这个图可以通过强化学习来构建，其中目标条件价值函数提供边缘权重，节点被视为重放缓冲区中以前看到的观察结果。通过在回放缓冲区中使用图搜索，我们可以自动生成此子目标序列，即使在基于图像的环境中也是如此。我们的算法，搜索重放缓冲区（SoRB），使代理解决稀疏奖励任务超过100步，并概括大大优于标准RL算法。
2019-06-12 cs.AI cs.LG cs.RO
Introspective Experience Replay: Look Back When Surprised
Google AI Research Lab（谷歌人工智能研究实验室）
在强化学习（RL）中，基于经验回放的采样技术通过消除虚假相关性在促进收敛方面发挥着至关重要的作用。然而，广泛使用的方法，如均匀经验重放（UER）和优先经验重放（PER）已被证明分别具有次优收敛和高种子敏感性。为了解决这些问题，我们提出了一种新的方法，称为IntrospectiveExperience Replay（IER），它在令人惊讶的事件之前有选择地对一批数据点进行采样。我们的方法建立在理论上健全的反向经验重放（RER）技术，已被证明可以减少偏差的Q-学习型算法的输出与线性函数近似。然而，当使用神经函数逼近时，这种方法并不总是实用或可靠的。通过实证评估，我们证明了IER与神经功能近似相比，在大多数任务中，UER，PER和后见之明经验重放（HER）产生了可靠和优越的性能。
2023-02-06 cs.LG
OER: Offline Experience Replay for Continual Offline Reinforcement Learning
Westlake University（西湖大学）；Fudan University（复旦大学）
针对持续离线强化学习中的灾难性遗忘和分布偏移问题，提出基于模型的离线经验回放算法OER，通过MBES方案筛选数据并引入DBC架构，在Mujoco环境中显著优于现有基线。
2024-04-20 cs.LG
Improved Regret Bound and Experience Replay in Regularized Policy Iteration
DeepMind；University of Alberta（阿尔伯塔大学）
在这项工作中，我们研究了学习算法在无限时域非折扣马尔可夫决策过程（MDP）的函数逼近。我们首先证明了Politex算法（正则化策略迭代的一个版本）的遗憾分析可以在几乎相同的假设下从$O(T^{3/4})$锐化为$O(\sqrt{T})$，并使用线性函数近似实例化边界。我们的研究结果提供了第一个高概率的$O(\sqrt{T})$遗憾界的计算效率的算法在这种情况下。用神经网络函数逼近的Politex的精确实现在存储和计算方面是低效的。由于我们的分析表明，我们需要很好地近似过去策略的动作价值函数的平均值，因此我们提出了一种简单有效的实现方式，其中我们在具有过去数据的重放缓冲器上训练单个Q函数。我们表明，这往往会导致优越的性能比其他实现的选择，特别是在挂钟的时间。我们的工作也提供了一个新的理论理由，使用经验重放策略迭代算法。
2021-02-25 cs.LG stat.ML
Rollout-Level Advantage-Prioritized Experience Replay for GRPO
Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系）；Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心）
针对GRPO样本效率低的问题，提出轨迹级经验回放缓冲器，通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样，在多个数学基准上显著提升性能。
2026-09-09 cs.AI cs.LG
Replay-buffer engineering for noise-aware quantum circuit optimization
Delft University of Technology（代尔夫特理工大学）；QuTech（QuTech量子计算研究院）
针对量子电路优化中深度强化学习的重放缓冲区、结构搜索和噪声重训练瓶颈，提出ReaPER+退火重放规则、OptCRLQAS评估分摊及重放迁移，显著提升样本效率、降低训练时间与能量误差。
2026-09-30 cs.AI cs.ET cs.LG
ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay
North Carolina State University（北卡罗来纳州立大学）
经验重放是解决深度强化学习（RL）中样本效率低下的重要技术，但由于重放缓冲区中成功经验不成比例地少，因此在从二进制和稀疏奖励中学习时面临困难。最近提出了后见之明经验重放（HER）通过操纵不成功的转换来解决这个困难，但是在这样做时，HER在重放缓冲区经验中引入了显著的偏差，因此实现了样本效率的次优改进。本文分析了HER模型中偏差的来源，并提出了一种简单有效的方法来消除偏差，以最有效地利用HER模型提供的样本效率。我们的方法是基于反事实推理的ARCHER方法，它通过一个折衷来扩展HER模型，使得事后经验的奖励在数值上大于真实的奖励。我们在DeepMind Control Suite的两个连续控制环境中验证了我们的算法- Reacher和Finger，它们模拟了机械臂的操作任务-结合了各种奖励函数，任务复杂性和目标采样策略。我们的实验一致表明，使用更积极的后见之明奖励来对抗偏见可以提高样本效率，从而在计算预算有限的RL应用程序中建立ARCHER的更大优势。
2018-09-07 cs.AI cs.LG stat.ML
Efficient RL Training for LLMs with Experience Replay
FAIR at Meta（Meta FAIR）；NYU Courant Institute and CDS（纽约大学库朗数学科学研究所与数据科学中心）
本文研究了大语言模型训练中体验回放的优化设计，通过平衡陈旧性方差、样本多样性与生成成本，证明了严格策略采样在生成成本高时效果不佳，实验表明合理设计的回放缓冲器能显著降低推理计算成本而不影响模型性能。
2026-04-09 cs.LG
Reconciling $λ$-Returns with Experience Replay
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
现代深度强化学习方法已经偏离了资格跟踪所需的增量学习，使得$λ$ -return的实现在这种情况下变得困难。特别地，利用经验重放的非策略方法仍然存在问题，因为它们的小批量的随机采样不利于$λ$ -返回的有效计算。然而，基于重放的方法通常是最有效的样本，并将$λ$ -返回到他们是一个可行的方式，以实现新的国家的最先进的性能。为此，我们提出了第一种方法，使实际使用的$λ$ -返回任意重放为基础的方法，而不依赖于其他形式的去相关，如异步梯度更新。通过将过去转换的短序列提升到重放存储器内的小高速缓存中，可以通过共享Q值来有效地预先计算相邻的$λ$返回。计算不会浪费在从未采样的经验上，并且存储的$λ$ -返回表现为替代目标网络的稳定时间差（TD）目标。此外，我们的方法授予独特的能力，观察TD错误采样前，第一次，过渡可以优先考虑其真正的意义，而不是由代理它。此外，我们提出了新的使用TD错误动态选择$λ$ -值，促进更快的学习。我们表明，这些创新可以提高DQN的性能时，玩雅达利2600游戏，即使在部分可观测性。虽然我们的工作特别侧重于$λ$ -回报，这些想法是适用于任何多步回报估计。
2020-01-13 cs.LG stat.ML
B2RL: An open-source Dataset for Building Batch Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
批处理强化学习（BRL）是强化学习领域的一个新兴研究领域。它只从静态数据集（即重放缓冲区）学习，而不与环境交互。在离线环境中，现有的重放经验被用作BRL模型的先验知识，以找到最优策略。因此，生成重放缓冲区是BRL模型基准测试的关键。在我们的B2RL（Building Batch RL）数据集中，我们收集了来自建筑管理系统的真实数据，以及模拟环境中几种行为策略生成的缓冲区。我们相信它可以帮助建立BRL研究专家。据我们所知，我们是第一个为BRL学习而开源构建数据集的公司。
2022-09-30 cs.LG
Competitive Experience Replay
Salesforce Research（Salesforce研究中心）
当提供密集奖励函数时，深度学习在解决具有挑战性的强化学习（RL）问题方面取得了显着的成功。然而，在稀疏奖励环境下，它仍然经常遭受需要仔细塑造奖励函数，以指导政策优化。这限制了RL在现实世界中的适用性，因为需要强化学习和特定领域的知识。因此，开发可以从指示成功任务完成的二进制信号或其他未成形的稀疏奖励信号中学习的算法具有非常重要的实际意义。我们提出了一种新的方法，称为竞争性的经验重放，有效地补充稀疏的奖励，将学习的上下文中的一对代理之间的探索竞争。我们的方法补充了最近提出的后见之明经验重放（HER）诱导自动探索课程。我们评估我们的方法上的任务，达到不同的目标位置在蚂蚁迷宫和操纵物体与机器人手臂。每个任务只提供二进制奖励，表明是否实现了目标。我们的方法不对称地增加了这些稀疏的奖励，每对代理学习相同的任务，创建一个竞争性的游戏，旨在推动探索。大量的实验表明，该方法导致更快的收敛速度和改善的任务性能。
2019-02-17 cs.LG stat.ML
