Experience Replay Optimization
Texas A&M University（德克萨斯农工大学）
经验重放使强化学习代理能够记住和重用过去的经验，就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验，要么利用基于规则的重放策略，这可能是次优的。在这项工作中，我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的，因为重放记忆是嘈杂的和大的，并且累积的奖励是不稳定的。为了解决这些问题，我们提出了一种新的经验重放优化（ERO）框架，交替更新两个政策：代理政策，和重放政策。更新代理以基于重放的数据最大化累积奖励，同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性，经验上显示了经验重放学习的承诺，以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Double Prioritized State Recycled Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
经验重放使在线强化学习代理能够存储和重用先前与环境交互的经验。在最初的方法中，经验是随机抽样并均匀重放的。先前的工作称为优先经验重放，其中经验被优先化，以便更频繁地重放似乎更重要的经验。本文提出了一种双优先级状态回收（DPSR）经验重放方法，在训练阶段和存储阶段对经验进行优先级排序，并利用状态回收替换记忆中的经验，以充分利用暂时优先级较低的经验。我们在Deep Q-Networks（DQN）中使用了这种方法，并取得了最先进的结果，优于原始方法，并优先考虑了许多Atari游戏的体验重播。
2020-09-21 cs.LG stat.ML
Streaming Linear System Identification with Reverse Experience Replay
Google AI Research Lab（谷歌人工智能研究实验室）；MIT（麻省理工学院）
我们考虑通过流算法从单个轨迹估计线性时不变（LTI）动力系统的问题，这在包括强化学习（RL）和时间序列分析在内的几个应用中都会遇到。虽然在{ \em offline}设置中充分研究了LTI系统估计问题，但实际上重要的流/在线设置很少受到关注。像随机梯度下降（SGD）这样的标准流方法不太可能工作，因为流点可能高度相关。在这项工作中，我们提出了一种新的流媒体算法，SGD与反向经验重放（$\mathsf{SGD}-\mathsf{RER}$），这是受RL文献中流行的经验重放（ER）技术的启发。$\mathsf{SGD}-\mathsf{RER}$将数据划分到小的缓冲区中，并对存储在各个缓冲区中的数据反向运行SGD。我们表明，该算法完全解构的依赖结构，并获得信息理论上的最佳保证参数误差和预测误差。因此，我们提供了第一-我们所知的-最佳SGD式算法的线性系统辨识的经典问题的一阶预言。此外，$\mathsf{SGD}-\mathsf{RER}$可以应用于更一般的设置，如具有已知稀疏模式的稀疏LTI识别和非线性动力系统。我们的工作表明，数据依赖结构的知识可以帮助我们设计统计和计算效率高的算法，可以“去相关”流样本。
2021-12-01 cs.LG math.OC stat.ML
ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay
North Carolina State University（北卡罗来纳州立大学）
经验重放是解决深度强化学习（RL）中样本效率低下的重要技术，但由于重放缓冲区中成功经验不成比例地少，因此在从二进制和稀疏奖励中学习时面临困难。最近提出了后见之明经验重放（HER）通过操纵不成功的转换来解决这个困难，但是在这样做时，HER在重放缓冲区经验中引入了显著的偏差，因此实现了样本效率的次优改进。本文分析了HER模型中偏差的来源，并提出了一种简单有效的方法来消除偏差，以最有效地利用HER模型提供的样本效率。我们的方法是基于反事实推理的ARCHER方法，它通过一个折衷来扩展HER模型，使得事后经验的奖励在数值上大于真实的奖励。我们在DeepMind Control Suite的两个连续控制环境中验证了我们的算法- Reacher和Finger，它们模拟了机械臂的操作任务-结合了各种奖励函数，任务复杂性和目标采样策略。我们的实验一致表明，使用更积极的后见之明奖励来对抗偏见可以提高样本效率，从而在计算预算有限的RL应用程序中建立ARCHER的更大优势。
2018-09-07 cs.AI cs.LG stat.ML
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory（陆军研究实验室）；Washington State University（华盛顿州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼AI）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
经验重放（ER）通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习（RL）算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER，但到目前为止，它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中，我们介绍了清醒梦的经验重放（LiDER），一个概念上的新框架，允许重放经验，利用代理的当前政策刷新。LiDER由三个步骤组成：首先，LiDER将代理移回过去的状态。其次，从这个状态，LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去，并且可以尝试不同的行为来遇到梦中的新体验。第三，LiDER存储和重用新的体验，如果它比代理先前体验的更好，即，来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略，多工作者RL算法;我们在这项工作中提出了一个案例研究，将LiDER应用于基于演员-评论家的算法。结果显示，LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich（慕尼黑技术大学）；University St. Gallen（圣加尔LEN大学）
本文提出ReaPER，通过引入时间差误差可靠性度量，改进优先经验回放，实现更高效的强化学习
2025-12-15 cs.LG stat.ML
A Deeper Look at Experience Replay
University of Alberta（阿尔伯塔大学）
近年来，经验重放被广泛应用于各种深度强化学习（RL）算法中，本文对经验重放的效用进行了重新思考。它引入了一个新的超参数，内存缓冲区大小，需要仔细调优。然而，不幸的是，这个新的超参数的重要性在很长一段时间内被低估了。本文对不同功能表征下的经验再现进行了系统的实证研究。我们展示了一个大的重放缓冲区可以显着损害性能。此外，我们提出了一个简单的O（1）的方法来弥补一个大的重放缓冲区的负面影响。我们展示了它的实用程序在简单的网格世界和具有挑战性的领域，如雅达利游戏。
2018-04-30 cs.AI cs.LG
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg（奥格斯堡大学）
许多深度强化学习算法的一个重要组成部分是经验重放，它作为存储机制或记忆的经验。这些经验用于训练，并帮助智能体稳定地找到通过问题空间的完美轨迹。然而，经典的经验重放只使用它实际产生的经验，但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法，在不确定的离散环境中创建合成的经验，以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估，我们表明它可以支持智能体更快地学习，甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
Replay to Remember: Retaining Domain Knowledge in Streaming Language Models
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
本文提出结合LoRA与最小重放机制的轻量方法，在医学、遗传学和法律三个领域的流式设置中缓解LLM灾难性遗忘，实验表明最小重放能显著稳定并部分恢复领域知识。
2025-04-24 cs.LG
Improving Experience Replay with Successor Representation
University of California San Diego（加州大学圣迭戈分校）
优先经验重放是一种强化学习技术，智能体通过重放有用的过去经验来加速学习。这种有用性被量化为重放经验的预期增益，这个量通常近似为预测误差（TD误差）。然而，神经科学的最新研究表明，在生物有机体中，重放的优先级不仅取决于收益，而且取决于“需要”--一个衡量每一次经历与当前情况的预期相关性的数量。重要的是，这个术语目前在诸如优先经验重放之类的算法中没有被考虑。在本文中，我们提出了一种新的方法，优先考虑重播的经验，同时考虑增益和需要。我们提出的算法在基准测试中表现出显着的性能提高，包括Dyna-Q迷宫和Atari游戏的选择。
2022-02-16 cs.AI cs.LG cs.RO
The Effects of Memory Replay in Reinforcement Learning
Stanford University（斯坦福大学）
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用，很少有人知道的经验重放的属性。记忆量如何影响学习动力？它是否有助于优先考虑某些经验？在本文中，我们解决这些问题，制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明，即使在这个非常简单的设置中，保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外，我们还描述了优先重播损害代理学习的制度。我们表明，我们的解析解与实验有很好的一致性。最后，我们提出了一个简单的算法，自适应地改变内存缓冲区的大小，实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Revisiting Fundamentals of Experience Replay
MILA, Université de Montréal（MILA，蒙特利尔大学）；Google Brain（谷歌大脑）；DeepMind
经验重放是深度强化学习（RL）中的非策略算法的核心，但我们的理解仍然存在重大差距。因此，我们提出了一个系统的和广泛的分析经验重放在Q学习方法，专注于两个基本属性：重放能力和学习更新的经验收集的比率（重放率）。我们的添加剂和消融研究颠覆了关于经验重放的传统智慧-发现更大的容量可以大幅提高某些算法的性能，而其他算法则不受影响。反直觉地，我们表明，理论上不接地，未校正的n步回报是唯一有益的，而其他技术赋予有限的好处筛选通过更大的内存。另外，通过直接控制重放比率，我们将文献中以前的观察结果置于上下文中，并在各种深度RL算法中凭经验衡量其重要性。最后，我们得出结论，通过测试一组假设的性质，这些性能的好处。
2020-07-13 cs.LG stat.ML
Remember and Forget for Experience Replay
ETH Zurich（苏黎世联邦理工学院）
经验重放（ER）是离线深度强化学习（RL）的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计，从而提高数据效率。然而，当策略偏离过去的行为时，这种更新的准确性可能会恶化，并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放（ReF-ER），一种新的方法，可以增强RL算法与参数化的政策。ReF-ER（1）跳过根据与当前策略太不可能的经验计算的梯度，并且（2）调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现，ReF-ER一贯提高性能的连续行动，关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Variance Reduction via Resampling and Experience Replay
Department of Statistics and Data Science, UCLA（加州大学洛杉矶分校统计与数据科学系）
本文针对经验回放理论特性不明的问题，构建基于重采样U/V统计量的理论框架给出方差缩减保证，验证其在多类机器学习任务中的降本增效效果。
2025-11-13 cs.LG stat.ML
Prioritized Experience Replay
Google DeepMind（谷歌DeepMind）
经验回放让在线强化学习代理记住并重用过去的经验。在先前的工作中，经验转换是从重放存储器中均匀采样的。然而，这种方法只是以它们最初经历的相同频率重放转换，而不管它们的重要性。在本文中，我们开发了一个优先考虑经验的框架，以便更频繁地重播重要的转换，从而更有效地学习。我们在Deep Q-Networks（DQN）中使用优先级经验重放，这是一种强化学习算法，在许多Atari游戏中实现了人类水平的性能。具有优先体验重播的DQN实现了新的最先进技术，在49场比赛中的41场比赛中表现优于DQN。
2016-02-25 cs.LG
Replay For Safety
经验重放\citep{lin1993reinforcement, mnih2015human}是一种广泛使用的技术，可以有效地使用数据并提高RL算法的性能。在经验重放中，过去的转换存储在存储器缓冲区中，并在学习期间重新使用。在以前的作品中已经提出了各种建议，从重放缓冲区的采样方案，试图最佳地选择那些经验，这将最有助于收敛到最佳的政策。在这里，我们给出了重放采样方案，将确保收敛的一些条件，专注于著名的Q-学习算法在表格设置。在建立了收敛的充分条件之后，我们转而建议经验重放的稍微不同的用法-以有偏见的方式重放记忆作为改变所产生的策略的属性的手段。我们开始严格的研究经验重放作为一种工具来控制和修改所产生的政策的属性。特别是，我们表明，使用适当的偏置抽样方案可以让我们实现一个\emph{safe}政策。我们认为，使用经验重放作为一种偏置机制，允许控制所产生的政策在理想的方式是一个想法，许多应用程序的潜力。
2021-12-08 cs.AI cs.LG
Experience Replay with Likelihood-free Importance Weights
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Nvidia（英伟达）
使用过去的经验来加速价值函数的时间差（TD）学习或经验重放，是深度强化学习的关键组成部分。重要经验的优先级或重新加权已被证明可以提高TD学习算法的性能。在这项工作中，我们提出了在当前策略的平稳分布下基于经验的可能性来重新加权经验。使用相应的重新加权TD目标，我们隐含地鼓励经常遇到的状态下的价值函数上的小近似误差。我们使用一个似然自由密度比估计的重放缓冲区分配优先权。我们将所提出的方法经验性地应用于两种竞争性方法，软演员评论（SAC）和双延迟深度确定性策略梯度（TD 3）-在一套OpenAI健身房任务上，并实现了与其他基线方法相比更高的样本复杂度。
2020-06-23 cs.AI cs.LG
Convergence Results For Q-Learning With Experience Replay
RL中常用的启发式方法是经验重放（例如~ \citet{lin1993reinforcement, mnih2015human}），其中学习者存储并重新使用过去的轨迹，就好像它们是在线采样的一样。在这项工作中，我们开始了严格的研究，这种启发式的设置表Q学习。我们提供了一个收敛速度保证，并讨论了它如何与Q学习的收敛性进行比较，这取决于重要的参数，如重放迭代的频率和次数。我们还提供了理论证据表明，当我们可能期望这种启发式严格提高性能，通过引入和分析一个简单的类的MDPs。最后，我们提供了一些实验来支持我们的理论研究结果。
2021-12-08 cs.AI cs.LG
Batch-level Experience Replay with Review for Continual Learning
University of Toronto（多伦多大学）；LG Sciencepark（LG科学园）
持续学习是深度学习的一个分支，它寻求在学习稳定性和可塑性之间取得平衡。CVPR 2020 CLVision计算机视觉持续学习挑战赛致力于使用CORe 50数据集评估和推进当前最先进的持续学习方法，并提供三种不同的持续学习场景。本文提出了我们的方法，称为批量级经验回放与审查，这一挑战。我们的团队在79个参赛团队中获得了所有三个场景的第一名。我们实现的代码库可以在https://github.com/RaptorMai/CVPR20_CLVision_challenge上公开获得
2020-07-11 cs.AI cs.CV cs.LG
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对时序差分（TD）学习的有限时间行为研究缺口及经验回放理论影响不明问题，本文通过马尔可夫噪声项分解，给出带经验回放TD学习的有限时间误差界，证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
本文提出了一种受量子计算启发的新的训练范式，用于具有经验重放的深度强化学习（DRL）。与传统的DRL经验重放机制不同，本文提出的量子启发经验重放深度强化学习（DRL-QER）根据经验的复杂度和重放次数（也称为转换）自适应地从重放缓冲区中选择经验，以实现探索和利用之间的平衡。在DRL-QER中，转换首先以量子表示形式表示，然后对转换执行准备操作和折旧操作。在这个过程中，准备操作反映了时间差异误差（TD误差）和经验的重要性之间的关系，同时考虑到折旧操作，以确保过渡的多样性。在Atari 2600游戏上的实验结果表明，DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法，并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Synthetic Experience Replay
University of Oxford（牛津大学）
本文提出基于扩散模型的合成经验回放方法SynthER，通过对有限经验进行上采样，在离线和在线强化学习设置中提升样本效率与训练效果，无需修改算法即可支持更大网络训练。
2023-10-27 cs.AI cs.LG stat.ML
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Dynamic Experience Replay
Autodesk Research（欧特克研究）
我们提出了一种新的技术，称为动态经验重放（DER），允许强化学习（RL）算法使用经验重放样本不仅从人类的演示，但也成功的过渡产生的RL代理在训练过程中，从而提高训练效率。它可以与任意的非策略RL算法（如DDPG或DQN）及其分布式版本相结合。我们建立在Ape-X DDPG和展示我们的方法对机器人紧配合关节装配任务，基于力/扭矩和笛卡尔姿态观测。特别是，我们在两个不同的任务上运行实验：钉孔和搭接。在每种情况下，我们比较不同的重放缓冲区结构，以及DER如何影响它们。我们的消融研究表明，动态体验回放是一个至关重要的因素，它可以大大缩短在这些具有挑战性的环境中的训练时间，或者解决普通Ape-X DDPG无法解决的任务。我们还表明，我们的政策纯粹是在模拟中学习，可以成功地部署在真正的机器人。演示我们实验的视频可在https://sites.google.com/site/dynamicexperiencereplay上获得
2020-03-04 cs.AI cs.LG
Bias-Reduced Hindsight Experience Replay with Virtual Goal Prioritization
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
Hindsight Experience Replay（HER）是一种用于稀疏奖励函数的多目标强化学习算法。该算法将每一次失败都视为在事件中实现的替代（虚拟）目标的成功。虚拟目标是随机选择的，无论哪一个对智能体最有指导意义。在本文中，我们提出了两个改进现有的HER算法。首先，我们优先考虑虚拟目标，代理将从中学习更多有价值的信息。我们称之为虚拟目标的重复性，并定义它的启发式措施，它表示如何以及代理将能够概括从虚拟目标到实际目标。其次，我们通过去除误导性样本来减少HER中现有的偏倚。为了测试我们的算法，我们构建了两个具有稀疏奖励函数的挑战性环境。我们的实证结果表明，在这两种环境中的最终成功率和样本效率的巨大改善相比，原来的HER算法。显示实验结果的视频可在https://youtu.be/3cZwfK8Nfps上获得。
2021-03-07 cs.AI cs.LG stat.ML
Introspective Experience Replay: Look Back When Surprised
Google AI Research Lab（谷歌人工智能研究实验室）
在强化学习（RL）中，基于经验回放的采样技术通过消除虚假相关性在促进收敛方面发挥着至关重要的作用。然而，广泛使用的方法，如均匀经验重放（UER）和优先经验重放（PER）已被证明分别具有次优收敛和高种子敏感性。为了解决这些问题，我们提出了一种新的方法，称为IntrospectiveExperience Replay（IER），它在令人惊讶的事件之前有选择地对一批数据点进行采样。我们的方法建立在理论上健全的反向经验重放（RER）技术，已被证明可以减少偏差的Q-学习型算法的输出与线性函数近似。然而，当使用神经函数逼近时，这种方法并不总是实用或可靠的。通过实证评估，我们证明了IER与神经功能近似相比，在大多数任务中，UER，PER和后见之明经验重放（HER）产生了可靠和优越的性能。
2023-02-06 cs.LG
DQN Performance with Epsilon Greedy Policies and Prioritized Experience Replay
Brigham Young University
本文系统研究有限环境中 DQN 的 epsilon-greedy 探索调度与优先经验回放，通过多组仿真对比 uniform、no replay 和 prioritized 策略，揭示探索与记忆管理的权衡，并为资源受限场景提供强化学习实践建议。
2025-11-05 cs.AI cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学智能城市物联网国家重点实验室）；School of Artificial Intelligence Shenzhen Polytechnic University（深圳职业技术学院人工智能学院）
针对现有经验回放方法在现实高维场景中效率低的问题，提出基于多样性的高效经验回放（EDER），利用行列式点过程、Cholesky分解和拒绝采样，在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
XCS Classifier System with Experience Replay
University of Augsburg（奥格斯堡大学）；BSH Home Appliances（博西家用电器公司）
XCS构成了当今研究最深入的分类器系统。它具有强大的潜力，并具有掌握各种不同学习任务的内在能力。除了在各种分类和回归任务中取得了出色的成功外，XCS在强化学习领域的某些多步环境中也被证明非常有效。特别是在后一个领域，最近的进展主要是由基于深度神经网络对其策略进行建模的算法驱动的-其中Deep-Q-Network（DQN）是一个突出的代表。经验重放（ER）是DQN成功的关键因素之一，因为它有助于基于神经网络的Q函数逼近器的稳定训练。令人惊讶的是，XCS几乎没有利用到目前为止遇到的利用存储的原始体验的类似机制。为了弥补这一差距，本文研究了扩展XCS与ER的好处。一方面，我们证明了对于单步任务，ER在样本效率方面具有巨大的改进潜力。在阴暗的一面，但是，我们发现，使用ER可能会进一步加剧研究尚未解决XCS的问题时，应用于顺序决策问题要求长的行动链。
2020-02-13 cs.AI cs.LG stat.ML
MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization
The George Washington University（乔治华盛顿大学）
经验重放是离线强化学习（RL）方法的关键。通过记忆和重用过去不同策略的经验，经验重放显著提高了RL算法的训练效率和稳定性。实践中的许多决策问题自然涉及多个智能体，需要集中训练分散执行范式下的多智能体强化学习（MARL）。然而，现有的MARL算法往往采用标准的经验重放的过渡均匀采样，而不管他们的重要性。寻找针对MARL体验重播优化的优先采样权重还有待探索。为此，我们提出了MAC-PO，它制定了最佳的优先经验重放多智能体问题作为一个遗憾最小化的采样权重的过渡。这种优化是放松和解决使用拉格朗日乘子的方法，以获得封闭形式的最佳采样权重。通过最小化所产生的政策遗憾，我们可以缩小目前的政策和名义上的最优政策之间的差距，从而获得一个改进的多智能体任务的优先级计划。我们在Predator-Prey和StarCraft Multi-Agent Challenge环境中的实验结果证明了我们方法的有效性，具有更好的重播重要转换的能力，并且优于其他最先进的基线。
2023-02-28 cs.AI cs.LG cs.MA
Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay
University of Electronic Science and Technology of China（电子科技大学）
图神经网络（GNN）最近受到了极大的研究关注，因为它们在各种与图相关的学习任务上表现出色。目前的大多数工作集中在静态或动态图形设置上，解决单个特定任务，例如，节点/图分类、链接预测。在这项工作中，我们研究的问题：GNNs可以应用于连续学习一系列任务？为此，我们探索了连续图学习（CGL）范式，并提出了基于经验重放的框架ER-GNN CGL，以减轻现有GNN中的灾难性遗忘问题。ER-GNN将以前任务中的知识存储为经验，并在学习新任务时重放它们，以减轻灾难性遗忘问题。提出了特征均值、覆盖最大化和影响力最大化三种经验节点选择策略，指导经验节点的选择过程。在三个基准数据集上的大量实验证明了我们的ER-GNN的有效性，并揭示了增量图（非欧几里德）结构学习。
2021-02-08 cs.LG stat.ML
Experience Replay Addresses Loss of Plasticity in Continual Learning
University of Virginia（弗吉尼亚大学）
本文提出经验回放结合Transformer可解决持续学习中深度网络的可塑性丧失问题，并在回归、分类和策略评估任务中验证了该假设。
2025-03-25 cs.AI cs.LG cs.NE
A Tighter Convergence Proof of Reverse Experience Replay
Purdue University（普渡大学）
本文针对反向经验回放（RER）现有理论仅适用于小学习率和短序列的局限，提出更紧的收敛性分析，证明其在更大学习率和更长序列下仍能收敛。
2024-08-30 cs.LG stat.ML
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta；Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出了一种理论框架，分析经验回放中偏差、方差和有限时间收敛性，揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
Complementary Learning for Overcoming Catastrophic Forgetting Using Experience Replay
University of Pennsylvania（宾夕法尼亚大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）
尽管取得了巨大的成功，但深度网络无法在顺序多任务学习环境中有效地学习，因为它们在学习新任务后会忘记过去学习的任务。受互补学习系统理论的启发，我们通过学习一个生成模型来解决这一挑战，该模型通过一个有区别的嵌入空间将当前任务与过去学习的任务耦合起来。我们在嵌入中学习一个抽象层次的生成分布，它允许生成数据点来表示经验。我们从这个分布中采样，并利用经验重放来避免遗忘，同时将新知识积累到抽象分布中，以便将当前任务与过去的经验结合起来。我们从理论上和经验上证明，我们的框架在嵌入中学习了一个分布，该分布在所有任务中共享，从而解决了灾难性遗忘。
2019-05-31 cs.LG stat.ML
Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University（西北工业大学）
针对优先经验回放（PER）非均匀采样导致Q值估计误差的问题，提出融合改进自注意力网络与双重采样机制的ALAP经验回放算法，在OPENAI gym多类强化学习场景验证了其效率与优势。
2023-10-09 cs.AI cs.LG
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习，其中许多因素动态地影响输出轨迹，期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而，平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制，我们提出了一个通用的基于方差减少的经验回放（VRER）框架，该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明，所提出的VRER可以加快学习的最优策略，提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Prioritized offline Goal-swapping Experience Replay
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
在目标条件离线强化学习中，智能体从先前收集的数据中学习，以达到任意目标。由于离线数据仅包含有限数量的轨迹，因此主要挑战是如何生成更多数据。目标交换通过切换轨迹目标来生成额外的数据，但在这样做的同时会产生大量无效的轨迹。为了解决这个问题，我们提出了优先目标交换经验重放（PGSER）。PGSER使用预训练的Q函数为允许达到目标的目标交换转换分配更高的优先级权重。在实验中，PGSER在广泛的基准任务中显着改善了基线，包括挑战以前不成功的灵巧手操作任务。
2023-03-05 cs.AI cs.LG
Learning to Sample with Local and Global Contexts in Experience Replay Buffer
Samsung Advanced Institute of Technology（三星综合技术院）；University of California, Berkeley（加州大学伯克利分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；AITRICS
经验重放使智能体能够记住和重用过去的经验，在非策略强化学习（RL）的成功中发挥了重要作用。为了有效地利用经验重放，现有的采样方法允许通过基于某些度量（例如TD误差）对它们施加优先级来选择出更有意义的经验。然而，它们可能导致采样高度偏置的冗余转换，因为它们独立地计算每个转换的采样率，而不考虑其相对于其他转换的重要性。在本文中，我们的目标是解决这个问题，提出了一个新的基于学习的抽样方法，可以计算过渡的相对重要性。为此，我们设计了一种新的置换等变神经架构，不仅需要从每个过渡（本地）的功能，但也作为输入的其他（全球）的上下文。我们验证了我们的框架，我们称之为神经经验重放采样器（NERS），在多个基准任务的连续和离散控制任务，并表明它可以显着提高性能的各种非政策RL方法。进一步的分析证实，样本效率的提高确实是由于采样的多样性和有意义的过渡NERS考虑本地和全球的背景。
2021-04-07 cs.LG stat.ML
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay
Mila, McGill University（蒙特利尔学习算法研究所（Mila）、麦吉尔大学（McGill University））
优先经验重放（PER）是一种深度强化学习技术，其中智能体从与其时间差误差成比例的非均匀概率采样的转换中学习。我们证明，任何损失函数评估与非均匀采样数据可以转换成另一个均匀采样损失函数具有相同的期望梯度。令人惊讶的是，我们发现在某些环境中，PER可以完全取代这个新的损失函数，而不影响经验性能。此外，这种关系提出了一个新的分支改进PER通过纠正其均匀采样损失函数等效。我们证明了我们提出的修改PER和等价的损失函数在几个MuJoCo和Atari环境的有效性。
2020-10-22 cs.LG stat.ML
Experience Replay for Continual Learning
University of Pennsylvania（宾夕法尼亚大学）；DeepMind（深度思维）
持续学习是学习新任务或知识的问题，同时保护旧知识，并理想地从旧经验中概括以更快地学习新任务。由随机梯度下降训练的神经网络在连续训练具有不同数据分布的新任务时，经常会在旧任务上降级。这种现象被称为灾难性遗忘，被认为是学习非静态数据或新任务序列的主要障碍，并阻止网络不断积累知识和技能。我们在强化学习的背景下研究这个问题，在一个设置中，代理暴露于一个序列中的任务。与大多数其他工作，我们不提供一个明确的指示，任务边界的模型，这是最普遍的情况下，学习代理暴露于连续的经验。虽然最近提出了各种方法来抵消灾难性遗忘，我们探索一个简单的，一般的，似乎被忽视的解决方案-使用经验重放缓冲区的所有过去的事件-与混合的政策上和离策略学习，利用行为克隆。我们表明，这种策略仍然可以快速学习新的任务，但可以大大减少灾难性遗忘在Atari和DMLab域，甚至匹配的性能，需要任务身份的方法。当缓冲区存储的约束，我们确认，一个简单的机制，随机丢弃数据允许一个有限大小的缓冲区执行几乎以及一个无界的。
2019-11-26 cs.AI cs.LG stat.ML
Enhancing LLM Agents for Code Generation with Possibility and Pass-rate Prioritized Experience Replay
School of Computer Science, Wuhan University（武汉大学计算机学院）；Northwestern University（西北大学）；University of Macau（澳门大学）
针对代码生成中LLM因稀疏奖励采样冗余程序效率低的问题，提出含束搜索采样、测试、优先经验回放三阶段的BTP流水线，用综合输出可能性与通过率的P2Value筛选回放程序，提升了多个LLM的代码生成性能。
2025-01-11 cs.AI cs.LG
VLM-Guided Experience Replay
Nvidia Research（英伟达研究）
本文提出利用VLMs指导经验回放，提升强化学习中样本效率和成功率。
2026-09-29 cs.AI cs.LG
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构，用于大规模的深度强化学习，使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合：行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互，并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放，只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平，在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Continual Learning with Diffusion-based Generative Replay for Industrial Streaming Data
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院）；Pazhou Lab（琶洲实验室）；China Academy of Information and Communications Technology（中国信息通信研究院）
针对工业物联网动态环境下的数据漂移及资源受限问题，提出基于蒸馏自引导的扩散生成重放持续学习方法DSG，通过知识蒸馏提升生成器稳定性与数据质量以缓解灾难性遗忘，在多个数据集上准确率较最优基线提升2.9%-5.0%。
2024-06-22 cs.LG
Variance Reduction Based Experience Replay for Policy Optimization
Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出VRER框架，通过选择性重用信息样本减少策略梯度估计的方差，从而提升策略优化效率。
2026-11-03 cs.LG stat.ML
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University（北京大学）
经验重放使非策略强化学习（RL）代理能够利用过去的经验来最大化累积奖励。优先经验重放，加权经验的大小，他们的时间差误差（$|\text{TD}|$）显着提高学习效率。但是，$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题，通过将$|\text{TD}|$与经验价值联系起来，经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外，我们成功地将我们的理论框架扩展到最大熵RL，通过推导软Q学习的这些值度量的上下界，这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量：$|\text{TD}|$和经验值。我们的经验表明，在实践中的界限，并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
USHER: Unbiased Sampling for Hindsight Experience Replay
Rutgers University（罗格斯大学）
处理稀疏奖励是强化学习（RL）中的一个长期挑战。后见之明经验重演（HER）通过将一个目标的失败轨迹重复用于另一个目标的成功轨迹来解决这个问题。这既允许最小的奖励密度，也允许跨多个目标的泛化。然而，已知这种策略会导致有偏差的价值函数，因为更新规则低估了随机环境中不良结果的可能性。我们提出了一个渐近无偏的重要性抽样为基础的算法来解决这个问题，而不牺牲性能的确定性环境。我们展示了它在一系列机器人系统上的有效性，包括具有挑战性的高维随机环境。
2022-07-03 cs.AI cs.LG cs.RO
Reverb: A Framework For Experience Replay
DeepMind（深度思维）；Google Research（谷歌研究院）
强化学习（RL）中训练的一个核心组成部分是经验：用于训练的数据。用于生成和消费这些数据的机制对RL算法的性能有重要影响。在本文中，我们介绍了Reverb：一个高效，可扩展，易于使用的系统，专为RL中的经验重放而设计。Reverb被设计为在分布式配置中高效地工作，多达数千个并发客户端。灵活的API为用户提供了轻松准确地配置重放缓冲区的工具。它包括从缓冲区中选择和删除元素的策略，以及控制采样元素和插入元素之间的比例的选项。本文介绍了Reverb的核心设计，给出了如何应用它的例子，并提供了Reverb的性能特性的实证结果。
2021-02-09 cs.AI cs.DC cs.LG
Event Tables for Efficient Experience Replay
Sony AI（索尼人工智能）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出事件表分层采样（SSET）方法，通过划分经验回放缓冲区为事件表以捕获最优行为子序列，结合优先采样策略，在多个基准环境中验证了其提升学习速度与稳定性的优势。
2023-04-21 cs.AI cs.LG
