Prioritized Experience Replay
Google DeepMind（谷歌DeepMind）
经验回放让在线强化学习代理记住并重用过去的经验。在先前的工作中，经验转换是从重放存储器中均匀采样的。然而，这种方法只是以它们最初经历的相同频率重放转换，而不管它们的重要性。在本文中，我们开发了一个优先考虑经验的框架，以便更频繁地重播重要的转换，从而更有效地学习。我们在Deep Q-Networks（DQN）中使用优先级经验重放，这是一种强化学习算法，在许多Atari游戏中实现了人类水平的性能。具有优先体验重播的DQN实现了新的最先进技术，在49场比赛中的41场比赛中表现优于DQN。
2016-02-25 cs.LG
Replay For Safety
经验重放\citep{lin1993reinforcement, mnih2015human}是一种广泛使用的技术，可以有效地使用数据并提高RL算法的性能。在经验重放中，过去的转换存储在存储器缓冲区中，并在学习期间重新使用。在以前的作品中已经提出了各种建议，从重放缓冲区的采样方案，试图最佳地选择那些经验，这将最有助于收敛到最佳的政策。在这里，我们给出了重放采样方案，将确保收敛的一些条件，专注于著名的Q-学习算法在表格设置。在建立了收敛的充分条件之后，我们转而建议经验重放的稍微不同的用法-以有偏见的方式重放记忆作为改变所产生的策略的属性的手段。我们开始严格的研究经验重放作为一种工具来控制和修改所产生的政策的属性。特别是，我们表明，使用适当的偏置抽样方案可以让我们实现一个\emph{safe}政策。我们认为，使用经验重放作为一种偏置机制，允许控制所产生的政策在理想的方式是一个想法，许多应用程序的潜力。
2021-12-08 cs.AI cs.LG
Prioritized Sequence Experience Replay
Iowa State University（爱荷华州立大学）
经验重放广泛用于深度强化学习算法，并允许代理记住和学习过去的经验。为了更有效地学习，研究人员提出了优先经验重放（PER），它更频繁地采样重要的转换。在本文中，我们提出了优先顺序经验重放（PSER）的优先顺序的经验序列，试图更有效地学习，并获得更好的性能的框架。我们比较了PER和PSER采样技术在表格式Q学习环境中和在Atari 2600基准测试中的DQN中的性能。我们从理论上证明，PSER是保证收敛速度比PER和经验表明PSER大大提高PER。
2020-02-19 cs.AI cs.LG stat.ML
Experience Replay with Likelihood-free Importance Weights
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Nvidia（英伟达）
使用过去的经验来加速价值函数的时间差（TD）学习或经验重放，是深度强化学习的关键组成部分。重要经验的优先级或重新加权已被证明可以提高TD学习算法的性能。在这项工作中，我们提出了在当前策略的平稳分布下基于经验的可能性来重新加权经验。使用相应的重新加权TD目标，我们隐含地鼓励经常遇到的状态下的价值函数上的小近似误差。我们使用一个似然自由密度比估计的重放缓冲区分配优先权。我们将所提出的方法经验性地应用于两种竞争性方法，软演员评论（SAC）和双延迟深度确定性策略梯度（TD 3）-在一套OpenAI健身房任务上，并实现了与其他基线方法相比更高的样本复杂度。
2020-06-23 cs.AI cs.LG
Convergence Results For Q-Learning With Experience Replay
RL中常用的启发式方法是经验重放（例如~ \citet{lin1993reinforcement, mnih2015human}），其中学习者存储并重新使用过去的轨迹，就好像它们是在线采样的一样。在这项工作中，我们开始了严格的研究，这种启发式的设置表Q学习。我们提供了一个收敛速度保证，并讨论了它如何与Q学习的收敛性进行比较，这取决于重要的参数，如重放迭代的频率和次数。我们还提供了理论证据表明，当我们可能期望这种启发式严格提高性能，通过引入和分析一个简单的类的MDPs。最后，我们提供了一些实验来支持我们的理论研究结果。
2021-12-08 cs.AI cs.LG
Experience Replay Optimization
Texas A&M University（德克萨斯农工大学）
经验重放使强化学习代理能够记住和重用过去的经验，就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验，要么利用基于规则的重放策略，这可能是次优的。在这项工作中，我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的，因为重放记忆是嘈杂的和大的，并且累积的奖励是不稳定的。为了解决这些问题，我们提出了一种新的经验重放优化（ERO）框架，交替更新两个政策：代理政策，和重放政策。更新代理以基于重放的数据最大化累积奖励，同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性，经验上显示了经验重放学习的承诺，以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Double Prioritized State Recycled Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
经验重放使在线强化学习代理能够存储和重用先前与环境交互的经验。在最初的方法中，经验是随机抽样并均匀重放的。先前的工作称为优先经验重放，其中经验被优先化，以便更频繁地重放似乎更重要的经验。本文提出了一种双优先级状态回收（DPSR）经验重放方法，在训练阶段和存储阶段对经验进行优先级排序，并利用状态回收替换记忆中的经验，以充分利用暂时优先级较低的经验。我们在Deep Q-Networks（DQN）中使用了这种方法，并取得了最先进的结果，优于原始方法，并优先考虑了许多Atari游戏的体验重播。
2020-09-21 cs.LG stat.ML
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对时序差分（TD）学习的有限时间行为研究缺口及经验回放理论影响不明问题，本文通过马尔可夫噪声项分解，给出带经验回放TD学习的有限时间误差界，证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
本文提出了一种受量子计算启发的新的训练范式，用于具有经验重放的深度强化学习（DRL）。与传统的DRL经验重放机制不同，本文提出的量子启发经验重放深度强化学习（DRL-QER）根据经验的复杂度和重放次数（也称为转换）自适应地从重放缓冲区中选择经验，以实现探索和利用之间的平衡。在DRL-QER中，转换首先以量子表示形式表示，然后对转换执行准备操作和折旧操作。在这个过程中，准备操作反映了时间差异误差（TD误差）和经验的重要性之间的关系，同时考虑到折旧操作，以确保过渡的多样性。在Atari 2600游戏上的实验结果表明，DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法，并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Dynamic Experience Replay
Autodesk Research（欧特克研究）
我们提出了一种新的技术，称为动态经验重放（DER），允许强化学习（RL）算法使用经验重放样本不仅从人类的演示，但也成功的过渡产生的RL代理在训练过程中，从而提高训练效率。它可以与任意的非策略RL算法（如DDPG或DQN）及其分布式版本相结合。我们建立在Ape-X DDPG和展示我们的方法对机器人紧配合关节装配任务，基于力/扭矩和笛卡尔姿态观测。特别是，我们在两个不同的任务上运行实验：钉孔和搭接。在每种情况下，我们比较不同的重放缓冲区结构，以及DER如何影响它们。我们的消融研究表明，动态体验回放是一个至关重要的因素，它可以大大缩短在这些具有挑战性的环境中的训练时间，或者解决普通Ape-X DDPG无法解决的任务。我们还表明，我们的政策纯粹是在模拟中学习，可以成功地部署在真正的机器人。演示我们实验的视频可在https://sites.google.com/site/dynamicexperiencereplay上获得
2020-03-04 cs.AI cs.LG
Introspective Experience Replay: Look Back When Surprised
Google AI Research Lab（谷歌人工智能研究实验室）
在强化学习（RL）中，基于经验回放的采样技术通过消除虚假相关性在促进收敛方面发挥着至关重要的作用。然而，广泛使用的方法，如均匀经验重放（UER）和优先经验重放（PER）已被证明分别具有次优收敛和高种子敏感性。为了解决这些问题，我们提出了一种新的方法，称为IntrospectiveExperience Replay（IER），它在令人惊讶的事件之前有选择地对一批数据点进行采样。我们的方法建立在理论上健全的反向经验重放（RER）技术，已被证明可以减少偏差的Q-学习型算法的输出与线性函数近似。然而，当使用神经函数逼近时，这种方法并不总是实用或可靠的。通过实证评估，我们证明了IER与神经功能近似相比，在大多数任务中，UER，PER和后见之明经验重放（HER）产生了可靠和优越的性能。
2023-02-06 cs.LG
DQN Performance with Epsilon Greedy Policies and Prioritized Experience Replay
Brigham Young University
本文系统研究有限环境中 DQN 的 epsilon-greedy 探索调度与优先经验回放，通过多组仿真对比 uniform、no replay 和 prioritized 策略，揭示探索与记忆管理的权衡，并为资源受限场景提供强化学习实践建议。
2025-11-05 cs.AI cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学智能城市物联网国家重点实验室）；School of Artificial Intelligence Shenzhen Polytechnic University（深圳职业技术学院人工智能学院）
针对现有经验回放方法在现实高维场景中效率低的问题，提出基于多样性的高效经验回放（EDER），利用行列式点过程、Cholesky分解和拒绝采样，在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta；Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出了一种理论框架，分析经验回放中偏差、方差和有限时间收敛性，揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University（西北工业大学）
针对优先经验回放（PER）非均匀采样导致Q值估计误差的问题，提出融合改进自注意力网络与双重采样机制的ALAP经验回放算法，在OPENAI gym多类强化学习场景验证了其效率与优势。
2023-10-09 cs.AI cs.LG
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Prioritized offline Goal-swapping Experience Replay
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
在目标条件离线强化学习中，智能体从先前收集的数据中学习，以达到任意目标。由于离线数据仅包含有限数量的轨迹，因此主要挑战是如何生成更多数据。目标交换通过切换轨迹目标来生成额外的数据，但在这样做的同时会产生大量无效的轨迹。为了解决这个问题，我们提出了优先目标交换经验重放（PGSER）。PGSER使用预训练的Q函数为允许达到目标的目标交换转换分配更高的优先级权重。在实验中，PGSER在广泛的基准任务中显着改善了基线，包括挑战以前不成功的灵巧手操作任务。
2023-03-05 cs.AI cs.LG
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich（慕尼黑技术大学）；University St. Gallen（圣加尔LEN大学）
本文提出ReaPER，通过引入时间差误差可靠性度量，改进优先经验回放，实现更高效的强化学习
2025-12-15 cs.LG stat.ML
ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay
North Carolina State University（北卡罗来纳州立大学）
经验重放是解决深度强化学习（RL）中样本效率低下的重要技术，但由于重放缓冲区中成功经验不成比例地少，因此在从二进制和稀疏奖励中学习时面临困难。最近提出了后见之明经验重放（HER）通过操纵不成功的转换来解决这个困难，但是在这样做时，HER在重放缓冲区经验中引入了显著的偏差，因此实现了样本效率的次优改进。本文分析了HER模型中偏差的来源，并提出了一种简单有效的方法来消除偏差，以最有效地利用HER模型提供的样本效率。我们的方法是基于反事实推理的ARCHER方法，它通过一个折衷来扩展HER模型，使得事后经验的奖励在数值上大于真实的奖励。我们在DeepMind Control Suite的两个连续控制环境中验证了我们的算法- Reacher和Finger，它们模拟了机械臂的操作任务-结合了各种奖励函数，任务复杂性和目标采样策略。我们的实验一致表明，使用更积极的后见之明奖励来对抗偏见可以提高样本效率，从而在计算预算有限的RL应用程序中建立ARCHER的更大优势。
2018-09-07 cs.AI cs.LG stat.ML
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg（奥格斯堡大学）
许多深度强化学习算法的一个重要组成部分是经验重放，它作为存储机制或记忆的经验。这些经验用于训练，并帮助智能体稳定地找到通过问题空间的完美轨迹。然而，经典的经验重放只使用它实际产生的经验，但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法，在不确定的离散环境中创建合成的经验，以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估，我们表明它可以支持智能体更快地学习，甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory（陆军研究实验室）；Washington State University（华盛顿州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼AI）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
经验重放（ER）通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习（RL）算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER，但到目前为止，它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中，我们介绍了清醒梦的经验重放（LiDER），一个概念上的新框架，允许重放经验，利用代理的当前政策刷新。LiDER由三个步骤组成：首先，LiDER将代理移回过去的状态。其次，从这个状态，LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去，并且可以尝试不同的行为来遇到梦中的新体验。第三，LiDER存储和重用新的体验，如果它比代理先前体验的更好，即，来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略，多工作者RL算法;我们在这项工作中提出了一个案例研究，将LiDER应用于基于演员-评论家的算法。结果显示，LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构，用于大规模的深度强化学习，使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合：行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互，并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放，只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平，在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
VLM-Guided Experience Replay
Nvidia Research（英伟达研究）
本文提出利用VLMs指导经验回放，提升强化学习中样本效率和成功率。
2026-09-29 cs.AI cs.LG
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University（北京大学）
经验重放使非策略强化学习（RL）代理能够利用过去的经验来最大化累积奖励。优先经验重放，加权经验的大小，他们的时间差误差（$|\text{TD}|$）显着提高学习效率。但是，$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题，通过将$|\text{TD}|$与经验价值联系起来，经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外，我们成功地将我们的理论框架扩展到最大熵RL，通过推导软Q学习的这些值度量的上下界，这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量：$|\text{TD}|$和经验值。我们的经验表明，在实践中的界限，并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
USHER: Unbiased Sampling for Hindsight Experience Replay
Rutgers University（罗格斯大学）
处理稀疏奖励是强化学习（RL）中的一个长期挑战。后见之明经验重演（HER）通过将一个目标的失败轨迹重复用于另一个目标的成功轨迹来解决这个问题。这既允许最小的奖励密度，也允许跨多个目标的泛化。然而，已知这种策略会导致有偏差的价值函数，因为更新规则低估了随机环境中不良结果的可能性。我们提出了一个渐近无偏的重要性抽样为基础的算法来解决这个问题，而不牺牲性能的确定性环境。我们展示了它在一系列机器人系统上的有效性，包括具有挑战性的高维随机环境。
2022-07-03 cs.AI cs.LG cs.RO
Reverb: A Framework For Experience Replay
DeepMind（深度思维）；Google Research（谷歌研究院）
强化学习（RL）中训练的一个核心组成部分是经验：用于训练的数据。用于生成和消费这些数据的机制对RL算法的性能有重要影响。在本文中，我们介绍了Reverb：一个高效，可扩展，易于使用的系统，专为RL中的经验重放而设计。Reverb被设计为在分布式配置中高效地工作，多达数千个并发客户端。灵活的API为用户提供了轻松准确地配置重放缓冲区的工具。它包括从缓冲区中选择和删除元素的策略，以及控制采样元素和插入元素之间的比例的选项。本文介绍了Reverb的核心设计，给出了如何应用它的例子，并提供了Reverb的性能特性的实证结果。
2021-02-09 cs.AI cs.DC cs.LG
Large Batch Experience Replay
ISAE-SUPAERO（法国高等航空航天学院）；Université de Toulouse（图卢兹大学）；Google Research（谷歌研究院）
已经提出了几种算法来对深度强化学习（RL）代理的重放缓冲区进行非均匀采样以加速学习，但是很少提供这些采样方案的理论基础。其中，优先经验重放作为一个超参数敏感的启发式，即使它可以提供良好的性能。在这项工作中，我们投重放缓冲区采样问题作为一个重要性采样的梯度估计。这允许导出理论上最佳的采样分布，从而产生最佳的理论收敛速度。阐述了理想抽样方案的知识，我们展示了优先经验重放的新的理论基础。最佳采样分布是棘手的，我们做了几个近似提供良好的效果在实践中，并介绍，除其他外，LaBER（大批量经验重放），一个易于编码和有效的方法，用于采样重放缓冲区。LaBER可以与Deep Q-Networks，分布式RL代理或Actor-Critic方法相结合，与其实现的基础代理和其他优先级方案相比，在各种Atari游戏和PyBullet环境中产生更好的性能。
2022-06-14 cs.LG
Event Tables for Efficient Experience Replay
Sony AI（索尼人工智能）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出事件表分层采样（SSET）方法，通过划分经验回放缓冲区为事件表以捕获最优行为子序列，结合优先采样策略，在多个基准环境中验证了其提升学习速度与稳定性的优势。
2023-04-21 cs.AI cs.LG
Directly Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University（西北工业大学）
提出DALAP强化学习训练框架，利用Parallel Self-Attention网络量化分布偏移以补偿误差，并设计Priority-Encouragement机制优化样本筛选，有效提高了收敛速度并降低了训练方差。
2023-11-24 cs.AI cs.LG
Revisiting Fundamentals of Experience Replay
MILA, Université de Montréal（MILA，蒙特利尔大学）；Google Brain（谷歌大脑）；DeepMind
经验重放是深度强化学习（RL）中的非策略算法的核心，但我们的理解仍然存在重大差距。因此，我们提出了一个系统的和广泛的分析经验重放在Q学习方法，专注于两个基本属性：重放能力和学习更新的经验收集的比率（重放率）。我们的添加剂和消融研究颠覆了关于经验重放的传统智慧-发现更大的容量可以大幅提高某些算法的性能，而其他算法则不受影响。反直觉地，我们表明，理论上不接地，未校正的n步回报是唯一有益的，而其他技术赋予有限的好处筛选通过更大的内存。另外，通过直接控制重放比率，我们将文献中以前的观察结果置于上下文中，并在各种深度RL算法中凭经验衡量其重要性。最后，我们得出结论，通过测试一组假设的性质，这些性能的好处。
2020-07-13 cs.LG stat.ML
Sample Efficient Actor-Critic with Experience Replay
DeepMind；CIFAR（加拿大高级研究院）；Oxford University（牛津大学）
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理，该代理稳定，样本效率高，并且在具有挑战性的环境中表现出色，包括离散57游戏Atari域和几个连续控制问题。为了实现这一点，本文介绍了几个创新，包括截断重要性采样与偏差校正，随机决斗网络架构，和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Remember and Forget for Experience Replay
ETH Zurich（苏黎世联邦理工学院）
经验重放（ER）是离线深度强化学习（RL）的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计，从而提高数据效率。然而，当策略偏离过去的行为时，这种更新的准确性可能会恶化，并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放（ReF-ER），一种新的方法，可以增强RL算法与参数化的政策。ReF-ER（1）跳过根据与当前策略太不可能的经验计算的梯度，并且（2）调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现，ReF-ER一贯提高性能的连续行动，关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Variance Reduction via Resampling and Experience Replay
Department of Statistics and Data Science, UCLA（加州大学洛杉矶分校统计与数据科学系）
本文针对经验回放理论特性不明的问题，构建基于重采样U/V统计量的理论框架给出方差缩减保证，验证其在多类机器学习任务中的降本增效效果。
2025-11-13 cs.LG stat.ML
Actor Prioritized Experience Replay
Bilkent University（比尔肯特大学）
一种被广泛研究的深度强化学习（RL）技术，称为优先级经验回放（PER），允许代理从以与其时间差（TD）误差成比例的非均匀概率采样的转换中进行学习。虽然PER是离散动作域中深度RL方法整体性能的最关键组成部分之一，但许多实证研究表明，它在连续控制中的表现远远低于演员-评论家算法。我们从理论上表明，演员网络不能有效地训练具有较大TD误差的过渡。结果，在Q网络下计算的近似策略梯度偏离在最优Q函数下计算的实际梯度。出于这一动机，我们引入了一个新的经验重放采样框架的演员-评论家的方法，这也考虑了问题的稳定性和最近的研究结果背后的PER的经验表现不佳。所介绍的算法提出了一个新的分支PER的改进和调度演员和评论家网络的有效和高效的训练。一组广泛的实验验证了我们的理论主张，并表明，所介绍的方法显着优于竞争的方法，并获得国家的最先进的结果超过标准的政策演员-评论家算法。
2022-09-01 cs.AI cs.LG
ROER: Regularized Optimal Experience Replay
ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Aalto University（阿尔托大学）
本文提出正则化最优经验回放（ROER），通过f-散度正则化与对偶形式推导出基于TD误差的优先级划分，在连续控制任务中多数优于基线，并适用于离线到在线微调。
2024-07-04 cs.AI cs.LG cs.RO
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
The Effects of Memory Replay in Reinforcement Learning
Stanford University（斯坦福大学）
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用，很少有人知道的经验重放的属性。记忆量如何影响学习动力？它是否有助于优先考虑某些经验？在本文中，我们解决这些问题，制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明，即使在这个非常简单的设置中，保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外，我们还描述了优先重播损害代理学习的制度。我们表明，我们的解析解与实验有很好的一致性。最后，我们提出了一个简单的算法，自适应地改变内存缓冲区的大小，实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Generalized Back-Stepping Experience Replay in Sparse-Reward Environments
Tohoku University（东北大学）
本文提出广义回溯经验回放（GBER），通过引入重标记机制和多样化采样策略，将BER扩展至稀疏奖励环境，显著提升了基线算法在复杂迷宫导航任务中的性能和稳定性。
2024-12-20 cs.AI cs.LG
Quantum deep Q learning with distributed prioritized experience replay
Wells Fargo（富国银行）
针对量子强化学习采样复杂度高的问题，提出融合优先经验回放与异步训练的 QDQN-DPER 框架，并通过仿真证明其优于同架构基线。
2023-04-19 cs.AI cs.DC cs.LG
Maximum Entropy Hindsight Experience Replay
Sandia National Laboratories（桑迪亚国家实验室）
本研究针对基于目标的强化学习场景，提出通过有原则地选择性应用HER的方式，改进此前适配同策略PPO算法的PPO-HER方法，进一步提升后见之明经验回放的效果。
2024-10-31 cs.LG
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
Explanation-Aware Experience Replay in Rule-Dense Environments
University of Bologna（博洛尼亚大学）；University of Cambridge（剑桥大学）
人类环境通常由明确而复杂的规则集来调节。将强化学习（RL）代理集成到这样的环境中，可以促进学习机制的发展，这些学习机制在规则密集和异常充斥的环境中表现良好，例如在受管制的道路上进行自动驾驶。在本文中，我们提出了一种组织经验的方法，通过分区的经验缓冲区成集群标记的每解释的基础上。我们提出了与模块化规则集和9个学习任务兼容的离散和连续导航环境。对于具有可解释规则集的环境，我们将基于规则的解释转换为基于案例的解释，方法是将状态转换分配到标有解释的聚类中。这使我们能够以课程和任务为导向的方式进行体验，专注于事件的稀有性，重要性和意义。我们把这个概念称为解释-意识（XA）。我们执行XA体验重放（XAER）与集群内和集群间的优先级，并引入XA兼容版本的DQN，TD 3和SAC。与传统的优先体验重放基线相比，这些算法的XA版本的性能始终优于传统的优先体验重放基线，这表明解释工程可以用于替代具有可解释功能的环境的奖励工程。
2021-12-16 cs.AI cs.LG cs.RO
Hindsight Task Relabelling: Experience Replay for Sparse Reward Meta-RL
UC Berkeley（加州大学伯克利分校）
Meta-强化学习（meta-RL）已被证明是一个成功的框架，用于利用先前任务的经验快速学习新的相关任务，然而，当前的meta-RL方法难以在稀疏奖励环境中学习。虽然现有的元RL算法可以学习适应新的稀疏奖励任务的策略，但实际的适应策略是使用手形奖励函数学习的，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了一种后见之明重新标记元RL的公式，它在元训练期间重新标记经验，使学习能够完全使用稀疏奖励进行学习。我们证明了我们的方法在一系列具有挑战性的稀疏奖励目标达成环境中的有效性，这些环境以前需要在元训练期间进行密集奖励来解决。我们的方法使用真正的稀疏奖励函数来解决这些环境，其性能与使用代理密集奖励函数的训练相当。
2021-12-02 cs.AI cs.LG
Eventual Discounting Temporal Logic Counterfactual Experience Replay
Caltech（加州理工学院）；Penn State（宾夕法尼亚州立大学）；Latitude AI（Latitude人工智能公司）
线性时序逻辑（LTL）提供了一种简化的方式来指定策略优化的任务，否则可能难以用标量奖励函数来描述。然而，标准RL框架可能过于短视，无法找到最大限度的LTL满足政策。本文有两个贡献。首先，我们开发了一个新的价值函数为基础的代理，使用一种技术，我们称之为最终折扣，根据该技术可以找到满足LTL规范的政策，以最高的可实现概率。其次，我们开发了一种新的经验重放方法，通过反事实推理的不同方式来满足LTL规范，从政策上的推出生成政策外的数据。我们的实验，在离散和连续的状态-动作空间进行，证实了我们的反事实经验重放方法的有效性。
2023-03-03 cs.AI cs.LG cs.LO
Hindsight Experience Replay
OpenAI
处理稀疏奖励是强化学习（RL）中最大的挑战之一。我们提出了一种新的技术，称为后见之明经验重放，它允许样本有效的学习，从奖励是稀疏的和二进制的，因此避免了复杂的奖励工程的需要。它可以与任意的非策略RL算法相结合，可以被视为一种隐式课程。我们展示了我们的方法上的任务操纵物体与机械臂。特别是，我们运行实验上三个不同的任务：推，滑动，并拾取和放置，在每种情况下，只使用二进制奖励指示任务是否完成。我们的消融研究表明，后见之明的经验重演是一个至关重要的因素，使培训可能在这些具有挑战性的环境。我们表明，我们的政策训练的物理模拟可以部署在一个物理机器人，并成功地完成任务。
2018-02-23 cs.AI cs.LG cs.NE
Neighborhood Mixup Experience Replay: Local Convex Interpolation for Improved Sample Efficiency in Continuous Control Tasks
MIT（麻省理工学院）；University of Toronto（多伦多大学）；Toyota Research Institute（丰田研究院）
经验回放在提高深度强化学习代理的样本效率方面起着至关重要的作用。经验重放的最新进展提出使用Mixup（Zhang等人，2018）以通过合成样品生成进一步提高样本效率。我们建立在这种技术与邻里混淆经验重放（NMER），几何接地重放缓冲器，插入过渡与他们最近的邻居在状态动作空间。NMER通过仅在具有邻近状态动作特征的转换之间应用Mixup来保持转换流形的局部线性近似。根据NMER，一个给定的过渡的一组国家行动的邻居是动态的和情节不可知的，反过来鼓励更大的政策概括性通过插曲间插值。我们将我们的方法与最近的离线深度强化学习算法相结合，并在连续控制环境中进行评估。我们观察到，NMER将样本效率平均提高了94%（TD3）和29%（SAC），使代理能够有效地重新组合以前的经验，并从有限的数据中学习。
2022-05-18 cs.LG cs.RO cs.SY
Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning
L3S Research Center（L3S研究中心）；Airbus（空中客车公司）；Zhejiang University（浙江大学）；University of Hamburg（汉堡大学）
针对深度强化学习的灾难性遗忘问题，提出基于GWR自组织网络的地图式经验回放方法，通过合并相似样本精简记忆，实现内存大幅减少且性能损失微小。
2023-08-28 cs.AI cs.LG cs.RO
MHER: Model-based Hindsight Experience Replay
Tsinghua University（清华大学）；Tencent Robotics X（腾讯机器人X实验室）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）
解决具有稀疏奖励的多目标强化学习（RL）问题通常具有挑战性。现有的方法利用目标重新标记收集的经验，以减轻从稀疏奖励提出的问题。但这些方法在效率上仍有局限性，不能充分利用经验。在本文中，我们提出了基于模型的后见之明经验重放（MHER），它利用经验更有效地利用环境动态生成虚拟实现的目标。用与训练的动态模型交互产生的虚拟目标替换原始目标，导致了一种新的重新标记方法，基于模型的重新标记（MBR）。基于MBR，MHER执行强化学习和监督学习以有效地改进策略。理论上，我们还证明了MHER中的监督部分，即，利用MBR数据的目标条件监督学习优化了多目标RL目标的下限。在多个基于点的任务和模拟机器人环境中的实验结果表明，MHER实现了显着更高的样本效率比以前的无模型和基于模型的多目标方法。
2021-11-27 cs.AI cs.LG cs.RO
