Prioritized Experience Replay
Google DeepMind（谷歌DeepMind）
经验回放让在线强化学习代理记住并重用过去的经验。在先前的工作中，经验转换是从重放存储器中均匀采样的。然而，这种方法只是以它们最初经历的相同频率重放转换，而不管它们的重要性。在本文中，我们开发了一个优先考虑经验的框架，以便更频繁地重播重要的转换，从而更有效地学习。我们在Deep Q-Networks（DQN）中使用优先级经验重放，这是一种强化学习算法，在许多Atari游戏中实现了人类水平的性能。具有优先体验重播的DQN实现了新的最先进技术，在49场比赛中的41场比赛中表现优于DQN。
2016-02-25 cs.LG
Replay For Safety
经验重放\citep{lin1993reinforcement, mnih2015human}是一种广泛使用的技术，可以有效地使用数据并提高RL算法的性能。在经验重放中，过去的转换存储在存储器缓冲区中，并在学习期间重新使用。在以前的作品中已经提出了各种建议，从重放缓冲区的采样方案，试图最佳地选择那些经验，这将最有助于收敛到最佳的政策。在这里，我们给出了重放采样方案，将确保收敛的一些条件，专注于著名的Q-学习算法在表格设置。在建立了收敛的充分条件之后，我们转而建议经验重放的稍微不同的用法-以有偏见的方式重放记忆作为改变所产生的策略的属性的手段。我们开始严格的研究经验重放作为一种工具来控制和修改所产生的政策的属性。特别是，我们表明，使用适当的偏置抽样方案可以让我们实现一个\emph{safe}政策。我们认为，使用经验重放作为一种偏置机制，允许控制所产生的政策在理想的方式是一个想法，许多应用程序的潜力。
2021-12-08 cs.AI cs.LG
Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning
L3S Research Center（L3S研究中心）；Airbus（空中客车公司）；Zhejiang University（浙江大学）；University of Hamburg（汉堡大学）
针对深度强化学习的灾难性遗忘问题，提出基于GWR自组织网络的地图式经验回放方法，通过合并相似样本精简记忆，实现内存大幅减少且性能损失微小。
2023-08-28 cs.AI cs.LG cs.RO
MHER: Model-based Hindsight Experience Replay
Tsinghua University（清华大学）；Tencent Robotics X（腾讯机器人X实验室）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）
解决具有稀疏奖励的多目标强化学习（RL）问题通常具有挑战性。现有的方法利用目标重新标记收集的经验，以减轻从稀疏奖励提出的问题。但这些方法在效率上仍有局限性，不能充分利用经验。在本文中，我们提出了基于模型的后见之明经验重放（MHER），它利用经验更有效地利用环境动态生成虚拟实现的目标。用与训练的动态模型交互产生的虚拟目标替换原始目标，导致了一种新的重新标记方法，基于模型的重新标记（MBR）。基于MBR，MHER执行强化学习和监督学习以有效地改进策略。理论上，我们还证明了MHER中的监督部分，即，利用MBR数据的目标条件监督学习优化了多目标RL目标的下限。在多个基于点的任务和模拟机器人环境中的实验结果表明，MHER实现了显着更高的样本效率比以前的无模型和基于模型的多目标方法。
2021-11-27 cs.AI cs.LG cs.RO
Prioritized Sequence Experience Replay
Iowa State University（爱荷华州立大学）
经验重放广泛用于深度强化学习算法，并允许代理记住和学习过去的经验。为了更有效地学习，研究人员提出了优先经验重放（PER），它更频繁地采样重要的转换。在本文中，我们提出了优先顺序经验重放（PSER）的优先顺序的经验序列，试图更有效地学习，并获得更好的性能的框架。我们比较了PER和PSER采样技术在表格式Q学习环境中和在Atari 2600基准测试中的DQN中的性能。我们从理论上证明，PSER是保证收敛速度比PER和经验表明PSER大大提高PER。
2020-02-19 cs.AI cs.LG stat.ML
Deep In-GPU Experience Replay
Carnegie Mellon University（卡内基梅隆大学）
经验重放允许强化学习代理对来自大量最近经验的样本进行训练。一个简单的RAM内体验回放将这些最新的体验存储在RAM中的列表中，然后将采样的批次复制到GPU进行训练。我把这个列表移到了GPU上，从而创建了一个GPU内的体验回放，以及一个不再从CPU复制输入的训练步骤。我训练了一个代理来玩Super Smash Bros. Melee，使用内部游戏记忆值作为输入并输出控制器按钮。Melee中的单个状态包含27个浮点数，因此完整的体验重播适合单个GPU。对于128的批量大小，GPU内体验回放的训练速度是RAM内体验回放的两倍。据我所知，这是第一个在GPU上实现的体验回放。最后，我注意到一些想法，当环境状态需要更多内存时，可以在GPU内安装体验回放。
2018-01-09 cs.AI
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演（HER）旨在通过目标重新标记来解决这两个挑战。然而，HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中，我们提出了多步后见之明经验重放（MHER），结合多步重新标记的回报的基础上$n$ -步骤重新标记，以提高样本效率。尽管$n$ -步骤重新标记的优点，我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题，提出了两种降低偏置的MHER算法：MHER（$λ$）和基于模型的MHER（MMHER）。MHER（$λ$）利用了$λ$的回报，而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明，我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见，并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Experience Replay Optimization
Texas A&M University（德克萨斯农工大学）
经验重放使强化学习代理能够记住和重用过去的经验，就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验，要么利用基于规则的重放策略，这可能是次优的。在这项工作中，我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的，因为重放记忆是嘈杂的和大的，并且累积的奖励是不稳定的。为了解决这些问题，我们提出了一种新的经验重放优化（ERO）框架，交替更新两个政策：代理政策，和重放政策。更新代理以基于重放的数据最大化累积奖励，同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性，经验上显示了经验重放学习的承诺，以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Experience Replay with Likelihood-free Importance Weights
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Nvidia（英伟达）
使用过去的经验来加速价值函数的时间差（TD）学习或经验重放，是深度强化学习的关键组成部分。重要经验的优先级或重新加权已被证明可以提高TD学习算法的性能。在这项工作中，我们提出了在当前策略的平稳分布下基于经验的可能性来重新加权经验。使用相应的重新加权TD目标，我们隐含地鼓励经常遇到的状态下的价值函数上的小近似误差。我们使用一个似然自由密度比估计的重放缓冲区分配优先权。我们将所提出的方法经验性地应用于两种竞争性方法，软演员评论（SAC）和双延迟深度确定性策略梯度（TD 3）-在一套OpenAI健身房任务上，并实现了与其他基线方法相比更高的样本复杂度。
2020-06-23 cs.AI cs.LG
Convergence Results For Q-Learning With Experience Replay
RL中常用的启发式方法是经验重放（例如~ \citet{lin1993reinforcement, mnih2015human}），其中学习者存储并重新使用过去的轨迹，就好像它们是在线采样的一样。在这项工作中，我们开始了严格的研究，这种启发式的设置表Q学习。我们提供了一个收敛速度保证，并讨论了它如何与Q学习的收敛性进行比较，这取决于重要的参数，如重放迭代的频率和次数。我们还提供了理论证据表明，当我们可能期望这种启发式严格提高性能，通过引入和分析一个简单的类的MDPs。最后，我们提供了一些实验来支持我们的理论研究结果。
2021-12-08 cs.AI cs.LG
Invariant Transform Experience Replay: Data Augmentation for Deep Reinforcement Learning
Guangdong University of Technology（广东工业大学）；Shanghai Jiao Tong University（上海交通大学）；Chinese University of Hong Kong（香港中文大学）
深度强化学习（RL）是一种很有前途的自适应机器人控制方法，但目前其在机器人领域的应用受到高样本要求的阻碍。为了缓解这个问题，我们建议利用机器人任务中存在的对称性。直观地说，来自观察到的轨迹的对称性定义了使可行RL轨迹的空间保持不变的变换，并且可以用于生成新的可行轨迹，这些轨迹可以用于训练。基于这种数据增强的想法，我们制定了一个通用的框架，称为不变变换经验重放，我们提出了两种技术：（i）万花筒经验重放利用反射对称性和（ii）目标增强的经验重放，利用宽松的目标定义。在OpenAI Gym的Fetch任务中，我们的实验结果显示学习率和成功率显著提高。特别是，我们达到了13，3，和5倍的加速分别在推，滑动，和拾取和放置任务中的多目标设置。在有障碍的类似任务中也观察到了性能的提高，我们成功地在一个真正的Baxter机器人上部署了一个经过训练的策略。我们的工作表明，RL轨迹上的不变变换是一种很有前途的方法，可以加速深度RL的学习。
2020-07-05 cs.AI cs.LG cs.RO
Double Prioritized State Recycled Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
经验重放使在线强化学习代理能够存储和重用先前与环境交互的经验。在最初的方法中，经验是随机抽样并均匀重放的。先前的工作称为优先经验重放，其中经验被优先化，以便更频繁地重放似乎更重要的经验。本文提出了一种双优先级状态回收（DPSR）经验重放方法，在训练阶段和存储阶段对经验进行优先级排序，并利用状态回收替换记忆中的经验，以充分利用暂时优先级较低的经验。我们在Deep Q-Networks（DQN）中使用了这种方法，并取得了最先进的结果，优于原始方法，并优先考虑了许多Atari游戏的体验重播。
2020-09-21 cs.LG stat.ML
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对时序差分（TD）学习的有限时间行为研究缺口及经验回放理论影响不明问题，本文通过马尔可夫噪声项分解，给出带经验回放TD学习的有限时间误差界，证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind（深度思维）
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合，并提出了两个挑战的解决方案：（a）有效的演员-评论家学习与经验重放（b）离策略学习的稳定性，其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描，其中所有参与的代理同时运行，并通过一个共同的重放模块分享他们的经验。为此，我们分析的偏差方差权衡V-跟踪，一种形式的重要性采样的演员批评的方法。基于我们的分析，然后，我们认为混合经验与政策上的经验重放采样，并提出了一个新的信任域方案，有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处，通过展示Atari上最先进的数据效率，在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
本文提出了一种受量子计算启发的新的训练范式，用于具有经验重放的深度强化学习（DRL）。与传统的DRL经验重放机制不同，本文提出的量子启发经验重放深度强化学习（DRL-QER）根据经验的复杂度和重放次数（也称为转换）自适应地从重放缓冲区中选择经验，以实现探索和利用之间的平衡。在DRL-QER中，转换首先以量子表示形式表示，然后对转换执行准备操作和折旧操作。在这个过程中，准备操作反映了时间差异误差（TD误差）和经验的重要性之间的关系，同时考虑到折旧操作，以确保过渡的多样性。在Atari 2600游戏上的实验结果表明，DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法，并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Dynamic Experience Replay
Autodesk Research（欧特克研究）
我们提出了一种新的技术，称为动态经验重放（DER），允许强化学习（RL）算法使用经验重放样本不仅从人类的演示，但也成功的过渡产生的RL代理在训练过程中，从而提高训练效率。它可以与任意的非策略RL算法（如DDPG或DQN）及其分布式版本相结合。我们建立在Ape-X DDPG和展示我们的方法对机器人紧配合关节装配任务，基于力/扭矩和笛卡尔姿态观测。特别是，我们在两个不同的任务上运行实验：钉孔和搭接。在每种情况下，我们比较不同的重放缓冲区结构，以及DER如何影响它们。我们的消融研究表明，动态体验回放是一个至关重要的因素，它可以大大缩短在这些具有挑战性的环境中的训练时间，或者解决普通Ape-X DDPG无法解决的任务。我们还表明，我们的政策纯粹是在模拟中学习，可以成功地部署在真正的机器人。演示我们实验的视频可在https://sites.google.com/site/dynamicexperiencereplay上获得
2020-03-04 cs.AI cs.LG
Introspective Experience Replay: Look Back When Surprised
Google AI Research Lab（谷歌人工智能研究实验室）
在强化学习（RL）中，基于经验回放的采样技术通过消除虚假相关性在促进收敛方面发挥着至关重要的作用。然而，广泛使用的方法，如均匀经验重放（UER）和优先经验重放（PER）已被证明分别具有次优收敛和高种子敏感性。为了解决这些问题，我们提出了一种新的方法，称为IntrospectiveExperience Replay（IER），它在令人惊讶的事件之前有选择地对一批数据点进行采样。我们的方法建立在理论上健全的反向经验重放（RER）技术，已被证明可以减少偏差的Q-学习型算法的输出与线性函数近似。然而，当使用神经函数逼近时，这种方法并不总是实用或可靠的。通过实证评估，我们证明了IER与神经功能近似相比，在大多数任务中，UER，PER和后见之明经验重放（HER）产生了可靠和优越的性能。
2023-02-06 cs.LG
Hindsight Experience Replay
OpenAI
处理稀疏奖励是强化学习（RL）中最大的挑战之一。我们提出了一种新的技术，称为后见之明经验重放，它允许样本有效的学习，从奖励是稀疏的和二进制的，因此避免了复杂的奖励工程的需要。它可以与任意的非策略RL算法相结合，可以被视为一种隐式课程。我们展示了我们的方法上的任务操纵物体与机械臂。特别是，我们运行实验上三个不同的任务：推，滑动，并拾取和放置，在每种情况下，只使用二进制奖励指示任务是否完成。我们的消融研究表明，后见之明的经验重演是一个至关重要的因素，使培训可能在这些具有挑战性的环境。我们表明，我们的政策训练的物理模拟可以部署在一个物理机器人，并成功地完成任务。
2018-02-23 cs.AI cs.LG cs.NE
DQN Performance with Epsilon Greedy Policies and Prioritized Experience Replay
Brigham Young University
本文系统研究有限环境中 DQN 的 epsilon-greedy 探索调度与优先经验回放，通过多组仿真对比 uniform、no replay 和 prioritized 策略，揭示探索与记忆管理的权衡，并为资源受限场景提供强化学习实践建议。
2025-11-05 cs.AI cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学智能城市物联网国家重点实验室）；School of Artificial Intelligence Shenzhen Polytechnic University（深圳职业技术学院人工智能学院）
针对现有经验回放方法在现实高维场景中效率低的问题，提出基于多样性的高效经验回放（EDER），利用行列式点过程、Cholesky分解和拒绝采样，在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization
The George Washington University（乔治华盛顿大学）
经验重放是离线强化学习（RL）方法的关键。通过记忆和重用过去不同策略的经验，经验重放显著提高了RL算法的训练效率和稳定性。实践中的许多决策问题自然涉及多个智能体，需要集中训练分散执行范式下的多智能体强化学习（MARL）。然而，现有的MARL算法往往采用标准的经验重放的过渡均匀采样，而不管他们的重要性。寻找针对MARL体验重播优化的优先采样权重还有待探索。为此，我们提出了MAC-PO，它制定了最佳的优先经验重放多智能体问题作为一个遗憾最小化的采样权重的过渡。这种优化是放松和解决使用拉格朗日乘子的方法，以获得封闭形式的最佳采样权重。通过最小化所产生的政策遗憾，我们可以缩小目前的政策和名义上的最优政策之间的差距，从而获得一个改进的多智能体任务的优先级计划。我们在Predator-Prey和StarCraft Multi-Agent Challenge环境中的实验结果证明了我们方法的有效性，具有更好的重播重要转换的能力，并且优于其他最先进的基线。
2023-02-28 cs.AI cs.LG cs.MA
On the Convergence of Experience Replay in Policy Optimization: Characterizing Bias, Variance, and Finite-Time Convergence
Meta；Northeastern University（东北大学）；University of Waterloo（滑铁卢大学）
本文提出了一种理论框架，分析经验回放中偏差、方差和有限时间收敛性，揭示缓冲大小与样本相关性对策略优化收敛率的影响。
2026-02-02 cs.AI cs.LG
Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University（西北工业大学）
针对优先经验回放（PER）非均匀采样导致Q值估计误差的问题，提出融合改进自注意力网络与双重采样机制的ALAP经验回放算法，在OPENAI gym多类强化学习场景验证了其效率与优势。
2023-10-09 cs.AI cs.LG
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Prioritized offline Goal-swapping Experience Replay
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
在目标条件离线强化学习中，智能体从先前收集的数据中学习，以达到任意目标。由于离线数据仅包含有限数量的轨迹，因此主要挑战是如何生成更多数据。目标交换通过切换轨迹目标来生成额外的数据，但在这样做的同时会产生大量无效的轨迹。为了解决这个问题，我们提出了优先目标交换经验重放（PGSER）。PGSER使用预训练的Q函数为允许达到目标的目标交换转换分配更高的优先级权重。在实验中，PGSER在广泛的基准任务中显着改善了基线，包括挑战以前不成功的灵巧手操作任务。
2023-03-05 cs.AI cs.LG
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich（慕尼黑技术大学）；University St. Gallen（圣加尔LEN大学）
本文提出ReaPER，通过引入时间差误差可靠性度量，改进优先经验回放，实现更高效的强化学习
2025-12-15 cs.LG stat.ML
ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay
North Carolina State University（北卡罗来纳州立大学）
经验重放是解决深度强化学习（RL）中样本效率低下的重要技术，但由于重放缓冲区中成功经验不成比例地少，因此在从二进制和稀疏奖励中学习时面临困难。最近提出了后见之明经验重放（HER）通过操纵不成功的转换来解决这个困难，但是在这样做时，HER在重放缓冲区经验中引入了显著的偏差，因此实现了样本效率的次优改进。本文分析了HER模型中偏差的来源，并提出了一种简单有效的方法来消除偏差，以最有效地利用HER模型提供的样本效率。我们的方法是基于反事实推理的ARCHER方法，它通过一个折衷来扩展HER模型，使得事后经验的奖励在数值上大于真实的奖励。我们在DeepMind Control Suite的两个连续控制环境中验证了我们的算法- Reacher和Finger，它们模拟了机械臂的操作任务-结合了各种奖励函数，任务复杂性和目标采样策略。我们的实验一致表明，使用更积极的后见之明奖励来对抗偏见可以提高样本效率，从而在计算预算有限的RL应用程序中建立ARCHER的更大优势。
2018-09-07 cs.AI cs.LG stat.ML
Cluster-based Sampling in Hindsight Experience Replay for Robotic Tasks (Student Abstract)
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对稀疏奖励下多目标强化学习训练困难的问题，提出一种基于聚类的HER采样策略，通过聚类模型对回合分组采样以提升样本效率，在OpenAI Gym机器人任务中表现优于基线方法。
2024-01-10 cs.AI cs.RO
Neighborhood Mixup Experience Replay: Local Convex Interpolation for Improved Sample Efficiency in Continuous Control Tasks
MIT（麻省理工学院）；University of Toronto（多伦多大学）；Toyota Research Institute（丰田研究院）
经验回放在提高深度强化学习代理的样本效率方面起着至关重要的作用。经验重放的最新进展提出使用Mixup（Zhang等人，2018）以通过合成样品生成进一步提高样本效率。我们建立在这种技术与邻里混淆经验重放（NMER），几何接地重放缓冲器，插入过渡与他们最近的邻居在状态动作空间。NMER通过仅在具有邻近状态动作特征的转换之间应用Mixup来保持转换流形的局部线性近似。根据NMER，一个给定的过渡的一组国家行动的邻居是动态的和情节不可知的，反过来鼓励更大的政策概括性通过插曲间插值。我们将我们的方法与最近的离线深度强化学习算法相结合，并在连续控制环境中进行评估。我们观察到，NMER将样本效率平均提高了94%（TD3）和29%（SAC），使代理能够有效地重新组合以前的经验，并从有限的数据中学习。
2022-05-18 cs.LG cs.RO cs.SY
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg（奥格斯堡大学）
许多深度强化学习算法的一个重要组成部分是经验重放，它作为存储机制或记忆的经验。这些经验用于训练，并帮助智能体稳定地找到通过问题空间的完美轨迹。然而，经典的经验重放只使用它实际产生的经验，但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法，在不确定的离散环境中创建合成的经验，以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估，我们表明它可以支持智能体更快地学习，甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
Eventual Discounting Temporal Logic Counterfactual Experience Replay
Caltech（加州理工学院）；Penn State（宾夕法尼亚州立大学）；Latitude AI（Latitude人工智能公司）
线性时序逻辑（LTL）提供了一种简化的方式来指定策略优化的任务，否则可能难以用标量奖励函数来描述。然而，标准RL框架可能过于短视，无法找到最大限度的LTL满足政策。本文有两个贡献。首先，我们开发了一个新的价值函数为基础的代理，使用一种技术，我们称之为最终折扣，根据该技术可以找到满足LTL规范的政策，以最高的可实现概率。其次，我们开发了一种新的经验重放方法，通过反事实推理的不同方式来满足LTL规范，从政策上的推出生成政策外的数据。我们的实验，在离散和连续的状态-动作空间进行，证实了我们的反事实经验重放方法的有效性。
2023-03-03 cs.AI cs.LG cs.LO
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构，用于大规模的深度强化学习，使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合：行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互，并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放，只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平，在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory（陆军研究实验室）；Washington State University（华盛顿州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼AI）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
经验重放（ER）通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习（RL）算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER，但到目前为止，它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中，我们介绍了清醒梦的经验重放（LiDER），一个概念上的新框架，允许重放经验，利用代理的当前政策刷新。LiDER由三个步骤组成：首先，LiDER将代理移回过去的状态。其次，从这个状态，LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去，并且可以尝试不同的行为来遇到梦中的新体验。第三，LiDER存储和重用新的体验，如果它比代理先前体验的更好，即，来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略，多工作者RL算法;我们在这项工作中提出了一个案例研究，将LiDER应用于基于演员-评论家的算法。结果显示，LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
VLM-Guided Experience Replay
Nvidia Research（英伟达研究）
本文提出利用VLMs指导经验回放，提升强化学习中样本效率和成功率。
2026-09-29 cs.AI cs.LG
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University（北京大学）
经验重放使非策略强化学习（RL）代理能够利用过去的经验来最大化累积奖励。优先经验重放，加权经验的大小，他们的时间差误差（$|\text{TD}|$）显着提高学习效率。但是，$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题，通过将$|\text{TD}|$与经验价值联系起来，经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外，我们成功地将我们的理论框架扩展到最大熵RL，通过推导软Q学习的这些值度量的上下界，这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量：$|\text{TD}|$和经验值。我们的经验表明，在实践中的界限，并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks
University College Dublin（都柏林大学）
本文提出想象后见经验回放方法，通过想象数据、后见经验回放和好奇心内在奖励解决稀疏奖励多目标任务，在OpenAI Gym Fetch Robotics基准上数据效率平均提升一个数量级。
2023-08-09 cs.LG cs.RO
Reverb: A Framework For Experience Replay
DeepMind（深度思维）；Google Research（谷歌研究院）
强化学习（RL）中训练的一个核心组成部分是经验：用于训练的数据。用于生成和消费这些数据的机制对RL算法的性能有重要影响。在本文中，我们介绍了Reverb：一个高效，可扩展，易于使用的系统，专为RL中的经验重放而设计。Reverb被设计为在分布式配置中高效地工作，多达数千个并发客户端。灵活的API为用户提供了轻松准确地配置重放缓冲区的工具。它包括从缓冲区中选择和删除元素的策略，以及控制采样元素和插入元素之间的比例的选项。本文介绍了Reverb的核心设计，给出了如何应用它的例子，并提供了Reverb的性能特性的实证结果。
2021-02-09 cs.AI cs.DC cs.LG
Large Batch Experience Replay
ISAE-SUPAERO（法国高等航空航天学院）；Université de Toulouse（图卢兹大学）；Google Research（谷歌研究院）
已经提出了几种算法来对深度强化学习（RL）代理的重放缓冲区进行非均匀采样以加速学习，但是很少提供这些采样方案的理论基础。其中，优先经验重放作为一个超参数敏感的启发式，即使它可以提供良好的性能。在这项工作中，我们投重放缓冲区采样问题作为一个重要性采样的梯度估计。这允许导出理论上最佳的采样分布，从而产生最佳的理论收敛速度。阐述了理想抽样方案的知识，我们展示了优先经验重放的新的理论基础。最佳采样分布是棘手的，我们做了几个近似提供良好的效果在实践中，并介绍，除其他外，LaBER（大批量经验重放），一个易于编码和有效的方法，用于采样重放缓冲区。LaBER可以与Deep Q-Networks，分布式RL代理或Actor-Critic方法相结合，与其实现的基础代理和其他优先级方案相比，在各种Atari游戏和PyBullet环境中产生更好的性能。
2022-06-14 cs.LG
Revisiting Fundamentals of Experience Replay
MILA, Université de Montréal（MILA，蒙特利尔大学）；Google Brain（谷歌大脑）；DeepMind
经验重放是深度强化学习（RL）中的非策略算法的核心，但我们的理解仍然存在重大差距。因此，我们提出了一个系统的和广泛的分析经验重放在Q学习方法，专注于两个基本属性：重放能力和学习更新的经验收集的比率（重放率）。我们的添加剂和消融研究颠覆了关于经验重放的传统智慧-发现更大的容量可以大幅提高某些算法的性能，而其他算法则不受影响。反直觉地，我们表明，理论上不接地，未校正的n步回报是唯一有益的，而其他技术赋予有限的好处筛选通过更大的内存。另外，通过直接控制重放比率，我们将文献中以前的观察结果置于上下文中，并在各种深度RL算法中凭经验衡量其重要性。最后，我们得出结论，通过测试一组假设的性质，这些性能的好处。
2020-07-13 cs.LG stat.ML
Event Tables for Efficient Experience Replay
Sony AI（索尼人工智能）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出事件表分层采样（SSET）方法，通过划分经验回放缓冲区为事件表以捕获最优行为子序列，结合优先采样策略，在多个基准环境中验证了其提升学习速度与稳定性的优势。
2023-04-21 cs.AI cs.LG
Directly Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University（西北工业大学）
提出DALAP强化学习训练框架，利用Parallel Self-Attention网络量化分布偏移以补偿误差，并设计Priority-Encouragement机制优化样本筛选，有效提高了收敛速度并降低了训练方差。
2023-11-24 cs.AI cs.LG
Mixing Human Demonstrations with Self-Exploration in Experience Replay for Deep Reinforcement Learning
Monash University（莫纳什大学）
我们研究了在回放缓冲区中使用人类演示数据进行深度强化学习的效果。我们使用一个策略梯度方法与修改后的经验重放缓冲区，其中一个人的演示经验，以给定的概率进行采样。我们分析了不同的比率使用演示数据在一个任务中，代理试图达到一个目标，同时避免障碍。我们的研究结果表明，虽然纯自我探索和纯演示训练的代理人有类似的成功率，但纯演示模型收敛速度更快，步骤更少。
2021-07-14 cs.AI
Sample Efficient Actor-Critic with Experience Replay
DeepMind；CIFAR（加拿大高级研究院）；Oxford University（牛津大学）
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理，该代理稳定，样本效率高，并且在具有挑战性的环境中表现出色，包括离散57游戏Atari域和几个连续控制问题。为了实现这一点，本文介绍了几个创新，包括截断重要性采样与偏差校正，随机决斗网络架构，和一个新的信任域策略优化方法。
2017-07-10 cs.LG
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出2HER方法，通过双目标重新标记策略提升稀疏奖励多目标任务中的学习效果。
2026-02-14 cs.AI cs.LG cs.RO
Remember and Forget for Experience Replay
ETH Zurich（苏黎世联邦理工学院）
经验重放（ER）是离线深度强化学习（RL）的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计，从而提高数据效率。然而，当策略偏离过去的行为时，这种更新的准确性可能会恶化，并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放（ReF-ER），一种新的方法，可以增强RL算法与参数化的政策。ReF-ER（1）跳过根据与当前策略太不可能的经验计算的梯度，并且（2）调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现，ReF-ER一贯提高性能的连续行动，关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Curiosity-Driven Multi-Criteria Hindsight Experience Replay
University of California, Irvine（加州大学欧文分校）
处理稀疏奖励是强化学习中的一个长期挑战。最近使用的后见之明方法在各种稀疏奖励任务上取得了成功，但它们在复杂任务上失败了，例如在模拟中用机器人手臂堆叠多个块。好奇心驱动的探索使用学习动力学模型的预测误差作为内在奖励已被证明是有效的探索一些稀疏奖励环境。我们提出了一种方法，结合后见之明与好奇心驱动的探索和课程学习，以解决具有挑战性的稀疏奖励块堆叠任务。我们是第一个在没有人类演示的情况下仅使用稀疏奖励堆叠两个以上块的人。
2019-06-09 cs.AI cs.LG cs.RO
Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning
The Chinese University of Hong Kong（香港中文大学）；Southern University of Science and Technology（南方科技大学）；Shenzhen Research Institute of the Chinese University of Hong Kong（香港中文大学深圳研究院）
针对密集人群中无示范数据的机器人导航问题，提出融合HER与CL的强化学习方法，以克服稀疏奖励并学习安全、高效、无碰撞的人类感知导航策略。
2021-10-09 cs.AI cs.LG cs.RO
Experience Replay Using Transition Sequences
Singapore University of Technology and Design（新加坡科技设计大学）
经验回放是提高强化学习算法样本效率最常用的方法之一。在这项工作中，我们提出了一种方法来选择和重放序列的过渡，以加速学习的强化学习代理在关闭的政策设置。除了选择适当的序列，我们还人工构建过渡序列使用从以前的代理环境交互收集的信息。这些序列，当重放时，允许价值函数信息滴下到状态/状态动作空间的更大部分，从而最大限度地利用代理的经验。我们展示了我们的方法的标准强化学习任务的修改版本，如山地车和水坑世界的问题和经验表明，它可以更好地学习价值函数相比，其他形式的经验重放。此外，我们简要地讨论了一些可能的扩展这项工作，以及应用程序和这种方法可能是特别有用的情况。
2019-09-13 cs.AI
Diversity-based Trajectory and Goal Selection with Hindsight Experience Replay
Imperial College London（帝国理工学院）；Araya Inc.（Araya公司）
后见之明经验重放（HER）是一种目标重新标记技术，通常与非策略深度强化学习算法一起使用，以解决目标导向的任务;它非常适合只提供稀疏奖励的机器人操作任务。在HER中，轨迹和过渡都被均匀地采样用于训练。然而，并不是所有代理的经验都对训练有同样的贡献，因此天真的均匀采样可能会导致低效的学习。在本文中，我们提出了基于多样性的轨迹和目标选择HER（DTGSH）。首先，根据目标状态的多样性采样轨迹的行列式点过程（DPP）建模。其次，通过使用k-DPPs从轨迹中选择具有不同目标状态的转移。我们在模拟机器人环境中评估了DTGSH在五个具有挑战性的机器人操作任务中的表现，在这些任务中，我们表明我们的方法可以比其他最先进的方法更快地学习，并在所有任务中达到更高的性能。
2021-11-09 cs.LG cs.RO
