Qgraph-bounded Q-learning: Stabilizing Model-Free Off-Policy Deep Reinforcement Learning
Robert Bosch GmbH（罗伯特·博世有限公司）；TU Berlin（柏林工业大学）
在最先进的无模型离线深度强化学习中，重放存储器用于存储过去的经验并导出所有网络更新。即使状态空间和动作空间都是连续的，重放存储器也只保存有限数量的转换。我们在数据图中表示这些转换，并将其结构与软发散联系起来。通过选择一个具有良好结构的子图，我们构造了一个简化的马尔可夫决策过程，当更多的数据进入时，可以有效地计算出精确的Q值。子图及其相关的Q值可以表示为QGraph。我们证明了简化MDP中每个过渡的Q值是原始连续Q学习问题中相同过渡的Q值的下界。通过在时间差分学习中使用这些下界，我们的方法QG-DDPG不太容易出现软发散，并且表现出更高的样本效率，同时对超参数更具鲁棒性。QGraphs还保留来自重放存储器中已被覆盖的转换的信息，这可以降低算法对重放存储器容量的敏感性。
2020-07-15 cs.LG stat.ML
Maximum Entropy-Regularized Multi-Goal Reinforcement Learning
Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
在多目标强化学习中，智能体通过目标条件策略学习实现多个目标。在学习过程中，智能体首先将轨迹收集到重放缓冲区中，然后随机选择这些轨迹进行重放。然而，在重放缓冲区中实现的目标往往偏向于行为策略。从贝叶斯的角度来看，当没有关于目标分布的先验知识时，智能体应该从不同的已实现目标中均匀地学习。因此，我们首先提出了一种新的多目标强化学习目标的加权熵的基础上。这一目标鼓励代理人最大化预期回报，以及实现更多样化的目标。其次，我们开发了一个基于最大熵的优先级框架，以优化提出的目标。为了评估这个框架，我们将其与深度确定性策略梯度相结合，无论是否有后见之明经验重放。在OpenAI Gym的一组多目标机器人任务上，我们将我们的方法与其他基线进行了比较，并在性能和样本效率方面都显示出了有希望的改进。
2020-05-24 cs.LG stat.ML
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出一种名为不确定性驱动的回放记忆（UDRM）的经验回放缓冲区，通过基于不确定性估计更新存储的记忆，使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
Prioritized Experience Replay
Google DeepMind（谷歌DeepMind）
经验回放让在线强化学习代理记住并重用过去的经验。在先前的工作中，经验转换是从重放存储器中均匀采样的。然而，这种方法只是以它们最初经历的相同频率重放转换，而不管它们的重要性。在本文中，我们开发了一个优先考虑经验的框架，以便更频繁地重播重要的转换，从而更有效地学习。我们在Deep Q-Networks（DQN）中使用优先级经验重放，这是一种强化学习算法，在许多Atari游戏中实现了人类水平的性能。具有优先体验重播的DQN实现了新的最先进技术，在49场比赛中的41场比赛中表现优于DQN。
2016-02-25 cs.LG
Reverse Experience Replay
Bauman Moscow State Technical University（鲍曼莫斯科国立技术大学）
本文描述了深度Q学习的一种改进，称为反向经验重放（Reverse Experience Replay，也称为RER），它解决了稀疏奖励的问题，并通过以相反的顺序连续采样转换来帮助处理奖励最大化任务。在具有足够的训练经验和足够的经验回放记忆容量的任务中，具有反向经验回放的深度Q学习网络与具有标准经验回放的Double DQN和vanilla DQN相比显示出具有竞争力的结果。此外，RER在缺乏经验和重放记忆能力的任务中取得了显着增加的结果。
2019-10-22 cs.AI cs.LG stat.ML
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Learning offline: memory replay in biological and artificial reinforcement learning
Centre de Recerca Matemàtica（数学研究中心）；McGill University（麦吉尔大学）；Mila（米拉）；University of Bristol（布里斯托大学）
学习在一个环境中采取行动以获得最大的回报是大脑的关键功能之一。这个过程通常在强化学习的框架内被概念化，强化学习在机器学习和人工智能（AI）中也获得了突出地位，作为优化决策的一种方式。生物和机器强化学习的一个共同点是重新激活先前经历的事件，称为重放。重放对于生物神经网络中的记忆巩固非常重要，并且是稳定深度神经网络中学习的关键。在这里，我们回顾了最近的发展有关重放在神经科学和人工智能领域的功能作用。互补的进展表明，重放如何支持学习过程，包括概括和持续学习，提供机会在两个领域转移知识，以促进对生物和人工学习和记忆的理解。
2021-09-21 cs.AI cs.LG q-bio.NC
When to use parametric models in reinforcement learning?
DeepMind（深度思维）
我们研究了参数模型在强化学习中何时以及如何最有用的问题。特别是，我们看看参数模型和经验重放之间的共性和差异。基于重放的学习算法与基于模型的方法具有重要的特征，包括计划能力：在没有额外数据的情况下使用更多的计算来改进预测和行为。我们讨论了什么时候期望从这两种方法中获益，并在此背景下解释以前的工作。我们假设，在适当的条件下，重放为基础的算法应该是有竞争力的或更好的基于模型的算法，如果该模型只用于生成虚构的转换从观察到的状态的更新规则，否则模型自由。我们在Atari 2600视频游戏上验证了这一假设。基于回放的算法达到了最先进的数据效率，改善了参数模型的先前结果。
2019-06-12 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
本文提出了一种受量子计算启发的新的训练范式，用于具有经验重放的深度强化学习（DRL）。与传统的DRL经验重放机制不同，本文提出的量子启发经验重放深度强化学习（DRL-QER）根据经验的复杂度和重放次数（也称为转换）自适应地从重放缓冲区中选择经验，以实现探索和利用之间的平衡。在DRL-QER中，转换首先以量子表示形式表示，然后对转换执行准备操作和折旧操作。在这个过程中，准备操作反映了时间差异误差（TD误差）和经验的重要性之间的关系，同时考虑到折旧操作，以确保过渡的多样性。在Atari 2600游戏上的实验结果表明，DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法，并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
The Role of Diverse Replay for Generalisation in Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文研究强化学习中探索策略和回放缓冲区对多任务泛化的影响，证明增加回放数据多样性可提升零样本泛化能力，并可能通过改进潜在表征惠及类似但不可达的任务。
2023-08-31 cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Augmented Replay Memory in Reinforcement Learning With Continuous Control
Artificial Intelligence Center（人工智能中心）；Faculty of Electrical Engineering（电气工程学院）；Czech Technical University in Prague（捷克理工大学）；Dipartimento di Elettronica, Informazione e Bioingegneria（电子、信息与生物工程系）；Politecnico di Milano（米兰理工大学）
在线强化学习代理目前能够通过将其转换为更高阶的价值函数来处理越来越多的数据。从环境中收集的信息的这种扩展增加了代理的状态空间，使其能够扩展到更复杂的问题，但也增加了通过学习冗余或冲突数据而忘记的风险。为了改进大量数据的近似，存储在重放存储器缓冲区中的随机小批量的过去经验通常在每个学习步骤中重放。这项工作的灵感来自于一种生物学机制，这种机制是人类大脑高级认知功能的保护层：主动记忆巩固通过动态处理新的记忆来减轻遗忘以前记忆的影响。类似的动态实现了一个建议的增强记忆重放AMR能够优化重放的经验，从代理的记忆结构，通过改变或增强其相关性。实验结果表明，能够增加特定记忆的重要性的改进AMR增强函数能够进一步提高处理连续动作域复杂性的学习算法的稳定性和收敛速度。
2019-12-29 cs.AI cs.LG cs.NE
Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））；OMELET
针对深度强化学习在组合优化中样本效率低的问题，提出对称重放训练（SRT）方法，利用高奖励样本免费探索对称区域，提升多种DRL方法在真实任务中的样本效率。
2024-07-17 cs.LG
OER: Offline Experience Replay for Continual Offline Reinforcement Learning
Westlake University（西湖大学）；Fudan University（复旦大学）
针对持续离线强化学习中的灾难性遗忘和分布偏移问题，提出基于模型的离线经验回放算法OER，通过MBES方案筛选数据并引入DBC架构，在Mujoco环境中显著优于现有基线。
2024-04-20 cs.LG
Sample Efficiency in Sparse Reinforcement Learning: Or Your Money Back
Northwestern University（西北大学）
稀疏奖励是强化学习中的一个难题，在某些具有复杂动态的领域（如现实世界的机器人）中可能是不可避免的。后见之明经验重放（HER）是最近的重放记忆开发，允许代理通过改变记忆来显示它们是成功的，即使它们可能不是，从而在稀疏设置中学习。虽然，经验上，HER已经显示出一些成功，但它不能保证从代理的重放存储器中提取的样本的组成。这可能导致只包含具有零值奖励的记忆的小批量，或者智能体学习完成HER调整的目标而不是实际目标的不期望的策略。在本文中，我们介绍了Or Your Money Back（OYMB），一个重放内存采样器，旨在与HER.OYMB一起工作，通过提供一个直接的接口到代理的重放内存，允许控制小批量化妆，以及一个优先的查找方案，在HER调整的内存之前优先考虑真实目标内存，从而提高了稀疏设置中的训练效率。我们在三个独特的环境中测试了我们的方法。我们的研究结果表明，使用HER与OYMB相结合优于单独使用HER，并导致代理学习更快地完成真正的目标。
2020-08-28 cs.AI cs.LG stat.ML
Remember and Forget Experience Replay for Multi-Agent Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
我们提出的经验重放（ReF-ER）算法的记忆和忘记多智能体强化学习（MARL）的扩展。ReF-ER被证明在从OpenAI Gym到复杂流体流动的连续控制问题中优于最先进的算法。在MARL中，代理之间的依赖关系包括在状态值估计器和环境动态建模通过使用的重要性权重的参考ER。在协作环境中，当使用个人奖励估计价值时，我们发现最佳性能，并且我们忽略了其他动作对转换图的影响。我们在斯坦福智能系统实验室（SISL）环境中对ReF-ER MARL的性能进行了基准测试。我们发现，采用一个单一的前馈神经网络的政策和价值函数在Ref-ER MARL，优于最先进的算法，依赖于复杂的神经网络架构。
2022-09-02 cs.AI cs.LG math.OC
Characterizing Replay Retention Under Dynamics Shift in Model-Based Reinforcement Learning
Brown University（布朗大学）
本研究刻画了基于模型的强化学习中动力学变化下回放保留的权衡，提出变化幅度和年龄-陈旧度AUC两个量，并验证了回放策略选择依赖于变化幅度与动力学演化方式。
2026-09-17 cs.LG cs.RO
Analysis of Stochastic Processes through Replay Buffers
Technion Institute of Technology（以色列理工学院）；NVIDIA Research（英伟达研究院）；Bosch Center of AI（博世人工智能中心）
重放缓冲区是许多强化学习方案中的关键组件。然而，它们的理论性质尚未完全理解。在本文中，我们分析了一个系统，其中随机过程X被推入重放缓冲区，然后随机采样，以产生一个随机过程Y从重放缓冲区。我们提供了一个分析的性质，如平稳性，马尔可夫性和自相关性的原始过程的属性的采样过程。我们的理论分析揭示了为什么重放缓冲器可能是一个很好的去相关器。我们的分析提供了理论工具，证明了基于重放缓冲区的算法，这是普遍的强化学习计划的收敛性。
2022-06-26 cs.LG
Double Prioritized State Recycled Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
经验重放使在线强化学习代理能够存储和重用先前与环境交互的经验。在最初的方法中，经验是随机抽样并均匀重放的。先前的工作称为优先经验重放，其中经验被优先化，以便更频繁地重放似乎更重要的经验。本文提出了一种双优先级状态回收（DPSR）经验重放方法，在训练阶段和存储阶段对经验进行优先级排序，并利用状态回收替换记忆中的经验，以充分利用暂时优先级较低的经验。我们在Deep Q-Networks（DQN）中使用了这种方法，并取得了最先进的结果，优于原始方法，并优先考虑了许多Atari游戏的体验重播。
2020-09-21 cs.LG stat.ML
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
针对离线强化学习中状态转移采样技术效果不稳定的问题，提出轨迹回放与优先轨迹回放机制，通过轨迹层面采样及优先级排序提升学习效率，在D4RL上验证了其对现有离线RL算法的性能提升作用。
2025-03-21 cs.AI cs.LG
Reinforcement learning with experience replay and adaptation of action dispersion
Warsaw University of Technology（华沙工业大学）
有效的强化学习需要通过动作分布的分散来定义探索和利用的适当平衡。然而，这种平衡取决于任务、学习过程的当前阶段和当前环境状态。指定动作分布分散度的现有方法需要依赖于问题的超参数。在本文中，我们建议使用以下原则自动指定动作分布分散度：该分布应具有足够的分散度，以评估未来的政策。为此，应该调整分散以确保重放缓冲器中的动作的足够高的概率（密度）和生成它们的分布的模式，但该分散不应该更高。通过这种方式，可以根据缓冲区中的操作有效地评估策略，但是当此策略收敛时，操作中的探索随机性会降低。上述原则在具有挑战性的基准测试Ant、HalfCheetah、Hopper和Walker2D上得到了验证，结果良好。我们的方法使动作标准差收敛到类似于试错优化的值。
2022-07-30 cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学智能城市物联网国家重点实验室）；School of Artificial Intelligence Shenzhen Polytechnic University（深圳职业技术学院人工智能学院）
针对现有经验回放方法在现实高维场景中效率低的问题，提出基于多样性的高效经验回放（EDER），利用行列式点过程、Cholesky分解和拒绝采样，在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
Endpoint Replay: Compressing the Recency Buffer in Deep Reinforcement Learning
研究在深度强化学习中压缩近期缓冲区的方法，提出存储相连n步序列链端点派生的代表性转换的压缩方法，经实证评估，该方法防止系统偏差，在相关环境和基准测试中与传统大型缓冲区性能相当。
2026-07-29 cs.LG
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich（慕尼黑技术大学）；University St. Gallen（圣加尔LEN大学）
本文提出ReaPER，通过引入时间差误差可靠性度量，改进优先经验回放，实现更高效的强化学习
2025-12-15 cs.LG stat.ML
Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Glasgow（格拉斯哥大学）
针对LLM反学习中在线策略优化对困难样本利用不足的问题，提出ReRULE方法，通过离策略重放缓冲区存储并复用低奖励困难样本，在保持通用性的同时提升反学习效率。
2026-06-16 cs.CL cs.LG
Replay-enhanced Continual Reinforcement Learning
Tsinghua University（清华大学）；The University of British Columbia（不列颠哥伦比亚大学）；Tencent（腾讯）
本文提出 RECALL 方法，通过自适应归一化和策略蒸馏解决持续强化学习中回放导致的奖励尺度偏置与分布偏移问题，显著提升新任务可塑性并避免灾难性遗忘。
2023-11-20 cs.AI cs.LG
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
许多现实世界的问题，如网络数据包路由和城市交通控制，自然建模为多智能体强化学习（RL）问题。然而，现有的多智能体RL方法通常在问题大小方面的规模很差。因此，一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习，最流行的多智能体RL方法，引入了非平稳性，使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法，解决这个问题：1）使用多代理变量的重要性采样自然衰减过时的数据和2）条件每个代理的价值函数上的指纹，消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实，这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning
L3S Research Center（L3S研究中心）；Airbus（空中客车公司）；Zhejiang University（浙江大学）；University of Hamburg（汉堡大学）
针对深度强化学习的灾难性遗忘问题，提出基于GWR自组织网络的地图式经验回放方法，通过合并相似样本精简记忆，实现内存大幅减少且性能损失微小。
2023-08-28 cs.AI cs.LG cs.RO
Augmenting Replay in World Models for Continual Reinforcement Learning
Monash University（莫纳什大学）；Cerenaut（塞雷诺特公司）
提出WMAR算法，通过内存高效分布匹配重放缓冲区增强DreamerV3世界模型，在持续强化学习中减少遗忘并提升技能迁移，实验验证其有效性。
2024-07-16 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
Stable Continual Reinforcement Learning via Diffusion-based Trajectory Replay
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies（Polixir科技公司）
本文提出DISTR算法，利用扩散模型记忆并回放高回报轨迹分布，结合优先级机制，在Continual World基准上实现稳定性和可塑性的平衡，有效缓解持续强化学习中的灾难性遗忘。
2024-11-16 cs.LG
Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay
Nanjing University（南京大学）；Chinese University of Hong Kong（香港中文大学）
本研究提出双生成回放框架，结合扩散模型与行为克隆，解决持续离线强化学习中的遗忘与迁移问题，实现高保真回放并提升性能。
2024-04-18 cs.AI cs.LG
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演（HER）旨在通过目标重新标记来解决这两个挑战。然而，HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中，我们提出了多步后见之明经验重放（MHER），结合多步重新标记的回报的基础上$n$ -步骤重新标记，以提高样本效率。尽管$n$ -步骤重新标记的优点，我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题，提出了两种降低偏置的MHER算法：MHER（$λ$）和基于模型的MHER（MMHER）。MHER（$λ$）利用了$λ$的回报，而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明，我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见，并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning
Rutgers University（罗格斯大学）；AMD；MBZUAI
针对MoE大语言模型强化学习中路由器漂移导致的不稳定性问题，提出预测性路由重放方法，通过轻量级演化预测器减少路由不匹配，提升训练稳定性和性能。
2026-06-02 cs.AI cs.LG
Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations
Artificial Intelligence Research Institute FRC CSC RAS（俄罗斯科学院计算机科学与控制研究中心人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Moscow Aviation Institute（莫斯科航空学院）
目前，深度强化学习（RL）在复杂的游戏和机器人环境中显示出令人印象深刻的结果。通常，这些结果是以巨大的计算成本为代价实现的，并且需要代理与环境之间的交互事件的数量令人难以置信。提高强化学习方法的样本效率主要有两种途径--使用分层方法和专家演示。在本文中，我们提出了这些方法的组合，允许代理使用低质量的演示在复杂的基于视觉的环境中有多个相关的目标。我们的健忘经验重放（Forger）算法有效地处理专家数据中的错误，并减少质量损失时，适应动作空间和状态表示代理的能力。我们提出的面向目标的重放缓冲区结构允许代理自动突出子目标，以解决复杂的分层任务的演示。我们的方法是通用的，可以集成到各种非政策的方法。它超越了所有已知的现有最先进的强化学习方法，在各种模型环境中使用专家演示。基于我们算法的解决方案击败了著名的MineRL竞赛的所有解决方案，并允许代理在Minecraft环境中开采钻石。
2020-06-17 cs.AI cs.LG
B2RL: An open-source Dataset for Building Batch Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
批处理强化学习（BRL）是强化学习领域的一个新兴研究领域。它只从静态数据集（即重放缓冲区）学习，而不与环境交互。在离线环境中，现有的重放经验被用作BRL模型的先验知识，以找到最优策略。因此，生成重放缓冲区是BRL模型基准测试的关键。在我们的B2RL（Building Batch RL）数据集中，我们收集了来自建筑管理系统的真实数据，以及模拟环境中几种行为策略生成的缓冲区。我们相信它可以帮助建立BRL研究专家。据我们所知，我们是第一个为BRL学习而开源构建数据集的公司。
2022-09-30 cs.LG
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
An Optimistic Perspective on Offline Reinforcement Learning
Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
使用记录交互的固定离线数据集的非策略强化学习（RL）是现实世界应用中的重要考虑因素。本文使用DQN重播数据集研究了离线RL，该数据集包括DQN代理在60个Atari 2600游戏上的整个重播体验。我们证明了最近的非策略深度RL算法，即使只在这个固定数据集上训练，也优于完全训练的DQN代理。为了增强离线设置中的泛化能力，我们提出了一种鲁棒的Q-学习算法--随机包围混合算法（REM），该算法在多个Q值估计的随机凸组合上强制执行最优Bellman一致性。在DQN重放数据集上训练的离线REM超过了强大的RL基线。消融研究强调了离线数据集大小和多样性以及算法选择在我们的积极结果中的作用。总的来说，这里的结果提出了一个乐观的观点，即在足够大和多样化的离线数据集上训练的鲁棒RL算法可以产生高质量的策略。DQN重播数据集可以作为离线RL基准，并且是开源的。
2020-06-22 cs.AI cs.LG stat.ML
Efficient Sparse-Reward Goal-Conditioned Reinforcement Learning with a High Replay Ratio and Regularization
NEC Corporation（NEC公司）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）
本文将高回放比正则化方法REDQ结合事后经验回放与目标Q值界定，扩展到稀疏奖励目标条件任务，并通过组件简化显著提升样本效率。
2023-12-10 cs.LG
Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）
深度离线强化学习（RL）的最新进展使得从离线数据集训练强大的机器人代理成为可能。然而，取决于所训练的代理的质量和所考虑的应用，通常期望通过进一步的在线交互来微调这样的代理。在本文中，我们观察到，状态-动作分布偏移可能会导致严重的自举错误在微调，这破坏了良好的初始政策，通过离线RL。为了解决这个问题，我们首先提出了一个平衡的重放方案，优先考虑在网上遇到的样本，同时也鼓励使用近的政策样本从离线数据集。此外，我们利用多个离线悲观训练的Q函数，从而防止在初始训练阶段对新状态下的不熟悉动作过于乐观。我们表明，所提出的方法提高了样本的效率和最终性能的微调机器人代理在各种运动和操作任务。我们的代码可在https://github.com/shlee94/Off2OnRL上获得。
2021-10-30 cs.LG cs.RO
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
控制学习的历史一直是两大类算法之间令人兴奋的来回：规划和强化学习。规划算法可以有效地在长时间范围内进行推理，但假设可以访问本地策略和无冲突路径上的距离度量。强化学习擅长学习政策和状态的相对值，但无法进行长期规划。尽管每种方法在各个领域都取得了成功，但需要在有限反馈和高维观察的情况下进行长期推理的任务对于规划和强化学习算法仍然极具挑战性。令人沮丧的是，这类任务可能是最有用的，因为它们设计简单（人类只需要提供一个示例目标状态），并且避免了奖励塑造，这可能会使智能体偏向于寻找次优解决方案。我们引入了一种通用的控制算法，该算法结合了规划和强化学习的优势，以有效地解决这些任务。我们的目标是将达到一个遥远目标状态的任务分解为一系列更容易的任务，每个任务对应于达到一个子目标。规划算法可以自动找到这些航路点，但前提是提供适当的环境抽象-即由节点和边组成的图。我们的主要观点是，这个图可以通过强化学习来构建，其中目标条件价值函数提供边缘权重，节点被视为重放缓冲区中以前看到的观察结果。通过在回放缓冲区中使用图搜索，我们可以自动生成此子目标序列，即使在基于图像的环境中也是如此。我们的算法，搜索重放缓冲区（SoRB），使代理解决稀疏奖励任务超过100步，并概括大大优于标准RL算法。
2019-06-12 cs.AI cs.LG cs.RO
Hindsight Preference Replay Improves Preference-Conditioned Multi-Objective Reinforcement Learning
School of Computer Science, University of Galway（计算机科学学院，Galway大学）
HPR通过回放增强策略改进CAPQL，提升多目标强化学习中偏好条件下的超体积和预期效用性能。
2026-01-08 cs.AI cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning
East China Normal University（华东师范大学）
针对深度强化学习训练中数据利用率低、可解释性不足的问题，提出基于因果推断的经验回放方法CIER，通过时间序列分割与因果因子识别提升训练效果，结合优先经验回放仍具有效性。
2024-05-14 cs.AI cs.LG
Back-stepping Experience Replay with Application to Model-free Reinforcement Learning for a Soft Snake Robot
Michigan State University（密歇根州立大学）
提出回溯经验回放（BER）技术，通过构建反向轨迹并蒸馏回放经验提升近似可逆系统的离策略强化学习效率，在软体蛇形机器人导航中实现100%成功率和48%的速度提升。
2024-09-23 cs.LG cs.RO
Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2
SRI International（斯坦福国际研究院）
应对深度终身强化学习（LRL）挑战的一种方法是仔细管理智能体的学习经验，学习（不忘记）并构建内部元模型（任务，环境，智能体和世界）。生成重放（GR）是一种生物启发的重放机制，它通过从随时间更新的内部生成模型中提取的自标记示例来增强学习体验。我们提出了一个用于LRL的GR版本，它满足了两个必要条件：（a）使用深度RL学习的策略潜在表示的内省密度建模，以及（b）无模型端到端学习。在本文中，我们研究了无模型GR的三种深度学习架构，从一个简单的GR开始，添加成分以实现（a）和（b）。我们评估我们提出的算法在三个不同的情况下，包括任务的星际争霸2和Minigrid域。我们报告了几个关键的研究结果，显示了设计选择对定量指标的影响，包括迁移学习，对看不见的任务的概括，任务改变后的快速适应，任务专家的表现，以及灾难性遗忘。我们观察到，我们的GR防止了深度RL代理的潜在向量空间的特征到动作映射的漂移。我们还显示了在建立终身学习指标的改进。我们发现，一个小的随机重放缓冲区显着提高了训练的稳定性。总的来说，我们发现“隐藏重放”（一种众所周知的类增量分类架构）是最有前途的方法，它推动了GR中最先进的LRL，并观察到睡眠模型的架构对于提高性能可能比使用的重放类型更重要。我们的实验只需要6%的训练样本，就可以在大多数星际争霸2场景中达到80-90%的专家性能。
2022-08-16 cs.AI cs.LG
Associative Memory Based Experience Replay for Deep Reinforcement Learning
University of Notre Dame（圣母大学）
针对优先经验回放在CPU/GPU上因不规则访存导致的高延迟，本文提出软硬件协同的AMPER，以AM友好采样替代树遍历并设计并行存内搜索架构，在保持学习性能的同时将延迟降低55至270倍。
2022-07-16 cs.AR cs.ET cs.LG
Higher Replay Ratio Empowers Sample-Efficient Multi-Agent Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）；Nanjing University（南京大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Microsoft Research Asia（微软亚洲研究院）
针对多智能体强化学习样本效率低下的问题，研究提出提高每次环境交互后的梯度更新频率（即重放比），在6个SMAC任务上的实验验证该方法可显著提升3种MARL方法的样本效率，且代码已开源。
2024-04-15 cs.AI cs.LG cs.MA
Invariant Transform Experience Replay: Data Augmentation for Deep Reinforcement Learning
Guangdong University of Technology（广东工业大学）；Shanghai Jiao Tong University（上海交通大学）；Chinese University of Hong Kong（香港中文大学）
深度强化学习（RL）是一种很有前途的自适应机器人控制方法，但目前其在机器人领域的应用受到高样本要求的阻碍。为了缓解这个问题，我们建议利用机器人任务中存在的对称性。直观地说，来自观察到的轨迹的对称性定义了使可行RL轨迹的空间保持不变的变换，并且可以用于生成新的可行轨迹，这些轨迹可以用于训练。基于这种数据增强的想法，我们制定了一个通用的框架，称为不变变换经验重放，我们提出了两种技术：（i）万花筒经验重放利用反射对称性和（ii）目标增强的经验重放，利用宽松的目标定义。在OpenAI Gym的Fetch任务中，我们的实验结果显示学习率和成功率显著提高。特别是，我们达到了13，3，和5倍的加速分别在推，滑动，和拾取和放置任务中的多目标设置。在有障碍的类似任务中也观察到了性能的提高，我们成功地在一个真正的Baxter机器人上部署了一个经过训练的策略。我们的工作表明，RL轨迹上的不变变换是一种很有前途的方法，可以加速深度RL的学习。
2020-07-05 cs.AI cs.LG cs.RO
Selective experience replay compression using coresets for lifelong deep reinforcement learning in medical imaging
Rice University（莱斯大学）；McGovern Medical School, UTHealth Houston（德克萨斯大学健康科学中心休斯顿麦戈文医学院）；The Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）；University of Maryland School of Medicine（马里兰大学医学院）
提出一种保持奖励分布的coreset压缩技术，用于压缩终身深度强化学习中的选择性经验回放缓冲区，在医学影像定位任务中验证了其在大幅减少存储的同时能保持模型性能。
2024-01-09 cs.CV cs.LG
