Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
University of Alberta（阿尔伯塔大学）；Amii（艾伯塔机器智能研究所）；National Research Council of Canada（加拿大国家研究委员会）；CIFAR Canada AI Chair（CIFAR加拿大人工智能首席科学家）
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题，提出增量方法AVG及配套归一化缩放技术，在仿真基准上性能媲美批量方法，首次实现真实机器人的增量式深度强化学习。
2025-05-21 cs.AI cs.LG cs.RO
Introspective Experience Replay: Look Back When Surprised
Google AI Research Lab（谷歌人工智能研究实验室）
在强化学习（RL）中，基于经验回放的采样技术通过消除虚假相关性在促进收敛方面发挥着至关重要的作用。然而，广泛使用的方法，如均匀经验重放（UER）和优先经验重放（PER）已被证明分别具有次优收敛和高种子敏感性。为了解决这些问题，我们提出了一种新的方法，称为IntrospectiveExperience Replay（IER），它在令人惊讶的事件之前有选择地对一批数据点进行采样。我们的方法建立在理论上健全的反向经验重放（RER）技术，已被证明可以减少偏差的Q-学习型算法的输出与线性函数近似。然而，当使用神经函数逼近时，这种方法并不总是实用或可靠的。通过实证评估，我们证明了IER与神经功能近似相比，在大多数任务中，UER，PER和后见之明经验重放（HER）产生了可靠和优越的性能。
2023-02-06 cs.LG
Advances in Experience Replay
Carnegie Mellon University（卡内基梅隆大学）
该项目结合了经验重放技术的最新进展，即组合经验重放（CER），优先经验重放（PER）和后见之明经验重放（HER）。我们展示了这些技术与DDPG和DQN方法相结合的结果。CER始终将最新的经验添加到批处理中。PER选择哪些经验应该重播的基础上，他们将如何有益于学习。HER从失败中学习，用实现的目标代替期望的目标，重新计算奖励函数。这些经验回放技术的组合的有效性在各种OpenAI健身房环境中进行了测试。
2018-05-15 cs.LG stat.ML
Beyond Class Marginals: Bounding Rehearsal Gaps without Freezing Class Co-occurrence
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University of Electronic Science and Technology of China（电子科技大学）
本研究提出随机遍历重放（RPR）调度器，在不冻结类别共现的情况下界定重演间隔，通过平衡类别边际并控制间隔上限，在ER-ACE实验中提升最终平均准确率0.72-1.67个百分点。
2026-09-23 cs.AI cs.LG stat.ML
Small batch deep reinforcement learning
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Google DeepMind（谷歌DeepMind）
针对深度强化学习中批量大小常被忽视的问题，通过广泛实证研究发现减小批量大小可显著提升性能，并辅以实证分析探究该反直觉现象的成因。
2023-10-05 cs.AI cs.LG
Finite-Time Analysis of Temporal Difference Learning with Experience Replay
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对时序差分（TD）学习的有限时间行为研究缺口及经验回放理论影响不明问题，本文通过马尔可夫噪声项分解，给出带经验回放TD学习的有限时间误差界，证明回放缓冲区和小批量大小可有效控制恒定步长误差。
2025-04-15 cs.AI cs.LG
Understanding the effect of varying amounts of replay per step
University of Alberta（阿尔伯塔大学）
基于模型的强化学习使用模型进行规划，其中可以通过使用更多的计算来改进代理的预测和策略，而无需来自环境的额外数据，从而提高样本效率。然而，学习模型的准确估计是困难的。随后，自然的问题是，我们是否可以获得与无模型方法规划类似的好处。经验重放是许多无模型算法的重要组成部分，通过提供一种机制来存储过去的经验，以便在梯度计算过程中进一步重用，从而实现样本高效学习和稳定性。先前的工作已经建立了模型之间的联系，并通过与后者的规划经验重放。这涉及到在每个步骤中增加对小批量进行采样并用于更新的次数（每步的重放量）。我们试图利用这种联系，在一个著名的无模型算法：深度Q网络（DQN）在山地车环境中，对每一步不同的重放量的影响进行系统的研究。我们的经验表明，增加重放提高DQN的样本效率，减少其性能的变化，并使其更强大的超参数的变化。总而言之，这朝着更好的部署算法迈出了一步。
2023-02-20 cs.AI cs.LG
Rollout-Level Advantage-Prioritized Experience Replay for GRPO
Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系）；Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心）
针对GRPO样本效率低的问题，提出轨迹级经验回放缓冲器，通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样，在多个数学基准上显著提升性能。
2026-09-09 cs.AI cs.LG
Towards Batch-to-Streaming Deep Reinforcement Learning for Continuous Control
Department of Information Engineering University of Padova（信息工程系帕多瓦大学）
本文提出两种流式深度强化学习算法，旨在与现有批量RL方法兼容，适用于设备端微调任务。算法在标准基准上表现优异，无需复杂超参数调优，并探讨了批量到流式转换的挑战。
2026-10-30 cs.AI cs.LG
Augmented Replay Memory in Reinforcement Learning With Continuous Control
Artificial Intelligence Center（人工智能中心）；Faculty of Electrical Engineering（电气工程学院）；Czech Technical University in Prague（捷克理工大学）；Dipartimento di Elettronica, Informazione e Bioingegneria（电子、信息与生物工程系）；Politecnico di Milano（米兰理工大学）
在线强化学习代理目前能够通过将其转换为更高阶的价值函数来处理越来越多的数据。从环境中收集的信息的这种扩展增加了代理的状态空间，使其能够扩展到更复杂的问题，但也增加了通过学习冗余或冲突数据而忘记的风险。为了改进大量数据的近似，存储在重放存储器缓冲区中的随机小批量的过去经验通常在每个学习步骤中重放。这项工作的灵感来自于一种生物学机制，这种机制是人类大脑高级认知功能的保护层：主动记忆巩固通过动态处理新的记忆来减轻遗忘以前记忆的影响。类似的动态实现了一个建议的增强记忆重放AMR能够优化重放的经验，从代理的记忆结构，通过改变或增强其相关性。实验结果表明，能够增加特定记忆的重要性的改进AMR增强函数能够进一步提高处理连续动作域复杂性的学习算法的稳定性和收敛速度。
2019-12-29 cs.AI cs.LG cs.NE
Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
提出RDA2C算法，将重放数据作为对偶目标，通过优势回归累积策略改进，在MuJoCo和Atari基准上超越PPO等基线。
2026-10-06 cs.AI cs.LG math.OC
Topological Experience Replay
Massachusetts Institute of Technology（麻省理工学院）；Aalto University（阿尔托大学）
本文提出拓扑经验回放方法，通过将经验组织成图并利用广度优先搜索执行价值备份，解决了传统采样忽略后继状态Q值精度的问题，在多种目标达成任务上显著提升了数据效率。
2023-06-26 cs.AI cs.LG
Prompt replay: speeding up grpo with on-policy reuse of high-signal prompts
Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）；Leiden University（莱顿大学）
本文提出Prompt Replay方法，通过在线重用高信号提示提升GRPO训练效率，减少无效提示，提高平均绝对优势，并加快初始准确率提升，但存在过拟合风险。
2026-03-22 cs.AI cs.LG
Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks
Univ. Grenoble Alpes（格勒诺布尔大学）；CEA（法国原子能和替代能源委员会）；CEA, List（法国原子能和替代能源委员会（List））；CEA, Leti（法国原子能和替代能源委员会（Leti））
本文研究全二值神经网络中的类增量学习，通过重新设计训练流程、损失平衡、半监督预训练特征提取器以及比较潜在回放与原生回放，在CIFAR100和CORE50上取得与更大实值模型相当或更优的性能。
2025-03-10 cs.CV cs.LG
RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning
Department of Automation, Tsinghua University（清华大学自动化系）
针对强化学习中无效样本导致学习信号不足的问题，提出群体优先级离策略优化（POPO），通过优先级群体重放和解耦重要性采样，在不增加额外采样开销的情况下提升推理性能。
2026-05-31 cs.AI cs.LG
LocusRL: Diagnosing LLM Reward and Policy Interventions in Competitive Games
Harbin Institute of Technology（哈尔滨工业大学）
LocusRL是一个诊断框架，通过追踪奖励与策略干预在竞争游戏中的实际影响，揭示相似回报下隐藏的学习机制，并提供可验证的修正，从而将聚合结果转化为可操作诊断。
2026-10-06 cs.LG
Router Drift Control: Mitigating Off-Policy Degradation in Mixture-of-Experts Reinforcement Learning
Peking University（北京大学）；Shanghai Innovation Institute（上海创新研究院）；Zhejiang University（浙江大学）；Shanghai Jiaotong University（上海交通大学）；Infrawaves Inc（英锐威夫公司）
针对混合专家强化学习的路由漂移问题，提出 Router Drift Control 方法，结合截断重要性采样在 AIME 2024、2025 数据集上取得显著性能提升。
2026-10-19 cs.AI cs.LG
Manipulating the Distributions of Experience used for Self-Play Learning in Expert Iteration
Maastricht University（马斯特里赫特大学）
ExpertIteration（ExIt）是一个有效的框架，用于从自我游戏中学习游戏策略。ExIt包括训练一个策略来模拟树搜索算法的搜索行为-例如蒙特卡罗树搜索-并使用训练的策略来指导它。然后，通过在指导树搜索算法的实例之间的自我发挥中收集的经验，策略和树搜索可以迭代地相互改进。本文概述了三种不同的方法来操纵从自我发挥收集的数据的分布，以及从收集的数据中批量学习更新的过程。首先，基于它们最初经历的情节的持续时间对批量样本进行加权。其次，在ExIt框架内应用优先经验重放，以优先考虑我们期望从中获得有价值的训练信号的采样经验。第三，一个训练有素的探索性政策是用来多样化的轨迹经历了自我发挥。本文总结了这些操作的影响，在14个不同的棋盘游戏的训练性能评估。我们发现，在一些比赛中，早期训练的表现有了很大的改善，而在14场比赛中，平均只有很小的改善。
2020-05-30 cs.AI cs.LG stat.ML
Enhancing PPO with Trajectory-Aware Hybrid Policies
Iowa State University（爱荷华州立大学）；Translational AI Center（转化人工智能中心）
针对PPO高方差和高样本复杂度问题，提出HP3O算法，利用轨迹重放缓冲区结合FIFO策略和最佳回报轨迹更新策略，降低方差并保证策略改进。
2025-02-21 cs.LG
Learning an Inventory Control Policy with General Inventory Arrival Dynamics
Amazon（亚马逊）；Afresh；Harvard University（哈佛大学）
本文将含一般库存到达动态及订单后处理约束的库存控制建模为外生决策过程，结合深度生成模型重放历史并归约为监督学习，实验证明其盈利与实际表现优于基线及传统系统。
2024-01-22 cs.LG stat.ML
Off-Policy Reinforcement Learning with Loss Function Weighted by Temporal Difference Error
KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
通过离线深度强化学习（RL）训练智能体需要一个大的存储器，称为重放存储器，存储用于学习的过去经验。这些经验被均匀或非均匀地采样，以创建用于训练的批次。当计算损失函数时，非策略算法假设所有样本具有相同的重要性。在本文中，我们假设，培训可以通过分配不同的重要性，每个经验的基础上，他们的时间差（TD）的错误直接在培训目标。我们提出了一种新的方法，在学习阶段计算损失函数时，为每个经验引入一个加权因子。除了在与均匀采样一起使用时提高收敛速度之外，该方法还可以与用于非均匀采样的优先化方法相结合。将所提出的方法与优先级方法相结合，提高了采样效率，同时提高了基于TD的离线RL算法的性能。在OpenAI Gym套件的六个环境中进行的实验证明了所提出方法的有效性。实验结果表明，该方法在三种环境下收敛速度降低了33%~76%，在其他三种环境下返回率提高了11%，成功率提高了3%~10%.
2022-12-26 cs.AI cs.LG
NetForge RL: A Multi-Agent Simulation Environment for Cyber Defense with Durative Actions
本文提出CT-GMARL方法，通过固定步长神经微分方程处理非规则采样警报，解决多智能体强化学习在仿真到现实转换中的瓶颈问题，实验证明其在连续时间POSMDP中的有效性。
2026-07-16 cs.LG cs.MA
AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning
Independent Researcher（独立研究者）
本文提出AEGIS方法，通过层间梯度投影保留预训练的视觉问答能力，避免因梯度不对称导致的性能下降，无需额外数据或缓冲区。
2026-10-02 cs.CV cs.LG
