Directly Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University（西北工业大学）
提出DALAP强化学习训练框架，利用Parallel Self-Attention网络量化分布偏移以补偿误差，并设计Priority-Encouragement机制优化样本筛选，有效提高了收敛速度并降低了训练方差。
2023-11-24 cs.AI cs.LG
Enhancing LLM Agents for Code Generation with Possibility and Pass-rate Prioritized Experience Replay
School of Computer Science, Wuhan University（武汉大学计算机学院）；Northwestern University（西北大学）；University of Macau（澳门大学）
针对代码生成中LLM因稀疏奖励采样冗余程序效率低的问题，提出含束搜索采样、测试、优先经验回放三阶段的BTP流水线，用综合输出可能性与通过率的P2Value筛选回放程序，提升了多个LLM的代码生成性能。
2025-01-11 cs.AI cs.LG
Actor Prioritized Experience Replay
Bilkent University（比尔肯特大学）
一种被广泛研究的深度强化学习（RL）技术，称为优先级经验回放（PER），允许代理从以与其时间差（TD）误差成比例的非均匀概率采样的转换中进行学习。虽然PER是离散动作域中深度RL方法整体性能的最关键组成部分之一，但许多实证研究表明，它在连续控制中的表现远远低于演员-评论家算法。我们从理论上表明，演员网络不能有效地训练具有较大TD误差的过渡。结果，在Q网络下计算的近似策略梯度偏离在最优Q函数下计算的实际梯度。出于这一动机，我们引入了一个新的经验重放采样框架的演员-评论家的方法，这也考虑了问题的稳定性和最近的研究结果背后的PER的经验表现不佳。所介绍的算法提出了一个新的分支PER的改进和调度演员和评论家网络的有效和高效的训练。一组广泛的实验验证了我们的理论主张，并表明，所介绍的方法显着优于竞争的方法，并获得国家的最先进的结果超过标准的政策演员-评论家算法。
2022-09-01 cs.AI cs.LG
Prioritized Level Replay
Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）
具有程序生成内容的环境是测试深度强化学习中系统泛化的重要基准。在此设置中，每个级别都是通过算法创建的环境实例，其变化因素具有唯一配置。在预先指定的水平子集上训练允许测试对看不见的水平的泛化。从一个级别中可以学到什么取决于当前的策略，而之前的工作默认为独立于策略的训练级别的统一采样。我们引入了优先级重放（PLR），这是一个通用框架，用于选择性地对下一个训练级别进行采样，方法是在将来重新访问时优先考虑那些估计学习潜力较高的训练级别。我们显示TD错误有效地估计一个级别的未来学习潜力，当用来指导抽样过程中，诱导一个紧急的课程越来越困难的水平。通过调整训练水平的采样，PLR显着提高了样本效率和普适性的Procgen基准-匹配以前的最先进的测试回报-并很容易与其他方法相结合。与之前的领先方法相结合，PLR将测试返回相对于标准RL基线的最新改进提高到76%以上。
2021-06-12 cs.AI cs.LG
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
Improving Experience Replay with Successor Representation
University of California San Diego（加州大学圣迭戈分校）
优先经验重放是一种强化学习技术，智能体通过重放有用的过去经验来加速学习。这种有用性被量化为重放经验的预期增益，这个量通常近似为预测误差（TD误差）。然而，神经科学的最新研究表明，在生物有机体中，重放的优先级不仅取决于收益，而且取决于“需要”--一个衡量每一次经历与当前情况的预期相关性的数量。重要的是，这个术语目前在诸如优先经验重放之类的算法中没有被考虑。在本文中，我们提出了一种新的方法，优先考虑重播的经验，同时考虑增益和需要。我们提出的算法在基准测试中表现出显着的性能提高，包括Dyna-Q迷宫和Atari游戏的选择。
2022-02-16 cs.AI cs.LG cs.RO
Quantum deep Q learning with distributed prioritized experience replay
Wells Fargo（富国银行）
针对量子强化学习采样复杂度高的问题，提出融合优先经验回放与异步训练的 QDQN-DPER 框架，并通过仿真证明其优于同架构基线。
2023-04-19 cs.AI cs.DC cs.LG
Prioritized Sweeping Neural DynaQ with Multiple Predecessors, and Hippocampal Replays
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
在睡眠和清醒休息期间，海马体会重放在先前经历中被激活的位置细胞序列。这些都被解释为一个记忆巩固过程，但最近的结果表明，在强化学习方面可能的解释。Dyna强化学习算法使用离线重放来改进学习。在有限的重放预算下，可以使用优先化的扫描方法来提高性能，该方法需要到前任的转换的模型。我们调查这些算法是否可以解释实验观察到的重放。我们提出了一个神经网络版本的优先扫描Q学习，为此我们开发了一个不断增长的多专家算法，能够应付多个前辈。由此产生的架构是能够提高学习的模拟代理面临的导航任务。我们预测，在动物中，学习世界模型应该发生在休息期间，并且相应的重放应该被打乱。
2018-08-13 cs.AI cs.NE
Prioritized Replay for RL Post-training
IEEE
提出一种基于经验成功统计的优先级回放方法，用于大型语言模型训练后强化学习，无需预定义难度层级或外部标签，通过动态调整优先级提升学习效率。
2026-01-06 cs.AI cs.CL cs.LG
Rollout-Level Advantage-Prioritized Experience Replay for GRPO
Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系）；Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心）
针对GRPO样本效率低的问题，提出轨迹级经验回放缓冲器，通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样，在多个数学基准上显著提升性能。
2026-09-09 cs.AI cs.LG
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
ViZDoom: DRQN with Prioritized Experience Replay, Double-Q Learning, & Snapshot Ensembling
ViZDoom是一个强大的第一人称射击游戏强化学习环境，其特点是大量的潜在状态信息。在本文中，双Q学习和优先级的经验重放方法进行了测试，在一定的ViZDoom战斗场景下，使用竞争深度递归Q网络（DRQN）架构。此外，被称为快照集成的集成技术采用特定的退火学习率，以观察在这两种方法下的集成功效的差异。一般来说，退火学习率对于深度神经网络模型的训练很重要，因为它们会改变现状，并对抗模型趋于局部最优的趋势。虽然这两种变体的性能都超过了游戏中内置的人工智能智能体，但说明了双Q学习的已知稳定效果，并通过在智能体开发的早期显示即时结果，再次验证了优先级经验重放的有用性，但在这种情况下，价值高估会加速。此外，还观察到一些独特的行为，以发展优先级经验重放（PER）和双Q（DDQ）的变种，和PER和DDQ的快照集成证明了一个有价值的方法，以提高性能的ViZDoom海洋。
2018-01-03 cs.AI
CodeIt: Self-Improving Language Models with Prioritized Hindsight Replay
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）
CodeIt将ARC视为示例编程问题，通过程序采样与后见重标记结合优先经验重放实现语言模型自改进，是首个扩展到完整ARC数据集的神经符号方法，解决15%任务并达到最先进性能。
2024-07-01 cs.AI cs.CL cs.LG
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning
Department of Automation, Tsinghua University（清华大学自动化系）
针对强化学习中无效样本导致学习信号不足的问题，提出群体优先级离策略优化（POPO），通过优先级群体重放和解耦重要性采样，在不增加额外采样开销的情况下提升推理性能。
2026-05-31 cs.AI cs.LG
Forget About It: Mitigating Forgetting Without Replay or Auxiliary Objectives
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）；Databricks（Databricks公司）
针对跨领域持续学习的灾难性遗忘问题，论文提出 SFA，在训练中平均当前模型与早期检查点，无需数据缓冲或额外参数副本，并在图像和语言任务上优于多种合并与惩罚方法。
2026-10-15 cs.AI cs.LG
CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）
该研究提出 CORE 认知重放框架，通过按任务遗忘率自适应分配缓冲区并选择高质量代表性数据，提升持续学习性能。
2024-04-09 cs.AI cs.LG
MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization
The George Washington University（乔治华盛顿大学）
经验重放是离线强化学习（RL）方法的关键。通过记忆和重用过去不同策略的经验，经验重放显著提高了RL算法的训练效率和稳定性。实践中的许多决策问题自然涉及多个智能体，需要集中训练分散执行范式下的多智能体强化学习（MARL）。然而，现有的MARL算法往往采用标准的经验重放的过渡均匀采样，而不管他们的重要性。寻找针对MARL体验重播优化的优先采样权重还有待探索。为此，我们提出了MAC-PO，它制定了最佳的优先经验重放多智能体问题作为一个遗憾最小化的采样权重的过渡。这种优化是放松和解决使用拉格朗日乘子的方法，以获得封闭形式的最佳采样权重。通过最小化所产生的政策遗憾，我们可以缩小目前的政策和名义上的最优政策之间的差距，从而获得一个改进的多智能体任务的优先级计划。我们在Predator-Prey和StarCraft Multi-Agent Challenge环境中的实验结果证明了我们方法的有效性，具有更好的重播重要转换的能力，并且优于其他最先进的基线。
2023-02-28 cs.AI cs.LG cs.MA
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
Combining Experience Replay with Exploration by Random Network Distillation
University of Bologna（博洛尼亚大学）
我们的工作是一个简单的扩展文件“随机网络蒸馏的探索”。更详细地说，我们展示了如何有效地结合内在奖励与经验重放，以实现更有效和强大的探索（相对于PPO/RND），从而更好的结果，代理性能和样本效率。我们能够通过使用一种名为优先级过采样经验重放（POER）的新技术来做到这一点，该技术建立在对重放有用的重要经验的定义之上。最后，我们评估我们的技术在著名的Atari游戏蒙特祖玛的复仇和其他一些困难的探索Atari游戏。
2019-05-18 cs.AI cs.LG stat.ML
Event Tables for Efficient Experience Replay
Sony AI（索尼人工智能）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出事件表分层采样（SSET）方法，通过划分经验回放缓冲区为事件表以捕获最优行为子序列，结合优先采样策略，在多个基准环境中验证了其提升学习速度与稳定性的优势。
2023-04-21 cs.AI cs.LG
Shared-unique Features and Task-aware Prioritized Sampling on Multi-task Reinforcement Learning
National Taiwan University（台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；MobileDrive
针对多任务强化学习中的性能不平衡问题，提出STARS方法，通过共享-独特特征提取器与任务感知优先采样策略，在Meta-World基准上有效提升整体性能并缓解任务间性能差异。
2024-06-02 cs.AI cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学智能城市物联网国家重点实验室）；School of Artificial Intelligence Shenzhen Polytechnic University（深圳职业技术学院人工智能学院）
针对现有经验回放方法在现实高维场景中效率低的问题，提出基于多样性的高效经验回放（EDER），利用行列式点过程、Cholesky分解和拒绝采样，在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning
University of Auckland（奥克兰大学）
该研究提出NSPER及扩展的NSPER+R，将新颖性与意外性结合，在DeepMind Control Suite任务上提升了基于图像的强化学习的训练效率与收敛速度。
2026-08-19 cs.AI cs.LG
Mitigating Catastrophic Forgetting and Mode Collapse in Text-to-Image Diffusion via Latent Replay
本文将受神经科学启发的 Latent Replay 方法应用于文本到图像扩散模型，通过仅保留模型内部的高层特征表示来缓解灾难性遗忘与模式崩溃，实验证明其在保持模型多样性和图像对齐度上显著优于现有方法。
2025-09-04 cs.AI cs.CV cs.LG
The Effects of Memory Replay in Reinforcement Learning
Stanford University（斯坦福大学）
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用，很少有人知道的经验重放的属性。记忆量如何影响学习动力？它是否有助于优先考虑某些经验？在本文中，我们解决这些问题，制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明，即使在这个非常简单的设置中，保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外，我们还描述了优先重播损害代理学习的制度。我们表明，我们的解析解与实验有很好的一致性。最后，我们提出了一个简单的算法，自适应地改变内存缓冲区的大小，实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Curious Replay for Model-based Adaptation
Stanford University（斯坦福大学）
针对基于模型的强化学习智能体在环境变化时适应能力不足的问题，提出 Curious Replay 方法，利用好奇心优先级信号改进世界模型训练，在 Crafter 基准上取得 19.4 的平均分超越现有最佳性能。
2023-06-28 cs.AI cs.LG stat.ML
Error Sensitivity Modulation based Experience Replay: Mitigating Abrupt Representation Drift in Continual Learning
Advanced Research Lab, NavInfo Europe（四维图新欧洲高级研究实验室）；Eindhoven University of Technology（埃因霍温理工大学）
人类擅长终身学习，因为大脑在不断变化的环境中已经进化到对分布偏移和噪音具有鲁棒性。然而，深度神经网络（DNN）表现出灾难性遗忘，当它们遇到新任务时，学习的表示会急剧漂移。这暗示了大脑中不同的基于错误的学习机制。与DNN不同，DNN的学习与错误的大小呈线性关系，大脑对错误的敏感性随着错误的大小而降低。为此，我们提出了\textit{ESMER}，它采用了一个原则性的机制，以调节错误的敏感性，在一个双内存排练为基础的系统。具体地说，它保持了对过去错误的记忆，并使用它来修改学习动态，以便模型从小的一致性错误中学习到比大的突发性错误更多的东西。我们还提出了\textit{Error-Sensitive Reservoir Sampling}来保持情景记忆，它利用错误历史来预先选择低损失样本作为缓冲区的候选者，这更适合于保留信息。实验结果表明，ESMER通过在巩固知识的同时逐渐适应新任务，有效地减少了任务边界处表征的遗忘和突然漂移。值得注意的是，它还使模型能够在高水平的标签噪声下学习，这在现实世界的数据流中无处不在。
2023-02-14 cs.AI cs.CV cs.LG
Heads collapse, features stay: Why Replay needs big buffers
研究揭示持续学习中特征空间与分类器层面遗忘的不对称性，提出通过扩展神经坍塌框架来解释Replay缓冲区大小对性能的影响，指出小缓冲区导致统计退化，需通过修正统计退化实现鲁棒性。
2026-03-19 cs.AI cs.LG
ROER: Regularized Optimal Experience Replay
ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Aalto University（阿尔托大学）
本文提出正则化最优经验回放（ROER），通过f-散度正则化与对偶形式推导出基于TD误差的优先级划分，在连续控制任务中多数优于基线，并适用于离线到在线微调。
2024-07-04 cs.AI cs.LG cs.RO
Asynchronous Curriculum Experience Replay: A Deep Reinforcement Learning Approach for UAV Autonomous Motion Control in Unknown Dynamic Environments
Northwestern Polytechnical University（西北工业大学）
无人机（Unmanned Aerial Vehicles，UAV）在军事战争中得到了广泛的应用。在本文中，我们制定了自主运动控制（AMC）问题作为一个马尔可夫决策过程（MDP），并提出了一种先进的深度强化学习（DRL）方法，使无人机在大规模动态三维（3D）环境中执行复杂的任务。为了克服优先经验重放（PER）算法的局限性并提高性能，提出了异步课程经验重放（ACER）算法，该算法使用多线程异步更新优先级，分配真实优先级，并应用临时经验池来提供更高质量的学习经验。此外，还引入了先进无用经验池（FIUO），以确保存储的经验具有更高的使用价值。此外，结合课程学习（CL），为无人机训练设计了一种较为合理的由简到难的经验抽样训练范式。通过在基于真实无人机参数构建的复杂未知环境中进行训练，与现有的双延迟深度确定性策略梯度（TD 3）算法相比，该算法的收敛速度提高了24.66%，收敛结果提高了5.59%.在不同复杂环境下的测试实验表明，该代理具有较强的鲁棒性和泛化能力。
2022-07-04 cs.AI
Zero-Trust Runtime Verification for Agentic Payment Protocols: Mitigating Replay and Context-Binding Failures in AP2
eBay Inc（eBay公司）
本文提出了一种零信任运行时验证框架，通过动态生成非ces强制显式上下文绑定和一次性使用命令语义，以缓解AP2中的重放和上下文重定向攻击。
2026-02-06 cs.AI cs.CR
Attention-based Experience Replay Framework for Continual Learning of Agnostic Time Series Forecasting Models
针对神经网络依赖固定数据集无法适应动态环境的问题，提出基于注意力机制引导经验回放策略的持续时间序列预测框架，能动态适应新环境保留知识，减轻遗忘，在多数据集上评估显示可提高预测性能、降低成本和数据需求。
2026-07-24 cs.AI cs.LG
Generative Replay Mitigates Sample Starvation in Quantum Architecture Search
Delft University of Technology（代尔夫特理工大学）；QuTech（QuTech量子计算研究机构）；Indian Institute of Technology (BHU)（印度理工学院（贝拿勒斯印度教大学））；Halmstad University（哈尔姆斯塔德大学）
GenQAS通过张量网络引导的强化学习与生成式回放，缓解量子架构搜索中的样本匮乏，提高成功概率并减少资源消耗。
2026-09-11 cs.AI cs.ET cs.LG
Prioritizing Samples in Reinforcement Learning with Reducible Loss
Mila, Quebec AI Institute（魁北克人工智能研究所）；ÉTS Montréal（蒙特利尔高等工程技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
本文针对经验回放中样本等权采样的问题，提出依据样本训练损失随时间持续下降的“可学习性”进行优先级排序，降低噪声或随机性导致的难学样本权重，实验表明其比随机采样和基于时序差分损失的优先经验回放更稳健。
2023-11-01 cs.AI cs.LG
Sample Efficient Experience Replay in Non-stationary Environments
Department of Computer Science, The University of Hong Kong, Hong Kong, China（计算机科学系，香港大学，香港，中国）；College of International Education, Hebei University of Economics（国际教育学院，河北经贸大学）；Department of Electrical and Electronic Engineering, The University of Hong Kong, Hong Kong, China（电气与电子工程系，香港大学，香港，中国）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（计算机科学系，城市大学，香港，中国）；Institute for Imaging, Data and Communications, University of Edinburgh, UK（成像、数据与通讯研究所，爱丁堡大学，英国）；School of Computing, National University of Singapore, Singapore（计算学院，新加坡国立大学，新加坡）；Department of Computer Science and Technology, Tsinghua University, China（计算机科学与技术系，清华大学，中国）
针对非平稳环境中传统经验回放难以区分策略与环境变化的问题，提出基于环境动态差异（DoE）的自适应经验回放框架DEER，通过二分类器检测环境变化并采用差异化优先级策略，在四个基准上将离策略算法性能提升11.54%。
2025-09-18 cs.AI cs.LG cs.NI
Progression Cognition Reinforcement Learning with Prioritized Experience for Multi-Vehicle Pursuit
Beijing University of Posts and Telecommunications（北京邮电大学）；King’s College London（伦敦国王学院）；University of Essex（埃塞克斯大学）；Beijing Big Data Center（北京大数据中心）
针对多车追捕中协作不足与动态目标分配问题，提出PEPCRL-MVP，通过优先经验和注意力驱动的渐进认知分组提升追捕效率与成功率。
2023-06-08 cs.AI
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
Debiased Model-based Representations for Sample-efficient Continuous Control
Tencent Hunyuan（腾讯文言）；McGill University（麦吉尔大学）；School of Computer Science, Peking University（北京大学计算机学院）
本文提出DR.Q算法，通过最大化当前状态-动作对表示与下一状态之间的互信息，并采用衰减优先经验回放，以减少表示和actor-critic学习中的偏差，从而在连续控制任务中取得优于现有方法的性能。
2026-05-12 cs.AI cs.LG
Fisher-Guided Selective Forgetting: Mitigating The Primacy Bias in Deep Reinforcement Learning
Bernulli Institute, University of Groningen（格罗宁根大学伯努利研究所）
本文通过Fisher信息矩阵（FIM）的视角研究深度强化学习中的首因偏差（PB），提出Fisher引导的选择性遗忘（FGSF）方法，利用参数空间几何结构选择性修改网络权重，防止早期经验主导学习，在复杂任务中显著优于基线。
2025-02-02 cs.AI cs.LG
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai University of Engineering Science（上海工程技术大学）
本文提出CWAC框架，通过分布式评判者、协同加权机制及随机悲观值估计缓解离线强化学习的高估问题，可集成于SAC等算法，在多模拟任务中性能显著提升。
2026-07-30 cs.AI cs.LG
Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe（四维图新欧洲）
由于对先前学习的任务的灾难性遗忘，深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中，并将它们与当前任务样本交错，已被证明是最有效的减轻遗忘的方法。然而，经验重放（ER）没有表现出良好的低缓冲区制度和较长的任务序列，因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息，因为软目标捕获数据的丰富相似性结构。因此，我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务，从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时，正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化，我们发现，更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
CosmoCore Affective Dream-Replay Reinforcement Learning for Code Generation
Microsoft Corporation（微软公司）
CosmoCore 是一种受神经科学启发的强化学习架构，通过情感信号标记代码生成轨迹并优先重放高负效价事件，将幻觉代码减少 48%、自我纠正速度提升 45%，用于更情感感知的代码助手。
2025-10-20 cs.AI cs.HC cs.SE
From Selection to Scheduling: Federated Geometry-Aware Correction Makes Exemplar Replay Work Better under Continual Dynamic Heterogeneity
School of Software, Shandong University（山东大学软件学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文提出FEAT方法，通过几何结构对齐模块和能量基几何修正模块，解决联邦持续学习中示例回放在持续动态异质性下的性能问题。
2026-04-09 cs.AI cs.CV cs.LG
Towards Understanding Continual Factual Knowledge Acquisition of Language Models: From Theory to Algorithm
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）；School of Artificial Intelligence（人工智能学院）；Data Science, University of International Business（国际商务大学数据科学）
本文提出理论框架解释持续事实知识获取机制，提出STOC方法提升知识持续性，实验验证其有效性。
2026-05-11 cs.AI cs.CL
PHASER: Phase-Aware and Semantic Experience Replay for Vision-Language-Action Models
Thrust of AI, HKUST(Guangzhou)（人工智能 thrust，香港科技大学（广州））；AI 2 Robotics, Shenzhen, China（人工智能与机器人，深圳，中国）
提出PHASER框架，通过相位感知容量分配和多模态干扰路由策略，结合自动相位提取管线Auto-PC，解决VLA模型在持续学习中的灾难性遗忘问题，在LIBERO基准上平均成功率提升高达31%。
2026-06-03 cs.AI cs.CV cs.RO
