Catastrophic Importance of Catastrophic Forgetting
本文描述了人工神经网络在解决了灾难性遗忘问题后所开辟的一些可能性。提出了一个简单的模型和现有方法的强化学习应用。
2018-08-20 cs.AI cs.LG stat.ML
Multi-task Learning and Catastrophic Forgetting in Continual Reinforcement Learning
INESC-ID
在本文中，我们调查了两个假设，关于使用深度强化学习在多个任务。第一个假设是由以下问题驱动的：在两个类似任务上训练的深度强化学习算法是否能够通过更有效地学习一个新的类似任务来超越两个单独训练的单任务算法，而这三个算法之前都没有遇到过。第二个假设是由以下问题驱动的：在两个类似任务上训练并使用弹性权重合并（EWC）增强的相同多任务深度RL算法是否能够在新任务上保持与没有EWC的类似算法相似的性能，同时能够克服前两个任务中的灾难性遗忘。我们表明，在太空入侵者和恶魔攻击上训练的多任务异步优势演员-评论家（GA 3C）算法，实际上能够胜过两个单任务GA 3C版本，每个单任务单独训练，当评估新的第三个任务时，即凤凰。我们还表明，在第三个任务上训练两个训练好的多任务GA 3C算法时，如果其中一个用EWC增强，它不仅能够在新任务上实现类似的性能，而且能够克服前两个任务上的大量灾难性遗忘。
2019-09-22 cs.AI cs.LG stat.ML
Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
Nexcepta（内克塞克塔）
针对动态无线环境中DRL抗干扰系统的灾难性遗忘问题，提出基于PackNet的持续深度强化学习方法，使网络在学习新干扰模式时保留旧知识，显著提升抗干扰性能与鲁棒性。
2024-10-14 cs.AI cs.LG cs.NI
Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Amii（阿尔伯塔机器智能研究所）
本文针对深度强化学习中大型经验回放缓冲区带来的内存负担问题，提出基于深度Q网络的价值知识巩固算法，通过从目标Q网络向当前Q网络迁移知识来减少遗忘并保持样本效率，在特征和图像任务上取得可比或更优性能。
2023-04-10 cs.AI cs.LG
P2DT: Mitigating Forgetting in task-incremental Learning with progressive prompt Decision Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd., Shenzhen, China（平安科技（深圳）有限公司）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）
针对大模型控制的智能体在任务增量学习中面临的灾难性遗忘问题，提出渐进式提示决策Transformer P2DT，通过动态附加决策令牌培育任务专属策略，利用全任务轨迹保留旧知识，有效缓解遗忘且适配任务规模扩展。
2025-09-03 cs.AI cs.LG
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）
使强化学习（RL）智能体适应看不见的环境是一项艰巨的任务，因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境，但当环境变得非常不同时，它们的性能会迅速下降。当智能体在新的环境中接受再训练时，第二个问题出现了：存在灾难性遗忘的风险，即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法，利用生态系统的代理，以解决这两个问题。据此，个体代理的（有限的）适应能力被收获，以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
Replay Buffer with Local Forgetting for Adapting to Local Environment Changes in Deep Model-Based Reinforcement Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）；École Polytechnique de Montréal（蒙特利尔高等理工学院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
针对深度MBRL难以适应环境局部变化的问题，提出仅移除新样本局部邻域旧数据的回放缓冲区，使世界模型兼顾全局准确性与局部奖励变化适应能力。
2023-09-27 cs.AI cs.LG
Replay-enhanced Continual Reinforcement Learning
Tsinghua University（清华大学）；The University of British Columbia（不列颠哥伦比亚大学）；Tencent（腾讯）
本文提出 RECALL 方法，通过自适应归一化和策略蒸馏解决持续强化学习中回放导致的奖励尺度偏置与分布偏移问题，显著提升新任务可塑性并避免灾难性遗忘。
2023-11-20 cs.AI cs.LG
Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning
Department of Computer Science（计算机科学系）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出了一种基于价值的数据复习方法，用于多循环持续强化学习，通过引入Qreg+NWLU方法改进学习效率、遗忘缓解和知识转移。
2026-05-21 cs.AI cs.LG
Continual Reinforcement Learning with Complex Synapses
Imperial College London（帝国理工学院）；Google DeepMind（谷歌DeepMind）
与能够在一生中持续学习的人类不同，人工神经网络长期以来一直被称为灾难性遗忘，即新的学习可能导致先前获得的知识突然消失。而在神经网络中，参数通常被建模为标量值，大脑中的单个突触包括在不同时间尺度上进化的相互作用的生化成分的复杂网络。在本文中，我们表明，通过为表格和深度强化学习代理配备包含这种生物复杂性的突触模型（Benna & Fusi，2016），可以在多个时间尺度上减轻灾难性遗忘。特别是，我们发现，除了在两个简单任务的顺序训练中实现持续学习之外，它还可以通过减少对经验重放数据库的需求来克服任务内遗忘。
2018-06-19 cs.AI cs.LG cs.NE
Space-sampled Value Decay: Forgetting Mechanisms for Non-stationary Reinforcement Learning
CITEC, Faculty of Technology, Bielefeld University（比勒费尔德大学技术学院CITEC）
受啮齿动物遗忘行为启发，提出空间采样值衰减作为显式遗忘机制，用于深度强化学习应对环境漂移，在DQN和SAC上验证效果与局限。
2026-09-30 cs.LG
Augmenting Replay in World Models for Continual Reinforcement Learning
Monash University（莫纳什大学）；Cerenaut（塞雷诺特公司）
提出WMAR算法，通过内存高效分布匹配重放缓冲区增强DreamerV3世界模型，在持续强化学习中减少遗忘并提升技能迁移，实验验证其有效性。
2024-07-16 cs.AI cs.LG
TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Science and Technology of China（中国科学技术大学）
TSRL是整合SFT与RL优势的框架，通过在智能体策略失效的困难状态选择性激活SFT减少遗忘，在7B、32B规模的三个基准上均实现性能提升。
2026-10-14 cs.AI cs.LG
Does the Adam Optimizer Exacerbate Catastrophic Forgetting?
The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室IDSIA/瑞士意大利语区大学/瑞士意大利语应用科学大学）；University of Alberta（阿尔伯塔大学）
灾难性遗忘仍然是人工神经网络（ANN）广泛应用的严重障碍，然而，它仍然是一个知之甚少的现象。尽管人们对灾难性遗忘做了大量的研究，但我们认为，目前还不清楚应该如何准确地量化这种现象，而且，我们在设计学习系统时所做的所有选择在多大程度上影响了灾难性遗忘的数量。我们使用强化学习和监督学习文献中的各种测试平台来（1）提供证据表明，选择哪种现代基于梯度的优化算法来训练ANN对灾难性遗忘的数量有显着影响，并显示令人惊讶的是，在许多情况下，经典算法（如香草SGD）比更现代的算法（如Adam）经历更少的灾难性遗忘。我们实证比较了四种不同的现有指标量化灾难性遗忘和（2）表明，学习系统的经验灾难性遗忘的程度是足够敏感的度量使用，从一个原则性的度量到另一个的变化是足以改变研究的结论显着。我们的研究结果表明，在研究灾难性遗忘时，需要更严格的实验方法。根据我们的结果，我们建议监督学习中的任务间遗忘必须同时使用保留和再学习指标来测量，而强化学习中的任务内遗忘至少必须使用成对干扰来测量。
2021-06-09 cs.AI cs.LG stat.ML
Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay
Nanjing University（南京大学）；Chinese University of Hong Kong（香港中文大学）
本研究提出双生成回放框架，结合扩散模型与行为克隆，解决持续离线强化学习中的遗忘与迁移问题，实现高保真回放并提升性能。
2024-04-18 cs.AI cs.LG
Data-Incremental Continual Offline Reinforcement Learning
School of Engineering, Westlake University（西湖大学工程学院）
提出数据增量式持续离线强化学习设置，针对主动遗忘问题，设计基于经验回放的集成隐式Q学习算法，有效缓解遗忘并提升性能。
2024-12-16 cs.LG
Solving Continual Offline Reinforcement Learning with Decision Transformer
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文针对持续离线强化学习中稳定性与可塑性难以平衡的问题，提出基于决策Transformer的MH-DT和LoRA-DT方法，通过多头知识存储与低秩适应缓解遗忘，在多个基准上优于现有方法。
2024-04-07 cs.AI cs.LG
Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
IDEAS NCBR；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Google DeepMind（谷歌DeepMind）；Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所）
本文揭示微调强化学习模型中的性能下降源于对预训练能力的遗忘，提出用知识保留技术缓解，并在NetHack和Montezuma's Revenge上验证，取得新最先进结果。
2024-07-17 cs.LG
An Intentional Forgetting-Driven Self-Healing Method For Deep Reinforcement Learning Systems
Polytechnique Montréal（蒙特利尔综合理工学院）
针对深度强化学习系统因环境漂移导致的自愈效率低下问题，提出融入有意遗忘机制的Dr. DRL方法，优先适配关键技能，显著提升了自愈效率与环境适配能力。
2023-08-23 cs.AI cs.LG cs.SE
Self-Activating Neural Ensembles for Continual Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
智能体不断学习新技能而不会灾难性地忘记现有知识的能力对于智能体的发展至关重要。解决这个问题的大多数方法都严重依赖于明确定义的任务边界，因此依赖于人类的监督。我们的任务不可知的方法，自激活神经集成（SANE），使用一个模块化的架构，旨在避免灾难性遗忘，而不做任何这样的假设。在每个轨迹的开始，SANE集合中的模块被激活以确定代理的下一个策略。在培训过程中，根据需要创建新模块，仅更新已激活的模块，以确保未使用的模块保持不变。这个系统使我们的方法能够保留和利用旧技能，同时培养和学习新技能。我们展示了我们的方法在视觉上丰富的程序生成的环境。
2022-12-31 cs.AI cs.LG
Same State, Different Task: Continual Reinforcement Learning without Interference
University of Oxford（牛津大学）
持续学习（CL）考虑在一组任务上顺序地训练代理，同时寻求保留所有先前任务的性能的问题。CL中的一个关键挑战是灾难性遗忘，当学习新任务时，先前掌握的任务的性能降低时，就会出现这种情况。虽然有各种各样的方法来对抗遗忘，但在某些情况下，任务从根本上相互不兼容，因此无法通过单一策略来学习。这可能发生在强化学习（RL）中，当代理可以从相同的观察中实现不同的目标时得到奖励。在本文中，我们形式化这种“干扰”的问题，从不同的遗忘。我们表明，现有的CL方法的基础上，共享重放缓冲区的单一神经网络预测失败的干扰存在。相反，我们提出了一个简单的方法，OWL，来解决这个挑战。OWL学习一个分解策略，使用共享的特征提取层，但是单独的头，每个专门用于一个新的任务。OWL中的分离头用于防止干扰。在测试时，我们制定的政策选择作为一个多臂强盗问题，并表明它是可能的，选择最佳的政策，为一个未知的任务，使用反馈的环境。强盗算法的使用允许OWL代理建设性地重复使用不同的不断学习的政策在不同的时间在一个插曲。我们在多个RL环境中表明，现有的基于重放的CL方法失败，而OWL在顺序训练时能够实现接近最佳性能。
2022-03-15 cs.AI cs.LG
A Continual Offline Reinforcement Learning Benchmark for Navigation Tasks
Inria, Univ. Lille, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France（法国里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9198-CRIStAL）
本文提出一个连续离线强化学习导航任务基准测试，通过视频游戏场景评估算法性能，解决灾难性遗忘、任务适应和内存效率等关键挑战。
2026-01-30 cs.LG
Environments for Lifelong Reinforcement Learning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
为了实现通用人工智能，强化学习（RL）代理不仅要学习优化特定任务的回报，还要不断构建更复杂的技能，并构建他们对世界的知识，而不会忘记已经学到的东西。在本文中，我们讨论了所需的特征的环境，可以支持终身强化学习代理的培训和评估，审查现有的环境，从这个角度来看，并提出建议，在未来设计合适的环境。
2018-12-06 cs.AI cs.LG
CORA: Benchmarks, Baselines, and Metrics as a Platform for Continual Reinforcement Learning Agents
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
持续强化学习的进展由于几个进入障碍而受到限制：缺少代码，高计算要求以及缺乏合适的基准。在这项工作中，我们提出了CORA，一个持续强化学习代理的平台，在一个代码包中提供基准，基线和指标。我们提供的基准测试旨在评估持续RL挑战的不同方面，例如灾难性遗忘、可塑性、概括能力和样本有效学习。三个基准测试使用视频游戏环境（Atari，Procgen，NetHack）。第四个基准，CHORES，由四个不同的任务序列在视觉上逼真的家庭模拟器，从一组不同的任务和场景参数。为了在这些基准测试中比较持续强化学习方法，我们在CORA中准备了三个指标：持续评估，孤立遗忘和Zero-Shot前向传输。最后，CORA包括一组现有算法的高性能开源基线，供研究人员使用和扩展。我们发布CORA，并希望持续强化学习社区能够从我们的贡献中受益，以加速新的持续强化学习算法的开发。
2022-12-31 cs.AI cs.LG
Using Curiosity for an Even Representation of Tasks in Continual Offline Reinforcement Learning
University of Maryland College Park（马里兰大学帕克分校）；University of Granada（格拉纳达大学）；Granada AI Lab（格拉纳达人工智能实验室）；DaSCI Andalusian Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究所）；TECNALIA（TECNALIA 技术研究院）；Basque Research & Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
针对离线多任务持续强化学习中任务无标记、接触不均导致的灾难性遗忘问题，提出两种基于好奇心的回放缓冲区，实验证明其在多数场景下抗遗忘能力优于现有方法。
2023-12-05 cs.AI cs.LG
NeuroSynth: A Biologically Inspired Continual Reinforcement Learning Architecture for Mitigating Catastrophic Forgetting
James Madison High School（詹姆斯麦迪逊高中）
本研究提出受生物启发的持续强化学习架构NeuroSynth，通过双路径巩固机制缓解灾难性遗忘，实验显示其在多个顺序导航任务中相比PPO、EWC保留更多早期任务知识，改善了持续学习的稳定性-可塑性平衡。
2026-08-03 cs.LG cs.NE
Policy Consolidation for Continual Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
我们提出了一种在深度强化学习中解决灾难性遗忘的方法，即\textit{agnostic}到经验分布变化的时间尺度，不需要任务边界的知识，并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中，策略网络与隐藏网络的级联进行交互，这些隐藏网络同时记住代理在一系列时间尺度上的策略，并通过自己的历史来规范当前策略，从而提高其学习而不忘记的能力。我们发现，该模型提高了持续学习相对于基线的一些连续控制任务，在单任务，交替两个任务，和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University（纽约大学）；NYU Shanghai（上海纽约大学）
Soft Actor-Critic（SAC）是一种基于最大熵强化学习的离线Actor-Critic深度强化学习（DRL）算法。通过将非策略更新与参与者-批评者制定相结合，SAC在一系列连续动作基准任务上实现了最先进的性能，优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验（ERE），一个简单但功能强大的政策外采样技术，强调最近观察到的数据，同时不忘记过去。ERE算法从最近的经验中更积极地采样，并且还对更新进行排序，以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE，并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放（PER）结合起来，PER是一种最初为深度Q学习提出的方案，它基于时间差（TD）误差对数据进行优先级排序。我们发现，SAC+PER可以稍微提高SAC的样本效率性能，但远远低于SAC+ERE。最后，我们提出了一种算法，它集成了ERE和PER，并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题，提出自适应课程强化学习框架AdaCuRL，通过动态难度匹配、历史回顾等机制，在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
On Reinforcement Learning and Distribution Matching for Fine-Tuning Language Models with no Catastrophic Forgetting
University of Sussex（萨塞克斯大学）；Naver Labs Europe（Naver欧洲实验室）
大型预训练模型的可用性正在改变机器学习研究和实践的格局，从从头开始的训练转向微调范式。虽然在某些应用中，目标是将预先训练的分布“轻推”到首选输出，但在其他应用中，目标是将其引导到样本空间上的不同分布。两种主要的范式已经出现来应对这一挑战：奖励最大化（RM）和最近的分布匹配（DM）。RM应用标准的强化学习（RL）技术，例如策略梯度，以逐渐增加奖励信号。DM规定首先明确模型被微调以近似的目标分布。在这里，我们探讨了这两种范式之间的理论联系，并表明，如KL控制RM开发的方法也可以被解释为属于DM。我们进一步观察到，虽然DM不同于RM，但它可能会遇到类似的训练困难，例如高梯度方差。我们利用这两种范式之间的联系，将基线的概念导入DM方法。我们经验验证的好处，增加一个可控的语言生成任务，如约束主题，情感和性别分布的文本样本从语言模型的阵列上的基线。我们观察到优越的性能方面的约束满足，稳定性和样本效率。
2022-11-14 cs.CL cs.LG stat.ML
Continual Reinforcement Learning by Planning with Online World Models
Sea AI Lab（海智人工智能实验室）；National University of Singapore（新加坡国立大学）
本文提出基于在线世界模型规划的持续强化学习方法FTL Online Agent，通过在线学习Follow-The-Leader浅层模型并结合模型预测控制，有效解决了多任务序列中的灾难性遗忘问题，并在Continual Bench上表现优于深度世界模型基线。
2025-07-12 cs.AI cs.LG stat.ML
Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；EvolutionLeap（进化跃迁）；Tsinghua University（清华大学）
本研究提出深度潜在推理（DLR），通过潜在空间对比强化学习提升LLM在复杂推理任务中的稳定性与效率。
2026-01-24 cs.AI cs.LG
Neuro-Inspired Fragmentation and Recall to Overcome Catastrophic Forgetting in Curiosity
Massachusetts Institute of Technology（麻省理工学院）
本文针对基于预测的内在奖励方法在困难探索任务中的灾难性遗忘问题，提出 FARCuriosity 方法，通过环境碎片化和模块回忆机制减少遗忘，并在 Atari 基准上取得更好的整体性能。
2023-10-26 cs.AI cs.LG
Continual Reinforcement Learning for HVAC Systems Control: Integrating Hypernetworks and Transfer Learning
College of Engineering, University of Kirkuk（基尔库克大学工程学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
针对HVAC系统控制，提出基于超网络的模型强化学习框架，实现跨任务持续学习，5回合内快速收敛并缓解灾难性遗忘，优于无模型方法。
2025-03-24 cs.AI cs.LG cs.SY
GRIm-RePR: Prioritising Generating Important Features for Pseudo-Rehearsal
University of Otago（奥塔哥大学）
伪排练允许神经网络学习一系列任务，而不会忘记如何执行早期任务。防止遗忘是通过引入一个生成网络来实现的，该网络可以从以前看到的任务中生成数据，以便可以在学习新任务的同时进行排练。已经发现这在监督学习和强化学习中都是有效的。我们目前的工作旨在通过鼓励生成器准确地生成对任务保持重要的特征来进一步防止遗忘。更具体地说，通过在生成对抗网络中引入第二个训练器来改进生成器，该生成器学习从中间激活模式中对真实和虚假物品进行分类，这些中间激活模式是在通过持续学习代理时产生的。使用Atari 2600游戏，我们通过实验发现，与深度强化学习中使用的标准伪排练方法相比，改进生成器可以大大减少灾难性遗忘。此外，我们建议规范化的Q值教长期系统，因为我们观察到这大大减少了灾难性遗忘任务的奖励功能之间的干扰最小化。
2019-11-27 cs.CV cs.LG stat.ML
TrajDeleter: Enabling Trajectory Forgetting in Offline Reinforcement Learning Agents
University of Virginia（弗吉尼亚大学）；Chinese Academy of Sciences（中国科学院）
本文提出 Trajdeleter，首个面向离线强化学习智能体的轨迹遗忘方法，通过引导智能体在待遗忘轨迹相关状态下性能下降并保持其他轨迹性能，仅需约 1.5% 重训时间即可平均遗忘 94.8% 的目标轨迹。
2024-09-02 cs.CR cs.LG
A Forget-and-Grow Strategy for Deep Reinforcement Learning Scaling in Continuous Control
Computer Science, University of Maryland（大学计算机科学系，马里兰大学）；Shanghai Qi Zhi Institute（上海启智研究院）；Department of Computer Science（计算机科学系）；Technology, Tsinghua University（技术，清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（交叉信息科学研究所，清华大学）；Huawei Noah's Ark Lab（华为诺亚实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出FoG算法，通过经验回放衰减和网络扩展两种机制缓解首因偏差，在40余个连续控制任务上超越BRO、SimBa和TD-MPC2等现有方法。
2025-07-03 cs.LG
Continual Visual Reinforcement Learning with A Life-Long World Model
MoE Key Lab of Artificial Intelligence（人工智能MOE重点实验室）；AI Institute（人工智能学院）；Shanghai Jiao Tong University（上海交通大学）
本文提出终身世界模型与探索-保守行为学习方法，通过高斯混合潜在动力学和生成式经验回放缓解灾难性遗忘，在持续视觉控制任务中显著优于现有持续学习与视觉强化学习的直接组合。
2025-07-06 cs.CV cs.LG
Hierarchical Orchestra of Policies
University of Bath（巴斯大学）
本文提出策略的分层编排（HOP）方法，通过观测相似性动态构建策略层级，无需任务标签即可缓解持续强化学习中的灾难性遗忘，并在多任务环境中优于基线且媲美需标签的迁移方法。
2024-11-05 cs.AI cs.LG
RL Fine-Tuning Heals OOD Forgetting in SFT
Mila - Quebec AI Institute（魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；CIFAR AI Chair（CIFAR人工智能主席）；Google DeepMind（谷歌DeepMind）
研究通过分析SFT和RL对ID和OOD推理的影响，发现RL能修复后期SFT导致的OOD能力下降，且与奇异向量旋转相关。
2026-05-08 cs.AI cs.LG
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics（国立信息学研究所）；University of Waterloo（滑铁卢大学）
优先经验重放（PER）对重要的转换进行采样，而不是均匀地采样，以提高深度强化学习代理的性能。我们认为，这种优先级必须与样本多样性相平衡，以使DQN稳定并防止遗忘。我们提出的对PER的改进，称为预测PER（PPER），采取三种对策（TDInit，TDClip，TDPred）来（i）消除优先级离群值和爆炸，以及（ii）改善样本多样性和分布，按优先级加权，两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN，称为TDPred，以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明，每一个对策，以自己的方式和PPER有助于成功地提高稳定性，从而性能超过PER。
2020-11-26 cs.AI cs.LG
ADAPTER-RL: Adaptation of Any Agent using Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出 ADAPTER-RL，通过在强化学习中集成适配器来提升 DRL 智能体对分布外任务的适应性，该方法兼容预训练网络与规则智能体，并在 nanoRTS 环境中验证了其训练效率与性能提升效果。
2023-11-20 cs.AI cs.LG
Reducing catastrophic forgetting when evolving neural networks
University of Southampton（南安普顿大学）
人工通用智能（一种可以执行任何任务的机器）发展的一个关键垫脚石是生产可以同时执行多个任务而不是一个任务的代理。不幸的是，规范方法非常容易发生灾难性遗忘（CF）--在学习新任务时，忘记先前关于任务的知识。最近的努力已经开发出克服CF学习系统中的技术，但还没有尝试将这些新技术应用到进化系统。这项研究提出了一种新的技术，重量保护，减少CF在进化系统中的学习系统的方法。它与其他进化方法一起用于克服CF，并被证明是有效的，在减轻CF时，应用于一套强化学习任务。据推测，这项工作可能表明现有的基于学习的方法更广泛地应用于进化系统的潜力，进化技术在减少CF方面可能具有竞争力或优于学习系统。
2019-04-05 cs.AI cs.LG cs.NE
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
现实世界的强化学习任务通常涉及某种形式的部分可观察性，其中观察仅给出世界真实状态的部分或噪声视图。这些任务通常需要某种形式的记忆，其中代理可以访问多个过去的观察，以便执行良好。一种流行的合并记忆的方法是使用递归神经网络来访问代理的历史。然而，强化学习中的递归神经网络通常是脆弱的，难以训练，易受灾难性遗忘的影响，有时会完全失败。在这项工作中，我们提出了深度Transformer Q-网络（DTQN），一种新的架构，利用Transformers和自我注意编码代理的历史。DTQN是模块化设计的，我们对我们的基础模型的几个修改的结果进行比较。我们的实验表明，Transformer可以解决部分可观察的任务比以前的递归方法更快，更稳定。
2022-11-10 cs.AI cs.LG
ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
NVIDIA（英伟达）；KAIST（韩国科学技术院）
ACCRUE是一种持续离线策略强化学习框架，可跨任务复用轻量级演员与评论家网络，在近零遗忘的前提下加速后续任务学习，将真实机器人训练时间降低31.0%至68.5%。
2026-10-14 cs.AI cs.LG cs.RO
Pseudorehearsal in actor-critic agents with neural network function approximation
LLC Innodata（因诺数据有限责任公司）；Innopolis University（因诺波利斯大学）；Dublin Institute of Technology（都柏林理工学院）
灾难性遗忘在强化学习中具有显著的负面影响。本研究的目的是探讨如何假排练可以改变性能的演员评论家代理与神经网络功能近似。我们测试代理在极点平衡任务，并比较不同的pseudorhearsal方法。我们已经发现，假复述可以帮助学习和减少遗忘。
2018-02-19 cs.AI
Generative Memory for Lifelong Reinforcement Learning
SRI International（SRI国际研究所）
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统，可以从根本上提高他们的性能，在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中，我们提出了使用的生成记忆，可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆，以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
RL Forgets! Towards Continual Policy Optimization
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education（教育部计算机网络和信息集成重点实验室（东南大学））；Zhongguancun Academy（中关村科学城公司）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
研究持续训练中强化学习易遗忘问题，引入MRCL基准测试，提出持续策略优化框架CPO，通过参数移动正则化减少遗忘，多模型规模实验验证了其有效性。
2026-11-06 cs.LG
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology（佐治亚理工学院）
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题，本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2
SRI International（斯坦福国际研究院）
应对深度终身强化学习（LRL）挑战的一种方法是仔细管理智能体的学习经验，学习（不忘记）并构建内部元模型（任务，环境，智能体和世界）。生成重放（GR）是一种生物启发的重放机制，它通过从随时间更新的内部生成模型中提取的自标记示例来增强学习体验。我们提出了一个用于LRL的GR版本，它满足了两个必要条件：（a）使用深度RL学习的策略潜在表示的内省密度建模，以及（b）无模型端到端学习。在本文中，我们研究了无模型GR的三种深度学习架构，从一个简单的GR开始，添加成分以实现（a）和（b）。我们评估我们提出的算法在三个不同的情况下，包括任务的星际争霸2和Minigrid域。我们报告了几个关键的研究结果，显示了设计选择对定量指标的影响，包括迁移学习，对看不见的任务的概括，任务改变后的快速适应，任务专家的表现，以及灾难性遗忘。我们观察到，我们的GR防止了深度RL代理的潜在向量空间的特征到动作映射的漂移。我们还显示了在建立终身学习指标的改进。我们发现，一个小的随机重放缓冲区显着提高了训练的稳定性。总的来说，我们发现“隐藏重放”（一种众所周知的类增量分类架构）是最有前途的方法，它推动了GR中最先进的LRL，并观察到睡眠模型的架构对于提高性能可能比使用的重放类型更重要。我们的实验只需要6%的训练样本，就可以在大多数星际争霸2场景中达到80-90%的专家性能。
2022-08-16 cs.AI cs.LG
Improving Fictitious Play Reinforcement Learning with Expanding Models
Nanjing University（南京大学）；Polixir（玻色量子（注：Polixir常见译名为玻色量子，若为其他译法可调整，此处按常见科技公司译名处理））
具有强化学习的虚拟游戏是零和游戏的通用和有效的框架。然而，使用当前的深度神经网络模型，虚拟游戏的实现面临着至关重要的挑战。神经网络模型训练采用梯度下降的方法来更新所有的连接权值，因此在训练后很容易忘记旧的对手来击败新的对手。现有的方法通常维护一个历史政策模型池，以避免遗忘。然而，学习在随机游戏中击败游泳池，即，在策略模型上的广泛分布或者消耗样本，或者不足以利用具有有限样本量的所有模型。在本文中，我们提出了一个学习过程与神经虚拟发挥，以减轻上述问题。我们训练单个模型作为我们的策略模型，该模型由子模型和选择器组成。每次面对一个新的对手，模型通过添加一个新的子模型来扩展，其中仅更新新的子模型而不是整个模型。同时，选择器也被更新，以在状态级将新的子模型与先前的子模型混合，使得模型被维护为行为策略，而不是广泛分布在策略模型上。在网格世界寻宝游戏Kuhn poker和Mini-RTS环境下的实验表明，该方法有效地解决了遗忘问题，提高了神经网络虚拟博弈的学习效率和鲁棒性.
2019-11-28 cs.AI cs.LG stat.ML
Learning Style, Forgetting Semantics: A Case Study of SFT and RFT on Classification Tasks
University of California, Davis（加州大学戴维斯分校）
本研究通过分类任务案例，理论分析了SFT与RFT在语义遗忘上的差异，发现SFT因风格漂移导致遗忘，而RFT保持语义不变，并用模拟验证了该分离现象。
2026-10-05 cs.AI cs.LG stat.ML
Selective Experience Replay for Lifelong Learning
The University of Pennsylvania（宾夕法尼亚大学）；Honda Research Institute（本田研究所）
深度强化学习已经成为各种学习任务的强大工具，但是深度网络在顺序学习多个任务时通常会表现出遗忘。为了减轻遗忘，我们提出了一个经验重放过程，增加了标准的FIFO缓冲区，并有选择地存储经验的长期记忆。我们探索了四种策略来选择哪些经验将被存储：支持惊喜，支持奖励，匹配全局训练分布，以及最大化状态空间的覆盖范围。我们发现，分布匹配成功地防止了灾难性遗忘，并始终是最好的方法在所有域的测试。虽然分布匹配具有更好，更一致的性能，我们确定了一种情况下，覆盖最大化是有益的-当任务，接受较少的训练是更重要的。总体而言，我们的研究结果表明，选择性的经验重放，当采用合适的选择算法，可以防止灾难性遗忘。
2018-02-28 cs.AI
