Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Superintelligence（微软超级智能）
研究发现预训练的视觉-语言-动作模型在持续学习中表现出较强的遗忘抵抗性，简单经验回放在这些模型上效果显著，即使数据量小也能实现零遗忘。
2026-03-17 cs.AI cs.LG cs.RO
Class-Adaptive Sampling Policy for Efficient Continual Learning
School of Computer Engineering（计算机工程学院）；Iran University of Science and Technology (IUST)（伊朗科技大学）；Okinawa Institute of Science and Technology (OIST)（冲绳科学技术大学院大学）
本文提出类自适应采样策略CASP，根据类别贡献与难度动态分配缓冲区空间，为困难类别保留更多样本，从而提升持续学习的知识保留效率与整体性能。
2023-11-27 cs.CV cs.LG
Continual Learning In Environments With Polynomial Mixing Times
IBM Research（IBM研究院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Massachusetts Institute of Technology（麻省理工学院）
由策略引起的马尔可夫链的混合时间限制了真实世界持续学习场景中的性能。然而，在连续强化学习（RL）中混合时间对学习的影响仍然没有得到充分的研究。在本文中，我们通过混合时间的镜头来描述对持续RL的发展具有长期兴趣的问题，我们称之为可扩展的MDP。特别是，我们从理论上建立了可扩展的MDP的混合时间，规模与问题的大小多项式。我们继续证明，多项式混合时间存在显着的困难，现有的方法，患有近视的偏见和陈旧的自举估计。为了验证我们的理论，我们研究的经验缩放行为的混合时间相对于任务的数量和任务持续时间部署在多个雅达利游戏的高性能政策。我们的分析表明，多项式混合时间确实出现在实践中，以及它们的存在如何导致不稳定的学习行为，如持续学习设置中的灾难性遗忘。
2022-10-13 cs.LG
Trust Region Continual Learning as an Implicit Meta-Learner
Georgia Institute of Technology（佐治亚理工学院）
本文提出信任区域持续学习，通过结合生成重放和Fisher度量信任区域约束，实现隐式元学习效果，在任务增量扩散图像生成和持续扩散策略控制中取得最佳性能。
2026-10-27 cs.LG
GRASP: A Rehearsal Policy for Efficient Online Continual Learning
Rochester Institute of Technology（罗切斯特理工学院）；University of Rochester（罗切斯特大学）
本文提出 GRASP rehearsal 策略，通过先选原型性强的简单样本再逐步选更难样本，以极低额外开销提升在线持续学习效率，在 ImageNet 和文本分类任务上优于多种现有策略。
2024-05-01 cs.CL cs.CV cs.LG
Continual Learning in Transition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）
本文系统综述持续学习从以参数为中心向系统级适配的转变，通过时机、方式、位置三轴框架分析其演化，讨论相关挑战与未来方向。
2026-08-13 cs.AI cs.LG
Learning from Mistakes: Rollout-Retrieval Lifelong Policy Learning for Autonomous Driving
School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）；School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）
提出R²LPL框架，通过从可恢复的闭环驾驶错误中检索纠正目标并进行终身学习，将稀疏失败证据转化为监督知识，持续提升自动驾驶策略性能。
2026-06-29 cs.AI cs.CV cs.LG
ATLAS: Adaptive Topological Learning with Abstract Successors for Continual Learning
本文提出ATLAS算法，通过结构解耦转移动态与奖励信号，在空间导航任务中实现高样本效率、抗灾难性遗忘及对新目标的快速适应，在非平稳环境中性能显著优于基线强化学习算法。
2026-08-06 cs.AI cs.LG
Privileged Context as Drift in On-Policy Self-Distillation
Stanford University（斯坦福大学）
本研究探究在线策略自蒸馏中特权上下文的内容与来源对策略漂移的影响，发现内容变化比来源变化引起更大KL漂移，建议将特权上下文纳入稳定性设计。
2026-10-07 cs.LG
What is the role of memorization in Continual Learning?
Wrocław Tech（沃拉夫技术大学）；RIT（罗切斯特理工学院）；Wrocław University of Science and Technology（沃拉夫科技大学）；Rochester Institute of Technology（罗切斯特理工学院）
本研究通过实验探究记忆在持续学习中的作用，发现高记忆分数样本遗忘更快但大缓冲区下更重要，并引入记忆代理优化缓冲区策略。
2025-05-23 cs.LG
Rethinking Continual Experience Internalization for Self-Evolving LLM Agents
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院）；School of Software, Beihang University（北航软件学院）；Meituan（美团）
本文通过经验粒度、注入模式和内化机制三个维度，提出一种稳定可持续的经验内化方法，解决多轮经验学习中的能力崩溃问题。
2026-06-03 cs.CL cs.LG
Mixture-of-Variational-Experts for Continual Learning
Ulm University（乌尔姆大学）；Institute of Neural Information Processing（神经信息处理研究所）
机器学习算法的一个弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习（CL）范式已经成为一种系统地研究环境的协议，其中模型顺序观察由一系列任务生成的样本。在这项工作中，我们采取任务不可知论的观点持续学习，并制定了一个分层的信息理论的最优性原则，促进学习和遗忘之间的权衡。我们从贝叶斯的角度讨论这一原则，并显示其连接到以前的方法CL。基于这一原则，我们提出了一个神经网络层，称为混合变分专家层，通过创建一组信息处理路径通过网络，这是由门控策略，它消除了遗忘。由于基于通用效用函数的一般公式，我们可以将此最优性原则应用于各种各样的学习问题，包括监督学习，强化学习和生成式建模。我们证明了我们的方法在连续监督学习和连续强化学习中的竞争力。
2022-03-01 cs.LG stat.ML
Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Hong Kong Generative AI Research and Development Center（香港生成式人工智能研究与开发中心）
本文提出RaPO方法，通过轨迹级奖励塑造缓解强化微调在连续学习中的遗忘问题，实验证明其在视觉连续学习中有效减少灾难性遗忘。
2026-10-14 cs.CV cs.LG
Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning
针对多领域持续学习中的灾难性遗忘和前向遗忘问题，提出两级路由分组混合专家方法，通过动态扩展CLIP模型、组内路由与组间协作策略，并结合多模态大语言模型识别任务，在减少可训练参数下显著提升性能。
2025-08-11 cs.LG
Continual Learning Using World Models for Pseudo-Rehearsal
HRL Laboratories（HRL实验室）；Information and Systems Sciences Laboratory（信息与系统科学实验室）；Center for Human Machine Collaboration（人机协作中心）
在强化学习中学习环境的动态/世界模型的效用已经以多种方式显示。然而，当使用神经网络时，这些模型在终身或持续学习时会遭受灾难性遗忘。当前对持续学习问题的解决方案需要将经验分割并标记为离散任务，然而，在持续经验中，通常不清楚任务的充分分割是什么。在这里，我们提出了一种方法，通过交织内部生成的过去经验片段来不断学习这些内部世界模型（即，伪排练）。我们表明，这种方法可以顺序学习无监督的时间预测，没有任务标签，在一组不同的雅达利游戏。从经验上讲，这种内部生成的推出与外部环境的观察结果的交织导致与非交织学习相比时间预测损失的一致减少，并且在重复随机暴露于各种任务时得以保留。类似地，使用网络蒸馏方法，我们表明，现代的基于策略梯度的强化学习算法可以使用这个内部模型来不断学习，以优化基于世界模型的环境表示的奖励。
2019-06-11 cs.LG stat.ML
Few-Shot Vision-Language Action-Incremental Policy Learning
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（计算机科学与技术学院，哈尔滨工业大学（深圳））；Department of Computer Science and Technology, Ocean University of China（计算机科学与技术系，中国海洋大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出任务提示图演化策略（TOPIC），通过任务特定提示和连续演化策略，实现机器人操控中的少样本动作增量学习，成功率比现有方法高26%以上。
2025-04-22 cs.LG cs.RO
Navigating Memory Construction by Global Pseudo-Task Simulation for Continual Learning
University of California Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
持续学习面临着灾难性遗忘的严峻挑战。为了应对这一挑战，通常使用维护来自先前任务的样本的极小子集的经验重放（ER）。现有的ER工作通常集中在细化的学习目标，为每个任务的静态记忆建设政策。在本文中，我们制定的动态内存建设ER作为一个组合优化问题，其目的是直接最小化全局损失在所有经验的任务。我们首先应用三种策略来解决离线设置中的问题作为起点。为了在在线持续学习环境中提供这个问题的近似解决方案，我们进一步提出了全局伪任务模拟（GPS），它通过置换来模拟当前任务的未来灾难性遗忘。我们的实证结果和分析表明，GPS在四个常用的视觉基准中始终提高精度。我们还表明，我们的GPS可以作为统一的框架，在现有的ER工程集成各种内存建设政策。
2022-10-16 cs.CV cs.LG
Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management
Independent Researcher（独立研究者）
提出神经子空间重分配（NSR），通过SVD压缩、相似性检索和重分配循环管理参数子空间内存，在循环环境中实现10倍恢复速度提升，并证明记忆机制比学习策略更关键。
2026-06-29 cs.AI cs.CV cs.LG
DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；LG AI Research（LG人工智能研究院）
预先训练的表示是现代深度学习成功的关键要素之一。然而，现有的持续学习方法的工作主要集中在学习模型从零开始递增。在本文中，我们探索了增量学习的另一种框架，在这种框架中，我们从预先训练的表示中不断微调模型。我们的方法利用线性化技术的预训练的神经网络简单而有效的持续学习。我们表明，这使我们能够设计一个线性模型，其中二次参数正则化方法被放置为最佳的持续学习政策，并在同一时间享受高性能的神经网络。我们还表明，该算法使参数正则化方法适用于类增量问题。此外，我们提供了一个理论上的原因，为什么现有的参数空间正则化算法，如EWC在交叉熵损失训练的神经网络上表现不佳。我们表明，该方法可以防止遗忘，同时实现高连续微调性能的图像分类任务。为了表明我们的方法可以应用于一般的持续学习设置，我们评估我们的方法在数据增量，任务增量，类增量学习问题。
2022-08-17 cs.AI cs.CV cs.LG
Asynchronous Federated Continual Learning
University of Padova（帕多瓦大学）
针对联邦学习中客户端异步且无序获取任务数据的现实问题，提出异步联邦持续学习设置（AFCL），并设计基于原型学习、表示损失、分形预训练与改进聚合策略的 FedSpace 方法，有效解决了多客户端异步持续学习任务。
2023-04-07 cs.CV cs.LG
Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
本研究针对大语言模型持续学习的灾难性遗忘问题，提出子空间调优（SST）方法，通过限制权重更新至底部奇异子空间，在保护已有能力的同时提升目标任务性能，推进了学习-遗忘帕累托前沿。
2026-10-16 cs.AI cs.LG
Hierarchically Structured Task-Agnostic Continual Learning
Ulm University（乌尔姆大学）
当前机器学习算法的一个显著弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习范式已经成为一种系统地研究环境的协议，其中模型顺序地观察由一系列任务生成的样本。在这项工作中，我们采取任务不可知论的观点持续学习，并制定了一个分层的信息理论的最优性原则，促进学习和遗忘之间的权衡。我们从贝叶斯的角度推导出这一原则，并展示了它与以前的持续学习方法的联系。基于这一原则，我们提出了一个神经网络层，称为混合变分专家层，通过创建一组信息处理路径通过网络，这是由门控策略，它消除了遗忘。每个路径都配备了一组不同的专门参数，可以被视为一个不同的子网络，学习解决任务。为了改善专家分配，我们引入了多样性目标，我们在额外的消融研究中进行了评估。重要的是，我们的方法可以以任务不可知的方式操作，即，它不像许多现有的持续学习算法那样需要特定于任务的知识。由于基于通用效用函数的一般公式，我们可以将此最优性原则应用于各种各样的学习问题，包括监督学习，强化学习和生成式建模。我们证明了我们的方法在连续强化学习和MNIST，CIFAR-10和CIFAR-100数据集的变体上的竞争性能。
2022-11-14 cs.LG stat.ML
When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering
Carnegie Mellon University（卡内基梅隆大学）
本文提出不确定性感知策略引导框架，通过联合推理任务语义不确定性和低层动作可行性，选择执行高置信度动作、通过自然语言查询澄清任务歧义或请求动作干预修正低层策略，提升机器人部署性能。
2026-05-12 cs.LG cs.RO
Joint Continual Learning of Local Language Models and Cloud Offloading Decisions with Budget Constraints
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN（电子与计算机工程学院，普渡大学）；Department of Computer Science, University of Exeter, UK（计算机科学系，埃克塞特大学）
本文提出DA-GRPO方法，通过联合学习本地语言模型和云卸载决策，有效解决持续学习中的预算约束问题，提升任务准确性并减少遗忘。
2026-02-05 cs.AI cs.LG
iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs
Imperial College London（帝国理工学院）；Politecnico di Torino（都灵理工大学）；UCL Centre for AI（伦敦大学学院人工智能中心）
iSDFT通过将教师视为有预算的信息源，在每个词元选择满足信息约束的最近分布，并锚定基础策略，在多数设置中优于普通SDFT，同时更好地保留原有能力。
2026-09-29 cs.AI cs.LG
Continual Policy Consolidation for Lifelong Robot Learning
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country；Zhejiang University, Zhejiang, China；South University of Science；Hong Kong University, Hong Kong, China；INFIFORCE Intelligent Technology Co., Ltd., Hangzhou, China；The Hong Kong Polytechnic University, Hong Kong, China；School of Computer Science, Carnegie Mellon University
本文提出一种教师-学生框架，通过分布式强化学习训练单任务模型并持续蒸馏到通用模型，实现高效的持续强化学习。
2026-09-09 cs.LG
Reasoning Portability: Guiding Continual Learning for MLLMs in the RLVR Era
Shenzhen Graduate School of Peking University（北京大学深圳研究生院）；Centre for Artificial Intelligence and Robotics, HKISI, CAS（香港科学院人工智能与机器人研究中心）；Peng Cheng Laboratory（鹏城实验室）
本文提出了一种名为推理可移植性（RP）的机制，通过在持续学习中引入推理层面的约束，改进了多模态大语言模型在RLVR环境下的适应能力，实验表明RDB-CL在提升最后准确率方面优于基线方法。
2026-05-17 cs.CV cs.LG
Towards Reversible Forgetting: Managing Obsolete Knowledge in Continual Enterprise AI Agents
针对企业AI智能体在非平稳环境中面临的过时知识问题，提出含三种记忆状态的可逆遗忘框架，实例化为滞后可逆记忆控制器，可减少过时信息影响且不混淆临时抑制与永久擦除，金融场景可验证其思路。
2026-08-20 cs.LG cs.MA
Experience Replay Addresses Loss of Plasticity in Continual Learning
University of Virginia（弗吉尼亚大学）
本文提出经验回放结合Transformer可解决持续学习中深度网络的可塑性丧失问题，并在回归、分类和策略评估任务中验证了该假设。
2025-03-25 cs.AI cs.LG cs.NE
RECAP: Regression Evaluation for Continual Adaptation of Prompts
Capital One
提出RECAP基准，在严格主动适应-测试协议下评估提示优化方法对约束变化的持续学习能力，发现现有方法在主动场景下性能无显著提升，强调设计主动提示适应方法的必要性。
2026-09-02 cs.CL cs.LG
SIESTA: Efficient Online Continual Learning with Sleep
Rochester Institute of Technology（罗切斯特理工学院）；United States Space Force（美国太空军）；University of Rochester（罗切斯特大学）
本文提出基于 wake/sleep 框架的 SIESTA 持续学习方法，通过无重放、无反向传播的在线更新与睡眠阶段受限重放巩固，在单 GPU 上 2 小时内完成 ImageNet-1K 学习并达到离线性能。
2023-11-02 cs.CV cs.LG
RECALL: Recovery Experience Collection for Active Lifelong Learning in Vision-Language-Action Models
Yale University（耶鲁大学）
提出主动不确定性引导的数据收集方法，结合持续学习技术，解决VLA模型被动模仿学习中的效率低和灾难性遗忘问题。
2026-06-23 cs.AI cs.LG cs.RO
Always Learning, Always Mixing: Efficient and Simple Data Mixing All the Time
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
本文提出OP-Mix算法，通过低秩适配器插值实现数据混合，提升预训练和持续学习性能，减少计算资源消耗。
2026-10-30 cs.AI cs.CL cs.LG
Continual Causal Effect Estimation: Challenges and Opportunities
Ant Group（蚂蚁集团）；University of Virginia（弗吉尼亚大学）
本文定义了持续处理效应估计问题，指出大数据时代观测数据因果推断在可扩展性、适应性和可访问性上的新挑战，并提出可能的解决方案与未来研究方向。
2023-04-10 cs.LG stat.ML
RL Forgets! Towards Continual Policy Optimization
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education（教育部计算机网络和信息集成重点实验室（东南大学））；Zhongguancun Academy（中关村科学城公司）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
研究持续训练中强化学习易遗忘问题，引入MRCL基准测试，提出持续策略优化框架CPO，通过参数移动正则化减少遗忘，多模型规模实验验证了其有效性。
2026-11-06 cs.LG
Experience Replay for Continual Learning
University of Pennsylvania（宾夕法尼亚大学）；DeepMind（深度思维）
持续学习是学习新任务或知识的问题，同时保护旧知识，并理想地从旧经验中概括以更快地学习新任务。由随机梯度下降训练的神经网络在连续训练具有不同数据分布的新任务时，经常会在旧任务上降级。这种现象被称为灾难性遗忘，被认为是学习非静态数据或新任务序列的主要障碍，并阻止网络不断积累知识和技能。我们在强化学习的背景下研究这个问题，在一个设置中，代理暴露于一个序列中的任务。与大多数其他工作，我们不提供一个明确的指示，任务边界的模型，这是最普遍的情况下，学习代理暴露于连续的经验。虽然最近提出了各种方法来抵消灾难性遗忘，我们探索一个简单的，一般的，似乎被忽视的解决方案-使用经验重放缓冲区的所有过去的事件-与混合的政策上和离策略学习，利用行为克隆。我们表明，这种策略仍然可以快速学习新的任务，但可以大大减少灾难性遗忘在Atari和DMLab域，甚至匹配的性能，需要任务身份的方法。当缓冲区存储的约束，我们确认，一个简单的机制，随机丢弃数据允许一个有限大小的缓冲区执行几乎以及一个无界的。
2019-11-26 cs.AI cs.LG stat.ML
Unicorn: A Universal and Collaborative Reinforcement Learning Approach Towards Generalizable Network-Wide Traffic Signal Control
Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）；State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；Cisco-NUS Accelerated Digital Economy Corporate Laboratory（Cisco-NUS加速数字经济企业实验室）
本文提出Unicorn框架，通过统一状态动作映射、通用交通表示和对比学习提升交通信号控制的适应性与协作性，解决复杂交通网络的可扩展优化问题。
2026-03-25 cs.AI cs.LG cs.RO
Adaptive Online Planning for Continual Lifelong Learning
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
我们在一个在线的免重置终身学习场景中研究学习控制，在这个场景中，错误可能会在未来灾难性地复合，环境的潜在动态可能会发生变化。传统的无模型策略学习方法由于其广泛的灵活性而在困难的任务中取得了成功，但在这种情况下却很困难，因为它们可以在其生命周期的早期激活故障模式，这些故障模式难以恢复，并且随着动态变化而面临性能下降。另一方面，基于模型的规划方法学习和适应速度快，但需要高水平的计算资源。我们提出了一种新的算法，自适应在线规划（AOP），在这种情况下，通过结合基于模型的规划与无模型学习，实现强大的性能。通过近似无模型组件和规划器性能的不确定性，AOP能够仅在必要时调用更广泛的规划，从而减少计算时间，同时在面对世界上不可预测的变化时仍然优雅地适应行为-即使传统的RL失败。
2020-06-27 cs.AI cs.LG cs.RO
Dynamic Dialogue Policy for Continual Reinforcement Learning
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）
持续学习是人类学习的关键组成部分之一，也是人工智能的必然要求。由于对话可以潜在地跨越无限多的主题和任务，面向任务的对话系统必须具有持续学习的能力，动态地适应新的挑战，同时保留已经获得的知识。尽管对话政策的持续强化学习很重要，但在很大程度上仍未得到解决。缺乏一个框架，培训协议，基线模型和适当的指标，迄今为止阻碍了这方面的研究。在这项工作中，我们正好填补了这一空白，使对话政策优化的研究从静态到动态学习。我们提供了一个持续学习算法，基线架构和评估持续学习模型的指标。此外，我们提出了动态对话策略Transformer（DDPT），一种新的动态架构，可以无缝地集成新的知识，能够处理大的状态空间，并获得显着的zero-shot性能时，暴露于看不见的域，没有任何增长的网络参数大小。
2022-10-10 cs.CL cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Grow-Prune-Freeze Networks: Adaptive & Continual Learning Technique for Olfactory Navigation
提出生长-剪枝-冻结（GPF）网络框架，通过动态调整策略网络层数实现持续学习，在湍流羽流导航任务中达到94%成功率，并推广到其他机器学习任务。
2026-07-17 cs.AI cs.ET cs.LG
Policy Consolidation for Continual Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
我们提出了一种在深度强化学习中解决灾难性遗忘的方法，即\textit{agnostic}到经验分布变化的时间尺度，不需要任务边界的知识，并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中，策略网络与隐藏网络的级联进行交互，这些隐藏网络同时记住代理在一系列时间尺度上的策略，并通过自己的历史来规范当前策略，从而提高其学习而不忘记的能力。我们发现，该模型提高了持续学习相对于基线的一些连续控制任务，在单任务，交替两个任务，和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
Simplex-enabled Safe Continual Learning Machine
Technical University of Munich（慕尼黑工业大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对安全关键自主系统的持续学习安全保障问题，提出由HP-Student、HA-Teacher和协调器构成的SeC-Learning Machine，基于Simplex逻辑与Phy-DRL实现终身安全、解决Sim2Real差距并耐受未知因素，实验验证其性能优于现有方法。
2024-10-06 cs.AI cs.LG cs.RO
PROL : Rehearsal Free Continual Learning in Streaming Data via Prompt Online Learning
STEM University of South Australia（南澳大利亚STEM大学）；Institute for Infocomm Research, A*STAR & IPAL（信息与通信研究所，A*STAR及IPAL）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）
本文提出PROL方法，通过轻量级提示生成器、可训练缩放移位器、PTM泛化保持和硬-软更新机制，在流数据在线持续学习中实现免排练并超越现有SOTA性能。
2025-07-16 cs.AI cs.CV cs.LG
Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training
研究通过自蒸馏策略优化（SDPO）发现，同策略自蒸馏在持续后训练中会加剧遗忘甚至崩溃，而GRPO等强化学习方法更保守地保留先前能力，表明密集自蒸馏并非默认的稳定器。
2026-10-05 cs.CL cs.LG
Continual Auxiliary Task Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
学习辅助任务，例如对世界的多个预测，可以为强化学习系统提供许多好处。已经开发了各种各样的离策略学习算法来学习这样的预测，但是到目前为止，关于如何调整行为以收集用于那些脱离策略预测的有用数据的工作还很少。在这项工作中，我们研究了一个强化学习系统，旨在学习一组辅助任务，与行为策略学习采取行动，以改善这些辅助预测。我们强调固有的非平稳性，在这个连续的辅助任务学习问题，预测学习者和行为学习者。我们开发了一个算法的基础上的继任者的功能，促进跟踪下的非平稳奖励，并证明分离到学习继任者的功能和奖励提供收敛速度的改进。我们对由此产生的多预测学习系统进行了深入的研究。
2022-02-22 cs.LG
From Memorization to Absorption: Mixed-Policy RL for Continual Knowledge Injection
University of California, Merced（加州大学默塞德分校）
针对大语言模型持续知识注入中监督微调泛化不足的问题，提出三阶段自学习框架GRIN，其核心为混合策略RL算法Golden-GRPO，引入两个基准验证，结果表明GRIN性能优于SFT及混合策略RL基线。
2026-08-27 cs.CL cs.LG
Continual Vision-based Reinforcement Learning with Group Symmetries
Carnegie Mellon University（卡内基梅隆大学）；Toyota Motor North America（北美丰田汽车公司）
针对现有持续视觉强化学习忽略群对称等价任务导致效率与泛化性差的问题，提出带等变特征提取器和任务分组机制的COVERS方法，按等价任务组学习策略，在桌面操作任务上实现更优泛化性能。
2023-06-14 cs.LG
Continual Task Allocation in Meta-Policy Network via Sparse Prompting
University of Technology Sydney（悉尼科技大学）；Southern University of Science and Technology（南方科技大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出CoTASP，通过过完备字典生成稀疏提示并从元策略中提取任务子网络，在无经验回放条件下缓解持续强化学习的遗忘并提升泛化。
2023-06-03 cs.AI cs.LG
Edge Continual Learning for Dynamic Digital Twins over Wireless Networks
Virginia Tech（弗吉尼亚理工学院）
数字孪生（DTs）是连接现实世界和虚拟世界的重要纽带。为了保证这两个世界之间的鲁棒连接，DT应该保持物理应用程序的准确表示，同时保持真实和数字实体之间的同步。在本文中，一个新的边缘持续学习框架，提出了准确地模拟物理孪生（PT）和其对应的网络孪生（CT）之间的不断演变的亲和力，同时保持他们的最大同步。特别地，CT被模拟为无线网络边缘处的深度神经网络（DNN），以对穿越偶发动态环境的自主车辆进行建模。当车辆PT在每个片段中更新其驾驶策略时，CT需要同时使其DNN模型适应PT，这引起去同步间隙。考虑到DT的历史感知性质，模型更新过程被提出为双目标优化问题，其目标是联合最小化所有遇到的事件上的损失函数和相应的去同步时间。由于去同步时间在连续事件上继续增加，因此提出了一种弹性权重合并（EWC）技术来限制去同步时间，该技术使DT历史规则化。此外，为了解决伴随EWC正则化项的逐步增长的可塑性-稳定性权衡，采用了考虑DT的历史事件之间的公平执行的修改后的EWC方法。最终，所提出的框架实现了同时准确和同步的CT模型，该模型对灾难性遗忘具有鲁棒性。仿真结果表明，该方法在保证最小解扩时间的前提下，可以达到90%的解扩精度。
2022-04-10 cs.IT cs.LG cs.NI
Continual Deep Reinforcement Learning with Task-Agnostic Policy Distillation
University of Southampton（南安普顿大学）；University of Hamburg（汉堡大学）
本文提出 TAPD 框架，通过无外部目标、最大化内在动机的任务无关探索与策略蒸馏，缓解持续深度强化学习中的遗忘、迁移、扩展和无标签问题。
2024-11-25 cs.LG
Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
研究连续强化学习中神经网络训练问题，提出校准部分重置（CPR）优化器，定期拉低效用神经元至初始化，拉动强度依效用缩放。该方法避免策略崩溃，在多基准测试中表现优，揭示可塑性与峰值性能权衡，为连续学习提供新方向。
2026-07-29 cs.AI cs.LG cs.RO
Continual Reinforcement Learning deployed in Real-life using Policy Distillation and Sim2Real Transfer
ENSTA ParisTech（ENSTA巴黎高科）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
我们专注于教机器人解决顺序提出的任务的问题，即，in a持续学习scenario场景.机器人应该能够解决它遇到的所有任务，而不会忘记过去的任务。我们提供了初步的工作应用强化学习，这样的设置，在2D导航任务的3轮全向机器人。我们的方法利用状态表示学习和策略蒸馏。使用学习的特征作为输入而不是原始观察来训练策略，从而允许更好的样本效率。策略蒸馏用于将多个策略组合成单个策略，以解决所有遇到的任务。
2019-06-11 cs.LG cs.RO stat.ML
DisCoRL: Continual Reinforcement Learning via Policy Distillation
ENSTA Paris（巴黎高等先进技术学院）；Institute Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
在多任务强化学习中，有两个主要的挑战：在训练时，使用单个模型学习不同策略的能力;在测试时，在没有外部信号的情况下推断哪些策略适用。在持续强化学习的情况下，第三个挑战出现了：顺序学习任务而不忘记前面的任务。在本文中，我们通过提出DisCoRL来应对这些挑战，这是一种结合状态表示学习和策略蒸馏的方法。我们使用3轮全方位机器人进行了一系列三个模拟2D导航任务的实验。此外，我们测试了我们的方法的鲁棒性，将最终的政策转移到现实生活中的设置。该策略可以解决所有任务，并自动推断运行哪一个。
2019-07-11 cs.AI cs.LG stat.ML
