Towards guarantees for parameter isolation in continual learning
ETH Zurich（苏黎世联邦理工学院）
该研究针对持续学习中灾难性遗忘缺乏可证明保证的问题，通过分析神经网络损失景观的几何特性，为基于参数隔离的一类持续学习算法提供统一视角，并为部分算法建立了灾难性遗忘的保证。
2023-10-02 cs.AI cs.LG
Overcoming Growth-Induced Forgetting in Task-Agnostic Continual Learning
Hong Kong Polytechnic University（香港理工大学）；Indian Institute of Technology（印度理工学院）；Imperial College London（伦敦帝国学院）
SparseGrow通过梯度和参数稀疏性解决持续学习中的增长性遗忘问题，提升模型适应性与知识保留能力。
2025-12-22 cs.AI cs.LG
The Art of Not Forgetting A Local Learning Architecture for Continual Learning
Arkadhi Research（阿卡迪研究机构）
该研究提出持续学习架构CMP，采用稀疏关系编码、两层竞争记忆与局部更新，在语言建模实验中较参数匹配的Transformer基线表现出更低的灾难性遗忘，为持续学习提供了新方向。
2026-07-30 cs.AI cs.LG
Probing Representation Forgetting in Supervised and Unsupervised Continual Learning
Concordia University（康考迪亚大学）；Mila – Quebec AI Institute（米拉 - 魁北克人工智能研究所）；Toyota Motor Europe（丰田汽车欧洲公司）
持续学习研究通常集中在解决神经网络中的灾难性遗忘现象。灾难性遗忘与当任务或更广泛地说数据分布在变化上训练时，模型先前学习的知识突然丢失有关。在监督学习问题中，这种遗忘是由模型表示的变化引起的，通常通过评估旧任务性能的下降来测量或观察。然而，模型的表示可以改变，而不会丢失关于先前任务的知识。在这项工作中，我们考虑表示遗忘的概念，观察到使用的最佳线性分类器的性能差异之前和之后引入一个新的任务。使用这个工具，我们重新审视了一些标准的持续学习基准，并观察到，通过这个镜头，没有任何显式控制遗忘训练的模型表示经常经历小的表示遗忘，有时可以与显式控制遗忘的方法相媲美，特别是在较长的任务序列中。我们还表明，表示遗忘可以导致新的见解的影响模型容量和损失函数中使用的持续学习。基于我们的研究结果，我们表明，一个简单而有竞争力的方法是学习表示不断与标准的监督对比学习，同时构建类样本的原型时，查询旧的样本。
2022-04-05 cs.AI cs.CV cs.LG
Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
Tel Aviv University（特拉维夫大学）
本文在神经正切核（NTK）框架下提出函数空间理论，推导出新任务训练导致旧任务预测漂移的闭式表达式，揭示遗忘集中在少量旧任务NTK本征模式上，并给出低秩特性与Kronecker缩放规则。
2026-06-17 cs.AI cs.LG
Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning
AGH University of Krakow（克拉科夫AGH大学）；American University（美国大学）；University of Rochester（罗切斯特大学）
本文提出一种诊断框架，利用稀疏自编码器分析概念层面遗忘，发现遗忘主要源于表征可访问性变化而非信息擦除。
2026-05-10 cs.AI cs.LG
On the Diminishing Returns of Width for Continual Learning
SambaNova Systems（桑巴诺瓦系统公司）；University of Washington（华盛顿大学）；ThirdAI（ThirdAI公司）
本文提出持续学习理论分析框架，证明前馈网络中增加宽度虽可减轻灾难性遗忘，但收益会递减，并在更大宽度实验中验证该结论。
2024-06-18 cs.AI cs.LG
Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器学习研究所）；CIFAR（加拿大高级研究院）
本文提出基于效用的扰动梯度下降UPGD，通过保护有用单元并扰动无用单元，同时缓解持续学习中的灾难性遗忘和可塑性丧失，在流式学习与PPO强化学习实验中均表现优越。
2024-04-30 cs.AI cs.LG
On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning
本文揭示持续学习中灾难性遗忘源于新任务梯度对旧任务损失景观尖锐方向的隐式对抗性对齐，归因于训练的低秩偏差，并提出backGP方法缓解该问题，平均减少遗忘10.8%、提升准确率12.7%。
2025-10-10 cs.AI cs.LG
CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning
Iowa State University（爱荷华州立大学）；Maro Systems（Maro系统）；University of California, Berkeley（加州大学伯克利分校）；AMD
CRAFT通过在隐藏表示上学习低秩干预，避免更新模型权重，通过输出分布分歧路由任务、KL散度正则化和合并干预，减少遗忘并提升性能。
2026-10-16 cs.AI cs.LG
Selective Amnesia: A Continual Learning Approach to Forgetting in Deep Generative Models
National University of Singapore（新加坡国立大学）；Smart Systems Institute, National University of Singapore（新加坡国立大学智能系统研究所）
针对文本到图像模型可能被滥用以生成有害内容的问题，提出基于持续学习的“选择性遗忘”方法，实现可控遗忘，可应用于变分自编码器和扩散模型，实验证明能有效遗忘多种概念。
2023-10-17 cs.AI cs.LG
Accurate Forgetting for Heterogeneous Federated Continual Learning
Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The University of Auckland（奥克兰大学）；RIKEN（理化学研究所）；Hong Kong Baptist University（香港浸会大学）；DataCanvas Technology Co., Ltd.（数帆科技有限公司）；The University of Tokyo（东京大学）
针对异构联邦持续学习中客户端数据差异引发的特征学习偏差问题，提出精准遗忘概念与基于归一化流的生成重放方法，选择性利用可信旧知识，性能优于现有基线。
2025-02-20 cs.AI cs.LG
Sequencing to Mitigate Catastrophic Forgetting in Continual Learning
Huawei Technologies Canada（华为技术加拿大公司）
本文提出通过最优任务序列缓解持续学习中的灾难性遗忘，结合零样本评分算法并增强性能与鲁棒性。
2025-12-18 cs.AI cs.LG
Formalizing the Generalization-Forgetting Trade-off in Continual Learning
Argonne National Laboratory（阿贡国家实验室）
我们通过动态规划制定了持续学习（CL）问题，并将灾难性遗忘和泛化之间的权衡建模为两个玩家的顺序游戏。在这种方法中，参与人1由于缺乏泛化而使成本最大化，而参与人2由于灾难性遗忘而使成本最小化。我们从理论上证明了两个玩家之间的平衡点存在于每个任务中，并且这个点是稳定的（一旦达到平衡，两个玩家就会停留在平衡点上）。接下来，我们介绍平衡的持续学习（BCL），它的目的是实现泛化和遗忘之间的平衡，并实证证明，BCL是可比的，或优于最先进的。
2022-02-24 cs.AI cs.LG math.DS
Distilled Replay: Overcoming Forgetting through Synthetic Samples
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学校）
重放策略是一种持续学习技术，它通过保留来自先前经验的模式缓冲区来减轻灾难性遗忘，这些模式在训练期间与新数据交织。存储在缓冲区中的模式的数量是一个关键参数，它在很大程度上影响最终的性能和该方法的内存占用。这项工作介绍了蒸馏重放，一种新的重放策略持续学习，它能够通过保持一个非常小的缓冲区（1模式每类）的高度信息化的样本，以减轻遗忘。Distilled Replay通过蒸馏过程构建缓冲区，该过程将大型数据集压缩为一组信息丰富的示例。我们展示了我们的蒸馏重放对流行的重放为基础的策略的有效性四个持续学习基准。
2021-06-22 cs.AI cs.LG
Data-dependent and Oracle Bounds on Forgetting in Continual Learning
本文针对持续学习中的遗忘问题，为无样本回放方法提出数据依赖上界和吉布斯后验预言界，并据此设计算法，在多个持续学习问题上验证了界的紧致性与实用性。
2025-08-18 cs.LG
Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks
Rowan University（罗文大学）
众所周知，人工神经网络在不断地从任务序列中学习时容易发生灾难性遗忘。已经提出了各种连续（或“增量”）学习方法来避免灾难性遗忘，但是它们通常是对手不可知的，即，他们不考虑恶意攻击的可能性。在这项工作中，我们探讨弹性权重合并（EWC），一个流行的持续学习算法，以避免灾难性遗忘的脆弱性。我们表明，智能对手可以绕过EWC的防御，而是通过在训练过程中向模型引入少量错误信息来引起逐渐和故意的遗忘。我们证明了这样一个对手的能力，通过注入“后门”攻击样本的MNIST数据集的置换和分裂基准变量的模型的控制。重要的是，一旦模型学习了对手的错误信息，对手就可以控制任何任务的遗忘量。同样，恶意行为者可以通过将精心设计的后门样本插入到该任务的测试实例的任何部分来创建关于该任务的“虚假记忆”。也许最具破坏性的是，我们发现这种漏洞非常严重;即使是单个任务的训练数据的1%，也可以通过添加后门样本来轻松损害神经网络内存。
2020-02-17 cs.AI cs.CR cs.LG
Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对持续指令调优中灾难性遗忘问题，本研究通过分析函数向量发现遗忘受任务和模型双重影响，提出函数向量引导的正则化训练方法，有效缓解遗忘并验证了理论框架。
2025-04-16 cs.AI cs.LG
Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Superintelligence（微软超级智能）
研究发现预训练的视觉-语言-动作模型在持续学习中表现出较强的遗忘抵抗性，简单经验回放在这些模型上效果显著，即使数据量小也能实现零遗忘。
2026-03-17 cs.AI cs.LG cs.RO
Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer
Arizona State University（亚利桑那州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
通过不断地学习一系列任务，持续学习（CL）中的智能体可以分别利用前向知识转移和后向知识转移来提高新任务和“旧”任务的学习性能。然而，大多数现有的CL方法专注于解决神经网络中的灾难性遗忘，通过最小化旧任务的学习模型的修改。这不可避免地限制了从新任务到旧任务的向后知识转移，因为明智的模型更新也可能提高旧任务的学习性能。为了解决这个问题，我们首先从理论上分析的条件下，更新旧任务的学习模型可能是有益的CL，也导致向后知识转移，基于梯度投影到旧任务的输入子空间。在理论分析的基础上，我们提出了一种具有反向知识转移（CUBER）的持续学习方法，用于固定容量的神经网络，无需数据重放。特别是，CUBER首先表征的任务相关性，以确定正相关的老任务，在一个分层的方式，然后有选择地修改旧任务的学习模型时，学习新的任务。实验研究表明，CUBER甚至可以实现积极的向后知识转移的几个现有的CL基准上的第一次没有数据重放，其中相关的基线仍然遭受灾难性遗忘（负向后知识转移）。CUBER在后向知识转移方面的优越性能也相应地导致了更高的准确性。
2022-11-01 cs.AI cs.LG
A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning
University of Maryland（马里兰大学）；Northeastern University（东北大学）；Sun Yat-sen University（中山大学）
本文综述了持续学习之外的深度学习遗忘现象，指出遗忘在生成模型和联邦学习等领域普遍存在，并强调其不仅是挑战，在隐私保护等场景下也具潜在优势，旨在促进跨领域解决方案与新策略的开发。
2024-11-18 cs.AI cs.CV cs.LG
Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe（四维图新欧洲）
由于对先前学习的任务的灾难性遗忘，深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中，并将它们与当前任务样本交错，已被证明是最有效的减轻遗忘的方法。然而，经验重放（ER）没有表现出良好的低缓冲区制度和较长的任务序列，因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息，因为软目标捕获数据的丰富相似性结构。因此，我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务，从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时，正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化，我们发现，更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Science and Technology of China（中国科学技术大学）；University of Pittsburgh（匹兹堡大学）；Tongji University（同济大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究系统评估LLMs在GCL中的表现，指出任务ID泄露问题，提出SimGCL方法，在无重放约束下超越SOTA约20%，并发布基准LLM4GCL。
2025-09-26 cs.AI cs.LG
Why Do Neural Networks Forget: A Study of Collapse in Continual Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Alberta（阿尔伯塔大学）
本研究通过测量权重和激活的eRank，探讨了连续学习中遗忘与结构崩溃之间的关系，并评估了不同策略对模型容量和性能的影响。
2026-03-04 cs.AI cs.LG
Catastrophic Forgetting in Kolmogorov-Arnold Networks
针对持续学习中KANs灾难性遗忘行为不明确的问题，本研究通过理论框架（关联遗忘与激活支持重叠、内在数据维度）和系统实验，揭示其在低维场景保留知识但高维领域仍易遗忘的特性，并提出KAN-LoRA适配器提升语言模型持续微调效率。
2025-11-16 cs.AI cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales（泰雷兹）
人类一生都在学习。他们从一系列的学习经验中积累知识，记住基本概念，而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案，如分类或回归。特别是，如果他们接受新的培训，他们会忘记过去的学习经验。因此，人工神经网络往往不适合处理现实生活中的设置，如一个笨拙的机器人，必须在线学习，以适应新的情况，克服新的问题，而不会忘记它过去的学习经验。持续学习（CL）是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识，而不会忘记。在这篇论文中，我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本，以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷，从而使学习不会忘记任务设置的顺序。我们表明，他们是非常有前途的方法，持续学习。值得注意的是，它们能够用新知识重新评估过去的数据，并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
Don't forget, there is more than forgetting: new metrics for Continual Learning
ENSTA ParisTech（巴黎高等先进技术学院）；INRIA Flowers（法国国家信息与自动化研究所Flowers实验室）；University of Bologna（博洛尼亚大学）
持续学习包括从数据/任务流中持续学习的算法和自适应的思考时间，从而实现更复杂知识和技能的增量开发。在评估持续学习算法方面缺乏共识，并且几乎只关注遗忘，这促使我们提出一套更全面的独立于实现的指标，考虑到我们认为在部署持续学习的真实AI系统时值得考虑的几个因素：随着时间的推移的准确性或性能，向后和向前的知识转移，内存开销以及计算效率。从标准的多属性值理论（MAVT）的启发，我们进一步提出将这些指标融合到一个单一的分数排名的目的，我们评估我们的建议与iCIFAR-100持续学习基准的五个持续学习策略。
2018-10-31 cs.AI cs.CV cs.LG
Learning to Continually Learn with the Bayesian Principle
Seoul National University（首尔大学）
本文提出一种元持续学习框架，结合神经网络表示能力与统计模型贝叶斯更新的抗遗忘性，实现高性能且可扩展的持续学习。
2024-05-29 cs.AI cs.LG
Formalizing Forgetting: Theory of Forgetting for Online Continual Learning
Boston College（波士顿学院）；Sun Yat-sen University（中山大学）
该研究针对在线持续学习的遗忘问题，分析强凸与一般凸目标下的单次遍历Shuffle SGD，推导遗忘上界并通过Split-CIFAR-100等实验验证理论趋势，为理解遗忘的影响因素提供了理论支撑。
2026-10-14 cs.LG
Is forgetting less a good inductive bias for forward transfer?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；DeepMind（深度思维）
研究持续学习的主要动机之一是问题设置允许模型从过去的任务中积累知识，以更有效地学习新任务。然而，最近的研究表明，持续学习算法优化的关键指标，灾难性遗忘的减少，与知识的向前转移没有很好的相关性。我们认为，以前的工作所得出的结论是由于他们的方式来衡量向前转移。我们认为，前向迁移到一个任务的措施不应该受到持续学习者的限制，以保持以前的任务的知识。相反，前向迁移应该通过学习一项新任务的难易程度来衡量，这是通过对先前任务的持续学习产生的一组表征来实现的。在这个概念下的前向转移，我们评估不同的持续学习算法的各种图像分类基准。我们的研究结果表明，较少的健忘表示导致更好的前向迁移，这表明保留过去的信息和新任务的学习效率之间有很强的相关性。此外，我们发现较少健忘的表征更多样化和歧视性相比，他们的健忘的同行。
2023-03-14 cs.AI cs.LG
Prototype Augmented Hypernetworks for Continual Learning
Computer Vision Center（计算机视觉中心）；TUM（技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对持续学习中的灾难性遗忘问题，提出以可学习任务原型为条件、动态生成任务分类头的原型增强超网络框架，结合双重蒸馏损失稳定特征表示，在多个基准上实现了无需存储样本的最优性能。
2025-05-16 cs.AI cs.LG
Avoiding Forgetting and Allowing Forward Transfer in Continual Learning via Sparse Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特温特大学）
在持续学习（CL）中使用神经网络中的特定任务组件是解决固定容量模型中稳定性-可塑性困境的一种引人注目的策略，而无需访问过去的数据。目前的方法只关注为新任务选择一个子网络，以减少对过去任务的遗忘。然而，这种选择可能会限制有助于未来学习的相关过去知识的向前转移。我们的研究表明，同时满足这两个目标是更具挑战性的，当一个统一的分类器被用于所有类看到的任务类增量学习（类IL），因为它是容易在跨任务类之间的歧义。此外，当跨任务的类的语义相似性增加时，挑战也会增加。为了解决这个问题，我们提出了一个新的CL方法，命名为AFAF，其目的是避免遗忘，并允许在类IL使用固定容量模型的前向传输。AFAF分配一个子网络，使相关知识的选择性转移到一个新的任务，同时保留过去的知识，重用一些以前分配的组件，以利用固定的容量，并解决类歧义时，存在相似性。实验表明，AFAF在提供具有多个CL理想属性的模型方面的有效性，同时在具有不同语义相似性的各种具有挑战性的基准上优于最先进的方法。
2022-07-06 cs.AI cs.LG
FOGO: Forgetting-aware Orthogonalization Optimizer
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出FOGO优化器，通过谱正交化动量更新并利用紧凑码本记忆解决梯度干扰，在类别不平衡、持续学习和大模型微调等场景中提升收敛与知识保留。
2026-06-09 cs.AI cs.LG
Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting
KU Leuven（鲁汶大学）
该研究针对持续学习中表征层遗忘程度的争议，通过实验证实特征遗忘相对任务学习量同样具灾难性，且会减缓知识积累，并探究了不同持续学习方法对二者的影响。
2024-06-24 cs.CV cs.LG
CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
本文提出CURLoRA方法，通过在LoRA中引入改进的CUR矩阵分解作为隐式正则化并仅微调零初始化的$U$矩阵，有效缓解了LLM持续微调中的灾难性遗忘，显著减少了可训练参数，并在数据有限时保持模型稳定性和准确率。
2024-08-26 cs.AI cs.CL cs.LG
On Sequential Bayesian Inference for Continual Learning
University of Oxford（牛津大学）；SRI International（SRI国际）
本文研究序贯贝叶斯推断能否防止神经网络灾难性遗忘，通过 HMC 与密度估计实验及解析分析揭示模型误设和数据不平衡问题，并提出具有竞争力的 Prototypical Bayesian Continual Learning 基线。
2025-01-07 cs.AI cs.LG
Fixed Random Classifier Rearrangement for Continual Learning
Guilin University of Electronic Technology（桂林电子科技大学）；School of Information and Communication（信息与通信学院）
本文提出固定随机分类器重排（FRCR）两阶段持续学习算法，通过固定随机分类器约束单类分类器范数并重排新分类器条目，有效缓解灾难性遗忘。
2024-02-23 cs.AI cs.LG
Measuring Representational Shifts in Continual Learning: A Linear Transformation Perspective
Department of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea；Department of Statistics；Data Science, Yonsei University, Seoul, South Korea
该研究从线性变换视角提出表征差异指标以度量持续学习中的表征遗忘，通过理论分析得出层深度、网络宽度与遗忘速度的关联规律，并在Split-CIFAR100、ImageNet1K数据集上验证了理论结论。
2025-06-12 cs.LG
Towards Efficient and Exact Forgetting Services in Pre-Trained-Model-based Continual Learning
Department of Information Systems, University of Maryland, Baltimore County (UMBC)（马里兰大学巴尔的摩分校信息系统系）
针对持续学习中顺序遗忘请求的挑战，提出基于解析方法的持续遗忘（ACU），通过最小二乘递归推导闭式解，实现高效精确的遗忘，保护历史数据隐私。
2026-06-05 cs.AI cs.CR cs.LG
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University（北卡罗来纳州立大学）；Salesforce Research（赛富时研究院）
解决灾难性遗忘是持续学习的关键挑战之一，其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展，但深度神经网络（DNN）仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架，用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成：神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计，该方法不仅能够以直观有意义的方式进化神经结构，而且在实验中显示出较强的缓解灾难性遗忘的能力。此外，所提出的方法优于所有其他基线上的排列MNIST数据集，分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology（麻省理工学院）
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验，发现更大模型未必能缓解灾难性遗忘，反而在在线适应新任务时表现更差，揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning
The Hong Kong Polytechnic University（香港理工大学）；ShineMo Ltd., China（中国 ShineMo 公司）；Solar System of OVB, Tencent, China（腾讯 OVB 太阳系中国）；Peking University（北京大学）；University College London（伦敦大学学院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
FOREVER通过引入遗忘曲线概念，提出了一种基于模型自身时间的连续学习框架，有效缓解了语言模型在持续学习中的灾难性遗忘问题。
2026-04-20 cs.AI cs.CL cs.LG
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University（约翰斯·霍普金斯大学）
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据，这违反了理想的持续学习系统的约束。此外，目前处理遗忘的方法忽略了灾难性记忆的问题，即区分来自不同任务的数据的能力越来越差。在我们的工作中，我们介绍了相关映射网络（RMN）的启发，最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现，RMNs学习一个优化的表示重叠，克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能，甚至显著优于数据重放方法，同时不违反理想的持续学习系统的约束。此外，RMN保留了以无监督的方式从新任务中检测数据的能力，从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
Analysis of Overparameterization in Continual Learning under a Linear Model
Khoury College of Computer Sciences（科里计算机科学学院）；Northeastern University（东北大学）
针对自主机器学习系统的灾难性遗忘问题，本文在线性回归模型的梯度下降场景中从理论证明仅过参数化可缓解遗忘，建立单任务风险非渐近界，为持续学习理论研究提供基础。
2025-02-11 cs.AI cs.LG stat.ML
Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning
Shenzhen Sunline Tech Co., Ltd.（深圳Sunline科技有限公司）
本文提出浅层与深层对齐框架，通过定量指标和实时检测方法解决持续学习中的虚假遗忘问题，提升模型鲁棒性。
2025-12-02 cs.AI cs.CL cs.LG
Slowing Down Forgetting in Continual Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文提出名为ReCL的持续学习框架，利用基于梯度的神经网络的隐式偏置在间隔最大化点重建旧任务数据并与当前数据结合，有效减缓灾难性遗忘，在多种场景、数据集和架构上取得显著性能提升。
2025-03-03 cs.AI cs.CV cs.LG
Hidden Forgetting in Continual Multimodal Learning: When Accuracy Survives but Grounding Fails
Nanyang Technological University（南洋理工大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对持续多模态学习中模型答案准确但证据使用方式改变的问题，提出无重放依赖约束框架RCL，通过冻结旧模型、反事实干预估计证据依赖并联合优化，有效降低隐藏遗忘。
2026-07-03 cs.AI
AFEC: Active Forgetting of Negative Transfer in Continual Learning
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）；University College London（伦敦大学学院）
持续学习旨在从动态数据分布中学习一系列任务。在不访问旧训练样本的情况下，很难确定从旧任务到每个新任务的知识转移，这可能是积极的或消极的。如果旧知识干扰了新任务的学习，即，前向知识迁移是负向的，那么精确记忆旧任务会进一步加重干扰，从而降低持续学习的绩效。相比之下，生物神经网络可以通过调节学习触发的突触扩张和突触收敛，主动忘记与学习新经验相冲突的旧知识。受生物学主动遗忘理论的启发，我们提出主动遗忘限制新任务学习的旧知识，以利于持续学习。在贝叶斯持续学习的框架下，我们开发了一种新的方法，称为主动遗忘与突触扩张收敛（AFEC）。我们的方法动态地扩展参数来学习每个新任务，然后选择性地组合它们，这在形式上与生物主动遗忘的潜在机制一致。我们在各种持续学习基准上对AFEC进行了广泛的评估，包括CIFAR-10回归任务，视觉分类任务和Atari强化任务，其中AFEC有效地提高了新任务的学习，并以即插即用的方式实现了最先进的性能。
2021-11-04 cs.LG
Quantum Continual Learning Overcoming Catastrophic Forgetting
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
灾难性遗忘描述了这样一个事实，即机器学习模型在学习新任务的过程之后可能会忘记先前学习的任务的知识。它是持续学习场景中的一个重要问题，最近引起了不同社区的极大关注。在本文中，我们探讨了量子机器学习背景下的灾难性遗忘现象。我们发现，与基于神经网络的经典学习模型类似，量子学习系统在各种应用场景下的分类任务中同样存在遗忘问题。我们表明，基于局部几何信息的损失函数景观的训练模型，一个统一的策略，可以适应克服遗忘问题的增量学习设置。我们的研究结果揭示了量子机器学习中的灾难性遗忘现象，并提供了一种实用的方法来克服这个问题，这为探索潜在的量子优势走向持续学习开辟了一条新的途径。
2021-08-05 cond-mat.mes-hall cs.LG quant-ph
Putting a Face to Forgetting: Continual Learning meets Mechanistic Interpretability
KU Leuven（根特大学）；University of Groningen（Groningen大学）；Amazon（亚马逊）
本文提出一个机制框架，从几何角度解释持续学习中的灾难性遗忘，通过玩具模型分析并验证了深度对遗忘的影响，展示了如何利用Crosscoders分析实际模型。
2026-08-12 cs.LG
Predicting the Susceptibility of Examples to Catastrophic Forgetting
本文发现学习速度快的样本更不易被遗忘，据此提出基于学习速度的回放采样策略SBS，可广泛提升持续学习基准上的性能。
2025-07-03 cs.LG
Theory on Forgetting and Generalization of Continual Learning
The Ohio State University（俄亥俄州立大学）
持续学习（Continuallearning，CL）是一种旨在学习一系列任务的学习方法，近年来受到了广泛的关注。然而，大多数工作集中在实验性能的CL，和CL的理论研究仍然有限。特别是，缺乏对哪些因素是重要的，以及它们如何影响“灾难性遗忘“和泛化性能的理解。为了填补这一空白，我们的理论分析，在过参数化线性模型，提供了第一个已知的明确形式的预期遗忘和泛化误差。进一步的分析，这样一个关键的结果产生了一些理论解释如何overparameterization，任务相似性，任务排序影响遗忘和泛化误差的CL。更有趣的是，通过使用深度神经网络（DNN）在真实数据集上进行实验，我们发现其中一些见解甚至超越了线性模型，可以应用于实际设置。特别是，我们用具体的例子表明，我们的研究结果不仅解释了一些有趣的经验观察在最近的研究，但也激励更好的实用算法设计的CL。
2023-02-12 cs.LG
Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation
本文从知识分解角度发现低秩适应存在奇异值谱不平衡，导致遗忘，并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法，有效缓解前后向遗忘。
2026-07-03 cs.LG
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST（韩国科学技术院）；Ansan Institute for Life Sciences, Ansan Medical Center（安山医疗中心安山生命科学研究所）
解释深度神经网络（通常被认为是黑盒）的行为至关重要，特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果，提出了一种新的技术Auto DeepVis，用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上，提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的，特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说，临界冻结要求在基线上对先前和未来的任务进行最佳性能，证明了调查的能力。我们的技术不仅可以补充现有的解决方案，完全消除终身学习的灾难性遗忘，而且可以解释。
2020-01-07 cs.LG stat.ML
