SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment
University of Science and Technology of China（中国科学技术大学）；Xiaohongshu Inc.（小红书公司）
针对检索增强生成（RAG）场景下监督微调易引发大语言模型灾难性遗忘的问题，提出自分布对齐方法SelfAug，通过对齐输入序列logits保留语义分布，实现下游学习与通用能力保留的更优平衡，并揭示分布偏移与遗忘程度的关联。
2025-09-04 cs.AI cs.CL
Meta-learnt priors slow down catastrophic forgetting in neural networks
Department of CSAI, Tilburg University（蒂尔堡大学CSAI系）；Tilburg University（蒂尔堡大学）
当前的深度学习训练机制通常涉及一次暴露于单个任务/数据集。在这里，我们从观察开始，在这种情况下，训练模型没有被给予任何关于其（单任务）训练分布之外的任何知识，因此无法学习参数（即，特征检测器或策略），这可能有助于解决其他任务，并限制将来对所获得的知识的干扰，从而限制灾难性遗忘。在这里，我们表明，灾难性遗忘可以在元学习的背景下，通过暴露一个神经网络在训练过程中以顺序的方式多个任务来减轻。最后，我们提出了SeqFOMAML，一个Meta学习算法，实现这些原则，我们评估它的顺序学习问题组成的Omniglot和MiniImageNet分类任务。
2020-02-09 cs.AI cs.LG stat.ML
Forget Me Not: Reducing Catastrophic Forgetting for Domain Adaptation in Reading Comprehension
IBM Research Australia（IBM澳大利亚研究院）；University of Melbourne（墨尔本大学）
近年来，大规模开放域阅读理解数据集的创建使得端到端神经理解模型的开发具有良好的效果。为了将这些模型用于具有有限训练数据的领域，最有效的方法之一是首先在大的域外源数据上预训练它们，然后用有限的目标数据对它们进行微调。需要注意的是，经过微调后，理解模型在源域中的表现往往很差，这种现象被称为灾难性遗忘。在本文中，我们探讨的方法，克服灾难性遗忘在微调，而不假设访问数据的源域。我们引入了新的辅助惩罚项，并观察到最佳性能时，辅助惩罚项的组合被用来调整适应理解模型的微调过程。为了测试我们的方法，我们开发并发布了6个窄域数据集，这些数据集可能被用作阅读理解基准。
2020-11-20 cs.CL cs.LG
On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning
本文揭示持续学习中灾难性遗忘源于新任务梯度对旧任务损失景观尖锐方向的隐式对抗性对齐，归因于训练的低秩偏差，并提出backGP方法缓解该问题，平均减少遗忘10.8%、提升准确率12.7%。
2025-10-10 cs.AI cs.LG
Explaining Robustness to Catastrophic Forgetting Through Incremental Concept Formation
Drexel University（德雷塞尔大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对持续学习中的灾难性遗忘问题，基于层级概念形成模型Cobweb/4V的鲁棒性检验三项稳定性假设，通过多数据集对比实验验证了自适应重组、稀疏更新及信息论学习的作用，为构建稳定自适应的持续学习系统提供新思路。
2025-10-27 cs.AI cs.LG
Addressing Catastrophic Forgetting in Few-Shot Problems
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
众所周知，神经网络在序列数据集上训练时会遭受灾难性遗忘。虽然已经有许多尝试来解决这个问题，在大规模的监督分类，几乎没有做克服灾难性遗忘在Few-Shot分类问题。我们证明了流行的基于梯度的模型不可知元学习算法（MAML）确实遭受灾难性遗忘，并引入贝叶斯在线元学习框架，解决这个问题。我们的框架利用贝叶斯在线学习和元学习以及拉普拉斯近似和变分推理来克服Few-Shot分类问题中的灾难性遗忘。实验评估表明，我们的框架可以有效地实现这一目标与各种基线相比。作为一个额外的实用程序，我们还证明了经验，我们的框架是能够元学习顺序到达Few-Shot任务从一个固定的任务分布。
2021-06-21 cs.LG stat.ML
Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting
提出一种无需原始SFT数据即可缓解大模型灾难性遗忘的微调方法，通过重建指令分布并合成通用数据集与领域数据混合微调，在保留通用能力的同时提升特定任务性能。
2025-06-28 cs.AI cs.CL
Mitigating Catastrophic Forgetting in Mathematical Reasoning Finetuning through Mixed Training
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出混合训练策略，通过交错数学和NLI任务来缓解微调中的灾难性遗忘，同时保持数学性能和NLI准确性。
2025-12-05 cs.CL cs.LG
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST（韩国科学技术院）；Ansan Institute for Life Sciences, Ansan Medical Center（安山医疗中心安山生命科学研究所）
解释深度神经网络（通常被认为是黑盒）的行为至关重要，特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果，提出了一种新的技术Auto DeepVis，用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上，提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的，特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说，临界冻结要求在基线上对先前和未来的任务进行最佳性能，证明了调查的能力。我们的技术不仅可以补充现有的解决方案，完全消除终身学习的灾难性遗忘，而且可以解释。
2020-01-07 cs.LG stat.ML
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点，但主要的问题仍然没有答案：灾难性遗忘的根本原因是什么？在这项工作中，我们的目标是回答这个问题，提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说，我们设计了一组经验评估，比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到，通过判别模型学习的表征比生成模型更容易发生灾难性遗忘，这为开发用于持续学习的生成模型的优势提供了新的视角。最后，我们的工作开辟了新的研究途径和可能性，采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Overcoming Catastrophic Forgetting by Exemplar Selection in Task-oriented Dialogue System
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）；Zhejiang University（浙江大学）
针对任务型对话系统持续学习中的灾难性遗忘问题，提出基于超梯度的示例选择方法HESIT，通过追踪超梯度选有影响力示例重训，无需估计Hessian，适配大预训练模型，在最大ToD持续学习基准上全指标达SOTA。
2024-05-16 cs.AI cs.LG
Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）
通过引入差异电路脆弱性指标，研究比较了强化学习与监督微调在大型语言模型微调中对内部计算电路的保留程度，发现RL虽任务适应较慢但能更好保留电路，从而减轻灾难性遗忘。
2026-06-06 cs.AI cs.CL cs.CR
A Conformal Predictive Measure for Assessing Catastrophic Forgetting
Communication Systems Department, EURECOM, France（EURECOM通信系统部）；Andalusian Institute of Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；Department of Computer Science and Artificial Intelligence, University of Granada, Spain（格拉纳达大学计算机科学与人工智能系）
本研究提出基于共形预测的新指标CPCF，通过监测模型对旧任务的置信度量化持续学习中的灾难性遗忘，经四个基准数据集验证其与旧任务准确率强相关，可作为动态学习环境下评估灾难性遗忘的可靠工具。
2025-05-15 cs.AI cs.LG
Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
Tel Aviv University（特拉维夫大学）
本文在神经正切核（NTK）框架下提出函数空间理论，推导出新任务训练导致旧任务预测漂移的闭式表达式，揭示遗忘集中在少量旧任务NTK本征模式上，并给出低秩特性与Kronecker缩放规则。
2026-06-17 cs.AI cs.LG
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University（北卡罗来纳州立大学）；Salesforce Research（赛富时研究院）
解决灾难性遗忘是持续学习的关键挑战之一，其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展，但深度神经网络（DNN）仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架，用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成：神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计，该方法不仅能够以直观有意义的方式进化神经结构，而且在实验中显示出较强的缓解灾难性遗忘的能力。此外，所提出的方法优于所有其他基线上的排列MNIST数据集，分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
National Taiwan University（国立台湾大学）
本文针对口语语言模型端到端多阶段训练中的灾难性遗忘问题，评估模型合并、折扣LoRA缩放因子和经历重放三种缓解策略，发现经历重放最有效，且与其他方法结合可进一步提升性能。
2025-05-23 cs.AI cs.CL cs.LG
Preventing Catastrophic Forgetting: Behavior-Aware Sampling for Safer Language Model Fine-Tuning
针对微调中的灾难性遗忘，提出行为感知采样框架，基于指令响应行为与语义多样性选择安全示例，仅用0.5%额外数据将有害性降低41%。
2025-10-23 cs.AI cs.CL
Overcoming Catastrophic Forgetting by Incremental Moment Matching
Seoul National University（首尔国立大学）；Clova AI Research（克洛娃人工智能研究院）；NAVER Corp（Naver公司）；Surromind Robotics（Surromind机器人公司）
灾难性遗忘是神经网络在训练第二个任务后丢失第一个任务信息的问题。在这里，我们提出了一种方法，即增量矩匹配（IMM），来解决这个问题。IMM递增地匹配分别在第一和第二任务上训练的神经网络的后验分布的矩。为了使后验参数的搜索空间平滑，IMM过程中补充了各种迁移学习技术，包括权重转移，L2范数的旧的和新的参数，和一个变体的dropout与旧的参数。我们在各种数据集上分析了我们的方法，包括MNIST，CIFAR-10，Caltech-UCSD-Birds和Lifelog数据集。实验结果表明，IMM通过平衡新旧网络之间的信息，实现了最先进的性能。
2018-01-30 cs.AI cs.LG
Gradient Correlation Subspace Learning against Catastrophic Forgetting
Reichman University（赖希曼大学）
本文提出GCSL方法，通过寻找受旧任务影响最小的权重子空间并投影新任务训练权重，以缓解增量类别学习中的灾难性遗忘。
2024-03-04 cs.AI cs.CV cs.LG
Overcoming Catastrophic Forgetting in Tabular Data Classification: A Pseudorehearsal-based approach
Universidade de Vigo（维戈大学）；Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)（加利西亚电信技术中心（GRADIANT））
针对表格数据分类的灾难性遗忘问题，提出基于伪排练的TRIL3框架，结合XuILVQ生成合成数据与增量式DNDF算法，无需存储旧样本，仅用50%合成数据性能就优于现有持续学习方案。
2024-07-12 cs.AI cs.LG
Quantum Continual Learning Overcoming Catastrophic Forgetting
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
灾难性遗忘描述了这样一个事实，即机器学习模型在学习新任务的过程之后可能会忘记先前学习的任务的知识。它是持续学习场景中的一个重要问题，最近引起了不同社区的极大关注。在本文中，我们探讨了量子机器学习背景下的灾难性遗忘现象。我们发现，与基于神经网络的经典学习模型类似，量子学习系统在各种应用场景下的分类任务中同样存在遗忘问题。我们表明，基于局部几何信息的损失函数景观的训练模型，一个统一的策略，可以适应克服遗忘问题的增量学习设置。我们的研究结果揭示了量子机器学习中的灾难性遗忘现象，并提供了一种实用的方法来克服这个问题，这为探索潜在的量子优势走向持续学习开辟了一条新的途径。
2021-08-05 cond-mat.mes-hall cs.LG quant-ph
Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究院）
针对预训练语言模型性别偏见缓解中的灾难性遗忘问题，提出冻结预训练模型并学习性别相关提示的新方法GEEP，在提升性别公平性的同时大幅保持了下游任务性能。
2023-06-30 cs.CL cs.CY cs.LG
A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
Seoul National University of Science and Technology（首尔科学技术大学）；Korea Institute of Land & Infrastructure Safety Technology（韩国国土与基础设施安全技术研究院）
本研究揭示LLM灾难性遗忘集中于罕见令牌的输出嵌入，提出仅提高输出投影Adam epsilon的干预，在多种设置下消除39.4%-67.9%遗忘，且不损害目标学习。
2026-10-08 cs.AI cs.CL
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University（约翰斯·霍普金斯大学）
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据，这违反了理想的持续学习系统的约束。此外，目前处理遗忘的方法忽略了灾难性记忆的问题，即区分来自不同任务的数据的能力越来越差。在我们的工作中，我们介绍了相关映射网络（RMN）的启发，最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现，RMNs学习一个优化的表示重叠，克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能，甚至显著优于数据重放方法，同时不违反理想的持续学习系统的约束。此外，RMN保留了以无监督的方式从新任务中检测数据的能力，从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
Peking University（北京大学）
针对 LLM 持续微调中的灾难性遗忘，论文提出 DOC，通过动态跟踪历史功能方向并令新任务梯度与其正交来减少新旧任务干扰，实验证明其优于现有方法。
2025-09-28 cs.AI cs.CL cs.CR
Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对持续指令调优中灾难性遗忘问题，本研究通过分析函数向量发现遗忘受任务和模型双重影响，提出函数向量引导的正则化训练方法，有效缓解遗忘并验证了理论框架。
2025-04-16 cs.AI cs.LG
How catastrophic can catastrophic forgetting be in linear regression?
Technion（以色列理工学院）；University of Texas（德克萨斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
为了更好地理解灾难性遗忘，我们研究了一个过参数化线性模型拟合具有不同输入分布的任务序列。我们分析了模型在后续任务上训练后忘记了早期任务的真实标签的程度，获得了精确的表达式和边界。我们建立了线性设置中的持续学习和其他两个研究领域之间的联系：交替投影和Kaczmarz方法。在特定的设置中，我们强调了遗忘和收敛到离线解决方案之间的差异，如在这些领域中所研究的。特别地，当d维中的T个任务循环地呈现k次迭代时，我们证明了遗忘的T^2 * min{1/sqrt（k），d/k}的上界。这与离线解决方案的收敛形成对比，根据现有的交替投影结果，离线解决方案的收敛可以任意慢。我们进一步表明，当任务以随机顺序呈现时，T^2因子可以被提升。
2022-05-25 cs.LG cs.NA math.NA
Predicting the Susceptibility of Examples to Catastrophic Forgetting
本文发现学习速度快的样本更不易被遗忘，据此提出基于学习速度的回放采样策略SBS，可广泛提升持续学习基准上的性能。
2025-07-03 cs.LG
The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model
Northeastern University（东北大学）；Technion（以色列理工学院）
本文构建两任务持续线性回归解析模型，推导期望遗忘的精确表达式，揭示任务相似性与过参数化对灾难性遗忘的联合影响规律，并通过合成数据和置换任务基准验证。
2024-01-24 cs.LG
Weight Friction: A Simple Method to Overcome Catastrophic Forgetting and Enable Continual Learning
近年来，深度神经网络在复制人类水平的认知技能方面取得了成功，但它们面临着几个主要障碍。一个重要的限制是无法在不忘记以前学习过的任务的情况下学习新任务，这种缺点被称为灾难性遗忘。在这项研究中，我们提出了一个简单的方法来克服灾难性遗忘，使神经网络的持续学习。我们从神经学和物理学的原理中汲取灵感，发展了重量摩擦的概念。权重摩擦通过对梯度下降优化方法中的更新规则的修改来操作。它的收敛速度与随机梯度下降算法相当，并且可以在多个任务域上运行。它执行与当前方法相同的操作，同时提供计算和内存效率的改进。
2019-08-17 cs.LG cs.NE stat.ML
Keep the General, Inject the Specific: Structured Dialogue Fine-Tuning for Knowledge Injection without Catastrophic Forgetting
Shanghai Jiao Tong University（上海交通大学）；Ant Security Lab, Ant Group（蚂蚁集团安全实验室）
针对大型视觉语言模型注入专业知识时易引发灾难性遗忘的困境，提出结构化对话微调（SDFT）方法，通过基础保持、对比消歧和知识专业化三阶段对话结构，在注入领域知识的同时有效保持通用能力。
2025-04-27 cs.AI cs.CL
SeNA-CNN: Overcoming Catastrophic Forgetting in Convolutional Neural Networks by Selective Network Augmentation
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内格罗大学）
终身学习旨在开发机器学习系统，该系统可以学习新任务，同时保留先前学习任务的性能。在本文中，我们提出了一种方法来克服灾难性遗忘卷积神经网络，学习新的任务，并保持旧的任务的性能，而不访问原始模型的数据，通过选择性网络增强。实验结果表明，在某些情况下，SeNA-CNN的性能优于最先进的无遗忘学习算法。结果还表明，在某些情况下，使用SeNA-CNN而不是使用隔离学习来训练神经网络更好。
2018-05-09 cs.LG stat.ML
Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks
Yale University（耶鲁大学）
本文提出通过按任务或目标标签分离LSTM记忆来缓解灾难性遗忘，无需正则化或超网络，并在内存预取和离线自然语言处理任务上验证其简单有效且学习更快。
2023-05-26 cs.LG
How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization
NUDT（中国人民解放军国防科技大学）；CCNU（华中师范大学）
针对LLM领域微调导致的灾难性遗忘，本文提出结合逐元素参数重要性正则化、交叉熵损失与逐层系数的双目标优化方法，在GPT-J和LLaMA-3上实现更好的知识保持与适应能力，并显著降低计算和存储开销。
2025-02-17 cs.AI cs.CL
Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates
University of Sheffield（谢菲尔德大学）；Hitachi, Ltd.（日立株式会社）；University of Exeter（埃克塞特大学）；Federal University of Rio Grande do Norte（里奥格兰德杜纳粹大学）
本文提出源保护更新策略，利用少量源数据和参数重要性评分，在低资源条件下有效缓解LLM在目标语言适应中的灾难性遗忘问题，实验表明其在保持源语言能力的同时提升了目标语言性能。
2026-04-15 cs.AI cs.CL
How do Quadratic Regularizers Prevent Catastrophic Forgetting: The Role of Interpolation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
灾难性遗忘破坏了深度神经网络（DNN）在持续学习和终身学习等场景中的有效性。虽然已经提出了几种方法来解决这个问题，但解释为什么这些方法效果很好的工作有限。本文的目的是更好地解释一种普遍使用的技术，以避免灾难性遗忘：二次正则化。我们证明了二次正则化器通过在每次训练迭代中插值模型参数的当前值和先前值来防止忘记过去的任务。在多次训练迭代中，该插值操作降低了更重要的模型参数的学习率，从而最小化它们的移动。我们的分析还揭示了二次正则化的两个缺点：（a）参数插值对训练超参数的依赖，这通常会导致训练不稳定;（b）将较低的重要性分配给更深层，这通常是DNN中发生遗忘的地方。通过对操作顺序的简单修改，我们表明这些缺点可以很容易地避免，导致平均准确率提高6.2%，平均遗忘率降低4.5%。我们通过在不同的环境中训练2000多个模型来证实我们结果的稳健性。代码可从\url{https://github.com/EkdeepSLubana/QRforgetting}获得
2022-08-12 cs.LG
When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents
Manulife（宏利金融）
本研究针对LLM智能体技能检索中合成数据微调导致的灾难性遗忘问题，提出并评估了多种持续学习方法，在保持OOD性能的同时提升分布内检索13.98%。
2026-09-11 cs.AI cs.IR cs.LG
Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe（四维图新欧洲）
由于对先前学习的任务的灾难性遗忘，深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中，并将它们与当前任务样本交错，已被证明是最有效的减轻遗忘的方法。然而，经验重放（ER）没有表现出良好的低缓冲区制度和较长的任务序列，因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息，因为软目标捕获数据的丰富相似性结构。因此，我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务，从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时，正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化，我们发现，更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks
Japan Science and Technology Agency（日本科学技术振兴机构）
当一个计算系统从不断变化的环境中不断学习时，它会迅速忘记过去的经验。这种现象被称为灾难性遗忘。虽然已经提出了一系列的研究，以避免灾难性的遗忘，大多数的方法是基于对现象的直观见解，其性能已通过使用基准数据集的数值实验进行了评估。因此，在本研究中，我们提供了一个理论框架来分析灾难性遗忘的师生学习。师生学习是一个框架，其中我们引入了两个神经网络：一个神经网络是监督学习中的目标函数，另一个是学习神经网络。为了分析教师-学生框架下的持续学习，我们引入了目标函数的输入分布相似性和输入-输出关系相似性作为任务相似性。在这个理论框架中，我们还提供了一个定性的理解如何单层线性学习神经网络忘记任务。通过分析发现，当输入分布之间的相似性较小，而目标函数的输入输出关系的相似性较大时，该网络能够避免灾难性遗忘。分析还表明，系统经常表现出一种称为过冲的特征现象，这意味着即使学习网络曾经经历过灾难性的遗忘，在进一步学习当前任务后，网络也可能表现得相当好。
2021-05-16 cs.LG stat.ML
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology（麻省理工学院）
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验，发现更大模型未必能缓解灾难性遗忘，反而在在线适应新任务时表现更差，揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）
该研究提出 CORE 认知重放框架，通过按任务遗忘率自适应分配缓冲区并选择高质量代表性数据，提升持续学习性能。
2024-04-09 cs.AI cs.LG
Model Editing at Scale leads to Gradual and Catastrophic Forgetting
UC Berkeley（加州大学伯克利分校）
本文大规模评估了ROME和MEMIT两种模型编辑方法，发现多次顺序编辑会导致渐进性和灾难性遗忘，从而限制模型编辑的实用性和可扩展性，并呼吁在评估中重视可扩展性。
2024-06-10 cs.AI cs.CL cs.IR
Few-Shot Self Reminder to Overcome Catastrophic Forgetting
Borealis AI；University of Alberta（阿尔伯塔大学）
众所周知，深度神经网络存在灾难性遗忘问题，即在顺序学习新任务时，它们往往会忘记先前任务的知识。这种失败阻碍了基于深度学习的视觉系统在持续学习环境中的应用。在这项工作中，我们提出了一个简单但令人惊讶的有效方法来防止灾难性遗忘。我们的方法，称为Few-Shot Self Reminder（FSR），通过对从旧任务中保存在情景记忆中的选定样本进行logit匹配，使神经网络不改变其学习行为。令人惊讶的是，这种简单的方法只需要重新训练少量的数据，就可以在知识保留方面优于以前的方法。我们证明了我们的方法的优越性，在两个不同的持续学习设置流行的基准，以及一个新的持续学习的问题，任务的设计是更不一样的。
2018-12-03 cs.LG stat.ML
Mitigating Catastrophic Forgetting in Continual Learning through Model Growth
Department of Statistics Ludwig-Maximilian University（统计系路德维希-马克西米利安大学）
本研究针对大语言模型持续学习中的灾难性遗忘问题，探索基于transformer堆叠的模型增长策略，实验发现该策略可适度缓解遗忘，但在社会偏见处理上存在权衡。
2025-09-01 cs.CL
Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
针对PEFT存在的灾难性遗忘问题，提出将贝叶斯学习技术结合拉普拉斯近似应用于带LoRA的PEFT，实验证明该方法可在不降低微调性能的前提下克服遗忘，且克罗内克因子分解近似的知识保留效果更优。
2024-12-06 cs.LG eess.AS
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay
Rochester Institute of Technology（罗切斯特理工学院）
终身学习代理能够从潜在的无限模式感知数据流中不断学习。构建以这种方式适应的智能体的一个主要历史困难是，神经系统在从新样本中学习时很难保留先前获得的知识。这个问题被称为灾难性遗忘（干扰），至今仍是机器学习领域中未解决的问题。虽然在前馈网络的背景下，遗忘在过去几十年中得到了广泛的研究，但在替代架构的背景下，如古老的自组织映射（SOM），一种无监督的神经模型，经常用于聚类和降维等任务。虽然其内部神经元之间的竞争可能具有改善记忆保持的潜力，但我们观察到，在任务增量数据上训练的固定大小的SOM，即，它以一定的时间增量接收与特定类相关的数据点，经历显著的遗忘。在这项研究中，我们提出了连续SOM（c-SOM），一个模型，能够减少自己的遗忘时，处理信息。
2021-12-09 cs.LG
Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks
Alfred University（阿尔弗雷德大学）
本研究评估了100亿参数以下的开源LLMs在GLUE基准测试上的持续微调，发现Phi-3.5-mini等模型在持续学习中表现出最小的遗忘和强大的学习能力，并强调了提示工程在优化模型性能中的作用。
2025-04-01 cs.CL
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
Department of Electrical and Computer Engineering, The University of British Columbia（英国不列颠哥伦比亚大学电气与计算机工程系）；Department of Mathematics, The University of British Columbia（英国不列颠哥伦比亚大学数学系）；Department of Chemical and Biological Engineering, The University of British Columbia（英国不列颠哥伦比亚大学化学与生物工程系）
研究揭示了基于低秩分解的参数高效微调中，更新子空间设计对减少灾难性遗忘的关键作用，并提出结构对齐参数化方法以提升持续学习效果。
2026-03-10 cs.LG
Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
持续学习的目标是在不遭受灾难性遗忘现象的情况下学习一系列任务。以前的工作表明，以重放缓冲区的形式利用内存可以减少先前任务的性能下降。我们假设，当模型被鼓励记住之前做出的决定的\textit{evidence}时，遗忘可以进一步减少。作为探索这一假设的第一步，我们提出了一种简单的新训练范式，称为“记住正确的原因”（RRR），它还将每个示例的视觉模型解释存储在缓冲区中，并通过鼓励其解释与训练时用于决策的解释保持一致来确保模型具有“正确的原因”。如果没有这个约束，在传统的持续学习算法学习新任务时，解释会发生漂移，遗忘会增加。我们演示了如何将RRR轻松添加到任何基于记忆或正则化的方法中，并减少遗忘，更重要的是，改进模型解释。我们在标准和Few-Shot设置中评估了我们的方法，并观察到使用不同架构和技术来生成模型解释的各种CL方法的一致改进，并展示了我们的方法，该方法显示了可解释性和持续学习之间有希望的联系。我们的代码可在\url{https://github.com/SaynaEbrahimi/Remembering-for-the-Right-Reasons}上找到。
2021-05-03 cs.AI cs.CV cs.LG
Understanding Catastrophic Forgetting In LoRA via Mean-Field Attention Dynamics
本文通过均场自注意力玩具模型研究LoRA的灾难性遗忘问题，分析扰动范数和Transformer深度对遗忘行为的影响，并通过实验验证理论结果。
2026-05-13 cs.LG math.DS stat.ML
ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
ZeroFlow
ZeroFlow 提出首个无梯度优化基准，证明仅靠前向传播即可缓解持续学习中的灾难性遗忘，并给出改进策略。
2025-06-06 cs.CV cs.LG
On the role of neurogenesis in overcoming catastrophic forgetting
Apprente, Inc.（Apprente公司）；University of Oxford（牛津大学）；University of Hamburg（汉堡大学）
终身学习能力对于在真实世界数据上操作的人工自主智能体至关重要，这些数据通常是非平稳的和时间相关的。在这项工作中，我们证明了动态增长的网络在增量学习场景中优于静态网络，即使在两种情况下都有相同的内存量。在我们的模型中，学习是无监督的，这种情况使训练更具挑战性，同时增加了研究的真实性，因为人类能够在没有密集手动注释的情况下学习。我们对人工神经网络的研究结果加强了结构可塑性在非平稳环境中对灾难性遗忘的有效预防，以及经验支持神经发生在哺乳动物大脑中的重要性。
2018-11-30 cs.LG cs.NE
Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima
The Hong Kong Polytechnic University（香港理工大学）
本文考虑了增量式少样本学习，它要求模型在只提供少量样本的情况下不断识别新的类别。我们的研究表明，现有的方法严重遭受灾难性遗忘，一个众所周知的问题，在增量学习，这是加剧由于数据稀缺和不平衡的Few-Shot设置。我们的分析进一步表明，为了防止灾难性遗忘，需要在原始阶段采取行动--训练基类，而不是以后的少样本学习。因此，我们建议搜索基本训练目标函数的平坦局部最小值，然后在新任务的平坦区域内微调模型参数。通过这种方式，模型可以有效地学习新类，同时保留旧类。综合实验结果表明，我们的方法优于所有现有的国家的最先进的方法，是非常接近的近似上限。源代码可在https://github.com/moukamisama/F2M上获得。
2021-11-04 cs.CV cs.LG
An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文实证研究 1b–7b 大型语言模型在持续指令微调中的灾难性遗忘，发现更大模型遗忘更严重、BLOOMZ 优于 mT0，且通用指令微调可缓解遗忘。
2025-01-05 cs.CL
