Utilizing Priming to Identify Optimal Class Ordering to Alleviate Catastrophic Forgetting
Lewis & Clark College（路易斯与克拉克学院）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
为了让人工神经网络开始准确地模仿生物网络，它们必须能够适应新的紧急情况，而不会忘记它们从以前的训练中学到的东西。人工神经网络的终身学习方法试图努力实现这一目标，但还没有取得足够的进展，以实际部署的自然语言处理任务。众所周知的灾难性遗忘仍然是研究人员建立终身学习模型的障碍。虽然人们正在努力平息灾难性遗忘，但缺乏研究来探讨在新课程上进行增量学习时课程排序的重要性。这是令人惊讶的，因为人类学习的“类”的排序受到严格监控，并且非常重要。虽然开发一个理想的类顺序的策略已经研究，本文探讨类排序，因为它涉及到启动作为一个计划，增量类学习。通过研究人类中发现的各种启动方法之间的联系，以及这些方法如何在终身机器学习中被模仿但仍然无法解释，本文提供了对我们的生物系统和合成系统之间相似性的更好理解，同时改进了当前的实践，以对抗灾难性遗忘。通过将心理启动实践与类排序相结合，本文能够确定一种可推广的方法，用于NLP增量学习任务中的类排序，该方法始终优于随机类排序。
2022-12-24 cs.AI cs.CL cs.LG
Predicting the Susceptibility of Examples to Catastrophic Forgetting
本文发现学习速度快的样本更不易被遗忘，据此提出基于学习速度的回放采样策略SBS，可广泛提升持续学习基准上的性能。
2025-07-03 cs.LG
CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
本文提出CURLoRA方法，通过在LoRA中引入改进的CUR矩阵分解作为隐式正则化并仅微调零初始化的$U$矩阵，有效缓解了LLM持续微调中的灾难性遗忘，显著减少了可训练参数，并在数据有限时保持模型稳定性和准确率。
2024-08-26 cs.AI cs.CL cs.LG
The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model
Northeastern University（东北大学）；Technion（以色列理工学院）
本文构建两任务持续线性回归解析模型，推导期望遗忘的精确表达式，揭示任务相似性与过参数化对灾难性遗忘的联合影响规律，并通过合成数据和置换任务基准验证。
2024-01-24 cs.LG
Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks
Yale University（耶鲁大学）
本文提出通过按任务或目标标签分离LSTM记忆来缓解灾难性遗忘，无需正则化或超网络，并在内存预取和离线自然语言处理任务上验证其简单有效且学习更快。
2023-05-26 cs.LG
How do Quadratic Regularizers Prevent Catastrophic Forgetting: The Role of Interpolation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
灾难性遗忘破坏了深度神经网络（DNN）在持续学习和终身学习等场景中的有效性。虽然已经提出了几种方法来解决这个问题，但解释为什么这些方法效果很好的工作有限。本文的目的是更好地解释一种普遍使用的技术，以避免灾难性遗忘：二次正则化。我们证明了二次正则化器通过在每次训练迭代中插值模型参数的当前值和先前值来防止忘记过去的任务。在多次训练迭代中，该插值操作降低了更重要的模型参数的学习率，从而最小化它们的移动。我们的分析还揭示了二次正则化的两个缺点：（a）参数插值对训练超参数的依赖，这通常会导致训练不稳定;（b）将较低的重要性分配给更深层，这通常是DNN中发生遗忘的地方。通过对操作顺序的简单修改，我们表明这些缺点可以很容易地避免，导致平均准确率提高6.2%，平均遗忘率降低4.5%。我们通过在不同的环境中训练2000多个模型来证实我们结果的稳健性。代码可从\url{https://github.com/EkdeepSLubana/QRforgetting}获得
2022-08-12 cs.LG
Quantum Continual Learning Overcoming Catastrophic Forgetting
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
灾难性遗忘描述了这样一个事实，即机器学习模型在学习新任务的过程之后可能会忘记先前学习的任务的知识。它是持续学习场景中的一个重要问题，最近引起了不同社区的极大关注。在本文中，我们探讨了量子机器学习背景下的灾难性遗忘现象。我们发现，与基于神经网络的经典学习模型类似，量子学习系统在各种应用场景下的分类任务中同样存在遗忘问题。我们表明，基于局部几何信息的损失函数景观的训练模型，一个统一的策略，可以适应克服遗忘问题的增量学习设置。我们的研究结果揭示了量子机器学习中的灾难性遗忘现象，并提供了一种实用的方法来克服这个问题，这为探索潜在的量子优势走向持续学习开辟了一条新的途径。
2021-08-05 cond-mat.mes-hall cs.LG quant-ph
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University（约翰斯·霍普金斯大学）
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据，这违反了理想的持续学习系统的约束。此外，目前处理遗忘的方法忽略了灾难性记忆的问题，即区分来自不同任务的数据的能力越来越差。在我们的工作中，我们介绍了相关映射网络（RMN）的启发，最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现，RMNs学习一个优化的表示重叠，克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能，甚至显著优于数据重放方法，同时不违反理想的持续学习系统的约束。此外，RMN保留了以无监督的方式从新任务中检测数据的能力，从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
SeNA-CNN: Overcoming Catastrophic Forgetting in Convolutional Neural Networks by Selective Network Augmentation
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内格罗大学）
终身学习旨在开发机器学习系统，该系统可以学习新任务，同时保留先前学习任务的性能。在本文中，我们提出了一种方法来克服灾难性遗忘卷积神经网络，学习新的任务，并保持旧的任务的性能，而不访问原始模型的数据，通过选择性网络增强。实验结果表明，在某些情况下，SeNA-CNN的性能优于最先进的无遗忘学习算法。结果还表明，在某些情况下，使用SeNA-CNN而不是使用隔离学习来训练神经网络更好。
2018-05-09 cs.LG stat.ML
How catastrophic can catastrophic forgetting be in linear regression?
Technion（以色列理工学院）；University of Texas（德克萨斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
为了更好地理解灾难性遗忘，我们研究了一个过参数化线性模型拟合具有不同输入分布的任务序列。我们分析了模型在后续任务上训练后忘记了早期任务的真实标签的程度，获得了精确的表达式和边界。我们建立了线性设置中的持续学习和其他两个研究领域之间的联系：交替投影和Kaczmarz方法。在特定的设置中，我们强调了遗忘和收敛到离线解决方案之间的差异，如在这些领域中所研究的。特别地，当d维中的T个任务循环地呈现k次迭代时，我们证明了遗忘的T^2 * min{1/sqrt（k），d/k}的上界。这与离线解决方案的收敛形成对比，根据现有的交替投影结果，离线解决方案的收敛可以任意慢。我们进一步表明，当任务以随机顺序呈现时，T^2因子可以被提升。
2022-05-25 cs.LG cs.NA math.NA
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay
Rochester Institute of Technology（罗切斯特理工学院）
终身学习代理能够从潜在的无限模式感知数据流中不断学习。构建以这种方式适应的智能体的一个主要历史困难是，神经系统在从新样本中学习时很难保留先前获得的知识。这个问题被称为灾难性遗忘（干扰），至今仍是机器学习领域中未解决的问题。虽然在前馈网络的背景下，遗忘在过去几十年中得到了广泛的研究，但在替代架构的背景下，如古老的自组织映射（SOM），一种无监督的神经模型，经常用于聚类和降维等任务。虽然其内部神经元之间的竞争可能具有改善记忆保持的潜力，但我们观察到，在任务增量数据上训练的固定大小的SOM，即，它以一定的时间增量接收与特定类相关的数据点，经历显著的遗忘。在这项研究中，我们提出了连续SOM（c-SOM），一个模型，能够减少自己的遗忘时，处理信息。
2021-12-09 cs.LG
Weight Friction: A Simple Method to Overcome Catastrophic Forgetting and Enable Continual Learning
近年来，深度神经网络在复制人类水平的认知技能方面取得了成功，但它们面临着几个主要障碍。一个重要的限制是无法在不忘记以前学习过的任务的情况下学习新任务，这种缺点被称为灾难性遗忘。在这项研究中，我们提出了一个简单的方法来克服灾难性遗忘，使神经网络的持续学习。我们从神经学和物理学的原理中汲取灵感，发展了重量摩擦的概念。权重摩擦通过对梯度下降优化方法中的更新规则的修改来操作。它的收敛速度与随机梯度下降算法相当，并且可以在多个任务域上运行。它执行与当前方法相同的操作，同时提供计算和内存效率的改进。
2019-08-17 cs.LG cs.NE stat.ML
Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns
SnT, University of Luxembourg（卢森堡大学SnT学院）
TRC$^{2}$通过丘脑路由和海马路径实现持续学习，提升任务边界建模质量并减少累积遗忘，优于多种基线模型。
2026-04-17 cs.LG
Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks
Japan Science and Technology Agency（日本科学技术振兴机构）
当一个计算系统从不断变化的环境中不断学习时，它会迅速忘记过去的经验。这种现象被称为灾难性遗忘。虽然已经提出了一系列的研究，以避免灾难性的遗忘，大多数的方法是基于对现象的直观见解，其性能已通过使用基准数据集的数值实验进行了评估。因此，在本研究中，我们提供了一个理论框架来分析灾难性遗忘的师生学习。师生学习是一个框架，其中我们引入了两个神经网络：一个神经网络是监督学习中的目标函数，另一个是学习神经网络。为了分析教师-学生框架下的持续学习，我们引入了目标函数的输入分布相似性和输入-输出关系相似性作为任务相似性。在这个理论框架中，我们还提供了一个定性的理解如何单层线性学习神经网络忘记任务。通过分析发现，当输入分布之间的相似性较小，而目标函数的输入输出关系的相似性较大时，该网络能够避免灾难性遗忘。分析还表明，系统经常表现出一种称为过冲的特征现象，这意味着即使学习网络曾经经历过灾难性的遗忘，在进一步学习当前任务后，网络也可能表现得相当好。
2021-05-16 cs.LG stat.ML
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology（麻省理工学院）
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验，发现更大模型未必能缓解灾难性遗忘，反而在在线适应新任务时表现更差，揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
Department of Electrical and Computer Engineering, The University of British Columbia（英国不列颠哥伦比亚大学电气与计算机工程系）；Department of Mathematics, The University of British Columbia（英国不列颠哥伦比亚大学数学系）；Department of Chemical and Biological Engineering, The University of British Columbia（英国不列颠哥伦比亚大学化学与生物工程系）
研究揭示了基于低秩分解的参数高效微调中，更新子空间设计对减少灾难性遗忘的关键作用，并提出结构对齐参数化方法以提升持续学习效果。
2026-03-10 cs.LG
Few-Shot Self Reminder to Overcome Catastrophic Forgetting
Borealis AI；University of Alberta（阿尔伯塔大学）
众所周知，深度神经网络存在灾难性遗忘问题，即在顺序学习新任务时，它们往往会忘记先前任务的知识。这种失败阻碍了基于深度学习的视觉系统在持续学习环境中的应用。在这项工作中，我们提出了一个简单但令人惊讶的有效方法来防止灾难性遗忘。我们的方法，称为Few-Shot Self Reminder（FSR），通过对从旧任务中保存在情景记忆中的选定样本进行logit匹配，使神经网络不改变其学习行为。令人惊讶的是，这种简单的方法只需要重新训练少量的数据，就可以在知识保留方面优于以前的方法。我们证明了我们的方法的优越性，在两个不同的持续学习设置流行的基准，以及一个新的持续学习的问题，任务的设计是更不一样的。
2018-12-03 cs.LG stat.ML
Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
针对PEFT存在的灾难性遗忘问题，提出将贝叶斯学习技术结合拉普拉斯近似应用于带LoRA的PEFT，实验证明该方法可在不降低微调性能的前提下克服遗忘，且克罗内克因子分解近似的知识保留效果更优。
2024-12-06 cs.LG eess.AS
Meta-learnt priors slow down catastrophic forgetting in neural networks
Department of CSAI, Tilburg University（蒂尔堡大学CSAI系）；Tilburg University（蒂尔堡大学）
当前的深度学习训练机制通常涉及一次暴露于单个任务/数据集。在这里，我们从观察开始，在这种情况下，训练模型没有被给予任何关于其（单任务）训练分布之外的任何知识，因此无法学习参数（即，特征检测器或策略），这可能有助于解决其他任务，并限制将来对所获得的知识的干扰，从而限制灾难性遗忘。在这里，我们表明，灾难性遗忘可以在元学习的背景下，通过暴露一个神经网络在训练过程中以顺序的方式多个任务来减轻。最后，我们提出了SeqFOMAML，一个Meta学习算法，实现这些原则，我们评估它的顺序学习问题组成的Omniglot和MiniImageNet分类任务。
2020-02-09 cs.AI cs.LG stat.ML
Analyzing Mitigation Strategies for Catastrophic Forgetting in End-to-End Training of Spoken Language Models
National Taiwan University（国立台湾大学）
本文针对口语语言模型端到端多阶段训练中的灾难性遗忘问题，评估模型合并、折扣LoRA缩放因子和经历重放三种缓解策略，发现经历重放最有效，且与其他方法结合可进一步提升性能。
2025-05-23 cs.AI cs.CL cs.LG
ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
ZeroFlow
ZeroFlow 提出首个无梯度优化基准，证明仅靠前向传播即可缓解持续学习中的灾难性遗忘，并给出改进策略。
2025-06-06 cs.CV cs.LG
Catastrophic Forgetting as Accessibility Collapse: A Three-Level Framework for Knowledge Persistence in Continual Learning
Independent Researchers（独立研究者）
本文提出一个三层次框架（知识存储、表示和可访问性），通过实验证明灾难性遗忘主要是可访问性失败而非表示擦除，重新训练分类器可恢复大部分性能。
2026-06-04 cs.LG
On the role of neurogenesis in overcoming catastrophic forgetting
Apprente, Inc.（Apprente公司）；University of Oxford（牛津大学）；University of Hamburg（汉堡大学）
终身学习能力对于在真实世界数据上操作的人工自主智能体至关重要，这些数据通常是非平稳的和时间相关的。在这项工作中，我们证明了动态增长的网络在增量学习场景中优于静态网络，即使在两种情况下都有相同的内存量。在我们的模型中，学习是无监督的，这种情况使训练更具挑战性，同时增加了研究的真实性，因为人类能够在没有密集手动注释的情况下学习。我们对人工神经网络的研究结果加强了结构可塑性在非平稳环境中对灾难性遗忘的有效预防，以及经验支持神经发生在哺乳动物大脑中的重要性。
2018-11-30 cs.LG cs.NE
Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima
The Hong Kong Polytechnic University（香港理工大学）
本文考虑了增量式少样本学习，它要求模型在只提供少量样本的情况下不断识别新的类别。我们的研究表明，现有的方法严重遭受灾难性遗忘，一个众所周知的问题，在增量学习，这是加剧由于数据稀缺和不平衡的Few-Shot设置。我们的分析进一步表明，为了防止灾难性遗忘，需要在原始阶段采取行动--训练基类，而不是以后的少样本学习。因此，我们建议搜索基本训练目标函数的平坦局部最小值，然后在新任务的平坦区域内微调模型参数。通过这种方式，模型可以有效地学习新类，同时保留旧类。综合实验结果表明，我们的方法优于所有现有的国家的最先进的方法，是非常接近的近似上限。源代码可在https://github.com/moukamisama/F2M上获得。
2021-11-04 cs.CV cs.LG
Catastrophic Forgetting in Kolmogorov-Arnold Networks
针对持续学习中KANs灾难性遗忘行为不明确的问题，本研究通过理论框架（关联遗忘与激活支持重叠、内在数据维度）和系统实验，揭示其在低维场景保留知识但高维领域仍易遗忘的特性，并提出KAN-LoRA适配器提升语言模型持续微调效率。
2025-11-16 cs.AI cs.LG
Understanding Catastrophic Forgetting In LoRA via Mean-Field Attention Dynamics
本文通过均场自注意力玩具模型研究LoRA的灾难性遗忘问题，分析扰动范数和Transformer深度对遗忘行为的影响，并通过实验验证理论结果。
2026-05-13 cs.LG math.DS stat.ML
On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning
本文揭示持续学习中灾难性遗忘源于新任务梯度对旧任务损失景观尖锐方向的隐式对抗性对齐，归因于训练的低秩偏差，并提出backGP方法缓解该问题，平均减少遗忘10.8%、提升准确率12.7%。
2025-10-10 cs.AI cs.LG
Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation
Georgia Institute of Technology（佐治亚理工学院）
子空间几何揭示低秩适应中灾难性遗忘的规律，表明遗忘受任务子空间角度影响，秩对遗忘的影响取决于子空间相似性。
2026-02-10 cs.LG
Explaining Robustness to Catastrophic Forgetting Through Incremental Concept Formation
Drexel University（德雷塞尔大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对持续学习中的灾难性遗忘问题，基于层级概念形成模型Cobweb/4V的鲁棒性检验三项稳定性假设，通过多数据集对比实验验证了自适应重组、稀疏更新及信息论学习的作用，为构建稳定自适应的持续学习系统提供新思路。
2025-10-27 cs.AI cs.LG
Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation
Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学中心）；Sainsbury Wellcome Centre, UCL（伦敦大学学院塞恩斯伯里惠康中心）；International School of Advanced Studies (SISSA)（国际高等研究学院）；CIFAR（加拿大高等研究院）
持续学习--在保持旧任务性能的同时按顺序学习新任务--对于人工神经网络来说仍然特别具有挑战性。令人惊讶的是，遗忘的量并没有增加学习任务之间的差异，但似乎是最糟糕的中间相似性制度。本文从理论上分析了一个综合的师生框架和一个真实的数据集，以解释这一现象，我们称之为马斯洛的锤子假说。我们的分析揭示了节点激活和节点重用之间存在权衡，这导致中间状态下最严重的遗忘。利用这种理解，我们重新解释流行的算法干预灾难性的干扰在这种权衡方面，并确定他们是最有效的制度。
2022-05-18 cs.LG stat.ML
Gradient Correlation Subspace Learning against Catastrophic Forgetting
Reichman University（赖希曼大学）
本文提出GCSL方法，通过寻找受旧任务影响最小的权重子空间并投影新任务训练权重，以缓解增量类别学习中的灾难性遗忘。
2024-03-04 cs.AI cs.CV cs.LG
EXACFS -- A CIL Method to mitigate Catastrophic Forgetting
Sri Sathya Sai Institute of Higher Learning（斯里·萨蒂亚·赛高等学习学院）；Old Dominion University（奥多明尼昂大学）
本文提出EXACFS方法，通过损失梯度估计特征显著性并随任务老化，结合蒸馏损失在类增量学习中平衡稳定性与可塑性，有效缓解灾难性遗忘。
2025-03-03 cs.CV cs.LG
Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings
Peking University（北京大学）
针对 LLM 持续微调中的灾难性遗忘，论文提出 DOC，通过动态跟踪历史功能方向并令新任务梯度与其正交来减少新旧任务干扰，实验证明其优于现有方法。
2025-09-28 cs.AI cs.CL cs.CR
Overcoming Catastrophic Forgetting by Exemplar Selection in Task-oriented Dialogue System
Nanyang Technological University（南洋理工大学）；University of Aberdeen（阿伯丁大学）；Zhejiang University（浙江大学）
针对任务型对话系统持续学习中的灾难性遗忘问题，提出基于超梯度的示例选择方法HESIT，通过追踪超梯度选有影响力示例重训，无需估计Hessian，适配大预训练模型，在最大ToD持续学习基准上全指标达SOTA。
2024-05-16 cs.AI cs.LG
Evaluating the Impact of Task Granularity on Catastrophic Forgetting in Continual Learning
College of Engineering（工程学院）；College of Natural Science（自然科学学院）
研究任务粒度顺序对持续学习中灾难性遗忘的影响，通过CIFAR-100上的粗到细、细到粗和平坦三种训练策略，结合弹性权重巩固（EWC）方法，发现先学习一般类别可减少遗忘。
2026-06-06 cs.LG
A Conformal Predictive Measure for Assessing Catastrophic Forgetting
Communication Systems Department, EURECOM, France（EURECOM通信系统部）；Andalusian Institute of Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；Department of Computer Science and Artificial Intelligence, University of Granada, Spain（格拉纳达大学计算机科学与人工智能系）
本研究提出基于共形预测的新指标CPCF，通过监测模型对旧任务的置信度量化持续学习中的灾难性遗忘，经四个基准数据集验证其与旧任务准确率强相关，可作为动态学习环境下评估灾难性遗忘的可靠工具。
2025-05-15 cs.AI cs.LG
Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
Tel Aviv University（特拉维夫大学）
本文在神经正切核（NTK）框架下提出函数空间理论，推导出新任务训练导致旧任务预测漂移的闭式表达式，揭示遗忘集中在少量旧任务NTK本征模式上，并给出低秩特性与Kronecker缩放规则。
2026-06-17 cs.AI cs.LG
Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models
全息知识流形通过分形量化等技术实现大语言模型持续学习中零灾难性遗忘，提升知识压缩效率并降低训练成本。
2025-11-21 cs.LG
Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
众所周知，使用深度神经网络进行终身学习会遭受灾难性遗忘：当学习新任务时，先前任务的性能会急剧下降。为了减轻这种影响，我们建议利用大量的未标记的数据流很容易在野外获得。特别是，我们设计了一个新的类增量学习方案（a）一个新的蒸馏损失，称为全局蒸馏，（b）一个学习策略，以避免过拟合到最近的任务，和（c）一个基于置信度的采样方法，以有效地利用未标记的外部数据。我们在包括CIFAR和ImageNet在内的各种数据集上的实验结果证明了所提出的方法优于现有方法，特别是当可访问未标记数据流时：与最先进的方法相比，我们的方法显示出高达15.8%的准确率和46.5%的遗忘率。该代码可在https://github.com/kibok90/iccv2019-inc上获得。
2019-10-26 cs.CV cs.LG stat.ML
Sequential Learning and Catastrophic Forgetting in Differentiable Resistor Networks
Mathematics Applications Consortium for Science and Industry (MACSI), Department of Mathematics and Statistics, University of Limerick, Limerick, Ireland（数学应用科学与工业联盟（MACSI）、数学与统计学系、利默里克大学、利默里克、爱尔兰）
研究可微电阻网络中可序列学习与灾难性遗忘现象，通过任务冲突和适应度调整揭示物理机制，展示拓扑结构对遗忘-适应平衡的影响。
2026-05-02 cond-mat.dis-nn cs.LG physics.comp-ph
Overcoming Catastrophic Forgetting by Incremental Moment Matching
Seoul National University（首尔国立大学）；Clova AI Research（克洛娃人工智能研究院）；NAVER Corp（Naver公司）；Surromind Robotics（Surromind机器人公司）
灾难性遗忘是神经网络在训练第二个任务后丢失第一个任务信息的问题。在这里，我们提出了一种方法，即增量矩匹配（IMM），来解决这个问题。IMM递增地匹配分别在第一和第二任务上训练的神经网络的后验分布的矩。为了使后验参数的搜索空间平滑，IMM过程中补充了各种迁移学习技术，包括权重转移，L2范数的旧的和新的参数，和一个变体的dropout与旧的参数。我们在各种数据集上分析了我们的方法，包括MNIST，CIFAR-10，Caltech-UCSD-Birds和Lifelog数据集。实验结果表明，IMM通过平衡新旧网络之间的信息，实现了最先进的性能。
2018-01-30 cs.AI cs.LG
Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Hong Kong Generative AI Research and Development Center（香港生成式人工智能研究与开发中心）
本文提出RaPO方法，通过轨迹级奖励塑造缓解强化微调在连续学习中的遗忘问题，实验证明其在视觉连续学习中有效减少灾难性遗忘。
2026-10-14 cs.CV cs.LG
Overcoming Catastrophic Forgetting in Tabular Data Classification: A Pseudorehearsal-based approach
Universidade de Vigo（维戈大学）；Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)（加利西亚电信技术中心（GRADIANT））
针对表格数据分类的灾难性遗忘问题，提出基于伪排练的TRIL3框架，结合XuILVQ生成合成数据与增量式DNDF算法，无需存储旧样本，仅用50%合成数据性能就优于现有持续学习方案。
2024-07-12 cs.AI cs.LG
Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
针对虚假音频检测中的灾难性遗忘问题，提出正则化自适应权重修改（RAWM）持续学习算法，依据真假音频比例自适应调整权重修改方向并引入正则化约束，在跨数据集实验中显著提升性能。
2023-08-07 cs.LG cs.SD eess.AS
Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe（四维图新欧洲）
由于对先前学习的任务的灾难性遗忘，深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中，并将它们与当前任务样本交错，已被证明是最有效的减轻遗忘的方法。然而，经验重放（ER）没有表现出良好的低缓冲区制度和较长的任务序列，因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息，因为软目标捕获数据的丰富相似性结构。因此，我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务，从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时，正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化，我们发现，更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
Toward Understanding Catastrophic Forgetting in Continual Learning
Amazon Web Services（亚马逊云科技）；Facebook Inc.（脸书公司）
研究了灾难性遗忘与任务序列性质的关系。特别是，给定一个任务序列，我们希望了解该序列的哪些属性会影响在该序列上训练的持续学习算法的出错率。为此，我们提出了一个新的程序，利用任务空间建模以及相关性分析的最新发展，指定和分析我们感兴趣的属性。作为一个应用，我们应用我们的程序来研究任务序列的两个性质：（1）总复杂性和（2）序列异质性。我们发现，出错率是强烈的，正相关的任务序列的总复杂性的一些国家的最先进的算法。我们还发现，令人惊讶的是，出错率没有，甚至在某些情况下，顺序异质性的负相关性。我们的研究结果提出了改进持续学习基准和方法的方向。
2019-08-02 cs.CV cs.LG stat.ML
Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对持续指令调优中灾难性遗忘问题，本研究通过分析函数向量发现遗忘受任务和模型双重影响，提出函数向量引导的正则化训练方法，有效缓解遗忘并验证了理论框架。
2025-04-16 cs.AI cs.LG
A Multi-Task Learning Framework for Overcoming the Catastrophic Forgetting in Automatic Speech Recognition
Harbin Institute of Technology（哈尔滨工业大学）
最近，基于数据驱动的自动语音识别（ASR）系统已经取得了最先进的结果。并且迁移学习通常在那些现有系统适应目标领域时使用，例如，微调再培训然而，在这些过程中，系统参数可能会偏离先前学习的参数太多。因此，系统的训练过程很难在学习目标领域的知识的同时不遗忘先前学习过程中的知识，这被称为灾难性遗忘（CF）。在本文中，我们试图解决的CF问题与终身学习，并提出了一种新的多任务学习（MTL）的培训框架ASR。它把保留原有知识和学习新知识分别看作两个独立的任务。一方面，我们约束新的参数不偏离原参数太远，并惩罚新系统忘记了原来的知识。另一方面，我们迫使新系统快速解决新知识。然后，MTL机制被用来获得这两个任务之间的平衡。我们将我们的方法应用于End2End ASR任务，并在目标和原始数据集中获得了最佳性能。
2019-04-17 cs.LG cs.SD eess.AS
CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
School of Cyber Science and Engineering, Wuhan University（武汉大学网络安全学院）
该研究提出 CORE 认知重放框架，通过按任务遗忘率自适应分配缓冲区并选择高质量代表性数据，提升持续学习性能。
2024-04-09 cs.AI cs.LG
Continual Learning and Catastrophic Forgetting
Department of Electrical Engineering KU Leuven, Belgium（卢森堡鲁文大学电气工程系）；Department of Electrical and Computer Engineering University of Texas at San Antonio, USA（德克萨斯大学圣安东尼奥分校电气与计算机工程系）
本书章节探讨持续学习从非平稳数据流增量学习的挑战，重点分析灾难性遗忘现象，并回顾该领域近十年的研究见解。
2024-03-08 cs.AI cs.CV cs.LG
Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
持续学习的目标是在不遭受灾难性遗忘现象的情况下学习一系列任务。以前的工作表明，以重放缓冲区的形式利用内存可以减少先前任务的性能下降。我们假设，当模型被鼓励记住之前做出的决定的\textit{evidence}时，遗忘可以进一步减少。作为探索这一假设的第一步，我们提出了一种简单的新训练范式，称为“记住正确的原因”（RRR），它还将每个示例的视觉模型解释存储在缓冲区中，并通过鼓励其解释与训练时用于决策的解释保持一致来确保模型具有“正确的原因”。如果没有这个约束，在传统的持续学习算法学习新任务时，解释会发生漂移，遗忘会增加。我们演示了如何将RRR轻松添加到任何基于记忆或正则化的方法中，并减少遗忘，更重要的是，改进模型解释。我们在标准和Few-Shot设置中评估了我们的方法，并观察到使用不同架构和技术来生成模型解释的各种CL方法的一致改进，并展示了我们的方法，该方法显示了可解释性和持续学习之间有希望的联系。我们的代码可在\url{https://github.com/SaynaEbrahimi/Remembering-for-the-Right-Reasons}上找到。
2021-05-03 cs.AI cs.CV cs.LG
Context Channel Capacity: An Information-Theoretic Framework for Understanding Catastrophic Forgetting
本文提出上下文通道容量框架，通过信息论解释持续学习中的灾难性遗忘问题，证明零遗忘需满足C_ctx ≥ H(T)，并展示HyperNetworks通过重新定义参数为函数值实现零遗忘，同时提出Wrong-Context Probing诊断协议和梯度上下文编码器改进方法。
2026-03-08 cs.AI cs.IT cs.LG
Adversarial Feature Alignment: Avoid Catastrophic Forgetting in Incremental Task Lifelong Learning
Tsinghua University（清华大学）
人类通过不断的学习，能够掌握各种知识和技能。相比之下，当新的任务被添加到现有的神经网络模型时，观察到显着的性能下降。这种现象被称为\emph{Catastrophic Forgetting}，是阻止深度神经网络实现人类水平的人工智能的主要障碍之一。已经提出了几种研究成果，例如\emph{Lifelong}或\emph{Continual}学习算法来解决这个问题。然而，他们要么遭受的累积下降的性能，随着任务序列的增长更长，或需要存储过量的模型参数的历史记忆，或不能获得有竞争力的性能上的新任务。在本文中，我们专注于增量多任务图像分类的情况下。受人类学生学习过程的启发，他们通常将复杂的任务分解为更容易的目标，我们提出了一种对抗性特征对齐方法，以避免灾难性遗忘。在我们的设计中，低级视觉特征和高级语义特征都作为软目标，在多个阶段指导训练过程，这为旧任务提供了足够的监督信息，有助于减少遗忘。由于知识蒸馏和正则化现象，所提出的方法获得了更好的性能比微调的新任务，这使得它从其他方法中脱颖而出。在几个典型的终身学习场景中进行的大量实验表明，我们的方法在新任务的准确性和旧任务的性能保持方面都优于最先进的方法。
2019-10-24 cs.CV cs.LG stat.ML
Attention-Based Structural-Plasticity
HRL Laboratories, LLC.（HRL实验室有限责任公司）；University of California Irvine（加州大学欧文分校）
灾难性遗忘/干扰是终身学习机器的一个关键问题，它阻碍了智能体在学习新任务时保持其先前学习的知识。神经网络尤其容易受到灾难性遗忘现象的影响。最近，已经有几个努力克服神经网络中的灾难性遗忘。在这里，我们提出了一个生物启发的方法来克服灾难性遗忘。具体来说，我们基于大脑中的胆碱能神经调节系统定义了基于注意力的突触选择性可塑性。我们定义突触重要性参数，除了突触权重，然后使用Hebbian学习并行反向传播算法学习突触重要性在线和无缝的方式。我们测试我们提出的方法的基准任务，包括置换MNIST和分裂MNIST的问题，并表现出竞争力的性能相比，国家的最先进的方法。
2019-03-02 cs.LG cs.NE stat.ML
