Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks
Yale University(耶鲁大学)
本文提出通过按任务或目标标签分离LSTM记忆来缓解灾难性遗忘,无需正则化或超网络,并在内存预取和离线自然语言处理任务上验证其简单有效且学习更快。
2023-05-26 cs.LG
How do Quadratic Regularizers Prevent Catastrophic Forgetting: The Role of Interpolation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
灾难性遗忘破坏了深度神经网络(DNN)在持续学习和终身学习等场景中的有效性。虽然已经提出了几种方法来解决这个问题,但解释为什么这些方法效果很好的工作有限。本文的目的是更好地解释一种普遍使用的技术,以避免灾难性遗忘:二次正则化。我们证明了二次正则化器通过在每次训练迭代中插值模型参数的当前值和先前值来防止忘记过去的任务。在多次训练迭代中,该插值操作降低了更重要的模型参数的学习率,从而最小化它们的移动。我们的分析还揭示了二次正则化的两个缺点:(a)参数插值对训练超参数的依赖,这通常会导致训练不稳定;(b)将较低的重要性分配给更深层,这通常是DNN中发生遗忘的地方。通过对操作顺序的简单修改,我们表明这些缺点可以很容易地避免,导致平均准确率提高6.2%,平均遗忘率降低4.5%。我们通过在不同的环境中训练2000多个模型来证实我们结果的稳健性。代码可从\url{https://github.com/EkdeepSLubana/QRforgetting}获得
2022-08-12 cs.LG
Catastrophic Importance of Catastrophic Forgetting
本文描述了人工神经网络在解决了灾难性遗忘问题后所开辟的一些可能性。提出了一个简单的模型和现有方法的强化学习应用。
2018-08-20 cs.AI cs.LG stat.ML
Dealing with the Evil Twins: Improving Random Augmentation by Addressing Catastrophic Forgetting of Diverse Augmentations
New York University(纽约大学)
本文重新审视随机增强,发现其随机性会产生类似灾难性遗忘的冲突增强并扭曲特征,提出通过解决遗忘问题来提升其泛化效果,在多个单源域泛化基准上表现优异。
2025-06-27 cs.LG
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay
Rochester Institute of Technology(罗切斯特理工学院)
终身学习代理能够从潜在的无限模式感知数据流中不断学习。构建以这种方式适应的智能体的一个主要历史困难是,神经系统在从新样本中学习时很难保留先前获得的知识。这个问题被称为灾难性遗忘(干扰),至今仍是机器学习领域中未解决的问题。虽然在前馈网络的背景下,遗忘在过去几十年中得到了广泛的研究,但在替代架构的背景下,如古老的自组织映射(SOM),一种无监督的神经模型,经常用于聚类和降维等任务。虽然其内部神经元之间的竞争可能具有改善记忆保持的潜力,但我们观察到,在任务增量数据上训练的固定大小的SOM,即,它以一定的时间增量接收与特定类相关的数据点,经历显著的遗忘。在这项研究中,我们提出了连续SOM(c-SOM),一个模型,能够减少自己的遗忘时,处理信息。
2021-12-09 cs.LG
KoReA-SFL: Knowledge Replay-based Split Federated Learning Against Catastrophic Forgetting
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
针对拆分联邦学习忽视数据异构性和灾难性遗忘导致精度低的问题,提出KoReA-SFL,采用多模型聚合和知识回放策略,在非IID和IID场景下测试精度最高提升23.25%。
2024-04-19 cs.LG
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
Department of Electrical and Computer Engineering, The University of British Columbia(英国不列颠哥伦比亚大学电气与计算机工程系);Department of Mathematics, The University of British Columbia(英国不列颠哥伦比亚大学数学系);Department of Chemical and Biological Engineering, The University of British Columbia(英国不列颠哥伦比亚大学化学与生物工程系)
研究揭示了基于低秩分解的参数高效微调中,更新子空间设计对减少灾难性遗忘的关键作用,并提出结构对齐参数化方法以提升持续学习效果。
2026-03-10 cs.LG
Mitigating Catastrophic Forgetting in Large Language Models with Forgetting-aware Pruning
Ant Group(蚂蚁集团)
提出遗忘感知剪枝度量(FAPM),通过任务向量与预训练参数比率量化灾难性遗忘并融入剪枝标准,在八个数据集上实现仅0.25%遗忘和99.67%下游准确率,无需修改训练或架构。
2025-09-10 cs.LG
Federated Orthogonal Training: Mitigating Global Catastrophic Forgetting in Continual Federated Learning
University of Southern California(南加州大学)
提出联邦正交训练(FOT)方法,通过使新任务更新与旧任务全局主子空间正交,减少任务干扰,缓解持续联邦学习中的全局灾难性遗忘,实验显示准确率提升15%、遗忘率降低27%。
2023-10-17 cs.LG
The unreasonable effectiveness of Batch-Norm statistics in addressing catastrophic forgetting across medical institutions
Athinoula A. Martinos Center for Biomedical Imaging(阿西努拉·A·马蒂诺斯生物医学影像中心);Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
在医疗环境中部署深度学习模型时,由于机构间差异(如患者人口统计数据)和机构内差异(如多种扫描仪类型),模型脆性是一个主要问题。虽然简单地在组合数据集上进行训练充满了数据隐私限制,但在原始机构上进行训练后,在后续机构上对模型进行微调会导致原始数据集上的性能下降,这种现象称为灾难性遗忘。在本文中,我们研究模型的细化和保留以前学到的知识,随后解决灾难性遗忘乳腺摄影乳腺密度的评估之间的权衡。更具体地说,我们提出了一种简单而有效的方法,使用原始数据集的全局批量归一化(BN)统计量来调整弹性权重合并(EWC)。本研究的结果为临床深度学习模型的部署提供了指导,其中需要持续学习以进行领域扩展。
2020-11-16 cs.LG
Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting
Univ. Rennes, CNRS, Inria, IRISA - UMR 6074(雷恩大学, 法国国家科学研究中心, 法国国家信息与自动化研究所, 法国信息与系统研究实验室 - UMR 6074);Univ. Grenoble Alpes, Univ. Savoie Mont Blanc, CNRS, LPNC(格勒诺布尔-阿尔卑斯大学, 萨瓦大学, 法国国家科学研究中心, 认知心理学与神经心理学实验室);Univ. Grenoble Alpes, CEA, LIST(格勒诺布尔-阿尔卑斯大学, 法国原子能委员会, 信息与系统技术实验室)
研究时间序列基础模型在持续微调中的灾难性遗忘,发现微调提升新任务精度但触发遗忘,而遗忘缓解技术可缩小大小模型性能差距。
2026-06-29 cs.LG
Addressing Catastrophic Forgetting in Few-Shot Problems
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
众所周知,神经网络在序列数据集上训练时会遭受灾难性遗忘。虽然已经有许多尝试来解决这个问题,在大规模的监督分类,几乎没有做克服灾难性遗忘在Few-Shot分类问题。我们证明了流行的基于梯度的模型不可知元学习算法(MAML)确实遭受灾难性遗忘,并引入贝叶斯在线元学习框架,解决这个问题。我们的框架利用贝叶斯在线学习和元学习以及拉普拉斯近似和变分推理来克服Few-Shot分类问题中的灾难性遗忘。实验评估表明,我们的框架可以有效地实现这一目标与各种基线相比。作为一个额外的实用程序,我们还证明了经验,我们的框架是能够元学习顺序到达Few-Shot任务从一个固定的任务分布。
2021-06-21 cs.LG stat.ML
Catastrophic Forgetting as Accessibility Collapse: A Three-Level Framework for Knowledge Persistence in Continual Learning
Independent Researchers(独立研究者)
本文提出一个三层次框架(知识存储、表示和可访问性),通过实验证明灾难性遗忘主要是可访问性失败而非表示擦除,重新训练分类器可恢复大部分性能。
2026-06-04 cs.LG
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST(韩国科学技术院);Ansan Institute for Life Sciences, Ansan Medical Center(安山医疗中心安山生命科学研究所)
解释深度神经网络(通常被认为是黑盒)的行为至关重要,特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果,提出了一种新的技术Auto DeepVis,用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上,提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的,特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说,临界冻结要求在基线上对先前和未来的任务进行最佳性能,证明了调查的能力。我们的技术不仅可以补充现有的解决方案,完全消除终身学习的灾难性遗忘,而且可以解释。
2020-01-07 cs.LG stat.ML
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点,但主要的问题仍然没有答案:灾难性遗忘的根本原因是什么?在这项工作中,我们的目标是回答这个问题,提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说,我们设计了一组经验评估,比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到,通过判别模型学习的表征比生成模型更容易发生灾难性遗忘,这为开发用于持续学习的生成模型的优势提供了新的视角。最后,我们的工作开辟了新的研究途径和可能性,采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting
The University of Tokyo(东京大学);RIKEN Center for AIP(日本理化学研究所先进智能研究中心);UBTECH Sydney AI Centre, The University of Sydney(悉尼大学优必选悉尼人工智能中心)
深度学习经常受到自然神经系统中很少存在的两个严重问题的批评:过度拟合和灾难性遗忘。它甚至可以记忆随机标记的数据,这些数据在实例-标签对背后几乎没有知识。当深度网络通过适应新任务不断学习时,它通常会快速覆盖从以前的任务中学到的知识。被称为{ \it神经变异性},在神经科学中众所周知的是,即使在对相同刺激的响应中,人脑反应也表现出相当大的变异性。这种机制平衡了自然神经系统运动学习的准确性和可塑性/灵活性。因此,它促使我们设计一个类似的机制,命名为{ \it人工神经变异性}(ANV),它可以帮助人工神经网络从“自然”神经网络学习一些优点。我们严格证明了ANV作为训练数据和学习模型之间的互信息的隐式正则化。这一结果从理论上保证ANV严格改进的泛化能力,对标签噪声的鲁棒性,以及对灾难性遗忘的鲁棒性。然后,我们设计了一个{ \it神经变量风险最小化}(NVRM)框架和{ \it神经变量优化器},以实现ANV的传统网络结构在实践中。实证研究表明,NVRM可以有效地缓解过拟合,标签噪声记忆,和灾难性遗忘在可以忽略不计的成本。\footnote {代码:\url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning} .
2021-05-10 cs.LG
Correlation of the importances of neural network weights calculated by modern methods of overcoming catastrophic forgetting
Sberbank PJSC(俄罗斯联邦储蓄银行);SberDevices
在2017年发明EWC方法之后,已经提出了几种方法来计算EWC方法中使用的神经网络权重的重要性。尽管在计算权重的重要性方面存在显著差异,但它们都被证明是有效的。因此,出现了一个合理的问题,即如何相似的重要性的权重计算不同的方法。为了回答这个问题,我们计算了所有这些方法计算的权重重要性的逐层相关性。结果发现,几种方法的重要性相互之间有很强的相关性,我们能够对这种相关性做出解释。与此同时,对于其他方法,相关性可以从网络的某些层上的强到其他层上的负。这就提出了一个合理的问题:为什么尽管计算方法非常不同,所有这些重要性都允许EWC方法完美地克服神经网络的灾难性遗忘?
2022-10-24 cs.LG
The Importance of Robust Features in Mitigating Catastrophic Forgetting
Rowan University(罗文大学);Moffitt Cancer Center(莫菲特癌症中心)
本文从持续学习视角研究鲁棒特征对缓解灾难性遗忘的作用,通过引入CL鲁棒数据集并训练四个基线模型,发现基于CL鲁棒特征训练的模型能显著减少对先前任务的遗忘。
2023-06-29 cs.CV cs.LG
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University(北卡罗来纳州立大学);Salesforce Research(赛富时研究院)
解决灾难性遗忘是持续学习的关键挑战之一,其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展,但深度神经网络(DNN)仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架,用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成:神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计,该方法不仅能够以直观有意义的方式进化神经结构,而且在实验中显示出较强的缓解灾难性遗忘的能力。此外,所提出的方法优于所有其他基线上的排列MNIST数据集,分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
Efficient Reinforcement Learning by Reducing Forgetting with Elephant Activation Functions
Department of Computing Science University of Alberta(计算科学系阿尔伯塔大学)
本文研究激活函数对强化学习中灾难性遗忘的影响,发现梯度稀疏性有助于减少遗忘,并提出能同时产生稀疏输出和稀疏梯度的大象激活函数,通过替换经典激活函数显著提升值函数算法的样本效率和记忆效率。
2025-09-23 cs.LG
Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation
Georgia Institute of Technology(佐治亚理工学院)
子空间几何揭示低秩适应中灾难性遗忘的规律,表明遗忘受任务子空间角度影响,秩对遗忘的影响取决于子空间相似性。
2026-02-10 cs.LG
On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks
Deakin University(迪肯大学)
在本文中,我们证明了生成对抗网络(GANs)即使在被训练为近似单个目标分布时也会遭受灾难性遗忘。我们表明,GAN训练是一个持续学习问题,其中改变模型分布的序列就是鉴别器的任务序列。序列中任务之间的不匹配程度决定了遗忘的程度。灾难性遗忘与模式坍塌相关,并且可以使GANs的训练不收敛。我们研究了GANs不同变体中的训练器输出的情况,发现当GAN收敛到一个良好的均衡时,真实的训练数据点是训练器的宽局部最大值。我们经验性地展示了局部最大值的锐度与GANs中的模式坍塌和泛化之间的关系。我们展示了灾难性遗忘如何防止真实数据点的局部极大值,从而导致不收敛。最后,我们研究了在GANs中防止灾难性遗忘的方法。
2020-03-21 cs.LG stat.ML
Evaluating the Impact of Task Granularity on Catastrophic Forgetting in Continual Learning
College of Engineering(工程学院);College of Natural Science(自然科学学院)
研究任务粒度顺序对持续学习中灾难性遗忘的影响,通过CIFAR-100上的粗到细、细到粗和平坦三种训练策略,结合弹性权重巩固(EWC)方法,发现先学习一般类别可减少遗忘。
2026-06-06 cs.LG
FedOGL: Combating Catastrophic Forgetting in Federated Open-World Multimodal Graph Learning
针对联邦开放世界多模态图学习的灾难性遗忘问题,本文提出FedOGL框架,通过客户端记忆保留与服务器原型共享,使性能下降降低42.67%,同时维持或提升下游任务性能。
2026-07-31 cs.LG
Overcoming Catastrophic Forgetting by Generative Regularization
UCLA(加州大学洛杉矶分校);Google Cloud(谷歌云);Google Brain(谷歌大脑)
本文提出了一种新的方法来克服灾难性遗忘通过添加生成正则化贝叶斯推理框架。贝叶斯方法为持续学习提供了一个通用框架。我们可以进一步为所有给定的分类模型构建一个生成正则化项,通过利用基于能量的模型和Langevin动态采样来丰富每个任务中学习到的特征。通过将区分性损失和生成性损失结合在一起,我们的经验表明,所提出的方法在各种任务上优于最先进的方法,避免了持续学习中的灾难性遗忘。特别是,该方法优于基线方法超过15%的时尚MNIST数据集和10%的CUB数据集
2021-06-19 cs.LG stat.ML
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们引入了Kronecker因子化的在线拉普拉斯近似来克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架,在该框架中,我们递归地近似每个任务后的高斯后验,导致权重变化的二次惩罚。拉普拉斯近似需要计算模式周围的Hessian,这对于现代架构来说通常是棘手的。为了使我们的方法可扩展,我们利用最近的块对角Kronecker因子近似的曲率。我们的算法在排列的MNIST数据集的50个实例序列中实现了超过90%的测试准确度,大大优于克服灾难性遗忘的相关方法。
2018-05-20 cs.LG stat.ML
Natural Way to Overcome the Catastrophic Forgetting in Neural Networks
JSC InfoWatch(InfoWatch股份公司)
不久前,人们发现了一种方法,成功地克服了神经网络中的灾难性遗忘。虽然我们知道在使预训练网络适应特定任务时使用这种方法来保留技能的情况,但它还没有得到广泛的传播。在本文中,我们想提出一种替代的方法来克服灾难性遗忘的基础上,通过网络中的每个连接的总的绝对信号。这种方法有一个简单的实现,似乎对我们来说基本上接近的过程发生在动物的大脑中,以保留以前学到的技能在随后的学习。我们希望,这种方法易于实施将有助于其广泛应用。
2021-06-04 cs.LG stat.ML
Localizing Catastrophic Forgetting in Neural Networks
University of Stuttgart(斯图加特大学)
人工神经网络(ANN)在训练一系列任务时会出现灾难性遗忘。虽然过去对这一现象进行了研究,但最近对这一现象的研究非常有限。我们提出了一种方法,用于确定在人工神经网络中的单个参数的贡献灾难性遗忘。该方法被用来分析三种不同的持续学习方案的人工神经网络的响应。
2019-06-06 cs.AI cs.LG cs.NE
Reducing catastrophic forgetting with learning on synthetic data
Tooploox;Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
灾难性遗忘是由于神经网络无法按顺序学习数据而引起的问题。在连续学习两个任务后,第一个任务的表现会显著下降。这是一个严重的缺点,阻止了许多深度学习应用于现实生活中的问题,其中并非所有对象类都是事先已知的;或者数据的变化需要调整模型。为了减少这个问题,我们调查使用的合成数据,即我们回答一个问题:是否有可能产生这样的数据合成顺序学习不会导致灾难性遗忘?我们提出了一种方法来生成这样的数据在两步优化过程中通过元梯度。我们在Split-MNIST数据集上的实验结果表明,在这样的合成数据上按顺序训练模型不会导致灾难性遗忘。我们还表明,我们生成数据的方法对不同的学习场景是鲁棒的。
2020-04-29 cs.LG stat.ML
Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting
Amazon(亚马逊);Brown University(布朗大学)
针对神经网络灾难性遗忘问题,提出无需复述或回放的Eidetic Learning方法,所训练的EideticNet可自动路由新实例,保证免疫遗忘,且时空复杂度线性,适用于现代网络归一化层,实践与理论价值兼具。
2025-02-14 cs.LG
Holographic Knowledge Manifolds: A Novel Pipeline for Continual Learning Without Catastrophic Forgetting in Large Language Models
全息知识流形通过分形量化等技术实现大语言模型持续学习中零灾难性遗忘,提升知识压缩效率并降低训练成本。
2025-11-21 cs.LG
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据,这违反了理想的持续学习系统的约束。此外,目前处理遗忘的方法忽略了灾难性记忆的问题,即区分来自不同任务的数据的能力越来越差。在我们的工作中,我们介绍了相关映射网络(RMN)的启发,最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现,RMNs学习一个优化的表示重叠,克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能,甚至显著优于数据重放方法,同时不违反理想的持续学习系统的约束。此外,RMN保留了以无监督的方式从新任务中检测数据的能力,从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
Does the Adam Optimizer Exacerbate Catastrophic Forgetting?
The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室IDSIA/瑞士意大利语区大学/瑞士意大利语应用科学大学);University of Alberta(阿尔伯塔大学)
灾难性遗忘仍然是人工神经网络(ANN)广泛应用的严重障碍,然而,它仍然是一个知之甚少的现象。尽管人们对灾难性遗忘做了大量的研究,但我们认为,目前还不清楚应该如何准确地量化这种现象,而且,我们在设计学习系统时所做的所有选择在多大程度上影响了灾难性遗忘的数量。我们使用强化学习和监督学习文献中的各种测试平台来(1)提供证据表明,选择哪种现代基于梯度的优化算法来训练ANN对灾难性遗忘的数量有显着影响,并显示令人惊讶的是,在许多情况下,经典算法(如香草SGD)比更现代的算法(如Adam)经历更少的灾难性遗忘。我们实证比较了四种不同的现有指标量化灾难性遗忘和(2)表明,学习系统的经验灾难性遗忘的程度是足够敏感的度量使用,从一个原则性的度量到另一个的变化是足以改变研究的结论显着。我们的研究结果表明,在研究灾难性遗忘时,需要更严格的实验方法。根据我们的结果,我们建议监督学习中的任务间遗忘必须同时使用保留和再学习指标来测量,而强化学习中的任务内遗忘至少必须使用成对干扰来测量。
2021-06-09 cs.AI cs.LG stat.ML
SeNA-CNN: Overcoming Catastrophic Forgetting in Convolutional Neural Networks by Selective Network Augmentation
Instituto de Telecomunicações(电信研究所);Universidade da Beira Interior(贝拉内格罗大学)
终身学习旨在开发机器学习系统,该系统可以学习新任务,同时保留先前学习任务的性能。在本文中,我们提出了一种方法来克服灾难性遗忘卷积神经网络,学习新的任务,并保持旧的任务的性能,而不访问原始模型的数据,通过选择性网络增强。实验结果表明,在某些情况下,SeNA-CNN的性能优于最先进的无遗忘学习算法。结果还表明,在某些情况下,使用SeNA-CNN而不是使用隔离学习来训练神经网络更好。
2018-05-09 cs.LG stat.ML
Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics
Google(谷歌)
开发多功能机器学习系统的一个核心挑战是灾难性遗忘:在顺序任务上训练的模型将在早期任务上遭受显著的性能下降。尽管灾难性遗忘普遍存在,但人们对潜在过程及其原因的理解有限。在本文中,我们解决这个重要的知识差距,研究遗忘如何影响神经网络模型中的表示。通过表征分析技术,我们发现更深的层次是遗忘的不成比例的来源。支持这一点,一项关于减轻遗忘的方法的研究表明,它们可以稳定更深层的记忆。这些见解,使发展的分析参数和经验的图片有关的程度,遗忘任务之间的表征相似性。与此相一致的图片,我们观察到最大的遗忘发生在任务序列的中间相似性。我们进行了实证研究的标准分割CIFAR-10设置,也介绍了一种新的CIFAR-100为基础的任务近似现实的输入分布偏移。
2020-07-14 cs.CV cs.LG stat.ML
Quantum Continual Learning Overcoming Catastrophic Forgetting
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
灾难性遗忘描述了这样一个事实,即机器学习模型在学习新任务的过程之后可能会忘记先前学习的任务的知识。它是持续学习场景中的一个重要问题,最近引起了不同社区的极大关注。在本文中,我们探讨了量子机器学习背景下的灾难性遗忘现象。我们发现,与基于神经网络的经典学习模型类似,量子学习系统在各种应用场景下的分类任务中同样存在遗忘问题。我们表明,基于局部几何信息的损失函数景观的训练模型,一个统一的策略,可以适应克服遗忘问题的增量学习设置。我们的研究结果揭示了量子机器学习中的灾难性遗忘现象,并提供了一种实用的方法来克服这个问题,这为探索潜在的量子优势走向持续学习开辟了一条新的途径。
2021-08-05 cond-mat.mes-hall cs.LG quant-ph
Catastrophic forgetting: still a problem for DNNs
Fulda University of Applied Sciences(富尔达应用科学大学)
我们研究了DNN在训练类增量视觉问题时的性能,这些问题包括初始训练,然后通过添加的视觉类进行再训练。灾难性遗忘(CF)的行为是衡量使用一个新的评估程序,旨在增量学习的应用为导向的观点。特别地,它强制必须单独对初始数据集执行模型选择,以及要求仅使用再训练数据集执行再训练控制,因为初始数据集通常太大而无法保留。实验进行类增量问题来自MNIST,使用各种不同的DNN模型,其中一些最近提出,以避免灾难性遗忘。当比较我们的新的评估程序,以前的方法来评估CF,我们发现他们的研究结果是完全否定的,没有测试的方法可以避免CF在所有的实验。这强调了现实的经验测量程序对灾难性遗忘的重要性,以及进一步研究DNN增量学习的必要性。
2019-05-20 cs.CV cs.LG
Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks
Japan Science and Technology Agency(日本科学技术振兴机构)
当一个计算系统从不断变化的环境中不断学习时,它会迅速忘记过去的经验。这种现象被称为灾难性遗忘。虽然已经提出了一系列的研究,以避免灾难性的遗忘,大多数的方法是基于对现象的直观见解,其性能已通过使用基准数据集的数值实验进行了评估。因此,在本研究中,我们提供了一个理论框架来分析灾难性遗忘的师生学习。师生学习是一个框架,其中我们引入了两个神经网络:一个神经网络是监督学习中的目标函数,另一个是学习神经网络。为了分析教师-学生框架下的持续学习,我们引入了目标函数的输入分布相似性和输入-输出关系相似性作为任务相似性。在这个理论框架中,我们还提供了一个定性的理解如何单层线性学习神经网络忘记任务。通过分析发现,当输入分布之间的相似性较小,而目标函数的输入输出关系的相似性较大时,该网络能够避免灾难性遗忘。分析还表明,系统经常表现出一种称为过冲的特征现象,这意味着即使学习网络曾经经历过灾难性的遗忘,在进一步学习当前任务后,网络也可能表现得相当好。
2021-05-16 cs.LG stat.ML
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology(麻省理工学院)
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验,发现更大模型未必能缓解灾难性遗忘,反而在在线适应新任务时表现更差,揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
Few-Shot Self Reminder to Overcome Catastrophic Forgetting
Borealis AI;University of Alberta(阿尔伯塔大学)
众所周知,深度神经网络存在灾难性遗忘问题,即在顺序学习新任务时,它们往往会忘记先前任务的知识。这种失败阻碍了基于深度学习的视觉系统在持续学习环境中的应用。在这项工作中,我们提出了一个简单但令人惊讶的有效方法来防止灾难性遗忘。我们的方法,称为Few-Shot Self Reminder(FSR),通过对从旧任务中保存在情景记忆中的选定样本进行logit匹配,使神经网络不改变其学习行为。令人惊讶的是,这种简单的方法只需要重新训练少量的数据,就可以在知识保留方面优于以前的方法。我们证明了我们的方法的优越性,在两个不同的持续学习设置流行的基准,以及一个新的持续学习的问题,任务的设计是更不一样的。
2018-12-03 cs.LG stat.ML
Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting
University of Otago(奥塔哥大学)
神经网络可以在各种各样的应用中取得优异的结果。然而,当他们试图顺序学习时,他们往往会学习新的任务,而灾难性地忘记以前的任务。我们提出了一个模型,克服了灾难性遗忘顺序强化学习的图像分类域和强化学习域的持续学习相结合的想法。该模型具有双重记忆系统,该系统将持续学习与强化学习分开,以及伪排练系统,该系统通过深度生成网络“回忆”代表先前任务的项目。我们的模型顺序学习雅达利2600游戏,而没有表现出灾难性遗忘,并继续在所有三个游戏上表现出高于人类的水平。实现这一结果无需:随着任务数量的增加,需要额外的存储要求,存储原始数据或重新访问过去的任务。相比之下,以前最先进的解决方案更容易忘记这些复杂的深度强化学习任务。
2020-12-16 cs.AI cs.CV cs.LG
How catastrophic can catastrophic forgetting be in linear regression?
Technion(以色列理工学院);University of Texas(德克萨斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
为了更好地理解灾难性遗忘,我们研究了一个过参数化线性模型拟合具有不同输入分布的任务序列。我们分析了模型在后续任务上训练后忘记了早期任务的真实标签的程度,获得了精确的表达式和边界。我们建立了线性设置中的持续学习和其他两个研究领域之间的联系:交替投影和Kaczmarz方法。在特定的设置中,我们强调了遗忘和收敛到离线解决方案之间的差异,如在这些领域中所研究的。特别地,当d维中的T个任务循环地呈现k次迭代时,我们证明了遗忘的T^2 * min{1/sqrt(k),d/k}的上界。这与离线解决方案的收敛形成对比,根据现有的交替投影结果,离线解决方案的收敛可以任意慢。我们进一步表明,当任务以随机顺序呈现时,T^2因子可以被提升。
2022-05-25 cs.LG cs.NA math.NA
Bayesian Parameter-Efficient Fine-Tuning for Overcoming Catastrophic Forgetting
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对PEFT存在的灾难性遗忘问题,提出将贝叶斯学习技术结合拉普拉斯近似应用于带LoRA的PEFT,实验证明该方法可在不降低微调性能的前提下克服遗忘,且克罗内克因子分解近似的知识保留效果更优。
2024-12-06 cs.LG eess.AS
Weight Friction: A Simple Method to Overcome Catastrophic Forgetting and Enable Continual Learning
近年来,深度神经网络在复制人类水平的认知技能方面取得了成功,但它们面临着几个主要障碍。一个重要的限制是无法在不忘记以前学习过的任务的情况下学习新任务,这种缺点被称为灾难性遗忘。在这项研究中,我们提出了一个简单的方法来克服灾难性遗忘,使神经网络的持续学习。我们从神经学和物理学的原理中汲取灵感,发展了重量摩擦的概念。权重摩擦通过对梯度下降优化方法中的更新规则的修改来操作。它的收敛速度与随机梯度下降算法相当,并且可以在多个任务域上运行。它执行与当前方法相同的操作,同时提供计算和内存效率的改进。
2019-08-17 cs.LG cs.NE stat.ML
Federated Learning Under Temporal Drift -- Mitigating Catastrophic Forgetting via Experience Replay
Columbia University(哥伦比亚大学)
本研究通过客户端侧经验回放方法缓解联邦学习中的时间漂移问题,实验表明该方法能有效恢复模型性能并防止灾难性遗忘。
2026-01-19 cs.DC cs.LG
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology(以色列理工学院)
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力,并将其与为线性上下文强盗设计的高效探索机制相结合,在最后一个隐藏层之上。由于表示在学习期间被优化,因此关于使用“旧”特征的探索的信息丢失。在这里,我们提出了第一个有限的记忆神经线性强盗,是弹性的这种现象,我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集,包括回归,分类和情感分析,并观察到我们的算法是弹性的灾难性遗忘,并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting
MPI for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Jinesis Lab, University of Toronto & Vector Institute(Jinesis实验室,多伦多大学与向量研究所);EuroSafeAI;Hector Foundation(赫克托基金会);Stanford University(斯坦福大学);ELLIS Institute Tübingen(ELLIS研究所(蒂宾根))
研究微调中语言模型的虚假遗忘机制,发现遗忘包含可逆的共享访问丧失与不可逆的个体事实侵蚀,后者才是灾难性的,其主导性取决于新数据对旧记忆的移动方式。
2026-10-07 cs.CL cs.LG
Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
深度学习模型的一个主要局限性是,它们在增量学习场景中面临灾难性遗忘。已经提出了几种方法来解决增量学习的问题。这些方法中的大多数基于知识蒸馏,并且没有充分利用由较旧的任务模型提供的信息,例如预测中的不确定性估计。预测不确定性提供了分布信息,可以应用于减轻深度学习框架中的灾难性遗忘。在建议的工作中,我们考虑贝叶斯公式来获得数据和模型的不确定性。我们还将自我注意力框架,以解决增量学习的问题。我们定义蒸馏损失的任意不确定性和自我注意。在拟议的工作中,我们调查这些损失的不同烧蚀分析。此外,我们能够在标准基准的准确性方面获得更好的结果。
2021-02-03 cs.CV cs.LG
Complementary Learning for Overcoming Catastrophic Forgetting Using Experience Replay
University of Pennsylvania(宾夕法尼亚大学);HRL Laboratories, LLC(HRL实验室有限责任公司)
尽管取得了巨大的成功,但深度网络无法在顺序多任务学习环境中有效地学习,因为它们在学习新任务后会忘记过去学习的任务。受互补学习系统理论的启发,我们通过学习一个生成模型来解决这一挑战,该模型通过一个有区别的嵌入空间将当前任务与过去学习的任务耦合起来。我们在嵌入中学习一个抽象层次的生成分布,它允许生成数据点来表示经验。我们从这个分布中采样,并利用经验重放来避免遗忘,同时将新知识积累到抽象分布中,以便将当前任务与过去的经验结合起来。我们从理论上和经验上证明,我们的框架在嵌入中学习了一个分布,该分布在所有任务中共享,从而解决了灾难性遗忘。
2019-05-31 cs.LG stat.ML
Catastrophic Forgetting Mitigation Through Plateau Phase Activity Profiling
Department of Computer Science(计算机科学系);Bar-Ilan University(巴伊兰大学);Faculty of Engineering(工程学院)
针对深度神经网络中的灾难性遗忘问题,提出通过分析最终训练平台期的参数活动度来识别重要参数,在保留旧知识的同时适应新任务,实验证明该方法能有效平衡遗忘缓解与新任务性能。
2025-07-11 cs.AI cs.LG
Block Neural Network Avoids Catastrophic Forgetting When Learning Multiple Task
Laboratoire Psychologie de la Perception(感知心理学实验室);Université Paris Descartes(巴黎笛卡尔大学)
在目前的工作中,我们提出了一种深度前馈网络架构,可以根据顺序学习范式进行训练,其中顺序学习难度增加的任务,但避免了灾难性遗忘。当新任务和旧任务相关时,所提出的架构可以在新任务中重用在先前任务上学习的特征。与从头开始训练的网络相比,该架构需要更少的计算资源(神经元和连接)和更少的数据来学习新任务
2017-11-28 cs.LG cs.NE stat.ML
ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
ZeroFlow
ZeroFlow 提出首个无梯度优化基准,证明仅靠前向传播即可缓解持续学习中的灾难性遗忘,并给出改进策略。
2025-06-06 cs.CV cs.LG
An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks
灾难性遗忘是许多机器学习模型和算法面临的问题。当在一个任务上训练,然后在第二个任务上训练时,许多机器学习模型“忘记”如何执行第一个任务。这被广泛认为是神经网络的一个严重问题。在这里,我们调查的灾难性遗忘问题发生的现代神经网络的程度,比较建立和最近的基于梯度的训练算法和激活函数。我们还研究了第一个任务和第二个任务之间的关系对灾难性遗忘的影响。我们发现使用dropout算法进行训练总是最好的--dropout算法在适应新任务、记住旧任务方面始终是最好的,并且在这两个极端之间具有最好的折衷曲线。我们发现,不同的任务和任务之间的关系导致非常不同的排名激活功能的性能。这表明激活函数的选择应始终进行交叉验证。
2015-03-04 cs.LG cs.NE stat.ML
Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay
University of Electronic Science and Technology of China(电子科技大学)
图神经网络(GNN)最近受到了极大的研究关注,因为它们在各种与图相关的学习任务上表现出色。目前的大多数工作集中在静态或动态图形设置上,解决单个特定任务,例如,节点/图分类、链接预测。在这项工作中,我们研究的问题:GNNs可以应用于连续学习一系列任务?为此,我们探索了连续图学习(CGL)范式,并提出了基于经验重放的框架ER-GNN CGL,以减轻现有GNN中的灾难性遗忘问题。ER-GNN将以前任务中的知识存储为经验,并在学习新任务时重放它们,以减轻灾难性遗忘问题。提出了特征均值、覆盖最大化和影响力最大化三种经验节点选择策略,指导经验节点的选择过程。在三个基准数据集上的大量实验证明了我们的ER-GNN的有效性,并揭示了增量图(非欧几里德)结构学习。
2021-02-08 cs.LG stat.ML