Catastrophic Forgetting in Kolmogorov-Arnold Networks
针对持续学习中KANs灾难性遗忘行为不明确的问题,本研究通过理论框架(关联遗忘与激活支持重叠、内在数据维度)和系统实验,揭示其在低维场景保留知识但高维领域仍易遗忘的特性,并提出KAN-LoRA适配器提升语言模型持续微调效率。
2025-11-16 cs.AI cs.LG
Localizing Catastrophic Forgetting in Neural Networks
University of Stuttgart(斯图加特大学)
人工神经网络(ANN)在训练一系列任务时会出现灾难性遗忘。虽然过去对这一现象进行了研究,但最近对这一现象的研究非常有限。我们提出了一种方法,用于确定在人工神经网络中的单个参数的贡献灾难性遗忘。该方法被用来分析三种不同的持续学习方案的人工神经网络的响应。
2019-06-06 cs.AI cs.LG cs.NE
On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning
本文揭示持续学习中灾难性遗忘源于新任务梯度对旧任务损失景观尖锐方向的隐式对抗性对齐,归因于训练的低秩偏差,并提出backGP方法缓解该问题,平均减少遗忘10.8%、提升准确率12.7%。
2025-10-10 cs.AI cs.LG
Quantifying Catastrophic Forgetting in IoT Intrusion Detection Systems
Ericsson Research(爱立信研究)
本研究提出了一种方法无关的IDS框架,通过持续学习缓解物联网入侵检测中的灾难性遗忘问题,并展示了突触智能方法在动态网络中的高效性能。
2026-02-27 cs.AI cs.LG
Overcoming Catastrophic Forgetting by XAI
Korea Advanced Institute of Science and Technology(韩国科学技术院)
解释深度神经网络(通常被认为是黑匣子)的行为至关重要,尤其是当它们现在被应用于人类生活的各个方面时。利用可解释的机器学习(可解释的ML)的优势,这项工作提出了一种新的工具,称为灾难性遗忘解剖器(或CFD)来解释持续学习设置中的灾难性遗忘。我们还介绍了一种新的方法,称为临界冻结的基础上,我们的工具的观察。ResNet上的实验阐明了灾难性遗忘是如何发生的,特别是显示了这个著名网络的哪些组成部分正在遗忘。我们的新的持续学习算法击败了各种最近的技术的显着保证金,证明了调查的能力。临界冻结不仅攻击了灾难性遗忘,而且还暴露了可解释性。
2022-11-25 cs.LG
Explaining Robustness to Catastrophic Forgetting Through Incremental Concept Formation
Drexel University(德雷塞尔大学);Georgia Institute of Technology(佐治亚理工学院)
该研究针对持续学习中的灾难性遗忘问题,基于层级概念形成模型Cobweb/4V的鲁棒性检验三项稳定性假设,通过多数据集对比实验验证了自适应重组、稀疏更新及信息论学习的作用,为构建稳定自适应的持续学习系统提供新思路。
2025-10-27 cs.AI cs.LG
Overcoming Catastrophic Forgetting in Graph Neural Networks
Stevens Institute of Technology(史蒂文斯理工学院)
灾难性遗忘是指神经网络在学习新任务时“忘记”先前学习的知识的趋势。现有方法一直专注于克服卷积神经网络(CNN)上的这个问题,其中像图像这样的输入样本位于网格域中,但在很大程度上忽略了处理非网格数据的图神经网络(GNN)。在本文中,我们提出了一种新的计划,致力于克服灾难性遗忘问题,从而加强持续学习的GNNs。我们方法的核心是一个通用模块,称为拓扑感知权重保持~(TWP),以即插即用的方式适用于任意形式的GNN。与基于CNN的持续学习方法的主流不同,TWP仅依赖于减慢对下游任务重要的参数的更新,TWP明确地探索输入图的局部结构,并试图稳定在拓扑聚合中起关键作用的参数。我们在几个数据集上评估了不同GNN主干上的TWP,并证明了它产生的性能优于最先进的技术水平。代码在\url{https://github.com/hhliu79/TWP}上公开。
2020-12-10 cs.AI cs.LG
Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting
University of Otago(奥塔哥大学)
神经网络可以在各种各样的应用中取得优异的结果。然而,当他们试图顺序学习时,他们往往会学习新的任务,而灾难性地忘记以前的任务。我们提出了一个模型,克服了灾难性遗忘顺序强化学习的图像分类域和强化学习域的持续学习相结合的想法。该模型具有双重记忆系统,该系统将持续学习与强化学习分开,以及伪排练系统,该系统通过深度生成网络“回忆”代表先前任务的项目。我们的模型顺序学习雅达利2600游戏,而没有表现出灾难性遗忘,并继续在所有三个游戏上表现出高于人类的水平。实现这一结果无需:随着任务数量的增加,需要额外的存储要求,存储原始数据或重新访问过去的任务。相比之下,以前最先进的解决方案更容易忘记这些复杂的深度强化学习任务。
2020-12-16 cs.AI cs.CV cs.LG
Overcoming Catastrophic Forgetting by Exemplar Selection in Task-oriented Dialogue System
Nanyang Technological University(南洋理工大学);University of Aberdeen(阿伯丁大学);Zhejiang University(浙江大学)
针对任务型对话系统持续学习中的灾难性遗忘问题,提出基于超梯度的示例选择方法HESIT,通过追踪超梯度选有影响力示例重训,无需估计Hessian,适配大预训练模型,在最大ToD持续学习基准上全指标达SOTA。
2024-05-16 cs.AI cs.LG
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology(以色列理工学院)
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力,并将其与为线性上下文强盗设计的高效探索机制相结合,在最后一个隐藏层之上。由于表示在学习期间被优化,因此关于使用“旧”特征的探索的信息丢失。在这里,我们提出了第一个有限的记忆神经线性强盗,是弹性的这种现象,我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集,包括回归,分类和情感分析,并观察到我们的算法是弹性的灾难性遗忘,并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
Tel Aviv University(特拉维夫大学)
本文在神经正切核(NTK)框架下提出函数空间理论,推导出新任务训练导致旧任务预测漂移的闭式表达式,揭示遗忘集中在少量旧任务NTK本征模式上,并给出低秩特性与Kronecker缩放规则。
2026-06-17 cs.AI cs.LG
Revisiting Catastrophic Forgetting in Continual Knowledge Graph Embedding
Data-intensive Technologies and Knowledge Systems (DTAK), Department of Service and Information System Engineering, Universitat Politècnica de Catalunya(数据密集型技术与知识系统(DTAK),服务与信息系统工程系,巴塞罗那理工大学);Intelligent Data Science and Artificial Intelligence Research Center (IDEAI), Department of Computer Science, Universitat Politècnica de Catalunya(智能数据科学与人工智能研究中心(IDEAI),计算机科学系,巴塞罗那理工大学)
本文提出修正的连续知识图谱嵌入评估协议,揭示实体干扰对模型性能的影响,发现忽略该效应可能导致性能高估达25%。
2026-04-21 cs.AI cs.LG
Overcoming Catastrophic Forgetting by Incremental Moment Matching
Seoul National University(首尔国立大学);Clova AI Research(克洛娃人工智能研究院);NAVER Corp(Naver公司);Surromind Robotics(Surromind机器人公司)
灾难性遗忘是神经网络在训练第二个任务后丢失第一个任务信息的问题。在这里,我们提出了一种方法,即增量矩匹配(IMM),来解决这个问题。IMM递增地匹配分别在第一和第二任务上训练的神经网络的后验分布的矩。为了使后验参数的搜索空间平滑,IMM过程中补充了各种迁移学习技术,包括权重转移,L2范数的旧的和新的参数,和一个变体的dropout与旧的参数。我们在各种数据集上分析了我们的方法,包括MNIST,CIFAR-10,Caltech-UCSD-Birds和Lifelog数据集。实验结果表明,IMM通过平衡新旧网络之间的信息,实现了最先进的性能。
2018-01-30 cs.AI cs.LG
Neuro-Inspired Fragmentation and Recall to Overcome Catastrophic Forgetting in Curiosity
Massachusetts Institute of Technology(麻省理工学院)
本文针对基于预测的内在奖励方法在困难探索任务中的灾难性遗忘问题,提出 FARCuriosity 方法,通过环境碎片化和模块回忆机制减少遗忘,并在 Atari 基准上取得更好的整体性能。
2023-10-26 cs.AI cs.LG
Overcoming Catastrophic Forgetting in Tabular Data Classification: A Pseudorehearsal-based approach
Universidade de Vigo(维戈大学);Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)(加利西亚电信技术中心(GRADIANT))
针对表格数据分类的灾难性遗忘问题,提出基于伪排练的TRIL3框架,结合XuILVQ生成合成数据与增量式DNDF算法,无需存储旧样本,仅用50%合成数据性能就优于现有持续学习方案。
2024-07-12 cs.AI cs.LG
Meta-learnt priors slow down catastrophic forgetting in neural networks
Department of CSAI, Tilburg University(蒂尔堡大学CSAI系);Tilburg University(蒂尔堡大学)
当前的深度学习训练机制通常涉及一次暴露于单个任务/数据集。在这里,我们从观察开始,在这种情况下,训练模型没有被给予任何关于其(单任务)训练分布之外的任何知识,因此无法学习参数(即,特征检测器或策略),这可能有助于解决其他任务,并限制将来对所获得的知识的干扰,从而限制灾难性遗忘。在这里,我们表明,灾难性遗忘可以在元学习的背景下,通过暴露一个神经网络在训练过程中以顺序的方式多个任务来减轻。最后,我们提出了SeqFOMAML,一个Meta学习算法,实现这些原则,我们评估它的顺序学习问题组成的Omniglot和MiniImageNet分类任务。
2020-02-09 cs.AI cs.LG stat.ML
Behavioral Experiments for Understanding Catastrophic Forgetting
University of Cambridge(剑桥大学)
在本文中,我们探讨了实验心理学的基本工具,行为实验,是否有能力产生洞察力,不仅是人类和动物,但人工系统了。我们应用实验心理学的技术来研究神经网络中的灾难性遗忘。我们使用双层ReLU网络进行了一系列受控实验,探索性结果揭示了对灾难性遗忘行为的新理解。除了我们的实证研究结果,我们展示了一种替代的,行为第一的方法来调查神经网络现象。
2022-12-13 cs.LG
Jointly Exploring Client Drift and Catastrophic Forgetting in Dynamic Learning
Technical University Darmstadt(达姆施塔特工业大学);University of Cologne(科隆大学)
本研究提出统一分析框架,联合探索联邦学习中的客户端漂移与灾难性遗忘,发现两者性能下降相关(相关系数>0.94),且适度组合可提升模型泛化,开辟新研究路径。
2023-09-01 cs.AI cs.LG
Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy
Universidade Federal do Amazonas(亚马逊联邦大学);Sidia Institute of Science and Technology(锡迪亚科学技术研究院)
本文针对深度学习中无旧数据时学习新任务易出现的灾难性遗忘问题,综述了梯度下降类深度学习模型的相关近期研究,提出分类体系并指出研究空白。
2023-12-16 cs.AI cs.LG
Intelligent Learning Rate Distribution to reduce Catastrophic Forgetting in Transformers
Bielefeld University(比勒费尔德大学)
本文针对Transformer微调中的灾难性遗忘问题,通过超参数优化寻找并组合优于平坦学习率的学习率分布,并在GLUE基准上验证其有效性。
2024-03-27 cs.AI cs.CL cs.LG
Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学)
针对持续指令调优中灾难性遗忘问题,本研究通过分析函数向量发现遗忘受任务和模型双重影响,提出函数向量引导的正则化训练方法,有效缓解遗忘并验证了理论框架。
2025-04-16 cs.AI cs.LG
Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
Nexcepta(内克塞克塔)
针对动态无线环境中DRL抗干扰系统的灾难性遗忘问题,提出基于PackNet的持续深度强化学习方法,使网络在学习新干扰模式时保留旧知识,显著提升抗干扰性能与鲁棒性。
2024-10-14 cs.AI cs.LG cs.NI
SNAP: Stopping Catastrophic Forgetting in Hebbian Learning with Sigmoidal Neuronal Adaptive Plasticity
McGill University(麦吉尔大学)
本文提出SNAP方法,通过S型权重增长模拟生物长时程增强,使权重在达到较大或较小值后巩固稳定,从而在赫布学习中完全防止灾难性遗忘。
2024-10-20 cs.AI cs.LG cs.NE
Towards Eliminating Catastrophic Forgetting in the Curriculum Learning of Math Reasoning Tasks
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文研究课程学习中的灾难性遗忘,理论证明其源于任务最优分歧而不可完全消除,提出IV-EWC方法,通过影响函数构建验证集并动态正则化,在数学推理任务上平均减少162%遗忘。
2026-09-29 cs.LG
CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay
School of Cyber Science and Engineering, Wuhan University(武汉大学网络安全学院)
该研究提出 CORE 认知重放框架,通过按任务遗忘率自适应分配缓冲区并选择高质量代表性数据,提升持续学习性能。
2024-04-09 cs.AI cs.LG
Addressing Catastrophic Forgetting in Few-Shot Problems
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
众所周知,神经网络在序列数据集上训练时会遭受灾难性遗忘。虽然已经有许多尝试来解决这个问题,在大规模的监督分类,几乎没有做克服灾难性遗忘在Few-Shot分类问题。我们证明了流行的基于梯度的模型不可知元学习算法(MAML)确实遭受灾难性遗忘,并引入贝叶斯在线元学习框架,解决这个问题。我们的框架利用贝叶斯在线学习和元学习以及拉普拉斯近似和变分推理来克服Few-Shot分类问题中的灾难性遗忘。实验评估表明,我们的框架可以有效地实现这一目标与各种基线相比。作为一个额外的实用程序,我们还证明了经验,我们的框架是能够元学习顺序到达Few-Shot任务从一个固定的任务分布。
2021-06-21 cs.LG stat.ML
Gradient Correlation Subspace Learning against Catastrophic Forgetting
Reichman University(赖希曼大学)
本文提出GCSL方法,通过寻找受旧任务影响最小的权重子空间并投影新任务训练权重,以缓解增量类别学习中的灾难性遗忘。
2024-03-04 cs.AI cs.CV cs.LG
Alleviating catastrophic forgetting using context-dependent gating and synaptic stabilization
The University of Chicago(芝加哥大学)
人类和大多数动物都可以在不忘记旧任务的情况下学习新任务。然而,在新任务上训练人工神经网络(ANN)通常会导致它忘记以前学习的任务。这种现象是“灾难性遗忘“的结果,在这种情况下,训练ANN会破坏对解决先前任务很重要的连接权重,从而降低任务性能。最近的几项研究提出了稳定人工神经网络连接权重的方法,这些方法被认为对解决任务最重要,这有助于减轻灾难性遗忘。在这里,从被认为是在体内实现的算法的灵感,我们提出了一个补充的方法:添加一个上下文相关的门控信号,这样,只有稀疏的,大部分是不重叠的模式的单位是活跃的任何一个任务。这种方法易于实现,需要很少的计算开销,并允许ANN在与权重稳定相结合时在大量顺序呈现的任务中保持高性能。这项工作提供了另一个例子,说明神经科学启发的算法如何使ANN设计和能力受益。
2019-04-03 cs.AI cs.LG q-bio.NC
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST(韩国科学技术院);Ansan Institute for Life Sciences, Ansan Medical Center(安山医疗中心安山生命科学研究所)
解释深度神经网络(通常被认为是黑盒)的行为至关重要,特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果,提出了一种新的技术Auto DeepVis,用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上,提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的,特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说,临界冻结要求在基线上对先前和未来的任务进行最佳性能,证明了调查的能力。我们的技术不仅可以补充现有的解决方案,完全消除终身学习的灾难性遗忘,而且可以解释。
2020-01-07 cs.LG stat.ML
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点,但主要的问题仍然没有答案:灾难性遗忘的根本原因是什么?在这项工作中,我们的目标是回答这个问题,提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说,我们设计了一组经验评估,比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到,通过判别模型学习的表征比生成模型更容易发生灾难性遗忘,这为开发用于持续学习的生成模型的优势提供了新的视角。最后,我们的工作开辟了新的研究途径和可能性,采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Catastrophic Forgetting in Continual Reinforcement Learning
UCL(伦敦大学学院)
本研究探究持续强化学习中任务相似性与灾难性遗忘的关系,采用Q-learning在图任务上实验,发现二者存在复杂动态关系,未证实任务相似性独立影响遗忘,需进一步研究。
2026-08-11 cs.LG
The Importance of Robust Features in Mitigating Catastrophic Forgetting
Rowan University(罗文大学);Moffitt Cancer Center(莫菲特癌症中心)
本文从持续学习视角研究鲁棒特征对缓解灾难性遗忘的作用,通过引入CL鲁棒数据集并训练四个基线模型,发现基于CL鲁棒特征训练的模型能显著减少对先前任务的遗忘。
2023-06-29 cs.CV cs.LG
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University(北卡罗来纳州立大学);Salesforce Research(赛富时研究院)
解决灾难性遗忘是持续学习的关键挑战之一,其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展,但深度神经网络(DNN)仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架,用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成:神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计,该方法不仅能够以直观有意义的方式进化神经结构,而且在实验中显示出较强的缓解灾难性遗忘的能力。此外,所提出的方法优于所有其他基线上的排列MNIST数据集,分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
Utilizing Priming to Identify Optimal Class Ordering to Alleviate Catastrophic Forgetting
Lewis & Clark College(路易斯与克拉克学院);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
为了让人工神经网络开始准确地模仿生物网络,它们必须能够适应新的紧急情况,而不会忘记它们从以前的训练中学到的东西。人工神经网络的终身学习方法试图努力实现这一目标,但还没有取得足够的进展,以实际部署的自然语言处理任务。众所周知的灾难性遗忘仍然是研究人员建立终身学习模型的障碍。虽然人们正在努力平息灾难性遗忘,但缺乏研究来探讨在新课程上进行增量学习时课程排序的重要性。这是令人惊讶的,因为人类学习的“类”的排序受到严格监控,并且非常重要。虽然开发一个理想的类顺序的策略已经研究,本文探讨类排序,因为它涉及到启动作为一个计划,增量类学习。通过研究人类中发现的各种启动方法之间的联系,以及这些方法如何在终身机器学习中被模仿但仍然无法解释,本文提供了对我们的生物系统和合成系统之间相似性的更好理解,同时改进了当前的实践,以对抗灾难性遗忘。通过将心理启动实践与类排序相结合,本文能够确定一种可推广的方法,用于NLP增量学习任务中的类排序,该方法始终优于随机类排序。
2022-12-24 cs.AI cs.CL cs.LG
Overcoming catastrophic forgetting in neural networks
DeepMind(深度思维);Imperial College London(帝国理工学院)
以顺序方式学习任务的能力对人工智能的发展至关重要。一般来说,神经网络不具备这种能力,人们普遍认为,灾难性遗忘是连接主义模型的一个不可避免的特征。我们表明,它是有可能克服这种限制和训练网络,可以保持专业知识的任务,他们没有经历了很长一段时间。我们的方法通过选择性地减慢对这些任务重要的权重的学习来记住旧任务。我们证明了我们的方法是可扩展的和有效的,通过解决一组分类任务的基础上MNIST手写数字数据集和学习几个雅达利2600游戏顺序。
2017-01-25 cs.AI cs.LG stat.ML
Predicting the Susceptibility of Examples to Catastrophic Forgetting
本文发现学习速度快的样本更不易被遗忘,据此提出基于学习速度的回放采样策略SBS,可广泛提升持续学习基准上的性能。
2025-07-03 cs.LG
CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
本文提出CURLoRA方法,通过在LoRA中引入改进的CUR矩阵分解作为隐式正则化并仅微调零初始化的$U$矩阵,有效缓解了LLM持续微调中的灾难性遗忘,显著减少了可训练参数,并在数据有限时保持模型稳定性和准确率。
2024-08-26 cs.AI cs.CL cs.LG
The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting -- An Analytical Model
Northeastern University(东北大学);Technion(以色列理工学院)
本文构建两任务持续线性回归解析模型,推导期望遗忘的精确表达式,揭示任务相似性与过参数化对灾难性遗忘的联合影响规律,并通过合成数据和置换任务基准验证。
2024-01-24 cs.LG
On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks
Deakin University(迪肯大学)
在本文中,我们证明了生成对抗网络(GANs)即使在被训练为近似单个目标分布时也会遭受灾难性遗忘。我们表明,GAN训练是一个持续学习问题,其中改变模型分布的序列就是鉴别器的任务序列。序列中任务之间的不匹配程度决定了遗忘的程度。灾难性遗忘与模式坍塌相关,并且可以使GANs的训练不收敛。我们研究了GANs不同变体中的训练器输出的情况,发现当GAN收敛到一个良好的均衡时,真实的训练数据点是训练器的宽局部最大值。我们经验性地展示了局部最大值的锐度与GANs中的模式坍塌和泛化之间的关系。我们展示了灾难性遗忘如何防止真实数据点的局部极大值,从而导致不收敛。最后,我们研究了在GANs中防止灾难性遗忘的方法。
2020-03-21 cs.LG stat.ML
Wide Neural Networks Forget Less Catastrophically
Washington State University(华盛顿州立大学);DeepMind(深度思维)
持续学习研究的一个主要焦点领域是通过设计对分布偏移更鲁棒的新算法来减轻神经网络中的“灾难性遗忘“问题。虽然最近在持续学习文献方面的进展令人鼓舞,但我们对神经网络的哪些属性导致灾难性遗忘的理解仍然有限。为了解决这个问题,而不是专注于持续学习算法,在这项工作中,我们专注于模型本身,研究神经网络架构的“宽度”对灾难性遗忘的影响,并表明宽度对遗忘有着惊人的显著影响。为了解释这种效应,我们从各种角度研究了网络的学习动态,例如梯度正交性,稀疏性和懒惰训练机制。我们提供了潜在的解释,是一致的经验结果,在不同的架构和持续学习基准。
2022-07-14 cs.AI cs.CV cs.LG
Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks
Yale University(耶鲁大学)
本文提出通过按任务或目标标签分离LSTM记忆来缓解灾难性遗忘,无需正则化或超网络,并在内存预取和离线自然语言处理任务上验证其简单有效且学习更快。
2023-05-26 cs.LG
Overcoming Catastrophic Forgetting by Generative Regularization
UCLA(加州大学洛杉矶分校);Google Cloud(谷歌云);Google Brain(谷歌大脑)
本文提出了一种新的方法来克服灾难性遗忘通过添加生成正则化贝叶斯推理框架。贝叶斯方法为持续学习提供了一个通用框架。我们可以进一步为所有给定的分类模型构建一个生成正则化项,通过利用基于能量的模型和Langevin动态采样来丰富每个任务中学习到的特征。通过将区分性损失和生成性损失结合在一起,我们的经验表明,所提出的方法在各种任务上优于最先进的方法,避免了持续学习中的灾难性遗忘。特别是,该方法优于基线方法超过15%的时尚MNIST数据集和10%的CUB数据集
2021-06-19 cs.LG stat.ML
Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们引入了Kronecker因子化的在线拉普拉斯近似来克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架,在该框架中,我们递归地近似每个任务后的高斯后验,导致权重变化的二次惩罚。拉普拉斯近似需要计算模式周围的Hessian,这对于现代架构来说通常是棘手的。为了使我们的方法可扩展,我们利用最近的块对角Kronecker因子近似的曲率。我们的算法在排列的MNIST数据集的50个实例序列中实现了超过90%的测试准确度,大大优于克服灾难性遗忘的相关方法。
2018-05-20 cs.LG stat.ML
Natural Way to Overcome the Catastrophic Forgetting in Neural Networks
JSC InfoWatch(InfoWatch股份公司)
不久前,人们发现了一种方法,成功地克服了神经网络中的灾难性遗忘。虽然我们知道在使预训练网络适应特定任务时使用这种方法来保留技能的情况,但它还没有得到广泛的传播。在本文中,我们想提出一种替代的方法来克服灾难性遗忘的基础上,通过网络中的每个连接的总的绝对信号。这种方法有一个简单的实现,似乎对我们来说基本上接近的过程发生在动物的大脑中,以保留以前学到的技能在随后的学习。我们希望,这种方法易于实施将有助于其广泛应用。
2021-06-04 cs.LG stat.ML
Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics
Google(谷歌)
开发多功能机器学习系统的一个核心挑战是灾难性遗忘:在顺序任务上训练的模型将在早期任务上遭受显著的性能下降。尽管灾难性遗忘普遍存在,但人们对潜在过程及其原因的理解有限。在本文中,我们解决这个重要的知识差距,研究遗忘如何影响神经网络模型中的表示。通过表征分析技术,我们发现更深的层次是遗忘的不成比例的来源。支持这一点,一项关于减轻遗忘的方法的研究表明,它们可以稳定更深层的记忆。这些见解,使发展的分析参数和经验的图片有关的程度,遗忘任务之间的表征相似性。与此相一致的图片,我们观察到最大的遗忘发生在任务序列的中间相似性。我们进行了实证研究的标准分割CIFAR-10设置,也介绍了一种新的CIFAR-100为基础的任务近似现实的输入分布偏移。
2020-07-14 cs.CV cs.LG stat.ML
Reducing catastrophic forgetting with learning on synthetic data
Tooploox;Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
灾难性遗忘是由于神经网络无法按顺序学习数据而引起的问题。在连续学习两个任务后,第一个任务的表现会显著下降。这是一个严重的缺点,阻止了许多深度学习应用于现实生活中的问题,其中并非所有对象类都是事先已知的;或者数据的变化需要调整模型。为了减少这个问题,我们调查使用的合成数据,即我们回答一个问题:是否有可能产生这样的数据合成顺序学习不会导致灾难性遗忘?我们提出了一种方法来生成这样的数据在两步优化过程中通过元梯度。我们在Split-MNIST数据集上的实验结果表明,在这样的合成数据上按顺序训练模型不会导致灾难性遗忘。我们还表明,我们生成数据的方法对不同的学习场景是鲁棒的。
2020-04-29 cs.LG stat.ML
How do Quadratic Regularizers Prevent Catastrophic Forgetting: The Role of Interpolation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
灾难性遗忘破坏了深度神经网络(DNN)在持续学习和终身学习等场景中的有效性。虽然已经提出了几种方法来解决这个问题,但解释为什么这些方法效果很好的工作有限。本文的目的是更好地解释一种普遍使用的技术,以避免灾难性遗忘:二次正则化。我们证明了二次正则化器通过在每次训练迭代中插值模型参数的当前值和先前值来防止忘记过去的任务。在多次训练迭代中,该插值操作降低了更重要的模型参数的学习率,从而最小化它们的移动。我们的分析还揭示了二次正则化的两个缺点:(a)参数插值对训练超参数的依赖,这通常会导致训练不稳定;(b)将较低的重要性分配给更深层,这通常是DNN中发生遗忘的地方。通过对操作顺序的简单修改,我们表明这些缺点可以很容易地避免,导致平均准确率提高6.2%,平均遗忘率降低4.5%。我们通过在不同的环境中训练2000多个模型来证实我们结果的稳健性。代码可从\url{https://github.com/EkdeepSLubana/QRforgetting}获得
2022-08-12 cs.LG
When Synthetic Data Hurts: On Catastrophic Forgetting in Skill Retrieval for LLM Agents
Manulife(宏利金融)
本研究针对LLM智能体技能检索中合成数据微调导致的灾难性遗忘问题,提出并评估了多种持续学习方法,在保持OOD性能的同时提升分布内检索13.98%。
2026-09-11 cs.AI cs.IR cs.LG
Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe(四维图新欧洲)
由于对先前学习的任务的灾难性遗忘,深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中,并将它们与当前任务样本交错,已被证明是最有效的减轻遗忘的方法。然而,经验重放(ER)没有表现出良好的低缓冲区制度和较长的任务序列,因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息,因为软目标捕获数据的丰富相似性结构。因此,我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务,从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时,正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化,我们发现,更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
Quantum Continual Learning Overcoming Catastrophic Forgetting
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
灾难性遗忘描述了这样一个事实,即机器学习模型在学习新任务的过程之后可能会忘记先前学习的任务的知识。它是持续学习场景中的一个重要问题,最近引起了不同社区的极大关注。在本文中,我们探讨了量子机器学习背景下的灾难性遗忘现象。我们发现,与基于神经网络的经典学习模型类似,量子学习系统在各种应用场景下的分类任务中同样存在遗忘问题。我们表明,基于局部几何信息的损失函数景观的训练模型,一个统一的策略,可以适应克服遗忘问题的增量学习设置。我们的研究结果揭示了量子机器学习中的灾难性遗忘现象,并提供了一种实用的方法来克服这个问题,这为探索潜在的量子优势走向持续学习开辟了一条新的途径。
2021-08-05 cond-mat.mes-hall cs.LG quant-ph
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据,这违反了理想的持续学习系统的约束。此外,目前处理遗忘的方法忽略了灾难性记忆的问题,即区分来自不同任务的数据的能力越来越差。在我们的工作中,我们介绍了相关映射网络(RMN)的启发,最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现,RMNs学习一个优化的表示重叠,克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能,甚至显著优于数据重放方法,同时不违反理想的持续学习系统的约束。此外,RMN保留了以无监督的方式从新任务中检测数据的能力,从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
Dynamic Expert Specialization: Towards Catastrophic Forgetting-Free Multi-Domain MoE Adaptation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出DES-MoE框架,通过自适应路由器蒸馏、实时专家-领域关联映射和三阶段自适应微调,实现多领域MoE适配中的动态专家特化,在六个领域上显著减少灾难性遗忘并加快收敛。
2025-09-21 cs.AI cs.CL cs.LG
Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学);Dept. of Mathematics and Khoury College of Computer Sciences(数学系与Khoury计算机科学学院)
已知过参数化允许神经网络中的强泛化性能。在这项工作中,我们提供了一个初步的理论分析,它的影响灾难性遗忘在持续学习设置。我们的实验表明,在置换MNIST图像分类任务,香草随机梯度下降训练的多层感知器的泛化性能可以提高过参数化,和过参数化实现的性能提高的程度是最先进的持续学习算法。我们提供了一个理论上的解释,这种效果通过研究一个定性类似的两个任务的线性回归问题,其中每个任务是相关的随机正交变换。我们证明了,当一个模型在没有任何额外正则化的情况下按顺序在两个任务上训练时,如果模型被充分过度参数化,那么第一个任务的风险增益就很小。
2022-06-01 cs.AI cs.LG stat.ML
Overcoming catastrophic forgetting with hard attention to the task
Telefónica Research(西班牙电信研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universitat Pompeu Fabra(庞培法布拉大学)
当神经网络在对后续任务进行训练后丢失了在前一个任务中学习到的信息时,就会发生灾难性遗忘。这个问题仍然是具有顺序学习能力的人工智能系统的障碍。在本文中,我们提出了一个基于任务的硬注意力机制,保留以前的任务的信息,而不影响当前任务的学习。通过随机梯度下降,对每个任务同时学习硬注意力掩模,并且利用先前的掩模来调节这种学习。我们表明,所提出的机制是有效的,减少灾难性遗忘,削减电流率的45%至80%。我们还表明,它是强大的不同的超参数的选择,它提供了一些监测功能。该方法的特点是有可能控制的稳定性和紧凑性的学习知识,我们相信这使得它也有吸引力的在线学习或网络压缩应用。
2018-05-29 cs.AI cs.LG cs.NE