Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University(北卡罗来纳州立大学);Salesforce Research(赛富时研究院)
解决灾难性遗忘是持续学习的关键挑战之一,其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展,但深度神经网络(DNN)仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架,用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成:神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计,该方法不仅能够以直观有意义的方式进化神经结构,而且在实验中显示出较强的缓解灾难性遗忘的能力。此外,所提出的方法优于所有其他基线上的排列MNIST数据集,分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping
Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络中的灾难性遗忘是持续学习的一个重要问题。目前的大多数方法在训练期间重放先前的数据,这违反了理想的持续学习系统的约束。此外,目前处理遗忘的方法忽略了灾难性记忆的问题,即区分来自不同任务的数据的能力越来越差。在我们的工作中,我们介绍了相关映射网络(RMN)的启发,最佳重叠假设。映射通过将大权重分配给基本参数来反映当前任务的权重的相关性。我们发现,RMNs学习一个优化的表示重叠,克服了灾难性遗忘和记忆的孪生问题。我们的方法在所有常见的持续学习数据集上实现了最先进的性能,甚至显著优于数据重放方法,同时不违反理想的持续学习系统的约束。此外,RMN保留了以无监督的方式从新任务中检测数据的能力,从而证明了它们对灾难性记忆的弹性。
2021-02-22 cs.CV cs.LG
Catastrophic forgetting: still a problem for DNNs
Fulda University of Applied Sciences(富尔达应用科学大学)
我们研究了DNN在训练类增量视觉问题时的性能,这些问题包括初始训练,然后通过添加的视觉类进行再训练。灾难性遗忘(CF)的行为是衡量使用一个新的评估程序,旨在增量学习的应用为导向的观点。特别地,它强制必须单独对初始数据集执行模型选择,以及要求仅使用再训练数据集执行再训练控制,因为初始数据集通常太大而无法保留。实验进行类增量问题来自MNIST,使用各种不同的DNN模型,其中一些最近提出,以避免灾难性遗忘。当比较我们的新的评估程序,以前的方法来评估CF,我们发现他们的研究结果是完全否定的,没有测试的方法可以避免CF在所有的实验。这强调了现实的经验测量程序对灾难性遗忘的重要性,以及进一步研究DNN增量学习的必要性。
2019-05-20 cs.CV cs.LG
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology(麻省理工学院)
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验,发现更大模型未必能缓解灾难性遗忘,反而在在线适应新任务时表现更差,揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
深度学习模型的一个主要局限性是,它们在增量学习场景中面临灾难性遗忘。已经提出了几种方法来解决增量学习的问题。这些方法中的大多数基于知识蒸馏,并且没有充分利用由较旧的任务模型提供的信息,例如预测中的不确定性估计。预测不确定性提供了分布信息,可以应用于减轻深度学习框架中的灾难性遗忘。在建议的工作中,我们考虑贝叶斯公式来获得数据和模型的不确定性。我们还将自我注意力框架,以解决增量学习的问题。我们定义蒸馏损失的任意不确定性和自我注意。在拟议的工作中,我们调查这些损失的不同烧蚀分析。此外,我们能够在标准基准的准确性方面获得更好的结果。
2021-02-03 cs.CV cs.LG
ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
ZeroFlow
ZeroFlow 提出首个无梯度优化基准,证明仅靠前向传播即可缓解持续学习中的灾难性遗忘,并给出改进策略。
2025-06-06 cs.CV cs.LG
Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima
The Hong Kong Polytechnic University(香港理工大学)
本文考虑了增量式少样本学习,它要求模型在只提供少量样本的情况下不断识别新的类别。我们的研究表明,现有的方法严重遭受灾难性遗忘,一个众所周知的问题,在增量学习,这是加剧由于数据稀缺和不平衡的Few-Shot设置。我们的分析进一步表明,为了防止灾难性遗忘,需要在原始阶段采取行动--训练基类,而不是以后的少样本学习。因此,我们建议搜索基本训练目标函数的平坦局部最小值,然后在新任务的平坦区域内微调模型参数。通过这种方式,模型可以有效地学习新类,同时保留旧类。综合实验结果表明,我们的方法优于所有现有的国家的最先进的方法,是非常接近的近似上限。源代码可在https://github.com/moukamisama/F2M上获得。
2021-11-04 cs.CV cs.LG
Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics
Google(谷歌)
开发多功能机器学习系统的一个核心挑战是灾难性遗忘:在顺序任务上训练的模型将在早期任务上遭受显著的性能下降。尽管灾难性遗忘普遍存在,但人们对潜在过程及其原因的理解有限。在本文中,我们解决这个重要的知识差距,研究遗忘如何影响神经网络模型中的表示。通过表征分析技术,我们发现更深的层次是遗忘的不成比例的来源。支持这一点,一项关于减轻遗忘的方法的研究表明,它们可以稳定更深层的记忆。这些见解,使发展的分析参数和经验的图片有关的程度,遗忘任务之间的表征相似性。与此相一致的图片,我们观察到最大的遗忘发生在任务序列的中间相似性。我们进行了实证研究的标准分割CIFAR-10设置,也介绍了一种新的CIFAR-100为基础的任务近似现实的输入分布偏移。
2020-07-14 cs.CV cs.LG stat.ML
Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting
University of Otago(奥塔哥大学)
神经网络可以在各种各样的应用中取得优异的结果。然而,当他们试图顺序学习时,他们往往会学习新的任务,而灾难性地忘记以前的任务。我们提出了一个模型,克服了灾难性遗忘顺序强化学习的图像分类域和强化学习域的持续学习相结合的想法。该模型具有双重记忆系统,该系统将持续学习与强化学习分开,以及伪排练系统,该系统通过深度生成网络“回忆”代表先前任务的项目。我们的模型顺序学习雅达利2600游戏,而没有表现出灾难性遗忘,并继续在所有三个游戏上表现出高于人类的水平。实现这一结果无需:随着任务数量的增加,需要额外的存储要求,存储原始数据或重新访问过去的任务。相比之下,以前最先进的解决方案更容易忘记这些复杂的深度强化学习任务。
2020-12-16 cs.AI cs.CV cs.LG
EXACFS -- A CIL Method to mitigate Catastrophic Forgetting
Sri Sathya Sai Institute of Higher Learning(斯里·萨蒂亚·赛高等学习学院);Old Dominion University(奥多明尼昂大学)
本文提出EXACFS方法,通过损失梯度估计特征显著性并随任务老化,结合蒸馏损失在类增量学习中平衡稳定性与可塑性,有效缓解灾难性遗忘。
2025-03-03 cs.CV cs.LG
Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models
Pontifícia Universidade Católica do Paraná (PUCPR)(巴拉那天主教大学);École de Technologie Supérieure (ÉTS)(高等技术学院)
提出情感中心生成回放(ECgr)方法,结合GAN合成图像与质量保证算法,缓解CNN在面部表情识别中的灾难性遗忘,在四个数据集上验证了其提升训练效果并保留旧知识的能力。
2024-04-18 cs.CV cs.LG
Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning
The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Hong Kong Generative AI Research and Development Center(香港生成式人工智能研究与开发中心)
本文提出RaPO方法,通过轨迹级奖励塑造缓解强化微调在连续学习中的遗忘问题,实验证明其在视觉连续学习中有效减少灾难性遗忘。
2026-10-14 cs.CV cs.LG
GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting
East China Normal University(华东师范大学)
联邦学习(FL)已经成为一个事实上的机器学习领域,并受到了社会各界迅速增长的研究兴趣。然而,由于数据的异质性和部分参与所导致的灾难性遗忘对外语学习提出了独特的挑战,这对外语学习的性能是不利的。为了解决这些问题,我们提出了一种新的FL方法(即GradMA),它从持续学习的灵感,同时纠正服务器端和工人端的更新方向,以及充分利用服务器的丰富的计算和内存资源。此外,我们制定了一个内存减少策略,使GradMA,以适应FL与大规模的工人。然后,我们分析了GradMA的收敛性理论下的光滑非凸设置,并表明其收敛速度达到一个线性的速度w.r.t增加采样的活跃工人的数量。最后,我们在各种图像分类任务上的大量实验表明,与SOTA基线相比,GradMA在准确性和通信效率方面实现了显着的性能提升。
2023-03-15 cs.CV cs.LG
A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks
University of Southern California(南加州大学);FedML
本文提出一个联邦类增量学习框架,利用在服务器端通过无数据方法训练的生成模型合成旧分布样本,无需客户端存储旧数据或模型,有效缓解灾难性遗忘,并引入SuperImageNet基准,实验证明取得显著改进。
2023-11-21 cs.CV cs.LG
Explaining How Deep Neural Networks Forget by Deep Visualization
KAIST(韩国科学技术院);Asan Institute for Life Sciences(峨山生命科学研究所);Asan Medical Center(峨山医学中心)
解释深度神经网络(通常被认为是黑匣子)的行为至关重要,尤其是当它们现在被应用于人类生活的各个方面时。利用可解释机器学习(interpretable ML)的优势,提出了一种新的工具灾难性遗忘解析器(CFD),用于解释持续学习环境下的灾难性遗忘。我们还介绍了一种新的方法,称为临界冻结的基础上,我们的工具的观察。ResNet上的实验阐明了灾难性遗忘是如何发生的,特别是显示了这个著名网络的哪些组成部分正在遗忘。我们的新的持续学习算法击败了各种最近的技术的显着保证金,证明了调查的能力。临界冻结不仅攻击了灾难性遗忘,而且还暴露了可解释性。
2022-07-22 cs.CV cs.LG
Make Domain Shift a Catastrophic Forgetting Alleviator in Class-Incremental Learning
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文发现领域偏移能降低类增量学习中的遗忘率,据此提出基于轻量级原型池和对比学习的DisCo方法,通过分离任务间特征分布、减少参数干扰,显著提升多种现有CIL方法的性能。
2024-12-31 cs.CV cs.LG
Measuring Catastrophic Forgetting in Neural Networks
Chester F. Carlson Center for Imaging Science(切斯特·F·卡尔森成像科学中心);Rochester Institute of Technology(罗切斯特理工学院)
深度神经网络用于许多最先进的机器感知系统。一旦网络被训练来完成特定任务,例如,鸟类分类,它不能很容易地被训练做新的任务,例如,逐步学习识别其他鸟类或学习完全不同的任务,如花朵识别。当添加新任务时,典型的深度神经网络容易灾难性地忘记以前的任务。能够逐渐吸收新信息的网络,就像人类如何随着时间的推移形成新记忆一样,将比每次需要学习新任务时从头开始重新训练模型更有效。已经有多次尝试来开发减轻灾难性遗忘的方案,但是这些方法没有被直接比较,用于评估它们的测试变化很大,并且这些方法仅在小规模问题上进行了评估(例如,MNIST)。在本文中,我们引入了新的度量和基准,用于直接比较旨在减轻神经网络中灾难性遗忘的五种不同机制:正则化,集成,排练,双记忆和稀疏编码。我们在真实世界的图像和声音上的实验表明,对最佳性能至关重要的机制因增量训练范式和所使用的数据类型而异,但它们都表明灾难性遗忘问题尚未得到解决。
2017-11-09 cs.AI cs.CV cs.LG
Dynamic memory to alleviate catastrophic forgetting in continuous learning settings
Medical University of Vienna(维也纳医科大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
在医学成像中,技术进步或诊断程序的变化导致图像外观的连续变化。扫描仪制造商、重建内核、剂量、其他协议特定设置或造影剂的管理是独立于扫描生物学影响图像内容的示例。这种领域和任务转移通过使模型随着时间的推移而过时,限制了机器学习算法在临床常规中的适用性。在这里,我们解决的问题,在连续学习的情况下,通过调整模型,以看不见的变化,在源域,同时抵消灾难性遗忘的影响。我们的方法使用一个动态的记忆,以促进排练的不同训练数据子集,以减轻遗忘。我们评估了我们的方法在两种不同的扫描仪协议和合成分类任务获得的常规临床CT数据。实验表明,动态记忆计数器灾难性遗忘在设置与多个数据移位,而不需要明确的知识,当这些移位发生。
2020-07-07 cs.CV cs.LG stat.ML
REMIND Your Neural Network to Prevent Catastrophic Forgetting
Rochester Institute of Technology(罗切斯特理工学院);Adobe Research(Adobe研究院);Paige;Cornell Tech(康奈尔科技校区)
人们一生都在学习。然而,增量更新传统的神经网络会导致灾难性遗忘。一种常见的补救方法是重放,这是受到大脑如何巩固记忆的启发。重播涉及在新旧实例的混合上微调网络。虽然有神经科学证据表明大脑会重放压缩的记忆,但卷积网络的现有方法会重放原始图像。在这里,我们提出了REMIND,这是一种受大脑启发的方法,可以使用压缩表示进行高效重放。REMIND是以在线方式训练的,这意味着它一次学习一个例子,这更接近人类的学习方式。在相同的约束条件下,REMIND在ImageNet ILSVRC-2012数据集上的增量类学习性能优于其他方法。我们探测REMIND的鲁棒性的数据排序方案已知会导致灾难性遗忘。我们展示了REMIND的通用性,开创性的在线学习的视觉问答(VQA)。
2020-07-13 cs.CV cs.LG cs.NE
Gradient Correlation Subspace Learning against Catastrophic Forgetting
Reichman University(赖希曼大学)
本文提出GCSL方法,通过寻找受旧任务影响最小的权重子空间并投影新任务训练权重,以缓解增量类别学习中的灾难性遗忘。
2024-03-04 cs.AI cs.CV cs.LG
Quantified Task Misalignment to Inform PEFT: An Exploration of Domain Generalization and Catastrophic Forgetting in CLIP
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文分析了 CLIP 模型中任务难度与参数高效微调方法性能的关系,发现零样本嵌入的轮廓系数是更好的难度指标,并提出 A-CLIP 方法在领域泛化与灾难性遗忘间取得平衡。
2024-02-14 cs.CV
Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
众所周知,使用深度神经网络进行终身学习会遭受灾难性遗忘:当学习新任务时,先前任务的性能会急剧下降。为了减轻这种影响,我们建议利用大量的未标记的数据流很容易在野外获得。特别是,我们设计了一个新的类增量学习方案(a)一个新的蒸馏损失,称为全局蒸馏,(b)一个学习策略,以避免过拟合到最近的任务,和(c)一个基于置信度的采样方法,以有效地利用未标记的外部数据。我们在包括CIFAR和ImageNet在内的各种数据集上的实验结果证明了所提出的方法优于现有方法,特别是当可访问未标记数据流时:与最先进的方法相比,我们的方法显示出高达15.8%的准确率和46.5%的遗忘率。该代码可在https://github.com/kibok90/iccv2019-inc上获得。
2019-10-26 cs.CV cs.LG stat.ML
Wide Neural Networks Forget Less Catastrophically
Washington State University(华盛顿州立大学);DeepMind(深度思维)
持续学习研究的一个主要焦点领域是通过设计对分布偏移更鲁棒的新算法来减轻神经网络中的“灾难性遗忘“问题。虽然最近在持续学习文献方面的进展令人鼓舞,但我们对神经网络的哪些属性导致灾难性遗忘的理解仍然有限。为了解决这个问题,而不是专注于持续学习算法,在这项工作中,我们专注于模型本身,研究神经网络架构的“宽度”对灾难性遗忘的影响,并表明宽度对遗忘有着惊人的显著影响。为了解释这种效应,我们从各种角度研究了网络的学习动态,例如梯度正交性,稀疏性和懒惰训练机制。我们提供了潜在的解释,是一致的经验结果,在不同的架构和持续学习基准。
2022-07-14 cs.AI cs.CV cs.LG
Causes of Catastrophic Forgetting in Class-Incremental Semantic Segmentation
Porsche Engineering Group GmbH(保时捷工程集团有限公司);Fraunhofer Institute of Optronics, Systems Technologies and Image Exploitation IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所IOSB);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
类增量学习的语义分割(Class-incremental learning for semantic segmentation,CiSS)是目前一个高度研究的领域,其目的是通过顺序地学习新的语义类来更新语义分割模型。CiSS中的一个主要挑战是克服灾难性遗忘的影响,它描述了在一组新的类上训练模型后,先前学习的类的准确性突然下降。尽管在减轻灾难性遗忘方面取得了最新进展,但人们对CiSS中遗忘的根本原因还没有很好的理解。因此,在一组实验和代表性的分析,我们表明,背景类的语义转移和对新类的偏见是遗忘的主要原因在CiSS。此外,我们发现这两个原因主要表现在网络的更深分类层,而模型的早期层不受影响。最后,我们展示了如何有效地减轻这两个原因,利用背景中包含的信息,与知识蒸馏和无偏交叉熵损失的帮助。
2022-09-16 cs.CV
Overcoming Catastrophic Forgetting by Neuron-level Plasticity Control
Deep Bio Inc.(迪普生物公司);Handong Global University(韩东国际大学)
为了解决神经网络中的灾难性遗忘问题,我们提出了一种新颖、简单、有效的解决方案,称为神经元级可塑性控制(NPC)。在学习新任务时,该方法通过在神经元水平上控制网络的可塑性来保留先前任务的知识。NPC估计每个神经元的重要性值,并通过应用较低的学习率来巩固重要的\textit{neurons},而不是将各个连接权重限制为接近某些值。增量MNIST(iMNIST)和增量CIFAR100(iCIFAR100)数据集上的实验结果表明,神经元级的巩固是更有效的连接级的巩固方法相比。
2019-07-31 cs.CV
Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe(四维图新欧洲)
由于对先前学习的任务的灾难性遗忘,深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中,并将它们与当前任务样本交错,已被证明是最有效的减轻遗忘的方法。然而,经验重放(ER)没有表现出良好的低缓冲区制度和较长的任务序列,因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息,因为软目标捕获数据的丰富相似性结构。因此,我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务,从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时,正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化,我们发现,更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
Rotate your Networks: Better Weight Consolidation and Less Catastrophic Forgetting
Computer Vision Center, UAB(UAB计算机视觉中心);MICC, University of Florence(佛罗伦萨大学MICC)
在本文中,我们提出了一种方法,以避免灾难性遗忘在顺序任务学习的情况下。我们的技术是基于网络重新参数化,近似对角化的网络参数的Fisher信息矩阵。这种重新参数化采用参数空间的因子化旋转的形式,当与弹性权重合并(假设对角Fisher信息矩阵)结合使用时,会显著提高连续任务终身学习的性能。在MNIST、CIFAR-100、CUB-200和Stanford-40数据集上的实验结果表明,我们显著改善了标准弹性权重合并的结果,并且与终身学习中的其他最先进的方法相比,我们获得了具有竞争力的结果。
2018-12-12 cs.CV
Toward Understanding Catastrophic Forgetting in Continual Learning
Amazon Web Services(亚马逊云科技);Facebook Inc.(脸书公司)
研究了灾难性遗忘与任务序列性质的关系。特别是,给定一个任务序列,我们希望了解该序列的哪些属性会影响在该序列上训练的持续学习算法的出错率。为此,我们提出了一个新的程序,利用任务空间建模以及相关性分析的最新发展,指定和分析我们感兴趣的属性。作为一个应用,我们应用我们的程序来研究任务序列的两个性质:(1)总复杂性和(2)序列异质性。我们发现,出错率是强烈的,正相关的任务序列的总复杂性的一些国家的最先进的算法。我们还发现,令人惊讶的是,出错率没有,甚至在某些情况下,顺序异质性的负相关性。我们的研究结果提出了改进持续学习基准和方法的方向。
2019-08-02 cs.CV cs.LG stat.ML
Incremental Concept Formation over Visual Images Without Catastrophic Forgetting
Drexel University(德雷塞尔大学);Georgia Institute of Technology(佐治亚理工学院)
针对深度神经网络在顺序学习中的灾难性遗忘问题,提出基于类人学习系统Cobweb的Cobweb4V视觉分类方法,以更少数据实现稳定且无遗忘的增量概念学习。
2024-09-19 cs.AI cs.CV cs.IR
Demystifying Catastrophic Forgetting in Two-Stage Incremental Object Detector
Xidian University(西安电子科技大学);Huawei Technologies Ltd.(华为技术有限公司)
本文剖析两阶段增量目标检测器发现灾难性遗忘主要局限于RoI Head分类器,据此提出NSGP-RePRE框架,结合区域原型回放与零空间梯度投影,在Pascal VOC和MS COCO数据集上达到最优性能。
2025-05-29 cs.CV
Revisiting Catastrophic Forgetting in Class Incremental Learning
Zhejiang University(浙江大学);Huawei Cloud(华为云)
灾难性遗忘的概念虽然简单明了,但对其产生的原因却缺乏研究。本文系统地探讨和揭示了班级增量学习中灾难性遗忘产生的三个原因。从表示学习的角度来看,(i)当学习者在训练过程中未能正确对齐相同相位的数据时,会发生相位内遗忘;(ii)当学习者将当前相位数据与前一相位混淆时,会发生相位间混淆。从特定任务的角度来看,CIL模型遭受的问题(iii)分类偏差。在调查现有的策略,我们观察到,有一个缺乏研究如何防止相间混淆。为了启动对这一特定问题的研究,我们提出了一个简单而有效的框架,CIL(C4IL)的对比类浓度。我们的框架利用了对比学习的类集中效应,产生了具有更好的类内紧凑性和类间可分性的表示分布。根据经验,我们观察到C4IL显著降低了相位间混淆的概率,从而提高了多个数据集的多个CIL设置的性能。
2021-11-22 cs.CV
Tackling Catastrophic Forgetting and Background Shift in Continual Semantic Segmentation
Sorbonne Université(索邦大学);Heuritech(Heuritech公司);Datakalab(Datakalab公司)
深度学习方法如今被广泛用于解决计算机视觉任务,例如语义分割,需要大型数据集和大量计算能力。用于语义分割(CSS)的持续学习是一种新兴趋势,其包括通过顺序地添加新类来更新旧模型。然而,持续学习方法通常容易发生灾难性遗忘。这个问题在CSS中进一步恶化,在每一步中,来自先前迭代的旧类都被折叠到后台。在本文中,我们提出了本地POD,一个多尺度池蒸馏计划,保留长,短距离的空间关系,在功能级别。此外,我们设计了一个基于熵的伪标记的背景w.r.t.由旧模型预测的类,以处理背景偏移并避免旧类的灾难性遗忘。最后,我们介绍了一种新的排练方法,特别适合于分割。我们的方法,称为PLOP,在现有的CSS场景中,以及在新提出的具有挑战性的基准测试中,显着优于最先进的方法。
2021-06-29 cs.CV
Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
持续学习的目标是在不遭受灾难性遗忘现象的情况下学习一系列任务。以前的工作表明,以重放缓冲区的形式利用内存可以减少先前任务的性能下降。我们假设,当模型被鼓励记住之前做出的决定的\textit{evidence}时,遗忘可以进一步减少。作为探索这一假设的第一步,我们提出了一种简单的新训练范式,称为“记住正确的原因”(RRR),它还将每个示例的视觉模型解释存储在缓冲区中,并通过鼓励其解释与训练时用于决策的解释保持一致来确保模型具有“正确的原因”。如果没有这个约束,在传统的持续学习算法学习新任务时,解释会发生漂移,遗忘会增加。我们演示了如何将RRR轻松添加到任何基于记忆或正则化的方法中,并减少遗忘,更重要的是,改进模型解释。我们在标准和Few-Shot设置中评估了我们的方法,并观察到使用不同架构和技术来生成模型解释的各种CL方法的一致改进,并展示了我们的方法,该方法显示了可解释性和持续学习之间有希望的联系。我们的代码可在\url{https://github.com/SaynaEbrahimi/Remembering-for-the-Right-Reasons}上找到。
2021-05-03 cs.AI cs.CV cs.LG
Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning
Department of Computer Science and Artificial Intelligence(计算机科学与人工智能系);Dongguk University(东国大学);Seoul 04620, Republic of Korea(韩国首尔04620)
本文提出用Kolmogorov-Arnold网络替换视觉Transformer中的多层感知机,通过样条激活的局部可塑性缓解持续学习中的灾难性遗忘,并在MNIST和CIFAR100上验证其优于传统MLP方法。
2025-07-05 cs.CV
Overcoming Catastrophic Forgetting in Incremental Object Detection via Elastic Response Distillation
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
传统的对象检测器不适合增量学习。然而,直接在一个只包含新数据的经过良好训练的检测模型上进行微调将导致灾难性遗忘。知识蒸馏是缓解灾难性遗忘的一种灵活方法。在增量式目标检测(IOD)中,以往的工作主要集中在提取特征和响应的组合。然而,他们对答案中包含的信息探索不足。在本文中,我们提出了一种基于响应的增量蒸馏方法,称为弹性响应蒸馏(ERD),其重点是弹性学习分类头和回归头的响应。首先,我们的方法转移类别知识,同时为学生检测器提供在增量学习过程中保留定位信息的能力。此外,我们进一步评估所有位置的质量,并通过弹性响应选择(ERS)策略提供有价值的响应。最后,我们阐明了在增量蒸馏过程中,来自不同响应的知识应该被赋予不同的重要性。在MS COCO上进行的大量实验表明,我们的方法达到了最先进的结果,大大缩小了与完全训练的性能差距。
2022-04-05 cs.CV
Adversarial Feature Alignment: Avoid Catastrophic Forgetting in Incremental Task Lifelong Learning
Tsinghua University(清华大学)
人类通过不断的学习,能够掌握各种知识和技能。相比之下,当新的任务被添加到现有的神经网络模型时,观察到显着的性能下降。这种现象被称为\emph{Catastrophic Forgetting},是阻止深度神经网络实现人类水平的人工智能的主要障碍之一。已经提出了几种研究成果,例如\emph{Lifelong}或\emph{Continual}学习算法来解决这个问题。然而,他们要么遭受的累积下降的性能,随着任务序列的增长更长,或需要存储过量的模型参数的历史记忆,或不能获得有竞争力的性能上的新任务。在本文中,我们专注于增量多任务图像分类的情况下。受人类学生学习过程的启发,他们通常将复杂的任务分解为更容易的目标,我们提出了一种对抗性特征对齐方法,以避免灾难性遗忘。在我们的设计中,低级视觉特征和高级语义特征都作为软目标,在多个阶段指导训练过程,这为旧任务提供了足够的监督信息,有助于减少遗忘。由于知识蒸馏和正则化现象,所提出的方法获得了更好的性能比微调的新任务,这使得它从其他方法中脱颖而出。在几个典型的终身学习场景中进行的大量实验表明,我们的方法在新任务的准确性和旧任务的性能保持方面都优于最先进的方法。
2019-10-24 cs.CV cs.LG stat.ML
I3DOL: Incremental 3D Object Learning without Catastrophic Forgetting
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造研究院);University of Chinese Academy of Sciences(中国科学院大学);Northeastern University(东北大学)
三维物体分类在学术研究和工业应用中引起了广泛的关注。然而,大多数现有的方法需要访问过去的3D对象类的训练数据时,面对常见的现实世界的场景:新的类的3D对象到达序列。此外,对于过去学习的类(即,灾难性遗忘),这是由于3D点云数据的不规则和冗余的几何结构。为了解决这些挑战,我们提出了一种新的增量3D对象学习(即,I3DOL)模型,这是第一次探索不断学习新的类的三维对象。具体地说,自适应几何质心模块的设计,以建立有区别的局部几何结构,它可以更好地描述不规则点云表示的三维物体。然后,为了防止冗余几何信息带来的灾难性遗忘,提出了一种几何感知的注意力机制,量化局部几何结构的贡献,并探索具有高贡献的独特三维几何特征,用于类增量学习.同时,提出了一种分数公平性补偿策略,通过在验证阶段对新类别进行有偏预测补偿,进一步缓解由于3D对象的过去类别和新类别之间的数据不平衡而导致的灾难性遗忘.在3D典型数据集上的实验验证了I3DOL框架的优越性。
2020-12-16 cs.CV
Multimodal Task Representation Memory Bank vs. Catastrophic Forgetting in Anomaly Detection
针对无监督连续异常检测中多任务表示不完整和灾难性遗忘问题,提出含KPMK机制与RSCL的MTRMB方法,在MVtec AD和VisA数据集上以最低遗忘率获0.921平均检测精度,显著优于现有方法。
2025-02-10 cs.CV
CoDG-Net: Structure-Guided Style Diffusion and Collaborative Learning to Mitigate Catastrophic Forgetting in Medical Image Domain Generalization
Central South University(中南大学);Fudan University(复旦大学)
针对医学图像分割域泛化中模型牺牲源域知识导致灾难性遗忘的问题,提出结构引导风格扩散增强和双分支协作学习网络CoDG-Net,在多个基准上超越现有方法并降低遗忘率。
2026-10-06 cs.CV
Continual Learning and Catastrophic Forgetting
Department of Electrical Engineering KU Leuven, Belgium(卢森堡鲁文大学电气工程系);Department of Electrical and Computer Engineering University of Texas at San Antonio, USA(德克萨斯大学圣安东尼奥分校电气与计算机工程系)
本书章节探讨持续学习从非平稳数据流增量学习的挑战,重点分析灾难性遗忘现象,并回顾该领域近十年的研究见解。
2024-03-08 cs.AI cs.CV cs.LG
Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation
Meijo University(名城大学)
针对持续学习中的灾难性遗忘及重放方法的泛化性问题,提出基于浅层输出作教师的自蒸馏方法与易误分类样本优先存储的内存更新策略,在多个数据集上性能优于传统方法。
2024-09-17 cs.CV
Parameter Efficient Fine-tuning of Self-supervised ViTs without Catastrophic Forgetting
University of Colorado, Boulder(科罗拉多大学博尔德分校);INRIA, Paris(法国国家信息与自动化研究所巴黎分部);University of California, Riverside(加州大学河滨分校)
本文针对视觉Transformer微调中的灾难性遗忘问题,提出块扩展和LoRA两种参数高效微调策略,在保持预训练知识的同时提升新领域性能并显著降低参数量。
2024-07-05 cs.CV
Pathological Prior-Guided Multiple Instance Learning For Mitigating Catastrophic Forgetting in Breast Cancer Whole Slide Image Classification
Renmin Hospital of Wuhan University(武汉大学人民医院);EPITA Research Laboratory(EPITA研究实验室)
提出PaGMIL框架,利用微观和宏观病理先验增强多实例学习,通过选择代表性斑块和提示引导分类头,缓解乳腺癌全切片图像分类中的灾难性遗忘,并在多个公开数据集上优于现有持续学习方法。
2025-03-25 cs.CV
MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning
University of Electronic Science and Technology of China(电子科技大学)
本文提出 MCF-VC 方法,通过细粒度敏感性选择与两阶段知识蒸馏缓解多模态视频字幕生成中的类增量灾难性遗忘,并在 MSR-VTT 上验证其有效性。
2024-02-27 cs.CV
SMoLoRA: Exploring and Defying Dual Catastrophic Forgetting in Continual Visual Instruction Tuning
Hefei University of Technology(合肥工业大学);Tsinghua University(清华大学);Academy of Cyber(网络学院)
针对连续视觉指令微调中视觉理解与指令遵循双重灾难性遗忘问题,提出SMoLoRA框架,通过双路由模块实现领域专用适应,并构建新基准,有效缓解遗忘并提升泛化与鲁棒性。
2025-07-01 cs.AI cs.CV