Consistency is the key to further mitigating catastrophic forgetting in continual learning
NavInfo Europe(四维图新欧洲)
由于对先前学习的任务的灾难性遗忘,深度神经网络难以持续学习多个顺序任务。基于排练的方法显式地将先前的任务样本存储在缓冲区中,并将它们与当前任务样本交错,已被证明是最有效的减轻遗忘的方法。然而,经验重放(ER)没有表现出良好的低缓冲区制度和较长的任务序列,因为它的性能是相称的缓冲区大小。软目标预测的一致性可以帮助ER更好地保留与先前任务有关的信息,因为软目标捕获数据的丰富相似性结构。因此,我们研究了在各种持续学习场景下一致性正则化在ER框架中的作用。我们还建议将一致性正则化作为一个自监督的借口任务,从而使各种各样的自监督学习方法作为正则化。在同时增强模型校准和对自然破坏的鲁棒性的同时,正则化预测的一致性导致在所有持续学习场景中更少的遗忘。在不同的家庭的正则化,我们发现,更严格的一致性约束保持以前的任务信息ER更好。
2022-07-11 cs.AI cs.CV cs.LG
How to Teach Large Multimodal Models New Skills
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
本文研究了如何在不丧失原有能力的前提下通过序列微调向大型多模态模型传授新技能,提出两种有效的微调方法以平衡学习与遗忘。
2026-10-23 cs.AI cs.CV cs.LG
Measuring Catastrophic Forgetting in Neural Networks
Chester F. Carlson Center for Imaging Science(切斯特·F·卡尔森成像科学中心);Rochester Institute of Technology(罗切斯特理工学院)
深度神经网络用于许多最先进的机器感知系统。一旦网络被训练来完成特定任务,例如,鸟类分类,它不能很容易地被训练做新的任务,例如,逐步学习识别其他鸟类或学习完全不同的任务,如花朵识别。当添加新任务时,典型的深度神经网络容易灾难性地忘记以前的任务。能够逐渐吸收新信息的网络,就像人类如何随着时间的推移形成新记忆一样,将比每次需要学习新任务时从头开始重新训练模型更有效。已经有多次尝试来开发减轻灾难性遗忘的方案,但是这些方法没有被直接比较,用于评估它们的测试变化很大,并且这些方法仅在小规模问题上进行了评估(例如,MNIST)。在本文中,我们引入了新的度量和基准,用于直接比较旨在减轻神经网络中灾难性遗忘的五种不同机制:正则化,集成,排练,双记忆和稀疏编码。我们在真实世界的图像和声音上的实验表明,对最佳性能至关重要的机制因增量训练范式和所使用的数据类型而异,但它们都表明灾难性遗忘问题尚未得到解决。
2017-11-09 cs.AI cs.CV cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales(泰雷兹)
人类一生都在学习。他们从一系列的学习经验中积累知识,记住基本概念,而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案,如分类或回归。特别是,如果他们接受新的培训,他们会忘记过去的学习经验。因此,人工神经网络往往不适合处理现实生活中的设置,如一个笨拙的机器人,必须在线学习,以适应新的情况,克服新的问题,而不会忘记它过去的学习经验。持续学习(CL)是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识,而不会忘记。在这篇论文中,我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本,以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷,从而使学习不会忘记任务设置的顺序。我们表明,他们是非常有前途的方法,持续学习。值得注意的是,它们能够用新知识重新评估过去的数据,并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting
KU Leuven(鲁汶大学)
该研究针对持续学习中表征层遗忘程度的争议,通过实验证实特征遗忘相对任务学习量同样具灾难性,且会减缓知识积累,并探究了不同持续学习方法对二者的影响。
2024-06-24 cs.CV cs.LG
Mitigating Forgetting in Continual Learning with Selective Gradient Projection
Algoverse AI Research(Algoverse AI 研究)
本文提出SFAO方法,通过余弦相似度和分层门控调节梯度方向,实现受控遗忘并平衡可塑性与稳定性,实验显示其在持续学习基准上表现优异,内存成本降低90%。
2026-02-08 cs.LG math.OC
From Order to Distribution: An Exact Operator Framework for Forgetting in Continual Learning
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
本文研究持续学习中遗忘现象,通过分析任务分布的谱结构,推导遗忘量的精确算子恒等式,并建立无条件上界,揭示遗忘率与任务分布几何性质的关系。
2026-10-02 cs.AI cs.LG
Catastrophic Forgetting Mitigation Through Plateau Phase Activity Profiling
Department of Computer Science(计算机科学系);Bar-Ilan University(巴伊兰大学);Faculty of Engineering(工程学院)
针对深度神经网络中的灾难性遗忘问题,提出通过分析最终训练平台期的参数活动度来识别重要参数,在保留旧知识的同时适应新任务,实验证明该方法能有效平衡遗忘缓解与新任务性能。
2025-07-11 cs.AI cs.LG
Predicting the Susceptibility of Examples to Catastrophic Forgetting
本文发现学习速度快的样本更不易被遗忘,据此提出基于学习速度的回放采样策略SBS,可广泛提升持续学习基准上的性能。
2025-07-03 cs.LG
Bayesian Inference Forgetting
University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
被遗忘的权利在许多国家已经立法,但在机器学习中的执行将导致无法承受的成本:由于单个请求,公司可能需要删除从大量资源中学习的整个模型。现有的工作建议通过其影响函数,这不再是自然定义的贝叶斯推理从所请求的数据中删除的知识。提出了一种{ \it贝叶斯推理遗忘}(BIF)框架,实现贝叶斯推理中的被遗忘权。在BIF框架中,我们开发了变分推理和马尔可夫链蒙特卡罗的遗忘算法。我们表明,我们的算法可以证明消除单一数据的学习模型的影响。理论分析表明,我们的算法有保证的推广性。在合成数据集上的高斯混合模型和在真实数据集上的贝叶斯神经网络实验验证了该方法的可行性。源代码包可从\url{https://github.com/fshp971/BIF}获得。
2021-02-18 cs.AI cs.LG stat.ML
CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning
Iowa State University(爱荷华州立大学);Maro Systems(Maro系统);University of California, Berkeley(加州大学伯克利分校);AMD
CRAFT通过在隐藏表示上学习低秩干预,避免更新模型权重,通过输出分布分歧路由任务、KL散度正则化和合并干预,减少遗忘并提升性能。
2026-10-16 cs.AI cs.LG
Overcoming catastrophic forgetting with hard attention to the task
Telefónica Research(西班牙电信研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universitat Pompeu Fabra(庞培法布拉大学)
当神经网络在对后续任务进行训练后丢失了在前一个任务中学习到的信息时,就会发生灾难性遗忘。这个问题仍然是具有顺序学习能力的人工智能系统的障碍。在本文中,我们提出了一个基于任务的硬注意力机制,保留以前的任务的信息,而不影响当前任务的学习。通过随机梯度下降,对每个任务同时学习硬注意力掩模,并且利用先前的掩模来调节这种学习。我们表明,所提出的机制是有效的,减少灾难性遗忘,削减电流率的45%至80%。我们还表明,它是强大的不同的超参数的选择,它提供了一些监测功能。该方法的特点是有可能控制的稳定性和紧凑性的学习知识,我们相信这使得它也有吸引力的在线学习或网络压缩应用。
2018-05-29 cs.AI cs.LG cs.NE
SupportNet: solving catastrophic forgetting in class incremental learning with support data
KAUST(阿卜杜拉国王科技大学);CBRC(计算生物学研究中心);CEMSE(计算机、电气与数学科学及工程学院);IIAI(国际人工智能研究院);NICT(日本信息通信技术研究所);CAS(中国科学院);NIITA(国家信息技术与应用研究所);SUSTC(南方科技大学)
一个普通的、经过良好训练的深度学习模型通常不具备在不忘记先前学习的知识的情况下学习新知识的能力,这被称为灾难性遗忘。在这里,我们提出了一种新的方法,SupportNet,高效和有效地解决类增量学习场景中的灾难性遗忘问题。SupportNet结合了深度学习和支持向量机(SVM)的优势,其中SVM用于从旧数据中识别支持数据,这些数据与新数据一起被馈送到深度学习模型进行进一步训练,以便模型在学习新信息时能够回顾旧数据的本质信息。两个强大的合并正则化器被应用于稳定的学习表示,并确保学习模型的鲁棒性。我们通过对各种任务的综合实验来验证我们的方法,这些实验表明,SupportNet的性能大大优于最先进的增量学习方法,甚至达到了与在新旧数据上从头开始训练的深度学习模型相似的性能。我们的计划可在https://github.com/lykaust15/SupportNet访问
2018-12-28 cs.AI cs.LG cs.NE
Learning without Forgetting for Vision-Language Models
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学)
针对视觉语言模型(VLM)在类别增量学习(CIL)中存在的灾难性遗忘和多模态信息利用不足问题,提出PROOF方法,通过训练特定任务投影和融合模块,在九个基准数据集上实现了最先进性能。
2025-02-12 cs.CV cs.LG
Learning to Learn without Forgetting using Attention
Center for Applied Intelligent Systems Research (CAISR)(应用智能系统研究中心(CAISR));Halmstad University(哈尔姆斯塔德大学);Eindhoven University of Technology(埃因霍温理工大学)
针对机器学习持续学习中易遗忘旧知识的问题,提出用元学习训练基于Transformer、带注意力机制的优化器,在基准数据集上验证了其在前后向迁移上的有效性。
2024-08-14 cs.CV cs.LG
Gradient Episodic Memory with a Soft Constraint for Continual Learning
Shanghai University(上海大学)
持续学习中的灾难性遗忘是学习顺序任务的基于梯度的神经网络中常见的破坏性现象,它与人类终生学习和积累知识的遗忘有很大不同。灾难性遗忘是模型在学习新任务时,先前任务的性能大幅下降的致命缺点。为了缓解这个问题,模型应该具有学习新知识和保存已学习知识的能力。我们提出了一个平均梯度情景记忆(A-GEM)与软约束$ε\in [0, 1]$,这是一个学习新知识和保存学到的知识之间的平衡因素,我们的方法被称为梯度情景记忆与软约束$ε$($ε$ -E-GEM)。$ε$ -PDMATH-GEM在单个训练时期中的性能优于A-GEM和几个持续学习基准;此外,它具有最先进的计算和内存的平均准确性和效率,如A-GEM,并在保存学习知识的稳定性和学习新知识的可塑性之间提供更好的权衡。
2020-11-16 cs.AI cs.LG
Block Neural Network Avoids Catastrophic Forgetting When Learning Multiple Task
Laboratoire Psychologie de la Perception(感知心理学实验室);Université Paris Descartes(巴黎笛卡尔大学)
在目前的工作中,我们提出了一种深度前馈网络架构,可以根据顺序学习范式进行训练,其中顺序学习难度增加的任务,但避免了灾难性遗忘。当新任务和旧任务相关时,所提出的架构可以在新任务中重用在先前任务上学习的特征。与从头开始训练的网络相比,该架构需要更少的计算资源(神经元和连接)和更少的数据来学习新任务
2017-11-28 cs.LG cs.NE stat.ML
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点,但主要的问题仍然没有答案:灾难性遗忘的根本原因是什么?在这项工作中,我们的目标是回答这个问题,提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说,我们设计了一组经验评估,比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到,通过判别模型学习的表征比生成模型更容易发生灾难性遗忘,这为开发用于持续学习的生成模型的优势提供了新的视角。最后,我们的工作开辟了新的研究途径和可能性,采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Demystifying Language Model Forgetting with Low-rank Example Associations
University of Southern California(南加州大学)
本文通过低秩矩阵分析揭示语言模型微调时遗忘的机制,并提出基于矩阵补全的方法有效缓解遗忘问题。
2025-12-07 cs.CL cs.LG stat.ML
Continually Learned Pavlovian Signalling Without Forgetting for Human-in-the-Loop Robotic Control
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
本研究解决机器人在回路控制中巴甫洛夫信号学习遗忘问题,发现look-ahead状态表示能使现有方法在支持信号时不遗忘预测,为假肢预测反馈提供新见解。
2023-05-16 cs.AI cs.LG cs.RO
The Importance of Robust Features in Mitigating Catastrophic Forgetting
Rowan University(罗文大学);Moffitt Cancer Center(莫菲特癌症中心)
本文从持续学习视角研究鲁棒特征对缓解灾难性遗忘的作用,通过引入CL鲁棒数据集并训练四个基线模型,发现基于CL鲁棒特征训练的模型能显著减少对先前任务的遗忘。
2023-06-29 cs.CV cs.LG
Lifelong Learning from Event-based Data
University of Hamburg(汉堡大学);University of Malaya(马来亚大学)
终身学习是在动态环境中行动的人工智能体的长期目标,在动态环境中,智能体需要在不忘记先前学习的表示的情况下逐步积累知识。我们研究了从事件摄像机产生的数据中学习的方法,并比较了在增量学习的同时减轻遗忘的技术。我们提出了一个由特征提取和连续学习两部分组成的模型。此外,我们引入了一种基于习惯的方法来减轻遗忘。我们的实验结果表明,不同技术的组合可以帮助避免灾难性遗忘,同时从提取模块提供的特征增量学习。
2021-11-11 cs.AI cs.LG
Complementary Learning for Overcoming Catastrophic Forgetting Using Experience Replay
University of Pennsylvania(宾夕法尼亚大学);HRL Laboratories, LLC(HRL实验室有限责任公司)
尽管取得了巨大的成功,但深度网络无法在顺序多任务学习环境中有效地学习,因为它们在学习新任务后会忘记过去学习的任务。受互补学习系统理论的启发,我们通过学习一个生成模型来解决这一挑战,该模型通过一个有区别的嵌入空间将当前任务与过去学习的任务耦合起来。我们在嵌入中学习一个抽象层次的生成分布,它允许生成数据点来表示经验。我们从这个分布中采样,并利用经验重放来避免遗忘,同时将新知识积累到抽象分布中,以便将当前任务与过去的经验结合起来。我们从理论上和经验上证明,我们的框架在嵌入中学习了一个分布,该分布在所有任务中共享,从而解决了灾难性遗忘。
2019-05-31 cs.LG stat.ML
Forgetting by Pruning: Data Deletion in Join Cardinality Estimation
CEP是一种专为多表学习基数估计系统设计的遗忘框架,通过分布敏感性剪枝和领域剪枝有效减少数据删除带来的高估问题,提升效率并降低计算开销。
2025-11-25 cs.AI cs.DB cs.LG
Continual Learning with Scaled Gradient Projection
在神经网络中,持续学习会导致顺序任务之间的梯度干扰,导致在学习新任务时对旧任务的灾难性遗忘。在最近的方法中,通过存储旧任务的重要梯度空间并在新任务期间正交地更新模型来解决这个问题。然而,这种限制性的正交梯度更新妨碍了新任务的学习能力,导致次优性能。为了提高新的学习,同时最大限度地减少遗忘,在本文中,我们提出了一种缩放梯度投影(SGP)方法,其中我们将正交梯度投影与缩放梯度步骤沿着过去任务的重要梯度空间相结合。沿着这些空间的梯度缩放的程度取决于跨越它们的基的重要性。我们提出了一种有效的方法,计算和积累这些基地的重要性,使用奇异值分解的输入表示为每个任务。我们进行了广泛的实验,从连续图像分类到强化学习任务,并报告了比最先进的方法更好的性能和更少的训练开销。
2023-02-02 cs.AI cs.CV cs.LG
FG-OrIU: Towards Better Forgetting via Feature-Gradient Orthogonality for Incremental Unlearning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
FG-OrIU通过特征和梯度正交约束实现深度不可逆的增量遗忘,解决现有方法中残留信息可恢复的问题。
2026-01-20 cs.CV cs.LG
How catastrophic can catastrophic forgetting be in linear regression?
Technion(以色列理工学院);University of Texas(德克萨斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
为了更好地理解灾难性遗忘,我们研究了一个过参数化线性模型拟合具有不同输入分布的任务序列。我们分析了模型在后续任务上训练后忘记了早期任务的真实标签的程度,获得了精确的表达式和边界。我们建立了线性设置中的持续学习和其他两个研究领域之间的联系:交替投影和Kaczmarz方法。在特定的设置中,我们强调了遗忘和收敛到离线解决方案之间的差异,如在这些领域中所研究的。特别地,当d维中的T个任务循环地呈现k次迭代时,我们证明了遗忘的T^2 * min{1/sqrt(k),d/k}的上界。这与离线解决方案的收敛形成对比,根据现有的交替投影结果,离线解决方案的收敛可以任意慢。我们进一步表明,当任务以随机顺序呈现时,T^2因子可以被提升。
2022-05-25 cs.LG cs.NA math.NA
EXACFS -- A CIL Method to mitigate Catastrophic Forgetting
Sri Sathya Sai Institute of Higher Learning(斯里·萨蒂亚·赛高等学习学院);Old Dominion University(奥多明尼昂大学)
本文提出EXACFS方法,通过损失梯度估计特征显著性并随任务老化,结合蒸馏损失在类增量学习中平衡稳定性与可塑性,有效缓解灾难性遗忘。
2025-03-03 cs.CV cs.LG
Data-dependent and Oracle Bounds on Forgetting in Continual Learning
本文针对持续学习中的遗忘问题,为无样本回放方法提出数据依赖上界和吉布斯后验预言界,并据此设计算法,在多个持续学习问题上验证了界的紧致性与实用性。
2025-08-18 cs.LG
CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning
Purdue University(普渡大学)
CODE-CL利用conceptor矩阵表示将梯度投影到伪正交子空间,在缓解灾难性遗忘的同时促进前向知识迁移,并在持续学习基准上取得优于现有方法的性能。
2025-07-03 cs.AI cs.CV cs.LG
Continual Learning in Deep Neural Network by Using a Kalman Optimiser
University of Surrey(萨里大学);Adobe(奥多比)
在持续学习模型中,学习和适应新的分布或顺序地学习新的任务而不忘记先前学习的知识是一个具有挑战性的现象。大多数传统的深度学习模型不能在一个模型中顺序地学习新任务而不忘记先前学习的任务。我们通过使用卡尔曼优化器来解决这个问题。卡尔曼优化器将神经网络分为两部分:长期记忆单元和短期记忆单元。长期记忆单元用于记忆已学任务,短期记忆单元用于适应新任务。我们在MNIST,CIFAR10,CIFAR100数据集上评估了我们的方法,并将我们的结果与最先进的基线模型进行了比较。结果表明,我们的方法使模型能够不断学习和适应新的变化,而不会忘记以前学习的任务。
2019-05-24 cs.LG stat.ML
Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning
Concordia University(康考迪亚大学);Mila(米拉人工智能研究所);McGill University(麦吉尔大学)
本文针对联邦学习中客户端数据异质性导致的灾难性遗忘问题,提出通过逐客户端重新加权softmax logits来修改交叉熵目标,保护客户端标签集之外的类别表征,实验表明该方法能有效缓解遗忘并提升标准联邦学习算法性能。
2023-04-11 cs.AI cs.LG
Adversarial Continual Learning
Facebook AI Research(Facebook 人工智能研究院);UC Berkeley EECS(加州大学伯克利分校电气工程与计算机科学系)
持续学习的目的是学习新的任务而不忘记以前学过的。我们假设,在序列中学习解决每个任务的表示具有共享的结构,同时包含一些特定于任务的属性。我们发现,共享的功能是显着不太容易忘记,并提出了一种新的混合持续学习框架,学习不相交的表示任务不变和任务特定的功能,需要解决一系列的任务。我们的模型结合了架构增长,以防止忘记特定于任务的技能和经验重放的方法,以保持共享的技能。我们证明了我们的混合方法是有效的,在避免遗忘,并显示它是优于基于架构和基于内存的方法类增量学习的一个单一的数据集,以及一系列的多个数据集在图像分类。我们的代码可在\url{https://github.com/facebookresearch/Adversarial-Continual-Learning}上获得。
2020-07-21 cs.AI cs.CV cs.LG
Avoid Forgetting by Preserving Global Knowledge Gradients in Federated Learning with Non-IID Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Arizona State University(亚利桑那州立大学);University of California San Diego(加州大学圣地亚哥分校);Purdue University(普渡大学);University of Maryland College Park(马里兰大学学院市分校)
本文针对联邦学习中非独立同分布数据导致客户端遗忘全局决策边界的问题,提出 FedProj 框架,通过服务器端集成知识迁移损失和基于公共无标签数据集平均集成 logits 的情景记忆调节局部梯度更新,实验表明其性能大幅超越现有方法。
2025-06-30 cs.AI cs.CV cs.DC
Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion
Tencent Inc(腾讯公司);Westlake University(西湖大学);Guangdong University of Foreign Studies(广东外语外贸大学);Westlake Institute for Advanced Study(西湖高等研究院)
本文提出一种带有自适应分类准则的监督对比学习持续学习框架(SCCL),通过对比损失学习表示并保存少量样本作为分类准则,结合关系蒸馏与记忆回放缓解灾难性遗忘,实现了优于基线的最先进性能。
2023-05-20 cs.LG
Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors
Sun Yat-sen University(中山大学);Key Laboratory of Machine Intelligence and Advanced Computing, MOE(机器智能与先进计算教育部重点实验室)
随着时间的推移对新知识的持续学习是智能系统识别越来越多类别的对象的一种期望能力。如果没有或只有非常有限的旧数据存储,智能系统在学习新知识时往往会灾难性地忘记以前学习过的旧知识。最近,已经提出了各种方法来缓解灾难性遗忘问题。然而,早期学到的旧知识通常比最近学到的知识保存得更少。为了减少遗忘,特别是早期学习的旧知识,提高整体持续学习性能,我们提出了一个简单而有效的融合机制,包括所有以前学习的特征提取到智能模型。此外,每次学习一组新的类时,将新的特征提取器包含到模型中,并且还应用特征提取器修剪以防止整个模型大小快速增长。在多分类任务上的实验表明,该方法能有效地减少旧知识的遗忘,达到最佳的持续学习性能。
2021-04-28 cs.CV cs.LG
Continual Neural Topic Model
RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道大学)
本文提出持续神经主题模型CoNTM,通过持续更新的全局先验分布实现在线学习新主题而不遗忘旧主题,实验表明其在主题质量、预测困惑度和捕捉时间变化方面优于动态主题模型。
2025-08-21 cs.LG
TRGP: Trust Region Gradient Projection for Continual Learning
School of ECEE, Arizona State University(亚利桑那州立大学ECEE学院)
灾难性遗忘是持续学习面临的主要挑战之一。为了解决这个问题,现有的一些方法对新任务的优化空间施加限制性约束,以最小化对旧任务的干扰。然而,这可能导致新任务的性能不令人满意,特别是当新任务与旧任务强相关时。为了解决这一问题,我们提出了信任域梯度投影(TRGP)的持续学习,以促进基于任务相关性的有效表征的前向知识转移。特别是,我们引入了“信赖域”的概念来选择最相关的旧任务的新任务在一个逐层和单镜头的方式,使用的范数梯度投影到子空间跨越任务输入。然后,提出了一种缩放的权重投影,巧妙地重用冻结的权重的信任区域中选定的旧任务通过逐层缩放矩阵。TRGP通过对尺度矩阵和模型进行联合优化,使模型沿着与旧任务子空间正交的方向进行更新,可以有效地促进知识转移而不会遗忘。大量的实验表明,我们的方法取得了显着的改善相关国家的最先进的方法。
2022-02-07 cs.LG
Drift anticipation with forgetting to improve evolving fuzzy system
Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国国家信息与自动化研究所雷恩分所)
处理非平稳的数据流需要分析系统随着时间的推移发展其模型(参数以及结构)。特别是,概念漂移可能发生,这使得有必要忘记已经过时的知识。然而,遗忘受到稳定性-可塑性困境,即增加遗忘提高适应新数据的反应性,同时降低系统的鲁棒性。基于一组推理规则的进化模糊系统(EFS)已被证明是解决数据流学习问题的有效方法。然而,解决稳定性和可塑性的矛盾仍然是一个悬而未决的问题。本文提出了一种连贯的方法来整合遗忘的进化模糊系统,最近引入的概念漂移预期的基础上。遗忘采用两种方法:指数遗忘的前提部分和延迟方向遗忘的EFS的结论部分,以保持两部分之间的一致性。该方法的独创性在于只在预期模块中应用遗忘,并保持EFS(称为主体系统)在没有任何遗忘的情况下学习。然后,当在流中检测到漂移时,提出了一种选择机制,以用预测模块的更合适的参数来替换主系统的过时参数。在基准在线数据集上对所提出的方法进行了评估,并与最先进的在线分类器(Learn++.NSE,PENDIX,pclass)以及使用不同遗忘策略的原始系统进行了比较。
2021-01-07 cs.AI cs.LG cs.NE
Essentials for Class Incremental Learning
University of Freiburg(弗赖堡大学)
当代神经网络从不断变化的训练数据流中学习的能力有限。当在新的或不断发展的任务上连续训练时,它们的准确性急剧下降,使它们不适合许多现实世界的应用。在这项工作中,我们揭示了这种众所周知但尚未解决的现象的原因-通常被称为灾难性遗忘-在类增量设置。我们表明,简单的组件和损失的组合,平衡任务内和任务间的学习已经可以解决遗忘到相同的程度,在文献中提出的更复杂的措施。此外,我们确定质量差的学习表示的另一个原因灾难性遗忘类IL。我们表明,性能与模型学习到的二级信息(暗知识)相关,并且可以通过适当的正则化器来改善。有了这些经验教训,CIFAR-100和ImageNet上的类增量学习结果在保持方法简单的同时,大大提高了最先进的水平。
2021-02-18 cs.CV cs.LG
RanPAC: Random Projections and Pre-trained Models for Continual Learning
Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
本文提出RanPAC方法,通过在预训练模型特征后注入冻结的随机投影层并结合去相关的类原型累积,在不更新参数、不使用回放记忆的情况下有效缓解持续学习中的灾难性遗忘,在多个类别增量基准上显著降低错误率。
2024-01-16 cs.CV cs.LG
Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance
Theory of Machine Learning Lab, EPFL(机器学习理论实验室,EPFL)
提出交替词元加权遗忘(ATWU)框架,通过联合学习词元遗忘特异性和模型参数,在无外部监督下实现最优的遗忘-保留权衡。
2026-06-04 cs.AI cs.CL cs.LG
Slowing Down Forgetting in Continual Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Munich Center for Machine Learning(慕尼黑机器学习中心);LMU Munich(慕尼黑大学)
本文提出名为ReCL的持续学习框架,利用基于梯度的神经网络的隐式偏置在间隔最大化点重建旧任务数据并与当前数据结合,有效减缓灾难性遗忘,在多种场景、数据集和架构上取得显著性能提升。
2025-03-03 cs.AI cs.CV cs.LG
Progressive Neural Networks
Google DeepMind(谷歌DeepMind)
学习解决复杂的任务序列-同时利用转移和避免灾难性遗忘-仍然是实现人类智能的关键障碍。渐进式网络方法代表了在这个方向上向前迈出的一步:它们不受遗忘的影响,并且可以通过与先前学习的特征的横向连接来利用先验知识。我们在各种各样的强化学习任务(Atari和3D迷宫游戏)上广泛评估了这种架构,并表明它优于基于预训练和微调的常见基线。使用一种新的敏感性措施,我们表明,转让发生在低级别的感官和高级别的控制层的学习政策。
2022-10-22 cs.LG
Reducing catastrophic forgetting with learning on synthetic data
Tooploox;Polish-Japanese Academy of Information Technology(波兰-日本信息技术学院)
灾难性遗忘是由于神经网络无法按顺序学习数据而引起的问题。在连续学习两个任务后,第一个任务的表现会显著下降。这是一个严重的缺点,阻止了许多深度学习应用于现实生活中的问题,其中并非所有对象类都是事先已知的;或者数据的变化需要调整模型。为了减少这个问题,我们调查使用的合成数据,即我们回答一个问题:是否有可能产生这样的数据合成顺序学习不会导致灾难性遗忘?我们提出了一种方法来生成这样的数据在两步优化过程中通过元梯度。我们在Split-MNIST数据集上的实验结果表明,在这样的合成数据上按顺序训练模型不会导致灾难性遗忘。我们还表明,我们生成数据的方法对不同的学习场景是鲁棒的。
2020-04-29 cs.LG stat.ML
Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Chinese Academy of Sciences(中国科学院);Tianjin University(天津大学)
反向传播网络特别容易受到灾难性遗忘的影响,其中网络在学习新技能时往往会忘记先前学习的技能。为了解决这种“敏感性-稳定性”的困境,大多数以前的努力都有助于最大限度地减少经验风险与不同的参数正则化项和情景记忆,但很少探索减肥景观的用途。本文研究了持续学习场景中的权重损失景观与敏感性-稳定性之间的关系,并在此基础上提出了一种新的动态梯度投影记忆平坦化方法(FlatteningSharpingforDynamicGradientProjection Memory,FS-DGPM)。特别是,我们引入了一个软权重来表示GPM中代表过去任务的每个基础的重要性,它可以在学习过程中自适应地学习,从而可以动态地释放不太重要的基础,以提高新技能学习的灵敏度。我们进一步引入了扁平化Shartening(FS),通过显式调节所有可见任务的重量损失景观的平坦度来减少泛化差距。如经验所示,我们提出的方法始终优于基线,具有学习新技能的卓越能力,同时有效地减轻遗忘。
2021-10-09 cs.LG
Preserving Linear Separability in Continual Learning by Backward Feature Projection
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
针对持续学习中的灾难性遗忘问题,提出反向特征投影(BFP)方法,允许新特征变化为旧特征的可学习线性变换,在保留旧类线性可分性的同时容纳新类,有效平衡稳定性与可塑性并提升模型性能。
2023-06-28 cs.AI cs.CV cs.LG
Meta-Learning with Less Forgetting on Large-Scale Non-Stationary Task Distributions
State University of New York at Buffalo(纽约州立大学布法罗分校);JD Explore Academy(京东探索研究院);Columbia University(哥伦比亚大学);Meta
机器智能的范式从纯粹的监督学习转移到更实际的场景,此时有许多松散相关的未标记数据可用,而标记数据稀缺。大多数现有的算法假设底层的任务分布是静态的。在这里,我们考虑一个更现实和更具挑战性的设置,任务分布随着时间的推移而演变。我们将这个问题称为具有演化任务分布的半监督元学习,简称为SETS。在这种更现实的环境中出现了两个关键挑战:(i)如何在存在大量未标记的分布外(OOD)数据的情况下使用未标记的数据;以及(ii)如何防止由于任务分布偏移而对先前学习的任务分布造成灾难性遗忘。我们提出了一个面向对象的鲁棒和知识保留的半监督元学习方法(ORDER),以解决这两个主要挑战。具体来说,我们的ORDER引入了一种新的互信息正则化来鲁棒化具有未标记的OOD数据的模型,并采用了最佳传输正则化来记住以前在特征空间中学习的知识。此外,我们在一个非常具有挑战性的数据集上测试了我们的方法:在由(至少)72 K个任务组成的大规模非平稳半监督任务分布上进行SETS。通过大量的实验,我们证明了所提出的ORDERS在不断变化的任务分布上消除了遗忘,并且比相关的强基线对OOD数据更鲁棒。
2022-09-03 cs.CV cs.LG
Gradient Projection Memory for Continual Learning
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
持续学习而不忘记过去的任务的能力是人工学习系统的期望属性。在人工神经网络中实现这种学习的现有方法通常依赖于网络增长、基于重要性的权重更新或来自存储器的旧数据的重放。相比之下,我们提出了一种新的方法,其中神经网络学习新的任务,在正交方向上的梯度子空间被认为是重要的过去的任务。我们发现这些子空间的基础,通过分析网络表示(激活)后,学习每个任务与奇异值分解(SVD)在一个Single Shot的方式,并将它们存储在内存中的梯度投影内存(GPM)。通过定性和定量的分析,我们表明,这种正交梯度下降诱导最小的干扰与过去的任务,从而减轻遗忘。我们评估我们的算法在不同的图像分类数据集与短期和长期的任务序列,并报告更好的或同等的性能相比,国家的最先进的方法。
2021-03-17 cs.CV cs.LG
Measuring Representational Shifts in Continual Learning: A Linear Transformation Perspective
Department of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea;Department of Statistics;Data Science, Yonsei University, Seoul, South Korea
该研究从线性变换视角提出表征差异指标以度量持续学习中的表征遗忘,通过理论分析得出层深度、网络宽度与遗忘速度的关联规律,并在Split-CIFAR100、ImageNet1K数据集上验证了理论结论。
2025-06-12 cs.LG
STAR: Stability-Inducing Weight Perturbation for Continual Learning
Northeastern University(东北大学);Google Cloud AI Research(谷歌云人工智能研究)
本文提出一种新型损失函数STAR,利用最坏情况参数扰动降低模型预测与局部邻域的KL散度以增强稳定性并缓解灾难性遗忘,可作为即插即用组件提升现有持续学习方法性能达15%。
2025-03-03 cs.AI cs.CV cs.LG
Utilizing Priming to Identify Optimal Class Ordering to Alleviate Catastrophic Forgetting
Lewis & Clark College(路易斯与克拉克学院);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
为了让人工神经网络开始准确地模仿生物网络,它们必须能够适应新的紧急情况,而不会忘记它们从以前的训练中学到的东西。人工神经网络的终身学习方法试图努力实现这一目标,但还没有取得足够的进展,以实际部署的自然语言处理任务。众所周知的灾难性遗忘仍然是研究人员建立终身学习模型的障碍。虽然人们正在努力平息灾难性遗忘,但缺乏研究来探讨在新课程上进行增量学习时课程排序的重要性。这是令人惊讶的,因为人类学习的“类”的排序受到严格监控,并且非常重要。虽然开发一个理想的类顺序的策略已经研究,本文探讨类排序,因为它涉及到启动作为一个计划,增量类学习。通过研究人类中发现的各种启动方法之间的联系,以及这些方法如何在终身机器学习中被模仿但仍然无法解释,本文提供了对我们的生物系统和合成系统之间相似性的更好理解,同时改进了当前的实践,以对抗灾难性遗忘。通过将心理启动实践与类排序相结合,本文能够确定一种可推广的方法,用于NLP增量学习任务中的类排序,该方法始终优于随机类排序。
2022-12-24 cs.AI cs.CL cs.LG
Learning Invariant Representation for Continual Learning
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学)
持续学习的目的是提供能够在先前学习的知识的基础上持续学习一系列任务的智能代理。这种学习范式的一个关键挑战是,当智能体面对一个新的任务时,会灾难性地忘记以前学习过的任务。目前的排练为基础的方法表明,他们成功地减轻了灾难性遗忘的问题,在学习一个新的过程中重放样本从以前的任务。然而,当先前任务的数据不可访问时,这些方法是不可行的。在这项工作中,我们提出了一个新的伪排练为基础的方法,命名为学习不变表示持续学习(IRCL),其中类不变的表示是从一个条件生成模型中分离出来,并与类特定的表示联合使用来学习顺序任务。解开共享不变表示有助于不断学习一系列任务,同时对遗忘更鲁棒,并具有更好的知识转移。我们专注于类增量学习,在推理过程中没有关于任务身份的知识。我们经验评估我们提出的方法对两个著名的基准持续学习:分裂MNIST和分裂时尚MNIST。实验结果表明,我们提出的方法优于基于正则化的方法,由一个大的利润,是优于最先进的伪排练为基础的方法。最后,我们分析了共享不变表示在减轻遗忘问题中的作用,特别是当每个先前任务的重放样本的数量很小时。
2021-01-15 cs.AI cs.CV cs.LG
Continual Learning of a Mixed Sequence of Similar and Dissimilar Tasks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院)
现有的研究集中在处理灾难性遗忘的任务序列的持续学习,其中的任务被假定为是不相似的,几乎没有共享的知识。当任务相似并且具有共享知识时,也已经做了一些工作来将先前学习的知识转移到新任务。据我们所知,还没有技术被提出来学习一系列混合的相似和不相似的任务,可以处理遗忘,也可以向前和向后转移知识。本文提出了这样一种技术,在同一个网络中学习这两种类型的任务。对于不相似的任务,该算法侧重于处理遗忘问题;对于相似的任务,该算法侧重于有选择地转移从一些相似的先前任务中学习到的知识,以改善新任务的学习。此外,该算法自动检测新任务是否与任何先前的任务相似。使用混合任务序列的实证评估证明了所提出的模型的有效性。
2021-12-18 cs.AI cs.CV cs.LG