Adapt & Align: Continual Learning with Generative Models Latent Space Alignment
Warsaw University of Technology(华沙理工大学);NCBR Ideas;Tooploox
提出Adapt & Align方法,通过生成模型潜在空间对齐,分两步更新模型以缓解持续学习中的灾难性遗忘,并可用于分类等下游任务。
2023-12-21 cs.LG
Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models
AMOR/e Lab, Eindhoven University of Technology(埃因霍温理工大学AMOR/e实验室)
本文提出剪枝适应模块(PAM),通过冻结大部分预训练ResNet参数,利用稀疏任务特定层实现可扩展的连续学习,显著降低持续学习成本并减少遗忘。
2026-03-22 cs.LG
Understanding Continual Learning Settings with Data Distribution Drift Analysis
Université de Montréal(蒙特利尔大学);MILA - Quebec AI Institute(MILA - 魁北克人工智能研究所)
经典的机器学习算法通常假设数据是独立同分布绘制的。一个平稳的概率分布。最近,持续学习作为机器学习的一个快速增长的领域出现,其中这个假设是放松的,即其中数据分布是非平稳的并且随着时间而变化。本文用上下文变量$c$表示数据分布状态。$c$中的漂移导致数据分布漂移。上下文漂移可以改变目标分布、输入分布或两者。此外,分布漂移可能是突然的或逐渐的。在持续学习中,上下文漂移可能会干扰学习过程并擦除先前学习的知识;因此,持续学习算法必须包括专门的机制来处理这种漂移。在本文中,我们的目标是识别和分类不同类型的上下文漂移和潜在的假设,以更好地描述各种持续学习的情况。此外,我们建议使用分布漂移框架,以提供更精确的定义,在持续学习领域中常用的几个术语。
2022-07-10 cs.AI cs.LG
TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning
Bitdefender
提出TailLoR方法,利用预训练权重的奇异基作为固定参考系,对奇异值矩阵进行低秩更新,并通过软谱惩罚抑制与主导奇异方向对齐的更新,从而减少干扰并实现细粒度适应。
2026-06-04 cs.LG
Dual-Phase Continual Learning: Supervised Adaptation Meets Unsupervised Retention
Mila, Concordia University(蒙特利尔大学米尔人工智能实验室);Concordia University(蒙特利尔大学);Toyota Motor Europe(丰田欧洲公司)
本文提出了一种基于无监督方法的双相持续学习框架,通过利用测试时间数据提升先前任务性能,无需存储或重播数据,有效缓解VLMs中的遗忘问题。
2026-01-30 cs.LG
Continual Learning for Infinite Hierarchical Change-Point Detection
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
变点检测(CPD)的目的是定位一系列观测的生成模型中的突变。当考虑贝叶斯方法时,标准做法是推断变点位置的后验分布。然而,对于复杂的模型(高维或异构),不可能执行可靠的检测。为了避免这个问题,我们建议使用一个分层模型,它产生属于一个低维流形的意见。具体地说,我们考虑了一个潜在的类模型与无限数量的类别,这是基于中国餐馆过程(CRP)。对于这个模型,我们推导出一个连续的学习机制,是基于连续建设的CRP和期望最大化(EM)算法与随机最大化的步骤。我们的研究结果表明,所提出的方法是能够递归地推断潜在类的数量,并执行CPD在一个可靠的方式。
2019-10-22 cs.LG stat.ML
Evaluating the Impact of Task Granularity on Catastrophic Forgetting in Continual Learning
College of Engineering(工程学院);College of Natural Science(自然科学学院)
研究任务粒度顺序对持续学习中灾难性遗忘的影响,通过CIFAR-100上的粗到细、细到粗和平坦三种训练策略,结合弹性权重巩固(EWC)方法,发现先学习一般类别可减少遗忘。
2026-06-06 cs.LG
Do Neural Networks Lose Plasticity in a Gradually Changing World?
Dept. Computing Science \& Alberta Machine Intelligence Institute (Amii), University of Alberta;Canada CIFAR AI Chair
研究任务转换的突然性对神经网络可塑性损失的影响,通过输入/输出插值和任务采样模拟渐变环境,理论和实验表明可塑性损失严重程度与任务转换突然性密切相关,渐变环境下可显著减轻。
2026-06-18 cs.AI cs.LG
Active, Continual Fine Tuning of Convolutional Neural Networks for Reducing Annotation Efforts
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
卷积神经网络(CNN)在计算机视觉中的巨大成功在很大程度上归功于大量注释数据集的可用性,如ImageNet和Places。然而,在医学成像中,创建如此大的注释数据集是具有挑战性的,因为注释医学图像不仅繁琐、费力和耗时,而且还需要昂贵的、面向专业的技能,这些技能不容易获得。为了大大降低标注成本,本文提出了一种新的方法,将主动学习和迁移学习(微调)自然地集成到一个框架中,该方法直接从预训练的CNN开始寻找“有价值”的样本进行标注,并通过不断微调逐渐增强(微调)CNN。我们已经使用三种不同的医学成像应用程序评估了我们的方法,证明与随机选择相比,它可以减少至少一半的注释工作。
2021-04-10 cs.CV cs.LG stat.ML
Bilevel Continual Learning
NEC Laboratories Europe GmbH(欧洲NEC实验室有限公司)
持续学习(CL)研究学习一系列任务的问题,一次一个,使得每个新任务的学习不会导致先前看到的任务的性能下降,同时利用先前学习的特征。本文介绍了Bilevel持续学习(BiCL),这是一种用于持续学习的通用框架,它融合了双层优化和深度神经网络元学习的最新进展。BiCL能够在在线持续学习的保守设置下训练深度判别和生成模型。实验结果表明,BiCL提供了竞争力的性能方面的准确性为当前的任务,同时减少了灾难性遗忘的影响。这是与[1]并行的工作。我们将其提交给AAAI 2020和IJCAI 2020。现在我们把它放在arxiv上记录下来。与文献[1]不同的是,我们还考虑了连续生成模型.与此同时,作者意识到最近提出了一个关于基于双层优化的核心集构造的建议,用于持续学习[2]。[1]Q.范,D.萨胡角Liu和S. C.海两级持续学习。arXiv预印本arXiv:2007.15553,2020。[2]Z.博尔索斯湾Mutny和A.克劳斯通过两级优化的核心集,用于持续学习和流式传输。arXiv预印本arXiv:2006.03875,2020
2020-11-02 cs.LG
Domain-Aware Augmentations for Unsupervised Online General Continual Learning
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIGM(巴黎东部马恩河谷大学信息学实验室)
针对无监督在线通用持续学习(UOGCL)的遗忘挑战,本文提出利用依赖流的数据增强及实现技巧优化对比学习的内存使用,该方法简单有效,取得最先进结果并缩小了监督与无监督持续学习的差距。
2023-09-13 cs.LG
Continual Learning without Continual Training
Imperial College London(帝国理工学院)
本文提出用持续推理替代持续训练,通过冻结的PFN模型在潜在概念空间进行上下文贝叶斯推理,仅扩展证据集适应新类别,无需梯度更新,在增量学习数据集上实现竞争性能并学习可解释概念。
2026-10-08 cs.LG
Continual Learning with Guarantees via Weight Interval Constraints
Jagiellonian University(雅盖隆大学);Polish Academy of Sciences(波兰科学院);Warsaw University of Technology(华沙理工大学);Tooploox
我们引入了一种新的训练范式,对神经网络参数空间施加区间约束来控制遗忘。当代的持续学习(CL)方法专注于从数据流中有效地训练神经网络,同时减少灾难性遗忘的负面影响,但它们不能提供任何可靠的保证,即网络性能不会随着时间的推移而不受控制地恶化。在这项工作中,我们将展示如何通过将模型的持续学习重新表述为其参数空间的持续收缩来限制遗忘。为此,我们提出了超矩形训练,这是一种新的训练方法,其中每个任务都由参数空间中的超矩形表示,完全包含在先前任务的超矩形中。该公式将NP难CL问题降低到多项式时间,同时提供针对遗忘的完全弹性。我们通过开发InterContiNet(间隔持续学习)算法来验证我们的主张,该算法利用区间算术来有效地将参数区域建模为超矩形。通过实验结果,我们表明,我们的方法表现良好,在持续学习设置不存储数据从以前的任务。
2022-06-16 cs.LG
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay
Rochester Institute of Technology(罗切斯特理工学院)
终身学习代理能够从潜在的无限模式感知数据流中不断学习。构建以这种方式适应的智能体的一个主要历史困难是,神经系统在从新样本中学习时很难保留先前获得的知识。这个问题被称为灾难性遗忘(干扰),至今仍是机器学习领域中未解决的问题。虽然在前馈网络的背景下,遗忘在过去几十年中得到了广泛的研究,但在替代架构的背景下,如古老的自组织映射(SOM),一种无监督的神经模型,经常用于聚类和降维等任务。虽然其内部神经元之间的竞争可能具有改善记忆保持的潜力,但我们观察到,在任务增量数据上训练的固定大小的SOM,即,它以一定的时间增量接收与特定类相关的数据点,经历显著的遗忘。在这项研究中,我们提出了连续SOM(c-SOM),一个模型,能够减少自己的遗忘时,处理信息。
2021-12-09 cs.LG
Subspace Optimization for Backpropagation-Free Continual Test-Time Adaptation
Poznan University of Technology(波兹南理工大学);IDEAS NCBR;NASK - National Research Institute(NASK国家研究所);Gdańsk University of Technology(格但斯克理工大学);Graz University of Technology(格拉茨理工大学)
本文提出PACE系统,通过子空间优化正常化层的仿射参数,提升持续分布偏移下的适应性能,减少运行时间超过50%。
2026-09-09 cs.LG
Self-Distillation Enables Continual Learning
MIT(麻省理工学院);Improbable AI Lab(Improbable AI实验室);ETH Zurich(苏黎世联邦理工学院)
自蒸馏微调通过直接从演示中进行基于策略的学习,有效减少持续学习中的灾难性遗忘,提升新任务准确性。
2026-08-10 cs.LG
ATLAS: Universal Function Approximator for Memory Retention
University of Pretoria(比勒陀利亚大学)
尽管人工神经网络(ANN)具有通用函数逼近能力和实际成功,但它容易发生灾难性遗忘。灾难性遗忘是指在学习新任务时突然忘记先前的任务。它是一种阻碍持续学习的突发现象。现有的泛函数逼近定理保证了神经网络的函数逼近能力,但不能预测灾难性遗忘。本文给出了一个新的仅用单变量函数和指数函数的多元函数的通用逼近定理。此外,我们提出ATLAS:一种新的人工神经网络架构的基础上的新定理。结果表明,ATLAS是一个通用的函数逼近器,能够保持一定的记忆,和持续学习。ATLAS的记忆是不完美的,在持续学习过程中会有一些脱靶效应,但它表现良好,具有可预测性。ATLAS的一个有效的实现。实验进行评估的功能近似和记忆保持能力的ATLAS。
2022-08-10 cs.LG cs.NE
Putting a Face to Forgetting: Continual Learning meets Mechanistic Interpretability
KU Leuven(根特大学);University of Groningen(Groningen大学);Amazon(亚马逊)
本文提出一个机制框架,从几何角度解释持续学习中的灾难性遗忘,通过玩具模型分析并验证了深度对遗忘的影响,展示了如何利用Crosscoders分析实际模型。
2026-08-12 cs.LG
Probing Representation Forgetting in Supervised and Unsupervised Continual Learning
Concordia University(康考迪亚大学);Mila – Quebec AI Institute(米拉 - 魁北克人工智能研究所);Toyota Motor Europe(丰田汽车欧洲公司)
持续学习研究通常集中在解决神经网络中的灾难性遗忘现象。灾难性遗忘与当任务或更广泛地说数据分布在变化上训练时,模型先前学习的知识突然丢失有关。在监督学习问题中,这种遗忘是由模型表示的变化引起的,通常通过评估旧任务性能的下降来测量或观察。然而,模型的表示可以改变,而不会丢失关于先前任务的知识。在这项工作中,我们考虑表示遗忘的概念,观察到使用的最佳线性分类器的性能差异之前和之后引入一个新的任务。使用这个工具,我们重新审视了一些标准的持续学习基准,并观察到,通过这个镜头,没有任何显式控制遗忘训练的模型表示经常经历小的表示遗忘,有时可以与显式控制遗忘的方法相媲美,特别是在较长的任务序列中。我们还表明,表示遗忘可以导致新的见解的影响模型容量和损失函数中使用的持续学习。基于我们的研究结果,我们表明,一个简单而有竞争力的方法是学习表示不断与标准的监督对比学习,同时构建类样本的原型时,查询旧的样本。
2022-04-05 cs.AI cs.CV cs.LG
A Neural Network Model of Complementary Learning Systems: Pattern Separation and Completion for Continual Learning
Georgia Institute of Technology(佐治亚理工学院)
针对神经网络灾难性遗忘问题,结合变分自编码器与现代Hopfield网络构建互补学习系统模型,实现模式补全与分离,在Split-MNIST上准确率接近90%并大幅减少遗忘。
2025-07-15 cs.LG
Stable-Drift: A Patient-Aware Latent Drift Replay Method for Stabilizing Representations in Continual Learning
National Technical University of Athens(希腊国家技术大学);London School of Economics and Political Science(伦敦政治经济学院);University of Lincoln(林肯大学)
Stable-Drift方法通过患者感知的潜在漂移重放,有效减少持续学习中的灾难性遗忘,提升医学影像任务的鲁棒性。
2025-11-27 cs.CV cs.LG
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization
University of Cambridge(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
本文提出贝叶斯自适应矩正则化(BAdam)方法,通过更好地约束参数增长来减少灾难性遗忘,在Split MNIST等基准上实现基于先验方法的最先进性能,且无需任务标签或离散边界。
2024-07-24 cs.LG
Monitoring multimode processes: a modified PCA algorithm with continual learning ability
Tsinghua University(清华大学);Shandong University of Science and Technology(山东科技大学)
对于多模态过程,通常建立与局部模态对应的局部监控模型。然而,当建立当前模式的监测模型时,先前模式的重要特征可能会被灾难性地遗忘。这将导致性能急剧下降。使局部监测模型能够记住以前监测模型的特征是一种有效的方法。本文选择主成分分析(PCA)作为基本的监测模型,试图解决这一问题。提出了一种具有连续学习能力的多模态过程监控主元分析(PCA)改进算法,该算法采用弹性权重合并(EWC)来克服PCA对连续模式的灾难性遗忘。它被称为PCA-EWC,当为当前模式建立PCA模型时,保留了先前模式的重要特征。通过对凸函数的差分求出最优参数。此外,所提出的PCA-EWC扩展到一般的多模态过程和程序。讨论了算法的计算复杂度和关键参数,以进一步理解PCA和所提出的算法之间的关系。指出了该算法的潜在局限性和相应的解决方案,以进一步理解该算法。数值算例和中国的一个实际工业系统,以说明所提出的算法的有效性。
2021-05-28 cs.LG stat.ML
CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation
本文提出CURLoRA方法,通过在LoRA中引入改进的CUR矩阵分解作为隐式正则化并仅微调零初始化的$U$矩阵,有效缓解了LLM持续微调中的灾难性遗忘,显著减少了可训练参数,并在数据有限时保持模型稳定性和准确率。
2024-08-26 cs.AI cs.CL cs.LG
Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning
University of New South Wales(新南威尔士大学);The University of Adelaide(阿德莱德大学)
持续学习(CL)的目标是在一系列任务上递增地训练模型,同时保持先前任务的性能。然而,由于隐私或安全限制,存储和重放数据通常是不可行的,并且对于任意的预训练模型是不切实际的。无数据CL试图在不访问以前数据的情况下更新模型。除了正则化之外,我们还使用模型反演来合成训练模型中的数据,从而在不存储样本的情况下实现回放。然而,预测模型中的模型反演面临两个挑战:(1)仅从压缩输出标签生成输入会导致合成数据和真实数据之间的漂移,并且重放此类数据会侵蚀先验知识;(2)反演在计算上是昂贵的,因为每个步骤都通过完整的模型反向传播。这些问题在CLIP等大型预训练模型中被放大。为了提高效率,我们提出了逐层模型反演(PMI),其灵感来自单层优化中的更快收敛。PMI为全模型反演提供了强大的初始化,大大减少了迭代次数。为了减轻特征偏移,我们通过高斯分布和对比模型对类特征进行建模,确保合成特征和真实特征之间的对齐。结合PMI和特征建模,我们的方法使新类的持续学习,从语义感知的投影功能生成伪图像,实现跨多个CL设置强大的有效性和兼容性。
2025-10-30 cs.LG
Is Multi-Task Learning an Upper Bound for Continual Learning?
Vanderbilt University(范德堡大学);University of California, Davis(加州大学戴维斯分校)
连续和多任务学习是从多个任务学习的常见机器学习方法。现有的文献中的作品往往假设多任务学习作为各种持续学习算法的合理性能上界。虽然这一假设在不同的持续学习基准中得到了经验验证,但它并没有得到严格的证明。此外,可以想象,当从多个任务中学习时,这些任务中的一小部分可能表现为对抗性任务,从而降低了多任务环境中的整体学习性能。相比之下,持续学习方法可以避免由这种对抗性任务引起的性能下降,以保持其在其余任务上的性能,从而导致比多任务学习器更好的性能。本文提出了一种新的连续自监督学习设置,其中每个任务对应于学习一个特定类别的数据增强的不变表示。在这种情况下,我们证明了持续学习在各种基准数据集(包括MNIST、CIFAR-10和CIFAR-100)上通常优于多任务学习。
2022-10-26 cs.CV cs.LG
Minion Gated Recurrent Unit for Continual Learning
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Baghdad(巴格达大学)
本文提出简化版GRU变体MiRU,用缩放系数替代门控机制,在保持性能的同时实现2.90倍训练加速和2.88倍参数缩减,并展现出更稳定的多任务持续学习能力,适合边缘设备部署。
2025-03-08 cs.AI cs.LG
Making LoRA Identifiable: Orthogonal Alignment for Continual Learning
Sony Research India(索尼印度研究院)
针对现有持续LoRA学习方法内存开销大、表示对齐不足的问题,提出SOAR框架,通过Stiefel流形约束A矩阵与正交Procrustes对齐B矩阵,在无额外内存开销下实现优异的持续学习性能。
2026-10-14 cs.LG
Peer-to-Peer Federated Continual Learning for Naturalistic Driving Action Recognition
Purdue University(普渡大学)
本文提出点对点联邦持续学习框架 FedPC,在无服务器架构下实现隐私保护的自然驾驶行为识别,并在两个真实数据集上验证其性能、知识传播速率和新客户端兼容性均优于传统客户端到服务器联邦学习。
2023-04-14 cs.CV cs.LG
Active Continual Learning with Metaplastic Binary Bayesian Neural Networks
Universit \'e Paris-Saclay, CNRS, Centre de Nanosciences et de Nanotechnologies, Palaiseau, France
针对边缘系统持续学习中的后验饱和与可塑性冻结问题,提出基于有界记忆变分目标的BiMU方法,通过不确定性依赖步长和先验松弛维持非退化后验,实现无缓冲主动查询,在Permuted-MNIST和OpenLORIS-Object上显著减少标签与更新次数。
2026-05-28 cs.LG
Task Arithmetic with LoRA for Continual Learning
Pune Institute of Computer Technology(浦那计算机技术学院)
针对持续学习中的灾难性遗忘和计算成本高的问题,提出结合LoRA与任务算术的Transformer视觉模型持续训练方法,可规避遗忘、降低计算量,小内存辅助下性能接近全量微调。
2023-11-04 cs.CV cs.LG
Overcoming Domain Drift in Online Continual Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Suzhou University of Science and Technology(苏州科技大学);Youtu Lab, Tencent(腾讯优图实验室);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对在线持续学习中存在的灾难性遗忘及持续域漂移导致知识易遗忘的问题,提出漂移减少回放策略,通过代表性样本选择、两级角度跨任务对比边际损失及可选质心蒸馏损失锚定旧任务域,在四个基准数据集上达到SOTA性能。
2024-05-15 cs.LG
La-MAML: Look-ahead Meta Learning for Continual Learning
Mila;UdeM(蒙特利尔大学);Carnegie Mellon University(卡内基梅隆大学)
持续学习问题涉及到训练模型的能力有限,以执行一组未知数量的顺序到达的任务。虽然元学习在减少新旧任务之间的干扰方面显示出巨大的潜力,但目前的训练过程往往要么缓慢要么离线,并且对许多超参数敏感。在这项工作中,我们提出了前瞻MAML(La-MAML),在线持续学习的快速优化为基础的元学习算法,辅助一个小的情景记忆。我们在元学习更新中提出的每个参数学习率的调制使我们能够与先前关于超梯度和元下降的工作建立联系。与传统的基于先验的方法相比,这提供了一种更灵活和有效的方式来减轻灾难性遗忘。La-MAML在真实世界视觉分类基准上实现了优于其他基于重放、基于先验和基于元学习的持续学习方法的性能。源代码可以在这里找到:https://github.com/montrealrobotics/La-MAML
2020-11-12 cs.LG stat.ML
Federated Continual Learning as a Distributed Drift-Plus-Penalty Control Problem
IIIT Delhi(德里印度信息技术学院);IIT Dharwad(达尔瓦德印度理工学院)
本研究将联邦持续学习建模为分布式漂移加惩罚控制问题,提出FedQCL框架,通过虚拟队列调控遗忘,在多基准上优于现有方法并降低异质数据下的遗忘。
2026-08-25 cs.LG
Continual Learning in Generative Adversarial Nets
Princeton University(普林斯顿大学)
深度生成模型的发展允许对高维数据分布进行易于处理的学习。虽然所采用的学习过程通常假设训练数据是独立同分布绘制的。根据感兴趣的分布,例如当随着时间的推移遇到不同的类时,可能期望对顺序观察到的不同分布进行建模。尽管深度生成模型的条件变体允许单个网络以分离的方式对多个分布进行建模,但当连续遇到分布时,它们容易受到灾难性遗忘的影响。在本文中,我们将最近在减少灾难性遗忘方面的工作调整为在一系列不同分布上训练生成对抗网络的任务,从而实现连续的生成建模。
2017-05-23 cs.AI cs.LG stat.ML
Modular-Relatedness for Continual Learning
在本文中,我们提出了一个持续学习(CL)技术,有利于顺序任务学习者,提高他们的保留准确性和减少灾难性遗忘。我们的方法的主要目标是自动提取模块化部分的神经网络,然后估计这些模块化组件的任务之间的相关性。该技术适用于不同的CL方法族,例如基于正则化的(例如,弹性重量合并)或基于排练的(例如,梯度情景记忆)接近需要情景记忆的地方。实证结果表明显着的性能增益(在鲁棒性遗忘)的方法,如EWC和GEM基于我们的技术,特别是当内存预算是非常有限的。
2021-01-18 cs.LG stat.ML
Online Continual Learning via Spiking Neural Networks with Sleep Enhanced Latent Replay
针对边缘计算中在线持续学习的高内存开销和类别偏差问题,提出SESLR方法,结合脉冲神经网络与睡眠增强潜在重放,显著降低内存并提升准确率。
2025-10-16 cs.CV cs.LG cs.NE
Algorithmic insights on continual learning from fruit flies
Cold Spring Harbor Laboratory(冷泉港实验室);Simons Center for Quantitative Biology(西蒙斯定量生物学中心);University of California San Diego(加州大学圣迭戈分校)
由于灾难性遗忘的存在,计算系统中的持续学习具有挑战性。我们在果蝇嗅觉系统中发现了一个两层神经回路,它通过独特地结合稀疏编码和联想学习来解决这一挑战。在第一层中,气味使用稀疏的高维表示进行编码,这通过激活不同气味的非重叠神经元群体来减少记忆干扰。在第二层中,只有气味激活神经元和与气味相关的输出神经元之间的突触在学习过程中被修改;其余的权重被冻结,以防止不相关的记忆被覆盖。我们的经验和分析表明,这种简单和轻量级的算法显着提高持续学习性能。苍蝇联想学习算法是惊人的相似,经典的感知器学习算法,虽然两个修改,我们表明是至关重要的减少灾难性遗忘。总的来说,果蝇进化出了一种有效的终身学习算法,神经科学中的电路机制可以用来改善机器计算。
2021-12-22 cs.LG q-bio.NC
DynaTokens: Controlling Token Dynamics for Continual Video-Language Understanding
本文提出HyperTokens,通过按需生成微调令牌,控制提示更新并保持内存固定,通过元启发式正则化抑制遗忘,提升连续视频问答任务的准确率与保留率。
2026-10-06 cs.CV cs.LG
On the Limitations of Continual Learning for Malware Classification
ESL Global Cybersecurity Institute(ESL全球网络安全研究所);Rochester Institute of Technology(罗切斯特理工学院);Mandiant(曼迪安特)
恶意软件(malware)分类由于每天接收的新样本的量以及恶意软件利用新漏洞的演变而为持续学习(CL)机制提供了独特的挑战。在一个典型的日子里,防病毒供应商会收到数十万个独特的软件,包括恶意和良性的,在恶意软件分类器的生命周期中,可以轻松积累超过10亿个样本。考虑到问题的规模,使用持续学习技术的顺序训练可以在减少训练和存储开销方面提供实质性的好处。然而,到目前为止,还没有探索CL应用于恶意软件分类任务。在本文中,我们研究了11 CL技术应用于三个恶意软件的任务,涵盖常见的增量学习的情况下,包括任务,类和域增量学习(IL)。具体来说,使用两个现实的,大规模的恶意软件数据集,我们评估的CL方法的性能上的二进制恶意软件分类(域IL)和多类恶意软件家族分类(任务IL和类IL)的任务。令我们惊讶的是,持续学习方法在几乎所有设置中的表现都明显低于训练数据的朴素联合重放-在某些情况下,准确率降低了70多个百分点。选择性地重放20%的存储数据的简单方法实现了更好的性能,与联合重放相比,训练时间减少了50%。最后,我们讨论了潜在的原因,意外的CL技术性能不佳,希望它能刺激进一步研究开发技术,更有效的恶意软件分类域。
2022-08-13 cs.AI cs.CR cs.LG
D-CBRS: Accounting For Intra-Class Diversity in Continual Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
持续学习--从一系列学习经验中积累知识--是一个重要而又具有挑战性的问题。在这个范例中,模型对先前遇到的实例的性能可能会随着看到额外的数据而大幅下降。在处理类别不平衡的数据时,遗忘会进一步加剧。先前的工作已经提出了基于重放的方法,其目的是通过智能地存储用于将来重放的实例来减少遗忘。虽然类平衡水库采样(CBRS)已成功地处理不平衡的数据,类内的多样性尚未占,隐含假设类的每个实例是同样的信息。我们提出了Diverse-CBRS(D-CBRS),该算法允许我们在内存中存储实例时考虑类内的多样性。我们的研究结果表明,D-CBRS优于最先进的存储管理持续学习算法的数据集具有相当大的类内多样性。
2022-07-13 cs.CV cs.LG stat.ML
Momentum-based Weight Interpolation of Strong Zero-Shot Models for Continual Learning
University of Tübingen(图宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
大型预训练的、具有zero-shot能力的模型在标准传输和自适应任务中都表现出相当大的成功,对分布偏移具有特别的鲁棒性。此外,后续的微调可以显著提高选定下游任务的性能。然而,通过朴素的微调,这些zero-shot模型失去了它们对分布偏移的概括性和鲁棒性。这对于诸如持续学习(CL)之类的任务是一个特殊的问题,在CL中,随着新的任务分布被顺序地引入,必须执行持续适应。在这项工作中,我们展示了微调不足,以适应这种zero-shot能力的模型,简单的动量为基础的权重插值可以提供一致的改进CL任务在无内存和基于内存的设置。特别是,我们发现在标准CL基准测试上的改进超过了$+4\%$,同时将错误减少到一次对所有任务进行联合训练的上限一半以上,使持续学习者能够更接近联合训练极限。
2022-11-06 cs.CV cs.LG
CLARE: Scalable Class-Incremental Continual Learning via a Sparsity-Based Framework
The University of Hong Kong(香港大学);Hong Kong Generative AI Research and Development Center(香港生成式人工智能研发中心)
本文提出稀疏驱动持续学习框架CLARE,通过两阶段稀疏掩码微调缓解任务间干扰,在Omnibenchmark-1k上显著提升最终准确率,实现可扩展的类增量学习。
2026-09-16 cs.CV cs.LG
Confounder-Free Continual Learning via Recursive Feature Normalization
Stanford University, Stanford, United States(斯坦福大学)
针对持续学习中混杂因素导致的有偏预测和灾难性遗忘问题,提出可集成于任意深度架构的递归MDN层,利用递归最小二乘回归更新内部状态,实现跨人群公平预测。
2025-08-06 cs.CV cs.LG
PLAN: Proactive Low-Rank Allocation for Continual Learning
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学)
本文提出PLAN框架,通过主动分配正交低秩子空间并采用扰动优化与敏感性选择机制,在持续学习中高效微调大型预训练模型,避免遗忘并刷新基准性能。
2025-10-24 cs.AI cs.LG
Active Learning for Continual Learning: Keeping the Past Alive in the Present
KAIST(韩国科学技术院);KRAFTON
针对持续学习中的主动学习,提出基于Fisher信息矩阵累积信息量的AccuACL方法,平衡防遗忘与快速学习,实验显示平均准确率提升23.8%,遗忘降低17.0%。
2025-04-21 cs.AI cs.LG
Continual Deep Learning on the Edge via Stochastic Local Competition among Subnetworks
Cyprus University of Technology(塞浦路斯理工大学);National Documentation Center, Greece(希腊国家文献中心)
针对边缘设备资源受限下的持续学习难题,提出基于子网络单元随机局部竞争的稀疏化方法,同时稀疏化权重与梯度,生成任务特定稀疏表征,为边缘端持续学习提供高效可扩展方案。
2024-07-15 cs.AI cs.LG
Online Distillation with Continual Learning for Cyclic Domain Shifts
KAUST(阿卜杜拉国王科技大学)
本文针对在线蒸馏在域偏移下的灾难性遗忘问题,将多种最先进持续学习方法融入师生在线蒸馏框架,并在循环域偏移场景验证其可提升鲁棒性与准确率。
2023-04-03 cs.CV cs.LG
HiCL: Hippocampal-Inspired Continual Learning
HiCL提出了一种基于海马体的持续学习架构,通过双记忆机制和稀疏路由策略减少任务干扰,实现高效多任务学习。
2026-02-10 cs.AI cs.LG
A Continual Validation, Updating, and Decision-Making Framework for Self-Adaptive Digital Twins: A Case Study in Additive Manufacturing
Northwestern University(西北大学)
研究针对数字孪生中概念漂移致模型退化问题,提出集成Fisher分数漂移检测器、LoRA及Mann-Whitney U检验的自适应框架,能监测模型置信度、触发微调并统计验证性能提升,经案例研究成功检测变化并恢复相关性能,维持数字孪生可信度。
2026-11-10 cs.AI cs.LG math.ST
SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Great Bay University(大湾大学)
针对持续学习中梯度投影法难平衡稳定性与可塑性的问题,提出基于LoRA的SplitLoRA方法,通过理论分析推导梯度空间最优划分,在多数据集上达到SOTA性能。
2025-06-11 cs.AI cs.LG
Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning
King Abdullah University of Science and Technology(卡塔尔国王 Abdullah 科学与技术大学)
本文提出了一种轻量级正则化方法,用于减少持续学习中的遗忘问题,通过信息最大化策略提升模型性能。
2025-12-01 cs.CV cs.LG
DPCore: Dynamic Prompt Coreset for Continual Test-Time Adaptation
Tulane University(杜兰大学);Dolby Laboratories(杜比实验室)
DPCore针对持续测试时自适应中域动态变化问题,提出结合视觉提示自适应、提示核心集和动态更新机制的方法,在四个基准上以更少参数和计算时间实现最优性能。
2025-06-06 cs.CV cs.LG
STELLA: Continual Audio-Video Pre-training with Spatio-Temporal Localized Alignment
KAIST(韩国科学技术院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);NAVER AI Lab(NAVER AI实验室);DeepAuto
提出STELLA持续音频-视频预训练方法,通过局部补丁重要性评分和重放引导相关性评估,实现有效学习,在零样本检索中相对提升3.69%,内存减少约45%。
2024-05-28 cs.CV cs.LG