Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
本研究针对大语言模型持续学习的灾难性遗忘问题,提出子空间调优(SST)方法,通过限制权重更新至底部奇异子空间,在保护已有能力的同时提升目标任务性能,推进了学习-遗忘帕累托前沿。
2026-10-16 cs.AI cs.LG
Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning
Rutgers University(罗格斯大学);Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能);Google DeepMind(谷歌DeepMind)
本文提出对比原型提示(CPP)方法,通过任务特定提示微调和对比学习解决持续学习中的语义漂移与原型干扰,在四个类增量基准上超越现有方法4%至6%,且无需重放缓冲区。
2023-11-12 cs.AI cs.CV cs.LG
Lifelong Representations: A Survey on Continual Self-Supervised Learning for Vision Models
综述视觉领域持续自监督学习(CSSL),分析现有评估协议问题,探讨自监督目标抗灾难性遗忘原因,基于遗忘缓解策略对方法分类,识别如可扩展性等挑战,提出推进CSSL需转向大规模持续预训练范式。
2026-07-14 cs.AI cs.CV
Temporal-Difference Variational Continual Learning
OATML, University of Oxford(OATML,牛津大学);OXCAV, University of Oxford(OXCAV,牛津大学)
针对持续学习中变分方法因复合近似误差导致灾难性遗忘的问题,提出整合多个先前后验估计正则化的新目标,并揭示其与时序差分方法的联系,实验证明优于现有变分方法。
2025-10-23 cs.AI cs.LG
Learning towards Synchronous Network Memorizability and Generalizability for Continual Segmentation across Multiple Sites
ShanghaiTech University(上海科技大学);University of Electronic Science and Technology of China(电子科技大学);The University of Hong Kong(香港大学)
在临床实践中,由于存储成本和隐私限制,通常需要分段网络不断学习来自多个站点的顺序数据流,而不是合并的集合。然而,在不断学习的过程中,现有的方法通常被限制在以前的网站上的网络记忆性或未见过的网站上的泛化性。本文旨在解决具有挑战性的同步可扩展性和可推广性(SMG)问题,并同时提高以前和看不见的网站的性能,提出了一种新的SMG学习框架。首先,我们提出了一个同步梯度对齐(SGA)的目标,它不仅促进了网络的记忆力,通过实施协调优化的一个小样本集从以前的网站(称为重放缓冲区),但也提高了泛化能力,通过促进模拟域转移下的网站不变性。其次,为了简化SGA目标的优化,我们设计了一个Dual-Meta算法,该算法将SGA目标近似为双元目标进行优化,而没有昂贵的计算开销。第三,为了有效的排练,我们配置重放缓冲区综合考虑额外的站点间的多样性,以减少冗余。对从六个研究所顺序获取的前列腺MRI数据进行的实验表明,我们的方法可以同时实现比最先进方法更高的记忆性和概括性。代码可在https://github.com/jingyzhang/SMG-Learning上获得。
2022-06-27 cs.CV cs.LG eess.IV
Integrating Present and Past in Unsupervised Continual Learning
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院);Columbia University(哥伦比亚大学);NYU(纽约大学)
本研究构建无监督持续学习统一框架,指出现有方法忽略跨任务巩固的缺陷,提出在独立嵌入空间优化三目标的Osiris方法,在含两个新基准的所有测试中达最优,且证实模型可从更真实的学习场景获益。
2024-08-12 cs.CV cs.LG
SPeCiaL: Self-Supervised Pretraining for Continual Learning
McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院)
本文介绍了SPeciaL:一种为持续学习量身定制的表示的无监督预训练方法。我们的方法设计了一个元学习目标,通过顺序学习过程区分。具体来说,我们训练一个线性模型的表示,以匹配不同的增强视图相同的图像在一起,每个视图顺序呈现。然后评估线性模型对它刚刚看到的图像进行分类的能力,以及对来自先前迭代的图像进行分类的能力。这就产生了有利于快速记忆知识和最小遗忘的表征。我们在连续少样本学习设置中评估SPeciaL,并表明它可以匹配或优于其他监督预训练方法。
2021-06-16 cs.CV cs.LG
Continual Learning with Strategic Selection and Forgetting for Network Intrusion Detection
The University of Hong Kong(香港大学);University of Reading(阅读大学)
本文提出SSF持续学习方法,通过策略性选择代表性新样本和遗忘过时样本来应对概念漂移,在NSL-KDD和UNSW-NB15上取得最优入侵检测性能。
2025-07-02 cs.AI cs.CR cs.LG
Continual Hyperbolic Learning of Instances and Classes
University of Amsterdam(阿姆斯特丹大学)
针对现实场景需同时处理实例与类别持续学习的需求,提出利用双曲空间建模层级关系的HyperCLIC算法,结合双曲分类与蒸馏目标,在EgoObjects数据集上验证了其多粒度运行与层级泛化的提升效果。
2025-06-12 cs.AI cs.CV cs.LG
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
KeepLoRA: Continual Learning with Residual Gradient Adaptation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China(教育部计算机网络与信息集成重点实验室);School of Software Technology, Zhejiang University(浙江大学软件学院)
KeepLoRA通过残差梯度适应方法实现持续学习,有效平衡知识保留、任务知识保持和新知识获取,取得最佳性能。
2026-01-27 cs.CV cs.LG
Co$^2$L: Contrastive Continual Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
自监督学习的最新突破表明,与依赖于特定任务监督的联合训练方法相比,这种算法学习的视觉表示可以更好地转移到看不见的任务中。在本文中,我们发现,类似的持有在持续学习的背景下:对比学习的表示更强大的灾难性遗忘比联合训练的表示。基于这种新的观察,我们提出了一个排练为基础的持续学习算法,专注于不断学习和维护可转移的表示。更具体地说,所提出的方案(1)使用对比学习目标来学习表示,以及(2)使用自监督蒸馏步骤来保存学习的表示。我们在流行的基准图像分类数据集下进行了广泛的实验验证,其中我们的方法设置了新的最先进的性能。
2021-06-28 cs.CV cs.LG
Linear Mode Connectivity in Multitask and Continual Learning
Washington State University(华盛顿州立大学);DeepMind(深度思维)
连续(顺序)训练和多任务(同时)训练通常试图解决相同的总体目标:找到一个在所有考虑的任务上都表现良好的解决方案。主要区别在于训练机制,在这种机制下,持续学习一次只能访问一个任务,这对于神经网络来说通常会导致灾难性遗忘。也就是说,为后续任务找到的解决方案在先前的任务上不再表现良好。然而,这两种训练制度达到的不同最小值之间的关系还没有得到很好的理解。是什么让他们与众不同?是否有一个当地的结构可以解释这两个不同的计划所取得的业绩差异?最近的工作表明,不同的最小值相同的任务通常连接非常简单的曲线,低错误的动机,我们调查是否多任务和连续的解决方案是类似的连接。我们根据经验发现,这种连接确实可以可靠地实现,更有趣的是,它可以通过线性路径来实现,条件是两者具有相同的初始化。我们深入分析了这一观察结果,并讨论了它对持续学习过程的意义。此外,我们利用这一发现,提出了一个有效的算法,约束顺序学习的最小行为的多任务解决方案。我们表明,我们的方法优于几个国家的最先进的持续学习算法在各种视觉基准。
2020-10-09 cs.AI cs.CV cs.LG
Forget About It: Mitigating Forgetting Without Replay or Auxiliary Objectives
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind);Databricks(Databricks公司)
针对跨领域持续学习的灾难性遗忘问题,论文提出 SFA,在训练中平均当前模型与早期检查点,无需数据缓冲或额外参数副本,并在图像和语言任务上优于多种合并与惩罚方法。
2026-10-15 cs.AI cs.LG
Step-size Optimization for Continual Learning
DeepMind;University of Alberta(阿尔伯塔大学)
针对持续学习中步长调整的问题,本文指出RMSProp、Adam等启发式步长自适应方法的缺陷,验证了IDBD元梯度下降算法可显式优化步长,并提出结合两类方法的未来研究方向。
2024-01-30 cs.AI cs.LG
A Comprehensive Survey of Continual Learning: Theory, Method and Application
Tsinghua University(清华大学)
本文全面综述持续学习,涵盖理论、方法与实际应用,总结其目标为平衡稳定性-可塑性及泛化性,并提供最新分类体系以促进后续研究。
2024-02-06 cs.AI cs.CV cs.LG
Is Class-Incremental Enough for Continual Learning?
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校);University of Bologna(博洛尼亚大学)
模型持续学习的能力可以在不同的持续学习场景中进行经验评估。每个场景都定义了学习环境的限制和机会。在这里,我们挑战当前的趋势,在持续学习文献实验主要是类增量的情况下,类目前在一个经验是永远不会重访。我们认为,对这种设置的过度关注可能会限制未来对持续学习的研究,因为类增量情景人为地加剧了灾难性遗忘,牺牲了其他重要目标,如向前转移和计算效率。事实上,在许多现实世界的环境中,重复以前遇到的概念是自然发生的,有助于软化对以前知识的破坏。我们提倡对替代性持续学习方案进行更深入的研究,在这种方案中,重复被设计成整合在传入信息流中。从已经存在的建议,我们描述的优势,这种类增量与重复的情况下,可以提供一个更全面的评估持续学习模型。
2021-12-06 cs.AI cs.LG
DualNet: Continual Learning, Fast and Slow
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院)
根据神经科学中的互补学习系统(CLS)理论~ \citep{mcclelland1995there},人类通过两个互补系统来进行有效的\emph{continual learning}:一个是以海马为中心的快速学习系统,用于快速学习细节和个人经验;另一个是位于新皮层的缓慢学习系统,用于逐渐获得关于环境的结构化知识。受此理论的启发,我们提出了一种新的持续学习框架命名为“DualNet”,它包括一个快速的监督学习系统的模式分离表示从特定的任务和一个缓慢的学习系统的无监督表示学习的任务不可知的一般表示通过自监督学习(SSL)技术。这两个快速和慢速学习系统是互补的,在一个整体的持续学习框架中无缝地工作。我们在两个具有挑战性的持续学习基准测试CORE 50和miniImageNet上进行了广泛的实验,结果表明DualNet的性能大大优于最先进的持续学习方法。我们进一步对不同的SSL目标进行消融研究,以验证DualNet的有效性,鲁棒性和可扩展性。代码将在接受后提供。
2021-10-01 cs.AI cs.LG
Finding Structure in Continual Learning
本文提出了一种基于Douglas-Rachford Splitting方法的持续学习框架,通过解耦的两个目标在稳定性和可塑性之间进行协商,实现了更高效且稳定的持续学习。
2026-05-18 cs.LG
Elastic Weight Consolidation (EWC): Nuts and Bolts
University of California, Riverside(加州大学河滨分校)
在这份报告中,我们提出了一个理论支持的持续学习方法\textbf{Elastic Weight Consolidation},介绍了题为“克服神经网络中的灾难性遗忘”的论文。作为持续学习的正则化方法中引用最多的论文之一,该报告解开了所提出的目标函数的基本概念。我们假设读者了解持续学习的基本术语。
2021-05-10 cs.CV cs.LG stat.ML
Recall-Oriented Continual Learning with Generative Adversarial Meta-Model
Inha University(仁荷大学)
针对持续学习的稳定性-可塑性困境,提出受脑机制启发的双层面向回忆持续学习框架及生成对抗元模型GAMM,通过增量学习任务参数而非样本,在两类场景下兼顾新知识学习与旧知识稳定性。
2024-03-05 cs.AI cs.CV cs.LG
Subspace Distillation for Continual Learning
Monash University(莫纳什大学);CSIRO(澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学);Queensland University of Technology(昆士兰科技大学)
提出一种基于线性子空间建模数据流形的知识蒸馏技术,通过利用潜在空间的流形结构有效缓解了持续学习中的灾难性遗忘,并在多个数据集上显著提升了分类与分割任务的性能。
2023-08-01 cs.AI cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
当在大规模的未标记数据上进行离线训练时,自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而,在持续学习(CL)场景中,它们的功效会灾难性地降低,其中数据按顺序呈现给模型。在本文中,我们表明,自我监督的损失函数可以无缝地转换成CL蒸馏机制,通过添加一个预测网络,映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架,(i)显着提高学习表示的质量,(ii)与几个最先进的自监督目标兼容,(iii)几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Assessor-Guided Learning for Continual Environments
University of South Australia(南澳大学);Johannes Kepler University(约翰内斯·开普勒大学);Nantong University(南通大学);University of Indonesia(印度尼西亚大学)
本文提出了一种评估员指导的学习策略,用于持续学习,其中评估员通过控制学习过程的方向和节奏来指导基础学习者的学习过程,从而允许有效地学习新环境,同时防止灾难性干扰问题。评估员以元学习的方式进行训练,具有元目标以促进基础学习者的学习过程。它执行每个样本的软加权机制,接受正样本而拒绝负样本。基础学习器的训练目标是最小化交叉熵损失函数、暗体验重放(DER)损失函数和知识蒸馏损失函数的元加权组合,其交互以这样的方式被控制以获得改进的性能。为了克服情景记忆由于记忆资源有限而导致的类别不平衡问题,提出了一种补偿过采样策略。我们的方法,评估者引导学习方法(AGLA),已被评估在类增量和任务增量学习问题。AGLA实现了改进的性能相比,它的竞争对手,同时COS策略的理论分析。AGLA的源代码、基线算法和实验日志在\url{https://github.com/anwarmaxsum/AGLA}中公开共享,以供进一步研究。
2023-03-21 cs.AI cs.LG
On the Dangers of Bootstrapping Generation for Continual Learning and Beyond
Technical University of Munich(慕尼黑技术大学);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);University of Oxford(牛津大学)
研究指出持续学习中反复使用合成数据会引入偏差和方差,导致性能下降,且现有GER方法无法维持潜在空间对齐。
2025-12-05 cs.AI cs.CV cs.LG
The Need for a Big World Simulator: A Scientific Challenge for Continual Learning
Stanford University(斯坦福大学);University of Alberta(阿尔伯塔大学)
本文针对现有持续学习合成基准分布偏移不自然且偏离“小智能体,大世界”设定的问题,提出未来模拟环境设计的两项形式化标准,以兼顾现实复杂性与小规模快速原型验证。
2024-08-06 cs.AI cs.LG
Elastic Multi-Gradient Descent for Parallel Continual Learning
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文研究并行持续学习(PCL)新范式,针对多任务动态到达且学习进度不一的挑战,提出弹性多梯度下降(EMGD)方法,通过任务特定弹性因子调整下降方向至Pareto前沿,并引入梯度引导的记忆编辑机制以平衡新旧任务训练,有效减少负迁移。
2024-01-02 cs.AI cs.LG
Generalising via Meta-Examples for Continual Learning in the Wild
Università di Trento(特伦托大学);Università di Modena e Reggio Emilia(摩德纳雷焦艾米利亚大学)
未来的深度学习系统需要能够处理时态数据不断变化的性质以及在出现新问题时注释稀缺的技术。作为实现这一目标的一步,我们提出了FUSION(Few-Shot UnSupervised持续学习),这是一种学习策略,使神经网络能够在未标记的数据流和不平衡的任务上快速持续地学习。其目标是最大限度地提高从未标记数据流(无监督)中提取的知识,促进先前学习的任务和特征(连续)的向前传输,并在可用时尽可能多地利用监督信息(Few-Shot)。FUSION的核心是MEML -元示例元学习-通过在元优化阶段的单个内部循环中使用自我注意机制来巩固元表示。为了进一步提高MEML从少量数据中概括的能力,我们通过创建各种增强的代理任务和优化最困难的任务来扩展它。对公共计算机视觉基准的广泛实验评估表明,FUSION在Few-Shot和持续学习实验环境中的表现优于现有的最先进的解决方案。
2022-05-03 cs.CV cs.LG
DynaTokens: Controlling Token Dynamics for Continual Video-Language Understanding
本文提出HyperTokens,通过按需生成微调令牌,控制提示更新并保持内存固定,通过元启发式正则化抑制遗忘,提升连续视频问答任务的准确率与保留率。
2026-10-06 cs.CV cs.LG
KeepLoRA++: Continual Learning with Layer-Scaled Residual Gradient Adaptation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education(东南大学计算机网络和信息集成教育部重点实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突,提出KeepLoRA++,通过层级缩放残差梯度适应方法,限制LoRA参数更新到残差子空间并采用浅到深层缩放,平衡三者,在图像分类、视觉问答和视频理解任务上优于基线。
2026-06-16 cs.CV cs.LG
Representation Stability in a Minimal Continual Learning Agent
AI/ML Computational Science Associate Manager(人工智能/机器学习计算科学助理经理)
本文提出一个最小持续学习代理,通过状态向量的动态变化研究表示稳定性,展示在无显式正则化等情况下,系统能实现稳定性与可塑性的平衡。
2026-02-23 cs.AI cs.LG
Representation Finetuning for Continual Learning
Faculty of Information Technology, University of Jyväskylä(约赫斯库利亚大学信息科技学院);National University of Singapore(新加坡国立大学);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
本文提出CoRe框架,将微调从权重空间转向表示空间,通过低秩线性子空间进行任务特定干预,实现参数高效且稳定的持续学习。
2026-08-13 cs.AI cs.LG
Learning to Prompt for Continual Learning
Northeastern University(东北大学);Google Cloud AI(谷歌云人工智能);Google Research(谷歌研究院)
持续学习背后的主流范式是使模型参数适应非平稳数据分布,其中灾难性遗忘是核心挑战。典型的方法依赖于排练缓冲区或已知的任务标识在测试时检索学到的知识和地址遗忘,而这项工作提出了一个新的范例,持续学习的目的是训练一个更简洁的记忆系统,而无需访问任务标识在测试时。我们的方法学习动态提示(L2P)预训练模型在不同的任务转换下顺序学习任务。在我们提出的框架中,提示是小的可学习的参数,这些参数保存在内存空间中。我们的目标是优化提示,以指导模型预测和明确管理任务不变和任务特定的知识,同时保持模型的可塑性。我们在流行的图像分类基准下进行了全面的实验,具有不同的挑战性持续学习设置,其中L2P始终优于现有的最先进的方法。令人惊讶的是,L2P实现了竞争力的结果,对排练为基础的方法,即使没有排练缓冲区,并直接适用于具有挑战性的任务不可知的持续学习。源代码可在https://github.com/google-research/l2p上获得。
2022-03-21 cs.CV cs.LG
DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning
Northeastern University(东北大学);Google Cloud AI(谷歌云人工智能);Google Research(谷歌研究院)
持续学习旨在使单个模型能够学习一系列任务,而不会发生灾难性遗忘。性能最好的方法通常需要一个排练缓冲区来存储过去的原始例子,用于经验重放,然而,由于隐私和内存限制,这限制了它们的实用价值。在这项工作中,我们提出了一个简单而有效的框架DualPrompt,它学习了一组很小的参数,称为提示符,以正确地指导预先训练的模型学习顺序到达的任务,而无需缓冲过去的示例。DualPrompt提出了一种新的方法,将补充提示附加到预先训练的主干上,然后将目标制定为学习任务不变和任务特定的“指令”。通过广泛的实验验证,DualPrompt在具有挑战性的类增量设置下始终保持最先进的性能。特别是,DualPrompt优于最近具有相对较大缓冲区大小的高级持续学习方法。我们还引入了一个更具挑战性的基准,分裂ImageNet-R,以帮助推广无排练的持续学习研究。源代码可在https://github.com/google-research/l2p上获得。
2022-08-05 cs.CV cs.LG
Rethinking Transfer in Continual Learning: A Replay-Based Realisation
University of Chicago(芝加哥大学)
该研究重新思考持续学习中的迁移,提出三个条件框架,将其观点实例化为TSR,通过选择有益重放数据提升正向迁移,在低预算持续学习协议下优于现有基线,强调应把迁移作为持续学习首要目标先理解再设计。
2026-07-20 cs.LG
Meta-Learning Representations for Continual Learning
University of Alberta(阿尔伯塔大学)
一个持续学习的智能体应该能够在现有知识的基础上快速学习新数据,同时最大限度地减少遗忘。目前基于神经网络函数逼近器的智能系统可以说是做了相反的事情-它们非常容易忘记,而且很少经过训练来促进未来的学习。这种糟糕行为的一个原因是,它们从一个没有为这两个目标进行明确训练的表示中学习。在本文中,我们提出了OML,一个目标,直接最大限度地减少灾难性干扰的学习表示,加速未来的学习,并在持续学习在线更新下的遗忘是强大的。我们表明,它是可以学习的自然稀疏表示,更有效的在线更新。此外,我们的算法是补充现有的持续学习策略,如MER和GEM。最后,我们证明了一个基本的在线更新策略的表示学习OML是有竞争力的排练为基础的方法持续学习。我们在https://github.com/khurramjaved96/mrcl上发布了我们的方法的实现。
2019-10-30 cs.AI cs.LG stat.ML
Navigating Memory Construction by Global Pseudo-Task Simulation for Continual Learning
University of California Riverside(加州大学河滨分校);University of Southern California(南加州大学)
持续学习面临着灾难性遗忘的严峻挑战。为了应对这一挑战,通常使用维护来自先前任务的样本的极小子集的经验重放(ER)。现有的ER工作通常集中在细化的学习目标,为每个任务的静态记忆建设政策。在本文中,我们制定的动态内存建设ER作为一个组合优化问题,其目的是直接最小化全局损失在所有经验的任务。我们首先应用三种策略来解决离线设置中的问题作为起点。为了在在线持续学习环境中提供这个问题的近似解决方案,我们进一步提出了全局伪任务模拟(GPS),它通过置换来模拟当前任务的未来灾难性遗忘。我们的实证结果和分析表明,GPS在四个常用的视觉基准中始终提高精度。我们还表明,我们的GPS可以作为统一的框架,在现有的ER工程集成各种内存建设政策。
2022-10-16 cs.CV cs.LG
To Retain or to Adapt? Generalizing Continual Learning
ETH AI Center, Department of Computer Science, ETH Zürich(苏黎世联邦理工学院人工智能中心,计算机科学系);Mila - Quebec AI Institute, School of Computer Science, McGill University(魁北克人工智能研究所,麦吉尔大学计算机科学系);University of Technology Nuremberg(纽伦堡技术大学)
该研究挑战持续学习以保留知识为中心的前提,将其形式化为在线优化问题,引入转移效率指标,得出关键任务持续时间,验证理论预测,还提出预测持续学习算法类别及窗口算法,在受控分布漂移下有良好表现。
2026-10-22 cs.AI cs.LG stat.ML
On the Convergence of Continual Learning with Adaptive Methods
Seoul National University(首尔国立大学)
该研究针对持续学习任务收敛性研究不足的问题,分析了基于记忆的随机梯度下降持续学习的收敛性,提出自适应非凸持续学习方法NCCL,可在抑制遗忘时达到与SGD相同收敛速率,且在图像分类任务上性能更优。
2024-04-15 cs.AI cs.LG stat.ML
CVPR 2020 Continual Learning in Computer Vision Competition: Approaches, Results, Current Challenges and Future Directions
University of Bologna(博洛尼亚大学);ContinualAI Research(持续人工智能研究所);Element AI(元素人工智能公司);MILA(蒙特利尔学习算法研究所);ByteDance AI Labs(字节跳动人工智能实验室);University of Bristol(布里斯托大学);Tokyo Institute of Technology(东京工业大学);AIST RWBC-OIL(日本产业技术综合研究所实世界大数据与计算开放创新实验室);Chinese Academy of Sciences(中国科学院);University of Toronto(多伦多大学);University of Hamburg(汉堡大学);University of Cambridge(剑桥大学);Google AI(谷歌人工智能)
在过去的几年里,我们目睹了对深度神经网络的持续学习的新的和快速增长的兴趣,其共同目标是使当前的人工智能系统更具适应性,高效和自主性。然而,尽管该领域在解决灾难性遗忘的问题方面取得了重大和显著的进展,但对不同的持续学习方法进行基准测试本身就是一项艰巨的任务。事实上,考虑到不同的设置、培训和评估协议、指标和术语的激增,正确描述一个持续学习算法,将其与其他解决方案联系起来,并衡量其在现实世界中的适用性,往往是很棘手的。2020年在CVPR举办的第一届持续学习计算机视觉挑战赛是首批在通用硬件上评估不同持续学习算法的机会之一,该硬件具有大量共享评估指标和基于现实CORe 50视频基准的3种不同设置。在本文中,我们报告的主要结果的竞争,其中计数超过79个团队注册,11个决赛和2300$的奖金。我们还总结了成功的方法,当前的挑战和未来的研究方向。
2020-09-14 cs.AI cs.CV cs.LG
Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges
ENSTA Paris(巴黎高等先进技术学院);Institut Polytechnique de Paris(巴黎理工学院);INRIA(法国国家信息与自动化研究所);Thales(泰雷兹集团);University of Bologna(博洛尼亚大学)
持续学习(CL)是一种特殊的机器学习范例,其中数据分布和学习目标随时间变化,或者其中所有训练数据和客观标准永远不会同时可用。学习过程的演变是通过一系列学习经验来建模的,其目标是能够在整个过程中学习新技能,而不会忘记以前学到的东西。持续学习的目的还在于同时优化学习过程中的存储器、计算能力和速度。机器学习面临的一个重要挑战不一定是找到在现实世界中有效的解决方案,而是找到可以在现实世界中学习的稳定算法。因此,理想的方法是在一个具体的平台上处理现实世界:一个自主智能体。持续学习在自主智能体或机器人中将是有效的,它将随着时间的推移自主学习外部世界,并逐步发展一套复杂的技能和知识。机器人代理必须学习使用连续的观察流来适应环境并与环境交互。最近的一些方法旨在解决机器人技术的持续学习,但最近关于持续学习的大多数论文仅在模拟或静态数据集上进行实验。不幸的是,对这些算法的评估并没有提供关于它们的解决方案是否有助于机器人背景下的持续学习的见解。本文旨在回顾现有的持续学习的艺术状态,总结现有的基准和指标,并提出了一个框架,提出和评估机器人和非机器人的方法,使这两个领域之间的转移更容易。
2019-11-22 cs.LG cs.RO
CLARE: Scalable Class-Incremental Continual Learning via a Sparsity-Based Framework
The University of Hong Kong(香港大学);Hong Kong Generative AI Research and Development Center(香港生成式人工智能研发中心)
本文提出稀疏驱动持续学习框架CLARE,通过两阶段稀疏掩码微调缓解任务间干扰,在Omnibenchmark-1k上显著提升最终准确率,实现可扩展的类增量学习。
2026-09-16 cs.CV cs.LG
Bilevel Continual Learning
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院)
持续学习旨在以在线学习的方式从一系列任务和数据中持续学习,能够利用以前学到的知识来改进当前和未来的任务,同时仍然能够在以前的任务中表现良好。许多现有的持续学习方法的一个共同的限制是,由于持续学习的性质,它们经常直接在所有可用的训练数据上训练模型而不进行验证,因此在测试时具有较差的泛化能力。在这项工作中,我们提出了一个新的框架,名为“双层持续学习“(BCL)通过统一的{ \it双层优化}目标和{ \it双重存储管理}策略,包括情景记忆和概括记忆,以实现有效的知识转移到未来的任务,同时减轻灾难性遗忘旧的任务。我们对持续学习基准的大量实验表明,与许多最先进的方法相比,所提出的BCL的有效性。我们的实现可以在https://github.com/phquang/bilevel-continual-learning上获得。
2020-07-30 cs.LG stat.ML
Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams
KU Leuven(鲁汶大学)
在表示学习中,获得代表类分布的原型特征是很好的。然而,从流数据在线学习原型证明了一项具有挑战性的工作,因为它们很快就会过时,这是由学习过程中不断变化的参数空间引起的。此外,持续学习并不假设数据流是静止的,这通常会导致对先前知识的灾难性遗忘。首先,我们介绍了一个解决这两个问题的系统,其中原型在共享的潜在空间中不断发展,使学习和预测在任何时间点。与持续学习中的主要工作相比,数据流以在线方式处理,而无需额外的任务信息,并且高效的存储器方案为不平衡的数据流提供了鲁棒性。除了基于最近邻的预测,学习是由一个新的目标函数,鼓励集群密度的类原型和增加类间方差。此外,潜在的空间质量提高了伪原型在每一批,构成重放的样本从记忆中。作为一个额外的贡献,我们概括了现有的范例,在持续学习纳入数据流的数据增量学习,通过形式化的两个代理学习者评估框架。我们在八个基准测试中获得了最先进的性能,其中包括三个高度不平衡的数据流。
2021-04-06 cs.AI cs.CV
Formalizing Forgetting: Theory of Forgetting for Online Continual Learning
Boston College(波士顿学院);Sun Yat-sen University(中山大学)
该研究针对在线持续学习的遗忘问题,分析强凸与一般凸目标下的单次遍历Shuffle SGD,推导遗忘上界并通过Split-CIFAR-100等实验验证理论趋势,为理解遗忘的影响因素提供了理论支撑。
2026-10-14 cs.LG
Contrastive Continual Learning for Model Adaptability in Internet of Things
Ajesh Koyatan Chathoth(独立研究者)
本文提出了一种面向物联网的对比持续学习方法,结合算法设计与系统现实,解决模型适应性问题并提出评估指导。
2026-02-04 cs.AI cs.LG
Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation
Weizmann Institution(魏茨曼研究所)
针对持续学习中的灾难性遗忘问题,本文提出一种通过为每个任务创建特定调制参数以实现零遗忘并最大化新任务性能的高效无预演方法。
2023-11-26 cs.CV cs.LG
Rethinking the Stability-Plasticity Trade-off in Continual Learning from an Architectural Perspective
Aojun Lu(阿俊·卢);Hangjie Yuan(元航杰);Tao Feng(冯涛);Yanan Sun(孙燕安)
本文从架构层面揭示深度网络可塑性更强、宽度网络稳定性更强的规律,并提出即插即用的 Dual-Arch 框架,通过两个专用轻量网络分别负责可塑性与稳定性,在提升持续学习性能的同时最多减少 87% 参数。
2025-06-05 cs.CV cs.LG
Continual learning on 3D point clouds with random compressed rehearsal
University of Wroclaw(弗罗茨瓦夫大学);Warsaw University of Technology(华沙工业大学);Tooploox
当代深度神经网络在应用于视觉推理时提供了最先进的结果,例如,在3D点云数据的上下文中。点云是三维环境精确建模的重要数据类型,但有效处理这类数据被证明是具有挑战性的。在大型、高度参数化的网络架构和连续流式数据的世界中,越来越需要可以在额外数据上训练的机器学习模型。不幸的是,目前可用的模型无法在不丢失过去知识的情况下充分利用额外数据的训练。对抗这种被称为灾难性遗忘的现象是持续学习的主要目标之一。深度神经网络的持续学习一直是一个活跃的研究领域,主要在2D计算机视觉、自然语言处理、强化学习和机器人技术中。然而,在3D计算机视觉中,几乎没有任何专门设计用于利用点云结构的持续学习解决方案。提出了一种新的神经网络结构,能够对三维点云数据进行持续学习。我们利用点云结构的属性,以保留一组严重压缩的过去的数据。通过使用排练和重建作为学习过程的正则化方法,我们的方法实现了显着减少灾难性遗忘相比,现有的解决方案,考虑到两个持续学习设置的几个最流行的点云数据集:当一个任务是已知的,并在具有挑战性的情况下,当任务信息是未知的模型。
2022-05-20 cs.CV cs.LG
When to Review: Spaced Repetition for Continual Pre-Training of Language Models
University College London(伦敦大学学院);NatWest AI Research(国民西敏寺银行人工智能研究部)
本研究提出受认知科学启发的SRT框架,采用SM-2算法调度样本重放,可恢复大型语言模型持续预训练中5至37个百分点的旧知识准确率,同时保留或提升新知识获取能力。
2026-08-19 cs.AI cs.LG
Regularizing Second-Order Influences for Continual Learning
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Wormpex AI Research(Wormpex AI研究院)
针对持续学习回放样本的连续选择干扰问题,本文基于影响函数识别并正则化二阶影响,提出新型选择目标及高效实现,并在多个基准上验证其优于现有方法。
2023-04-20 cs.CV cs.LG
Backdoor Attacks on Contrastive Continual Learning for IoT Systems
本文研究了物联网系统中对比持续学习的后门攻击问题,分析了攻击机制并提出针对性的防御策略。
2026-02-13 cs.CR cs.LG cs.NI
Continual pretraining Prostate MRI ViT Encoder for task alignment
University College London(伦敦大学学院)
本研究针对MRI基础模型预训练与下游任务对齐不足的问题,采用LoRA对前列腺分割任务的ViT编码器持续预训练,结合CKA分析,使3/6下游任务性能提升。
2026-10-14 cs.CV cs.LG
Robust Emotion Recognition via Bi-Level Self-Supervised Continual Learning
Deakin University(迪肯大学);Monash University(莫纳什大学)
针对生理信号情绪识别中跨个体差异、标签噪声及无标签连续流式数据的挑战,提出基于动态记忆缓冲区的双层自监督持续学习框架SSOCL,经实验验证其跨被试泛化性与流数据适应能力优于现有方法。
2025-05-19 cs.CV cs.LG