Momentum-based Weight Interpolation of Strong Zero-Shot Models for Continual Learning
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
大型预训练的、具有zero-shot能力的模型在标准传输和自适应任务中都表现出相当大的成功，对分布偏移具有特别的鲁棒性。此外，后续的微调可以显著提高选定下游任务的性能。然而，通过朴素的微调，这些zero-shot模型失去了它们对分布偏移的概括性和鲁棒性。这对于诸如持续学习（CL）之类的任务是一个特殊的问题，在CL中，随着新的任务分布被顺序地引入，必须执行持续适应。在这项工作中，我们展示了微调不足，以适应这种zero-shot能力的模型，简单的动量为基础的权重插值可以提供一致的改进CL任务在无内存和基于内存的设置。特别是，我们发现在标准CL基准测试上的改进超过了$+4\%$，同时将错误减少到一次对所有任务进行联合训练的上限一半以上，使持续学习者能够更接近联合训练极限。
2022-11-06 cs.CV cs.LG
Contrastive Continual Learning with Feature Propagation
Carleton University（卡尔顿大学）
经典的机器学习器被设计为只处理一个任务，而没有能力采用新出现的任务或类，而这种能力在现实世界中更实用，更像人类。为了解决这个缺点，连续机器学习器被精心设计，以很好地学习不同任务之间的域和类转移的任务流。在本文中，我们提出了一种通用的基于特征传播的对比持续学习方法，它能够处理多个持续学习场景。具体来说，我们对齐当前和以前的表示空间的特征传播和对比表示学习的桥梁不同的任务之间的域转移。为了进一步减轻特征表示的类向移位，利用监督对比损失来使相同类的示例嵌入比不同类的示例嵌入更接近。大量的实验结果表明，所提出的方法相比，一组先进的持续学习方法的突出表现在六个持续学习基准。
2021-12-03 cs.LG
A Benchmark and Empirical Analysis for Replay Strategies in Continual Learning
City University of Hong Kong（香港城市大学）；Imperial College London（帝国理工学院）
由于具有持续学习的能力，人类可以在一生中不断地获得知识。然而，计算系统通常不能顺序地学习任务。深度神经网络（DNN）面临的这一长期挑战被称为灾难性遗忘。已经提出了多种解决方案来克服这种限制。本文对内存回放方法进行了深入的评估，探讨了在选择回放数据时各种采样策略的效率、性能和可扩展性。所有的实验都是在不同领域的多个数据集上进行的。最后，提供了一个实用的解决方案，为各种数据分布选择重放方法。
2022-08-04 cs.LG
Bayesian Continual Learning via Spiking Neural Networks
生物智能的主要特征包括能源效率、持续适应能力以及通过不确定性量化进行风险管理。迄今为止，神经形态工程主要是由实现节能机器的目标驱动的，这些机器从生物大脑的基于时间的计算范式中获得灵感。在本文中，我们采取措施的神经形态系统的设计，能够适应不断变化的学习任务，同时产生校准良好的不确定性量化估计。为此，我们推导出脉冲神经网络（SNN）的贝叶斯持续学习框架内的在线学习规则。其中，每个突触权重由量化由先验知识和观测数据产生的当前认知不确定性的参数表示。所提出的在线规则更新的分布参数，在流的方式作为数据被观察。我们实例所提出的方法为实值和二进制突触权重。使用英特尔的Lava平台的实验结果表明，贝叶斯在适应能力和不确定性量化方面优于频率学习。
2022-11-01 cs.AI cs.LG cs.NE
Bilevel Continual Learning
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
持续学习旨在以在线学习的方式从一系列任务和数据中持续学习，能够利用以前学到的知识来改进当前和未来的任务，同时仍然能够在以前的任务中表现良好。许多现有的持续学习方法的一个共同的限制是，由于持续学习的性质，它们经常直接在所有可用的训练数据上训练模型而不进行验证，因此在测试时具有较差的泛化能力。在这项工作中，我们提出了一个新的框架，名为“双层持续学习“（BCL）通过统一的{ \it双层优化}目标和{ \it双重存储管理}策略，包括情景记忆和概括记忆，以实现有效的知识转移到未来的任务，同时减轻灾难性遗忘旧的任务。我们对持续学习基准的大量实验表明，与许多最先进的方法相比，所提出的BCL的有效性。我们的实现可以在https://github.com/phquang/bilevel-continual-learning上获得。
2020-07-30 cs.LG stat.ML
Effect of Optimizer, Initializer, and Architecture of Hypernetworks on Continual Learning from Demonstration
University of Innsbruck（因斯布鲁克大学）
本文探索了超网络的优化器、初始化器和网络架构对基于演示的持续学习（CLfD）性能的影响，发现自适应学习率优化器效果良好，专用初始化器无优势，且稳定预测轨迹的超网络对架构具有鲁棒性。
2023-12-31 cs.LG cs.RO
ATLAS: Universal Function Approximator for Memory Retention
University of Pretoria（比勒陀利亚大学）
尽管人工神经网络（ANN）具有通用函数逼近能力和实际成功，但它容易发生灾难性遗忘。灾难性遗忘是指在学习新任务时突然忘记先前的任务。它是一种阻碍持续学习的突发现象。现有的泛函数逼近定理保证了神经网络的函数逼近能力，但不能预测灾难性遗忘。本文给出了一个新的仅用单变量函数和指数函数的多元函数的通用逼近定理。此外，我们提出ATLAS：一种新的人工神经网络架构的基础上的新定理。结果表明，ATLAS是一个通用的函数逼近器，能够保持一定的记忆，和持续学习。ATLAS的记忆是不完美的，在持续学习过程中会有一些脱靶效应，但它表现良好，具有可预测性。ATLAS的一个有效的实现。实验进行评估的功能近似和记忆保持能力的ATLAS。
2022-08-10 cs.LG cs.NE
Deep Generative Dual Memory Network for Continual Learning
University of Southern California（南加利福尼亚大学）
尽管深度学习取得了进展，但神经网络只能在联合训练时学习多个任务。当任务按顺序到达时，他们会在之前学习的任务上失去表现。这种被称为灾难性遗忘的现象是神经网络从输入数据中不断学习之前需要克服的一个基本挑战。在这项工作中，我们从人类记忆中获得灵感，开发一种能够从连续传入的任务中不断学习的架构，同时避免灾难性遗忘。具体来说，我们的贡献是：（i）模拟人类大脑中的互补学习系统（海马和新皮层）的双重记忆架构，（ii）通过生成重放过去的经验来巩固记忆，（iii）通过实验证明生成重放和双重记忆的优势，以及（iv）即使对于低容量模型，也能提高对挑战性任务的性能保持。我们的架构显示了哺乳动物记忆的许多特征，并提供了关于睡眠和学习之间联系的见解。
2018-05-25 cs.LG
Achieving Deep Continual Learning via Evolution
针对深度神经网络持续学习能力受限的问题，受人类群体学习启发提出ECL框架，通过进化多样化模型群体、为每个增量任务定制专用专家模型，解决稳定性与可塑性矛盾，性能显著优于现有个体级持续学习方法，开辟AI持续学习新路径。
2025-07-31 cs.LG
Realizing Continual Learning through Modeling a Learning System as a Fiber Bundle
The Hong Kong Polytechnic University（香港理工大学）；Department of Computing（计算机系）
人类大脑本质上能够持续学习;然而，当前主流的深度神经网络遭受称为灾难性遗忘的现象（即，突然完全地学习一组新的模式会导致完全忘记已经学过的东西）。在本文中，我们提出了一个通用的学习模型，它把一个学习系统作为一个纤维束。通过多种机器学习实验，将该模型的学习性能与传统的多层感知器神经网络的学习性能进行比较，发现该模型不仅具有良好的持续学习能力，而且具有较高的信息容量。此外，我们发现在一些学习情境中，通过使学习时间感知模仿人脑中的情景记忆，可以进一步提高学习成绩。最后但并非最不重要的是，我们发现我们模型中的遗忘特性与人类记忆的特性非常一致。这项工作可能揭示人类大脑如何学习。
2019-02-16 cs.AI cs.LG cs.NE
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
North Carolina State University（北卡罗来纳州立大学）；Salesforce Research（赛富时研究院）
解决灾难性遗忘是持续学习的关键挑战之一，其中机器学习系统是用顺序或流式任务训练的。尽管最近在最先进的深度学习方面取得了显着进展，但深度神经网络（DNN）仍然受到灾难性遗忘问题的困扰。本文提出了一个概念上简单而通用的有效框架，用于处理持续学习中的灾难性遗忘。所提出的方法由两个部分组成：神经结构优化组件和参数学习和/或微调组件。通过分离显式神经结构学习和参数估计，该方法不仅能够以直观有意义的方式进化神经结构，而且在实验中显示出较强的缓解灾难性遗忘的能力。此外，所提出的方法优于所有其他基线上的排列MNIST数据集，分裂CIFAR 100数据集和视觉领域十项全能数据集在持续学习设置。
2019-05-21 cs.CV cs.LG
Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning
Google Research（谷歌研究院）
针对持续小样本学习的不遗忘问题，提出基于HyperTransformer的递归权重复用方法，无需重放缓冲区等常用机制，可在多种学习场景下保留过往任务知识。
2024-08-18 cs.CV cs.LG
Class-Incremental Mixture of Gaussians for Deep Continual Learning
Virginia Commonwealth University（弗吉尼亚联邦大学）
本文提出将高斯混合模型端到端融入类增量持续学习框架，通过梯度优化和避免退化解的损失设计实现深度特征提取器与混合模型的联合优化，并在无记忆场景下验证了其有效性。
2023-07-09 cs.LG
A Unified Framework for Continual Learning and Unlearning
KIIT Bhubaneswar（基特布巴内什瓦尔大学）；SagepilotAI（赛奇派洛特人工智能公司）；EPFL（洛桑联邦理工学院）；University of South Florida（南佛罗里达大学）
本文提出首个统一持续学习与机器遗忘的框架，通过受控知识蒸馏和固定内存缓冲区，在基准数据集上达到或超过现有方法性能，支持模型动态学习与定向遗忘。
2024-12-25 cs.LG
Continual Learning in Deep Neural Network by Using a Kalman Optimiser
University of Surrey（萨里大学）；Adobe（奥多比）
在持续学习模型中，学习和适应新的分布或顺序地学习新的任务而不忘记先前学习的知识是一个具有挑战性的现象。大多数传统的深度学习模型不能在一个模型中顺序地学习新任务而不忘记先前学习的任务。我们通过使用卡尔曼优化器来解决这个问题。卡尔曼优化器将神经网络分为两部分：长期记忆单元和短期记忆单元。长期记忆单元用于记忆已学任务，短期记忆单元用于适应新任务。我们在MNIST，CIFAR10，CIFAR100数据集上评估了我们的方法，并将我们的结果与最先进的基线模型进行了比较。结果表明，我们的方法使模型能够不断学习和适应新的变化，而不会忘记以前学习的任务。
2019-05-24 cs.LG stat.ML
HyperHawkes: Hypernetwork based Neural Temporal Point Process
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
时间点过程是连续时间空间中时间-事件数据建模的重要工具。尽管有来自社交媒体、医疗保健等各个领域的大量事件序列数据，时间点过程的实际应用面临两个主要挑战：1）在动态环境中从看不见的序列预测事件是不可推广的; 2）它们不能在保持先前学习的知识的同时在具有最小监督的持续发展的环境中茁壮成长。为了解决这些问题，我们提出了\textit{HyperHawkes}，一个基于超网络的时间点过程框架，它能够建模时间的事件发生的看不见的序列。从而，我们解决了时间到事件建模的零样本学习问题。我们还开发了一个基于超网络的不断学习的时间点过程的时间到事件序列的连续建模与最小的遗忘。通过这种方式，\textit{HyperHawkes}通过zero-shot建模和持续学习能力增强了时间点过程。我们通过在两个真实数据集上的实验来演示所提出的框架的应用。我们的研究结果表明，所提出的方法在预测未来事件的zero-shot制度下看不见的事件序列的有效性。我们还表明，该模型能够预测序列，同时保留以前的事件序列的信息，从而减轻灾难性遗忘的时间到事件的数据。
2022-10-01 cs.LG
Continual Prune-and-Select: Class-incremental learning with specialized subnetworks
Delft University of Technology（代尔夫特理工大学）；Brown University（布朗大学）
人类大脑能够连续学习任务，大部分不会忘记。然而，深度神经网络（DNN）在学习一个又一个任务时会遭受灾难性遗忘。我们解决这个挑战，考虑类增量学习的情况下，DNN看到测试数据，而不知道该数据来源的任务。在训练过程中，连续剪枝和选择（CP&S）在DNN中找到负责解决给定任务的子网络。然后，在推理过程中，CP&S选择正确的子网络来为该任务进行预测。通过训练DNN的可用神经元连接（先前未训练的）来学习新任务，以通过修剪来创建新的子网络，该子网络可以包括属于其他子网络的先前训练的连接，因为它不更新共享连接。这使得能够通过在DNN中创建彼此不冲突的专门区域来消除灾难性遗忘，同时仍然允许跨它们的知识转移。CP&S策略使用不同的子网络选择策略来实现，在各种数据集（CIFAR-100，CUB-200-2011，ImageNet-100和ImageNet-1000）上测试的最先进的持续学习方法显示出卓越的性能。特别是，CP&S能够从ImageNet-1000中顺序学习10个任务，准确率保持在94%左右，遗忘可以忽略不计，这是类增量学习的首个结果。据作者所知，与最佳替代方法相比，这表示准确度提高了10%以上。
2023-01-17 cs.AI cs.CV cs.LG
Continual Learning with Fully Probabilistic Models
Fulda University of Applied Sciences（富尔达应用科学大学）
我们提出了一种基于机器学习的完全概率（或生成）模型的持续学习（CL）方法。与之相反，例如，GANs是“生成”的，因为它们可以生成样本，完全概率模型旨在直接对数据分布进行建模。因此，它们提供了与持续学习高度相关的功能，例如密度估计（离群值检测）和样本生成。作为生成式持续学习的一种具体实现，我们提出了高斯混合重放（GMR）算法。GMR是使用高斯混合模型（GMM）实例用于生成器和分类器功能的伪排练方法。依赖于MNIST，FashionMNIST和Devanagari基准，我们首先展示了无监督的任务边界检测GMM密度估计，我们也用它来拒绝不典型的生成样本。此外，我们证明了GMR能够以cGAN的方式进行类条件采样。最后，我们验证了GMR，尽管它的结构简单，实现了最先进的性能在非常有竞争力的时间和内存复杂性的常见类增量学习问题。
2021-04-19 cs.LG stat.ML
Continual Learning with Weight Interpolation
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出在持续学习各新任务后插值融合新旧模型权重的权重整合方法，以缓解灾难性遗忘、调节稳定性—可塑性权衡，并显著增强现有经验回放算法。
2024-04-09 cs.LG
Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning
University of Vermont（佛蒙特大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出反复重置最后一层权重的“zapping”预训练机制，在不依赖高阶梯度的情况下提升少样本迁移和持续学习性能，达到与先进元学习方法相当的效果。
2024-10-20 cs.CV cs.LG cs.NE
Noise-Tolerant Coreset-Based Class Incremental Continual Learning
University of Kentucky（肯塔基大学）；SRI International（SRI国际）
针对类增量持续学习中的标签与实例噪声问题，提出基于核心集重放缓冲区的两种噪声容忍算法，理论推导鲁棒性界限，实验证明其显著提升分类精度并减少遗忘。
2025-04-23 cs.AI cs.CV cs.LG
Progress & Compress: A scalable framework for continual learning
DeepMind（深度思维）；University of Oxford（牛津大学）
我们介绍了一个概念上简单和可扩展的框架，连续学习领域的任务是按顺序学习。我们的方法在参数数量上是恒定的，旨在保持先前遇到的任务的性能，同时加快后续问题的学习进度。这是通过训练一个具有两个组件的网络来实现的：一个知识库，能够解决以前遇到的问题，它连接到一个活动列，用于有效地学习当前任务。在学习了一项新任务后，活动列被提取到知识库中，注意保护任何以前获得的技能。这种主动学习（进展）和整合（压缩）的循环不需要架构增长，不需要访问或存储以前的数据或任务，也不需要特定于任务的参数。我们展示了手写字母顺序分类的进步和压缩方法以及两个强化学习领域：Atari游戏和3D迷宫导航。
2018-07-02 cs.LG stat.ML
Continual Learning with Deep Generative Replay
Massachusetts Institute of Technology（麻省理工学院）；SK T-Brain
训练一个能够解决多项任务的综合性人工智能的尝试一直受到一个被称为灾难性遗忘的慢性问题的阻碍。虽然简单地重放所有以前的数据可以解决这个问题，但它需要大量内存，甚至更糟的是，在对过去数据的访问有限的现实世界应用程序中通常是不可行的。受海马体作为灵长类动物大脑中短期记忆系统的生成本质的启发，我们提出了深度生成重播，这是一种新颖的框架，具有合作双模型架构，由深度生成模型（“生成器”）和任务求解模型组成（“求解器”）。只有这两个模型，以前任务的训练数据可以很容易地被采样，并与新任务的数据交织。我们测试我们的方法在几个连续的学习设置涉及图像分类任务。
2017-12-12 cs.AI cs.CV cs.LG
Continual learning for surface defect segmentation by subnetwork creation and selection
Delft University of Technology（代尔夫特理工大学）；Brown University（布朗大学）
提出持续学习算法 LDA-CP&S，通过迭代剪枝为每类缺陷创建子网络并用 LDA 选择，在增量表面缺陷分割中避免遗忘，性能较现有方法提升一倍且接近联合训练。
2023-12-08 cs.CV cs.LG
Continual Learning from Demonstration of Robotics Skills
University of Innsbruck（因斯布鲁克大学）；University of Trento（特伦托大学）
本文提出基于超网络与神经常微分方程求解器的演示持续学习方法，使机器人能连续学习多个运动技能而不遗忘旧技能，并在LASA及自建真实机器人数据集上验证其优于现有持续学习方法。
2023-04-12 cs.LG cs.RO
Continual learning on 3D point clouds with random compressed rehearsal
University of Wroclaw（弗罗茨瓦夫大学）；Warsaw University of Technology（华沙工业大学）；Tooploox
当代深度神经网络在应用于视觉推理时提供了最先进的结果，例如，在3D点云数据的上下文中。点云是三维环境精确建模的重要数据类型，但有效处理这类数据被证明是具有挑战性的。在大型、高度参数化的网络架构和连续流式数据的世界中，越来越需要可以在额外数据上训练的机器学习模型。不幸的是，目前可用的模型无法在不丢失过去知识的情况下充分利用额外数据的训练。对抗这种被称为灾难性遗忘的现象是持续学习的主要目标之一。深度神经网络的持续学习一直是一个活跃的研究领域，主要在2D计算机视觉、自然语言处理、强化学习和机器人技术中。然而，在3D计算机视觉中，几乎没有任何专门设计用于利用点云结构的持续学习解决方案。提出了一种新的神经网络结构，能够对三维点云数据进行持续学习。我们利用点云结构的属性，以保留一组严重压缩的过去的数据。通过使用排练和重建作为学习过程的正则化方法，我们的方法实现了显着减少灾难性遗忘相比，现有的解决方案，考虑到两个持续学习设置的几个最流行的点云数据集：当一个任务是已知的，并在具有挑战性的情况下，当任务信息是未知的模型。
2022-05-20 cs.CV cs.LG
Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；City University of Hong Kong（香港城市大学）；School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院）
本文提出Dual-CBA框架，通过结合类别特定与类别无关的持续偏置适配器及增量批归一化模块，从双层优化视角有效缓解在线持续学习中的灾难性遗忘与分布偏移问题。
2024-08-26 cs.AI cs.LG
Autonomous Deep Learning: Continual Learning Approach for Dynamic Environments
Nanyang Technological University（南洋理工大学）
由于传统深度学习方法的静态和离线性质，深度神经网络（DNN）解决数据流问题的可行性仍然需要深入研究。提出了一种深度持续学习算法--自主深度学习（ADL）。与传统的深度学习方法不同，ADL具有灵活的结构，其网络结构可以在没有初始网络结构的情况下通过自构建网络结构从头开始构建。ADL通过具有能够在可塑性和稳定性之间实现权衡的不同深度结构来专门解决灾难性遗忘。提出了网络重要性公式来驱动隐节点的生长和修剪机制。漂移检测方案（DDS）是为了信号的分布变化，导致一个新的隐藏层的创建数据流。最大信息压缩指数（MICI）方法作为消除冗余层的复杂度降低模块起着重要的作用。ADL的有效性进行了数值验证下，在终身环境中使用九个流行的数据流问题的prequential测试，然后训练程序。数值结果表明，ADL始终优于最近的持续学习方法，同时表征网络结构的自动构建。
2020-01-09 cs.LG stat.ML
When Does Continual Learning Require Learning
UC Berkeley（加州大学伯克利分校）；Capital Fund Management（资本基金管理公司）
研究大语言模型持续学习问题，从空间和时间轴分解变化，通过重新设置基准和引入协议评估多种方法，发现持续学习非单一能力，不同环境变化需不同更新行为，为设计更强持续学习系统提供指导。
2026-07-10 cs.LG
Learning Invariant Representation for Continual Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
持续学习的目的是提供能够在先前学习的知识的基础上持续学习一系列任务的智能代理。这种学习范式的一个关键挑战是，当智能体面对一个新的任务时，会灾难性地忘记以前学习过的任务。目前的排练为基础的方法表明，他们成功地减轻了灾难性遗忘的问题，在学习一个新的过程中重放样本从以前的任务。然而，当先前任务的数据不可访问时，这些方法是不可行的。在这项工作中，我们提出了一个新的伪排练为基础的方法，命名为学习不变表示持续学习（IRCL），其中类不变的表示是从一个条件生成模型中分离出来，并与类特定的表示联合使用来学习顺序任务。解开共享不变表示有助于不断学习一系列任务，同时对遗忘更鲁棒，并具有更好的知识转移。我们专注于类增量学习，在推理过程中没有关于任务身份的知识。我们经验评估我们提出的方法对两个著名的基准持续学习：分裂MNIST和分裂时尚MNIST。实验结果表明，我们提出的方法优于基于正则化的方法，由一个大的利润，是优于最先进的伪排练为基础的方法。最后，我们分析了共享不变表示在减轻遗忘问题中的作用，特别是当每个先前任务的重放样本的数量很小时。
2021-01-15 cs.AI cs.CV cs.LG
Foundations of a Developmental Design Paradigm for Integrated Continual Learning, Deliberative Behavior, and Comprehensibility
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）；Sabancı University（巴卡大学）
本文提出受进化发育生物学启发的三组件系统设计，通过无梯度 Modeller、规划器和层次化行为封装，实现持续学习、审慎行动与可理解性的集成。
2025-10-18 cs.AI cs.CV cs.LG
Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship
Tencent Jarvis Lab（腾讯Jarvis实验室）
提出关系经验回放（RER）双层学习框架，通过自适应调节任务间关系与样本重要性优化稳定性与可塑性权衡，有效缓解持续学习中的灾难性遗忘，在多个数据集上超越现有方法。
2023-08-03 cs.CV cs.LG
Live and Learn: Continual Action Clustering with Incremental Views
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；School of Creative Technologies, University of Portsmouth（朴茨茅斯大学创意技术学院）
针对多视图动作聚类中视图增量获取及多视图不变信息学习难的问题，提出带类别记忆库和共识划分矩阵的持续动作聚类方法，经6个真实数据集验证，性能和时空效率优于15种现有基线方法。
2024-03-23 cs.CV cs.LG
Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
Rowan University（罗文大学）
提出受神经科学启发的Robust Rehearsal框架，通过特征蒸馏与再巩固机制缓解持续学习中的灾难性遗忘，在多个数据集上优于基线方法。
2024-04-22 cs.CV cs.LG
Continual learning via probabilistic exchangeable sequence modelling
University of Oxford（牛津大学）
提出基于神经过程的概率持续学习模型CL-BRUNO，通过贝叶斯更新和正则化防止灾难性遗忘，在图像和生物医学数据上优于现有方法。
2025-03-26 cs.LG stat.ML
Adiabatic replay for continual learning
University of Applied Sciences Fulda（富尔达应用科学大学）
传统的基于重放的持续学习（CL）方法对于具有新数据的每个学习阶段需要重放代表所有先前学习的知识的样本，以便避免灾难性遗忘。由于在CL问题中学习的知识量随着时间的推移而增长，因此生成重放花费越来越多的时间重新学习已经知道的内容。在这个概念验证研究中，我们提出了一种基于重放的CL策略，我们称之为绝热重放（AR），它的效率来自于每个新学习阶段是绝热的（合理）假设，即，这只是对现有知识的一个小小的补充。每一个新的学习阶段都会触发一个采样过程，从现有的知识中选择性地重放与新数据相似的样本，而不是重放所有的样本。不需要完全重放，因为AR代表了GARCH的数据分布，GARCH只有在数据统计发生变化时才能选择性地更新其内部表示。只要加法是绝热的，则要重放的样本的量根本不需要取决于先前获取的知识的量。我们通过实验验证了AR优于使用VAE的最先进的深度生成重放。
2023-03-23 cs.AI cs.LG
Overcoming Growth-Induced Forgetting in Task-Agnostic Continual Learning
Hong Kong Polytechnic University（香港理工大学）；Indian Institute of Technology（印度理工学院）；Imperial College London（伦敦帝国学院）
SparseGrow通过梯度和参数稀疏性解决持续学习中的增长性遗忘问题，提升模型适应性与知识保留能力。
2025-12-22 cs.AI cs.LG
Multi-label Classification via Adaptive Resonance Theory-based Clustering
Graduate School of Engineering, Osaka Prefecture University（大阪府立大学工学院）；Faculty of Computer Science and Information Technology, University of Malaya（马来亚大学计算机科学与信息技术学院）；Southern University of Science and Technology（南方科技大学）
本文提出一种基于自适应共振理论聚类与贝叶斯标签概率计算的多标签分类算法，通过持续生成原型节点实现持续学习，并在实验中取得与其他知名算法相当的分类性能。
2021-09-03 cs.LG
Stochastic Engrams for Efficient Continual Learning
School of Biomedical Engineering, The University of Sydney（悉尼大学生物医学工程学院）
受神经科学印迹启发，提出随机激活印迹作为门控机制用于元可塑性二值化神经网络，在类增量场景中唯一达到超20%平均准确率，域增量与全精度相当，并显著降低GPU和RAM使用。
2026-09-29 cs.LG
Inexact-ADMM Based Federated Meta-Learning for Fast and Continual Edge Learning
Central South University（中南大学）；Arizona State University（亚利桑那州立大学）
为了满足许多物联网应用对性能、安全性和延迟的要求，必须立即在网络边缘做出智能决策。然而，有限的资源和有限的本地数据量对边缘AI的发展构成了重大挑战。为了克服这些挑战，我们探索能够利用以前任务中的知识转移的持续边缘学习。为了实现快速和持续的边缘学习，我们提出了一种平台辅助的联邦元学习架构，其中边缘节点协作学习元模型，并辅之以来自先前任务的知识转移。边缘学习问题被转换为正则化优化问题，其中从先前任务中学习到的有价值的知识被提取为正则化。然后，我们设计了一个基于ADMM的联邦元学习算法，即ADMM-FedMeta，其中ADMM提供了一种自然的机制，将原始问题分解为许多子问题，这些子问题可以跨边缘节点和平台并行求解。此外，不精确ADMM方法的一个变体是采用"解决"的子问题，通过线性近似以及海森估计，以减少每轮的计算成本$\mathcal{O}(n)$。我们提供了一个全面的分析ADMM-FedMeta，在收敛性能，快速适应性能，和遗忘效应的先验知识转移，一般非凸的情况下。广泛的实验研究证明了ADMM-FedMeta的有效性和效率，并显示它大大优于现有的基线。
2021-08-17 cs.LG cs.NI
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
开发能够真正终身学习的人工智能应用的一个主要障碍是，人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法，但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较，我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议，我们发现基于正则化的方法（例如，弹性权重合并）在需要推断任务标识时失败。相比之下，生成重放结合蒸馏（即，使用类别概率作为“软目标”）在所有三种情况下都实现了优异的性能。为了解决效率问题，我们通过将生成模型集成到主模型中，并为其配备生成反馈或反向连接，从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间，而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
On-Device Federated Continual Learning on RISC-V-based Ultra-Low-Power SoC for Intelligent Nano-Drone Swarms
D-ITET ETH Zurich（ETH Zurich 信息技术系）；IIS ETH Zurich（ETH Zurich 信息研究所）；DEI University of Bologna（博洛尼亚大学电子工程系）
本文提出一种基于正则化的设备端联邦持续学习算法，在RISC-V超低功耗SoC上实现纳米无人机群的人脸识别，较朴素微调提升24%准确率。
2025-04-21 cs.CV cs.LG cs.MA
Continual learning-based probabilistic slow feature analysis for multimode dynamic process monitoring
Tsinghua University（清华大学）；Shandong University of Science and Technology（山东科技大学）；University of Reading（雷丁大学）
本文提出了一种新的多模动态过程监测方法，通过扩展弹性权重合并（EWC）的概率慢特征分析（PSFA），以提取多模慢特征的在线监测。EWC最初是在顺序多任务的机器学习中引入的，目的是避免灾难性遗忘问题，这同样是多模动态过程监控中的一个主要挑战。当一个新的模式到来时，应该收集一组数据，以便可以通过PSFA和先验知识识别该模式。然后，引入正则化项以防止新数据显著干扰所学习的知识，其中估计参数重要性度量。所提出的方法表示为PSFA-EWC，这是不断更新，能够实现连续模式的优良性能。与传统的多模式监测算法不同，PSFA-EWC具有前向和后向传输能力。保留了以前模式的重要特征，同时合并了新的信息，这可能有助于学习新的相关模式。通过与几种已知方法的比较，以连续搅拌加热炉和实际制粉系统为例，验证了该方法的有效性。
2022-04-28 cs.LG eess.SP
Continual learning for rotating machinery fault diagnosis with cross-domain environmental and operational variations
GECAD, ISEP, Polytechnic of Porto（波尔图理工学院ISEP GECAD研究中心）
针对旋转机械故障诊断中现实工况与环境变异性导致模型难以可靠检测的问题，本研究提出持续深度学习方法，解决灾难性遗忘等二阶挑战，实验获88.96%平均域精度及低遗忘度量，提升跨域适应能力。
2025-04-14 cs.LG
Self-Attention Meta-Learner for Continual Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
持续学习旨在提供能够利用神经网络顺序地学习多个任务的智能代理。其主要挑战之一，灾难性遗忘，是由神经网络在非平稳分布中的非最佳学习能力引起的。在当前方法的大多数设置中，代理从随机初始化的参数开始，并被优化以掌握当前任务，而不管所学习的表示对未来任务的有用性。此外，每个未来的任务使用所有以前学习的知识，尽管这些知识的一部分可能对它的学习没有帮助。这些会导致任务之间的干扰，特别是当先前任务的数据不可访问时。在本文中，我们提出了一种新的方法，命名为自注意力元学习者（SAM），学习先验知识的持续学习，允许学习一系列的任务，同时避免灾难性遗忘。SAM结合了一个注意力机制，学习为每个未来的任务选择特定的相关表示。每个任务在所选知识的基础上构建一个特定的表示分支，避免任务之间的干扰。我们评估所提出的方法在分裂CIFAR-10/100和分裂MNIST基准在任务不可知推理。我们的经验表明，我们可以实现一个更好的性能比几个国家的最先进的持续学习的方法，通过建立在选定的表示学习SAM的顶部。我们还展示了Meta注意力机制在提升与输入数据相对应的信息特征和识别任务不可知推理中的正确目标方面的作用。最后，我们证明了流行的现有持续学习方法获得性能提升时，他们采用SAM作为起点。
2021-01-28 cs.AI cs.CV cs.LG
Continual Learning for Multimodal Data Fusion of a Soft Gripper
本文提出一种持续学习算法，在标注数据稀缺但无标注数据丰富的环境中增量融合软体抓手触觉与视觉模态，仅需存储类别原型，并在自定义多模态数据集、Core50及ROS实时实验中验证了其有效性。
2025-08-21 cs.AI cs.LG cs.RO
QCore: Data-Efficient, On-Device Continual Calibration for Quantized Models -- Extended Version
Aalborg University（奥尔堡大学）；East China Normal University（华东师范大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
QCore通过将完整训练数据压缩为可更新子集，并结合小型比特翻转网络替代反向传播，在边缘设备上实现数据高效且计算低成本的量化模型持续校准，实验证明其性能优于强基线方法。
2024-04-22 cs.DB cs.LG
Parameter-Selective Continual Test-Time Adaptation
College of Electric and Information, Northeast Agricultural University（东北农业大学电气与信息学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对持续测试时适应中Mean Teacher全参数更新导致的错误累积与灾难性遗忘，提出PSMT，通过学生选择性蒸馏和教师基于Fisher信息的掩码更新实现关键参数保护，并在多个基准上取得最优性能。
2024-07-02 cs.CV cs.LG
Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss
OATML；University of Oxford（牛津大学）；UBC（英属哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文提出统一视角，通过token与层级的交互分解，揭示持续学习中数据归因、遗忘与可塑性损失同源于演化动力学，并据此实现数据选择、干扰控制及可学习性诊断。
2026-09-29 cs.AI cs.LG
Effective Restoration of Source Knowledge in Continual Test Time Adaptation
University of California, Riverside（加州大学河滨分校）；AWS AI Labs（AWS AI 实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
针对传统测试时自适应方法在动态环境中存在源知识灾难性遗忘和误差累积的问题，提出无监督域变化检测方法，通过重置模型参数恢复源知识，可兼容现有TTA方法，实验证明其性能优于现有先进方法。
2023-11-08 cs.CV cs.LG
Continual learning under domain transfer with sparse synaptic bursting
University of Vermont（佛蒙特大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出一种通过自上而下调节卷积神经网络权重活动、利用跨任务循环使用的稀疏突触爆发实现域迁移下持续学习的方法，在ImageNet和CIFAR-100上顺序学习时几乎不遗忘，并揭示其与混沌边缘系统中秩序与无序平衡的对应关系。
2024-01-16 cs.AI cs.CV cs.LG
Efficient Model Adaptation for Continual Learning at the Edge
SRI International（SRI国际公司）
提出EAR框架，利用固定编码器与浅层适配器，结合超维计算和零样本NAS，实现边缘设备上高效持续学习，应对域偏移并减少灾难性遗忘。
2023-10-13 cs.AI cs.CV cs.LG
Continual Learning for Autonomous Robots: A Prototype-based Approach
Intel Labs（英特尔实验室）；Technical University of Munich（慕尼黑工业大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本文提出基于原型的持续学习方法CLP，通过元可塑性机制和无监督新颖性检测，解决机器人在少样本在线持续学习中的遗忘与新物体学习问题，并在OpenLORIS上取得领先结果。
2024-03-30 cs.CV cs.LG cs.RO
A Unified and General Framework for Continual Learning
University of Maryland, College Park（马里兰大学帕克分校）；JD Explore Academy（京东探索学院）
本研究提出一个统一且通用的持续学习框架，将现有方法作为共享优化目标的特例包含在内，并引入受神经科学启发的、可无缝集成到现有CL方法中以以提升性能的刷新学习机制。
2024-03-20 cs.AI cs.CV cs.LG
