Bayesian Optimized Continual Learning with Attention Mechanism
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
虽然神经网络在各种应用中取得了很大的进展，但对它们来说，从连续的任务流中学习而不忘记仍然是一个高度挑战。持续学习是一种新的学习范式，旨在解决这一问题。在这项工作中，我们提出了一个新的模型，持续学习，称为贝叶斯优化的持续学习注意力机制（BOCL），动态地扩大网络容量的到来时，新的任务贝叶斯优化和选择性地利用以前的知识（例如，以前的任务的特征图）通过注意力机制。我们对MNIST和CIFAR-100变体的实验表明，我们的方法在防止灾难性遗忘和更好地适应新任务方面优于最先进的方法。
2019-05-10 cs.LG stat.ML
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University（西安交通大学）
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言，使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题，我们提出了多个深度度量表示学习，通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外，我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广，平均平均类准确率（AMCA）64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Bayesian Structure Adaptation for Continual Learning
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
持续学习是一种学习范式，其中学习系统通过顺序或流式任务进行训练。在神经网络持续学习的最新进展中，有两个值得注意的方向是（$i$）通过学习先前任务的先验知识进行基于变分贝叶斯的正则化，以及（$ii$）学习深度网络的结构以适应新任务。到目前为止，这两种方法是正交的。我们提出了一种基于学习深度神经网络结构的持续学习贝叶斯方法，解决了这两种方法的缺点。该模型通过学习要使用的权重来学习每个任务的深层结构，并通过不同任务学习的不同稀疏权重子集的重叠来支持任务间的转移。在有监督和无监督基准测试上的实验结果表明，我们的模型在持续学习环境中的性能优于或优于最近的进展。
2020-02-21 cs.LG stat.ML
Prototype-Guided Non-Exemplar Continual Learning for Cross-subject EEG Decoding
Dept. of Artificial Intelligence Korea University Seoul, Republic of Korea（人工智能系 韩国大学首尔共和国）；Cognitive Engineering Korea University Seoul, Republic of Korea（认知工程 韩国大学首尔共和国）
ProNECL通过原型引导的非示例持续学习方法，在不访问历史EEG样本的情况下实现跨个体EEG解码的高效知识保留与适应性平衡。
2026-01-15 cs.AI cs.LG
Learning to Continually Learn with the Bayesian Principle
Seoul National University（首尔大学）
本文提出一种元持续学习框架，结合神经网络表示能力与统计模型贝叶斯更新的抗遗忘性，实现高性能且可扩展的持续学习。
2024-05-29 cs.AI cs.LG
Saliency-Guided Replay for Continual Learning in Deep Spiking Neural Networks
Sapienza University of Rome（罗马大学）；Goethe University Frankfurt（法兰克福大学）
该研究针对深度脉冲神经网络的灾难性遗忘问题，提出结合VGG9 SNN与脉冲激活图（SAM）的显著性引导经验打包与重放策略，在Split CIFAR数据集上实现了更优的准确率-内存权衡。
2026-10-14 cs.AI cs.CV cs.LG
Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor
Sun Yat-sen University（中山大学）
深度学习已经在各种应用中显示出了人类水平的性能。然而，当前的深度学习模型的特点是在学习新类时对旧知识的灾难性遗忘。这尤其在智能诊断系统中提出了挑战，在智能诊断系统中，最初只有有限数量的疾病的训练数据可用。在这种情况下，用新疾病的数据更新智能系统将不可避免地降低其对先前学习的疾病的性能。受人类大脑学习新知识过程的启发，我们提出了一种基于固定预训练特征提取器的持续学习贝叶斯生成模型。在该模型中，每个旧类的知识可以由统计分布的集合来复杂地表示，例如利用高斯混合模型，并且自然地防止随着时间的推移在持续学习中遗忘。与现有的类增量学习方法不同，所提出的方法对持续学习过程不敏感，并且可以很好地应用于数据增量学习场景。在多个医学和自然图像分类任务上的实验表明，该方法的性能优于最先进的方法，即使在新类的持续学习过程中保留一些旧类的图像。
2022-04-28 cs.CV cs.LG
Bayesian Continual Learning via Spiking Neural Networks
生物智能的主要特征包括能源效率、持续适应能力以及通过不确定性量化进行风险管理。迄今为止，神经形态工程主要是由实现节能机器的目标驱动的，这些机器从生物大脑的基于时间的计算范式中获得灵感。在本文中，我们采取措施的神经形态系统的设计，能够适应不断变化的学习任务，同时产生校准良好的不确定性量化估计。为此，我们推导出脉冲神经网络（SNN）的贝叶斯持续学习框架内的在线学习规则。其中，每个突触权重由量化由先验知识和观测数据产生的当前认知不确定性的参数表示。所提出的在线规则更新的分布参数，在流的方式作为数据被观察。我们实例所提出的方法为实值和二进制突触权重。使用英特尔的Lava平台的实验结果表明，贝叶斯在适应能力和不确定性量化方面优于频率学习。
2022-11-01 cs.AI cs.LG cs.NE
Continual Learning Using Bayesian Neural Networks
Adobe（Adobe公司）
持续学习模型允许随着时间的推移学习和适应新的变化和任务。然而，在使用具有各种分布的不同数据训练模型的连续和顺序学习场景中，神经网络倾向于忘记先前学习的知识。这种现象通常被称为灾难性遗忘。灾难性遗忘是动态环境下持续学习模型不可避免的问题。为了解决这个问题，我们提出了一种方法，称为连续贝叶斯学习网络（CBLN），它使网络能够分配额外的资源，以适应新的任务，而不会忘记以前学习的任务。使用贝叶斯神经网络，CBLN保持与不同任务相关联的高斯后验分布的混合。所提出的方法试图优化学习每个任务所需的资源数量，并避免学习多个任务所涉及的资源数量呈指数级增加。该方法不需要访问过去的训练数据，并可以选择合适的权重来分类的数据点在测试时间的不确定性标准的基础上自动。我们已经评估了我们的方法上的MNIST和UCR时间序列数据集。评估结果表明，我们的方法可以解决灾难性遗忘的问题，在一个有前途的速度相比，国家的最先进的模型。
2020-08-14 cs.LG cs.NE stat.ML
Knowing when we do not know: Bayesian continual learning for sensing-based analysis tasks
University of Cambridge（剑桥大学）
尽管许多研究旨在使传统的机器学习模型能够连续地学习任务和数据分布，而不会忘记所获得的知识，但很少有人致力于考虑更现实的情况，其中准确地学习一些任务可能比忘记先前的任务更重要。在本文中，我们提出了一个贝叶斯推理为基础的框架，不断学习一组现实世界中，基于感知的分析任务，可以调整优先级记住以前学习的任务或学习新的。我们的实验证明了学习模型的鲁棒性和可靠性，以适应不断变化的传感环境，并显示使用预测的不确定性来评估其可靠性的适用性。
2021-06-06 cs.LG
Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning
University of Oxford（牛津大学）；Amazon Adelaide（亚马逊阿德莱德分公司）
我们把一个印度巴菲特过程（IBP）之前的贝叶斯神经网络（BNN）的结构，从而使BNN的复杂性自动增加和减少。我们进一步扩展了这个模型，使每个隐藏层的结构上的先验全局共享所有层，使用分层IBP（H-IBP）。我们将此模型应用于持续学习（CL）中的资源分配问题，其中新任务的出现和网络需要额外的资源。我们的模型使用在线变分推断与重新参数化的伯努利和β分布，这构成了IBP和H-IBP先验。当我们自动学习BNN每层中的权重时，过拟合和欠拟合问题在很大程度上得到了克服。我们的经验表明，我们的方法提供了竞争优势，在CL现有的方法。
2021-08-02 cs.LG stat.ML
Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning
Shenzhen Research Institute of Big Data (SRIBD)（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
针对长尾持续学习中的灾难性遗忘问题，提出无先验平衡回放（PBR）框架，通过不确定性引导的蓄水池采样及边界与原型约束，在无需先验信息下有效减少遗忘并超越现有方法。
2024-08-27 cs.AI cs.CV cs.LG
Attribution-Guided Continual Learning for Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；The Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于属性引导的持续学习框架，通过估计每个Transformer层中参数的重要性，调节梯度以保留旧任务知识，实验表明在持续学习基准上优于基线方法。
2026-07-14 cs.LG
BECAME: BayEsian Continual Learning with Adaptive Model MErging
Shanghai Jiao Tong University（上海交通大学）
本文提出BECAME框架，基于贝叶斯持续学习原理推导出任务自适应的最优模型合并系数闭式解，结合梯度投影与自适应合并，有效平衡稳定性与可塑性，显著优于现有持续学习和模型合并方法。
2025-05-29 cs.CV cs.LG
Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory
本文提出Selective Subnetwork Distillation (SSD)，通过结构引导的持续学习框架，利用知识蒸馏实现跨任务知识重用，提升稀疏持续学习的准确率和保留率。
2025-12-17 cs.LG
Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network
本文提出了一种全面渐进的贝叶斯神经网络，用于对一系列任务进行鲁棒的持续学习。贝叶斯神经网络被逐步修剪和生长，使得有足够的网络资源来表示任务序列，同时网络不会爆炸。它始于这样一种争论，即相似的任务应该具有相同数量的总网络资源，以确保持续学习场景中所有任务的公平表示。因此，作为新任务流的数据，足够的神经元被添加到网络，使得网络的每一层中的神经元的总数（包括与先前任务的共享表示和个体任务相关表示）对于所有任务都是相等的。在训练每个任务结束时冗余的权重也通过重新初始化进行修剪，以便在后续任务中有效地利用。因此，网络逐渐增长，但确保了网络资源的有效利用。我们将我们提出的方法称为“通过全面渐进贝叶斯神经网络（RCL-CPB）的鲁棒持续学习”，并在三种不同的持续学习场景下对MNIST数据集进行评估。此外，我们评估的性能RCL-CPB上的同质序列的任务使用分裂CIFAR 100（20个任务，每个5类），和一个异构序列的任务使用MNIST，SVHN和CIFAR 10数据集。实验结果表明，所提出的渐进式BNN学习策略能够实现鲁棒的持续学习。
2022-02-27 cs.LG
Knowledge-guided Continual Learning for Behavioral Analytics Systems
Humanitarian Informatics Lab（人道主义信息学实验室）；George Mason University（乔治·马歇尔大学）
针对在线行为分析模型因数据漂移和灾难性遗忘导致性能下降的问题，提出一种将外部知识整合到基于重放的持续学习框架中的新颖数据增强方法，并在三个异常行为分类数据集上验证其优于基线方法。
2025-11-01 cs.AI cs.LG
Saliency Guided Experience Packing for Replay in Continual Learning
Purdue University（普渡大学）
人工学习系统渴望通过不断地从一系列任务中学习而不忘记过去的知识来模仿人类智能。实现这种学习的一种方法是将过去的经验以输入示例的形式存储在情景记忆中，并在学习新任务时重放它们。然而，这种方法的性能随着存储器的大小变得更小而受到影响。在本文中，我们提出了一种新的经验重放的方法，我们选择过去的经验，通过查看显着性图，为模型的决策提供视觉解释。在这些显着图的指导下，我们只将输入图像中对模型预测重要的部分或补丁装入内存。在学习新任务时，我们用适当的零填充来重放这些记忆补丁，以提醒模型过去的决定。我们在CIFAR-100，miniImageNet和CUB数据集上评估了我们的算法，并报告了比最先进方法更好的性能。通过定性和定量分析，我们表明，我们的方法捕捉更丰富的总结过去的经验，没有任何记忆增加，因此表现良好，小情景记忆。
2022-10-12 cs.CV cs.LG
Learning from the Past: Continual Meta-Learning via Bayesian Graph Modeling
The University of Queensland（昆士兰大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）；University of Electronic Science and Technology of China（电子科技大学）
用于少样本学习的元学习允许机器利用先前获得的知识作为先验，从而提高仅使用少量数据的新任务的性能。然而，大多数主流模型都存在灾难性遗忘和鲁棒性不足的问题，从而无法完全保留或利用长期知识，同时容易导致严重的错误积累。在本文中，我们提出了一种新的连续元学习方法与贝叶斯图神经网络（CML-BGNN），数学公式元学习作为持续学习的一系列任务。每个任务形成一个图，任务内和任务间的相关性可以很好地保持通过消息传递和历史过渡。为了弥补图初始化的拓扑不确定性，我们利用贝叶斯反向传播策略，该策略通过摊销推理网络近似任务特定参数的后验分布，并将其无缝集成到端到端边缘学习中。在miniImageNet和tieredImageNet数据集上进行的大量实验证明了该方法的有效性和效率，与miniImageNet 5路1次分类任务相比，性能提高了42.8%。
2019-11-12 cs.LG stat.ML
Continual Zero-Shot Learning through Semantically Guided Generative Random Walks
KAUST（阿卜杜拉国王科技大学）；University of Moratuwa（莫拉图瓦大学）
针对训练阶段无未见类信息的持续零样本学习问题，提出带语义引导生成式随机游走损失的算法，从理论上解释生成式建模的作用，在多个数据集上取得3-7%的性能提升。
2023-08-23 cs.CV
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning
The Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）
持续学习（CL）方法旨在使机器学习模型能够学习新任务，而不会对先前已经掌握的任务造成灾难性遗忘。现有的CL方法通常保留先前看到的样本的缓冲区，执行知识蒸馏，或使用正则化技术来实现此目标。尽管他们表现出色，但他们仍然受到跨任务干扰的影响，这导致了灾难性遗忘。为了改善这个问题，我们建议在任何阶段只激活和选择稀疏神经元来学习当前和过去的任务。这样可以为以后的任务预留更多的参数空间和模型容量。这最大限度地减少了不同任务的参数之间的干扰。为此，我们提出了一个用于持续学习的稀疏神经网络（SNCL），它采用变分贝叶斯稀疏先验对所有层中的神经元的激活。全经验重放（FER）在学习不同层中的神经元的稀疏激活方面提供有效的监督。一个丢失感知的采样策略，以维护内存缓冲区。所提出的方法是不可知的网络结构和任务边界。在不同数据集上的实验表明，我们的方法在减轻遗忘方面达到了最先进的性能。
2022-02-21 cs.CV cs.LG
Assessor-Guided Learning for Continual Environments
University of South Australia（南澳大学）；Johannes Kepler University（约翰内斯·开普勒大学）；Nantong University（南通大学）；University of Indonesia（印度尼西亚大学）
本文提出了一种评估员指导的学习策略，用于持续学习，其中评估员通过控制学习过程的方向和节奏来指导基础学习者的学习过程，从而允许有效地学习新环境，同时防止灾难性干扰问题。评估员以元学习的方式进行训练，具有元目标以促进基础学习者的学习过程。它执行每个样本的软加权机制，接受正样本而拒绝负样本。基础学习器的训练目标是最小化交叉熵损失函数、暗体验重放（DER）损失函数和知识蒸馏损失函数的元加权组合，其交互以这样的方式被控制以获得改进的性能。为了克服情景记忆由于记忆资源有限而导致的类别不平衡问题，提出了一种补偿过采样策略。我们的方法，评估者引导学习方法（AGLA），已被评估在类增量和任务增量学习问题。AGLA实现了改进的性能相比，它的竞争对手，同时COS策略的理论分析。AGLA的源代码、基线算法和实验日志在\url{https://github.com/anwarmaxsum/AGLA}中公开共享，以供进一步研究。
2023-03-21 cs.AI cs.LG
Posterior Meta-Replay for Continual Learning
Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
在没有i.i.d.的情况下学习一系列任务。观察是一种被广泛研究的持续学习（CL）形式，但仍然具有挑战性。原则上，贝叶斯学习直接适用于此设置，因为递归和一次性贝叶斯更新会产生相同的结果。然而，在实践中，递归更新往往会导致跨任务的折衷解决方案，因为近似推理是必要的，大多数感兴趣的模型。在这里，我们描述了一种替代贝叶斯方法，其中任务条件参数分布不断推断数据。我们提供了一个基于概率任务条件超网络的框架的实用深度学习实现，我们称之为后验元重放。在标准基准上的实验表明，我们的概率超网络压缩后验参数分布序列，几乎没有遗忘。与现有的贝叶斯CL方法相比，我们获得了相当大的性能增益，并确定任务推理是我们的主要限制因素。这种局限性有几个原因，这些原因与所考虑的顺序设置无关，为CL的进展开辟了新途径。
2021-10-21 cs.AI cs.LG
Prototype-Guided Memory Replay for Continual Learning
Deakin University（迪肯大学）；Monash University（莫纳什大学）
持续学习（CL）是指一种机器学习范式，它在不忘记先前获得的知识的情况下持续学习。因此，CL的主要困难是由数据分布的变化引起的对先前任务的灾难性遗忘。现有的CL模型通常会保存大量的旧示例，并随机重新访问以前看到的数据以保留旧知识。然而，随着所见数据的积累，占用的存储器大小不断增大。因此，我们提出了一个内存有效的CL方法，通过存储一些样本，以实现良好的性能。我们设计了一个动态原型引导的记忆回放模块，并将其纳入在线元学习模型。我们对文本分类进行了广泛的实验，并研究了训练集顺序对CL模型性能的影响。实验结果证明了我们的方法在遗忘缓解和效率方面的优越性。
2023-03-04 cs.LG
Unsupervised Continual Learning for Amortized Bayesian Inference
Department of Statistics TU Dortmund University（统计系杜伊斯堡-埃森大学）
本文提出了一种无监督持续学习框架，用于近似贝叶斯推断，通过分离模拟预训练和连续SC微调，有效缓解灾难性遗忘问题，提升后验估计的准确性。
2026-02-26 cs.LG stat.ML
CLIMB: Language-Guided Continual Learning for Task Planning with Iterative Model Building
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；Georgia Tech Research Institute（佐治亚理工研究院）；Ohio State University（俄亥俄州立大学）；Nvidia（英伟达公司）
CLIMB是一个利用基础模型和执行反馈进行持续学习的机器人任务规划框架，能够从自然语言构建领域模型、学习非显而易见谓词并存储复用，在BlocksWorld++环境中相比基线方法显著提升规划性能。
2024-10-17 cs.AI cs.LG cs.RO
Uncertainty Quantification in Continual Open-World Learning
Intel（英特尔）
针对部署后AI需持续适应含未知类的未标记数据这一难题，提出迭代不确定性估计算法COUQ，在持续新事物检测、主动学习和伪标注等子任务上取得优于SOTA的性能。
2024-12-21 cs.AI cs.CV cs.LG
Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors
Duke University（杜克大学）；Facebook AI
经过简单训练的神经网络往往会在顺序任务设置中经历灾难性遗忘，其中先前任务的数据不可用。一些方法，使用各种模型扩展策略，最近已经提出了可能的解决方案。然而，确定扩展模型的程度是留给实践者的，并且通常为了简单而选择恒定的时间表，而不管传入的任务有多复杂。相反，我们提出了一种基于印度自助过程（IBP）先验的原则性贝叶斯非参数方法，让数据决定模型复杂性的扩展程度。我们将其与神经网络权重矩阵的因子分解配对。这种方法允许每个权重矩阵的因子数量随任务的复杂性而缩放，而IBP先验鼓励稀疏权重因子选择和因子重用，促进任务之间的积极知识转移。我们在一些持续学习基准测试中证明了我们的方法的有效性，并分析了在整个训练过程中如何分配和重用权重因子。
2021-04-27 cs.LG stat.ML
ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning
School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）；State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）
提出ProtoAda框架，通过格式感知任务原型和几何感知参数整合，解决多模态持续指令微调中任务路由错误和梯度干扰问题。
2026-06-03 cs.CV cs.LG
SAIDO: Generalizable Detection of AI-Generated Images via Scene-Aware and Importance-Guided Dynamic Optimization in Continual Learning
East China Normal University（华东师范大学）；Shanghai Innovation Institute（上海创新研究院）
SAIDO通过场景感知和重要性引导的动态优化在持续学习中实现通用的人工智能生成图像检测，提升检测稳定性和可塑性。
2025-11-29 cs.CV
Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks
IIT Bombay（印度理工学院孟买分校）
本文提出一种基于贝叶斯神经网络和变分推断的持续学习方法，通过参数分布学习降低存储、引入修正正则化项及重要性加权证据下界来缓解灾难性遗忘，并在多种数据集上验证了其优越性能。
2024-11-21 cs.CV cs.LG
FGGM: Fisher-Guided Gradient Masking for Continual Learning
FGGM通过基于Fisher信息的梯度掩码方法，有效缓解大语言模型的灾难性遗忘问题，在持续学习任务中表现出优于MIGU和监督微调的性能。
2026-01-26 cs.CL cs.LG
Continual Learning from the Perspective of Compression
University of Groningen（格罗宁根大学）；Mila（米拉人工智能研究所）
连接主义模型，如神经网络，遭受灾难性遗忘。在这项工作中，我们从信息论的角度来研究这个问题，并定义遗忘为以前的数据的描述长度的增加时，他们被压缩的顺序学习模型。此外，我们表明，持续学习方法的基础上变分后验近似和生成重放可以被认为是近似的两个prequential编码方法的压缩，即贝叶斯混合代码和最大似然（ML）插件代码。我们比较这些方法的压缩和遗忘和经验研究的原因，限制性能的持续学习方法的基础上变分后验近似。为了解决这些限制，我们提出了一种新的持续学习方法，结合ML插件和贝叶斯混合代码。
2020-06-26 cs.LG cs.NE stat.ML
To discretize continually: Mean shift interacting particle systems for Bayesian inference
Center for Computational Science and Engineering（计算科学中心）；Laboratory for Information and Decision Systems（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文提出基于均值偏移交互粒子系统的新型方法，用于近似概率分布的积分，该方法通过最小化最大均差来构建权重样本，适用于连续分布的贝叶斯推断。
2026-05-13 cs.LG stat.CO stat.ML
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出贝叶斯自适应矩正则化（BAdam）方法，通过更好地约束参数增长来减少灾难性遗忘，在Split MNIST等基准上实现基于先验方法的最先进性能，且无需任务标签或离散边界。
2024-07-24 cs.LG
Saliency-Guided Hidden Associative Replay for Continual Learning
Emory University（埃默里大学）
针对持续学习中回放方法内存开销大、现有局部数据检索机制不符合人类记忆规律的问题，提出结合联想记忆与回放策略的SHARC框架，通过稀疏编码存储显著片段、基于内容检索实现高效回忆，在多任务上验证了有效性。
2023-10-06 cs.LG
MedCRP-CL: Continual Medical Image Segmentation via Bayesian Nonparametric Semantic Modality Discovery
University College London, London, United Kingdom（伦敦大学学院）
该研究提出MedCRP-CL框架，通过在线任务结构发现和结构感知的连续学习方法，解决医学图像分割在持续学习中的挑战，实现了73.3%的Dice得分和仅4.1%的遗忘率。
2026-08-05 cs.CV cs.LG
Bayesian Optimization via Continual Variational Last Layer Training
RWTH Aachen University（亚琛工业大学）；Technical University of Denmark（丹麦技术大学）；Vector Institute（向量研究院）；Google DeepMind（谷歌DeepMind）
针对贝叶斯优化中高斯过程核选择难、贝叶斯神经网络部分场景表现差的问题，提出基于变分贝叶斯最后层的方法，结合高斯过程条件化机制开发高效在线训练算法，在复杂任务上性能更优，基准任务上媲美调优后的高斯过程。
2024-12-12 cs.LG stat.ML
Prototype-Guided Continual Adaptation for Class-Incremental Unsupervised Domain Adaptation
Peking University（北京大学）；South China University of Technology（华南理工大学）；National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文研究了一个新的、实用的但具有挑战性的问题--类增量无监督领域自适应（CI-UDA），其中标记的源域包含所有类，而未标记的目标域中的类按顺序增加。由于两个困难，这个问题具有挑战性。首先，源标签集和目标标签集在每个时间步长都不一致，这使得难以进行精确的域对齐。第二，先前的目标类在当前步骤中不可用，导致先前的知识被遗忘。为了解决这个问题，我们提出了一种新的原型引导的持续适应（ProCA）的方法，由两个解决方案的战略。1)标签原型标识：我们通过用目标样本的累积预测概率检测共享类来识别目标标签原型。2)基于原型的对齐和重放：基于已识别的标签原型，我们对齐两个域并强制执行模型以保留先前的知识。通过这两种策略，ProCA能够有效地使源模型适应类增量的未标记目标域。大量的实验证明了ProCA在解决CI-UDA问题上的有效性和优越性。源代码可在https://github.com/Hongbin98/ProCA.git上获得
2022-07-29 cs.CV
SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Chongqing University（重庆大学）；Peng Cheng Laboratory（鹏城实验室）；Wuhan AI Research（武汉人工智能研究院）
针对持续学习中的灾难性遗忘问题，提出SEEKR方法，通过选择性注意力蒸馏保留先前知识，仅需1/10重放数据即实现更优性能。
2024-11-09 cs.CL cs.LG
UCBound-Net: Uncertainty-Guided Boundary-Aware Continual Learning for Domain-Incremental Ultrasound Segmentation
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
UCBound-Net利用MC Dropout不确定性，通过三个协同组件缓解临床超声分割中的灾难性遗忘，在BUSI和TN3K数据集上实现更优性能且无需任务边界监督。
2026-08-04 cs.CV
Bayesian continual learning and forgetting in neural networks
Université Paris-Saclay, CNRS, Centre de Nanosciences et de Nanotechnologies, Palaiseau, France（巴黎-萨克雷大学，法国国家科学研究中心，纳米科学与纳米技术中心，Palaiseau）；Université Grenoble-Alpes, CEA, LETI, Grenoble, France（格勒诺布尔阿尔卑斯大学，法国原子能委员会，微电子与技术实验室，Grenoble）；Université Grenoble-Alpes, CEA, LIST, Grenoble, France（格勒诺布尔阿尔卑斯大学，法国原子能委员会，低带宽信息传输实验室，Grenoble）
针对人工神经网络的灾难性遗忘与记忆问题，本文提出贝叶斯框架MESU，基于参数不确定性实现学习与遗忘的原则性结合，无需任务边界即可适应流数据，在图像分类基准中减轻遗忘并保持可塑性，性能优于现有方法。
2025-04-18 cs.LG
Language Guided Concept Bottleneck Models for Interpretable Continual Learning
School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Automation, University of Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出集成语言引导概念瓶颈模型（CBMs）的持续学习框架，利用概念瓶颈层与CLIP对齐学习可跨任务泛化的人类可理解概念，在缓解灾难性遗忘的同时提供透明决策洞察，在多个数据集上优于现有方法。
2025-03-30 cs.CV
ProTPS: Prototype-Guided Text Prompt Selection for Continual Learning
University of Washington（华盛顿大学）；Alaska Pacific University（阿拉斯加太平洋大学）
ProTPS通过学习类特定的视觉原型和文本提示，减少新旧类别的语义重叠，从而缓解灾难性遗忘问题，在连续学习任务中表现出色。
2026-04-01 cs.CV
Active Continual Learning with Metaplastic Binary Bayesian Neural Networks
Universit \'e Paris-Saclay, CNRS, Centre de Nanosciences et de Nanotechnologies, Palaiseau, France
针对边缘系统持续学习中的后验饱和与可塑性冻结问题，提出基于有界记忆变分目标的BiMU方法，通过不确定性依赖步长和先验松弛维持非退化后验，实现无缓冲主动查询，在Permuted-MNIST和OpenLORIS-Object上显著减少标签与更新次数。
2026-05-28 cs.LG
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。
2026-06-29 cs.LG
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology（浦项科技大学）；BARO AI
我们提出了一个实用的贝叶斯优化方法，使用高斯过程回归，其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间，我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明，该方法在大多数情况下都能有效地减少执行时间，且优化质量损失较小。
2020-10-16 cs.LG stat.ML
MGSER-SAM: Memory-Guided Soft Experience Replay with Sharpness-Aware Optimization for Enhanced Continual Learning
Tulane University（杜兰大学）；Worcester Polytechnic Institute（伍斯特理工学院）
针对持续学习中的灾难性遗忘问题，提出结合SAM优化器、软logits与记忆梯度对齐的MGSER-SAM算法，在三类场景下均优于现有基线，显著提升准确率并降低遗忘率。
2024-05-15 cs.LG
Hierarchical Bayesian estimation for continual learning during model-informed precision dosing
针对模型指导精准给药中的持续学习问题，提出层次贝叶斯估计框架，并比较多种推断算法，发现单内嵌套粒子滤波器在精度与计算复杂度间取得最佳平衡。
2025-05-26 stat.CO
REP: Resource-Efficient Prompting for Rehearsal-Free Continual Learning
POSTECH
REP通过高效提示方法提升无回放持续学习的资源效率，减少计算和内存消耗，同时保持较高的准确性。
2025-12-16 cs.AI cs.CV cs.LG
Federated-Continual Dynamic Segmentation of Histopathology guided by Barlow Continuity
Technical University of Darmstadt（达姆施塔特工业大学）
针对组织病理图像分割中的客户端漂移与灾难性遗忘，提出 Dynamic Barlow Continuity，利用公共参考数据评估客户端更新并引导联邦持续训练，显著提升 dice 分数。
2025-01-08 cs.AI cs.LG
MM-Prompt: Cross-Modal Prompt Tuning for Continual Visual Question Answering
Khoury College of Computer Sciences, Northeastern University（东北大学克劳尔计算机科学学院）；New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别新实验室）
MM-Prompt通过跨模态提示查询与恢复，解决持续视觉问答中的模态不平衡问题，提升准确性与知识保留。
2025-09-11 cs.AI cs.CV cs.LG
Improving and Understanding Variational Continual Learning
University of Cambridge（剑桥大学）；University of Sydney（悉尼大学）
在持续学习环境中，任务是按顺序遇到的。我们的目标是学习，同时i）避免灾难性遗忘，ii）有效地使用模型容量，iii）采用向前和向后迁移学习。在本文中，我们将探讨如何变分持续学习（VCL）框架实现这些desiderata在持续学习的两个基准：分裂MNIST和置换MNIST。我们首先报告了在已经具有竞争力的方法上显著改进的结果。这些改进是通过建立一种新的均值场变分贝叶斯神经网络的最佳实践方法来实现的。然后，我们详细研究解决方案。这使我们能够理解为什么VCL表现如此出色，我们将解决方案与“理想”的持续学习解决方案进行比较。
2019-05-06 cs.LG stat.ML
Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University（纽约大学）；Facebook Inc.（脸书公司）；University of Sydney（悉尼大学）
通过在线观察数据的后验序列构造，贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程（VAR-GPs），这是一种原则性的后验更新机制，用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验，我们提出了一种新的自回归变分分布，揭示了两个富有成效的连接到现有的结果在贝叶斯推断，期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘，这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
