Mixture-of-Variational-Experts for Continual Learning
Ulm University（乌尔姆大学）；Institute of Neural Information Processing（神经信息处理研究所）
机器学习算法的一个弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习（CL）范式已经成为一种系统地研究环境的协议，其中模型顺序观察由一系列任务生成的样本。在这项工作中，我们采取任务不可知论的观点持续学习，并制定了一个分层的信息理论的最优性原则，促进学习和遗忘之间的权衡。我们从贝叶斯的角度讨论这一原则，并显示其连接到以前的方法CL。基于这一原则，我们提出了一个神经网络层，称为混合变分专家层，通过创建一组信息处理路径通过网络，这是由门控策略，它消除了遗忘。由于基于通用效用函数的一般公式，我们可以将此最优性原则应用于各种各样的学习问题，包括监督学习，强化学习和生成式建模。我们证明了我们的方法在连续监督学习和连续强化学习中的竞争力。
2022-03-01 cs.LG stat.ML
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Continual Learning via Sequential Function-Space Variational Inference
University of Oxford（牛津大学）
本文提出将持续学习建模为序贯函数空间变分推断，允许参数灵活变化并有效正则化预测，在多个任务序列上提升了神经网络的预测准确性，并减少对旧任务代表性点的依赖。
2023-12-28 cs.AI cs.LG stat.ML
Subspace Optimization for Backpropagation-Free Continual Test-Time Adaptation
Poznan University of Technology（波兹南理工大学）；IDEAS NCBR；NASK - National Research Institute（NASK国家研究所）；Gdańsk University of Technology（格但斯克理工大学）；Graz University of Technology（格拉茨理工大学）
本文提出PACE系统，通过子空间优化正常化层的仿射参数，提升持续分布偏移下的适应性能，减少运行时间超过50%。
2026-09-09 cs.LG
Adaptive Variational Continual Learning via Task-Heuristic Modelling
University of Oxford（牛津大学）
本文提出AutoVCL模型，通过结合任务启发式实现知情学习与模型优化，基于任务难度和相似性自动调整超参数，在变分持续学习中优于固定超参数的标准GVCL。
2024-08-29 cs.AI cs.LG
Task Agnostic Continual Learning Using Online Variational Bayes with Fixed-Point Updates
Technion, Israel Institute of Technology（以色列理工学院）；Habana-Labs（哈巴纳实验室）
背景：灾难性遗忘是神经网络在学习过程中对数据分布变化的一种臭名昭著的脆弱性。这种现象长期以来一直被认为是在现实的持续学习环境中使用学习代理的主要障碍。大量的持续学习研究假设任务边界在培训过程中是已知的。然而，只有少数作品考虑的情况下，任务边界是未知的或没有很好地定义-任务不可知的情况下。最佳贝叶斯解决方案需要一个棘手的在线贝叶斯更新后验权重。贡献：我们的目标是尽可能准确地近似在线贝叶斯更新。要做到这一点，我们得到新的不动点方程的在线变分贝叶斯优化问题，多变量高斯参数分布。通过迭代后，通过这些固定点方程，我们得到一个算法（FOO-VB）的连续学习，可以处理非平稳数据分布使用一个固定的架构，而不使用外部存储器（即不访问以前的数据）。我们证明，我们的方法（FOO-VB）优于现有的方法在任务不可知的情况下。FOO-VB Pytorch实现将在线提供。
2021-10-18 cs.LG stat.ML
Variational Density Propagation Continual Learning
Rowan University（罗文大学）；Moffitt Cancer Center & Research Institute（莫菲特癌症中心与研究所）
本研究提出变分密度传播持续学习框架，通过传播分布前两阶矩优化闭式ELBO近似MDL准则，缓解持续学习中的灾难性遗忘，在多基准数据集上验证了生成低复杂度网络的效果。
2023-08-22 cs.LG stat.ML
Continual Domain Adaptation on Aerial Images under Gradually Degrading Weather
Rochester Institute of Technology（罗切斯特理工学院）
针对航空平台在渐进退化天气下部署面临的域差距扩大问题，本文构建四个基准数据集，评估标准与持续DA模型，并以梯度归一化缓解缓冲区供给方法的训练不稳定。
2023-08-14 cs.CV cs.LG
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI（ElementAI公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
持续学习研究的是在适应新任务的同时，从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中，模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中，目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上，提出一个更一般的场景，大坂，代理必须快速解决新的（分布外）任务，同时还需要快速记忆。我们表明，目前的持续学习，元学习，Meta-持续学习，和持续元学习技术在这个新的情况下失败。我们建议连续MAML，流行的MAML算法的在线扩展作为一个强有力的基线，这种情况下。我们的经验表明，连续MAML比上述方法更适合新的场景，以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
Pruned Adaptation Modules: A Simple yet Strong Baseline for Continual Foundation Models
AMOR/e Lab, Eindhoven University of Technology（埃因霍温理工大学AMOR/e实验室）
本文提出剪枝适应模块（PAM），通过冻结大部分预训练ResNet参数，利用稀疏任务特定层实现可扩展的连续学习，显著降低持续学习成本并减少遗忘。
2026-03-22 cs.LG
Partitioned Variational Inference: A unified framework encompassing federated and continual learning
University of Sydney（悉尼大学）；University of Cambridge（剑桥大学）
变分推断（VI）已成为拟合许多现代概率模型的首选方法。然而，从业者面临着一个支离破碎的文献，提供了一系列令人困惑的算法选项。第一，变分族。第二，更新的粒度，例如更新是否是每个数据点的本地更新，并采用消息传递或全局更新。第三，优化方法（定制或黑盒，封闭形式或随机更新等）。本文提出了一个新的框架，称为分区变分推断（PVI），明确承认这些算法的VI尺寸，统一不同的文献，并提供指导使用。至关重要的是，拟议的PVI框架使我们能够确定执行VI的新方法，这些方法非常适合具有挑战性的学习场景，包括联邦学习（利用分布式计算来处理非集中式数据）和持续学习（新数据和任务随着时间的推移而到达，必须快速适应）。我们通过开发贝叶斯神经网络的通信高效联邦训练和带有私有伪点的高斯过程模型的持续学习来展示这些新功能。新方法的性能明显优于最先进的方法，同时几乎与标准VI一样简单。
2018-11-27 cs.AI cs.LG stat.ML
Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation
本文从知识分解角度发现低秩适应存在奇异值谱不平衡，导致遗忘，并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法，有效缓解前后向遗忘。
2026-07-03 cs.LG
NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks
Georgia Institute of Technology（佐治亚理工学院）；KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）
持续学习（CL）的目标是随着时间的推移学习不同的任务。与CL相关的主要需求是保持旧任务的性能，利用后者来提高对未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发的稳定性可塑性适应（NISPA）架构，通过一个稀疏的神经网络与固定密度来解决这些迫切需要。NISPA形成了稳定的路径，以保存从旧任务中学到的知识。此外，NISPA使用连接重新布线来创建新的塑料路径，在新任务中重用现有知识。我们对EMNIST、FashionMNIST、CIFAR 10和CIFAR 100数据集的广泛评估表明，NISPA的性能明显优于代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数少了10倍。我们还证明了稀疏性是持续学习的基本要素。NISPA代码可在https://github.com/BurakGurbuz97/NISPA上获得。
2022-06-18 cs.LG
Evaluating Continual Test-Time Adaptation for Contextual and Semantic Domain Shifts
Eindhoven University of Technology（埃因霍温理工大学）
在本文中，我们的目标是在测试时使预训练的卷积神经网络适应域移位。我们不断地对测试批次的输入流进行这种处理，不带标签。现有的文献主要是通过对抗扰动的测试图像获得人工移位。出于这一动机，我们评估了两个现实的和具有挑战性的领域转移的来源，即上下文和语义的变化的艺术状态。上下文变化对应于环境类型，例如，在室内上下文上预先训练的模型必须适应CORe-50上的室外上下文。语义转换对应于捕获类型，例如，在自然图像上预先训练的模型必须适应DomainNet上的剪贴画，草图和绘画。我们包括在我们的分析最近的技术，如预测时间批量归一化（BN），测试熵最小化（TENT）和连续测试时自适应（CoTTA）。我们的发现有三个方面：i）与语义转换相比，测试时自适应方法在上下文转换上表现更好，遗忘更少; ii）TENT在短期自适应上优于其他方法，而CoTTA在长期自适应上优于其他方法; iii）BN是最可靠和鲁棒的。我们的代码可在https://github.com/tommiekerssies/Evaluating-Continual-Test-Time-Adaptation-for-Contextual-and-Semantic-Domain-Shifts上获得。
2023-03-12 cs.CV cs.LG
Conformal Uncertainty Indicator for Continual Test-Time Adaptation
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所新模式识别实验室）；China Nuclear Power Engineering Co., LTD（中国核电工程有限公司）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Computer Science & Engineering, LinYi University（临沂大学计算机科学与工程学院）；School of Electric & Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）
本文提出共形不确定性指示器CUI，通过动态补偿共形预测的覆盖率并筛选可靠伪标签，解决CTTA中错误伪标签累积问题，提升持续测试时自适应性能。
2025-02-05 cs.LG
Unsupervised Model Adaptation for Continual Semantic Segmentation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
我们开发了一种算法，用于适应语义分割模型，该模型使用标记的源域进行训练，以便在未标记的目标域中进行良好的概括。类似的问题已经在无监督领域自适应（UDA）文献中被广泛研究，但是现有的UDA算法需要访问源域标记数据和目标域未标记数据以训练域不可知的语义分割模型。放松此约束使用户能够调整预训练模型以在目标域中泛化，而无需访问源数据。为此，我们在中间嵌入空间中学习源域的原型分布。这种分布对从源域学习的抽象知识进行编码。然后，我们使用该分布来将目标域分布与嵌入空间中的源域分布对齐。我们提供了理论分析和解释的条件下，我们的算法是有效的。基准适应任务的实验表明，我们的方法取得了竞争力的性能，甚至与联合UDA方法。
2021-01-09 cs.CV cs.LG stat.ML
Continual Domain Adversarial Adaptation via Double-Head Discriminators
University at Buffalo（布法罗大学）
针对持续域对抗适应中源域数据受限导致$\gH$-散度估计误差的问题，提出双头判别器算法，引入源专用判别器降低估计误差，在基准上提升超2%并缓解遗忘。
2024-02-05 cs.AI cs.LG
Source-Free Controlled Adaptation of Teachers for Continual Test-Time Adaptation
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IBM Research（IBM 研究院）；Amazon（亚马逊）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
研究推理时领域持续变化下的持续测试时自适应问题，提出无源可控教师自适应方法，动态设置动量值并估计类原型，无需源数据，实验表明该方法优于多种需源数据的现有自适应框架。
2026-07-28 cs.CV cs.LG
Continual Learning with Low Rank Adaptation
Amazon Web Services（亚马逊云科技）
本文提出CoLoR，将低秩适应（LoRA）应用于持续学习，在领域增量学习基准上以与提示微调方法相当的参数效率取得了最先进性能。
2023-11-29 cs.AI cs.LG
Concept drift detection and adaptation for federated and continual learning
Universidade da Coruña（拉科鲁尼亚大学）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
智能设备（如智能手机、可穿戴设备、机器人等）可以从其环境中收集大量数据。这些数据适用于训练机器学习模型，可以显著改善其行为，从而改善用户体验。联邦学习是一个年轻而流行的框架，它允许多个分布式设备协同训练深度学习模型，同时保护数据隐私。然而，这种方法可能不是最佳的情况下，数据分布是不相同的参与者或随着时间的推移而变化，导致所谓的概念漂移。虽然在这方面的研究还很少，但这种情况在现实生活中非常常见，并对持续学习和联邦学习提出了新的挑战。因此，在这项工作中，我们提出了一种新的方法，称为概念漂移感知联邦平均（CDA-FedAvg）。我们的建议是最流行的联邦算法，联邦平均（FedAvg）的扩展，增强其持续适应下的概念漂移。我们经验证明常规FedAvg的弱点，并证明CDA-FedAvg在这种情况下优于它。
2021-07-15 cs.LG
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
Tianjin University（天津大学）
针对持续学习中低秩适配的谱可塑性坍缩问题，MuLoRA通过历史白化与动量更新的近似极正交化联合控制容量分配与利用，在多个类增量基准上取得最优平均准确率。
2026-11-10 cs.LG
PCoTTA: Continual Test-Time Adaptation for Multi-Task Point Cloud Understanding
Bournemouth University（伯恩茅斯大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai University（上海大学）；Zhejiang University（浙江大学）；Northwest A&F University（西北农林科技大学）；La Trobe University（拉筹伯大学）
该研究提出面向多任务点云理解的持续测试时自适应框架PCoTTA，通过自动原型混合、高斯泼溅特征偏移、对比原型排斥三个组件缓解遗忘与误差累积，提升模型对持续变化目标域的迁移能力，实验验证了其优越性并建立新基准。
2024-11-01 cs.CV cs.LG
RDumb: A simple approach that questions our progress in continual test-time adaptation
University of Tübingen（蒂宾根大学）；EPFL（洛桑联邦理工学院）
本文提出 CCC 基准评估长期持续 TTA，并设计周期性重置模型的简单基线 RDumb，发现多数先进方法最终崩溃，而 RDumb 达到或超过最佳性能。
2024-04-03 cs.CV cs.LG
NOTE: Robust Continual Test-time Adaptation Against Temporal Correlation
KAIST（韩国科学技术院）
测试时自适应（Test-time adaptation，TTA）是一种新兴的模式，它解决了训练和测试阶段之间的分布变化，而不需要额外的数据采集或标记成本;只有未标记的测试数据流用于连续的模型自适应。以前的TTA方案假设测试样本是独立同分布的，即使它们经常是时间相关的（非I.I.D.）在应用场景中，例如，自动驾驶我们发现，大多数现有的TTA方法在这种情况下显着失败。受此启发，我们提出了一个新的测试时自适应计划，对非独立同分布是强大的。测试数据流我们的新颖性主要是两方面的：（a）实例感知批量归一化（IABN），纠正分布外样本的归一化，以及（b）预测平衡水库采样（PBRS），模拟i.i.d.来自非I.I.D.的数据流以类平衡的方式流。我们对各种数据集的评估，包括真实世界的非i.i.d.流，表明所提出的强大的TTA不仅优于国家的最先进的TTA算法在非i.i.d.设置，而且还实现了与i.i.d.假设代码可在https://github.com/TaesikGong/NOTE上获得。
2023-01-11 cs.LG
C-LoRA: Continual Low-Rank Adaptation for Pre-trained Visual Models
Institute of Intelligent Information Processing, Shanxi University（山西大学智能信息处理研究所）；Alliance Manchester Business School, The University of Manchester（曼彻斯特大学联盟曼彻斯特商学院）
针对现有LoRA微调在持续学习中依赖多适配器导致开销大、推理复杂的问题，提出C-LoRA，利用可学习路由矩阵动态管理参数更新，实现高效知识复用与正交性约束，在基准上取得最先进准确率和参数效率，并提供理论见解。
2026-10-09 cs.LG
RDumb++: Drift-Aware Continual Test-Time Adaptation
Department of Computer Science（计算机科学系）；University of British Columbia（不列颠哥伦比亚大学）
针对持续测试时自适应中分布快速变化或长期漂移导致性能崩溃的问题，提出RDumb++方法，通过熵和KL散度漂移检测机制与自适应重置策略，在CCC基准上实现约3%的绝对准确率提升。
2026-01-22 cs.AI cs.LG
RegCL: Compact Continual SAM Adaptation for Visual Grounding in Multi-Sensorial Media
Wangxuan Institute of Computer Technology, Peking University, China（北京大学计算机科学技术研究院）
针对多感官媒体中 SAM 在动态领域性能下降的问题，提出非重放持续适配框架 RegCL，通过合并轻量适配模块实现紧凑部署，在五数据集实验中优于基线方法。
2026-08-31 cs.CV cs.LG
Re-Evaluating Continual Learning with Few-Shot Adaptation
Department of Computer Science（计算机科学系）
本文提出用少样本评估替代零样本评估来更全面衡量持续学习系统的稳定性和可塑性，并通过新指标“每样本可塑性”发现元学习未来任务序列能诱导学习到学习行为。
2026-06-02 cs.AI cs.LG
Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning
针对固定拓扑网络的统计冲突与灾难性遗忘问题，提出可定向增构的 DIRAD 及无需任务标签的 PREVAL 框架，实现高性能、简化网络和持续任务适应。
2024-12-05 cs.AI cs.LG
GMM-COMET: Continual Source-Free Universal Domain Adaptation via a Mean Teacher and Gaussian Mixture Model-Based Pseudo-Labeling
Institute of Signal Processing and System Theory, University of Stuttgart（信号处理与系统理论研究所，斯图加特大学）
GMM-COMET通过均值教师和高斯混合模型伪标签方法，实现连续源无关通用领域适应，提升长序列适应的稳定性与鲁棒性。
2026-01-16 cs.CV cs.LG
Ranked Entropy Minimization for Continual Test-Time Adaptation
Ajou University（亚洲大学）；Korea Telecom（韩国电信）；Korea University（高丽大学）
针对持续测试时适应中熵最小化导致的模型崩溃问题，提出排序熵最小化，通过渐进掩蔽策略保持熵排序，提升稳定性，并在多个基准上验证有效性。
2025-05-22 cs.CV cs.LG
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley（加州大学伯克利分校）
人类和动物可以学习复杂的预测模型，使他们能够准确可靠地推理现实世界的现象，并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能，但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序，使用随机梯度下降更新模型参数，并与中国餐厅的过程之前，开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整，新模型针对任务更改进行实例化，旧模型在再次遇到以前看到的任务时被调用。此外，我们观察到元学习可以用于元训练模型，使得SGD的这种直接在线自适应是有效的，否则对于大型函数逼近器来说就不是这种情况。在这项工作中，我们将我们的元学习在线学习（MOLe）方法应用于基于模型的强化学习，其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法，并在非平稳任务分布（如变化的地形，电机故障和意外干扰）中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Mitigating the Bias in the Model for Continual Test-Time Adaptation
Graduate School of Convergence Science and Technology, Seoul National University（首尔国立大学融合科学技术研究生院）
针对持续测试时适应中模型因链式分布变化而产生的类别预测偏差，本文提出基于可靠样本的类别级 EMA 目标原型聚类与源原型锚定对齐方法，在现有 CTA 方法上显著提升性能且开销很小。
2024-03-02 cs.CV cs.LG
Harness Continual Learning: Continual Adaptation Beyond Model Parameters
University of Wollongong（卧龙岗大学）；Nanjing University（南京大学）
该研究提出工具链持续学习（HCL）范式，围绕冻结基础模型演化工具链，通过受保护演化机制缓解工具链级遗忘，在多任务实验中相对基准增益超10%，可调整稳定性-可塑性权衡。
2026-10-01 cs.AI cs.LG
Continual Active Learning for Efficient Adaptation of Machine Learning Models to Changing Image Acquisition
Medical University of Vienna（维也纳医科大学）
临床常规中的成像受制于改变的扫描仪协议、硬件或在典型的异构采集硬件集合中的策略。深度学习模型的准确性和可靠性受到这些变化的影响，因为数据和目标变得与其初始静态训练集不一致。持续学习可以适应变化的成像环境的连续数据流。在这里，我们提出了一种方法，连续主动学习的数据流的医学图像。它识别新成像源（域）的变化或添加，相应地调整训练，并选择最佳示例进行标记。模型训练必须应对有限的标签预算，类似于典型的现实世界场景。我们证明了我们的方法T1加权磁共振图像从三个不同的扫描仪的任务，脑年龄估计。结果表明，所提出的方法优于天真的主动学习，同时需要较少的人工标记。
2021-06-07 cs.CV cs.LG
R.I.P.: A Simple Black-box Attack on Continual Test-time Adaptation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Tokyo（东京大学）
本文提出无需模型参数知识或样本修改的黑盒攻击 RIP，利用错误预测复用风险使持续 TTA 性能退化，并通过广泛基准评估揭示其威胁与防御方向。
2024-12-02 cs.AI cs.LG
DPCore: Dynamic Prompt Coreset for Continual Test-Time Adaptation
Tulane University（杜兰大学）；Dolby Laboratories（杜比实验室）
DPCore针对持续测试时自适应中域动态变化问题，提出结合视觉提示自适应、提示核心集和动态更新机制的方法，在四个基准上以更少参数和计算时间实现最优性能。
2025-06-06 cs.CV cs.LG
CoSDA: Continual Source-Free Domain Adaptation
Zhejiang University（浙江大学）；Sea AI Lab（Sea AI实验室）
针对无源域自适应中的灾难性遗忘问题，本文提出连续无源域自适应方法 CoSDA，通过双速优化的教师-学生模型对和一致性正则化，在四个基准上优于现有方法，并可与其他 SFDA 方法集成。
2023-04-13 cs.CV cs.LG
SPARC: Subspace-Aware Prompt Adaptation for Robust Continual Learning in LLMs
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）
SPARC通过PCA低维子空间提示微调并结合LoRA，以极低参数开销实现LLM持续学习中的高效任务适配与知识保持。
2025-02-05 cs.AI cs.CL cs.LG
FoCTTA: Low-Memory Continual Test-Time Adaptation with Focus
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Swiss Data Science Center（瑞士数据科学中心）；City University of Hong Kong（香港城市大学）
针对持续测试时自适应中更新所有BN层导致的高内存问题，提出FoCTTA，通过自动聚焦更新少数漂移敏感表征层，降低内存并提升准确率，在多个基准上优于现有方法。
2025-02-28 cs.LG
Adaptive Cascading Network for Continual Test-Time Adaptation
University of Delaware（特拉华大学）
针对持续测试时自适应中特征器与分类器不匹配、任务干扰及适应慢的问题，提出元学习预训练的级联网络，并引入平均准确率与前向迁移指标，在多类任务上验证优越性。
2024-10-01 cs.CV cs.LG
Dual-Phase Continual Learning: Supervised Adaptation Meets Unsupervised Retention
Mila, Concordia University（蒙特利尔大学米尔人工智能实验室）；Concordia University（蒙特利尔大学）；Toyota Motor Europe（丰田欧洲公司）
本文提出了一种基于无监督方法的双相持续学习框架，通过利用测试时间数据提升先前任务性能，无需存储或重播数据，有效缓解VLMs中的遗忘问题。
2026-01-30 cs.LG
Efficient Prompting for Continual Adaptation to Missing Modalities
Zhejiang University（浙江大学）
将动态缺失模态问题表述为持续学习任务，提出模态特定、任务感知和任务特定三种提示及对比任务交互策略，在三个公开数据集上持续优于现有方法。
2025-03-01 cs.CV cs.LG
Towards Continual Test-Time Adaptation of Vision-Language Models in Open-Vocabulary Semantic Segmentation
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Tulane University（杜兰大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对开放词汇语义分割中视觉-语言模型在持续测试时分布偏移下的对齐脆弱问题，提出DAF框架，在多数据集上实现mIoU显著提升且鲁棒性良好。
2026-09-01 cs.CV cs.LG
Continual Test-Time Adaptation via Entropy Sensitivity-Guidance in Strict Online Setting
Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Tulane University（杜兰大学）
本文提出SEGA方法，用于严格在线持续测试时适应，通过结构化擦除探测熵变化以协调恢复与样本选择，在多数据集上提升了鲁棒性与稳定性并减少反向传播次数。
2026-09-01 cs.CV cs.LG
The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Hong Kong University of Science and Technology（香港科技大学）；Frontier Robotics（前沿机器人）
本文提出GOLD方法，通过轻量级适配器将特征投影到黄金子空间，并动态更新子空间以提升效率和稳定性，实验证明其在分类和分割任务中表现优异。
2026-03-23 cs.CV cs.LG
InfLoRA: Interference-Free Low-Rank Adaptation for Continual Learning
Nanjing University（南京大学）
本文提出 InfLoRA，通过在预训练权重子空间中注入低秩参数并设计无干扰子空间，兼顾持续学习的稳定性与可塑性，在多个数据集上超越现有最优方法。
2024-04-03 cs.AI cs.CV cs.LG
EDAPT: Towards Calibration-Free BCIs with Continual Online Adaptation
Excellence Cluster Machine Learning, University of Tübingen（卓越集群机器学习中心，图宾根大学）；Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Department of Neurology and Stroke, University of Tübingen（神经学与中风部门，图宾根大学）；Hertie Institute for Clinical Brain Research, University of Tübingen（赫尔特研究所，图宾根大学）；Department of Empirical Inference, Max Planck Institute for Intelligent Systems（经验推理部门，智能系统马克斯·普朗克研究所）；Hertie Institute for AI in Brain Health, Tübingen（赫尔特人工智能与脑健康研究所，图宾根）
提出EDAPT框架，通过群体级预训练与在线持续微调实现无需校准的脑机接口，在九个数据集上显著提升准确率并支持毫秒级模型更新。
2025-08-14 cs.HC cs.LG q-bio.NC
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory
Sony AI（索尼人工智能）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出DualLoRA方法，通过引入正交和残差低秩适配器，结合动态记忆机制，在连续学习中提升稳定性与可塑性，实现更高的准确率、推理速度和计算效率。
2026-03-24 cs.CV cs.LG
A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Monash University（莫纳什大学）
本文提出一种融合变分先验与显著性图回放的持续三维重建方法，以缓解灾难性遗忘并降低存储开销，实验证明其性能具有竞争力。
2024-11-21 cs.CV cs.LG
RECAP: Regression Evaluation for Continual Adaptation of Prompts
Capital One
提出RECAP基准，在严格主动适应-测试协议下评估提示优化方法对约束变化的持续学习能力，发现现有方法在主动场景下性能无显著提升，强调设计主动提示适应方法的必要性。
2026-09-02 cs.CL cs.LG
Task-agnostic Low-rank Residual Adaptation for Efficient Federated Continual Fine-Tuning
University of Exeter（埃克塞特大学）
本文提出Fed-TaLoRA，通过任务无关适应、后聚合模型校准和策略性低秩适应放置，解决联邦持续微调中的遗忘、参数增长和聚合不一致问题，提升效率。
2026-04-09 cs.LG
SeqLoRA: Bilevel Orthogonal Adaptation for Continual Multi-Concept Generation
Uppsala University（乌普萨拉大学）；ETH Zurich（苏黎世联邦理工学院）；Sweden（瑞典）
本文提出SeqLoRA，一种双水平优化框架，通过联合优化LoRA因素来解决文本到图像扩散模型中多自定义概念组合时的表示干扰问题，提高了身份保持性和可扩展性。
2026-10-01 cs.LG
Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation
Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）
针对持续学习中批量归一化统计的近期偏差问题，提出自适应平衡BN（AdaB$^2$N）方法，结合贝叶斯策略和修正动量，在多个基准上显著提升性能。
2023-10-13 cs.LG
