Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University（奥胡斯大学）
本文介绍了Continual Inference，一个在PyTorch中实现CINs的Python库，专为在线和批处理场景的高效推理设计，并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Fine-Tuning Strategies for Continual Online EEG Motor Imagery Decoding: Insights from a Large-Scale Longitudinal Study
University of Stuttgart（斯图加特大学）；Inria（法国国家信息与自动化研究所）；Universite Paris-Saclay（巴黎萨克雷大学）；Federal University of ABC（ABC联邦大学）
本研究首次在大型用户组的多会话因果场景中探索持续微调策略，结合在线测试时适应（OTTA），发现基于受试者特定信息的逐步微调可提升性能与稳定性，OTTA实现无校准适配，为纵向在线EEG运动想象解码提供泛化性见解。
2025-02-05 cs.AI cs.LG
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI（ElementAI公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
持续学习研究的是在适应新任务的同时，从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中，模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中，目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上，提出一个更一般的场景，大坂，代理必须快速解决新的（分布外）任务，同时还需要快速记忆。我们表明，目前的持续学习，元学习，Meta-持续学习，和持续元学习技术在这个新的情况下失败。我们建议连续MAML，流行的MAML算法的在线扩展作为一个强有力的基线，这种情况下。我们的经验表明，连续MAML比上述方法更适合新的场景，以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
Online Curvature-Aware Replay: Leveraging $\mathbf{2^{nd}}$ Order Information for Online Continual Learning
University of Pisa（比萨大学）
本文提出在线曲率感知回放（OCAR）方法，将基于回放的在线持续学习形式化为带KL约束的二阶在线联合优化，利用K-FAC近似的Fisher信息矩阵预处理梯度以稳定优化并防止遗忘，在多个基准上取得最优性能。
2025-02-03 cs.AI cs.LG
Scalable Adversarial Online Continual Learning
University of New South Wales（新南威尔士大学）；University of South Australia（南澳大学）；Nanyang Technological University（南洋理工大学）
对抗性持续学习对于持续学习问题是有效的，因为特征对齐过程的存在产生对灾难性遗忘问题具有低敏感性的任务不变特征。然而，ACL方法带来了相当大的复杂性，因为它依赖于特定于任务的网络和鉴别器。它还经历了一个迭代的训练过程，这不适合在线（一个时期）持续学习的问题。提出了一种可扩展的对抗性持续学习（SCALE）方法，提出了一个参数生成器，将共同特征转化为特定任务的特征，并在对抗性博弈中引入一个参数生成器来归纳共同特征。使用三个损失函数的新组合以元学习方式进行训练过程。SCALE在准确性和执行时间方面都优于显著的基线。
2022-09-04 cs.AI cs.LG
Hierarchically Gated Experts for Efficient Online Continual Learning
The University of New South Wales（新南威尔士大学）
针对在线持续学习中的未知任务流问题，提出层级门控专家（HGE）算法，通过动态增长的专家层级结构高效选择最佳专家，在标准基准上取得与现有方法相当且更高效的结果。
2024-12-22 cs.AI cs.LG
Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；City University of Hong Kong（香港城市大学）；School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院）
本文提出Dual-CBA框架，通过结合类别特定与类别无关的持续偏置适配器及增量批归一化模块，从双层优化视角有效缓解在线持续学习中的灾难性遗忘与分布偏移问题。
2024-08-26 cs.AI cs.LG
Improving Online Continual Learning Performance and Stability with Temporal Ensembles
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；University of Pisa（比萨大学）
本文针对在线持续学习中的性能下降与稳定性差距问题，提出一种轻量级时间集成方法，通过在测试时计算权重的指数移动平均（EMA），显著提升了在线持续学习的性能与稳定性。
2023-07-03 cs.AI cs.LG
Continual Normalization: Rethinking Batch Normalization for Online Continual Learning
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
现有的持续学习方法使用批量归一化（BN）来促进训练并改进跨任务的泛化。然而，持续学习数据的非i.i. d和非平稳性质，特别是在在线设置中，放大了BN中训练和测试之间的差异，并阻碍了旧任务的执行。在这项工作中，我们研究了BN在在线持续学习中的跨任务归一化效应，其中BN使用偏向当前任务的时刻对测试数据进行归一化，从而导致更高的灾难性遗忘。这种限制促使我们提出一种简单而有效的方法，我们称之为连续归一化（CN），以促进类似于BN的训练，同时减轻其负面影响。在不同的持续学习算法和在线场景上的大量实验表明，CN是BN的直接替代品，可以提供实质性的性能改进。我们的实现可在\url{https://github.com/phquang/Continual-Normalization}上获得。
2022-03-30 cs.LG
Adaptive Shortcut Debiasing for Online Continual Learning
KAIST（韩国科学技术院）
针对在线持续学习中的捷径偏差问题，提出DropTop框架，通过特征图融合与自适应强度偏移技术自动确定去偏程度，在五个基准数据集上显著提升准确率并降低遗忘率。
2023-12-14 cs.AI cs.LG
New Insights for the Stability-Plasticity Dilemma in Online Continual Learning
Seoul National University（首尔大学）；DeepBrain AI Inc.（深脑人工智能公司）；Ewha Womans University（梨花女子大学）
持续学习的目的是不断地学习新的任务（即，可塑性）而不会忘记先前从旧任务中学习的知识（即，稳定性）。在在线持续学习的场景中，其中数据严格地以流的方式来，在线持续学习的可塑性比离线持续学习更脆弱，因为可以从单个数据点获得的训练信号是有限的。为了克服在线持续学习的稳定性和可塑性的困境，我们提出了一个在线持续学习框架命名为多尺度特征自适应网络（MuFAN），利用更丰富的上下文编码提取从不同级别的预训练网络。此外，我们引入了一种新的结构方面的蒸馏损失，并取代常用的批量归一化层与新提出的稳定性塑性归一化模块训练MuFAN，同时保持高的可塑性和稳定性。MuFAN在SVHN、CIFAR 100、miniImageNet和CORe 50数据集上的表现优于其他最先进的持续学习方法。广泛的实验和消融研究验证了每个组件的重要性和可扩展性：1）来自预训练编码器的多尺度特征图，2）结构方面的蒸馏损失，以及3）MuFAN中的稳定性-可塑性归一化模块。代码可在https://github.com/whitesnowdrop/MuFAN上公开获取。
2023-02-17 cs.AI cs.CV cs.LG
Is Prompt Selection Necessary for Task-Free Online Continual Learning?
Sungkyunkwan University（成均馆大学）
本文提出单提示方法，无需提示选择，通过优化分类器减少遗忘，实现无任务在线持续学习的最优性能。
2026-04-06 cs.AI cs.LG
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University（卡内基梅隆大学）
持续学习，也被称为终身学习，旨在不断地从新的数据中学习，因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应，在本文中，我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下，额外的训练数据为同一个任务变得越来越可用随着时间的推移，我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆（GEM）的方法。此外，我们表明，通过在线持续学习和选择性采样策略，我们可以保持类似于从头开始重新训练模型的准确性，同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习（SSL）功能。
2022-07-11 cs.AI cs.LG cs.SD
Online Continual Adaptation with Active Self-Training
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
使用离线数据训练的模型通常会在不断变化的环境中遭受持续的分布偏移和昂贵的标签。这就需要一种新的在线学习范式，学习者可以不断适应不断变化的环境，有限的标签。在本文中，我们提出了一个新的在线设置-在线主动持续适应，学习者的目标是不断适应不断变化的分布使用未标记的样本和有限的标签的主动查询。为此，我们提出了在线自适应镜像下降（OSAMD），它采用了在线师生结构，使在线自我训练从未标记的数据，和一个基于边缘的标准，决定是否查询标签，以跟踪不断变化的分布。理论上，我们表明，在可分离的情况下，OSAMD有一个$O({T}^{2/3})$动态遗憾界温和的假设下，这是对齐的$Ω(T^{2/3})$下界的在线学习算法与完整的标签。在一般情况下，我们证明了$O({T}^{2/3} + α^* T)$的遗憾界，其中$α^*$表示域的可分性，并且通常很小。我们的理论结果表明，OSAMD可以快速适应不断变化的环境与主动查询。从经验上讲，我们证明了OSAMD实现有利的遗憾在不断变化的环境下，有限的标签上的模拟和现实世界的数据，这证实了我们的理论研究结果。
2022-03-20 cs.AI cs.LG stat.ML
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（马恩拉瓦莱信息与数学实验室）
我们研究在线持续学习与缺失标签，并提出SemiCon，一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率，该方法在未标记的数据流上进行训练，其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时，我们的方法优于现有的半监督方法，并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下，获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
New Insights on Reducing Abrupt Representation Change in Online Continual Learning
在在线持续学习范例中，代理必须从不断变化的分布中学习，同时尊重内存和计算约束。经验重放（ER），其中一小部分过去的数据被存储并与新数据一起重放，已经成为一种简单而有效的学习策略。在这项工作中，我们专注于所观察到的数据表示的变化时，出现以前未观察到的类出现在传入的数据流中，新的类必须从以前的区别。我们揭示了新的光在这个问题上显示，应用ER导致新添加的类的表示与以前的类显着重叠，导致高度破坏性的参数更新。基于这种实证分析，我们提出了一种新的方法，通过屏蔽学习到的表示来适应新的类来缓解这个问题。我们表明，使用不对称的更新规则推动新的类，以适应旧的（而不是相反），这是更有效的，特别是在任务边界，其中大部分的遗忘通常发生。实证结果表明，在标准持续学习基准上，强基线有显著的收益
2022-04-25 cs.AI cs.LG
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University（西安交通大学）
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言，使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题，我们提出了多个深度度量表示学习，通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外，我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广，平均平均类准确率（AMCA）64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Rethinking Momentum Knowledge Distillation in Online Continual Learning
Univ Gustave Eiffel（Gustave Eiffel大学）；CNRS（法国国家科学研究中心）；The University of Tokyo（东京大学）
本文分析了知识蒸馏在在线持续学习（OCL）中的应用挑战，提出动量知识蒸馏（MKD）方法，有效提升了多种旗舰OCL方法的性能，在ImageNet100上准确率提高超10个百分点，并指出MKD应成为OCL的核心组件。
2024-06-05 cs.AI cs.LG
Optimizing Class Distribution in Memory for Multi-Label Online Continual Learning
Nanjing University（南京大学）
在线持续学习，特别是当任务身份和任务边界不可用时，是一种具有挑战性的持续学习设置。在线持续学习的一种典型方法是基于重放的方法，该方法通过维护一个称为记忆的重放缓冲区来保存一小部分过去的样本，以克服灾难性遗忘。在处理在线持续学习时，大多数现有的基于回放的方法都集中在单标签问题上，其中数据流中的每个样本只有一个标签。但多标签问题也可能发生在在线持续学习设置中，其中每个样本可能有一个以上的标签。在具有多标签样本的在线设置中，数据流中的类别分布通常是高度不平衡的，并且由于改变属于一个类别的样本的数量可能影响属于其他类别的样本的数量，因此控制存储器中的类别分布是具有挑战性的。但是，存储器中的类分布对于基于重放的存储器获得良好的性能至关重要，特别是当数据流中的类分布高度不平衡时。在本文中，我们提出了一个简单而有效的方法，称为优化类分布在内存（OCDM），多标签在线持续学习。OCDM将内存更新机制表述为一个优化问题，通过求解该优化问题来更新内存。在两个广泛使用的多标签数据集上的实验表明，OCDM可以很好地控制内存中的类分布，并且性能优于其他最先进的方法。
2022-09-23 cs.LG
Learning Equi-angular Representations for Online Continual Learning
Yonsei Univ.（延世大学）；LG AI Research（LG人工智能研究院）；Sungkyunkwan Univ.（成均馆大学）；Zhejiang Lab（浙江实验室）；Seoul National Univ.（首尔大学）
本文针对在线持续学习中单轮训练导致的欠拟合问题，提出利用神经坍缩形成单纯形等角紧框架结构，并通过预备数据训练与表示空间残差校正提升模型对流式数据的拟合能力，在多个数据集上显著超越现有方法。
2024-04-02 cs.AI cs.CV cs.LG
Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data
Intel Labs（英特尔实验室）
持续学习是在多个任务和环境中通过时间学习和保留知识的问题。研究主要集中在增量分类设置，其中新的任务/类以离散的时间间隔添加。这种“离线”设置不会评估代理有效和高效学习的能力，因为代理可以在添加任务时执行多个学习时期而没有任何时间限制。我们认为，“在线”持续学习，其中数据是一个单一的连续流没有任务边界，使评估信息保留和在线学习的功效。在在线持续学习中，每个传入的小批量数据首先用于测试，然后添加到训练集中，使问题真正在线。经过训练的模型随后会在历史数据上进行评估，以评估信息保留情况。我们介绍了一个新的基准在线持续视觉学习，表现出大规模和自然的分布偏移。通过大规模的分析，我们确定关键的和以前未观察到的现象，基于梯度的优化持续学习，并提出有效的策略，以改善基于梯度的在线持续学习与真实数据。源代码和数据集可在：https://github.com/IntelLabs/continuallearning。
2021-09-22 cs.CV cs.LG
Online Continual Learning with Contrastive Vision Transformer
The University of Sydney（悉尼大学）
在线连续学习（Online Continuous Learning，CL）研究从无任务边界的在线数据流中学习顺序任务的问题，旨在适应新数据的同时减轻对过去任务的灾难性遗忘。本文提出了一个框架对比视觉Transformer（CVT），它设计了一个基于Transformer架构的焦点对比学习策略，以实现在线CL的更好的稳定性和可塑性权衡。具体而言，我们设计了一个新的外部注意力机制在线CL隐式捕获以前的任务的信息。此外，CVT包含每个类的可学习焦点，可以积累以前课程的知识，以减少遗忘。基于可学习的焦点，我们设计了一个焦点对比损失，以重新平衡新类和旧类之间的对比学习，并巩固以前学习的表征。此外，CVT包含一个双分类器结构，用于解耦学习当前类和平衡所有观察到的类。大量的实验结果表明，我们的方法实现了最先进的性能，甚至更少的参数在线CL基准，并有效地消除了灾难性遗忘。
2022-07-24 cs.AI cs.CV cs.LG
A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal
University of Waikato（怀卡托大学）；LTCI, Télécom Paris（巴黎电信学院LTCI实验室）
在线持续学习（OCL）的目标是通过一次数据传递从非平稳数据流中增量地训练神经网络。基于排练的方法试图用一小段时间来近似观察到的输入分布，并在以后重新访问它们以避免忘记。尽管其强大的经验表现，排练方法仍然遭受从过去的数据与记忆样本的损失景观的近似差。本文回顾了在线环境中的排练动态。我们从有偏和动态经验风险最小化的角度提供了关于固有记忆过拟合风险的理论见解，并研究了重复排练的优点和局限性。受我们分析的启发，一个简单直观的基线，重复增强排练（RAR），旨在解决在线排练的欠拟合-过拟合困境。令人惊讶的是，在四个相当不同的OCL基准测试中，这个简单的基线比vanilla rehearsal高出9%-17%，并且还显著改进了最先进的基于排练的方法MIR，ASER和SCR。我们还证明了RAR成功地实现了对过去数据的损失景观的准确近似，以及在其学习轨迹中的高损失岭规避。进行了广泛的消融研究，以研究重复和增强排练之间的相互作用，并应用强化学习（RL）来动态调整RAR的超参数，以在线平衡稳定性-可塑性权衡。代码可在https://github.com/YaqianZhang/RepeatedAugmentedRehearsal上获得
2022-11-13 cs.AI cs.LG
Ferret: An Efficient Online Continual Learning Framework under Varying Memory Constraints
Sichuan University（四川大学）；National University of Singapore（新加坡国立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Huazhong University of Science and Technology（华中科技大学）
本文提出 Ferret 框架，通过细粒度流水线并行、迭代梯度补偿及自动化模型划分，在变化内存预算下提升 OCL 的实时准确率与效率。
2025-03-15 cs.AI cs.LG
Random Representations Outperform Online Continually Learned Representations
IIIT Hyderabad（印度信息技术学院海得拉巴分校）；University of Oxford（牛津大学）；Apple（苹果公司）
本文提出RanDumb方法，用固定随机变换加线性分类器证明简单随机表示在在线持续学习中优于持续学习到的表示，并挑战了现有表示学习假设。
2024-11-20 cs.CV cs.LG
Unbiased Online Curvature Approximation for Regularized Graph Continual Learning
针对图持续学习中的灾难性遗忘问题，提出基于Fisher信息矩阵的无偏在线曲率近似正则化方法，无需显式存储FIM即可在线估计正则化项，在稳定性和可塑性间实现更优权衡。
2025-09-16 cs.AI cs.LG
Natural Gradient Descent for Online Continual Learning
Ecole Polytechnique & Télécom Paris（巴黎高等理工学院与电信巴黎学院）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出利用自然梯度下降优化器和FIM近似方法改进在线持续学习性能，尤其在Split CIFAR-100等数据集上表现突出。
2026-03-21 cs.AI cs.CV cs.LG
Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries
NAVER CLOVA；NAVER AI Lab（NAVER人工智能实验室）；GIST（光州科学技术院）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
在具有不正确标签的连续变化的数据分布下学习是一个理想的现实世界问题，但具有挑战性。然而，大量的持续学习（CL）方法假设数据流具有干净的标签，并且在有噪声的数据流下的在线学习场景尚未被充分探索。我们考虑一个更实际的CL任务设置的在线学习从模糊的数据流与损坏的标签，现有的CL方法的斗争。为了解决这个问题，我们首先讨论了持续学习模型中情景记忆中样例的多样性和纯度的重要性。为了平衡情景记忆的多样性和纯度，我们提出了一种新的策略来管理和使用记忆的标签噪声感知不同的采样和鲁棒学习与半监督学习的统一方法。我们对四个真实世界或合成噪声数据集（CIFAR 10和100，mini-WebVision和Food-101 N）的经验验证表明，我们的方法在这种现实和具有挑战性的持续学习场景中显着优于现有技术。代码和数据分割可以在https://github.com/clovaai/puridiver上找到。
2022-03-30 cs.AI cs.CV cs.LG
Distribution-aware Online Continual Learning for Urban Spatio-Temporal Forecasting
National University of Singapore（新加坡国立大学）；Comfort Transportation Pte Ltd（康福运输私人有限公司）；CDG Zig Pte Ltd（CDG Zig私人有限公司）
针对城市时空预测中离线模型忽视数据分布随时间偏移导致性能下降的问题，提出DOST在线持续学习框架，通过自适应时空网络、醒睡学习策略及流记忆更新机制，在四个数据集上实现优于SOTA的预测性能，平均耗时0.1秒内且误差降低12.89%。
2024-11-24 cs.AI cs.LG
From Offline to Online Memory-Free and Task-Free Continual Learning via Fine-Grained Hypergradients
The University of Tokyo（东京大学）；Japanese French Laboratory for Informatics, CNRS（日法信息实验室，CNRS）；Massachusetts Institute of Technology（麻省理工学院）
针对在线持续学习中无任务、无记忆方法难以适配的问题，本文用轻量级原型结合细粒度超梯度重加权缓解梯度不平衡，显著提升性能并超过在线基线。
2025-06-07 cs.AI cs.LG
Evaluating Online Continual Learning with CALM
Naver Labs Europe（Naver欧洲实验室）；Pompeu Fabra University（庞培法布拉大学）；CIIRC CTU（捷克理工大学计算机科学研究所）
在线持续学习（OCL）研究在连续数据流上的学习，而不需要多次观察任何单个示例，这种设置更接近人类和系统必须“在野外”学习的经验。然而，通常可用的基准远离这些现实世界的条件，因为它们显式地表示不同的任务，缺乏潜在的相似性结构或假设不同示例之间的时间独立性。在这里，我们提出了一个基于语言建模的OCL新基准，其中输入在不同语言和域之间交替，而没有任何明确的界限。此外，我们提出了新的指标来研究灾难性遗忘在这种情况下，并评估多个基线模型的基础上组成的专家。最后，我们介绍了一种简单的门控技术，它可以学习不同输入之间的潜在相似性，从而提高专家产品模型的性能。
2021-02-01 cs.AI cs.CL cs.LG
Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning
Rochester Institute of Technology（罗切斯特理工学院）
在这篇文章中，我们提出了一种新的无监督学习形式，连续竞争记忆（CCM），以及一个计算框架，以统一相关的神经模型下的竞争原则。所得到的神经系统提供了一个有效的方法，打击灾难性遗忘在线连续分类问题。我们证明了所提出的CCM系统不仅优于其他竞争性学习神经模型，而且在Split MNIST和Split NotMNIST等基准上与几种现代最先进的终身学习方法相比具有竞争力。CCM为获取对数据流干扰具有鲁棒性的表示提供了一条有希望的前进道路，特别是当任务对模型未知并且必须在没有外部指导的情况下推断时。
2021-06-24 cs.LG
Online Continual Graph Learning
Department of Mathematics, University of Padua（帕多瓦大学数学系）；Faculty of Informatics, Università della Svizzera Italiana（瑞士意大利大学信息学院）；Department of Electronics, Information and Bioengineering, Politecnico di Milano（米兰理工学院电子、信息与生物工程系）
本文提出在线持续图学习（OCGL）框架，通过严格资源约束下的节点级持续学习，实现对动态图的高效在线预测。
2025-12-18 cs.LG
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology（佐治亚理工学院）
我们提出，持续学习desiderata可以通过神经启发的架构，蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块，称为自学联想记忆（STAM），它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习，基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
Layerwise Proximal Replay: A Proximal Point Method for Online Continual Learning
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Mila（米拉）；Vector Institute（矢量研究所）
针对在线持续学习中经验重放导致优化轨迹不稳定、影响准确率的问题，提出分层近端重放（LPR），通过修改优化几何、限制过去数据隐藏激活的渐进变化，在多种设置下稳定提升重放方法性能。
2024-07-19 cs.LG
Continual Reinforcement Learning by Planning with Online World Models
Sea AI Lab（海智人工智能实验室）；National University of Singapore（新加坡国立大学）
本文提出基于在线世界模型规划的持续强化学习方法FTL Online Agent，通过在线学习Follow-The-Leader浅层模型并结合模型预测控制，有效解决了多任务序列中的灾难性遗忘问题，并在Continual Bench上表现优于深度世界模型基线。
2025-07-12 cs.AI cs.LG stat.ML
Selective Replay Enhances Learning in Online Continual Analogical Reasoning
Rochester Institute of Technology（罗切斯特理工学院）；Paige；Cornell Tech（康奈尔科技学院）
在持续学习中，系统从非平稳数据流或批次中学习，而不会发生灾难性遗忘。虽然这个问题已经在监督图像分类和强化学习中得到了大量的研究，但为抽象推理而设计的神经网络中的持续学习还没有被研究。在这里，我们研究类比推理的持续学习。类比推理测试，如乌鸦的渐进矩阵（RPM）通常用于衡量人类的非语言抽象推理，最近离线神经网络的RPM问题已经提出。在本文中，我们建立了实验基线，协议，和向前和向后传输指标，以评估持续学习者的RPM。我们使用经验回放来减轻灾难性遗忘。使用重放用于图像分类任务的先前工作已经发现，选择性地选择要重放的样本提供的益处（如果有的话）比随机选择少得多。相比之下，我们发现，选择性重放可以显着优于随机选择的RPM任务。
2021-04-19 cs.AI cs.CV cs.LG
The impact of model size on catastrophic forgetting in Online Continual Learning
Massachusetts Institute of Technology（麻省理工学院）
该研究通过不同规模 ResNet 在 SplitCIFAR-10 上的在线类增量实验，发现更大模型未必能缓解灾难性遗忘，反而在在线适应新任务时表现更差，揭示了模型规模与持续学习效能之间的复杂关系。
2024-06-28 cs.CV cs.LG
Domain-Aware Augmentations for Unsupervised Online General Continual Learning
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（巴黎东部马恩河谷大学信息学实验室）
针对无监督在线通用持续学习（UOGCL）的遗忘挑战，本文提出利用依赖流的数据增强及实现技巧优化对比学习的内存使用，该方法简单有效，取得最先进结果并缩小了监督与无监督持续学习的差距。
2023-09-13 cs.LG
Complementary Learning System Empowers Online Continual Learning of Vehicle Motion Forecasting in Smart Cities
The School of Mechanical Engineering, Beijing Institute of Technology, Beijing 100081, China（北京理工大学机械工程学院）；The Key Laboratory of Road and Traffic Engineering, Ministry of Education, Tongji University, Shanghai, China（同济大学道路与交通工程重点实验室）；The School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore（南洋理工大学机械与航空航天工程学院）
本文提出受大脑互补学习系统启发的Dual-LS在线持续学习范式，通过协同记忆重放机制，在车辆运动预测中减轻灾难性遗忘达74.31%，并降低计算资源需求达94.02%。
2025-09-06 cs.AI cs.LG
Semi-Discriminative Representation Loss for Online Continual Learning
University of Bristol（布里斯托大学）；Amazon Research（亚马逊研究院）
在持续学习中使用情景记忆已经证明了减轻灾难性遗忘的有效性。在最近的研究中，基于梯度的方法已经被开发出来，以更有效地利用紧凑的情景记忆。这种方法通过来自记忆样本的梯度来细化来自新样本的梯度，旨在减少来自不同任务的梯度的多样性。在本文中，我们阐明了梯度的多样性和表示的区分性之间的关系，显示了深度度量学习和持续学习之间的共同利益和冲突，从而展示了在持续学习中学习区分性表示的利弊。基于这些发现，我们提出了一种简单的方法-半判别表示损失（SDRL）-用于持续学习。与现有方法相比，SDRL在在线持续学习的环境下，在多个基准任务上表现出更好的性能和更低的计算成本。
2022-04-14 cs.LG stat.ML
Continual Variational Autoencoder Learning via Online Cooperative Memorization
University of York（约克大学）
变分自编码器（VAE）由于其推理、数据表示和重构特性，已成功地应用于持续学习分类任务中。然而，他们的能力，以产生相应的类和数据库在持续学习（CL）学习规范的图像还没有得到很好的理解和灾难性遗忘仍然是一个重大的挑战。在本文中，我们首先分析了遗忘行为的VAE制定一个新的理论框架，制定CL作为一个动态的最优运输问题。该框架在不需要任务信息的情况下证明了数据可能性的近似界限，并解释了先验知识在训练过程中如何丢失。然后，我们提出了一种新的内存缓冲的方法，即在线协同建模（OCM）框架，它包括一个短期记忆（STM），不断存储最近的样本，为模型提供未来的信息，和一个长期记忆（LTM），旨在保持广泛的多样性的样本。OCM根据信息多样性选择准则，在不需要任何监督信号的情况下，将特定样本从STM转移到LTM。然后，OCM框架与动态VAE扩展混合网络相结合，以进一步提高其性能。
2022-07-20 cs.AI cs.CV cs.LG
Continual Learning, Not Training: Online Adaptation For Agents
Arc Intelligence
本文提出双智能体架构ATLAS，通过解耦推理与执行并引入持久记忆，实现推理时无梯度的系统级持续学习，在复杂网络威胁调查基准上以更低成本超越大模型并验证了泛化能力。
2025-11-02 cs.AI cs.LG
Wanderlust: Online Continual Object Detection in the Real World
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
动态环境下数据流的在线持续学习是计算机视觉领域的一个重要研究方向。然而，在这方面仍然缺乏现实的基准和基本研究。为了弥补这一差距，我们提出了一个新的在线连续目标检测基准与自我中心的视频数据集，对象周围克里希纳（OAK）。OAK采用了KrishnaCAM视频，这是一个以自我为中心的视频流，由一名研究生在九个月内收集。OAK为户外场景中的105个对象类别提供了80个视频片段（约17.5小时）的详尽限界框注释。在我们的基准测试中，新对象类别的出现遵循的模式类似于一个人在日常生活中可能看到的模式。该数据集还捕获了当人旅行到不同地方时的自然分布偏移。这些以自我为中心的长时间视频为持续学习算法提供了一个现实的操场，特别是在在线嵌入式设置中。我们还引入了新的评估指标来评估模型的性能和灾难性遗忘，并提供在线连续目标检测的基线研究。我们相信这个基准将为在持续学习中从非平稳数据中学习带来新的令人兴奋的挑战。OAK数据集和相关基准在https://oakdata.github.io/上发布。
2021-09-07 cs.CV cs.LG
LargeMonitor: Monitoring Online Task-Free Continual Learning via Large Pretrained Models
HKU（香港大学）；Qicore Tech（启科科技）
提出LargeMonitor框架，利用大型预训练模型（LVM和LMM）解耦检测与诊断，实现无任务持续学习中的零样本漂移检测和语义病因诊断，提升现有算法性能。
2026-09-17 cs.AI cs.LG
Continual Harness: Online Adaptation for Self-Improving Foundation Agents
Princeton University（普林斯顿大学）；ARISE Foundation（ARISE基金会）；Google DeepMind（谷歌DeepMind）
本文提出持续Harness，一种无需人工干预的自我改进机制，通过在线适应提升具身代理在长视界部分可观察决策中的表现，实验证明其在Pokémon游戏中显著降低操作成本并接近专家水平。
2026-05-11 cs.AI cs.LG
CBA: Improving Online Continual Learning via Continual Bias Adaptor
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）；Xidian University（西安电子科技大学）；Macau University of Science and Technology（澳门科技大学）
针对在线持续学习中的灾难性遗忘与新任务偏置问题，提出可在测试时移除的CBA模块以稳定分类器，并通过理论分析和多基准实验验证其有效性。
2023-08-14 cs.CV cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
在线类增量持续学习（CL）研究从在线非平稳数据流中持续学习新类的问题，旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果，但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值（NCM）分类器在CL社区中被严重低估，但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差，并避免了新类的全连接层的结构变化。此外，我们观察到相当大的和一致的性能增益时，用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器，属于同一类的数据嵌入应该被聚类，并与具有不同类标签的数据嵌入很好地分离。为此，我们贡献了监督对比重放（SCR），它明确鼓励来自同一类的样本在嵌入空间中紧密聚类，同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说，我们观察到，我们提出的SCR大大减少了灾难性遗忘，并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
Task Agnostic Continual Learning Using Online Variational Bayes
Technion - Israel Institute of Technology（以色列理工学院）
灾难性遗忘是神经网络在学习过程中容易受到数据分布变化的影响。这种现象一直被认为是一个主要的障碍，允许在现实的持续学习环境中使用的学习代理。大量的持续学习研究假设任务边界在培训过程中是已知的。然而，在训练过程中任务边界是未知的情况下，研究一直缺乏。在本文中，我们提出了，第一次，防止灾难性遗忘（BGD）的情况下，任务边界是未知的训练-任务不可知的持续学习的方法。我们的算法代码可在https://github.com/igolan/bgd上获得。
2019-02-12 cs.LG stat.ML
Sample Condensation in Online Continual Learning
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学院）
在线持续学习是一个具有挑战性的学习场景，模型必须从非平稳的数据流中学习，其中每个样本只看到一次。主要的挑战是在增量学习的同时避免灾难性遗忘，即在从新数据学习的同时忘记先前获得的知识的问题。在这些情况下，一个流行的解决方案是使用一个小内存来保留旧数据，并随着时间的推移排练它们。不幸的是，由于内存大小有限，内存的质量会随着时间的推移而恶化。在本文中，我们提出了OLCGM，一种新的重放为基础的持续学习策略，使用知识浓缩技术，不断压缩内存，实现更好地利用其有限的大小。样本压缩步骤压缩旧样本，而不是像其他重放策略那样删除它们。因此，实验表明，只要内存预算与数据的复杂性相比是有限的，OLCGM与最先进的重放策略相比，提高了最终的准确性。
2022-06-23 cs.AI cs.CV cs.LG
Continual Learning via Online Leverage Score Sampling
Neuri
为了模仿人类在各种任务中持续获取和转移知识的能力，学习系统需要持续学习的能力，有效地利用先前获得的技能。因此，关键的挑战是将从一项任务中学到的知识转移和概括到其他任务中，避免遗忘和干扰以前的知识，并提高整体绩效。在本文中，在持续学习范式，我们介绍了一种方法，有效地忘记了不太有用的数据样本连续，并允许有益的信息，以保持后续任务的训练，在网上的方式。该方法使用统计杠杆得分信息来衡量数据样本在每个任务中的重要性，并采用频繁方向方法来实现持续或终身学习特性。这有效地在所有任务中保持恒定的训练规模。我们首先提供了数学直观的方法，然后证明其有效性，在避免灾难性遗忘和计算效率的持续学习的分类任务时，与现有的最先进的技术相比。
2019-08-01 cs.LG stat.ML
Transformers for Supervised Online Continual Learning
Google Deepmind（谷歌DeepMind）
本文提出将 Transformer 的上下文条件机制、Transformer-XL 式在线 SGD 训练与回放结合，用于有监督在线持续学习，并在 CLOC 基准上显著超越现有最优结果。
2024-03-03 cs.LG
Online Continual Learning on Class Incremental Blurry Task Configuration with Anytime Inference
GIST（光州科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；Upstage AI Research（Upstage人工智能研究院）；Yonsei University（延世大学）
尽管在持续学习方面取得了快速的进步，但大量的研究都致力于提高现有设置的性能。虽然少数工作确实提出了新的持续学习设置，但它们在某些方面仍然缺乏实用性。为了更好的实用性，我们首先提出了一种新的持续学习设置，是在线的，无任务，类增量，模糊的任务边界，并在任何时候受到推理查询。此外，我们提出了一个新的度量，以更好地衡量性能的持续学习方法的推理查询在任何时候。为了解决具有挑战性的设置和评估协议，我们提出了一种有效的方法，采用了新的存储管理计划和新的学习技术。我们的实证验证表明，所提出的方法优于现有技术的大利润率。代码和数据分割可在https://github.com/naver-ai/i-Blurry上获得。
2022-03-21 cs.CV cs.LG
