Online Continual Learning with Contrastive Vision Transformer
The University of Sydney（悉尼大学）
在线连续学习（Online Continuous Learning，CL）研究从无任务边界的在线数据流中学习顺序任务的问题，旨在适应新数据的同时减轻对过去任务的灾难性遗忘。本文提出了一个框架对比视觉Transformer（CVT），它设计了一个基于Transformer架构的焦点对比学习策略，以实现在线CL的更好的稳定性和可塑性权衡。具体而言，我们设计了一个新的外部注意力机制在线CL隐式捕获以前的任务的信息。此外，CVT包含每个类的可学习焦点，可以积累以前课程的知识，以减少遗忘。基于可学习的焦点，我们设计了一个焦点对比损失，以重新平衡新类和旧类之间的对比学习，并巩固以前学习的表征。此外，CVT包含一个双分类器结构，用于解耦学习当前类和平衡所有观察到的类。大量的实验结果表明，我们的方法实现了最先进的性能，甚至更少的参数在线CL基准，并有效地消除了灾难性遗忘。
2022-07-24 cs.AI cs.CV cs.LG
CLIMB: Centroid-Based Hierarchical Memory for Online Continual Self-Supervised Learning
Universite Claude Bernard Lyon 1, CNRS, INSA Lyon, LIRIS, UMR 5205（里昂第一大学, 法国国家科学研究中心, 法国国立应用科学学院, 里昂信息与系统研究实验室, UMR 5205）；INSA Lyon, CNRS, Universite Claude Bernard Lyon 1, LIRIS, UMR 5205（法国国立应用科学学院, 法国国家科学研究中心, 里昂第一大学, 里昂信息与系统研究实验室, UMR 5205）；Universite Claude Bernard Lyon 1 / Univ. Rennes, Inria, CNRS LIRIS UMR 5205 / IRISA UMR 6074（里昂第一大学 / 雷恩大学, 法国国家信息与自动化研究所, 法国国家科学研究中心 里昂信息与系统研究实验室 UMR 5205 / 雷恩计算机科学研究所 UMR 6074）
提出CLIMB方法，结合层次质心记忆和知识蒸馏，在内存受限的在线无标签数据流中学习表示，优于现有OCSSL方法。
2026-07-01 cs.AI cs.CV
Memory-Efficient Continual Learning Object Segmentation for Long Video
University of Waterloo（滑铁卢大学）
提出GRCL与RMSCL两种持续学习技术，降低在线视频目标分割的内存需求并提升长视频准确率与泛化能力，在长视频数据集上提升鲁棒性且在短视频数据集上保持可比性能。
2024-02-14 cs.AI cs.CV
Online Continual Learning for Embedded Devices
Rochester Institute of Technology（罗切斯特理工学院）；University of Rochester（罗切斯特大学）
家用机器人、智能手机上的用户个性化以及增强/虚拟现实头戴设备等新应用都需要设备上的实时持续学习。然而，这种设置带来了独特的挑战：嵌入式设备的内存和计算能力有限，传统的机器学习模型在非平稳数据流上更新时会出现灾难性遗忘。虽然已经开发了几种在线持续学习模型，但它们在嵌入式应用中的有效性尚未得到严格的研究。在本文中，我们首先确定了在线持续学习者必须满足的标准，以有效地执行实时，在设备上学习。然后，我们研究了几种在线持续学习方法与移动神经网络一起使用时的有效性。我们测量它们的性能、内存使用、计算需求以及泛化到域外输入的能力。
2022-07-15 cs.AI cs.LG
Natural Gradient Descent for Online Continual Learning
Ecole Polytechnique & Télécom Paris（巴黎高等理工学院与电信巴黎学院）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出利用自然梯度下降优化器和FIM近似方法改进在线持续学习性能，尤其在Split CIFAR-100等数据集上表现突出。
2026-03-21 cs.AI cs.CV cs.LG
Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries
NAVER CLOVA；NAVER AI Lab（NAVER人工智能实验室）；GIST（光州科学技术院）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
在具有不正确标签的连续变化的数据分布下学习是一个理想的现实世界问题，但具有挑战性。然而，大量的持续学习（CL）方法假设数据流具有干净的标签，并且在有噪声的数据流下的在线学习场景尚未被充分探索。我们考虑一个更实际的CL任务设置的在线学习从模糊的数据流与损坏的标签，现有的CL方法的斗争。为了解决这个问题，我们首先讨论了持续学习模型中情景记忆中样例的多样性和纯度的重要性。为了平衡情景记忆的多样性和纯度，我们提出了一种新的策略来管理和使用记忆的标签噪声感知不同的采样和鲁棒学习与半监督学习的统一方法。我们对四个真实世界或合成噪声数据集（CIFAR 10和100，mini-WebVision和Food-101 N）的经验验证表明，我们的方法在这种现实和具有挑战性的持续学习场景中显着优于现有技术。代码和数据分割可以在https://github.com/clovaai/puridiver上找到。
2022-03-30 cs.AI cs.CV cs.LG
Online hand gesture recognition using Continual Graph Transformers
CESI LINEACT；LICIT-ECO7, ENTPE, Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；IMT Nord Europe（北加来海峡高等电信学院）；University of Lille（里尔大学）
针对现有基于骨架的动作识别方法多为片段式、不适配实时连续场景的问题，提出融合S-GCN、TGE与持续学习机制的在线识别系统，在SHREC'21上达SOTA准确率且降低假阳性率，适用于多实时交互场景。
2025-02-20 cs.AI cs.CV
Selective Replay Enhances Learning in Online Continual Analogical Reasoning
Rochester Institute of Technology（罗切斯特理工学院）；Paige；Cornell Tech（康奈尔科技学院）
在持续学习中，系统从非平稳数据流或批次中学习，而不会发生灾难性遗忘。虽然这个问题已经在监督图像分类和强化学习中得到了大量的研究，但为抽象推理而设计的神经网络中的持续学习还没有被研究。在这里，我们研究类比推理的持续学习。类比推理测试，如乌鸦的渐进矩阵（RPM）通常用于衡量人类的非语言抽象推理，最近离线神经网络的RPM问题已经提出。在本文中，我们建立了实验基线，协议，和向前和向后传输指标，以评估持续学习者的RPM。我们使用经验回放来减轻灾难性遗忘。使用重放用于图像分类任务的先前工作已经发现，选择性地选择要重放的样本提供的益处（如果有的话）比随机选择少得多。相比之下，我们发现，选择性重放可以显着优于随机选择的RPM任务。
2021-04-19 cs.AI cs.CV cs.LG
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University（奥胡斯大学）
本文介绍了Continual Inference，一个在PyTorch中实现CINs的Python库，专为在线和批处理场景的高效推理设计，并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
Continual Variational Autoencoder Learning via Online Cooperative Memorization
University of York（约克大学）
变分自编码器（VAE）由于其推理、数据表示和重构特性，已成功地应用于持续学习分类任务中。然而，他们的能力，以产生相应的类和数据库在持续学习（CL）学习规范的图像还没有得到很好的理解和灾难性遗忘仍然是一个重大的挑战。在本文中，我们首先分析了遗忘行为的VAE制定一个新的理论框架，制定CL作为一个动态的最优运输问题。该框架在不需要任务信息的情况下证明了数据可能性的近似界限，并解释了先验知识在训练过程中如何丢失。然后，我们提出了一种新的内存缓冲的方法，即在线协同建模（OCM）框架，它包括一个短期记忆（STM），不断存储最近的样本，为模型提供未来的信息，和一个长期记忆（LTM），旨在保持广泛的多样性的样本。OCM根据信息多样性选择准则，在不需要任何监督信号的情况下，将特定样本从STM转移到LTM。然后，OCM框架与动态VAE扩展混合网络相结合，以进一步提高其性能。
2022-07-20 cs.AI cs.CV cs.LG
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning
Salesforce AI Research（Salesforce人工智能研究）
提出无需旧任务数据的持续学习方法PLATE，利用预训练网络的几何冗余性，通过结构化低秩更新显式控制可塑性-保留权衡，提升最坏情况保留保证。
2026-06-17 cs.AI cs.LG
Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning
ElementAI（ElementAI公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）
持续学习研究的是在适应新任务的同时，从任务流中学习而不会忘记以前的任务的智能体。最近的两个持续学习方案开辟了新的研究途径。在Meta持续学习中，模型被预先训练以最小化先前任务的灾难性遗忘。在持续元学习中，目标是通过适应来训练代理更快地记住先前的任务。这两种方法在其最初的表述中都有局限性。我们站在他们的肩膀上，提出一个更一般的场景，大坂，代理必须快速解决新的（分布外）任务，同时还需要快速记忆。我们表明，目前的持续学习，元学习，Meta-持续学习，和持续元学习技术在这个新的情况下失败。我们建议连续MAML，流行的MAML算法的在线扩展作为一个强有力的基线，这种情况下。我们的经验表明，连续MAML比上述方法更适合新的场景，以及标准的持续学习和元学习方法。
2021-01-20 cs.AI cs.LG
Online Continual Learning of End-to-End Speech Recognition Models
Carnegie Mellon University（卡内基梅隆大学）
持续学习，也被称为终身学习，旨在不断地从新的数据中学习，因为它变得可用。虽然先前的研究在自动语音识别的持续学习集中在多个不同的语音识别任务的模型的适应，在本文中，我们提出了一个实验设置\textit{online continual learning}自动语音识别的一个单一的任务。特别关注的情况下，额外的训练数据为同一个任务变得越来越可用随着时间的推移，我们证明了执行增量模型更新到端到端的语音识别模型的有效性与在线梯度情景记忆（GEM）的方法。此外，我们表明，通过在线持续学习和选择性采样策略，我们可以保持类似于从头开始重新训练模型的准确性，同时需要显着降低计算成本。我们还验证了我们的方法与自监督学习（SSL）功能。
2022-07-11 cs.AI cs.LG cs.SD
Online Curvature-Aware Replay: Leveraging $\mathbf{2^{nd}}$ Order Information for Online Continual Learning
University of Pisa（比萨大学）
本文提出在线曲率感知回放（OCAR）方法，将基于回放的在线持续学习形式化为带KL约束的二阶在线联合优化，利用K-FAC近似的Fisher信息矩阵预处理梯度以稳定优化并防止遗忘，在多个基准上取得最优性能。
2025-02-03 cs.AI cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
在线类增量持续学习（CL）研究从在线非平稳数据流中持续学习新类的问题，旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果，但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值（NCM）分类器在CL社区中被严重低估，但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差，并避免了新类的全连接层的结构变化。此外，我们观察到相当大的和一致的性能增益时，用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器，属于同一类的数据嵌入应该被聚类，并与具有不同类标签的数据嵌入很好地分离。为此，我们贡献了监督对比重放（SCR），它明确鼓励来自同一类的样本在嵌入空间中紧密聚类，同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说，我们观察到，我们提出的SCR大大减少了灾难性遗忘，并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
Sample Condensation in Online Continual Learning
University of Pisa（比萨大学）；Scuola Normale Superiore（比萨高等师范学院）
在线持续学习是一个具有挑战性的学习场景，模型必须从非平稳的数据流中学习，其中每个样本只看到一次。主要的挑战是在增量学习的同时避免灾难性遗忘，即在从新数据学习的同时忘记先前获得的知识的问题。在这些情况下，一个流行的解决方案是使用一个小内存来保留旧数据，并随着时间的推移排练它们。不幸的是，由于内存大小有限，内存的质量会随着时间的推移而恶化。在本文中，我们提出了OLCGM，一种新的重放为基础的持续学习策略，使用知识浓缩技术，不断压缩内存，实现更好地利用其有限的大小。样本压缩步骤压缩旧样本，而不是像其他重放策略那样删除它们。因此，实验表明，只要内存预算与数据的复杂性相比是有限的，OLCGM与最先进的重放策略相比，提高了最终的准确性。
2022-06-23 cs.AI cs.CV cs.LG
Real-Time Evaluation in Online Continual Learning: A New Hope
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；University of Oxford（牛津大学）
当前对持续学习（CL）方法的评估通常假设对训练时间和计算没有约束。对于任何现实世界的设置来说，这都是一个不切实际的假设，这促使我们提出：对持续学习进行实用实时的【形】评估，其中流在揭示下一个预测数据之前不会等待模型完成训练。要做到这一点，我们评估当前CL方法的计算成本。我们在CLOC上进行了广泛的实验，CLOC是一个包含3900万个带有地理位置标签的时间戳图像的大规模数据集。我们表明，一个简单的基线优于国家的最先进的CL方法在此评估，质疑现有方法在现实环境中的适用性。此外，我们还探讨了文献中常用的各种CL组件，包括内存采样策略和正则化方法。我们发现，所有考虑的方法都无法与我们的简单基线竞争。这令人惊讶地表明，大多数现有的CL文献是针对特定类别的流，这是不实际的。我们希望，我们提供的评估将是第一步的范式转变，考虑在线持续学习方法的发展中的计算成本。
2023-03-24 cs.AI cs.CV cs.LG
Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right?
KAUST（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）；Meta AI
本文指出在线准确率指标因虚假标签相关性而不可靠，提出基于近未来样本准确率的新指标，发现保留和重用历史信息能实现更好的泛化。
2023-05-16 cs.AI cs.CV cs.LG
Towards Continual, Online, Self-Supervised Depth
ISize Ltd（ISize有限公司）
虽然使用无源传感器的深度提取已经通过深度学习得到了显着的改进，但是如果这些方法暴露于在训练期间未观察到的环境中，则可能无法获得正确的深度。在线自适应，其中神经网络在部署时进行训练，具有自监督学习，提供了一种方便的解决方案，因为网络可以在没有外部监督的情况下从其部署的场景中学习。然而，在线适应会导致神经网络忘记过去。因此，过去的训练被浪费了，如果网络观察过去的场景，它就不能提供好的结果。这项工作涉及实际的在线适应，其中输入是在线的和时间相关的，并且训练是完全自我监督的。提出了无任务边界的正则化和重放方法，以避免灾难性遗忘，同时适应在线数据。已作出努力，使所提出的方法适合于实际使用。我们应用我们的方法从运动和立体深度估计的结构。我们在各种公共数据集上评估了我们的方法，包括室外，室内和合成场景。与最近的方法相比，定性和定量的结果与结构从运动和立体声显示优越的遗忘以及适应性能。此外，所提出的方法产生的开销可以忽略不计相比，在线自适应微调，证明是一个足够的选择，在可塑性，稳定性和适用性。所提出的方法更符合人工通用智能范式，因为神经网络在没有监督的情况下不断学习。源代码可在www.example.com和www.example.com上获得。
2022-06-19 cs.AI cs.CV eess.IV
Scalable Adversarial Online Continual Learning
University of New South Wales（新南威尔士大学）；University of South Australia（南澳大学）；Nanyang Technological University（南洋理工大学）
对抗性持续学习对于持续学习问题是有效的，因为特征对齐过程的存在产生对灾难性遗忘问题具有低敏感性的任务不变特征。然而，ACL方法带来了相当大的复杂性，因为它依赖于特定于任务的网络和鉴别器。它还经历了一个迭代的训练过程，这不适合在线（一个时期）持续学习的问题。提出了一种可扩展的对抗性持续学习（SCALE）方法，提出了一个参数生成器，将共同特征转化为特定任务的特征，并在对抗性博弈中引入一个参数生成器来归纳共同特征。使用三个损失函数的新组合以元学习方式进行训练过程。SCALE在准确性和执行时间方面都优于显著的基线。
2022-09-04 cs.AI cs.LG
Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation
Tsinghua University（清华大学）
针对在线持续学习中回放缓冲区导致的过拟合与欠拟合困境，提出多级在线顺序专家MOSE，通过多级监督与逆向自蒸馏提升新样本学习与旧知识保留能力。
2024-03-30 cs.AI cs.CV cs.LG
Gradient based sample selection for online continual learning
KU Leuven（鲁汶大学）；Mila（米拉研究所）
一个持续学习的智能体通过非固定的、永无止境的数据流在线学习。这种学习过程的关键是克服对先前看到的数据的灾难性遗忘，这是神经网络的一个众所周知的问题。为了防止遗忘，通常采用重放缓冲器来存储先前的数据以用于排练。以往的工作往往依赖于任务边界和独立同分布。假设以适当地选择用于重放缓冲器的样本。在这项工作中，我们制定样本选择作为一个约束减少问题的基础上的约束优化观点的持续学习。我们的目标是选择一个固定的子集的约束，最好的近似的可行域定义的原始约束。我们表明，它相当于最大化的多样性的样本在重放缓冲区与参数梯度的功能。我们进一步开发了一个贪婪的替代品，是廉价和有效的。在持续学习环境下，通过与其他方法的比较，证明了该方法的优越性。进一步的比较，对国家的最先进的方法，依赖于任务边界，显示可比的，甚至更好的结果，我们的方法。
2019-10-31 cs.AI cs.CV cs.LG
Online Continual Adaptation with Active Self-Training
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
使用离线数据训练的模型通常会在不断变化的环境中遭受持续的分布偏移和昂贵的标签。这就需要一种新的在线学习范式，学习者可以不断适应不断变化的环境，有限的标签。在本文中，我们提出了一个新的在线设置-在线主动持续适应，学习者的目标是不断适应不断变化的分布使用未标记的样本和有限的标签的主动查询。为此，我们提出了在线自适应镜像下降（OSAMD），它采用了在线师生结构，使在线自我训练从未标记的数据，和一个基于边缘的标准，决定是否查询标签，以跟踪不断变化的分布。理论上，我们表明，在可分离的情况下，OSAMD有一个$O({T}^{2/3})$动态遗憾界温和的假设下，这是对齐的$Ω(T^{2/3})$下界的在线学习算法与完整的标签。在一般情况下，我们证明了$O({T}^{2/3} + α^* T)$的遗憾界，其中$α^*$表示域的可分性，并且通常很小。我们的理论结果表明，OSAMD可以快速适应不断变化的环境与主动查询。从经验上讲，我们证明了OSAMD实现有利的遗憾在不断变化的环境下，有限的标签上的模拟和现实世界的数据，这证实了我们的理论研究结果。
2022-03-20 cs.AI cs.LG stat.ML
Hierarchically Gated Experts for Efficient Online Continual Learning
The University of New South Wales（新南威尔士大学）
针对在线持续学习中的未知任务流问题，提出层级门控专家（HGE）算法，通过动态增长的专家层级结构高效选择最佳专家，在标准基准上取得与现有方法相当且更高效的结果。
2024-12-22 cs.AI cs.LG
Dual-CBA: Improving Online Continual Learning via Dual Continual Bias Adaptors from a Bi-level Optimization Perspective
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；City University of Hong Kong（香港城市大学）；School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院）
本文提出Dual-CBA框架，通过结合类别特定与类别无关的持续偏置适配器及增量批归一化模块，从双层优化视角有效缓解在线持续学习中的灾难性遗忘与分布偏移问题。
2024-08-26 cs.AI cs.LG
PROL : Rehearsal Free Continual Learning in Streaming Data via Prompt Online Learning
STEM University of South Australia（南澳大利亚STEM大学）；Institute for Infocomm Research, A*STAR & IPAL（信息与通信研究所，A*STAR及IPAL）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）
本文提出PROL方法，通过轻量级提示生成器、可训练缩放移位器、PTM泛化保持和硬-软更新机制，在流数据在线持续学习中实现免排练并超越现有SOTA性能。
2025-07-16 cs.AI cs.CV cs.LG
Improving Online Continual Learning Performance and Stability with Temporal Ensembles
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；University of Pisa（比萨大学）
本文针对在线持续学习中的性能下降与稳定性差距问题，提出一种轻量级时间集成方法，通过在测试时计算权重的指数移动平均（EMA），显著提升了在线持续学习的性能与稳定性。
2023-07-03 cs.AI cs.LG
Online Continual Knowledge Learning for Language Models
Singapore University of Technology and Design（新加坡科技设计大学）；University of Sri Jayewardenepura（斯里贾亚瓦德纳普拉大学）；Nanyang Technological University（南洋理工大学）
本文提出在线持续知识学习（OCKL）问题，构建基准与评估指标，发现现有持续学习方法不足，并识别影响知识获取与保留权衡的关键因素。
2023-11-16 cs.AI cs.CL
Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization
Harbin Institute Of Technology（哈尔滨工业大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Harbin Institute Of Technology (Shenzhen)（哈尔滨工业大学（深圳））；University of Oxford（牛津大学）
提出即插即用模块S6MOD，通过离散化混合和类条件路由算法动态调整状态空间模型参数，显著提升在线持续学习的模型适应性与性能。
2024-12-24 cs.AI cs.CV cs.LG
Adaptive Shortcut Debiasing for Online Continual Learning
KAIST（韩国科学技术院）
针对在线持续学习中的捷径偏差问题，提出DropTop框架，通过特征图融合与自适应强度偏移技术自动确定去偏程度，在五个基准数据集上显著提升准确率并降低遗忘率。
2023-12-14 cs.AI cs.LG
A neuro-inspired architecture for unsupervised continual learning based on online clustering and hierarchical predictive coding
Georgia Institute of Technology（佐治亚理工学院）
我们提出，持续学习desiderata可以通过神经启发的架构，蒙特卡斯尔的皮质柱假说的基础上实现。所提出的架构涉及一个单一的模块，称为自学联想记忆（STAM），它模拟了皮质柱的功能。STAM在涉及前馈、横向和反馈连接的多级层次结构中重复。STAM网络以无监督的方式学习，基于在线聚类和分层预测编码的组合。这篇简短的论文只介绍了架构及其与神经科学的联系。数学公式和实验结果将在本文的扩展版本。
2018-10-22 cs.AI cs.LG q-bio.NC
Online Continual Learning for Robust Indoor Object Recognition
Samsung Research UK（三星英国研究院）
针对家庭机器人视觉系统资源有限、需持续学习新类别且应对测试环境变化的问题，提出RobOCLe方法，通过构建含高阶统计矩的增强特征空间做分类，在不降低推理速度的同时提升了持续学习模型的鲁棒性。
2023-07-19 cs.AI cs.CV cs.RO
PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对在线类增量持续学习中的灾难性遗忘问题，提出基于代理的对比重放方法（PCR），通过用代理替换对比样本解决类别不平衡并加速收敛，在三个基准数据集上优于现有方法。
2023-04-10 cs.AI cs.CV cs.LG
Evaluating Online Continual Learning with CALM
Naver Labs Europe（Naver欧洲实验室）；Pompeu Fabra University（庞培法布拉大学）；CIIRC CTU（捷克理工大学计算机科学研究所）
在线持续学习（OCL）研究在连续数据流上的学习，而不需要多次观察任何单个示例，这种设置更接近人类和系统必须“在野外”学习的经验。然而，通常可用的基准远离这些现实世界的条件，因为它们显式地表示不同的任务，缺乏潜在的相似性结构或假设不同示例之间的时间独立性。在这里，我们提出了一个基于语言建模的OCL新基准，其中输入在不同语言和域之间交替，而没有任何明确的界限。此外，我们提出了新的指标来研究灾难性遗忘在这种情况下，并评估多个基线模型的基础上组成的专家。最后，我们介绍了一种简单的门控技术，它可以学习不同输入之间的潜在相似性，从而提高专家产品模型的性能。
2021-02-01 cs.AI cs.CL cs.LG
Is Prompt Selection Necessary for Task-Free Online Continual Learning?
Sungkyunkwan University（成均馆大学）
本文提出单提示方法，无需提示选择，通过优化分类器减少遗忘，实现无任务在线持续学习的最优性能。
2026-04-06 cs.AI cs.LG
Continual Reinforcement Learning by Planning with Online World Models
Sea AI Lab（海智人工智能实验室）；National University of Singapore（新加坡国立大学）
本文提出基于在线世界模型规划的持续强化学习方法FTL Online Agent，通过在线学习Follow-The-Leader浅层模型并结合模型预测控制，有效解决了多任务序列中的灾难性遗忘问题，并在Continual Bench上表现优于深度世界模型基线。
2025-07-12 cs.AI cs.LG stat.ML
New Insights on Reducing Abrupt Representation Change in Online Continual Learning
在在线持续学习范例中，代理必须从不断变化的分布中学习，同时尊重内存和计算约束。经验重放（ER），其中一小部分过去的数据被存储并与新数据一起重放，已经成为一种简单而有效的学习策略。在这项工作中，我们专注于所观察到的数据表示的变化时，出现以前未观察到的类出现在传入的数据流中，新的类必须从以前的区别。我们揭示了新的光在这个问题上显示，应用ER导致新添加的类的表示与以前的类显着重叠，导致高度破坏性的参数更新。基于这种实证分析，我们提出了一种新的方法，通过屏蔽学习到的表示来适应新的类来缓解这个问题。我们表明，使用不对称的更新规则推动新的类，以适应旧的（而不是相反），这是更有效的，特别是在任务边界，其中大部分的遗忘通常发生。实证结果表明，在标准持续学习基准上，强基线有显著的收益
2022-04-25 cs.AI cs.LG
Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling
Seoul National University（首尔大学）
针对在线持续学习中计算与存储预算不一致导致比较不公的问题，提出以 FLOPs 和总字节内存统一预算，并结合自适应层冻结与频率采样检索，在多个图像数据集上以同等总预算取得优于 SOTA 的效果。
2025-03-16 cs.AI cs.CV cs.LG
Rethinking Momentum Knowledge Distillation in Online Continual Learning
Univ Gustave Eiffel（Gustave Eiffel大学）；CNRS（法国国家科学研究中心）；The University of Tokyo（东京大学）
本文分析了知识蒸馏在在线持续学习（OCL）中的应用挑战，提出动量知识蒸馏（MKD）方法，有效提升了多种旗舰OCL方法的性能，在ImageNet100上准确率提高超10个百分点，并指出MKD应成为OCL的核心组件。
2024-06-05 cs.AI cs.LG
Efficient Continual Adaptation of Pretrained Robotic Policy with Online Meta-Learned Adapters
King’s College London（伦敦国王学院）
针对预训练机器人策略持续自适应中任务间知识迁移受限的问题，提出在线元学习适配器（OMLA），通过新颖的元学习目标促进知识迁移，在模拟和真实环境中优于基线方法。
2025-03-27 cs.AI cs.RO
A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal
University of Waikato（怀卡托大学）；LTCI, Télécom Paris（巴黎电信学院LTCI实验室）
在线持续学习（OCL）的目标是通过一次数据传递从非平稳数据流中增量地训练神经网络。基于排练的方法试图用一小段时间来近似观察到的输入分布，并在以后重新访问它们以避免忘记。尽管其强大的经验表现，排练方法仍然遭受从过去的数据与记忆样本的损失景观的近似差。本文回顾了在线环境中的排练动态。我们从有偏和动态经验风险最小化的角度提供了关于固有记忆过拟合风险的理论见解，并研究了重复排练的优点和局限性。受我们分析的启发，一个简单直观的基线，重复增强排练（RAR），旨在解决在线排练的欠拟合-过拟合困境。令人惊讶的是，在四个相当不同的OCL基准测试中，这个简单的基线比vanilla rehearsal高出9%-17%，并且还显著改进了最先进的基于排练的方法MIR，ASER和SCR。我们还证明了RAR成功地实现了对过去数据的损失景观的准确近似，以及在其学习轨迹中的高损失岭规避。进行了广泛的消融研究，以研究重复和增强排练之间的相互作用，并应用强化学习（RL）来动态调整RAR的超参数，以在线平衡稳定性-可塑性权衡。代码可在https://github.com/YaqianZhang/RepeatedAugmentedRehearsal上获得
2022-11-13 cs.AI cs.LG
Meta-Learning Representations for Continual Learning
University of Alberta（阿尔伯塔大学）
一个持续学习的智能体应该能够在现有知识的基础上快速学习新数据，同时最大限度地减少遗忘。目前基于神经网络函数逼近器的智能系统可以说是做了相反的事情-它们非常容易忘记，而且很少经过训练来促进未来的学习。这种糟糕行为的一个原因是，它们从一个没有为这两个目标进行明确训练的表示中学习。在本文中，我们提出了OML，一个目标，直接最大限度地减少灾难性干扰的学习表示，加速未来的学习，并在持续学习在线更新下的遗忘是强大的。我们表明，它是可以学习的自然稀疏表示，更有效的在线更新。此外，我们的算法是补充现有的持续学习策略，如MER和GEM。最后，我们证明了一个基本的在线更新策略的表示学习OML是有竞争力的排练为基础的方法持续学习。我们在https://github.com/khurramjaved96/mrcl上发布了我们的方法的实现。
2019-10-30 cs.AI cs.LG stat.ML
Ferret: An Efficient Online Continual Learning Framework under Varying Memory Constraints
Sichuan University（四川大学）；National University of Singapore（新加坡国立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Huazhong University of Science and Technology（华中科技大学）
本文提出 Ferret 框架，通过细粒度流水线并行、迭代梯度补偿及自动化模型划分，在变化内存预算下提升 OCL 的实时准确率与效率。
2025-03-15 cs.AI cs.LG
Unbiased Online Curvature Approximation for Regularized Graph Continual Learning
针对图持续学习中的灾难性遗忘问题，提出基于Fisher信息矩阵的无偏在线曲率近似正则化方法，无需显式存储FIM即可在线估计正则化项，在稳定性和可塑性间实现更优权衡。
2025-09-16 cs.AI cs.LG
Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback
Autonomous Systems Lab (ASL), Institute for Electrical Engineering in Medicine, University of Lübeck（自主系统实验室（ASL）、医学电气工程学院、吕贝克大学）
本文提出一种基于世界模型反馈的在线持续强化学习方法，通过检测分布外事件自动触发微调，实现机器人智能体在运行过程中的自适应能力。
2026-03-04 cs.AI cs.RO
Fine-Tuning Strategies for Continual Online EEG Motor Imagery Decoding: Insights from a Large-Scale Longitudinal Study
University of Stuttgart（斯图加特大学）；Inria（法国国家信息与自动化研究所）；Universite Paris-Saclay（巴黎萨克雷大学）；Federal University of ABC（ABC联邦大学）
本研究首次在大型用户组的多会话因果场景中探索持续微调策略，结合在线测试时适应（OTTA），发现基于受试者特定信息的逐步微调可提升性能与稳定性，OTTA实现无校准适配，为纵向在线EEG运动想象解码提供泛化性见解。
2025-02-05 cs.AI cs.LG
Deep Online Learning via Meta-Learning: Continual Adaptation for Model-Based RL
UC Berkeley（加州大学伯克利分校）
人类和动物可以学习复杂的预测模型，使他们能够准确可靠地推理现实世界的现象，并且他们可以在面对意外变化时非常迅速地适应这些模型。深度神经网络模型允许我们表示非常复杂的功能，但缺乏快速在线适应的能力。本文的目标是开发一种使用深度神经网络模型从传入数据流中进行持续在线学习的方法。我们制定了一个在线学习程序，使用随机梯度下降更新模型参数，并与中国餐厅的过程之前，开发和维护的混合模型来处理非平稳任务分布的期望最大化算法。这允许所有模型根据需要进行调整，新模型针对任务更改进行实例化，旧模型在再次遇到以前看到的任务时被调用。此外，我们观察到元学习可以用于元训练模型，使得SGD的这种直接在线自适应是有效的，否则对于大型函数逼近器来说就不是这种情况。在这项工作中，我们将我们的元学习在线学习（MOLe）方法应用于基于模型的强化学习，其中调整预测模型对于控制至关重要;我们证明MOLe优于其他先验方法，并在非平稳任务分布（如变化的地形，电机故障和意外干扰）中实现有效的连续适应。
2019-01-28 cs.AI cs.LG cs.RO
Distribution-aware Online Continual Learning for Urban Spatio-Temporal Forecasting
National University of Singapore（新加坡国立大学）；Comfort Transportation Pte Ltd（康福运输私人有限公司）；CDG Zig Pte Ltd（CDG Zig私人有限公司）
针对城市时空预测中离线模型忽视数据分布随时间偏移导致性能下降的问题，提出DOST在线持续学习框架，通过自适应时空网络、醒睡学习策略及流记忆更新机制，在四个数据集上实现优于SOTA的预测性能，平均耗时0.1秒内且误差降低12.89%。
2024-11-24 cs.AI cs.LG
From Offline to Online Memory-Free and Task-Free Continual Learning via Fine-Grained Hypergradients
The University of Tokyo（东京大学）；Japanese French Laboratory for Informatics, CNRS（日法信息实验室，CNRS）；Massachusetts Institute of Technology（麻省理工学院）
针对在线持续学习中无任务、无记忆方法难以适配的问题，本文用轻量级原型结合细粒度超梯度重加权缓解梯度不平衡，显著提升性能并超过在线基线。
2025-06-07 cs.AI cs.LG
Complementary Learning System Empowers Online Continual Learning of Vehicle Motion Forecasting in Smart Cities
The School of Mechanical Engineering, Beijing Institute of Technology, Beijing 100081, China（北京理工大学机械工程学院）；The Key Laboratory of Road and Traffic Engineering, Ministry of Education, Tongji University, Shanghai, China（同济大学道路与交通工程重点实验室）；The School of Mechanical and Aerospace Engineering, Nanyang Technological University, Singapore（南洋理工大学机械与航空航天工程学院）
本文提出受大脑互补学习系统启发的Dual-LS在线持续学习范式，通过协同记忆重放机制，在车辆运动预测中减轻灾难性遗忘达74.31%，并降低计算资源需求达94.02%。
2025-09-06 cs.AI cs.LG
Adaptive Online Planning for Continual Lifelong Learning
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
我们在一个在线的免重置终身学习场景中研究学习控制，在这个场景中，错误可能会在未来灾难性地复合，环境的潜在动态可能会发生变化。传统的无模型策略学习方法由于其广泛的灵活性而在困难的任务中取得了成功，但在这种情况下却很困难，因为它们可以在其生命周期的早期激活故障模式，这些故障模式难以恢复，并且随着动态变化而面临性能下降。另一方面，基于模型的规划方法学习和适应速度快，但需要高水平的计算资源。我们提出了一种新的算法，自适应在线规划（AOP），在这种情况下，通过结合基于模型的规划与无模型学习，实现强大的性能。通过近似无模型组件和规划器性能的不确定性，AOP能够仅在必要时调用更广泛的规划，从而减少计算时间，同时在面对世界上不可预测的变化时仍然优雅地适应行为-即使传统的RL失败。
2020-06-27 cs.AI cs.LG cs.RO
Continual Learning, Not Training: Online Adaptation For Agents
Arc Intelligence
本文提出双智能体架构ATLAS，通过解耦推理与执行并引入持久记忆，实现推理时无梯度的系统级持续学习，在复杂网络威胁调查基准上以更低成本超越大模型并验证了泛化能力。
2025-11-02 cs.AI cs.LG
Online Continual Learning for Time Series: a Natural Score-driven Approach
University of Pisa（比萨大学）；Scuola Normale Superiore（规范大学）；IIT-CNR（IIT-卡内基·梅隆研究院）
本文提出NatSR方法，结合鲁棒优化器、重放缓冲区和动态缩放启发式，以提升在线持续学习在时间序列预测中的鲁棒性和适应性。
2026-01-19 cs.AI cs.LG stat.ML
