Regularization Shortcomings for Continual Learning
University of Montréal（蒙特利尔大学）；MILA - Quebec AI Institute（魁北克人工智能研究所）；Thales（泰雷兹公司）；Flowers Laboratory (ENSTA ParisTech & INRIA)（Flowers实验室（ENSTA巴黎高科与INRIA））
在大多数机器学习算法中，训练数据被假设为独立同分布（iid）。当它不是这种情况下，算法的性能受到挑战，导致著名的灾难性遗忘现象。解决这一问题的算法集中在持续学习的研究领域。在本文中，我们研究了基于正则化的方法来持续学习，并表明这些方法不能学习区分类从不同的任务在一个基本的持续基准：类增量的情况下。本文从理论上论证了这一缺陷，并通过实例和实验加以说明。此外，我们还证明了它对连续多任务强化学习或用于持续学习的预训练模型有一些重要的影响。我们相信，强调和理解正则化策略的缺点将有助于我们更有效地使用它们。
2021-04-04 cs.LG stat.ML
Continual Learning in Human Activity Recognition: an Empirical Analysis of Regularization
University of St Andrews（圣安德鲁斯大学）
考虑到专注于计算机视觉领域的深度神经网络的持续学习技术的增长趋势，需要确定这些技术中的哪一个可以很好地推广到其他任务，如人类活动识别（HAR）。由于最近的方法主要由丢失正则化项和记忆重放组成，因此我们对HAR数据集上使用这些技术的一些突出的任务增量学习技术进行了成分分析。我们发现，大多数正则化方法缺乏实质性的效果，并提供了一个直觉，当他们失败。因此，我们的情况下，持续学习算法的发展应该是由相当不同的任务域的动机。
2020-07-06 cs.CV cs.LG
From Selection to Scheduling: Federated Geometry-Aware Correction Makes Exemplar Replay Work Better under Continual Dynamic Heterogeneity
School of Software, Shandong University（山东大学软件学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文提出FEAT方法，通过几何结构对齐模块和能量基几何修正模块，解决联邦持续学习中示例回放在持续动态异质性下的性能问题。
2026-04-09 cs.AI cs.CV cs.LG
Latent Replay for Real-Time Continual Learning
University of Bologna（博洛尼亚大学）
在轻型计算设备、嵌入式系统和机器人平台的边缘训练深度神经网络如今非常具有挑战性。持续学习技术，其中复杂的模型在小批量的新数据上进行增量训练，可以使学习问题易于处理，即使对于只有CPU的嵌入式设备，也可以实现显着的自适应性和自主性。然而，还有一些实际问题需要解决：首先是灾难性遗忘。在本文中，我们介绍了一种名为“潜在重放”的原始技术，而不是在输入空间中存储过去的数据的一部分，我们存储在一些中间层的激活量。这可以显著减少本地排练所需的计算和存储。为了保持表示稳定和存储的激活有效，我们建议在潜在重放层以下的所有层放慢学习速度，让上面的层自由地全速学习。在我们的实验中，我们表明，潜在重放，结合现有的持续学习技术，实现了最先进的性能在复杂的视频基准，如CORe 50 NICv2（近400个小的和高度非i.i.d.批次）和OpenLORIS。最后，我们通过在智能手机设备上部署所提出的技术，证明了在边缘上进行近实时的【形】持续学习的可行性。
2020-03-04 cs.CV cs.LG stat.ML
Memory Bounds for Continual Learning
Columbia University（哥伦比亚大学）
持续学习或终身学习是当前机器学习面临的一个巨大挑战。它要求学习者一个接一个地解决一系列$k$不同的学习任务，同时保留其对早期任务的能力;连续学习者应该比为每个$k$任务开发和维护单独学习者的明显解决方案更好地扩展。本文在PAC框架下对持续学习进行了复杂性理论研究。我们使用新的通信复杂性，以建立任何持续的学习者，即使是一个不适当的，需要与$k$线性增长的内存，强烈表明这个问题是棘手的。当在学习任务中允许多次传递时，我们提供了一种基于乘法权重更新的算法，其内存需求扩展良好;我们还建立了不适当的学习对于这种性能是必要的。我们推测，这些结果可能会导致新的有前途的方法，持续学习。
2022-04-22 cs.AI cs.DS cs.LG
SIESTA: Efficient Online Continual Learning with Sleep
Rochester Institute of Technology（罗切斯特理工学院）；United States Space Force（美国太空军）；University of Rochester（罗切斯特大学）
本文提出基于 wake/sleep 框架的 SIESTA 持续学习方法，通过无重放、无反向传播的在线更新与睡眠阶段受限重放巩固，在单 GPU 上 2 小时内完成 ImageNet-1K 学习并达到离线性能。
2023-11-02 cs.CV cs.LG
Adversarial Continual Learning for Multi-Domain Hippocampal Segmentation
Technical University of Darmstadt（达姆施塔特工业大学）
用于医学成像的深度学习在数据可用性方面受到时间和隐私相关的限制。为了仍然获得可行的模型，持续学习的目标是在数据可用时按顺序进行训练。持续学习方法面临的主要挑战是防止灾难性遗忘，即，性能下降的数据上遇到的早期。这个问题使得用于医疗应用的分割模型的连续训练变得极其困难。然而，通常，来自至少两个不同领域的数据是可用的，我们可以利用这些数据来训练模型，而忽略特定领域的信息。我们提出了一个架构，利用两个或多个数据集的同时可用性，以对抗的方式学习内容和域之间的解纠缠。然后，域不变的内容表示为连续的语义分割奠定了基础。我们的方法从域适应中获得灵感，并将其与脑MRI中海马分割的持续学习相结合。我们展示了我们的方法减少了灾难性的遗忘，并优于最先进的持续学习方法。
2021-07-25 cs.CV cs.LG eess.IV
Contrast R-CNN for Continual Learning in Object Detection
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（信息通信研究院）
持续学习问题在图像分类中得到了广泛的研究，而在目标检测中却鲜有研究。最近的一些工作采用知识蒸馏来约束模型保留旧知识，但这种刚性约束不利于学习新知识。在我们的论文中，我们提出了一种新的目标检测的持续学习方案，即对比R-CNN，这种方法在保留旧知识和学习新知识之间取得了平衡。此外，我们设计了一个Proposal Contrast来消除新旧实例之间的歧义，使持续学习更加健壮。PASCAL VOC数据集上的广泛评估证明了我们的方法的有效性。
2021-07-11 cs.CV
Revisiting Supervision for Continual Representation Learning
IDEAS NCBR；Warsaw University of Technology（华沙理工大学）；Gdańsk University of Technology（格但斯克理工大学）；Tooploox；Autonomous University of Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
本研究重新审视持续表示学习中监督的作用，发现配备多层感知机头部的监督模型可超越自监督模型，凸显投影器对特征可迁移性的重要性。
2024-07-16 cs.CV cs.LG
Center Loss Regularization for Continual Learning
Stony Brook University（石溪大学）；IIIT Hyderabad（海得拉巴国际信息技术研究所）
顺序学习不同任务的能力对人工智能的发展至关重要。一般来说，神经网络缺乏这种能力，主要障碍是灾难性遗忘。它发生在不断获取来自非平稳数据分布的增量可用信息时，破坏了模型已经学习的内容。我们的方法通过将新任务的表示投影到旧任务的表示附近来记住旧任务，同时保持决策边界不变。我们采用中心丢失作为正则化惩罚，强制新任务的特征具有与旧任务相同的类中心，并使特征具有高度的区分性。这反过来又导致对已经学习的信息的遗忘最少。这种方法易于实现，需要最小的计算和内存开销，并允许神经网络在许多顺序遇到的任务中保持高性能。我们还证明，使用中心损失与记忆重放优于其他重放为基础的战略。随着标准的MNIST变体持续学习，我们将我们的方法与Digits和PACS数据集的连续领域自适应方案。我们证明，我们的方法是可扩展的，有效的，并提供竞争力的性能相比，国家的最先进的持续学习方法。
2021-10-21 cs.CV cs.LG
Contrastive Continual Learning with Feature Propagation
Carleton University（卡尔顿大学）
经典的机器学习器被设计为只处理一个任务，而没有能力采用新出现的任务或类，而这种能力在现实世界中更实用，更像人类。为了解决这个缺点，连续机器学习器被精心设计，以很好地学习不同任务之间的域和类转移的任务流。在本文中，我们提出了一种通用的基于特征传播的对比持续学习方法，它能够处理多个持续学习场景。具体来说，我们对齐当前和以前的表示空间的特征传播和对比表示学习的桥梁不同的任务之间的域转移。为了进一步减轻特征表示的类向移位，利用监督对比损失来使相同类的示例嵌入比不同类的示例嵌入更接近。大量的实验结果表明，所提出的方法相比，一组先进的持续学习方法的突出表现在六个持续学习基准。
2021-12-03 cs.LG
Balancing Stability and Plasticity through Advanced Null Space in Continual Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
持续学习是一种在资源有限的情况下顺序学习任务的学习范式，其关键挑战是稳定性-可塑性困境，即，难以同时具有防止对旧任务的灾难性遗忘的稳定性和良好学习新任务的可塑性。在本文中，我们提出了一种新的持续学习方法，先进的学习空间（AdNS），以平衡稳定性和可塑性，而不存储任何旧的数据，以前的任务。具体地说，为了获得更好的稳定性，AdNS利用低秩近似来获得一个新的零空间，并将梯度投影到零空间上，以防止对过去任务的干扰。为了控制零空间的产生，我们引入了一个非均匀的约束强度，以进一步减少遗忘。此外，我们提出了一个简单但有效的方法，任务内蒸馏，以提高当前任务的性能。最后，我们从理论上发现零空间分别在塑性和稳定性中起着关键作用。实验结果表明，该方法可以实现更好的性能相比，国家的最先进的持续学习方法。
2022-07-25 cs.CV cs.LG
Continual Neural Mapping: Learning An Implicit Scene Representation from Sequential Observations
Peking University（北京大学）；Beihang University（北京航空航天大学）；Intel Labs China（英特尔中国研究院）
最近的进展已经使得单个神经网络能够充当隐式场景表示，建立空间坐标和场景属性之间的映射函数。在本文中，我们进一步的持续学习的隐式场景表示直接从连续的观察，即连续神经映射。所提出的问题设置弥合了批量训练的隐式神经表示与机器人和视觉社区中常用的流数据之间的差距。我们介绍了一种经验重放方法来解决连续神经映射的示例性任务：从连续深度图像中近似连续的符号距离函数（SDF）作为场景几何表示。我们第一次表明，一个单一的网络可以表示场景几何随着时间的推移不断没有灾难性遗忘，同时实现有前途的准确性和效率之间的权衡。
2021-08-12 cs.CV
CIP-Net: Continual Interpretable Prototype-based Network
CIP-Net是一种无需存储示例的自我可解释原型模型，通过简单架构实现持续学习中的高性能与低开销。
2025-12-08 cs.CV cs.LG
Continual Learning on the Edge with TensorFlow Lite
CYENS Centre of Excellence（CYENS卓越中心）
在嵌入式设备上部署复杂的深度学习模型，以解决现实世界的问题，是一个使用当今技术的斗争。隐私和数据限制、网络连接问题以及对快速模型自适应的需求是构成当今方法的一些挑战，这些挑战不适合边缘上的许多应用，并使实时设备培训成为必要。谷歌目前正在努力解决这些挑战，将一个实验性的迁移学习API嵌入到他们的TensorFlow Lite（机器学习库）中。在本文中，我们表明，虽然迁移学习是设备上模型训练的良好第一步，但当面对更现实的场景时，它会遭受灾难性遗忘。我们通过在CORe 50基准测试上测试一个简单的迁移学习模型来提出这个问题，并直接在我们开发的Android应用程序上展示其局限性。此外，我们还扩展了TensorFlow Lite库，通过将简单的重放方法集成到当前迁移学习模型的头部，使其包含持续学习功能。我们在CORe 50基准测试中测试了我们的持续学习模型，以表明它可以解决灾难性遗忘，并且我们使用我们开发的应用程序证明了它即使在非理想条件下也能持续学习的能力。最后，我们开源了Android应用程序的代码，使开发人员能够将持续学习集成到他们自己的智能手机应用程序中，并促进在TensorFlow Lite环境中进一步开发持续学习功能。
2021-05-05 cs.CV cs.LG
A Benchmark and Empirical Analysis for Replay Strategies in Continual Learning
City University of Hong Kong（香港城市大学）；Imperial College London（帝国理工学院）
由于具有持续学习的能力，人类可以在一生中不断地获得知识。然而，计算系统通常不能顺序地学习任务。深度神经网络（DNN）面临的这一长期挑战被称为灾难性遗忘。已经提出了多种解决方案来克服这种限制。本文对内存回放方法进行了深入的评估，探讨了在选择回放数据时各种采样策略的效率、性能和可扩展性。所有的实验都是在不同领域的多个数据集上进行的。最后，提供了一个实用的解决方案，为各种数据分布选择重放方法。
2022-08-04 cs.LG
Sequoia: A Software Framework to Unify Continual Learning Research
ElementAI, a ServiceNow Company（ElementAI（ServiceNow旗下公司））；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）；IBM Research（IBM研究院）
本文提出以假设集合刻画持续学习设置的树形分类体系，并发布统一 CSL 与 CRL 设置、方法及复用机制的开源软件框架 Sequoia。
2023-06-05 cs.LG
Seeing Objects in dark with Continual Contrastive Learning
Myntra（Myntra公司）
目标检测是计算机视觉的一个基本问题，在智能相机系统中具有极其重要的意义。然而，一个真正可靠的相机系统可以实现，当且仅当底层的目标检测组件是足够强大的，在不同的成像条件（或域），例如，不同的时间，一天中，恶劣的天气条件等，在努力实现一个可靠的相机系统，在本文中，我们试图训练这样一个强大的检测器。不幸的是，为了在不同的成像条件下构建性能良好的检测器，需要从大量的角落案例中标记训练图像（通常是大量的）。由于手动获得如此大的标记数据集可能是不可行的，我们建议使用合成图像来模拟不同的训练图像域。我们提出了一种新的，对比学习方法来对齐一对真实图像和合成图像的潜在表示，使检测器对不同的域具有鲁棒性。然而，我们发现，仅仅对比嵌入可能会导致灾难性遗忘的目标检测的基本信息。因此，我们采用基于持续学习的惩罚，以减轻遗忘的问题，同时对比表示。我们展示了我们提出的方法优于广泛的替代方案，以解决极具挑战性，但研究不足的情况下，目标检测在夜间。
2022-08-20 cs.AI cs.CV cs.LG
Certified Continual Learning for Neural Network Regression
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
针对神经网络重训练后已验证正确性易因灾难性遗忘被破坏的问题，提出可认证持续学习方法，通过保留已验证网络的正确性属性改进现有方法，实验验证其高效且能兼顾认证正确性与高效用。
2024-07-09 cs.LG
The CLEAR Benchmark: Continual LEArning on Real-World Imagery
Carnegie Mellon University（卡内基梅隆大学）；Argo AI（Argo AI公司）
持续学习（CL）被广泛认为是终身AI的关键挑战。然而，现有的CL基准，例如Permuted-MNIST和Split-CIFAR，利用人工时间变化，不符合或推广到现实世界。在本文中，我们介绍了CLEAR，这是第一个连续的图像分类基准数据集，具有跨越十年（2004-2014）的真实世界中视觉概念的自然时间演变。我们从现有的大规模图像集合（YFCC 100 M）中构建CLEAR，通过一种新颖的可扩展的低成本方法来管理非语言数据集。我们的流水线利用预训练的视觉语言模型（例如CLIP）来交互式地构建标记数据集，然后通过众包进一步验证，以删除错误甚至不适当的图像（隐藏在原始YFCC 100 M中）。CLEAR相对于之前CL基准的主要优势在于具有真实世界图像的视觉概念的平滑时间演化，包括高质量的标记数据以及每个时间段的大量未标记样本，用于连续的半监督学习。我们发现，一个简单的无监督预训练步骤已经可以提升仅利用完全监督数据的最先进CL算法。我们的分析还表明，主流的CL评估协议，训练和测试的iid数据人为膨胀的CL系统的性能。为了解决这个问题，我们提出了新的“流”协议CL总是测试（不久的将来）。有趣的是，流协议（a）可以简化数据集管理，因为今天的测试集可以重新用于明天的训练集;（b）可以产生更通用的模型，更准确地估计性能，因为每个时间段的所有标记数据都用于训练和测试（不像经典的iid训练测试分割）。
2022-06-09 cs.AI cs.CV cs.LG
The Barbados 2018 List of Open Issues in Continual Learning
我们希望在人工通用智能方面取得进展，即自主学习如何在复杂环境中胜任工作的通用代理。这份报告的目的是勾勒出一个研究大纲，分享我们面临的一些最重要的开放问题，并激发社会的进一步讨论。内容基于2018年2月在巴巴多斯举行的为期一周的研讨会上的一些讨论。
2018-11-16 cs.AI cs.LG
Generative replay with feedback connections as a general strategy for continual learning
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
开发能够真正终身学习的人工智能应用的一个主要障碍是，人工神经网络在接受新任务训练时会迅速或灾难性地忘记先前学习的任务。目前提出了许多缓解灾难性遗忘的方法，但评估协议的差异使得难以直接比较它们的性能。为了进行更有意义的比较，我们在这里根据任务身份是否已知以及是否需要推断确定了三种不同的持续学习场景。根据这些场景中的每一个执行拆分和置换的MNIST任务协议，我们发现基于正则化的方法（例如，弹性权重合并）在需要推断任务标识时失败。相比之下，生成重放结合蒸馏（即，使用类别概率作为“软目标”）在所有三种情况下都实现了优异的性能。为了解决效率问题，我们通过将生成模型集成到主模型中，并为其配备生成反馈或反向连接，从而降低了生成重放的计算成本。这种通过反馈回放的方法大大缩短了训练时间，而性能没有或可以忽略不计。我们相信这是使强大的生成重放技术可扩展到现实世界的持续学习应用程序的重要的第一步。
2019-04-17 cs.AI cs.CV cs.LG
Detecting Morphing Attacks via Continual Incremental Training
University of Bologna（博洛尼亚大学）
本文研究在数据传输和存储受限场景下，利用持续学习范式实现模型的增量训练，发现无遗忘学习在变形攻击检测和目标分类任务中表现优异。
2023-07-27 cs.CV cs.LG
Unsupervised Continual Learning Via Pseudo Labels
Purdue University（普渡大学）
持续学习的目标是使用更少的计算和内存资源来增量地学习新任务，而不是在新任务到来时从头开始重新训练模型。然而，现有的方法是以监督的方式设计的，假设来自新任务的所有数据都已被手动注释，这对于许多现实生活中的应用程序来说是不实用的。在这项工作中，我们建议使用伪标签代替地面真相，使持续学习在无监督模式下可行。新数据的伪标签是通过应用全局聚类算法获得的，我们建议使用从最后一个增量步骤更新的模型作为特征提取器。由于现有的工作的稀缺性，我们引入了一个新的基准实验协议的无监督持续学习的图像分类任务类增量设置下，没有类标签提供的每一个增量学习步骤。我们的方法在CIFAR-100和ImageNet（ILSVRC）数据集上进行了评估，将伪标签与各种现有的监督方法相结合，并在无监督场景中显示出有希望的结果。
2021-07-30 cs.CV
Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt
Southern University of Science and Technology（南方科技大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）
针对工业制造中无监督异常检测的灾难性遗忘问题，提出UCAD框架，通过对比学习提示词和结合SAM的基于结构对比学习，赋予模型持续学习能力，显著优于现有异常检测方法。
2024-01-02 cs.CV cs.LG
Leveraging ECRAM for Edge Continual Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究自动驾驶等边缘计算平台连续学习问题，提出CLASP系统，其软硬件协同设计，围绕自制的BEOL兼容ECRAM设备，能克服IMC训练挑战，接近GPU内训练精度，实现显著加速和节能。
2026-07-23 cs.AR cs.ET cs.LG
Scalable Strategies for Continual Learning with Replay
Southwest Research Institute（西南研究 institute）
针对持续学习中回放方法可扩展性差的问题，该研究将低秩适配引入持续学习，提出分阶段回放的巩固方法与适配持续学习的顺序合并方法，三者协同形成的高可扩展工具集性能优于单一方法。
2025-05-18 cs.AI cs.CV cs.LG
Discriminative Distillation to Reduce Class Confusion in Continual Learning
Sun Yat-sen University（中山大学）；Key Laboratory of Machine Intelligence and Advanced Computing, MOE（机器智能与先进计算教育部重点实验室）
成功的持续学习新知识将使智能系统能够识别越来越多的对象类别。然而，当前的智能系统在更新以学习新类时通常不能正确地识别先前学习的对象类。人们普遍认为，这种降级的表现完全是由于对以前学过的知识的灾难性遗忘。在这项研究中，我们认为，类混淆现象也可能发挥作用，在降级的分类性能在持续学习，即，新类和任何先前学习的类之间的高度相似性也会导致分类器在识别这些旧类时出错，即使这些旧类的知识没有被遗忘。为了缓解类别混淆问题，我们提出了一种区分蒸馏策略，以帮助分类器在持续学习过程中更好地学习混淆类别之间的区分特征。在多个自然图像分类任务上的实验支持所提出的蒸馏策略，当与现有方法相结合时，在进一步改进持续学习方面是有效的。
2021-08-11 cs.CV
Reasoning Portability: Guiding Continual Learning for MLLMs in the RLVR Era
Shenzhen Graduate School of Peking University（北京大学深圳研究生院）；Centre for Artificial Intelligence and Robotics, HKISI, CAS（香港科学院人工智能与机器人研究中心）；Peng Cheng Laboratory（鹏城实验室）
本文提出了一种名为推理可移植性（RP）的机制，通过在持续学习中引入推理层面的约束，改进了多模态大语言模型在RLVR环境下的适应能力，实验表明RDB-CL在提升最后准确率方面优于基线方法。
2026-05-17 cs.CV cs.LG
Mitigating the Bias in the Model for Continual Test-Time Adaptation
Graduate School of Convergence Science and Technology, Seoul National University（首尔国立大学融合科学技术研究生院）
针对持续测试时适应中模型因链式分布变化而产生的类别预测偏差，本文提出基于可靠样本的类别级 EMA 目标原型聚类与源原型锚定对齐方法，在现有 CTA 方法上显著提升性能且开销很小。
2024-03-02 cs.CV cs.LG
Continual Alignment for SAM: Rethinking Foundation Models for Medical Image Segmentation in Continual Learning
Xi’an Jiaotong University（西安交通大学）；School of Information and Communications Engineering, Xi’an Jiaotong University（信息与通信工程学院）；School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院）
CA-SAM通过引入对齐层，实现了在持续学习中高效适应医学图像分割，提升性能并减少计算开销。
2025-11-21 cs.CV
NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks
Georgia Institute of Technology（佐治亚理工学院）；KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）
持续学习（CL）的目标是随着时间的推移学习不同的任务。与CL相关的主要需求是保持旧任务的性能，利用后者来提高对未来任务的学习，并在训练过程中引入最小的开销（例如，不需要增长模型或重新训练）。我们提出了神经启发的稳定性可塑性适应（NISPA）架构，通过一个稀疏的神经网络与固定密度来解决这些迫切需要。NISPA形成了稳定的路径，以保存从旧任务中学到的知识。此外，NISPA使用连接重新布线来创建新的塑料路径，在新任务中重用现有知识。我们对EMNIST、FashionMNIST、CIFAR 10和CIFAR 100数据集的广泛评估表明，NISPA的性能明显优于代表性的最先进的持续学习基线，并且与基线相比，它使用的可学习参数少了10倍。我们还证明了稀疏性是持续学习的基本要素。NISPA代码可在https://github.com/BurakGurbuz97/NISPA上获得。
2022-06-18 cs.LG
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
CLR: Channel-wise Lightweight Reprogramming for Continual Learning
Google Research（谷歌研究院）；University of Southern California（南加利福尼亚大学）
针对持续学习中的灾难性遗忘问题，提出通道级轻量重编程方法，通过共享不可变锚点参数加任务专属轻量重编程参数实现稳定性与可塑性的平衡，参数增量低于0.6%，在53个图像分类数据集序列上优于13种现有基准。
2023-07-21 cs.CV
Learning Mamba as a Continual Learner: Meta-Learning Selective State Space Models for Continual Learning
University of New South Wales (UNSW Sydney)（新南威尔士大学（UNSW悉尼））
该研究提出MambaCL，将Mamba作为固定大小状态序列模型，通过选择性正则化元训练，在元持续学习任务中实现了良好性能与强泛化性，展现了固定状态学习器用于高效持续学习的潜力。
2026-08-25 cs.LG
Rethinking Continual Learning for Autonomous Agents and Robots
Apprente, Inc.（Apprente公司）；University of Hamburg（汉堡大学）；PaigeAI（PaigeAI公司）；Rochester Institute of Technology（罗切斯特理工学院）；Cornell Tech（康奈尔科技学院）
持续学习是指生物或人工系统从连续的信息流中无缝学习同时防止灾难性遗忘的能力，即，新的信息强烈干扰先前学习的表征的情况。由于为人工智能提供所有必要的先验知识以在现实世界条件下有效运作是不现实的，因此它们必须表现出丰富的学习能力，使它们能够在复杂的环境中进行交互，以处理和理解连续的（通常不确定的）信息流。虽然绝大多数持续学习模型的目的是减轻灾难性遗忘简化分类任务，在这里，我们专注于持续学习的自主智能体和机器人需要在更具挑战性的实验设置操作。特别是，我们讨论了完善的生物学习因素，如发展和课程学习，迁移学习，和内在动机和他们的计算对应模型的逐步收购越来越复杂的知识和技能，在一个持续的时尚。
2019-07-02 cs.AI cs.LG
A Meta-Learned Neuron model for Continual Learning
Université de Caen Normandie（卡昂诺曼底大学）；CNRS（法国国家科学研究中心）
持续学习是在不忘记先前学习的知识的情况下获取新知识的能力，假设没有进一步访问过去的训练数据。已知用梯度下降训练的神经网络逼近器在这种设置中失败，因为它们必须从从静态分布采样的数据点流中学习以收敛。在这项工作中，我们用一个元学习的神经元模型来代替标准神经元，该模型的推理和更新规则被优化以最小化灾难性干扰。我们的方法可以记住训练样本的长度序列，其学习能力推广到任何领域。与以前的持续学习方法不同，我们的方法不对任务如何构建、交付以及它们如何相互关联做出任何假设：它只是一个接一个地吸收和保留训练样本，无论输入数据流是否与时间相关。
2021-11-03 cs.AI cs.LG cs.NE
Interactive Continual Learning Architecture for Long-Term Personalization of Home Service Robots
University of Waterloo（滑铁卢大学）
针对家庭服务机器人需适应个性化动态环境的需求，提出结合持续学习、语义推理与人机交互的交互式持续学习架构，经两个月实验验证，可基于有限用户数据持续适应环境并完成抓取任务。
2024-03-06 cs.CV cs.LG cs.RO
Infinite dSprites for Disentangled Continual Learning: Separating Memory Edits from Generalization
Tübingen AI Center（蒂宾根人工智能中心）；University of Tübingen（蒂宾根大学）；KU Leuven（天主教鲁汶大学）；IDEAS NCBR；Tooploox；Warsaw University of Technology（华沙理工大学）
本文提出 Infinite dSprites 基准工具，揭示持续学习方法在长任务序列下性能下降问题，并通过学习类不可知变换来规避灾难性遗忘，实现显式控制记忆与遗忘的开放集分类及单样本泛化。
2024-07-29 cs.CV cs.LG
CA-DGCL: Dynamic Graph Continual Learning via Condensation and Attachment
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
研究动态图持续学习中现有方法未充分利用时间信息的问题。提出CA-DGCL框架，先凝聚历史图快照，再构建节点链经塔克分解获取稳定节点特征以重放过去信息，引入改进遗忘度量。实验证明该方法在遗忘抑制和准确率上表现出色。
2026-07-14 cs.LG
Domain-Incremental Continual Learning for Mitigating Bias in Facial Expression and Action Unit Recognition
University of Cambridge（剑桥大学）；Binghamton University（宾汉姆顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
随着面部表情识别（FER）系统融入我们的日常生活，这些系统需要优先做出公平的决策，而不是以更高的个人准确率为目标。从监测系统到诊断个人的心理和情绪健康状况，这些系统需要平衡准确性与公平性的权衡，以做出不会不公正地歧视特定代表性不足的人口群体的决定。将偏差识别为面部分析系统中的关键问题，已经提出了不同的方法，旨在在数据和算法级别上减轻偏差。在这项工作中，我们提出了新的使用持续学习（CL），特别是，使用域增量学习（域IL）设置，作为一个有力的偏见缓解方法，以提高FER系统的公平性，同时防止偏见所产生的数据分布偏态。我们使用两个流行的基准，RAF-DB和BP 4D数据集，分别比较了不同的非基于CL和基于CL的方法在表情识别和动作单元（AU）检测任务上的分类准确性和公平性得分。我们的实验结果表明，基于CL的方法，平均而言，优于其他流行的偏见缓解技术的准确性和公平性指标。
2021-03-15 cs.CV cs.LG
Efficient Continual Learning in Neural Networks with Embedding Regularization
Sapienza University of Rome（罗马第一大学）；University of Bologna（博洛尼亚大学）
深度神经网络的持续学习是将其扩展到更复杂的应用场景以及实现这些架构的真正终身学习的关键要求。以前解决这个问题的方法要么考虑了网络规模的逐步增加，要么试图将网络行为正则化，以使其与先前观察到的任务保持一致。在后一种情况下，了解什么类型的信息最能代表这种过去的行为是至关重要的。常见的技术包括正则化过去的输出、梯度或单个权重。在这项工作中，我们提出了一种新的，相对简单和有效的方法来执行持续学习，而不是正规化的网络内部嵌入。为了使该方法具有可扩展性，我们还提出了一个动态采样策略，以减少所需的外部存储的内存占用。我们表明，我们的方法表现良好，相对于国家的最先进的方法在文献中，同时需要显着更少的内存空间和计算时间。此外，灵感来自最近的作品，我们评估的影响，选择一个更灵活的模型内的网络激活功能，评估的影响灾难性遗忘的激活函数本身。
2020-02-11 cs.LG cs.NE stat.ML
Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation
本文从知识分解角度发现低秩适应存在奇异值谱不平衡，导致遗忘，并提出在受限Stiefel流形上解耦任务更新幅度与方向结构的约束优化方法，有效缓解前后向遗忘。
2026-07-03 cs.LG
Generative Replay-based Continual Zero-Shot Learning
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
零样本学习是一种新的范例，用于对训练时不可用的类中的对象进行分类。零样本学习（Zero-shot learning，简称ZRL）方法由于其能够对未知类样本进行分类，近年来引起了广泛关注。大多数现有的方法在可用于训练模型的所有可见类的样本时都有效，这并不适合现实生活。在本文中，我们解决了这个障碍，开发了一个生成的重放为基础的连续的可编程逻辑（GRCCARL）。该方法使传统的并行学习算法能够从流数据中学习并获得新的知识，而不会忘记以前任务的经验。我们处理灾难性遗忘在GRCXL通过重放的合成样本看到的类，这已经出现在早期的任务。这些合成样本是使用经过训练的条件变分自编码器（VAE）在刚刚过去的任务上合成的。此外，我们只需要在任何时候进行培训和测试的当前和前一个VAE。所提出的GRPGL方法是为单头设置的持续学习，模拟现实世界的问题设置。在这种设置中，任务标识在训练期间给出，但在测试期间不可用。在五个基准数据集上评估了GRCNOL的性能，这些基准数据集用于具有持续学习的固定和动态（增量类）设置的GRCNOL的广义设置。现有的类设置最近在文献中提出的是不适合类增量设置。因此，本文提出了一种新的设置来解决这个问题。实验结果表明，该方法明显优于基线和国家的最先进的方法，使它更适合于现实世界的应用。
2021-06-07 cs.CV cs.LG
Continual Learning: Applications and the Road Forward
KU Leuven（鲁汶大学）；Toyota Motor Europe（丰田汽车欧洲公司）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；University of Tübingen（蒂宾根大学）；University of Pisa（比萨大学）；University of Applied Sciences Fulda（富尔达应用科学大学）；NAVER LABS Europe（NAVER欧洲实验室）；University of Munich (LMU)（慕尼黑大学）；University of Rochester（罗切斯特大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；TU Darmstadt（达姆施塔特工业大学）；Google DeepMind（谷歌DeepMind）；Université Paris-Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会 LIST 研究所）；Baylor College of Medicine（贝勒医学院）；Computer Vision Center UAB（巴塞罗那自治大学计算机视觉中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文探讨了持续学习的应用价值，指出受内存限制的设置主导该领域，并证明持续学习是解决模型编辑、个性化、设备端学习等五个开放问题的关键，最后提出四个未来研究方向。
2024-03-28 cs.AI cs.CV cs.LG
Continual Learning with Pretrained Backbones by Tuning in the Input Space
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）；KU Leuven（荷语鲁汶大学）
本文针对预训练模型持续微调中的灾难性遗忘问题，提出冻结预训练骨干、联合学习分类头与输入变换参数的方法，以较低计算成本兼顾可塑性与稳定性，并在四个图像分类任务上验证其优势。
2023-06-08 cs.CV cs.LG
Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning
Emory University（埃默里大学）；George Mason University（乔治梅森大学）
持续学习被认为是迈向下一代人工智能（AI）的一个有希望的步骤，其中深度神经网络（DNN）通过持续学习类似于人类学习过程的一系列不同任务来做出决策。它仍然相当原始，现有的工作主要集中在避免（灾难性的）遗忘。然而，由于遗忘是不可避免的有限的记忆和无限的任务负载，“如何合理地忘记”是一个问题，持续学习必须解决，以减少人工智能和人类之间的性能差距，在1）记忆效率，2）概括性，和3）鲁棒性处理噪声数据。为了解决这个问题，我们提出了一个新的ScheMATic记忆持久性和短暂性（SMART）框架，持续学习与外部记忆，建立在神经科学的最新进展。一种新的长期遗忘机制和图式记忆，使用稀疏性和“向后正迁移”的限制与理论保证的错误界的效率和泛化能力提高。鲁棒增强是通过使用一种新的短期遗忘机制，灵感来自背景信息门控学习。最后，在基准数据集和真实数据集上进行了大量的实验分析，证明了该模型的有效性和效率。
2021-05-05 cs.LG
Monitoring multimode processes: a modified PCA algorithm with continual learning ability
Tsinghua University（清华大学）；Shandong University of Science and Technology（山东科技大学）
对于多模态过程，通常建立与局部模态对应的局部监控模型。然而，当建立当前模式的监测模型时，先前模式的重要特征可能会被灾难性地遗忘。这将导致性能急剧下降。使局部监测模型能够记住以前监测模型的特征是一种有效的方法。本文选择主成分分析（PCA）作为基本的监测模型，试图解决这一问题。提出了一种具有连续学习能力的多模态过程监控主元分析（PCA）改进算法，该算法采用弹性权重合并（EWC）来克服PCA对连续模式的灾难性遗忘。它被称为PCA-EWC，当为当前模式建立PCA模型时，保留了先前模式的重要特征。通过对凸函数的差分求出最优参数。此外，所提出的PCA-EWC扩展到一般的多模态过程和程序。讨论了算法的计算复杂度和关键参数，以进一步理解PCA和所提出的算法之间的关系。指出了该算法的潜在局限性和相应的解决方案，以进一步理解该算法。数值算例和中国的一个实际工业系统，以说明所提出的算法的有效性。
2021-05-28 cs.LG stat.ML
Big-model Driven Few-shot Continual Learning
Nanjing University of Science and Technology（南京理工大学）；SeetaCloud（思特云科技）
提出大模型驱动的小样本持续学习框架，利用大模型迁移与自适应蒸馏，在三个数据集上超越现有方法。
2023-09-02 cs.CV
Attention Distraction: Watermark Removal Through Continual Learning with Selective Forgetting
Deakin University（迪肯大学）；Huazhong University of Science and Technology（华中科技大学）；Qilu University of Technology（齐鲁工业大学）；Shandong Computer Science Center（山东省计算机科学中心）；Swinburne University of Technology（斯威本科技大学）
微调攻击在去除深度学习模型中嵌入的水印方面是有效的。然而，当源数据不可用时，仅擦除水印而不危害模型性能是具有挑战性的。在此背景下，我们引入注意力分散（AD），一种新的无源数据水印去除攻击，通过自定义持续学习使模型选择性地忘记嵌入的水印。特别地，AD首先使用一些未标记的数据将模型的注意力锚定在主任务上。然后，通过持续学习，少量的\textit{lures}（随机选择的自然图像）被分配了一个新的标签，分散了模型的注意力。不同数据集和网络的实验结果证实，AD可以彻底删除水印与一个小的资源预算，而不影响模型的性能的主要任务，这优于国家的最先进的作品。
2022-04-05 cs.CR cs.CV
IDER: IDempotent Experience Replay for Reliable Continual Learning
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；Shanghai Innovation Institute（上海创新研究院）；Lehigh University（莱斯大学）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；MIFA Lab（MIFA实验室）
IDER通过惰性性质提出新的经验重放方法，提升持续学习的可靠性与准确性，减少遗忘问题。
2026-03-03 cs.AI cs.CV cs.LG
PIVOT: Prompting for Video Continual Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Pisa（比萨大学）；Adobe Research（Adobe研究院）
针对视频数据持续学习问题，提出PIVOT方法，利用图像域预训练模型知识并采用提示机制，无需领域内预训练即可减少参数与遗忘，在20任务ActivityNet上将最先进方法提升27%。
2023-04-04 cs.AI cs.CV
Calibration of Continual Learning Models
University of Pisa（比萨大学）；ISTI-CNR
针对持续学习模型易遗忘、缺乏校准的问题，首次实证研究该领域校准方法的表现，提出持续校准方法提升后处理校准性能，为构建可靠的持续学习预测模型迈出第一步。
2024-04-12 cs.AI cs.LG
Schedule-Robust Online Continual Learning
Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Politecnico di Torino（都灵理工大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；National University of Singapore（新加坡国立大学）
持续学习（CL）算法从非平稳数据流中学习。非平稳性由确定数据如何随时间呈现的某种时间表来建模。大多数当前的方法对时间表做出强有力的假设，并且在不满足这些要求时具有不可预测的性能。因此，CL的一个关键挑战是设计对相同基础数据的任意时间表鲁棒的方法，因为在现实世界中，时间表通常是未知的和动态的。在这项工作中，我们引入了CL的时间表鲁棒性的概念和一种新的方法，满足这一理想的属性在具有挑战性的在线类增量设置。我们还提出了一个新的角度CL，学习一个时间表强大的预测器的过程中，其次是适应预测只使用重放数据。经验上，我们证明了我们的方法优于现有的方法CL基准图像分类的大幅度。
2022-10-14 cs.LG
