Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token
Yonsei University College of Medicine（延世大学医学院）
提出一种基于视觉变换器架构、利用任务特定令牌封装任务知识的方法，在不存储旧数据的情况下减少增量学习中的灾难性遗忘，并在基准测试中取得最优准确率和最低反向迁移。
2024-11-06 cs.CV cs.LG
Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal
NVIDIA（英伟达）；Microsoft（微软）；Microsoft Research（微软研究院）
联邦学习是ML的一个快速发展的领域，其中训练数据集非常分散，并且随着时间的推移而动态变化。模型需要在客户设备上进行训练，但无法保证本地私有数据的同质性或平稳性。由于不断增加的任务中数据的产生，对持续培训的需求也有所增加。然而，同时追求这两个方向是具有挑战性的，因为客户端数据隐私是一个主要的限制，特别是对于排练方法。在这里，我们提出了一种新的算法来解决增量学习过程中FL的情况下，基于现实的客户端注册的情况下，客户端可以动态地下降或退出。我们首先建议使用深度变分嵌入来保护客户端数据的隐私。其次，我们提出了一种服务器端训练方法，使模型能够排练以前学习的知识。最后，我们研究了联邦增量学习在动态客户端注册场景中的性能。所提出的方法显示出与领域增量学习的离线训练的对等性，解决了客户端的动态注册和客户端数据的域转移中的挑战。
2021-10-19 cs.LG
P2L-CA: An Effective Parameter Tuning Framework for Rehearsal-Free Multi-Label Class-Incremental Learning
Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳先进技术大学计算微电子学院）；College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）；College of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院）
P2L-CA通过结合Prompt-to-Label模块和连续适配器模块，提出了一种参数高效的多标签类增量学习框架，有效解决特征混淆和领域差异问题，实现高性能与低开销的平衡。
2026-01-19 cs.CV cs.LG
Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
Rowan University（罗文大学）
提出受神经科学启发的Robust Rehearsal框架，通过特征蒸馏与再巩固机制缓解持续学习中的灾难性遗忘，在多个数据集上优于基线方法。
2024-04-22 cs.CV cs.LG
Combining Statistical Features and Deep Encodings for Rehearsal-Based Class-Incremental Time Series Classification
atlanTTic – ICLAB, Universidade de Vigo（atlanTTic–ICLAB，维戈大学）；Centro Tecnolóxico de Telecomunicacións de Galicia (GRADIANT)（加利西亚电信技术中心（GRADIANT））；Universidade de Vigo（维戈大学）
提出一种双流特征提取管道（结合预训练冻结基础模型的深度时间嵌入特征与统计特征），用于多变量时间序列的类增量持续学习，在五个基准数据集上实现了有竞争力的平均准确率和低遗忘率。
2026-06-02 cs.LG stat.ML
Dynamic Prototype Rehearsal for Continual ECG Arrhythmia Detection
Department of Electrical and Computer Engineering（电气与计算机工程系）；School of Computing（计算学院）
DREAM-CL通过动态原型回放机制提升连续心电图心律失常检测的持续学习性能
2026-01-16 cs.LG
Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning
TomTom（汤姆汤姆）；Eindhoven University of Technology (TU/e)（埃因霍温理工大学）；Wayve（Wayve公司）
提出AGILE方法，通过紧凑任务注意力和可学习投影向量减少任务间干扰，在类增量学习中提升泛化性能并优于重放方法。
2024-05-22 cs.AI cs.CV cs.LG
Fed-CPrompt: Contrastive Prompt for Rehearsal-Free Federated Continual Learning
Michigan Technological University（密歇根理工大学）；University of Houston（休斯顿大学）
针对无重放联邦持续学习中的灾难性遗忘，提出基于提示学习的Fed-CPrompt，通过异步提示学习和对比持续损失处理异步任务与异构数据，实现通信高效的最优性能。
2023-09-05 cs.AI cs.CV cs.LG
DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning
Northeastern University（东北大学）；Google Cloud AI（谷歌云人工智能）；Google Research（谷歌研究院）
持续学习旨在使单个模型能够学习一系列任务，而不会发生灾难性遗忘。性能最好的方法通常需要一个排练缓冲区来存储过去的原始例子，用于经验重放，然而，由于隐私和内存限制，这限制了它们的实用价值。在这项工作中，我们提出了一个简单而有效的框架DualPrompt，它学习了一组很小的参数，称为提示符，以正确地指导预先训练的模型学习顺序到达的任务，而无需缓冲过去的示例。DualPrompt提出了一种新的方法，将补充提示附加到预先训练的主干上，然后将目标制定为学习任务不变和任务特定的“指令”。通过广泛的实验验证，DualPrompt在具有挑战性的类增量设置下始终保持最先进的性能。特别是，DualPrompt优于最近具有相对较大缓冲区大小的高级持续学习方法。我们还引入了一个更具挑战性的基准，分裂ImageNet-R，以帮助推广无排练的持续学习研究。源代码可在https://github.com/google-research/l2p上获得。
2022-08-05 cs.CV cs.LG
When Generator Replay Degrades: Projected Rehearsal Orchestration for Heterogeneous Federated Class-Incremental Learning
VinUniversity；VNU-HCM, University of Science（胡志明市国家大学理科大学）；Technische Universität Berlin（柏林工业大学）
针对异构联邦类增量学习中客户端标签子集不同、任务阶段不一致导致的旧知识遗忘问题，提出投影排练编排框架PRO及增强版PRO-MAX，通过服务器端维护紧凑类级投影记忆并实现平衡伪多任务训练，在图像、文本和图基准上提升异构流下的保留与最终效用。
2026-06-16 cs.AI cs.LG
CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning
Georgia Institute of Technology（佐治亚理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Rice University（莱斯大学）；IBM Research（IBM研究院）
当计算机视觉模型从不断变化的训练数据中学习新概念时，会出现一种被称为灾难性遗忘的现象。这种持续学习问题的典型解决方案需要对先前看到的数据进行大量排练，这增加了存储器成本，并且可能违反数据隐私。最近，大规模预训练的视觉Transformer模型的出现使得提示方法能够作为数据排练的替代方案。这些方法依赖于一个关键的查询机制，以产生提示，并已被发现是高度抵抗灾难性遗忘在完善的无排练持续学习设置。然而，这些方法的关键机制不是与任务序列端到端地训练的。我们的实验表明，这导致其可塑性降低，从而牺牲了新的任务的准确性，并无法受益于扩大的参数容量。相反，我们建议学习一组提示组件，这些组件与输入条件权重组装在一起，以产生输入条件提示，从而产生一种新的基于注意力的端到端关键字查询方案。我们的实验表明，我们优于目前的SOTA方法DualPrompt建立的基准高达4.5%的平均最终准确度。我们还超过了高达4.4%的准确率，在持续学习基准测试，其中包含类增量和域增量的任务转移，对应于许多实际的设置。我们的代码可在https://github.com/GT-RIPL/CODA-Prompt上获得
2023-03-30 cs.AI cs.CV cs.LG
Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models
University of Hamburg（汉堡大学）
本文提出LayUP方法，通过利用预训练模型多个中间层的二阶特征统计量进行基于原型的持续学习，无需排练即可在多数类增量、域增量和在线持续学习基准上超越现有方法，并显著降低内存和计算开销。
2024-07-05 cs.CV cs.LG
ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations
Sharif University of Technology（谢里夫理工大学）；Institute For Research In Fundamental Sciences (IPM)（基础科学研究所（IPM））
提出了一种实用、简单而有效的方法来有效地处理类增量学习（CIL）任务中的灾难性遗忘。CIL倾向于完美地学习新概念，但不会以牺牲旧数据的性能和准确性为代价。在没有来自以前类的数据实例或甚至新旧类的不平衡样本的情况下学习新知识使得CIL成为一个持续的挑战性问题。这些问题可以通过存储属于先前任务的样本或利用排练策略来解决。受使用生成模型的方法的排练策略的启发，我们提出了Clare，一个有效的解决方案CIL记住的表示学习类在每个增量。采用这种方法可以生成具有相同分布的学习类的实例。因此，我们的模型以某种方式从头开始重新训练，使用新的训练集，包括新的和生成的样本。随后，不平衡数据问题也得到了解决。由于从以前学习的类的分布中产生不同的实例，ClaRe比以前的方法具有更好的泛化能力。我们在MNIST基准上全面评估了Clare。结果表明，随着时间的推移，面对新知识的准确性下降非常低。此外，与大多数提出的解决方案相反，内存限制不再是问题，这被认为是该研究领域中的一个重要问题。
2021-03-29 cs.CV cs.LG
Rehearsal-Free Modular and Compositional Continual Learning for Language Models
Bosch Center for Artificial Intelligence（博世人工智能中心）；LMU Munich（慕尼黑大学）；Hochschule der Medien（斯图加特媒体大学）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学）
本文提出无排练的模块化与组合式持续学习框架MoCL，通过持续添加并组合模块，在避免遗忘的同时促进任务间知识迁移，并在多个基准上超越现有方法。
2024-03-31 cs.CL cs.LG
Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）；Google DeepMind（谷歌DeepMind）
本文提出对比原型提示（CPP）方法，通过任务特定提示微调和对比学习解决持续学习中的语义漂移与原型干扰，在四个类增量基准上超越现有方法4%至6%，且无需重放缓冲区。
2023-11-12 cs.AI cs.CV cs.LG
Data-Free Generative Replay for Class-Incremental Learning on Imbalanced Data
University of Marburg（马尔堡大学）
针对不平衡数据下类别增量学习无法访问旧数据的问题，提出 DFGR，利用预训练模型 batch-norm 与特征图统计量训练生成器，在 MNIST 和 FashionMNIST 上显著优于无数据方法。
2024-06-07 cs.AI cs.LG
A Closer Look at Rehearsal-Free Continual Learning
Georgia Institute of Technology（佐治亚理工学院）；Samsung Research America（三星美国研究院）
本文研究无排练持续学习，通过结合知识蒸馏与参数正则化，发现L2参数正则化在ViT自注意力模块中优于EWC、特征蒸馏及提示方法。
2023-04-03 cs.AI cs.CV cs.LG
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning
Huazhong University of Science and Technology（华中科技大学）
本文提出一种无需重放的类增量学习方法，通过互补学习子网络协同优化CNN特征提取器与解析分类器，以少量参数实现持续学习，在精度、内存和训练效率上取得竞争力。
2023-06-21 cs.CV cs.LG
Prediction Error-based Classification for Class-Incremental Learning
KU Leuven（鲁汶大学）；Jagiellonian University（雅盖隆大学）
针对类别增量学习中存在的遗忘与类别分数不平衡问题，提出基于预测误差的分类方法PEC，通过测量模型复现冻结随机网络输出的预测误差计算类别分数，在多个基准上表现优于多数对比方法。
2024-03-09 cs.AI cs.CV cs.LG
Rehearsal-Free Continual Learning over Small Non-I.I.D. Batches
University of Bologna（博洛尼亚大学）
机器人视觉是一个持续学习可以发挥重要作用的领域。一个具体的代理人在一个复杂的环境中进行频繁和不可预测的变化，需要不断学习和适应。例如，在对象识别的背景下，机器人应该能够学习（而不会忘记）以前从未见过的类的对象，并在发现已知类的新实例时提高其识别能力。理想情况下，持续学习应该由单个对象的短视频的可用性触发，并在具有细粒度更新的板载硬件上在线执行。在本文中，我们介绍了一种新的持续学习协议的基础上的CORe 50基准，并提出了两个排练免费的持续学习技术，CWR* 和AR 1 *，可以有效地学习，即使在具有挑战性的情况下，近400个小的非i.i.d.增量批次。特别是，我们的实验表明，在某些情况下，AR1* 的准确率可以超过其他最先进的免排练技术15%以上，并且在训练批次中的计算和内存开销非常小且恒定。
2020-04-21 cs.CV cs.LG cs.NE
DSS: A Diverse Sample Selection Method to Preserve Knowledge in Class-Incremental Learning
University of Memphis（孟菲斯大学）
针对增量学习中样本选择多样性不足影响灾难性遗忘缓解效果的问题，提出DSS多样化样本选择方法，适用于两类任务边界的类别增量学习，性能优于SOTA且更易理解实现。
2023-12-14 cs.LG
Diagnosing Batch Normalization in Class Incremental Learning
Xi’an Jiaotong University（西安交通大学）；The Macau University of Science and Technology（澳门科技大学）
广泛的研究已经将深度神经网络（DNN）应用于类增量学习（Class-IL）中。作为DNN的构建块，批量归一化（BN）对中间特征图进行了优化，并已被广泛验证以提高训练稳定性和收敛性。然而，我们认为在类IL模型中直接使用标准BN对表示学习和分类器训练都是有害的，从而加剧了灾难性遗忘。在本文中，我们调查的影响BN类IL模型，说明这样的BN困境。我们进一步提出BN技巧来解决这个问题，通过训练一个更好的特征提取器，同时消除分类偏差。在不引入额外超参数的情况下，我们将BN技巧应用于三种基于基线排练的方法，ER，DER++和iCaRL。通过对Seq-CIFAR-10、Seq-CIFAR-100和Seq-Tiny-ImageNet的基准数据集进行的综合实验，我们表明BN技巧可以为所有采用的基线带来显着的性能提升，揭示了其在这一研究领域的潜在通用性。
2022-02-16 cs.CV cs.LG
Revisiting Prototype Rehearsal for Exemplar-Free Continual Learning: Manifold-Aware Boundary Sampling with Adaptive Class-Balanced Loss
Chester F. Carlson Center for Imaging Science（切斯特·F·卡森成像科学中心）；Rochester Institute of Technology（罗切斯特理工学院）
针对无样本类增量学习，提出流形感知边界采样和自适应类别平衡损失，通过生成边界感知重放样本和动态调整类别权重，使原型重放方法恢复竞争力并达到最先进性能。
2026-06-04 cs.LG
Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）；University of Maryland, College Park（马里兰大学帕克分校）
动态扩展结构在课堂增量学习中越来越受欢迎，主要是由于其在减轻灾难性遗忘方面的优势。然而，在这个框架内，任务混淆没有得到很好的评估，例如，不同任务的类别之间的差异没有被很好地学习（即，任务间混淆，ITC），并且仍然对最新的类批次给予一定的优先级（即，旧-新混淆（ONC）。我们实证验证了这两种类型的混淆的副作用。同时，提出了一种新的解决方案，称为任务相关的增量学习（TCIL），以鼓励歧视性和公平的功能利用跨任务。TCIL执行多层次的知识蒸馏，将从旧任务中学到的知识传播到新任务中。它在特征和logit级别建立信息流路径，使学习能够意识到旧类。此外，注意力机制和分类器重新评分，以产生更公平的分类分数。我们在CIFAR 100和ImageNet 100数据集上进行了广泛的实验。结果表明，TCIL始终达到最先进的精度。它减轻了ITC和ONC，同时在与灾难性遗忘的战斗中显示出优势，即使没有保留排练记忆。
2023-01-03 cs.CV cs.LG
MIND: Multi-Task Incremental Network Distillation
Leonardo Labs（莱昂纳多实验室）
MIND是一种参数隔离方法，通过两种蒸馏程序和批归一化层优化，在无重放类增量学习（CIFAR-100/10提升约+6%，TinyImageNet/10提升约+10%）和域增量场景（约+40%）中达到最先进性能。
2023-12-20 cs.CV cs.LG
Dynamic LoRA-Experts and Prototype-Ensemble Matching for Class-Incremental Learning
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
提出DLEPEM框架，通过为每个增量任务分配LoRA专家并集成原型匹配，解决类增量学习中的干扰与对齐问题，在标准及少样本基准上表现强劲。
2026-10-01 cs.LG
Continuous Learning in Single-Incremental-Task Scenarios
University of Bologna（博洛尼亚大学）
最近表明，架构，正则化和排练策略可以用于训练深度模型顺序上的一些不相交的任务，而不会忘记以前获得的知识。然而，如果任务不是不相交的而是构成单个增量任务（例如，类增量学习）。在本文中，我们指出了多任务和单增量任务的情况下，并表明，众所周知的方法，如LWF，EWC和SI增量任务的情况下是不理想的差异。一种新的方法，表示为AR 1，结合架构和正则化策略，然后具体提出。AR 1开销（在存储器和计算方面）非常小，因此使其适合于在线学习。当在CORe 50和iCIFAR-100上进行测试时，AR 1的性能远远优于现有的正则化策略。
2019-01-22 cs.AI cs.CV cs.LG
Effective Decision Boundary Learning for Class Incremental Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对类增量学习中决策边界对新类过拟合问题，提出有效决策边界学习算法（EDBL），通过重采样与Mixup知识蒸馏及增量影响平衡方法，同时提升蒸馏性能并解决数据不平衡，在多个基准上达到最优。
2024-09-26 cs.CV cs.LG
Autoencoder-Based Incremental Class Learning without Retraining on Old Data
Seoul National University（首尔大学）；Massachusetts Institute of Technology（麻省理工学院）
增量类学习是一种持续学习环境中的场景，其中类及其训练数据被顺序地和不连续地观察，挑战了被广泛称为灾难性遗忘的问题。在这项工作中，我们提出了一种新的增量类学习方法，可以显着减少内存开销相比，以前的方法。除了使用softmax的传统分类方案之外，我们的模型基于自动编码器来提取给定输入的原型，因此不需要改变其输出单元。它只存储每个类的原型的平均值来执行基于度量的分类，不像排练方法依赖于大内存或生成模型。为了减轻灾难性遗忘，正则化方法应用于我们的模型，当遇到一个新的任务。我们通过在CIFAR-100和CUB-200-2011上进行实验来评估我们的方法，并表明其性能与最先进的方法相当，并且额外的内存成本要低得多。
2019-07-18 cs.LG stat.ML
PromptDSI: Prompt-based Rehearsal-free Continual Learning for Document Retrieval
Department of Data Science \& AI, Monash University, Australia Department of Human-Centred Computing, Monash University, Australia
PromptDSI 提出基于提示的无排练持续学习文档检索方法，通过可学习提示和主题感知提示池高效索引新文档，移除前向传递降低延迟，显著提升新语料库检索性能并有效缓解遗忘。
2025-06-28 cs.AI cs.CL cs.IR
Class-Incremental Grouping Network for Continual Audio-Visual Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对单模态持续学习无法学习跨模态表示的问题，提出类增量分组网络CIGN，通过音视频类标记和分组机制聚合特征并防止参数遗忘，实现了最先进的音视频类增量学习性能。
2023-09-11 cs.CV cs.LG cs.MM
Self-Training for Class-Incremental Semantic Segmentation
Tianjin University of Technology（天津理工大学）；Nankai University（南开大学）；Autonomous University of Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
在类增量语义分割中，我们无法访问先前任务的标记数据。因此，当增量学习新类时，深度神经网络会对先前学习的知识产生灾难性遗忘。为了解决这个问题，我们建议应用一种自我训练的方法，利用未标记的数据，这是用于排练以前的知识。具体来说，我们首先学习当前任务的临时模型，然后通过融合来自先前任务的旧模型和当前临时模型的信息来计算未标记数据的伪标签。此外，提出了冲突减少，以解决从旧的和临时的模型产生的伪标签的冲突。我们表明，最大化自熵可以通过平滑过度自信的预测来进一步改善结果。有趣的是，在实验中，我们表明，辅助数据可以不同于训练数据，即使是通用的，但不同的辅助数据可以导致大的性能增益。实验证明了最先进的结果：与以前的最先进方法相比，在Pascal-VOC 2012上获得了高达114%的相对增益，在更具挑战性的ADE 20 K上获得了8.5%的相对增益。
2022-03-11 cs.AI cs.CV cs.LG
PIP: Prototypes-Injected Prompt for Federated Class Incremental Learning
University of South Australia（南澳大学）；Institute of Infocomm Research（信息通信研究院）
提出无排练的联邦类增量学习方法PIP，通过原型注入、原型增强和加权高斯聚合，在CIFAR100等数据集上准确率提升达33%，且降低通信成本与客户端需求。
2024-07-30 cs.AI cs.CV cs.LG
Elastic Feature Consolidation for Cold Start Exemplar-Free Incremental Learning
University of Florence（佛罗伦萨大学）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
针对无样本类增量学习在冷启动场景下的特征漂移问题，提出弹性特征巩固方法，利用经验特征矩阵正则化漂移并更新高斯原型，有效平衡新任务学习与旧知识保持，显著优于现有方法。
2024-05-30 cs.CV cs.LG
Feature Expansion and enhanced Compression for Class Incremental Learning
Naval Group（海军集团）；ENSTA Bretagne（布列塔尼国立高等先进技术学院）；CROSSING IRL 2010（CROSSING国际研究实验室（IRL 2010））；IMT Atlantique（大西洋电信学院）
针对类别增量学习中的灾难性遗忘问题，提出结合Rehearsal-CutMix数据增强的特征扩展与增强压缩算法，在多个数据集和评估协议下性能优于现有最优方法。
2024-05-13 cs.AI cs.CV cs.LG
Exemplar-condensed Federated Class-incremental Learning
School of Computing, Newcastle University, UK（计算学院，新castle大学，英国）
本文提出ECoral方法，通过将流式数据蒸馏为信息丰富的排练样本并共享解耦生成模型，解决联邦持续学习中样本信息密度异质性问题，有效缓解灾难性遗忘并提升性能。
2025-06-03 cs.AI cs.LG
Class Incremental Learning for Algorithm Selection
Edinburgh Napier University（爱丁堡纳皮尔大学）
本文首次将类增量学习引入优化领域的算法选择问题，通过在装箱数据集上基准测试8种持续学习方法，发现基于经验回放的方法能以约7%的较小遗忘损失有效应对流式场景下的求解器更新。
2025-06-02 cs.LG
Learning Invariant Representation for Continual Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
持续学习的目的是提供能够在先前学习的知识的基础上持续学习一系列任务的智能代理。这种学习范式的一个关键挑战是，当智能体面对一个新的任务时，会灾难性地忘记以前学习过的任务。目前的排练为基础的方法表明，他们成功地减轻了灾难性遗忘的问题，在学习一个新的过程中重放样本从以前的任务。然而，当先前任务的数据不可访问时，这些方法是不可行的。在这项工作中，我们提出了一个新的伪排练为基础的方法，命名为学习不变表示持续学习（IRCL），其中类不变的表示是从一个条件生成模型中分离出来，并与类特定的表示联合使用来学习顺序任务。解开共享不变表示有助于不断学习一系列任务，同时对遗忘更鲁棒，并具有更好的知识转移。我们专注于类增量学习，在推理过程中没有关于任务身份的知识。我们经验评估我们提出的方法对两个著名的基准持续学习：分裂MNIST和分裂时尚MNIST。实验结果表明，我们提出的方法优于基于正则化的方法，由一个大的利润，是优于最先进的伪排练为基础的方法。最后，我们分析了共享不变表示在减轻遗忘问题中的作用，特别是当每个先前任务的重放样本的数量很小时。
2021-01-15 cs.AI cs.CV cs.LG
Class-Incremental Learning with Generative Classifiers
Baylor College of Medicine（贝勒医学院）；University of Cambridge（剑桥大学）；Rice University（莱斯大学）
针对深度神经网络增量学习新类别时现有方法存在缺陷或性能不足的问题，提出基于生成式分类的策略，通过学习联合分布结合贝叶斯规则分类，在多个基准上优于无数据存储的基线方法。
2021-04-28 cs.AI cs.CV cs.LG
Class-Incremental Continual Learning into the eXtended DER-verse
The University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
人类智力的主要特征是以连续的方式获取知识的能力。与此形成鲜明对比的是，深度网络会灾难性地忘记，因此，类增量持续学习的子领域促进了增量学习一系列任务的方法，将顺序获得的知识融入到全面的预测中。这项工作的目的是评估和克服我们以前的建议黑暗经验重演（DER），一个简单而有效的方法，结合排练和知识蒸馏的陷阱。受我们的大脑不断重写过去的回忆并设定对未来的期望的方式的启发，我们赋予我们的模型以下能力：i）修改其重放记忆，以欢迎有关过去数据的新信息ii）为学习尚未看到的类铺平道路。我们表明，这些策略的应用导致显着的改善，事实上，所得到的方法-称为扩展DER（X-DER）-优于现有技术的标准基准（如CIFAR-100和miniImagenet）和一个新的介绍。为了获得更好的理解，我们进一步提供了广泛的消融研究，证实并扩展了我们以前的研究结果（例如，知识蒸馏的价值和持续学习设置中的平坦最小值）。
2022-09-19 cs.LG stat.ML
Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
提出基于神经单元动力学的类增量学习模型AutoActivator，通过自适应网络扩展与推理时神经单元激活机制，在无排练和最小扩展设置下有效防止遗忘并保持可扩展性。
2024-06-04 cs.LG
FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center, Barcelona University of Chinese Academy of Sciences（巴塞罗那大学计算机视觉中心，中国科学院）；State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造研究所）
本文提出FeCAM方法，通过利用冻结特征提取器下的原型网络和各向异性马氏距离建模特征协方差关系，解决无样本类增量学习中特征分布异质性问题，在多样本、少样本及域增量场景下取得最先进结果。
2024-01-12 cs.CV cs.LG
Federated Class-Incremental Learning: A Hybrid Approach Using Latent Exemplars and Data-Free Techniques to Address Local and Global Forgetting
Toronto Metropolitan University（多伦多都会大学）
本文针对联邦类增量学习中的局部与全局遗忘问题，提出结合潜在范例、无数据合成与Lennard-Jones势嵌入分配的Hybrid Rehearsal方法，并在多个基准上以低资源开销取得优于SOTA基线的隐私保护效果。
2025-03-13 cs.LG
Latent Spectral Regularization for Continual Learning
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Ammagamma（阿马伽玛公司）；Sapienza University of Rome（罗马第一大学（萨皮恩扎大学））
针对持续学习中的灾难性遗忘，提出基于潜在空间拉普拉斯谱的几何正则化器CaSpeR-IL，促进类别分区，可结合任意排练方法提升SOTA性能。
2024-07-16 cs.LG
TypiCore: A Hybrid Active Query Strategy for Class-Incremental Learning on Time Series
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Padua（帕多瓦大学）
研究多元时间序列的主动类增量学习，提出TypiCore混合查询策略，结合多种方法评估多种查询策略，揭示基于不确定性和分布感知方法局限性，该策略在多数据集上取得显著改进，减少标注需求。
2026-09-15 cs.AI cs.LG
A Continual Learning Approach for Cross-Domain White Blood Cell Classification
Helmholtz Munich – German Research Center for Environmental Health（亥姆霍兹慕尼黑-德国环境健康研究中心）；Technical University of Munich（慕尼黑工业大学）；Ludwig-Maximilian University Munich（路德维希-马克西米利安慕尼黑大学）；University Hospital, Ludwig-Maximilians University Munich（慕尼黑大学附属医院）；Roche Innovation Center Munich (RICM)（罗氏慕尼黑创新中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对白细胞分类模型更新时的灾难性遗忘问题，提出基于模型预测样本选择的排练式持续学习方法，在跨域类别/域增量场景下性能优于iCaRL、EWC等现有基线。
2023-08-24 cs.CV cs.LG
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning
City University of Hong Kong（香港城市大学）；Harvard University（哈佛大学）；Xi’an Jiaotong University（西安交通大学）；Tencent AI Lab（腾讯AI实验室）；Zhejiang University（浙江大学）；Pengcheng Laboratory（鹏城实验室）
本文提出SD-LoRA方法，通过解耦LoRA大小与方向的学习，在无需重放和扩展参数池的情况下实现类增量学习，并验证其具有良好的稳定性-可塑性权衡和参数效率。
2025-03-06 cs.LG
Teamwork Is Not Always Good: An Empirical Study of Classifier Drift in Class-incremental Information Extraction
Virginia Tech（弗吉尼亚理工大学）
本文针对类别增量学习中分类器漂移导致的遗忘问题，提出 ICE 框架及其三种变体，通过冻结特征提取器并独立训练各阶段分类器、利用旧类别 logits 或 Other 类常量 logit 作为约束，在 6 个信息抽取任务上取得最高 44.7% 的绝对 F-score 提升。
2023-05-26 cs.AI cs.CL cs.LG
Prior-Free Continual Learning with Unlabeled Data in the Wild
Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）山东人工智能研究院）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
提出无先验持续学习（PFCL）方法，利用辅助无标签数据和可靠样本选择策略，在无任务标识和旧数据条件下，有效缓解遗忘，达到与重放方法相当的准确率。
2023-10-16 cs.CV cs.LG
