Class-incremental Learning with Pre-allocated Fixed Classifiers
University of Florence（佛罗伦萨大学）
本文提出用预分配固定分类器替代类增量学习中的可扩展分类器，使输出节点从学习开始即参与损失计算，从而在保持与可扩展分类器相当性能的同时获得更稳定的特征几何构型。
2023-08-05 cs.AI cs.CV cs.LG
Balanced Online Class-Incremental Learning via Dual Classifiers
Inha University（釜山大学）；Imperial College London（伦敦帝国理工学院）
本文提出BISON方法，通过双分类器实现在线类增量学习中的高可塑性和稳定性，实验显示其性能优于现有方法。
2025-12-11 cs.AI cs.LG
HydraCIL: Decoupled Class-Incremental Learning through Prototype-Guided Multi-Head Classifiers
Ministry of Science and Innovation of Spain（西班牙科学与创新部）；Ministry for Digital Transformation and Civil Service（数字转型与公共服务部）；Xunta de Galicia（加利西亚自治区）
提出HydraCIL模型，通过冻结主干网络、解耦特征提取与学习，并利用原型相似性选择任务特定分类头，在资源受限环境中实现高效类增量学习，匹配或超越现有方法同时大幅降低训练时间和碳排放。
2026-06-08 cs.AI cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
在线类增量持续学习（CL）研究从在线非平稳数据流中持续学习新类的问题，旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果，但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值（NCM）分类器在CL社区中被严重低估，但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差，并避免了新类的全连接层的结构变化。此外，我们观察到相当大的和一致的性能增益时，用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器，属于同一类的数据嵌入应该被聚类，并与具有不同类标签的数据嵌入很好地分离。为此，我们贡献了监督对比重放（SCR），它明确鼓励来自同一类的样本在嵌入空间中紧密聚类，同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说，我们观察到，我们提出的SCR大大减少了灾难性遗忘，并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
iCaRL: Incremental Classifier and Representation Learning
University of Oxford（牛津大学）；IST Austria（奥地利科学技术研究所）
在通往人工智能的道路上，一个主要的开放问题是开发增量学习系统，随着时间的推移，从数据流中学习越来越多的概念。在这项工作中，我们引入了一个新的训练策略，iCaRL，允许学习在这样一个类增量的方式：只有训练数据的一小部分类必须同时存在，新的类可以逐步添加。iCaRL同时学习强分类器和数据表示。这将其与早期的作品区分开来，早期的作品从根本上局限于固定的数据表示，因此与深度学习架构不兼容。我们通过对CIFAR-100和ImageNet ILSVRC 2012数据的实验表明，iCaRL可以在很长一段时间内逐步学习许多类，而其他策略很快就会失败。
2017-04-14 cs.CV cs.LG stat.ML
Detachedly Learn a Classifier for Class-Incremental Learning
Peking University（北京大学）
在持续学习中，模型需要在一系列任务上持续学习特征提取器和分类器。本文主要研究在持续学习环境下，如何基于预训练的特征提取器学习分类器。我们提出了一个概率分析，香草经验重放（ER）的失败来自不必要的重新学习以前的任务和无能区分当前任务从以前的，这是知识退化和预测偏差的原因。为了克服这些缺点，我们提出了一种新的重放策略任务感知的经验重放。该算法重新平衡了重放损失，并将旧任务的分类器权重从更新过程中分离出来，既保持了原有知识的完整性，又减轻了对情景记忆的过拟合。实验结果表明，我们的方法优于当前国家的最先进的方法。
2023-02-23 cs.LG
Generalized Incremental Learning under Concept Drift across Evolving Data Streams
Australian Artificial Intelligence Institute (AAII), \ of Technology Sydney Sydney NSW Australia；Australian Artificial Intelligence Institute (AAII), \ of Technology Sydney
本文提出CSFA框架，通过原型校准和可靠替代缺口锐化算法，解决数据流中概念漂移带来的适应性挑战，提升开放环境下的稳定适应能力。
2026-03-23 cs.AI cs.LG
Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning
Peking University（北京大学）；University of Oxford（牛津大学）；JD Explore Academy（京东探索研究院）；Wuhan University（武汉大学）；Peng Cheng Laboratory（鹏城实验室）
Few-Shot类增量学习（FSCIL）一直是一个具有挑战性的问题，因为在新的会话中，对于每个新的类，只有少数训练样本是可访问的。微调主干或调整在先前会话中训练的分类器原型将不可避免地导致旧类的特征和分类器之间的不对准，这解释了众所周知的灾难性遗忘问题。在本文中，我们处理FSCIL中的这种错位困境的灵感来自最近发现的现象命名为神经崩溃，这表明，同一类的最后一层功能将崩溃成一个顶点，所有类的顶点与分类器原型对齐，形成一个简单的等角紧框架（ETF）。它对应于一个最佳的几何结构分类由于最大化的Fisher判别比。我们提出了一个神经崩溃的启发框架FSCIL。一组分类器原型被预先分配为整个标签空间的单纯形ETF，包括基本会话和所有增量会话。在训练过程中，分类器原型是不可学习的，我们采用了一种新的损失函数，将特征驱动到相应的原型中。理论分析表明，我们的方法保持神经崩溃的最优性，并没有打破特征分类器对齐的增量方式。在miniImageNet、CUB-200和CIFAR-100数据集上的实验表明，我们提出的框架优于最先进的性能。代码地址：https://github.com/NeuralCollapseApplications/FSCIL
2023-02-06 cs.CV cs.LG
Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework
Tencent（腾讯）；Peking University（北京大学）
持续学习要求模型在从非独立数据流中持续学习的同时保持所学习的知识。由于单遍训练设置，在线持续学习非常具有挑战性，但它更接近真实世界的场景，快速适应新数据是有吸引力的。在本文中，我们专注于在线类增量学习设置中，新的类随着时间的推移而出现。几乎所有现有的方法都是使用softmax分类器的基于重放的。然而，softmax分类器中固有的logits偏差问题是灾难性遗忘的主要原因，而现有的解决方案不适用于在线设置。为了绕过这个问题，我们放弃了softmax分类器，并提出了一种新的基于特征空间的生成框架。在我们的框架中，一个生成分类器，利用重放记忆用于推理，和训练目标是一个基于对的度量学习损失，理论上证明，以生成的方式优化特征空间。为了提高学习新数据的能力，我们进一步提出了一种混合生成和判别损失的训练模型。在包括新引入的无任务数据集在内的多个基准测试上进行的大量实验表明，我们的方法击败了一系列最先进的基于重放的方法，并以显著的幅度减少了灾难性遗忘。
2022-05-19 cs.AI cs.LG
Early Preparation Pays Off: New Classifier Pre-tuning for Class Incremental Semantic Segmentation
Nankai University（南开大学）；NKIARI
本文提出NeST新分类器预调优方法，通过学习旧分类器到新分类器的变换来初始化新分类器，防止特征提取器剧烈变化，并在Pascal VOC 2012和ADE20K上显著提升类增量语义分割性能。
2024-07-19 cs.CV cs.LG
Tighter Bound Estimation of Sensitivity Analysis for Incremental and Decremental Data Modification
University of Oxford（牛津大学）；Tsinghua University（清华大学）
在大规模的分类问题中，数据集经常面临着数据的频繁更新。在这种情况下，传统的增量学习，通过显式地建模数据修改来更新现有的分类器，比从头开始重新训练新的分类器更有效。然而，有时候，我们更感兴趣的是确定是否应该更新分类器或执行一些敏感性分析任务。为了处理这些这样的任务，我们提出了一个算法，使合理的推理更新的线性分类器，而不完全更新的分类器。具体地说，所提出的算法可以用来估计更新的分类器的系数矩阵的上限和下限与更新的数据集的大小相关的低计算复杂性。理论分析和实验结果均表明，该方法在系数界的严密性和计算复杂性方面均优于现有方法。
2021-01-13 cs.LG stat.ML
Personalizing human activity recognition models using incremental learning
University of Oulu（奥卢大学）
在这项研究中，目的是个性化的惯性传感器数据为基础的人类活动识别模型，使用增量学习。首先，识别是基于用户无关的模型。然而，当个人流数据变得可用时，基于增量学习的识别模型可以在没有用户中断的情况下基于数据被更新，并且因此被个性化。所使用的增量式学习算法是Learn++，其是可以使用任何分类器作为基本分类器的集成方法。实际上，研究比较了三种不同的基本分类器：线性判别分析（LDA），二次判别分析（QDA）和分类回归树（CART）。实验是基于公开开放的数据集，他们表明，已经一个小的个人训练数据集可以提高分类精度。使用LDA作为基本分类器的改进是4.6个百分比单位，使用QDA为2.0个百分比单位，使用CART为2.3个百分比单位。然而，如果在识别过程的第一阶段中使用的与用户无关的模型不够准确，则个性化无法提高识别精度。
2019-05-29 cs.LG
Exemplar-free Class Incremental Learning via Discriminative and Comparable One-class Classifiers
Beijing Jiaotong University（北京交通大学）
针对无样本类增量学习中并行单类分类器判别性与可比性弱的问题，提出DisCOIL框架，利用变分自编码器生成伪样本并进行对比训练与合页重建损失，在多个数据集上实现了最先进的性能。
2022-01-05 cs.CV cs.LG
Revisiting Distillation and Incremental Classifier Learning
National University of Sciences and Technology（国家科技大学）；School of Electrical Engineering and Computer Science（电子工程与计算机科学学院）；National Center of Artificial Intelligence（国家人工智能中心）
人类和人工神经网络（ANN）的学习机制之间的关键区别之一是人类一次学习一项任务的能力。另一方面，ANN只能同时学习多个任务。任何学习新任务的尝试都会导致他们完全忘记以前的任务。这种缺乏增量学习能力的现象被称为灾难性遗忘，被认为是构建真正的人工智能系统的主要障碍。在本文中，我们的目标是将真正有效的增量学习思想与那些只在特定条件下有效的思想分离开来。为此，我们首先深入分析了当前最先进的增量学习方法（iCaRL），并证明了系统的良好性能并不是因为现有文献中提出的原因。我们的结论是，iCaRL的成功主要是由于知识蒸馏和认识到一个关键的限制知识蒸馏，即，它往往会导致偏见的分类。最后，我们提出了一个动态阈值移动算法，能够成功地消除这种偏见。我们证明了我们的算法在CIFAR100和MNIST数据集上的有效性，显示出接近最佳的结果。我们的实现可以在https://github.com/Khurramjaved96/incremental-learning上获得。
2019-03-25 cs.CV cs.LG stat.ML
GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning
Bar-Ilan University（巴伊兰大学）；Nvidia（英伟达）
高斯过程（GP）是一种非参数的、灵活的模型，在许多任务中都能很好地工作。通过深度内核学习（DKL）将GP与深度学习方法相结合尤其引人注目，因为网络具有强大的代表性。然而，在GP中的推断，无论是否具有DKL，在大型数据集上都可能具有计算挑战性。在这里，我们提出了GP树，一种新的方法，多类分类高斯过程和DKL。我们开发了一个基于树的层次模型，其中树的每个内部节点适合一个GP的数据使用Pólya伽马增强计划。因此，我们的方法可以很好地扩展类的数量和数据大小。我们证明了我们的方法对其他高斯过程训练基线的有效性，我们展示了我们的通用GP方法如何在标准增量少样本学习基准测试中实现更高的准确性。
2021-07-13 cs.LG
Incremental Classifier Learning Based on PEDCC-Loss and Cosine Distance
School of Communication & Information Engineering, Shanghai University（上海大学通信与信息工程学院）
增量学习的主要目的是在学习新知识的同时不忘记以前学过的知识。目前，该领域的主要挑战是灾难性遗忘，即网络在为新任务训练后会失去在旧任务中的性能。本文提出了一种增量分类器集成方法来缓解这一问题，该方法基于输出特征与预定义中心之间的余弦距离，可以让每个任务保存在不同的网络中。在训练过程中，我们使用PEDCC-损失训练的CNN网络。在测试阶段，预测是由网络的潜在特征与预定义的中心之间的余弦距离。在EMINST和CIFAR100上的实验结果表明，该方法的性能优于目前使用知识蒸馏的LwF方法和保留部分旧样本同时训练新任务的iCaRL方法。本发明能够达到训练新类时不遗忘旧知识的目的，较好地解决了灾难性遗忘问题。
2019-06-11 cs.LG stat.ML
Visual Branch is What You Need for CLIP-based Class-Incremental Learning
Nanjing University（南京大学）；Hong Kong Polytechnic University（香港理工大学）
针对CLIP类增量学习中文本分支因模态差距而性能不佳的问题，提出纯视觉方法VIS，利用视觉特征构建增量分类器，实现高效更新并达到最优性能。
2026-10-01 cs.CV cs.LG
Adaptive Intrusion Detection for Evolving RPL IoT Attacks Using Incremental Learning
Istanbul Technical University, Faculty of Computer（伊斯坦布尔技术大学计算机学院）；Memorial University（纪念大学）
本文研究了RPL网络中针对新兴攻击的增量学习方法，通过评估五种模型家族，证明增量学习能恢复新攻击检测性能并减少训练时间，提升物联网网络的鲁棒性。
2025-11-14 cs.CR cs.LG
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
持续学习通常假设传入的数据是完全标记的，这在实际应用中可能不适用。在这项工作中，我们考虑半监督持续学习（SSCL），增量学习部分标记的数据。观察到现有的持续学习方法缺乏持续利用未标记数据的能力，我们提出了具有判别器一致性的深度在线重放（ORDisCo），以利用条件生成对抗网络（GAN）相互依赖地学习分类器，该网络不断将学习的数据分布传递给分类器。特别是，ORDisCo重放采样的数据从条件发生器的分类器在一个在线的方式，利用未标记的数据在时间和存储效率的方式。此外，为了明确地克服未标记数据的灾难性遗忘，我们选择性地稳定对于区分由分类器预测的旧的未标记数据和它们的伪标签对很重要的参数。我们在SSCL的各种半监督学习基准数据集上广泛评估了ORDisCo，并表明与强基线相比，ORDisCo在SVHN，CIFAR 10和Tiny-ImageNet上实现了显着的性能改进。
2021-04-09 cs.AI cs.LG stat.ML
Semantic Shift Estimation via Dual-Projection and Classifier Reconstruction for Exemplar-Free Class-Incremental Learning
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对无样本类别增量学习中的语义偏移与决策偏差问题，提出结合可学习变换与行空间投影的双投影偏移估计及岭回归分类器重构的DPCR方法，有效平衡新旧任务，性能超越现有最优方法。
2025-05-18 cs.AI cs.CV cs.LG
Evolving Ensemble Fuzzy Classifier
University of Alberta（阿尔伯塔大学）；King Abdul-Aziz University（阿卜杜勒阿齐兹国王大学）；Systems Research Institute, Polish Academy of Science（波兰科学院系统研究所）；Johannes Kepler University（约翰内斯开普勒大学）；Nanyang Technological University（南洋理工大学）
集成学习的概念为复杂环境下的数据流学习提供了一条很有前途的途径，因为它比单一模型更好地解决了偏差和方差的困境，并且具有可重构的结构，非常适合于给定的上下文。虽然可以在文献中找到用于挖掘非平稳数据流的集成学习的各种扩展，但它们中的大多数都是在静态基础分类器下制作的，并在滑动窗口中重新访问先前的样本以进行再训练步骤。此功能导致计算上的禁止复杂性，并且不足以灵活地应对快速变化的环境。它们的复杂性通常是苛刻的，因为它涉及大量的离线分类器，由于缺乏结构复杂性降低机制和缺乏在线特征选择机制。提出了一种新的进化集成分类器--简约集成分类器。pENclassifier与现有体系结构的不同之处在于，它是建立在来自数据流的进化分类器之上的，称为Parsimonious Classifier pClass。pENCLINICAL配备了集成修剪机制，该机制估计基本分类器的局部化泛化误差。一个动态的在线特征选择方案被集成到pENSIDE中。此方法允许动态选择和取消选择输入要素。pENDIOR采用动态系综结构来输出最终分类决策，其中其特征在于新颖的漂移检测方案来增长系综结构。的pENESTRUCTURE的功效已通过严格的数值研究与动态和不断变化的数据流，它提供了最令人鼓舞的性能，在实现准确性和复杂性之间的权衡数字证明。
2019-12-07 cs.AI cs.LG
Class incremental learning with probability dampening and cascaded gated classifier
Sapienza University of Rome（罗马智慧大学）；Information Engineering, Electronics and Telecommunications (DIET)（信息工程、电子与电信学院）
本文提出边际阻尼正则化与级联缩放门控分类器，通过软约束和知识蒸馏保留旧知识，以辅助缩放函数调整旧预测，在多个基准上优于基线方法。
2024-05-23 cs.CV cs.LG
Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对领域增量学习中预训练知识被覆盖的问题，提出双重巩固方法Duct，通过合并骨干网络和分类器权重，在表示和分类器层面统一历史知识，在四个基准数据集上实现了最先进的性能。
2025-03-04 cs.CV cs.LG
Class-Incremental Learning with Generative Classifiers
Baylor College of Medicine（贝勒医学院）；University of Cambridge（剑桥大学）；Rice University（莱斯大学）
针对深度神经网络增量学习新类别时现有方法存在缺陷或性能不足的问题，提出基于生成式分类的策略，通过学习联合分布结合贝叶斯规则分类，在多个基准上优于无数据存储的基线方法。
2021-04-28 cs.AI cs.CV cs.LG
Domain-incremental audio classification using domain-specific experts and prototype classifier
针对DCASE 2026挑战赛任务7，提出将域增量学习视为冻结特征重放问题，训练多个紧凑专家模型并冻结，最终用原型分类器聚合特征，通过生成式重放和跨阶段回归插补避免灾难性遗忘，在开发集上达到78.15%微观/77.03%宏观准确率。
2026-06-23 cs.LG eess.AS
Unsupervised Fuzzy eIX: Evolving Internal-eXternal Fuzzy Clustering
Federal University of Lavras (UFLA)（拉夫拉斯联邦大学（UFLA））
时变分类器，即进化分类器，在信息作为永无止境的在线数据流提供的场景中发挥着重要作用。提出了一种新的数值型数据无监督学习方法--进化内外模糊聚类方法（Fuzzy eIX）。我们发展了双边界模糊粒的概念，并阐述了它的含义。第1型和第2型模糊推理系统可以由Fuzzy eIX粒的投影得到。我们在模糊eIX分类器中执行平衡信息粒度的原则，以实现更高级别的模型可理解性。内部和外部颗粒更新的数值数据流的同时，全球的颗粒结构的分类器是自主发展的。一个称为双高斯旋转的合成非平稳问题显示了分类器的行为。在离线训练的分类器的准确性明显下降的情况下，模糊eIX分类器可以保持其准确性。
2020-03-25 cs.AI cs.LG stat.ML
We Need a More Robust Classifier: Dual Causal Learning Empowers Domain-Incremental Time Series Classification
School of Software, Northeastern University（东北大学软件学院）；Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（西安交通大学人工智能与机器人研究所）；College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；School of Software, University of Science and Technology of China（中国科学技术大学软件学院）
本文提出双因果学习框架DualCD，通过解耦因果特征与虚假特征，提升领域增量时间序列分类的鲁棒性。
2026-01-15 cs.LG
Towards Robust Graph Incremental Learning on Evolving Graphs
University of Hong Kong（香港大学）；University of Wu Han（武汉大学）
本文针对演化图中归纳式节点级图增量学习问题，提出结构偏移风险缓解方法SSRM，通过正则化减轻结构偏移导致的灾难性遗忘，并在多个基准数据集上验证其能灵活提升现有GNN增量学习框架的性能。
2024-02-20 cs.LG
Automatic Construction of Pattern Classifiers Capable of Continuous Incremental Learning and Unlearning Tasks Based on Compact-Sized Probabilistic Neural Network
Department of Computer Engineering, College of Science & Technology（计算机工程系，科学与技术学院）
本文提出一种基于紧凑型概率神经网络的模式分类方法，通过简单的一次性网络生长算法自动确定结构和参数，实现连续增量学习与遗忘任务，实验表明其在分类性能和连续学习任务中表现优异。
2026-03-21 cs.CV cs.LG
Provenance Guided Incremental Learning Under Evolving Concept Definitions
Mohammed Premier University（穆罕默德一世大学）
针对规则诱导的概念漂移，提出溯源引导增量学习框架，结合RuleShift-Bench基准验证，该方法仅重新处理少量历史数据即可实现高精度的概念修订修复，大幅降低更新延迟。
2026-08-26 cs.AI cs.LG
Adaptive Online Incremental Learning for Evolving Data Streams
China University of Petroleum（中国石油大学）
近年来，人们对在线增量学习的兴趣越来越大。然而，这一领域存在三大挑战。第一个主要的困难是概念漂移，即流数据中的概率分布会随着数据的到达而改变。第二大困难是灾难性遗忘，即在学习新知识时忘记了以前学过的东西。最后一个我们经常忽略的是潜在表征的学习。只有良好的潜在表示才能提高模型的预测精度。我们的研究建立在这一观察的基础上，并试图克服这些困难。为此，我们提出了一个自适应在线增量学习不断变化的数据流（AOIL）。采用带记忆模块的自动编码器，一方面获取输入的潜在特征，另一方面根据带记忆模块的自动编码器的重构损失，成功检测到概念漂移的存在，并触发更新机制，及时调整模型参数。此外，我们将隐藏层激活后的特征分为两部分，分别用于提取公共特征和私有特征。通过这种方法，模型可以学习新实例的私有特征，但不会忘记我们过去学习过的（共享特征），这减少了灾难性遗忘的发生。同时，为了得到融合特征向量，我们采用自注意机制对提取的特征进行有效融合，进一步完善了潜在表示学习。
2022-01-05 cs.LG
Comparison of Evolving Granular Classifiers applied to Anomaly Detection for Predictive Maintenance in Computing Centers
University of Bologna（博洛尼亚大学）；INFN（意大利国家核物理研究所）；Federal University of Lavras（拉夫拉斯联邦大学）；INFN-CNAF（意大利国家核物理研究所国家核物理计算中心）
计算中心基于日志的预测性维护是支持CERN（欧洲核研究组织）物理实验的全球计算网格的主要关注点。日志作为面向事件的临时信息，通常以非结构化大数据的形式给出。测井数据处理是一项耗时的计算任务。目标是从不断变化的网格环境中获取必要的信息，以构建分类模型。不断发展的粒度分类器适合于从随时间变化的日志流中学习，因此可以对异常的严重程度进行在线分类。我们制定了一个4类在线异常分类问题，并采用时间窗口之间的地标和两种粒度计算方法，即基于模糊集的进化建模（FBeM）和进化粒度神经网络（eGNN），建模和监测测井活动率。分类结果对于预测性维护至关重要，因为可以优先考虑特定的时间间隔，其中分类器指示存在高或中等严重性异常。
2020-04-08 cs.LG cs.NE stat.ML
Autonomous Deep Learning: Incremental Learning of Denoising Autoencoder for Evolving Data Streams
Institute of Infocomm Research, A*Star（新加坡科技研究局资讯通信研究院）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
自动编码器（AE）及其后继的去噪自动编码器（DAE）的生成学习阶段增强了数据流方法在利用未标记样本方面的灵活性。尽管如此，DAE用于数据流分析的可行性值得深入研究，因为它的特点是固定的网络容量，无法适应快速变化的环境。提出了一种自动构造去噪自编码器的方法，即深度进化去噪自编码器（DEVDAN）。DEVDAN在生成阶段和判别阶段都具有开放式结构，输入特征可以在运行中自动添加和丢弃。本文从偏差-方差概念出发，提出了一种网络显著性（NS）方法。该方法能够估计网络结构及其隐藏单元的统计贡献，从而预测理想状态以添加或修剪输入特征。此外，DEVDAN是免费的问题特定的阈值，并完全在单遍学习的方式。DEVDAN的有效性进行了数值验证，使用9个非平稳数据流的问题下模拟的先决条件测试，然后训练协议，其中DEVDAN是能够提供一个改进的分类精度，最近发表的在线学习作品，同时具有灵活性，在自动提取的强大的输入功能，并在适应快速变化的环境。
2018-09-24 cs.AI cs.LG stat.ML
One After Another: Learning Incremental Skills for a Changing World
New York University（纽约大学）
在任务监督稀缺或昂贵的环境中，无奖励、无监督的技能发现是一种有吸引力的替代方案，可以解决手工设计奖励的瓶颈。然而，目前的技能预训练方法，像许多强化学习技术一样，在训练过程中做了一个基本的假设-静态环境。传统的方法是同时学习所有的技能，这使得他们很难快速适应环境的变化，并且在这种适应之后不会忘记以前的技能。另一方面，在一个不断发展或扩大的环境中，技能学习必须能够快速适应新的环境情况，同时不忘记以前学到的技能。这两个条件使得经典技能发现很难在不断变化的环境中做得很好。在这项工作中，我们提出了一个新的框架，技能发现，技能是一个接一个地学习，在一个渐进的方式。该框架允许新学习的技能适应新的环境或代理动态，而固定的旧技能确保代理不会忘记学习的技能。我们通过实验证明，在不断发展和静态的环境中，增量技能在技能质量和解决下游任务的能力方面都显着优于当前最先进的技能发现方法。学习技能和代码的视频在https://notmahi.github.io/disk上公开
2022-03-21 cs.AI cs.LG cs.RO
iKAN: Global Incremental Learning with KAN for Human Activity Recognition Across Heterogeneous Datasets
German Research Center for Artificial Intelligence（德国人工智能研究中心）；ETH Zurich（苏黎世联邦理工学院）
提出用于可穿戴传感器人类活动识别的增量学习框架 iKAN，利用 Kolmogorov-Arnold Networks 替代多层感知机并扩展特征分支以同时解决灾难性遗忘和非均匀输入问题，在六个公共数据集上显著优于 EWC 和经验回放方法。
2024-06-03 cs.AI cs.LG eess.SP
Evolving Dictionary Representation for Few-shot Class-incremental Learning
Carleton University（卡尔顿大学）
针对少样本类别增量学习易遗忘旧类、新类标注少的问题，提出结合深度字典学习的方法，基础阶段同训字典与骨干网并加入伪类别预留空间，增量阶段仅微调字典，在多个数据集上效果优于现有SOTA方法。
2023-05-03 cs.CV cs.LG
Evolving Multi-Label Fuzzy Classifier
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
多标签分类在机器学习社区中引起了广泛关注，以解决同时将单个样本分配给多个类的问题。我们提出了一个不断发展的多标签模糊分类器（EFC-ML），它能够自适应和自进化的结构与新的传入的多标签样本在一个增量，单通的方式。它基于多输出Takagi-Sugeno类型架构，其中为每个类定义了单独的结果超平面。学习过程中嵌入了一个局部加权增量相关算法结合（传统）递归模糊加权最小二乘法和基于Lasso的正则化。基于相关性的部分确保了类标签之间的相互关系，这是多标签分类中用于提高性能的一个特定的众所周知的属性，被正确地保留;基于Lasso的正则化在输入数量较多的情况下减少了维数效应的灾难。先行学习是通过产品空间聚类实现的，并对所有类标签一起进行，这产生了一个单一的规则库，允许一个紧凑的知识视图。此外，我们的方法带有在线主动学习（AL）策略，用于仅在一些选定的样本上更新分类器，这反过来又使该方法适用于应用程序中几乎没有标记的流，其中注释工作通常是昂贵的。我们的方法进行了评估，从MULAN存储库的几个数据集，并显示出显着提高分类精度相比（不断发展）一对休息或分类器链接的概念。一个重要的结果是，由于在线AL方法，在大多数数据集的情况下，与完全更新相比，用于分类器更新的样本数量减少90%对累积精度趋势线的影响很小。
2022-03-29 cs.AI cs.LG
Robust Time Series Chain Discovery with Incremental Nearest Neighbors
George Mason University（乔治梅森大学）；Google（谷歌）；University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校）
时间序列模体发现是识别时间序列中有意义重复模式的基础性工作。最近，时间序列链被引入作为时间序列模体的扩展，以识别时间序列数据中的连续演化模式。非正式地，时间序列链（TSC）是时间序列连续性的时间有序集合，其中每个子序列都与它之前的子序列相似，但最后一个和第一个可以是任意不相似的。TSC能够揭示时间序列中潜在的连续演化趋势，并识别复杂系统中异常事件的前兆。尽管其有前途的可解释性，不幸的是，我们已经观察到，现有的TSC定义缺乏准确覆盖时间序列的演变部分的能力：发现的链可以很容易地被噪声切断，并可以包括非演变模式，使它们在现实世界中的应用不切实际。最近的工作，跟踪时间序列子序列的最近邻如何随时间变化的启发，我们引入了一个新的TSC定义，这是更强大的数据中的噪声，在这个意义上，他们可以更好地定位不断发展的模式，同时排除非发展的。我们进一步提出了两个新的质量指标来排名发现的链。通过广泛的经验评估，我们证明了所提出的TSC定义比现有技术对噪声的鲁棒性要高得多，并且发现的排名靠前的链可以在各种现实世界的数据集中揭示有意义的信息。
2022-11-03 cs.AI cs.IR cs.LG
Evolving Metric Learning for Incremental and Decremental Features
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
在线度量学习由于计算成本低而被广泛用于大规模数据分类。然而，在功能正在发展的在线实际场景中（例如，一些特征消失，一些新的特征增加），大多数度量学习模型不能成功地应用于这些场景，尽管它们可以有效地处理不断变化的实例。为了应对这一挑战，我们开发了一个新的在线渐进度量学习（EML）模型的增量和减量功能，它可以处理的实例和功能的演变，同时结合平滑Wasserstein度量距离。具体来说，我们的模型包含两个基本阶段：转化阶段（T阶段）和继承阶段（I阶段）。对于T阶段，我们提出了从消失的特征中提取重要信息，而忽略非信息性知识，并将其转化为幸存的特征，将其转化为低秩判别度量空间。它进一步探索了异构样本的内在低秩结构，以减少计算和内存负担，特别是对于高维大规模数据。对于I-阶段，我们继承了T-阶段的幸存功能的度量性能，然后扩展到包括新的增强功能。此外，平滑Wasserstein距离被用来表征异构和复杂的样本之间的相似性关系，因为演变的功能并不严格对齐在不同的阶段。除了解决单镜头情况下的挑战，我们还将我们的模型扩展到多镜头场景。在推导出T阶段和I阶段的有效优化策略后，在多个数据集上的大量实验验证了我们的EML模型的优越性能。
2021-06-30 cs.LG stat.ML
Moving Towards Open Set Incremental Learning: Readily Discovering New Authors
University of Colorado, Colorado Springs CO 80918, USA , University of Colorado, Colorado Springs CO 80918, USA
文本数据的分类通常会产生重要的信息。大多数分类器在封闭世界环境中工作，其中分类器在已知语料库上进行训练，然后在属于训练期间看到的类别之一的未见过的示例上进行测试。尽管这种设计很有用，但通常需要对不属于分类器训练的任何类别的未见过的示例进行分类。本文介绍了开放集的情况下，看不见的例子，从以前看不见的类进行处理，而测试。这进一步检查了利用深度神经网络的增强开集分类的过程，该深度神经网络通过对被识别为属于未知类的示例进行聚类来发现新类，随后是利用新识别的类重新训练分类器的过程。通过这一过程，模型将转移到增量学习模型，在该模型中，它将不断发现并从已自动识别的新数据类别中学习。本文还提出了一种新的度量方法，用于度量聚类开集数据的多个属性。在两个作者归因数据集上的多个实验表明，创建一个增量模型，可以产生出色的结果。
2019-10-28 cs.CL cs.LG stat.ML
Incremental Causal Graph Learning for Online Cyberattack Detection in Cyber-Physical Infrastructures
School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）；Institute for Information Sciences, University of Kansas（信息科学研究所，堪萨斯大学）
本文提出INCADET框架，通过增量因果图学习实现实时网络攻击检测，利用早期症状检测、经验回放与边强化以及图卷积网络分类，在动态攻击场景中提升准确性、鲁棒性和适应性。
2025-07-18 cs.AI cs.LG
GOOWE: Geometrically Optimum and Online-Weighted Ensemble Classifier for Evolving Data Streams
Bilkent University（比尔肯特大学）
由于数据的大小及其动态变化的性质，为不断变化的数据流设计自适应分类器是一项具有挑战性的任务。在在线设置中组合各个分类器，即集成方法，是一种众所周知的解决方案。有可能的是，在合奏分类器的子集优于其他在随时间变化的方式。然而，组件分类器的最佳权重分配是一个问题，尚未完全解决在线不断发展的环境。我们提出了一种新的数据流集成分类器，称为几何最优和在线加权Ensemble（GOOWE），它使用包含最近的数据实例的滑动窗口分配最佳权重的组件分类器。我们将单个分类器的投票分数和真实的类标签映射到空间环境中。基于投票分数与理想点之间的欧氏距离，并使用线性最小二乘（LSQ）解决方案，我们提出了一种新的，动态的，在线加权方法。虽然LSQ用于批处理模式集成分类器，但这是我们第一次通过提供在线集成的空间建模来适应并将其用于在线环境。为了显示所提出的算法的鲁棒性，我们使用真实世界的数据集和合成数据生成器使用MOA库。首先，我们通过两种情况分析我们的加权系统对预测精度的影响。其次，我们比较GOOWE与8个国家的最先进的集成分类器在一个全面的实验环境。我们的实验表明，GOOWE提供了改进的反应不同类型的概念漂移相比，我们的基线。统计测试表明，在保守的时间和内存要求的准确性显着提高。
2017-09-08 cs.LG
SamBaTen: Sampling-based Batch Incremental Tensor Decomposition
University of California Riverside（加州大学河滨分校）
本文提出SaMbaTen，一种基于采样的批量增量张量分解算法，通过在缩减的摘要空间中执行计算，实现了对动态演化多模态数据集的增量维护，在保持与最先进技术相当准确度的同时速度快25-30倍，并能扩展至100K x 100K x 100K维的大规模张量。
2017-09-18 cs.AI cs.LG stat.ML
Quick sensitivity analysis for incremental data modification and its application to leave-one-out CV in linear classification problems
Nagoya Institute of Technology（名古屋工业大学）
我们介绍了一种新的敏感性分析框架，大规模的分类问题，可以使用时，少量的实例增量添加或删除。为了在这种情况下快速更新分类器，增量学习算法在文献中得到了深入研究。虽然它们比从头开始解决优化问题要有效得多，但它们的计算复杂度仍然取决于整个训练集的大小。这意味着，如果原始训练集很大，完全解决增量学习问题可能仍然相当昂贵。为了规避这个计算问题，我们提出了一个新的框架，使我们能够对更新的分类器进行推断，而无需实际重新优化它。具体来说，所提出的框架可以快速提供一个未知的更新分类器上的数量的下限和上限。所提出的框架的主要优点是，计算这些边界的计算成本只取决于更新的实例的数量。这个属性在典型的敏感性分析任务中是非常有利的，在这个任务中只有少量的实例被更新。在本文中，我们证明了所提出的框架是适用于各种实际的敏感性分析任务，框架提供的界限往往是足够紧，使所需的推论。
2015-04-11 cs.LG stat.ML
Crafting Your Evolving Dreams: Concept-Incremental Versatile Customization
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed大学人工智能学院）；University of Trento（特伦托大学）；Department of Civil and Environmental Engineering, The Hong Kong Polytechnic University（香港理工大学土木与环境工程系）；South China University of Technology（华南理工大学）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Institute of Big Data, Fudan University（复旦大学大数据研究院）；Shanghai Jiao Tong University（上海交通大学）
提出持续可定制扩散模型（CCDM），通过属性解耦LoRA模块和相关性引导聚合策略解决灾难性遗忘，并结合可控区域上下文合成策略处理概念忽视，实现概念增量式多功能定制。
2026-06-03 cs.CV cs.LG
FastICARL: Fast Incremental Classifier and Representation Learning with Efficient Budget Allocation in Audio Sensing Applications
University of Cambridge（剑桥大学）；University of Southampton（南安普顿大学）
已经提出了各种增量学习（IL）方法来帮助深度学习模型连续地学习新的任务/类，而不会忘记先前学习的内容（即，避免灾难性遗忘）。随着部署的音频感测应用的数量不断增加，这些应用需要动态地整合新任务并改变来自用户的输入分布，设备上的IL能力对于效率和用户隐私变得至关重要。然而，现有的工作遭受高的计算成本和存储需求，这阻碍了IL在设备上的部署。在这项工作中，为了克服这些限制，我们开发了一个端到端和设备上的IL框架，FastICARL，它结合了基于示例的IL和量化的背景下，基于音频的应用程序。我们首先使用k-最近邻来减少IL的延迟。然后，我们共同利用量化技术，以减少IL的存储需求。我们在两种类型的移动设备上实现了FastICARL，并证明FastICARL在不牺牲其性能的情况下显著降低了IL时间高达78-92%和2-4倍的存储需求。FastICARL支持完整的设备上IL，确保用户隐私，因为用户数据不需要离开设备。
2021-06-24 cs.LG cs.SD eess.AS
Continual Knowledge Consolidation LORA for Domain Incremental Learning
STEM, University of South Australia（南澳大利亚大学STEM学院）；School of Artificial Intelligence and Computer Science, Nantong University（南通大学人工智能与计算机科学学院）
针对领域增量学习中特定任务LoRA存在的问题，本文提出CONEC-LoRA，通过整合任务共享与特定任务的LoRA提取知识，集成随机分类器概念，部署辅助网络优化预测，在多个基准问题上比现有技术有显著优势。
2026-07-28 cs.AI cs.LG
Co-Transport for Class-Incremental Learning
Nanjing University（南京大学）
传统的学习系统是在封闭世界中训练固定数量的类，并且需要预先收集数据集。然而，新的类经常出现在现实世界的应用程序中，应该逐步学习。例如，在电子商务中，每天都有新的产品出现，在社交媒体社区中，新的主题经常出现。在这种情况下，增量模型应该一次学习几个新类，而不会忘记。我们发现，在增量学习中，新老类之间存在很强的相关性，可以应用于相互关联和促进不同的学习阶段。因此，我们提出了类增量学习（COIL）的CO-运输，它学习跨增量任务与类明智的语义关系。具体来说，协同传输有两个方面：预期传输试图用最佳传输知识来增强旧的分类器，作为快速模型自适应。回溯传输的目的是将新的类分类器作为旧的类分类器向后传输，以克服遗忘。通过这些传输，COIL有效地适应新的任务，并稳定地抵抗遗忘。在基准数据集和真实多媒体数据集上的实验验证了该方法的有效性。
2021-07-27 cs.CV cs.LG
Privacy Drift: Evolving Privacy Concerns in Incremental Learning
Old Dominion University（奥多明尼昂大学）；Deloitte & Touche LLP（德勤有限公司）
本文提出“隐私漂移”概念，研究联邦学习中增量训练时模型私人信息泄露的变化，通过实验揭示模型性能提升可能增加隐私风险，为隐私感知机器学习研究奠定基础。
2024-12-06 cs.CR cs.LG
Essentials for Class Incremental Learning
University of Freiburg（弗赖堡大学）
当代神经网络从不断变化的训练数据流中学习的能力有限。当在新的或不断发展的任务上连续训练时，它们的准确性急剧下降，使它们不适合许多现实世界的应用。在这项工作中，我们揭示了这种众所周知但尚未解决的现象的原因-通常被称为灾难性遗忘-在类增量设置。我们表明，简单的组件和损失的组合，平衡任务内和任务间的学习已经可以解决遗忘到相同的程度，在文献中提出的更复杂的措施。此外，我们确定质量差的学习表示的另一个原因灾难性遗忘类IL。我们表明，性能与模型学习到的二级信息（暗知识）相关，并且可以通过适当的正则化器来改善。有了这些经验教训，CIFAR-100和ImageNet上的类增量学习结果在保持方法简单的同时，大大提高了最先进的水平。
2021-02-18 cs.CV cs.LG
Selecting Near-Optimal Learners via Incremental Data Allocation
Allen Institute for AI（艾伦人工智能研究所）；IBM Watson Research Center（IBM沃森研究中心）
我们研究了一种新的机器学习（ML）的问题设置顺序分配小子集的训练数据之间的一个大的分类器。我们的目标是选择一个分类器，当对所有数据进行训练时，该分类器将提供接近最佳的准确性，同时最大限度地减少错误分配样本的成本。这是由大型现代数据集和ML工具包以及学习算法和超参数的许多组合所推动的。受“不确定性下的乐观”原则的启发，我们提出了一种创新策略，使用上限的数据分配（DAUB），它在各种真实世界的数据集上稳健地实现了这些目标。我们进一步发展了大量的理论支持DAUB在理想化的设置，在$n$样本上训练的分类器的预期精度可以确切地知道。在这些条件下，我们建立了一个严格的次线性约束的遗憾的方法（在误分配的数据），以及严格的约束所选择的分类器的次优。我们使用真实世界数据集进行的准确性估计只会轻微违反理论场景，这表明DAUB的实际行为可能接近理想化行为。
2015-12-31 cs.LG stat.ML
IPEC: Test-Time Incremental Prototype Enhancement Classifier for Few-Shot Learning
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（智能机器人与先进制造学院，复旦大学）；School of Microelectronics, Fudan University（微电子学院，复旦大学）；Key Laboratory of Advanced Control and Optimization for Chemical Processes of Ministry of Education, East China University of Science and Technology（教育部先进化工过程控制与优化重点实验室，东华大学）
IPEC是一种用于少样本学习的测试时增量原型增强分类器，通过动态辅助集和双过滤机制优化原型估计，提升模型在少样本场景下的性能。
2026-01-16 cs.CV cs.LG
DIRA-SS:Dynamic Domain Incremental Regularised Adaptation -- Self-Supervised
University of Bristol（布里斯托大学）
研究自治系统中深度神经网络分类器遇分布变化性能下降问题，提出DIRA-SS，通过辅助重训练分支、旋转预测任务及弹性权重巩固实现自监督在线域自适应，提升模型性能。
2026-07-08 cs.LG
One-Pass Learning with Incremental and Decremental Features
National University of Defense Technology（国防科技大学）；Nanjing University（南京大学）
在许多实际任务中，特征是不断演化的，一些特征消失，另一些特征增强。例如，在环境监测中，一些传感器过期，而一些新的部署;在移动游戏推荐中，一些游戏下降，而一些新的添加。具有这种递增和递减特征的学习是至关重要的，但很少被研究，特别是当数据像流一样到来时，因此保留整个数据进行优化是不可行的。在本文中，我们研究这个具有挑战性的问题，并提出了OPID方法。我们的方法试图将消失的特征的重要信息压缩到幸存的特征的函数中，然后扩展到包括增强的特征。它是一种一次性学习方法，只需要扫描每个实例一次，不需要存储整个数据，从而满足不断发展的流数据性质。我们的方法的有效性进行了理论和实证验证。
2016-05-30 cs.LG
