Class-Incremental Learning of Plant and Disease Detection: Growing Branches with Knowledge Distillation
Laval University（拉瓦尔大学）
针对农业应用中的类增量目标检测问题，本文比较了三种基于知识蒸馏的方法，发现采用动态生长分支架构的 Dynamic Y-KD 在缓解灾难性遗忘方面表现最佳。
2023-09-11 cs.CV
Multi-Teacher Knowledge Distillation for Incremental Implicitly-Refined Classification
Peking University（北京大学）
增量学习方法可以通过在顺序学习过程中从最后一个模型（作为教师模型）到当前模型（作为学生模型）提取知识来不断学习新的类。然而，这些方法不能用于增量隐式细化分类（IIRC），这是一种增量学习扩展，其中传入的类可以有两个粒度级别，一个超类标签和一个子类标签。这是因为先前学习的超类知识可能被顺序学习的子类知识占据。为了解决这个问题，我们提出了一种新的多教师知识蒸馏（MTKD）策略。为了保留子类知识，我们使用最后一个模型作为一般教师，为学生模型提取以前的知识。由于初始模型中包含丰富的超类知识，为了保持超类知识，我们使用初始模型作为超类教师来提取超类知识。然而，从两个教师模型中提取知识可能会导致学生模型做出一些冗余的预测。我们进一步提出了一种后处理机制，称为Top-k预测限制，以减少冗余的预测。在IIRC-ImageNet 120和IIRC-CIFAR 100上的实验结果表明，与现有方法相比，该方法具有更高的分类精度。
2022-02-24 cs.CV
Multi-Granularity Class Prototype Topology Distillation for Class-Incremental Source-Free Unsupervised Domain Adaptation
Hangzhou Dianzi University（杭州电子科技大学）；Macao Polytechnic University（澳门理工大学）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对类增量无源无监督域适应中的知识干扰与遗忘问题，提出多粒度类原型拓扑蒸馏算法，通过自组织与拓扑蒸馏有效迁移知识，在三个公共数据集上达到最优性能。
2025-05-27 cs.CV
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
给定一个使用大规模基础数据集进行良好训练的模型，Few-Shot类增量学习（FSCIL）旨在通过避免过拟合来从一些标记样本中增量学习新类，而不会灾难性地忘记之前遇到的所有类。目前，利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能，这可以应用于解决FSCIL中的问题，即，半监督FSCIL（Semi-FSCIL）到目前为止，非常有限的工作集中在半FSCIL任务，留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中，我们专注于这个适应性问题，并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡（UaD-CE），包括两个模块UaD和CE。具体来说，当将未标记的数据纳入每个增量会话时，我们引入了CE模块，该模块采用类平衡的自训练，以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识，我们进一步实现了UaD模块，该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection
Huazhong University of Science and Technology（华中科技大学）
表面缺陷检测是工业质量检测的重要环节之一。基于深度学习的表面缺陷检测方法已经显示出巨大的潜力。然而，性能良好的模型通常需要大量的训练数据，并且只能检测在训练阶段出现的缺陷。当缺陷检测模型面对增量Few-Shot数据时，不可避免地会出现灾难性遗忘和误分类问题。为了解决这些问题，本文提出了一种新的知识蒸馏网络，称为双知识对齐网络（DKAN）。所提出的DKAN方法遵循预训练-微调迁移学习范式，并设计了用于微调的知识蒸馏框架。具体来说，提出了一种增量RCNN来实现不同类别的解耦稳定特征表示。在此框架下，在类无关特征图之间设计特征知识对齐（FKA）损失以解决灾难性遗忘问题，在logit分布之间部署Logit知识对齐（LKA）损失以解决误分类问题.在增量式Few-Shot NEU-DET数据集上的实验结果表明，DKAN算法在不同的Few-Shot场景下的平均精度指标达到6.65%，优于其他方法，证明了该方法的有效性。
2022-09-01 cs.AI cs.CV
CD^2: Constrained Dataset Distillation for Few-Shot Class-Incremental Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
CD²通过约束数据集蒸馏方法，在少样本类增量学习中有效缓解灾难性遗忘问题，提升模型对先前知识的保留能力。
2026-01-13 cs.AI cs.CV
Revisiting Distillation and Incremental Classifier Learning
National University of Sciences and Technology（国家科技大学）；School of Electrical Engineering and Computer Science（电子工程与计算机科学学院）；National Center of Artificial Intelligence（国家人工智能中心）
人类和人工神经网络（ANN）的学习机制之间的关键区别之一是人类一次学习一项任务的能力。另一方面，ANN只能同时学习多个任务。任何学习新任务的尝试都会导致他们完全忘记以前的任务。这种缺乏增量学习能力的现象被称为灾难性遗忘，被认为是构建真正的人工智能系统的主要障碍。在本文中，我们的目标是将真正有效的增量学习思想与那些只在特定条件下有效的思想分离开来。为此，我们首先深入分析了当前最先进的增量学习方法（iCaRL），并证明了系统的良好性能并不是因为现有文献中提出的原因。我们的结论是，iCaRL的成功主要是由于知识蒸馏和认识到一个关键的限制知识蒸馏，即，它往往会导致偏见的分类。最后，我们提出了一个动态阈值移动算法，能够成功地消除这种偏见。我们证明了我们的算法在CIFAR100和MNIST数据集上的有效性，显示出接近最佳的结果。我们的实现可以在https://github.com/Khurramjaved96/incremental-learning上获得。
2019-03-25 cs.CV cs.LG stat.ML
Refined Response Distillation for Class-Incremental Player Detection
Beijing Institute of Technology（北京理工大学）；Zhejiang University（浙江大学）；Sichuan University（四川大学）
针对体育球员检测中类别增量引发的灾难性遗忘问题，提出精细化响应蒸馏方法，通过渐进式区域划分和差异化蒸馏策略优化，并构建两类数据集基准，实现了当前最优的增量球员检测性能。
2023-05-01 cs.CV
eTag: Class-Incremental Learning with Embedding Distillation and Task-Oriented Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tsinghua University（清华大学）
针对类别增量学习中的灾难性遗忘及样本、原型存储带来的隐私与分布失配问题，提出无数据的eTag，通过中间嵌入蒸馏和任务导向特征生成实现增量训练，并在多个基准上优于现有方法。
2023-04-20 cs.CV
Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
类增量语义分割（CISS）是将图像中的每个像素连续地标记为相应的对象类。为此，至关重要的是要逐步学习新的课程，而不会忘记以前学过的知识。当前的CISS方法通常使用知识蒸馏（KD）技术来保存分类器logits，或者冻结特征提取器，以避免遗忘问题。然而，强约束阻止学习新类的区分特征。我们引入了一个CISS框架，该框架可以解决遗忘问题，并有助于有效地学习新课程。我们发现，logit可以分解为两项。它们量化了输入是否属于特定类的可能性，为模型的推理过程提供了线索。在这种情况下，KD技术保留两项的和（即，类logit），这表明每个都可以改变，因此KD不模仿推理过程。为了明确地对每个术语施加约束，我们提出了一种新的分解知识蒸馏（DKD）技术，提高了模型的刚性，更有效地解决了遗忘问题。我们还介绍了一种新的初始化方法，训练新的分类器的新类。在CISS中，新类的负训练样本的数量不足以区分旧类。为了缓解这一问题，我们建议使用辅助分类器将否定知识连续转移到分类器，从而显着提高性能。标准CISS基准测试的实验结果表明，我们的框架的有效性。
2022-10-12 cs.CV
Continual Distillation Learning for Rehearsal-Free Class-Incremental Learning via Decoupled Prompting
Department of Computer Science University of Texas at Dallas（计算机科学系 德州大学达拉斯分校）
该研究针对无重放类增量学习，提出解耦连续蒸馏学习（D-CDL），通过解耦提示与蒸馏提升跨模型知识迁移能力，在多数据集实验中优于现有蒸馏基线。
2026-08-14 cs.CV cs.LG
MIND: Multi-Task Incremental Network Distillation
Leonardo Labs（莱昂纳多实验室）
MIND是一种参数隔离方法，通过两种蒸馏程序和批归一化层优化，在无重放类增量学习（CIFAR-100/10提升约+6%，TinyImageNet/10提升约+10%）和域增量场景（约+40%）中达到最先进性能。
2023-12-20 cs.CV cs.LG
Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation
Meijo University（名城大学）
针对持续学习中的灾难性遗忘及重放方法的泛化性问题，提出基于浅层输出作教师的自蒸馏方法与易误分类样本优先存储的内存更新策略，在多个数据集上性能优于传统方法。
2024-09-17 cs.CV
Deep Class Incremental Learning from Decentralized Data
Xi’an Jiaotong University（西安交通大学）；Huawei Technologies（华为技术有限公司）
在本文中，我们专注于一个新的和具有挑战性的去中心化机器学习范式，其中有连续的数据流要解决，数据存储在多个存储库中。我们通过以下贡献启动了数据分散类增量学习（DCIL）的研究。首先，我们制定了DCIL问题，并制定了实验协议。其次，我们引入了一个范例，以创建一个基本的分散对应的典型（集中）类增量学习方法，并因此，建立一个基准DCIL研究。第三，我们进一步提出了一个分散的复合知识增量蒸馏框架（DCID），从历史模型和多个本地站点的知识转移到一般模型不断。DCID由局部类增量学习、局部模型间的协同知识蒸馏和局部模型到一般模型的聚合知识蒸馏三个主要部分组成。我们全面调查我们的DCID框架，通过使用不同的实现的三个组件。大量的实验结果表明，我们的DCID框架的有效性。基线方法的代码和拟议的DCIL将在https://github.com/zxxxxh/DCIL上发布。
2022-03-11 cs.CV
Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
针对无样本类增量学习中的灾难性遗忘问题，提出旋转增强蒸馏（RAD）方法，通过互补指标详细分析，在可塑性与稳定性间取得优越平衡，达到顶级性能。
2024-03-16 cs.CV
Teacher Agent: A Knowledge Distillation-Free Framework for Rehearsal-based Video Incremental Learning
Nanjing University of Information Science and Technology（南京信息工程大学）；Intellifusion（云天励飞）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；the University of Adelaide（阿德莱德大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出无知识蒸馏的 Teacher Agent 框架，通过轻量智能体生成器、自校正损失和统一关键帧采样器提升视频增量学习性能并降低计算开销。
2023-12-11 cs.AI cs.CV
Hierarchical Augmentation and Distillation for Class Incremental Audio-Visual Video Recognition
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文针对类增量音视频视频识别中的灾难性遗忘问题，提出层次化增强与蒸馏方法HAD，通过分段特征增强和层次化蒸馏分别保留模型与数据中的历史知识，并在多个基准上验证其有效性。
2024-06-07 cs.CV
Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning
School of Information and Communication Engineering, BUPT（北京邮电大学信息与通信工程学院）；BUPT: Beijing University of Posts and Telecommunications（北京邮电大学）；Engineering Research Center for Information Network, Ministry of Education（教育部信息网络工程研究中心）
本文提出量子门任务交互知识蒸馏框架，通过量子门引导任务间知识转移，缓解多任务子空间纠缠问题，提升类增量学习性能。
2026-04-13 cs.CV cs.LG
SemanticFace: Semantic Facial Action Estimation via Semantic Distillation in Interpretable Space
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Hunan University（湖南大学）；The University of Hong Kong（香港大学）
SemanticFace通过语义蒸馏在可解释空间中估计面部动作，提升系数精度和可解释性，实现跨身份泛化和抗域移性能。
2026-03-18 cs.CV
On Distilling the Displacement Knowledge for Few-Shot Class-Incremental Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（教育部新一代人工智能技术及交叉应用重点实验室（东南大学））
本文提出位移知识蒸馏（DKD）和双蒸馏网络（DDNet），利用样本间位移信息增强少样本类增量学习中的知识蒸馏，在三个基准上取得最先进结果。
2024-12-17 cs.CV cs.LG
Coarse-to-Fine Domain Incremental Learning with Attentive Distillation for Mining Footprint Segmentation in Multispectral Imagery
Monash University, Indonesia（印度尼西亚莫纳什大学）；Monash University, Australia（澳大利亚莫纳什大学）；Northeastern University, China（中国东北大学）；The University of Queensland, Australia（澳大利亚昆士兰大学）
提出MineC2FNet框架，利用粗标注数据通过教师-学生架构和注意力蒸馏增强细粒度采矿足迹分割，解决领域偏移问题。
2026-05-28 cs.AI cs.CV
On Learning the Geodesic Path for Incremental Learning
The Australian National University（澳大利亚国立大学）；Monash University（莫纳什大学）；Data61-CSIRO（Data61-澳大利亚联邦科学与工业研究组织）
众所周知，神经网络遭受灾难性遗忘的问题，即在获取新知识时忘记过去知识的现象。克服灾难性遗忘对于模拟“增量学习”过程具有重要意义，其中模型能够以有效和鲁棒的方式从顺序经验中学习。增量学习的最新技术利用知识蒸馏来防止灾难性遗忘。其中，更新网络，同时确保网络对先前看到的概念的响应在整个更新期间保持稳定。实际上，这是通过以某种方式最小化网络的当前响应和先前响应之间的差异来实现的。我们的工作为蒸馏技术提供了一种新方法。与以前的现有技术相比，我们建议首先为以前和当前的响应构建低维流形，并沿着连接流形的测地线将响应之间的差异最小化。这导致了一个更强大的知识蒸馏与光滑的属性，更有效地保留了过去的知识，我们的综合实证研究观察。
2021-04-17 cs.CV cs.LG
UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation
National University of Singapore（新加坡国立大学）
针对神经隐式表示一次性训练成本高的问题，提出UNIKD方法，通过师生框架结合不确定性过滤器进行增量知识蒸馏，有效缓解灾难性遗忘，在三维重建和新视角合成任务中表现优异。
2024-07-29 cs.CV
SER-Diff: Synthetic Error Replay Diffusion for Incremental Brain Tumor Segmentation
DePaul University（德保罗大学）
针对增量脑肿瘤分割中的灾难性遗忘问题，提出SER-Diff框架，利用冻结教师扩散模型生成并重放合成错误图，结合双损失训练，在多个基准上取得最优分割性能。
2025-10-06 cs.AI cs.CV eess.IV
Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting
Fudan University（复旦大学）；Xiamen University（厦门大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Chinese Academy of Sciences（中国科学院）
人群计数在公共安全和流行病控制方面具有重要应用。一个强大而实用的人群计数系统必须能够在现实世界的场景中不断学习新的输入域数据，而不是只适合一个域。现成的方法在处理多个域时有一些缺点：（1）模型将实现有限的性能由于各领域固有数据分布的差异，在新领域训练图像后，旧领域之间的遗忘（甚至急剧下降）被称为灾难性遗忘;（2）由于领域转移，在特定领域中训练良好的模型在其他未知领域中表现不佳;以及（3）它导致线性增加的存储开销，或者混合所有数据用于训练，或者在新模型可用时简单地为不同领域训练数十个单独的模型。为了克服这些问题，我们研究了一种新的人群计数任务，在增量域培训设置称为终身人群计数。其目标是通过增量域更新单个模型来减轻灾难性遗忘，提高泛化能力。具体来说，我们提出了一个自蒸馏学习框架作为终身人群计数的基准（Forget Less，Count Better或FLCB），这有助于模型可持续地利用以前有意义的知识来更好地进行人群计数，以减轻新数据到达时的遗忘。此外，一个新的量化指标，归一化后向迁移（nBwT），被开发来评估在终身学习过程中的模型的遗忘程度。大量的实验结果表明，我们提出的基准在实现低的灾难性遗忘程度和强大的泛化能力的优越性。
2023-01-29 cs.AI cs.CV
Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
Rowan University（罗文大学）
提出受神经科学启发的Robust Rehearsal框架，通过特征蒸馏与再巩固机制缓解持续学习中的灾难性遗忘，在多个数据集上优于基线方法。
2024-04-22 cs.CV cs.LG
Continual Learning for Class- and Domain-Incremental Semantic Segmentation
Porsche Engineering Services GmbH（保时捷工程服务有限公司）；Fraunhofer IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
持续深度学习领域是一个新兴的领域，已经取得了很多进展。然而，同时，大多数方法仅在图像分类的任务上进行测试，这与智能车辆领域无关。直到最近才提出了类增量语义分割的方法。然而，所有这些方法都是基于某种形式的知识蒸馏。目前，还没有研究基于重放的方法，通常用于在连续设置中的对象识别。与此同时，虽然语义分割的无监督域自适应获得了很大的牵引力，但关于连续设置中的域增量学习的研究并没有得到很好的研究。因此，我们的工作目标是评估和适应既定的解决方案，连续对象识别的任务，语义分割，并提供基线方法和评估协议的任务，连续语义分割。我们首先介绍评估协议的类和域增量分割和分析选定的方法。我们表明，语义分割的任务的性质改变的方法是最有效的，在减轻遗忘相比，图像分类。特别是在类增量学习中，知识蒸馏被证明是一种重要的工具，而在领域增量学习中，重放方法是最有效的方法。
2022-09-16 cs.CV
Few-shot Class-Incremental Semantic Segmentation via Pseudo-Labeling and Knowledge Distillation
Minjiang University（闽江学院）；Wuyi University（武夷学院）；Fuzhou University（福州大学）；European University Cyprus（塞浦路斯欧洲大学）
本文针对小样本类增量语义分割提出由粗到细的伪标签策略扩充训练数据，并结合知识蒸馏保留旧类知识，在自动驾驶数据集上验证了有效性。
2023-08-05 cs.CV
Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay
Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）；McMaster University（麦克马斯特大学）；University of Manitoba（曼尼托巴大学）
已经提出了Few-Shot类增量学习（FSCIL），旨在使深度学习系统能够利用有限的数据增量地学习新类。最近，一位先驱者声称，在类增量学习（CIL）中常用的基于重放的方法是无效的，因此不适合FSCIL。如果这是真的，这对FSCIL的领域有着重大的影响。在本文中，我们通过实证结果表明，采用数据回放是令人惊讶的有利。然而，存储和回放旧数据可能会导致隐私问题。为了解决这个问题，我们也提出了使用无数据重放，可以通过生成器合成数据，而无需访问真实数据。在观察不确定数据对知识蒸馏的有效性时，我们在生成器训练中施加熵正则化以鼓励更多的不确定示例。此外，我们建议使用one-hot-like标签重新标记生成的数据。这种修改允许网络仅通过最小化交叉熵损失来学习，这减轻了传统知识蒸馏方法中平衡不同目标的问题。最后，我们在CIFAR-100，miniImageNet和CUB-200上展示了大量的实验结果和分析，以证明我们提出的方法的有效性。
2022-07-22 cs.CV
Single image calibration using knowledge distillation approaches
DASIA；CLIRISGROUP
尽管最近的基于深度学习的校准方法可以从单个图像预测外部和内部相机参数，但它们的推广仍然受到训练数据样本的数量和分布的限制。巨大的计算和空间需求阻止了卷积神经网络（CNN）在资源受限的环境中实现。这一挑战促使我们逐渐学习CNN，通过训练新数据，同时保持先前学习数据的性能。我们的方法建立在CNN架构之上，使用不同的增量学习策略自动估计相机参数（焦距、俯仰和滚动），以便在更新网络以获得新的数据分布时保留知识。准确地说，我们通过修改四种常见的增量学习，即：LwF，iCaRL，LU CIR和BiC的损失函数来适应我们的回归问题。我们评估两个数据集，包含299008室内和室外图像。实验结果表明，该方法是一种较好的摄像机标定方法。
2022-12-05 cs.CV
Scalable Class-Incremental Learning Based on Parametric Neural Collapse
Xi'an University of Technology（西安理工大学）
SCL-PNC通过参数神经坍塌和动态ETF框架实现高效类增量学习，解决类别错位和特征漂移问题。
2025-12-26 cs.CV cs.LG
Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay
Samsung Semiconductor Inc.（三星半导体公司）；Samsung Electronics（三星电子）
本文提出了两种新的知识转移技术类增量学习（CIL）。首先，我们提出了无数据生成重放（DF-GR），以减轻灾难性遗忘在CIL通过使用合成样本的生成模型。在传统的生成式重放中，生成模型针对旧数据进行预训练，并在额外的存储器中共享，以用于以后的增量学习。在我们提出的DF-GR中，我们从头开始训练生成模型，而不使用任何训练数据，基于过去的预训练分类模型，因此我们减少了共享预训练生成模型的成本。其次，我们介绍了双教师信息蒸馏（DT-ID）的知识蒸馏从两个教师到一个学生。在CIL中，我们使用DT-ID根据旧类的预训练模型和新类的新数据（预）训练的另一个模型来增量学习新类。我们在一种最先进的CIL方法上实现了所提出的方案，并在CIFAR-100和ImageNet数据集上显示了性能改进。
2021-06-17 cs.CV cs.LG cs.NE
SRIL: Selective Regularization for Class-Incremental Learning
Ajou University（亚洲大学）
本文提出选择性正则化方法SRIL，通过不对称特征蒸馏和选择性权重插值，平衡可塑性与稳定性，解决类增量学习中的灾难性遗忘，在多个数据集上超越现有方法。
2023-05-09 cs.CV
Channel Planting for Deep Neural Networks using Knowledge Distillation
Graduate School of Advanced Science
近年来，更深更广的神经网络在计算机视觉任务中表现出了优异的性能，但其大量的参数导致计算成本增加和过拟合。已经提出了几种方法来压缩网络的大小而不降低网络性能。网络修剪可以减少网络中冗余和不必要的参数。知识蒸馏可以将更深、更广的网络中的知识转移到更小的网络中。通过这些方法获得的较小网络的性能受预定义网络的限制。提出了神经网络结构搜索算法，它能自动搜索网络的结构，突破网络结构的限制。此外，还有一种动态配置方法，用于将训练网络递增地作为子网络。在本文中，我们提出了一种新的增量式深度神经网络训练算法，称为种植。我们的种植可以搜索最佳的网络结构，具有较少的参数，以提高网络的性能，通过增加通道递增到初始网络的层，同时保持较早的训练参数固定。此外，我们建议使用知识蒸馏方法来训练种植的渠道。通过转移更深和更广的网络知识，我们可以有效地发展网络。我们在CIFAR-10/100和STL-10等不同数据集上评估了所提出方法的有效性。对于STL-10数据集，我们表明，与更大的网络相比，我们仅使用7%的参数就能够实现相当的性能，并减少了由少量数据引起的过拟合。
2020-11-04 cs.CV cs.LG
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
本文提出FSCIL框架PriViLege，利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优，显著缓解灾难性遗忘和过拟合，并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
Teach YOLO to Remember: A Self-Distillation Approach for Continual Object Detection
University of Padova（帕多瓦大学）
针对YOLO等单阶段无锚框检测器在持续目标检测中的灾难性遗忘问题，提出YOLO LwF自蒸馏方法，结合重放记忆显著缓解遗忘，在VOC和COCO基准上分别提升mAP +2.1%和+2.9%，达到最先进性能。
2025-03-06 cs.CV
Evolving Without Ending: Unifying Multimodal Incremental Learning for Continual Panoptic Perception
本文提出了一种统一多模态和多任务持续学习的持续全景感知模型，通过跨模态编码器和可变知识继承模块解决灾难性遗忘问题，并在多任务增量场景中实现模型进化。
2026-01-22 cs.CV
Class-Incremental Learning for Action Recognition in Videos
Seoul National University（首尔大学）
我们解决灾难性遗忘问题的背景下，类增量学习的视频识别，这还没有被积极探索，尽管流行的持续学习。我们的框架解决了这一具有挑战性的任务，通过引入时间通道的重要性地图，并利用重要性地图通过知识蒸馏学习传入的例子的表示。我们还在目标函数中加入了正则化方案，该方案鼓励从视频中不同时间步获得的各个特征不相关，并最终通过减轻灾难性遗忘来提高准确性。我们评估所提出的方法上构建的UCF 101，HMDB 51，和Something-Something V2数据集的类增量动作识别基准的全新的分裂，并证明我们的算法的有效性相比，现有的持续学习方法，最初是为图像数据设计的。
2022-03-25 cs.CV
Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning
Nankai University（南开大学）；Tianjin University of Technology（天津理工大学）
针对非范例类增量学习中的灾难性遗忘，提出细粒度选择性补丁级蒸馏与任务无关原型生成方法，平衡可塑性与稳定性，在多个基准上验证有效性。
2023-12-20 cs.CV
Self-distilled Knowledge Delegator for Exemplar-free Class Incremental Learning
Hikvision Research Institute（海康威视研究院）
由于无法从旧任务中获取数据，无样本增量学习极具挑战性。在本文中，我们试图利用先前训练的分类模型中编码的知识来处理持续学习中的灾难性遗忘问题。具体来说，我们引入了一个所谓的知识委托者，它能够通过生成信息样本将知识从训练模型转移到随机重新初始化的新模型。仅给定先前的模型，委托者以无数据的方式使用自蒸馏机制有效地学习。然后利用委托者提取的知识来保持模型在增量学习中对旧任务的性能。这个简单的增量学习框架在四个广泛使用的类增量基准（即CIFAR-100、ImageNet-Subset、Caltech-101和Flowers-102）上大幅超越了现有的无范例方法。值得注意的是，我们实现了与一些基于范例的方法相当的性能，而无需访问任何范例。
2022-05-23 cs.CV
Regenerating Arbitrary Video Sequences with Distillation Path-Finding
National Cheng-Kung University（国立成功大学）
本文提出一个交互式框架，利用RSFNet学习特征相关性及SDPF路径查找算法，根据用户指定的起始帧生成内容与运动方向一致的任意新视频序列，并在卡通和自然场景中取得更优效果。
2023-11-13 cs.CV
DA-CIL: Towards Domain Adaptive Class-Incremental 3D Object Detection
Nanyang Technological University（南洋理工大学）
随着大规模点云数据集的出现，深度学习在3D目标检测方面取得了显著的成功。然而，在过去的训练类，即，灾难性遗忘，当类的数量未知或可能变化时，仍然是现实世界部署的关键问题。此外，现有的3D类增量检测方法是针对单域场景开发的，当遇到由不同数据集，变化的环境等引起的域偏移时，这些方法会失败。在本文中，我们确定了未探索但有价值的场景，即，提出了一种新的3D领域自适应类增量目标检测框架DA-CIL，该框架设计了一种新的双领域复制粘贴增强方法来构造多个增强域，以实现训练分布的多样化，从而促进逐步的领域自适应。然后，多层次的一致性，以促进双教师知识蒸馏从不同领域的领域自适应类增量学习。在不同数据集上的大量实验证明了该方法在领域自适应类增量学习场景中对基线的有效性。
2022-12-05 cs.AI cs.CV eess.IV
Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
深度学习模型的一个主要局限性是，它们在增量学习场景中面临灾难性遗忘。已经提出了几种方法来解决增量学习的问题。这些方法中的大多数基于知识蒸馏，并且没有充分利用由较旧的任务模型提供的信息，例如预测中的不确定性估计。预测不确定性提供了分布信息，可以应用于减轻深度学习框架中的灾难性遗忘。在建议的工作中，我们考虑贝叶斯公式来获得数据和模型的不确定性。我们还将自我注意力框架，以解决增量学习的问题。我们定义蒸馏损失的任意不确定性和自我注意。在拟议的工作中，我们调查这些损失的不同烧蚀分析。此外，我们能够在标准基准的准确性方面获得更好的结果。
2021-02-03 cs.CV cs.LG
Rebalancing Multi-Label Class-Incremental Learning
Southeast University（东南大学）；CASIA（中国科学院自动化研究所）；Suzhou University of Science and Technology（苏州科技大学）
针对多标签类增量学习中因部分标签导致的正负样本不平衡问题，提出RebLL框架，通过非对称知识蒸馏和在线重标记在损失与标签层面进行重新平衡，在PASCAL VOC和MS-COCO上取得最先进性能。
2024-08-22 cs.CV
Active Class Incremental Learning for Imbalanced Datasets
CEA, LIST（法国原子能与替代能源委员会，LIST研究所）；IMT Atlantique（IMT大西洋高等矿业电信学校）
增量学习（IL）允许AI系统适应流式数据。大多数现有算法做出两个强有力的假设，这降低了增量场景的真实性：（1）假设新数据在流式传输时易于注释，以及（2）使用平衡数据集运行测试，而大多数现实生活中的数据集实际上是不平衡的。这些假设被抛弃，由此产生的挑战是通过积极和不平衡的学习相结合来解决的。我们引入样本采集功能，解决不平衡和兼容IL约束。我们还认为IL作为一个不平衡的学习问题，而不是既定的使用知识蒸馏对灾难性遗忘。在这里，通过类预测缩放在推理期间减少不平衡效应。评估是用四个可视化数据集完成的，并比较了现有的和拟议的样本采集功能。结果表明，建议的贡献有积极的影响，并减少主动和标准IL性能之间的差距。
2020-08-25 cs.CV
Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent（腾讯）
本文提出一种决策边界感知的知识巩固蒸馏方法，通过在保留旧边界的同时适度扩展至失败案例，解决了实例增量学习中灾难性遗忘与概念漂移问题，并发现教师模型是更好的增量学习器。
2024-06-05 cs.CV cs.LG
Class-incremental Novel Class Discovery
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
我们研究了类增量新类发现（class-iNCD）的新任务，它是指通过利用一个预先训练的模型在未标记的数据集中发现新类别的问题，该模型已经在包含不相交但相关类别的标记数据集上训练过。除了发现新的类之外，我们还旨在保留模型识别以前看到的基本类别的能力。受基于排练的增量学习方法的启发，本文提出了一种新的方法，类iNCD，防止忘记过去的信息，通过联合利用基类特征原型和特征级知识蒸馏的基类。我们还提出了一个自我训练的聚类策略，同时集群新的类别和训练的基础和新的类的联合分类器。这使得我们的方法能够在类增量设置中操作。我们的实验，在三个常见的基准进行，表明我们的方法显着优于国家的最先进的方法。代码可在https://github.com/OatmealLiu/class-iNCD上获得
2022-07-18 cs.CV
Audio-Visual Class-Incremental Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出音视频类增量学习场景及AV-CIL方法，通过双音频-视觉相似性约束和视觉注意力蒸馏保持跨模态语义，在三个数据集上显著优于现有方法。
2023-10-15 cs.CV
Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文提出多级知识蒸馏和动态自监督学习，用于解决持续学习中的类别增量问题，通过利用未标记数据提升模型稳定性与可塑性，实验显示在CVPR CLVISION挑战中取得第二名。
2026-03-31 cs.AI cs.CV cs.LG
Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning
Qualcomm AI Research（高通人工智能研究）
针对少样本类增量学习中的遗忘和过拟合问题，提出三元权重空间集成方法，通过插值基模型、前一模型和当前模型的权重并利用增强数据蒸馏，在多个基准上取得最优性能。
2025-06-04 cs.CV cs.LG
Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning
Warsaw University of Technology（华沙理工大学）；IDEAS NCBR；Jagiellonian University（雅盖隆大学）；Gdańsk University of Technology（格但斯克理工大学）；Autonomous University of Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Tooploox
针对无样本类别增量学习中知识蒸馏因教师网络表征偏移导致性能下降的问题，提出同步更新教师与主模型的教师自适应方法，可无缝集成于现有基于KD的CIL方法，在多个基准上实现性能提升。
2023-11-04 cs.AI cs.CV cs.LG
UCBound-Net: Uncertainty-Guided Boundary-Aware Continual Learning for Domain-Incremental Ultrasound Segmentation
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
UCBound-Net利用MC Dropout不确定性，通过三个协同组件缓解临床超声分割中的灾难性遗忘，在BUSI和TN3K数据集上实现更优性能且无需任务边界监督。
2026-08-04 cs.CV
Composition-Incremental Learning for Compositional Generalization
本文针对现实数据持续涌现、组合近乎无限等问题，在组合零样本学习任务中探索组合增量学习，构建MIT-States-CompIL等基准，提出含视觉合成器和语言基元蒸馏的伪重放框架，提升模型组合泛化能力。
2025-11-12 cs.CV
A Contrastive Distillation Approach for Incremental Semantic Segmentation in Aerial Images
Politecnico di Torino（都灵理工大学）；LINKS Foundation（LINKS基金会）
增量学习是航空图像处理中的一项重要任务，特别是在大规模注释数据集有限的情况下。关于当前深度神经架构的一个主要问题被称为灾难性遗忘，即一旦提供了一组新的数据进行再训练，就无法忠实地保持过去的知识。多年来，已经提出了几种技术来缓解图像分类和目标检测的这个问题。然而，直到最近，焦点才转向更复杂的下游任务，如实例或语义分割。从语义分割任务的增量类学习开始，我们的目标是使这种策略适应航空领域，利用一个独特的功能，将其与自然图像区分开来，即方向。除了标准的知识蒸馏方法，我们提出了一种对比正则化，其中任何给定的输入与其增强版本（即翻转和旋转）进行比较，以最大限度地减少两个输入产生的分割特征之间的差异。我们展示了我们的解决方案在波茨坦数据集上的有效性，在每次测试中都优于增量基线。代码可在：https://github.com/edornd/contrastive-distillation获得。
2021-12-07 cs.CV eess.IV
