Inherit with Distillation and Evolve with Contrast: Exploring Class Incremental Semantic Segmentation Without Exemplar Memory
Beihang University（北京航空航天大学）
针对无样本记忆的类别增量语义分割，提出IDEC框架，通过DADA蒸馏与ARCL区域对比同步缓解灾难性遗忘和语义漂移，并在多个数据集上取得最先进性能。
2023-09-27 cs.CV
Domain-Incremental Remote Sensing Change Detection via Difference-Guided Adaptation and Frequency-Decoupled Distillation
School of Remote Sensing and Geomatics Engineering, Nanjing University of Information Science and Technology（南京信息工程大学遥感与测绘工程学院）
研究针对遥感变化检测模型域增量学习易灾难性遗忘问题，提出DG-FDD框架，集成差异引导自适应和频率解耦蒸馏，有效减轻遗忘，实验表明其在跨域变化检测中能平衡历史知识保留与新域适应，性能优于单任务模型。
2026-07-15 cs.CV
Multi-View Correlation Distillation for Incremental Object Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
在实际应用中，新的对象类经常出现在检测模型已经在具有固定类的准备好的数据集上训练之后。由于旧数据的存储负担和隐私性，有时用新旧数据从头开始训练模型是不切实际的。仅使用新数据对旧模型进行微调将导致众所周知的灾难性遗忘现象，这严重降低了现代目标检测器的性能。在本文中，我们提出了一种新的\textbf{M} ulti- \textbf{V} view \textbf{C} orrelation \textbf{D} istilation（MVCD）为基础的增量目标检测方法，探讨了两阶段目标检测器（Faster R-CNN）的特征空间中的相关性。为了更好地传递从旧类中学习到的知识并保持学习新类的能力，我们设计了通道、点和实例视图的相关蒸馏损失，以规范增量模型的学习。为了更好地评价增量式目标检测中旧类的稳定性和新类的可塑性，提出了一种新的度量标准Stability-Plasticity-mAP。在VOC 2007和COCO上进行的大量实验表明，MVCD可以有效地学习检测新类的对象，并减轻灾难性遗忘的问题。
2021-07-05 cs.CV
Class Incremental Medical Image Segmentation via Prototype-Guided Calibration and Dual-Aligned Distillation
本文提出PGCD和DAPD方法，通过原型引导校准和双对齐蒸馏提升类增量医学图像分割的性能与鲁棒性。
2025-12-29 cs.CV
Faster ILOD: Incremental Learning for Object Detectors based on Faster RCNN
School of ITEE, The University of Queensland（昆士兰大学ITEE学院）
人类的视觉和感知系统本质上是渐进的，随着时间的推移，新的知识不断学习，而现有的知识被保留。另一方面，深度学习网络不适合增量学习。当一个经过良好训练的网络适应新的类别时，它在旧类别上的性能将急剧下降。为了解决这个问题，已经探索了保留深度学习模型的旧知识的增量学习方法。然而，最先进的增量对象检测器采用外部固定区域提议方法，与基于区域提议网络（RPN）的对象检测器（例如Faster RCNN）相比，该方法增加了总计算时间并降低了准确性。本文的目的是利用知识蒸馏设计一个高效的端到端增量式目标检测器。我们首先评估和分析基于RPN的检测器的性能与经典的蒸馏增量检测任务。然后，我们引入了多网络自适应蒸馏，当针对新任务微调模型时，可以适当地保留旧类别的知识。在基准数据集PASCAL VOC和COCO上的实验表明，基于Faster RCNN的增量检测器更准确，比基线检测器快13倍。
2020-10-07 cs.CV
Multi-Task Incremental Learning for Object Detection
Computer Vision Center UAB（巴塞罗那自治大学计算机视觉中心）；Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
多任务学习多个任务，同时在它们之间共享知识和计算。然而，它遭受灾难性遗忘的以前的知识时，学习增量没有访问旧的数据。大多数现有的对象检测器是特定于域的和静态的，而一些是增量学习的，但仅在单个域内。训练对象检测器增量跨各个领域很少被探索。在这项工作中，我们提出了三个增量学习方案，在不同的领域和类别的目标检测。为了缓解灾难性遗忘，提出了注意特征提取，利用自下而上和自上而下的注意力来提取用于提取的重要信息。然后，我们系统地分析了所提出的蒸馏方法在不同的情况下。我们发现，与一般的理解相反，领域差距对增量检测的负面影响较小，而类别差异是有问题的。对于困难的情况下，领域差距，特别是类别差异很大，我们探讨了三种不同的样本采样方法，并表明所提出的自适应采样方法是有效的，从整个数据集选择多样的和信息丰富的样本，以进一步防止遗忘。实验结果表明，我们实现了显着的改善，在三个不同的情况下，在七个目标检测基准数据集。
2020-11-18 cs.CV
Index-Aligned Query Distillation for Transformer-based Incremental Object Detection
Beihang University（北航大学）
针对基于Transformer的增量目标检测中匈牙利匹配导致查询知识被重塑而遗忘旧类别的问题，本文提出索引对齐查询蒸馏（IAQD），通过同索引查询对齐并仅对关键查询蒸馏，在保留旧类别语义与空间编码能力的同时学习新类别，并在代表性基准上取得新的最先进性能。
2025-08-15 cs.CV
A Contrastive Distillation Approach for Incremental Semantic Segmentation in Aerial Images
Politecnico di Torino（都灵理工大学）；LINKS Foundation（LINKS基金会）
增量学习是航空图像处理中的一项重要任务，特别是在大规模注释数据集有限的情况下。关于当前深度神经架构的一个主要问题被称为灾难性遗忘，即一旦提供了一组新的数据进行再训练，就无法忠实地保持过去的知识。多年来，已经提出了几种技术来缓解图像分类和目标检测的这个问题。然而，直到最近，焦点才转向更复杂的下游任务，如实例或语义分割。从语义分割任务的增量类学习开始，我们的目标是使这种策略适应航空领域，利用一个独特的功能，将其与自然图像区分开来，即方向。除了标准的知识蒸馏方法，我们提出了一种对比正则化，其中任何给定的输入与其增强版本（即翻转和旋转）进行比较，以最大限度地减少两个输入产生的分割特征之间的差异。我们展示了我们的解决方案在波茨坦数据集上的有效性，在每次测试中都优于增量基线。代码可在：https://github.com/edornd/contrastive-distillation获得。
2021-12-07 cs.CV eess.IV
Knowledge Distillation for Incremental Learning in Semantic Segmentation
University of Padova（帕多瓦大学）
深度学习架构在场景理解问题中表现出了显着的效果，但是当它们需要在不忘记旧任务的情况下渐进地学习新任务时，它们的性能会出现严重下降。这种灾难性遗忘现象影响了人工智能在现实世界场景中的部署，其中系统需要随着时间的推移学习新的和不同的表示。目前的增量学习方法只处理图像分类和目标检测任务，而在这项工作中，我们正式引入增量学习语义分割。我们解决这个问题，应用各种知识蒸馏技术在以前的模型。通过这种方式，我们保留了关于学习类的信息，同时更新当前模型以学习新的类。我们开发了四种主要的知识蒸馏方法，工作在输出层和内部特征表示。我们不存储任何属于先前训练阶段的图像，只使用最后一个模型来保持先前学习的类的高准确性。在Pascal VOC 2012和MSRC-v2数据集上进行的大量实验结果表明了所提方法在几种增量学习场景下的有效性。
2021-01-20 cs.CV cs.LG eess.IV
YOLO-IOD: Towards Real Time Incremental Object Detection
YOLO-IOD通过解决增量学习中的知识冲突问题，提出了一种基于预训练YOLO-World模型的实时增量物体检测框架，有效减少遗忘并提升检测性能。
2026-01-01 cs.CV
Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection
研究增量目标检测问题，提出共生启发的知识蒸馏方法（SIKD），通过空间共生蒸馏和语义共生蒸馏在两个层面利用对象共生，有效解决现有方法不足，实验验证了该方法的有效性和优越性。
2026-07-16 cs.AI cs.CV
CoMBO: Conflict Mitigation via Branched Optimization for Class Incremental Segmentation
Beijing Institute of Technology（北京理工大学）；University of Birmingham（伯明翰大学）；Beijing Jiaotong University（北京交通大学）
针对类增量分割中旧类遗忘与新类学习之间的冲突，提出CoMBO方法，通过查询冲突减少模块及HDHL和IKD两种分支优化策略，在保留旧知识的同时有效吸收新类，并在全景和语义分割任务中取得优越性能。
2025-04-05 cs.CV
Prototype-based Incremental Few-Shot Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）
语义分割模型有两个基本的弱点：i）它们需要大量的训练集，具有昂贵的像素级注释，ii）它们具有静态输出空间，受限于训练集的类。为了解决这两个问题，我们引入了一个新的任务，增量Few-Shot分割（iFSS）。iFSS的目标是扩展一个预先训练的分割模型，其中包含来自少量注释图像的新类别，并且无需访问旧的训练数据。为了克服现有模型inIFS的局限性，我们提出了基于原型的增量Few-Shot分割（PIFS），耦合原型学习和知识蒸馏。PIFS利用原型来初始化新类的分类器，微调网络以改进其特征表示。我们设计了一个基于原型的蒸馏损失的分数，旧的和新的类原型，以避免过度拟合和遗忘，和批量重整，以应付非独立同分布的Few-Shot数据。我们为iFSS创建了一个广泛的基准测试，表明PIFS在所有情况下都优于几种Few-Shot和增量学习方法。
2021-10-18 cs.CV
Dual-Selective Network for Domain-Incremental Change Detection
Xidian University（西安电子科技大学）
提出DSINet，利用Mamba的选择性空间状态单元和浓度平衡蒸馏策略，在域增量变化检测中保持稳定空间表示，防止知识退化。
2026-07-03 cs.CV
Modeling Missing Annotations for Incremental Learning in Object Detection
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利技术研究院）
尽管最近在目标检测领域取得了进展，但通用架构仍然不适合随着时间的推移而递增地检测新类别。它们很容易发生灾难性遗忘：它们在没有原始训练数据的情况下更新参数时忘记了已经学到的东西。以往的工作扩展了标准的分类方法在目标检测任务，主要采用知识蒸馏框架。然而，我们认为，目标检测引入了一个额外的问题，这一直被忽视。虽然属于新类的对象由于它们的注释而被学习，但是如果没有为可能仍然存在于输入中的其他对象提供监督，则模型学习将它们与背景区域相关联。我们建议通过重新审视标准的知识蒸馏框架来处理这些缺失的注释。我们的方法在Pascal-VOC数据集的每个设置中都优于当前最先进的方法。我们进一步提出了一个扩展实例分割，优于其他基线。代码可以在这里找到：https://github.com/fcdl94/MMA
2022-04-21 cs.CV
GAN-Knowledge Distillation for one-stage Object Detection
Startdt AI Lab（星图数据AI实验室）；Zeusee Technology（智视科技）
卷积神经网络在目标检测的精度上有显著的提高。随着卷积神经网络的深入，检测的准确性也明显提高，需要更多的浮点计算。在目标检测中，许多研究者采用知识蒸馏的方法，将知识从更深更大的教师网络转移到较小的学生网络中，从而提高学生网络的准确性。大多数知识蒸馏方法都需要设计复杂的代价函数，并且都是针对两阶段目标检测算法的。针对一阶段目标检测，提出了一种简洁有效的知识蒸馏方法。将教师网络和学生网络生成的特征图分别作为真样本和假样本，并对两者进行对抗训练，以提高学生网络在一阶段目标检测中的性能。
2019-07-04 cs.CV
Mitigating Background Shift in Class-Incremental Semantic Segmentation
Sungkyunkwan University（成均馆大学）
针对类增量语义分割中的背景偏移问题，提出背景-类别分离框架，结合选择性伪标签、自适应特征蒸馏、正交目标和标签引导输出蒸馏，实现最先进性能。
2024-07-16 cs.CV
Continual Attentive Fusion for Incremental Learning in Semantic Segmentation
Harbin Institute of Technology (HIT)（哈尔滨工业大学）；University of Trento（特伦托大学）；Hong Kong University of Science and Technology（香港科技大学）；ETH Zurich（苏黎世联邦理工学院）；INRIA（法国国家信息与自动化研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在过去的几年里，语义分割和计算机视觉中的许多其他任务一样，受益于深度神经网络的进步，从而显著提高了性能。然而，使用基于梯度的技术训练的深度架构遭受灾难性遗忘，这是在学习新任务时忘记先前学习的知识的趋势。为了设计策略来抵消这种影响，增量学习方法在过去几年中越来越受欢迎。然而，用于语义分割的第一个增量学习方法直到最近才出现。虽然有效，但这些方法并没有考虑像素级密集预测问题中的关键方面，即注意力机制的作用。为了填补这一空白，在本文中，我们介绍了一种新的专注功能蒸馏方法，以减轻灾难性遗忘，同时占语义空间和通道级的依赖关系。此外，我们提出了一个{持续注意力融合}结构，它利用了新的和旧的任务，同时学习新任务的功能。最后，我们还介绍了一种新的策略，占蒸馏损失的背景类，从而防止有偏见的预测。我们通过对Pascal-VOC 2012和ADE 20 K的广泛评估证明了我们方法的有效性，开创了最新的技术水平。
2022-02-01 cs.CV
Incremental-DETR: Incremental Few-Shot Object Detection via Self-Supervised Learning
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology（哈尔滨工业大学）
增量式Few-Shot目标检测的目的是在不忘记基本类的知识的情况下检测新类，而仅使用来自新类的少量标记训练数据。大多数相关的现有工作都是关于增量式目标检测的，其依赖于每个新类的丰富训练样本的可用性，这实质上限制了对新数据可能稀缺的真实世界设置的可扩展性。在本文中，我们提出了增量DETR，增量Few-Shot目标检测通过微调和自监督学习的DETR对象检测器。为了减轻严重的过度拟合与一些新的类数据，我们首先微调类特定的组件DETR与自我监督从使用选择性搜索作为伪标签生成的额外的对象建议。我们进一步引入了一个增量的Few-Shot微调策略，在DETR的类特定组件上进行知识蒸馏，以鼓励网络在检测新类时不会忘记基类。在标准增量对象检测和增量Few-Shot目标检测设置上进行的大量实验表明，我们的方法明显优于最先进的方法。
2023-02-27 cs.CV
Bridge Past and Future: Overcoming Information Asymmetry in Incremental Object Detection
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Peng Cheng Laboratory（鹏城实验室）
针对增量目标检测中因多阶段类别共现导致的信息不对称问题，提出BPF方法对齐模型优化方向，并设计DwF损失利用背景概率平衡旧类遗忘与新类学习，在Pascal VOC和MS COCO上超越现有方法。
2024-07-16 cs.CV
Class-Incremental Few-Shot Object Detection
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
传统的检测网络通常需要大量的标记训练样本，而人类只需几个例子就可以逐步学习新概念。本文主要研究一个更具挑战性但更现实的类增量Few-Shot目标检测问题（iFSD）。它的目标是从少量的注释样本中增量地转移新对象的模型，而不会灾难性地忘记以前学习的对象。为了解决这个问题，我们提出了一种新的方法LEAST，它可以更少的遗忘，更少的训练资源，更强的迁移能力。具体来说，我们首先提出的转移策略，以减少不必要的权重调整，提高转移能力的iFSD。在此基础上，我们整合了知识蒸馏技术，使用较少的资源消耗的方法来减轻遗忘，并提出了一种新的基于聚类的样本选择过程，以保留更多的判别功能以前学习。作为一种通用而有效的方法，LEAST可以大大提高iFSD在各种基准测试中的性能。
2021-12-28 cs.CV
Continual Detection Transformer for Incremental Object Detection
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）
本文提出持续检测 Transformer（CL-DETR）以解决基于 Transformer 的增量目标检测中知识蒸馏与样本回放效果不佳的问题，通过引入检测器知识蒸馏损失和样本回放校准策略，在 COCO 2017 上取得了最先进的结果。
2023-04-06 cs.CV
CIT: Rethinking Class-incremental Semantic Segmentation with a Class Independent Transformation
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Monash University（莫纳什大学）；La Trobe University（拉筹伯大学）
针对类增量语义分割中因Softmax导致的概率分布差距问题，提出类无关变换（CIT）将输出转为类无关形式，并构建累积蒸馏框架，在多种架构上实现极低任务遗忘。
2024-11-05 cs.CV
Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection
National University of Singapore（新加坡国立大学）
基于深度学习的方法在3D目标检测任务中表现出卓越的性能。然而，当增量学习新类而不重新访问旧数据时，它们会在最初训练的类上遭受灾难性的性能下降。这种“灾难性遗忘“现象阻碍了3D目标检测方法在现实世界场景中的部署，其中需要连续学习系统。在本文中，我们研究了尚未探索的重要类增量三维目标检测问题，并提出了第一个解决方案- SDCoT，一种新的静态-动态协同教学方法。我们的SDCoT通过静态教师消除了旧类的灾难性遗忘，该静态教师为新样本中的旧类提供伪注释，并通过提取具有蒸馏损失的先前知识来正则化当前模型。与此同时，SDCoT通过动态教师从新数据中不断学习底层知识。我们在两个基准数据集上进行了广泛的实验，并在几个增量学习场景中展示了SDCoT比基线方法的优越性能。
2021-12-14 cs.CV
Federated Incremental Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；ETH Zürich（苏黎世联邦理工学院）
针对联邦语义分割中新类别增量引入导致的灾难性遗忘问题，提出遗忘平衡学习模型，通过伪标签引导的损失函数和任务转换监视器，从客户端内和客户端间两方面缓解异构遗忘，显著提升模型性能。
2023-04-10 cs.CV
Background Adaptation with Residual Modeling for Exemplar-Free Class-Incremental Semantic Segmentation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
针对类增量语义分割中的背景偏移挑战，提出基于残差建模的背景自适应机制及配套损失与蒸馏策略，在多个数据集上优于现有无样本最优方法，兼顾新类准确率与旧类记忆保留。
2024-07-13 cs.CV
Re-examining Distillation For Continual Object Detection
KU Leuven（鲁汶大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
训练模型不断检测和分类对象，从新的类和新的领域，仍然是一个悬而未决的问题。在这项工作中，我们进行了彻底的分析，为什么以及如何目标检测模型忘记灾难性的。我们专注于两阶段网络中基于蒸馏的方法;当代连续目标检测工作中最常用的策略。蒸馏旨在将在先前任务上训练的模型（教师）的知识转移到新模型（学生），同时学习新任务。我们发现，这对于区域建议网络效果很好，但是错误的，但过于自信的教师预测会阻止学生模型有效地学习分类头。我们的分析提供了一个基础，使我们能够通过检测不正确的教师预测，根据当前的地面实况标签，并通过采用自适应Huber损失，而不是在分类头蒸馏损失的均方误差，提出对现有技术的改进。我们的证据表明，我们的策略不仅适用于类增量设置，而且在域增量设置，这构成了一个现实的背景下，可能是代表性的现实世界的问题的设置。
2022-10-07 cs.CV cs.LG
Incremental Learning of Object Detectors without Catastrophic Forgetting
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）
尽管卷积神经网络在目标检测方面取得了成功，但它们对于增量学习来说装备不足，即，在没有初始训练数据的情况下，调整在一组类别上训练的原始模型以额外地检测新类别的对象。他们遭受“灾难性遗忘“--当训练目标适应新的类时，原始类集的性能突然下降。我们提出了一种方法来解决这个问题，并学习对象检测器增量，既不是原始的训练数据，也不是注释的原始类在新的训练集。我们提出的解决方案的核心是一个损失函数，以平衡对新类的预测和新的蒸馏损失之间的相互作用，最大限度地减少来自原始和更新网络的旧类的响应之间的差异。这种增量学习可以多次执行，在每个步骤中针对一组新的类，与在数据集合上训练的基线网络相比，性能略有下降。我们目前的目标检测结果的PASCAL VOC 2007年和COCO数据集，以及详细的实证分析的方法。
2017-08-23 cs.CV
Incremental Object Detection via Meta-Learning
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；MBZ University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
在现实世界中，对象检测器可以不断遇到来自新类的对象实例。当现有的对象检测器应用到这样的场景中，它们在旧类上的性能显着恶化。已经报道了一些努力来解决这个限制，所有这些都应用知识蒸馏的变体来避免灾难性遗忘。我们注意到，虽然蒸馏有助于保留以前的学习，但它阻碍了对新任务的快速适应性，这是增量学习的关键要求。在这种追求中，我们提出了一种元学习方法，可以学习重塑模型梯度，从而使增量任务之间的信息得到最佳共享。这确保了通过元学习梯度预处理的无缝信息传输，最大限度地减少遗忘并最大限度地提高知识传输。与现有的元学习方法相比，我们的方法是任务不可知的，允许增量添加新的类和规模的高容量模型的目标检测。我们在PASCAL-VOC和MS COCO数据集上定义的各种增量学习设置上评估了我们的方法，其中我们的方法与最先进的方法相比表现良好。
2021-12-15 cs.CV cs.LG eess.IV
Distribution Matching Distillation without Fake Score Network
Department of Computer Science and Engineering, Seoul National University（首尔国立大学计算机科学与工程系）；Department of Computer Science and Engineering, Sogang University（成均馆大学计算机科学与工程系）
本文提出无需假评分网络的分布匹配蒸馏（FSF-DMD），通过流图生成器自身诱导的伪速度替代传统假评分网络，实现了分布级校正，并在ImageNet-1K数据集上验证了其有效性。
2026-11-06 cs.CV
M2KD: Multi-model and Multi-level Knowledge Distillation for Incremental Learning
University of Maryland（马里兰大学）；Adobe Research（奥多比研究中心）
增量学习的目标是在新类别上取得良好的性能，而不会忘记旧类别。知识蒸馏已被证明是至关重要的，在保留旧类的性能。然而，传统方法仅从最后一个模型中顺序地提取知识，导致在稍后的增量学习步骤中旧类的性能下降。本文提出了一种多模型、多层次的知识蒸馏策略。我们不是只从最后一个模型中顺序地提取知识，而是直接利用所有以前的模型快照。此外，我们采用了辅助蒸馏，以进一步保留在中间特征级别编码的知识。为了提高模型的内存效率，我们采用基于掩码的修剪来重建所有以前的模型，占用的内存很小。在标准增量学习基准上的实验表明，我们的方法更好地保留了旧类的知识，并提高了标准蒸馏技术的整体性能。
2020-09-05 cs.CV
I3DOD: Towards Incremental 3D Object Detection via Prompting
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所机器人学国家重点实验室）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院微系统与信息技术研究所）
针对增量3D目标检测中的灾难性遗忘问题，提出带任务共享提示机制与可靠蒸馏策略的I3DOD框架，在两个基准数据集上mAP@0.25较SOTA提升0.6%-2.7%。
2023-08-24 cs.AI cs.CV
Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；MICC, University of Florence（佛罗伦萨大学MICC）；Huawei Kirin Solution（华为麒麟解决方案）
大多数元学习方法假设存在一个非常大的标记数据集，可用于基础知识的情景元学习。这与更现实的持续学习范式形成对比，在这种范式中，数据以包含不相交类的任务的形式递增地到达。在本文中，我们考虑这个问题的增量元学习（IML）中，类增量离散任务。我们提出了一种IML的方法，我们称之为情节重放蒸馏（ERD），它将当前任务中的类与以前任务中的类样本混合在一起进行元学习。然后，这些片段被用于知识蒸馏，以最小化灾难性遗忘。在四个数据集上的实验表明，ERD超越了最先进的水平。特别是，在更具挑战性的一次性长任务序列增量元学习场景中，我们将IML和联合训练上限之间的差距从当前最先进的3.5% / 10.1% / 13.4%缩小到2.6% / 2.9% / 5.0%，ImageNet / Mini-ImageNet / CIFAR100。
2021-11-11 cs.CV
Density Map Distillation for Incremental Object Counting
Computer Vision Center（计算机视觉中心）
本文提出密度图蒸馏（DMD）方法，通过蒸馏损失和跨任务适配器缓解增量式物体计数中的灾难性遗忘，实验证明其性能优于现有方法。
2023-04-11 cs.CV
Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning
Australian National University（澳大利亚国立大学）；Data61-CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）；North South University Bangladesh（孟加拉国南北大学）；Monash University Australia（澳大利亚莫纳什大学）
Few-Shot类增量学习（FSCIL）描述了逐渐学习新概念的问题，其中每个概念只有几个示例可供学习者使用。由于用于训练的示例数量有限，为标准增量学习开发的技术不能逐字应用于FSCIL。在这项工作中，我们引入了一个蒸馏算法来解决FSCIL的问题，并建议在训练过程中利用语义信息。为此，我们利用词嵌入作为语义信息，这是廉价的获得，并促进蒸馏过程。此外，我们提出了一种基于视觉数据的多个并行嵌入的注意机制的方法，以对齐视觉和语义向量，从而减少了与灾难性遗忘相关的问题。通过在MiniImageNet、CUB200和CIFAR100数据集上的实验，我们通过优于现有方法建立了新的最先进的结果。
2021-03-31 cs.CV
PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning
Heuritech；Sorbonne University（巴黎索邦大学）；University of Campinas（坎皮纳斯大学）
终身学习已经引起了人们的广泛关注，但现有的研究成果仍然难以对抗灾难性遗忘，并在长时间的增量学习中积累知识。在这项工作中，我们提出了PODNet，一个受表示学习启发的模型。通过仔细平衡记住旧类和学习新类之间的折衷，PODNet对抗了灾难性遗忘，即使是在很长时间的小增量任务中也是如此--目前的研究还没有探索过这种设置。PODNet对现有技术进行了创新，在整个模型中应用了一种有效的基于空间的蒸馏损失，并为每个类别提供了多个代理向量。我们彻底验证了这些创新，将PODNet与三个数据集上的三个最先进的模型进行了比较：CIFAR 100，ImageNet 100和ImageNet 1000。我们的研究结果显示，PODNet相对于现有艺术具有显著优势，准确率分别提高了12.10、6.51和2.85个百分点。代码可在https://github.com/arthurdouillard/incremental_learning.pytorch上获得
2020-10-06 cs.CV
Class-Incremental Learning of Plant and Disease Detection: Growing Branches with Knowledge Distillation
Laval University（拉瓦尔大学）
针对农业应用中的类增量目标检测问题，本文比较了三种基于知识蒸馏的方法，发现采用动态生长分支架构的 Dynamic Y-KD 在缓解灾难性遗忘方面表现最佳。
2023-09-11 cs.CV
Multi-Teacher Knowledge Distillation for Incremental Implicitly-Refined Classification
Peking University（北京大学）
增量学习方法可以通过在顺序学习过程中从最后一个模型（作为教师模型）到当前模型（作为学生模型）提取知识来不断学习新的类。然而，这些方法不能用于增量隐式细化分类（IIRC），这是一种增量学习扩展，其中传入的类可以有两个粒度级别，一个超类标签和一个子类标签。这是因为先前学习的超类知识可能被顺序学习的子类知识占据。为了解决这个问题，我们提出了一种新的多教师知识蒸馏（MTKD）策略。为了保留子类知识，我们使用最后一个模型作为一般教师，为学生模型提取以前的知识。由于初始模型中包含丰富的超类知识，为了保持超类知识，我们使用初始模型作为超类教师来提取超类知识。然而，从两个教师模型中提取知识可能会导致学生模型做出一些冗余的预测。我们进一步提出了一种后处理机制，称为Top-k预测限制，以减少冗余的预测。在IIRC-ImageNet 120和IIRC-CIFAR 100上的实验结果表明，与现有方法相比，该方法具有更高的分类精度。
2022-02-24 cs.CV
Multi-Granularity Class Prototype Topology Distillation for Class-Incremental Source-Free Unsupervised Domain Adaptation
Hangzhou Dianzi University（杭州电子科技大学）；Macao Polytechnic University（澳门理工大学）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对类增量无源无监督域适应中的知识干扰与遗忘问题，提出多粒度类原型拓扑蒸馏算法，通过自组织与拓扑蒸馏有效迁移知识，在三个公共数据集上达到最优性能。
2025-05-27 cs.CV
Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）
给定一个使用大规模基础数据集进行良好训练的模型，Few-Shot类增量学习（FSCIL）旨在通过避免过拟合来从一些标记样本中增量学习新类，而不会灾难性地忘记之前遇到的所有类。目前，利用自由可用的未标记数据来补偿有限的标记数据的半监督学习技术可以提高许多视觉任务的性能，这可以应用于解决FSCIL中的问题，即，半监督FSCIL（Semi-FSCIL）到目前为止，非常有限的工作集中在半FSCIL任务，留下的适应性问题的半监督学习的FSCIL任务尚未解决。在本文中，我们专注于这个适应性问题，并提出了一个简单而有效的半FSCIL框架命名为不确定性感知蒸馏与类平衡（UaD-CE），包括两个模块UaD和CE。具体来说，当将未标记的数据纳入每个增量会话时，我们引入了CE模块，该模块采用类平衡的自训练，以避免易于分类的类在伪标签生成上逐渐占据主导地位。为了从参考模型中提取可靠的知识，我们进一步实现了UaD模块，该模块将不确定性引导的知识精炼与自适应蒸馏相结合。在三个基准数据集上的综合实验表明，该方法可以提高半监督学习技术在FSCIL任务中对未标记数据的适应性。
2023-01-24 cs.CV
Refined Response Distillation for Class-Incremental Player Detection
Beijing Institute of Technology（北京理工大学）；Zhejiang University（浙江大学）；Sichuan University（四川大学）
针对体育球员检测中类别增量引发的灾难性遗忘问题，提出精细化响应蒸馏方法，通过渐进式区域划分和差异化蒸馏策略优化，并构建两类数据集基准，实现了当前最优的增量球员检测性能。
2023-05-01 cs.CV
eTag: Class-Incremental Learning with Embedding Distillation and Task-Oriented Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tsinghua University（清华大学）
针对类别增量学习中的灾难性遗忘及样本、原型存储带来的隐私与分布失配问题，提出无数据的eTag，通过中间嵌入蒸馏和任务导向特征生成实现增量训练，并在多个基准上优于现有方法。
2023-04-20 cs.CV
Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
类增量语义分割（CISS）是将图像中的每个像素连续地标记为相应的对象类。为此，至关重要的是要逐步学习新的课程，而不会忘记以前学过的知识。当前的CISS方法通常使用知识蒸馏（KD）技术来保存分类器logits，或者冻结特征提取器，以避免遗忘问题。然而，强约束阻止学习新类的区分特征。我们引入了一个CISS框架，该框架可以解决遗忘问题，并有助于有效地学习新课程。我们发现，logit可以分解为两项。它们量化了输入是否属于特定类的可能性，为模型的推理过程提供了线索。在这种情况下，KD技术保留两项的和（即，类logit），这表明每个都可以改变，因此KD不模仿推理过程。为了明确地对每个术语施加约束，我们提出了一种新的分解知识蒸馏（DKD）技术，提高了模型的刚性，更有效地解决了遗忘问题。我们还介绍了一种新的初始化方法，训练新的分类器的新类。在CISS中，新类的负训练样本的数量不足以区分旧类。为了缓解这一问题，我们建议使用辅助分类器将否定知识连续转移到分类器，从而显着提高性能。标准CISS基准测试的实验结果表明，我们的框架的有效性。
2022-10-12 cs.CV
Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation
Meijo University（名城大学）
针对持续学习中的灾难性遗忘及重放方法的泛化性问题，提出基于浅层输出作教师的自蒸馏方法与易误分类样本优先存储的内存更新策略，在多个数据集上性能优于传统方法。
2024-09-17 cs.CV
Deep Class Incremental Learning from Decentralized Data
Xi’an Jiaotong University（西安交通大学）；Huawei Technologies（华为技术有限公司）
在本文中，我们专注于一个新的和具有挑战性的去中心化机器学习范式，其中有连续的数据流要解决，数据存储在多个存储库中。我们通过以下贡献启动了数据分散类增量学习（DCIL）的研究。首先，我们制定了DCIL问题，并制定了实验协议。其次，我们引入了一个范例，以创建一个基本的分散对应的典型（集中）类增量学习方法，并因此，建立一个基准DCIL研究。第三，我们进一步提出了一个分散的复合知识增量蒸馏框架（DCID），从历史模型和多个本地站点的知识转移到一般模型不断。DCID由局部类增量学习、局部模型间的协同知识蒸馏和局部模型到一般模型的聚合知识蒸馏三个主要部分组成。我们全面调查我们的DCID框架，通过使用不同的实现的三个组件。大量的实验结果表明，我们的DCID框架的有效性。基线方法的代码和拟议的DCIL将在https://github.com/zxxxxh/DCIL上发布。
2022-03-11 cs.CV
Distillation Techniques for Pseudo-rehearsal Based Incremental Learning
National University of Science and Technology（国立科技大学）
从增量到达的数据中学习的能力对于任何终身学习系统都是必不可少的。然而，标准的深度神经网络在对增量到达的数据进行训练时会忘记有关旧任务的知识，这种现象称为灾难性遗忘。我们讨论了当前基于生成对抗网络（GAN）的方法中的偏差，该方法通过从先前训练的分类器中提取知识蒸馏来学习分类器。这些偏差导致训练的分类器表现不佳。我们提出了一种方法，通过从AC-GAN的分类器中提取知识来消除这些偏见。在MNIST和CIFAR 10上的实验表明，该方法与当前基于排练的方法具有可比性。本文的代码可在https://bit.ly/incremental-learning上获得
2018-07-11 cs.AI cs.CV cs.LG
Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis
School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
针对无样本类增量学习中的灾难性遗忘问题，提出旋转增强蒸馏（RAD）方法，通过互补指标详细分析，在可塑性与稳定性间取得优越平衡，达到顶级性能。
2024-03-16 cs.CV
Hierarchical Augmentation and Distillation for Class Incremental Audio-Visual Video Recognition
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文针对类增量音视频视频识别中的灾难性遗忘问题，提出层次化增强与蒸馏方法HAD，通过分段特征增强和层次化蒸馏分别保留模型与数据中的历史知识，并在多个基准上验证其有效性。
2024-06-07 cs.CV
Face to Cartoon Incremental Super-Resolution using Knowledge Distillation
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）；Sorbonne Centre for Artificial Intelligence, Sorbonne University Abu Dhabi（索邦大学阿布扎比分校索邦人工智能中心）
针对GAN人脸超分辨率模型适配新数据的难题，提出结合知识蒸馏的人脸到卡通增量超分辨率框架ISR-KD，经CelebA预训练、iCartoonFace增量训练，可在保留原有人脸幻视能力的同时提升卡通人脸超分辨率性能。
2024-01-27 cs.CV eess.IV
A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection
Huazhong University of Science and Technology（华中科技大学）
表面缺陷检测是工业质量检测的重要环节之一。基于深度学习的表面缺陷检测方法已经显示出巨大的潜力。然而，性能良好的模型通常需要大量的训练数据，并且只能检测在训练阶段出现的缺陷。当缺陷检测模型面对增量Few-Shot数据时，不可避免地会出现灾难性遗忘和误分类问题。为了解决这些问题，本文提出了一种新的知识蒸馏网络，称为双知识对齐网络（DKAN）。所提出的DKAN方法遵循预训练-微调迁移学习范式，并设计了用于微调的知识蒸馏框架。具体来说，提出了一种增量RCNN来实现不同类别的解耦稳定特征表示。在此框架下，在类无关特征图之间设计特征知识对齐（FKA）损失以解决灾难性遗忘问题，在logit分布之间部署Logit知识对齐（LKA）损失以解决误分类问题.在增量式Few-Shot NEU-DET数据集上的实验结果表明，DKAN算法在不同的Few-Shot场景下的平均精度指标达到6.65%，优于其他方法，证明了该方法的有效性。
2022-09-01 cs.AI cs.CV
Class-Incremental Learning using Diffusion Model for Distillation and Replay
Tokyo Institute of Technology（东京工业大学）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）
利用预训练Stable Diffusion生成合成样本，用于蒸馏和回放，提升大规模类增量学习性能。
2023-10-10 cs.CV cs.LG
CD^2: Constrained Dataset Distillation for Few-Shot Class-Incremental Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
CD²通过约束数据集蒸馏方法，在少样本类增量学习中有效缓解灾难性遗忘问题，提升模型对先前知识的保留能力。
2026-01-13 cs.AI cs.CV
CoReD: Generalizing Fake Media Detection with Continual Representation using Distillation
Sungkyunkwan University（成均馆大学）
在过去的几十年里，人工智能研究取得了巨大的进步，但它仍然严重依赖于固定环境中的固定数据集。持续学习是一个不断发展的研究领域，它研究人工智能系统如何像生物系统一样从连续的链接数据流中顺序学习。与此同时，deepfakes和合成人脸图像等虚假媒体对当前的多媒体技术具有重要意义。最近，已经提出了许多可以以高精度检测深度伪造的方法。然而，由于它们在有限的评价环境中依赖固定的数据集，因此受到严重影响。因此，在这项工作中，我们将连续学习应用于神经网络的学习动态，强调其显着提高数据效率的潜力。我们提出了使用蒸馏的连续表示（CoReD）方法，该方法采用了持续学习（CL），表示学习（RL）和知识蒸馏（KD）的概念。我们设计了CoReD来对新的deepfake和GAN生成的合成人脸数据集执行顺序领域自适应任务，同时有效地最大限度地减少师生模型设置中的灾难性遗忘。我们广泛的实验结果表明，我们的方法在领域自适应方面是有效的，可以从多个数据集中检测低质量的deepfakes视频和GAN生成的图像，优于最先进的基线方法。
2021-08-05 cs.CR cs.CV cs.LG
Revisiting Distillation and Incremental Classifier Learning
National University of Sciences and Technology（国家科技大学）；School of Electrical Engineering and Computer Science（电子工程与计算机科学学院）；National Center of Artificial Intelligence（国家人工智能中心）
人类和人工神经网络（ANN）的学习机制之间的关键区别之一是人类一次学习一项任务的能力。另一方面，ANN只能同时学习多个任务。任何学习新任务的尝试都会导致他们完全忘记以前的任务。这种缺乏增量学习能力的现象被称为灾难性遗忘，被认为是构建真正的人工智能系统的主要障碍。在本文中，我们的目标是将真正有效的增量学习思想与那些只在特定条件下有效的思想分离开来。为此，我们首先深入分析了当前最先进的增量学习方法（iCaRL），并证明了系统的良好性能并不是因为现有文献中提出的原因。我们的结论是，iCaRL的成功主要是由于知识蒸馏和认识到一个关键的限制知识蒸馏，即，它往往会导致偏见的分类。最后，我们提出了一个动态阈值移动算法，能够成功地消除这种偏见。我们证明了我们的算法在CIFAR100和MNIST数据集上的有效性，显示出接近最佳的结果。我们的实现可以在https://github.com/Khurramjaved96/incremental-learning上获得。
2019-03-25 cs.CV cs.LG stat.ML
