M2KD: Multi-model and Multi-level Knowledge Distillation for Incremental Learning
University of Maryland(马里兰大学);Adobe Research(奥多比研究中心)
增量学习的目标是在新类别上取得良好的性能,而不会忘记旧类别。知识蒸馏已被证明是至关重要的,在保留旧类的性能。然而,传统方法仅从最后一个模型中顺序地提取知识,导致在稍后的增量学习步骤中旧类的性能下降。本文提出了一种多模型、多层次的知识蒸馏策略。我们不是只从最后一个模型中顺序地提取知识,而是直接利用所有以前的模型快照。此外,我们采用了辅助蒸馏,以进一步保留在中间特征级别编码的知识。为了提高模型的内存效率,我们采用基于掩码的修剪来重建所有以前的模型,占用的内存很小。在标准增量学习基准上的实验表明,我们的方法更好地保留了旧类的知识,并提高了标准蒸馏技术的整体性能。
2020-09-05 cs.CV
Two-Level Residual Distillation based Triple Network for Incremental Object Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);TAL Education Group(好未来教育集团)
基于卷积神经网络的现代目标检测方法在学习新的类时,在没有原始数据的情况下,存在严重的灾难性遗忘。由于时间消耗、存储负担和旧数据的隐私性,当模型训练后出现新的对象类时,不建议使用新旧数据从头开始训练模型。在本文中,我们提出了一种基于Faster R-CNN的新型增量对象检测器,可以在不使用旧数据的情况下从新对象类中不断学习。它是一个三重网络,其中旧模型和剩余模型作为辅助,以帮助在新类上进行增量模型学习,而不会忘记以前学习的知识。为了更好地保持新旧类之间的特征区分,在增量学习过程中,残差模型在新类上进行联合训练。此外,设计了相应的蒸馏方案来指导训练过程,该方案由两级剩余蒸馏损失和联合分类蒸馏损失组成。在VOC 2007和COCO上进行了大量的实验,实验结果表明,该方法能够有效地学习增量式检测新类别的对象,并在此背景下缓解了灾难性遗忘问题.
2020-07-27 cs.CV
Cs2K: Class-specific and Class-shared Knowledge Guidance for Incremental Semantic Segmentation
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造研究院);University of Chinese Academy of Sciences(中国科学院大学);College of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院);Peking University(北京大学)
针对增量语义分割中现有方法存在新旧类别偏向的问题,提出Cs2K引导框架,从原型引导的伪标记、类别适配及权重引导的选择性巩固三方面优化,显著提升分割性能且即插即用。
2024-07-12 cs.CV
Self-Sustaining Representation Expansion for Non-Exemplar Class-Incremental Learning
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);University of Rochester(罗切斯特大学)
非样本类增量学习是指在旧类样本无法保存的情况下,同时识别新类和旧类。这是一个具有挑战性的任务,因为表示优化和特征保留只能在新类的监督下实现。为了解决这个问题,我们提出了一种新的自我维持的表示扩展方案。我们的计划包括一个结构重组策略,融合主分支扩展和侧分支更新,以保持旧的功能,和一个主分支蒸馏计划转移不变的知识。此外,提出了一种原型选择机制,通过选择性地将新的样品纳入蒸馏过程中,以增强新旧类之间的区分。在三个基准上进行的大量实验表明,性能显著提高,分别比最先进的方法高出3%、3%和6%。
2022-03-16 cs.CV
IOR: Inversed Objects Replay for Incremental Object Detection
Beijing Natural Science Foundation(北京自然科学基金);National Natural Science Foundation of China(国家自然科学基金)
本文提出IOR方法,通过反向检测器生成旧类样本,减少冗余生成和存储,提升增量物体检测性能。
2025-11-20 cs.CV
Multi-View Correlation Distillation for Incremental Object Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
在实际应用中,新的对象类经常出现在检测模型已经在具有固定类的准备好的数据集上训练之后。由于旧数据的存储负担和隐私性,有时用新旧数据从头开始训练模型是不切实际的。仅使用新数据对旧模型进行微调将导致众所周知的灾难性遗忘现象,这严重降低了现代目标检测器的性能。在本文中,我们提出了一种新的\textbf{M} ulti- \textbf{V} view \textbf{C} orrelation \textbf{D} istilation(MVCD)为基础的增量目标检测方法,探讨了两阶段目标检测器(Faster R-CNN)的特征空间中的相关性。为了更好地传递从旧类中学习到的知识并保持学习新类的能力,我们设计了通道、点和实例视图的相关蒸馏损失,以规范增量模型的学习。为了更好地评价增量式目标检测中旧类的稳定性和新类的可塑性,提出了一种新的度量标准Stability-Plasticity-mAP。在VOC 2007和COCO上进行的大量实验表明,MVCD可以有效地学习检测新类的对象,并减轻灾难性遗忘的问题。
2021-07-05 cs.CV
Memory-Free Generative Replay For Class-Incremental Learning
Australian National University(澳大利亚国立大学)
基于正则化的方法有利于缓解类增量学习中的灾难性遗忘问题。在没有旧任务图像的情况下,他们通常假设如果分类器在新图像上产生类似的输出,则旧知识被很好地保留。在本文中,我们发现它们的有效性在很大程度上取决于旧类的性质:它们在容易区分的类上工作得很好,但在更细粒度的类上可能会失败,例如,男孩和女孩。从本质上讲,这种方法将新数据投影到全连接层中的权重向量所覆盖的特征空间上,对应于旧类。由此产生的投影在细粒度的旧类上是相似的,因此新的分类器将逐渐失去对这些类的区分能力。为了解决这个问题,我们提出了一种无记忆的生成重放策略,通过直接从旧分类器生成具有代表性的旧图像并结合新数据进行新分类器训练来保留细粒度的旧类特征。为了解决所生成的样本的均匀化问题,我们还提出了一个多样性损失,最大限度地提高所生成的样本之间的Kullback Leibler(KL)分歧。我们的方法是最好的补充,事先正则化为基础的方法被证明是有效的,易于区分的旧类。我们在CUB-200-2011,Caltech-101,CIFAR-100和Tiny ImageNet上验证了上述设计和见解,并表明我们的策略明显优于现有的无内存方法。代码可在https://github.com/xmengxin/MFGR上获得
2021-09-01 cs.CV
Class Incremental Medical Image Segmentation via Prototype-Guided Calibration and Dual-Aligned Distillation
本文提出PGCD和DAPD方法,通过原型引导校准和双对齐蒸馏提升类增量医学图像分割的性能与鲁棒性。
2025-12-29 cs.CV
Exemplar-Free Class Incremental Learning via Incremental Representation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Mathematics and Statistics, Beijing Technology and Business University(北京工商大学数学与统计学院)
提出无需构建旧伪特征的简单增量表示(IR)框架,通过数据集增强和L2空间维持损失防止遗忘,并使用1近邻分类器推理,在多个数据集上取得相当性能且显著防止模型遗忘。
2024-03-24 cs.CV
Towards Non-Exemplar Semi-Supervised Class-Incremental Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院人工智能与机器人中心)
针对类增量学习依赖旧数据和大量标注的问题,提出无样本半监督CIL框架,结合对比学习与Semi-IPC原型分类器,在仅用不到1%标签且不存旧样本下超越先进方法。
2024-03-27 cs.CV
Faster ILOD: Incremental Learning for Object Detectors based on Faster RCNN
School of ITEE, The University of Queensland(昆士兰大学ITEE学院)
人类的视觉和感知系统本质上是渐进的,随着时间的推移,新的知识不断学习,而现有的知识被保留。另一方面,深度学习网络不适合增量学习。当一个经过良好训练的网络适应新的类别时,它在旧类别上的性能将急剧下降。为了解决这个问题,已经探索了保留深度学习模型的旧知识的增量学习方法。然而,最先进的增量对象检测器采用外部固定区域提议方法,与基于区域提议网络(RPN)的对象检测器(例如Faster RCNN)相比,该方法增加了总计算时间并降低了准确性。本文的目的是利用知识蒸馏设计一个高效的端到端增量式目标检测器。我们首先评估和分析基于RPN的检测器的性能与经典的蒸馏增量检测任务。然后,我们引入了多网络自适应蒸馏,当针对新任务微调模型时,可以适当地保留旧类别的知识。在基准数据集PASCAL VOC和COCO上的实验表明,基于Faster RCNN的增量检测器更准确,比基线检测器快13倍。
2020-10-07 cs.CV
Static-Dynamic Co-Teaching for Class-Incremental 3D Object Detection
National University of Singapore(新加坡国立大学)
基于深度学习的方法在3D目标检测任务中表现出卓越的性能。然而,当增量学习新类而不重新访问旧数据时,它们会在最初训练的类上遭受灾难性的性能下降。这种“灾难性遗忘“现象阻碍了3D目标检测方法在现实世界场景中的部署,其中需要连续学习系统。在本文中,我们研究了尚未探索的重要类增量三维目标检测问题,并提出了第一个解决方案- SDCoT,一种新的静态-动态协同教学方法。我们的SDCoT通过静态教师消除了旧类的灾难性遗忘,该静态教师为新样本中的旧类提供伪注释,并通过提取具有蒸馏损失的先前知识来正则化当前模型。与此同时,SDCoT通过动态教师从新数据中不断学习底层知识。我们在两个基准数据集上进行了广泛的实验,并在几个增量学习场景中展示了SDCoT比基线方法的优越性能。
2021-12-14 cs.CV
Large Scale Incremental Learning
Northeastern University(东北大学);Microsoft Research(微软研究院);City University of New York(纽约城市大学)
现代机器学习在增量学习新类时会遭受灾难性遗忘。由于旧类的数据丢失,性能急剧下降。增量学习方法通过知识提取和保留少量的旧类样本来保留从旧类中获取的知识。然而,这些方法很难扩展到大量的类。我们认为这是由于两个因素的结合:(a)新旧类别之间的数据不平衡,以及(b)视觉上相似的类别数量越来越多。当训练数据不平衡时,区分越来越多的视觉上相似的类是特别具有挑战性的。我们提出了一个简单而有效的方法来解决这个数据不平衡的问题。我们发现,最后一个全连接层对新类有很强的偏见,这种偏见可以通过线性模型来纠正。使用两个偏置参数,我们的方法在两个大型数据集上表现得非常好:ImageNet(1000类)和MS-Celeb-1 M(10000类),分别比最先进的算法高出11.1%和13.2%。
2019-05-30 cs.CV
Incremental Learning In Online Scenario
Purdue University(普渡大学)
现代深度学习方法通过使用所有可用的特定于任务的数据来训练模型,在许多视觉应用中取得了巨大的成功。然而,有两个主要的障碍使得它在现实生活中的应用具有挑战性:(1)学习新的类使得训练的模型很快忘记旧的类知识,这被称为灾难性遗忘。(2)随着旧类的新观测值随着时间的推移而顺序出现,分布可能会以不可预见的方式发生变化,从而使未来数据的性能急剧下降,这被称为概念漂移。当前最先进的增量学习方法需要很长的时间来训练模型,每当新的类被添加,并且没有一个考虑到旧类的新观察。在本文中,我们提出了一个增量学习框架,可以在具有挑战性的在线学习的情况下工作,并处理新的类数据和旧类的新观察。我们通过引入改进的交叉蒸馏损失和两步学习技术来在线解决问题(1)。我们的方法优于当前最先进的离线增量学习方法在CIFAR-100和ImageNet-1000(ILSVRC 2012)数据集上获得的结果,这些数据集在相同的实验协议下,但在在线场景中。我们还提供了一种简单而有效的方法来缓解问题(2),通过使用旧类的每个新观察的特征来更新样本集,并基于我们使用Food-101数据集的完整框架展示了在线食品图像分类的实际应用。
2021-04-19 cs.CV
Multivariate Prototype Representation for Domain-Generalized Incremental Learning
CSIRO(联邦科学与工业研究组织);The Australian National University(澳大利亚国立大学);The University of Queensland(昆士兰大学);Queensland University of Technology(昆士兰科技大学)
针对域泛化类别增量学习,本文提出基于多元正态分布并持续更新均值与协方差的原型表示,结合知识蒸馏、原型漂移估计和Cholesky伪特征采样,在不保存旧样本的情况下缓解遗忘与域偏移。
2023-09-24 cs.CV
Learning New Concepts, Remembering the Old: Continual Learning for Multimodal Concept Bottleneck Models
HKUST(GZ) Deep Interdisciplinary Intelligence Lab(香港科技大学(广州)深度跨学科智能实验室);Wuhan University(武汉大学);Shandong University(山东大学);Tongji University(同济大学);Peking University(北京大学);University of Macau(澳门大学);HKUST(GZ) Institute of Deep Perception Technology, JITRI Deep Interdisciplinary Intelligence Lab(香港科技大学(广州)感知技术研究所,JITRI深度跨学科智能实验室)
针对多模态概念瓶颈模型在动态数据流下的持续学习难题,提出CONCIL框架,将概念与决策层更新重构为线性回归,避免灾难性遗忘,实现绝对知识记忆并显著超越传统方法。
2025-08-04 cs.CR cs.CV cs.LG
MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning
University of Electronic Science and Technology of China(电子科技大学)
本文提出 MCF-VC 方法,通过细粒度敏感性选择与两阶段知识蒸馏缓解多模态视频字幕生成中的类增量灾难性遗忘,并在 MSR-VTT 上验证其有效性。
2024-02-27 cs.CV
Balanced Destruction-Reconstruction Dynamics for Memory-replay Class Incremental Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对记忆重放类增量学习中的灾难性遗忘问题,提出平衡破坏-重建模块(BDR),通过动态操纵梯度平衡新旧样本贡献,显著提升现有最先进方法的性能与泛化能力。
2023-08-03 cs.CV
Multi-Granularity Regularized Re-Balancing for Class Incremental Learning
Tianjin University(天津大学);Haihe Laboratory of Information Technology Application Innovation(海河实验室信息技术应用创新实验室)
深度学习模型在增量学习新任务时会遭受灾难性遗忘。增量学习被提出来保留旧类的知识,同时学习识别新类。一个典型的方法是使用一些例子,以避免忘记旧的知识。在这种情况下,新旧类之间的数据不平衡是导致模型性能下降的关键问题。已经设计了几种策略来纠正由于数据不平衡而对新类别的偏见。然而,它们严重依赖于新旧阶级之间的偏见关系的假设。因此,它们不适合复杂的实际应用。在这项研究中,我们提出了一个不可知的方法,多粒度正则化重新平衡(MGRB),来解决这个问题。重新平衡的方法是用来减轻数据不平衡的影响,但是,我们的经验发现,他们将不适合新的类。为此,我们进一步设计了一个新的多粒度正则化项,使模型能够考虑类的相关性,以及重新平衡数据。首先通过对语义或视觉上相似的类进行分组来构造类层次结构。然后,多粒度正则化将one-hot标签向量转换为连续的标签分布,该标签分布基于所构造的类层次结构来反映目标类与其他类之间的关系。因此,该模型可以学习类间的关系信息,这有助于增强对旧类和新类的学习。在公共数据集和真实故障诊断数据集上的实验结果验证了该方法的有效性。
2022-06-30 cs.CV
Towards Class-incremental Object Detection with Nearest Mean of Exemplars
增量学习是在线学习的一种形式。增量学习可以修改深度学习模型的参数和结构,使模型在学习新知识的同时不会忘记旧知识。防止灾难性遗忘是增量学习最重要的任务。然而,目前的增量学习往往只针对一种类型的输入。例如,如果输入图像是相同类型的,则当前增量模型可以学习新知识,同时不忘记旧知识。但是,如果在输入图形中添加几个类别,当前模型将无法正确处理,准确率将显著下降。为此,本文提出了一种增量式的方法,通过识别原型向量和增加向量的距离来调整模型的参数,使模型能够在不发生灾难性遗忘的情况下学习新的知识。实验证明了该方法的有效性。
2020-10-09 cs.CV
Heterogeneous Forgetting Compensation for Class-Incremental Learning
State Key Laboratory of Robotics, Shenyang Institute of AutomationChinese Academy of Sciences(中国科学院沈阳自动化研究所机器人学国家重点实验室);Institutes for Robotics and Intelligent ManufacturingChinese Academy of Sciences(中国科学院机器人与智能制造研究所);University of Chinese Academy of Sciences(中国科学院大学);South China University of Technology(华南理工大学)
针对类别增量学习中现有方法忽略旧类别遗忘异质性的问题,提出异构遗忘补偿模型,从表征与梯度层面设计模块与损失函数,有效提升增量学习性能。
2023-08-24 cs.CV
iFS-RCNN: An Incremental Few-shot Instance Segmenter
VinAI Research(VinAI研究院);Oregon State University(俄勒冈州立大学)
本文讨论了增量式Few-Shot实例分割,当访问旧类的训练样本不再可用时,新对象类的一些示例到达,目标是在旧类和新类上都表现良好。我们通过在第二阶段扩展常见的Mask-RCNN框架做出了两个贡献-即,我们指定了一个基于probit函数的新对象类分类器和一个新的不确定性指导的边界框预测器。前者利用贝叶斯学习来解决新类的训练样本缺乏的问题。后者不仅学习预测对象边界框,而且还学习估计预测的不确定性作为限界框细化的指导。我们还指定了两个新的损失函数的估计对象类分布和边界框的不确定性。我们的贡献在COCO数据集上产生了显着的性能增益,特别是在AP实例分割度量中,新类的增益为+6,旧类的增益为+16。此外,我们是第一个在更具挑战性的LVIS数据集上评估增量Few-Shot设置的人。
2022-05-31 cs.CV
End-to-End Incremental Learning
University of Málaga(马拉加大学);University of Córdoba(科尔多瓦大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
尽管近年来深度学习方法由于其最先进的结果而脱颖而出,但它们仍然遭受灾难性遗忘,当使用增量添加的新类进行训练时,整体性能急剧下降。这是由于当前的神经网络架构需要整个数据集(包括来自旧类和新类的所有样本)来更新模型-随着类的数量增加,这一要求很容易变得不可持续。我们通过增量学习深度神经网络的方法来解决这个问题,使用新数据和仅对应于旧类样本的小样本集。这是基于由保留从旧类获得的知识的蒸馏措施和学习新类的交叉熵损失组成的损失。我们的增量训练是在保持整个框架端到端的同时实现的,即,联合学习数据表示和分类器,不像最近的方法没有这样的保证。我们在CIFAR-100和ImageNet(ILSVRC 2012)图像分类数据集上对我们的方法进行了广泛的评估,并展示了最先进的性能。
2018-09-03 cs.CV
Self-distilled Knowledge Delegator for Exemplar-free Class Incremental Learning
Hikvision Research Institute(海康威视研究院)
由于无法从旧任务中获取数据,无样本增量学习极具挑战性。在本文中,我们试图利用先前训练的分类模型中编码的知识来处理持续学习中的灾难性遗忘问题。具体来说,我们引入了一个所谓的知识委托者,它能够通过生成信息样本将知识从训练模型转移到随机重新初始化的新模型。仅给定先前的模型,委托者以无数据的方式使用自蒸馏机制有效地学习。然后利用委托者提取的知识来保持模型在增量学习中对旧任务的性能。这个简单的增量学习框架在四个广泛使用的类增量基准(即CIFAR-100、ImageNet-Subset、Caltech-101和Flowers-102)上大幅超越了现有的无范例方法。值得注意的是,我们实现了与一些基于范例的方法相当的性能,而无需访问任何范例。
2022-05-23 cs.CV
Mitigating Background Shift in Class-Incremental Semantic Segmentation
Sungkyunkwan University(成均馆大学)
针对类增量语义分割中的背景偏移问题,提出背景-类别分离框架,结合选择性伪标签、自适应特征蒸馏、正交目标和标签引导输出蒸馏,实现最先进性能。
2024-07-16 cs.CV
Federated Incremental Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);ETH Zürich(苏黎世联邦理工学院)
针对联邦语义分割中新类别增量引入导致的灾难性遗忘问题,提出遗忘平衡学习模型,通过伪标签引导的损失函数和任务转换监视器,从客户端内和客户端间两方面缓解异构遗忘,显著提升模型性能。
2023-04-10 cs.CV
Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);School of Optics and Photonics, Beijing Institute of Technology(北京理工大学光电学院);School of Medical Technology, Beijing Institute of Technology(北京理工大学医学技术学院)
针对无样本类别增量学习中原型表征能力不足、易过时的问题,提出基于多元高斯分布采样与相似度特征补偿的回溯特征合成方法,显著提升学习效率并达到SOTA性能。
2024-11-03 cs.CV
SS-IL: Separated Softmax for Incremental Learning
Seoul National University(首尔国立大学);Sungkyunkwan University(成均馆大学)
我们考虑类增量学习(CIL)问题,其中学习代理不断学习新的类从增量到达的训练数据批次,并旨在预测所有的类学习到目前为止。该问题的主要挑战是灾难性遗忘,并且对于基于样本记忆的CIL方法,通常已知的是,遗忘通常是由由于新类别和旧类别之间的数据不平衡(在样本记忆中)而注入的分类得分偏差引起的。虽然已经提出了几种方法来通过一些附加的后处理来校正这种分数偏差,例如,然而,在评分调整或平衡微调方面,并没有对这种偏差的根本原因进行系统的分析。为此,我们分析了通过结合所有旧类和新类的输出分数来计算softmax概率可能是偏差的主要原因。然后,我们提出了一种新的方法,被称为分离的Softmax增量学习(SS-IL),它包括分离的Softmax(SS)输出层结合任务明智的知识蒸馏(TKD),以解决这种偏见。在我们对几个大规模CIL基准数据集的广泛实验结果中,我们表明我们的SS-IL通过在新旧类之间获得更平衡的预测分数,实现了强大的最先进的准确性,而无需任何额外的后处理。
2022-06-21 cs.CV
Learnable Expansion-and-Compression Network for Few-shot Class-Incremental Learning
University of Chinese Academy of Sciences(中国科学院大学);Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
Few-Shot类增量学习(FSCIL)是一个重要而又具有挑战性的问题,其目标是在较少的监督下不断扩展模型的表示能力。一方面,当拟合新任务(新类)时,在旧任务(旧类)上训练的特征可能会显著漂移,导致灾难性遗忘。另一方面,用Few-Shot新类样本训练大量模型参数会导致模型过拟合。在本文中,我们提出了一个可学习的扩展和压缩网络(LEC网),旨在同时解决灾难性遗忘和模型过拟合问题在一个统一的框架。LEC-Net通过尝试性地扩展网络节点,扩大了特征的表示能力,从模型正则化的角度缓解了旧网络的特征漂移。通过压缩扩展后的网络节点,LEC-Net追求模型参数的最小增加,从紧凑表示的角度减轻了扩展后网络的过拟合。在CUB/CIFAR-100数据集上的实验表明,LEC-Net在基线上提高了5~7%,而在性能上优于现有技术5~ 6%。LEC-Net还展示了成为具有动态模型扩展能力的通用增量学习方法的潜力。
2021-04-06 cs.CV
Non-exemplar Class-incremental Learning by Random Auxiliary Classes Augmentation and Mixed Features
针对无样本类别增量学习的灾难性遗忘问题,提出结合随机辅助类别增强与混合特征的RAMF方法,在三个基准上超越现有无样本方法,性能接近基于回放的方法。
2023-08-25 cs.CV
Delving into Transformer for Incremental Semantic Segmentation
Tsinghua University(清华大学);Tencent(腾讯);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
增量语义分割(ISS)是一项新兴任务,其中通过增量添加新类来更新旧模型。目前,基于卷积神经网络的方法在ISS中占主导地位。然而,研究表明,这种方法很难在学习新任务的同时保持对旧任务的良好表现(灾难性遗忘)。相比之下,基于Transformer的方法在抑制灾难性遗忘方面具有天然优势,因为它能够对长期和短期任务进行建模。在这项工作中,我们探讨了为什么Transformer为基础的架构更适合于ISS,并相应地提出了TISS,一个基于Transformer的增量语义分割的方法。此外,为了更好地缓解灾难性遗忘,同时保持ISS上的可传递性,我们引入了两个分片对比损失,分别模仿相似特征和增强特征多样性,这可以进一步提高TISS的性能。在Pascal-VOC 2012和ADE 20 K数据集的广泛实验设置下,我们的方法显着优于最先进的增量语义分割方法。
2022-11-18 cs.CV
CoMBO: Conflict Mitigation via Branched Optimization for Class Incremental Segmentation
Beijing Institute of Technology(北京理工大学);University of Birmingham(伯明翰大学);Beijing Jiaotong University(北京交通大学)
针对类增量分割中旧类遗忘与新类学习之间的冲突,提出CoMBO方法,通过查询冲突减少模块及HDHL和IKD两种分支优化策略,在保留旧知识的同时有效吸收新类,并在全景和语义分割任务中取得优越性能。
2025-04-05 cs.CV
Knowledge Restore and Transfer for Multi-label Class-Incremental Learning
Xi’an Jiaotong University(西安交通大学);Huawei Technologies(华为技术有限公司)
针对多标签类别增量学习中的标签缺失、信息稀释与灾难性遗忘问题,提出 KRT 框架,通过 DPL、ICA 和 token 损失恢复并迁移旧知识,实验验证其性能提升与抗遗忘效果。
2023-08-14 cs.CV
When Video Classification Meets Incremental Classes
Zhejiang University(浙江大学)
随着社交媒体的快速发展,每天都有大量的新类别视频产生,这就迫切需要一种能够在有限的存储和计算资源下,在保持旧视频知识的同时不断更新新类别的视频分类方法。作为增量学习任务的一个子领域,灾难性遗忘的挑战在增量视频分类中是不可避免的。为了更好地缓解它,我们利用视频的一些特性。首先,在知识转移过程中,对时空知识进行分解,而不是将其作为一个整体来处理;轨迹也被用来细化分解。其次,我们提出了一个双粒度的样本选择方法,选择和存储代表性的视频实例的旧类和关键帧内的视频在一个紧张的存储预算。我们在Something-Something V2和Kinetics数据集上对我们的方法和以前的SOTA类增量学习方法进行了基准测试,我们的方法明显优于以前的方法。
2021-09-01 cs.CV
Rethinking Class-Incremental Learning from a Dynamic Imbalanced Learning Perspective
Beijing University of Posts and Telecommunications(北京邮电大学);University of Chinese Academy of Sciences(中国科学院大学)
本文从数据不平衡视角分析类增量学习中的灾难性遗忘,提出均匀原型对比学习(UPCL)以学习均匀紧凑特征,并动态调整类间间隔,在多个基准数据集上达到最先进性能。
2024-05-24 cs.CV
Class-Incremental Learning for Semantic Segmentation Re-Using Neither Old Data Nor Old Labels
Technische Universität Braunschweig(布伦瑞克工业大学)
虽然经过语义分割训练的神经网络对于自动驾驶中的感知至关重要,但大多数当前算法假设固定数量的类,这在开发需要额外类的新自动驾驶系统时存在重大限制。在本文中,我们提出了一种技术,实现类增量学习的语义分割,而不使用标记的数据,模型最初的trained.Previous方法仍然依赖于标签的旧类和新类,或无法正确区分它们。我们展示了如何克服这些问题与一种新的类增量学习技术,但需要标签只为新的类。具体来说,(i)我们引入了一个新的损失函数,既不依赖于旧数据,也不依赖于旧标签,(ii)我们展示了如何将新的类以模块化的方式集成到预先训练的语义分割模型中,最后(iii)我们在统一的设置中重新实现了以前的方法,以将它们与我们的方法进行比较。我们在Cityscapes数据集上评估了我们的方法,在那里我们超过了所有基线的mIoU性能3.5%的绝对值,达到了一个结果,这只比单阶段训练的性能上限低2.2%的绝对值,同时依赖于所有数据和标签。
2020-05-12 cs.CV cs.LG eess.IV
Adaptive Margin Global Classifier for Exemplar-Free Class-Incremental Learning
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院)
针对无样本类增量学习(EFCIL)中分类器偏向新类及旧类特征判别力下降的问题,提出自适应边际全局分类器(AMGC),通过基于分布的全局分类器(DBGC)与方差扩大(VE)操作构建等价于自适应边际Softmax交叉熵的新分类损失,在挑战性EFCIL设置下取得卓越图像分类结果。
2024-09-20 cs.CV
DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation
The Hong Kong Polytechnic University(香港理工大学);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港创新研究院人工智能与机器人创新中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出DiffusePast框架,通过基于扩散模型的双生成器范式生成语义准确的旧类图像及可靠掩码,结合逐类令牌嵌入和背景伪标签分配,有效缓解了类别增量语义分割中的灾难性遗忘问题。
2023-08-02 cs.CV
Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation
Beijing Institute of Technology(北京理工大学);University of Birmingham(伯明翰大学);Beijing Jiaotong University(北京交通大学)
增量或持续学习已经被广泛研究用于图像分类任务以减轻灾难性遗忘,灾难性遗忘是在学习新概念时忘记先前学习的知识的现象。对于类增量语义分割,由于背景移位,这种现象经常变得更糟,即,在先前阶段学习的一些概念在当前训练阶段被分配给背景类,因此,显著地降低了这些旧概念的性能。为了解决这个问题,我们提出了一个简单而有效的方法,在本文中,命名为挖掘看不见的类通过区域对象分割(MicroSeg)。我们的MicroSeg是基于这样的假设,即具有强对象性的背景区域可能属于历史或未来阶段的那些概念。因此,为了避免在当前训练阶段忘记旧知识,我们的MicroSeg首先使用提案生成器将给定图像拆分为数百个分段提案。然后,在优化期间,对来自背景的具有强对象性的那些分段建议进行聚类并分配新定义的标签。这样可以更好地感知旧概念在特征空间中的分布特征,从而缓解背景移动造成的灾难性遗忘。在Pascal VOC和ADE 20K数据集上进行的大量实验显示了具有竞争力的结果,很好地验证了所提出的MicroSeg的有效性。
2023-01-07 cs.CV
Prototype-based Incremental Few-Shot Semantic Segmentation
Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利理工学院);University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院)
语义分割模型有两个基本的弱点:i)它们需要大量的训练集,具有昂贵的像素级注释,ii)它们具有静态输出空间,受限于训练集的类。为了解决这两个问题,我们引入了一个新的任务,增量Few-Shot分割(iFSS)。iFSS的目标是扩展一个预先训练的分割模型,其中包含来自少量注释图像的新类别,并且无需访问旧的训练数据。为了克服现有模型inIFS的局限性,我们提出了基于原型的增量Few-Shot分割(PIFS),耦合原型学习和知识蒸馏。PIFS利用原型来初始化新类的分类器,微调网络以改进其特征表示。我们设计了一个基于原型的蒸馏损失的分数,旧的和新的类原型,以避免过度拟合和遗忘,和批量重整,以应付非独立同分布的Few-Shot数据。我们为iFSS创建了一个广泛的基准测试,表明PIFS在所有情况下都优于几种Few-Shot和增量学习方法。
2021-10-18 cs.CV
Memory-Efficient Incremental Learning Through Feature Adaptation
Google Research(谷歌研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍了一种增量学习的方法,它保留了以前学习过的类中训练图像的特征描述符,而不是图像本身,这与大多数现有的工作不同。保持图像的低维特征嵌入显著减少了内存占用。我们假设随着新数据的相继出现,模型会针对新类别进行增量更新,这需要在不访问相应原始训练图像的情况下,将先前存储的特征向量调整到更新后的特征空间。特征自适应是用多层感知器学习的,该感知器在训练图像上对与原始和更新网络的输出相对应的特征对进行训练。我们通过实验验证,这样的变换可以很好地推广到前一组类的特征,并将特征映射到特征空间中的判别子空间。因此,分类器在新类和旧类上联合优化,而不需要旧类图像。实验结果表明,我们的方法在增量学习基准测试中达到了最先进的分类精度,同时与图像保留策略相比,至少有一个数量级的内存占用。
2020-08-24 cs.CV
Focus, Align, and Sustain: Counteracting Gradient Dilution in Incremental Object Detection
University of Science and Technology of China(中国科学技术大学)
提出FAS框架,通过注入先验的查询聚焦判别信号、确定性锚点蒸馏对齐分配、流形支持回放维持旧类分布,解决增量目标检测中梯度稀释导致的性能下降问题。
2026-06-16 cs.CV
Maintaining Discrimination and Fairness in Class Incremental Learning
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);University of Connecticut(康涅狄格大学)
深度神经网络(DNN)已被应用于类增量学习,其目的是解决不断学习新类的常见现实问题。标准DNN的一个缺点是它们容易发生灾难性遗忘。知识蒸馏(KD)是一种常用的技术,以减轻这一问题。在本文中,我们证明了它确实可以帮助模型在旧类中输出更具区分力的结果。但是,它不能缓解模型倾向于将对象分类到新类别的问题,导致KD的积极作用被隐藏和限制。我们观察到导致灾难性遗忘的一个重要因素是类增量学习中最后一个全连接(FC)层的权重是高度有偏的。在本文中,我们提出了一个简单而有效的解决方案,由上述观察的动机,以解决灾难性遗忘。首先,我们利用KD来维持旧阶层内部的歧视。然后,为了进一步保持旧类和新类之间的公平性,我们提出了权重对齐(WA),在正常的训练过程后,在FC层中纠正有偏差的权重。与以往的工作不同,WA不需要任何额外的参数或预先的验证集,因为它利用了有偏权重本身提供的信息。该方法在ImageNet-1000,ImageNet-100和CIFAR-100上进行了各种设置的评估。实验结果表明,该方法能有效地缓解灾难性遗忘,显著优于现有方法。
2019-11-16 cs.CV
DILF-EN framework for Class-Incremental Learning
Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安蒂波利斯中心);IIT Kanpur(印度理工学院坎普尔分校);IIT Roorkee(印度理工学院鲁尔基分校)
深度学习模型在类增量学习设置中的新阶段中引入类进行训练时,会对旧阶段中的类进行灾难性遗忘。在这项工作中,我们表明,灾难性遗忘对模型预测的影响随着同一图像的方向变化而变化,这是一个新的发现。在此基础上,我们提出了一种新的数据集成方法,该方法结合了对图像不同方向的预测,以帮助模型保留有关先前看到的类的进一步信息,从而减少遗忘对模型预测的影响。然而,如果模型是使用传统技术训练的,我们就不能直接使用数据集成方法。因此,我们还提出了一种新的双增量学习框架,该框架涉及联合训练具有两个增量学习目标的网络,即,类增量学习目标和我们提出的数据增量学习目标。在双增量学习框架中,每个图像属于两个类,即,图像类(用于类增量学习)和方向类(用于数据增量学习)。在类增量学习中,每个新的阶段引入一组新的类,并且模型不能从旧的阶段访问完整的训练数据。在我们提出的数据增量学习中,方向类在所有阶段中保持相同,并且由类增量学习中的新阶段引入的数据充当这些方向类的新训练数据。我们的经验表明,双增量学习框架是至关重要的数据集成方法。我们将我们提出的方法应用于最先进的类增量学习方法,并以经验表明,我们的框架显着提高了这些方法的性能。
2021-12-23 cs.CV
Boosting the Class-Incremental Learning in 3D Point Clouds via Zero-Collection-Cost Basic Shape Pre-Training
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications(北京邮电大学智能工程与自动化学院);School of Electronic Engineering, Beijing University of Posts and Telecommunications(北京邮电大学电子工程学院)
针对3D点云类别增量学习依赖范例或2D预训练方法无法迁移的问题,本文提出零采集成本基础形状预训练数据集及嵌入几何知识的框架,兼容无/有范例设置,在基准数据集上大幅超越基线方法。
2025-04-11 cs.CV
InOR-Net: Incremental 3D Object Recognition Network for Point Cloud Representation
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Northwestern University(西北大学);Sony AI(索尼人工智能研究院);Nanjing University of Science and Technology(南京理工大学);ETH Zurich(苏黎世联邦理工学院)
三维物体识别已经成功地成为现实世界中一个吸引人的研究课题。然而,大多数现有的识别模型不合理地假设,在现实世界中的3D对象的类别不会随着时间的推移而改变。这种不切实际的假设可能会导致它们连续学习3D对象的新类的显著性能下降,这是由于对旧学习类的灾难性遗忘。此外,他们不能探索哪些3D几何特征对于减轻旧类3D对象上的灾难性遗忘是必不可少的。为了解决上述挑战,我们开发了一种新的增量3D对象识别网络(即,InOR-Net),通过克服对旧类的灾难性遗忘,不断识别新类的三维对象。具体而言,类别引导的几何推理提出了理由局部几何结构与独特的3D特征的每个类,利用内在的类别信息。然后,我们提出了一种新的批评引起的几何注意力机制,以区分每个类内的3D几何特征是有益的,以克服旧类的3D对象的灾难性遗忘,同时防止无用的3D特征的负面影响。此外,设计了一种双重自适应公平性补偿策略,通过补偿分类器的偏置权值和预测值来克服类不平衡带来的遗忘。对比实验验证了所提出的InOR-Net模型在几个公共点云数据集上的最新性能。
2023-02-20 cs.CV
Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning
Nankai University(南开大学);Tianjin University of Technology(天津理工大学)
针对非范例类增量学习中的灾难性遗忘,提出细粒度选择性补丁级蒸馏与任务无关原型生成方法,平衡可塑性与稳定性,在多个基准上验证有效性。
2023-12-20 cs.CV
Co-Transport for Class-Incremental Learning
Nanjing University(南京大学)
传统的学习系统是在封闭世界中训练固定数量的类,并且需要预先收集数据集。然而,新的类经常出现在现实世界的应用程序中,应该逐步学习。例如,在电子商务中,每天都有新的产品出现,在社交媒体社区中,新的主题经常出现。在这种情况下,增量模型应该一次学习几个新类,而不会忘记。我们发现,在增量学习中,新老类之间存在很强的相关性,可以应用于相互关联和促进不同的学习阶段。因此,我们提出了类增量学习(COIL)的CO-运输,它学习跨增量任务与类明智的语义关系。具体来说,协同传输有两个方面:预期传输试图用最佳传输知识来增强旧的分类器,作为快速模型自适应。回溯传输的目的是将新的类分类器作为旧的类分类器向后传输,以克服遗忘。通过这些传输,COIL有效地适应新的任务,并稳定地抵抗遗忘。在基准数据集和真实多媒体数据集上的实验验证了该方法的有效性。
2021-07-27 cs.CV cs.LG
Balanced Residual Distillation Learning for 3D Point Cloud Class-Incremental Semantic Segmentation
School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院)
本文提出均衡残差蒸馏学习框架BRDL,通过残差蒸馏动态精炼旧知识并利用均衡伪标签缓解类别偏差,在三维点云类增量语义分割中取得新基准性能。
2025-01-03 cs.CV
Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection
研究增量目标检测问题,提出共生启发的知识蒸馏方法(SIKD),通过空间共生蒸馏和语义共生蒸馏在两个层面利用对象共生,有效解决现有方法不足,实验验证了该方法的有效性和优越性。
2026-07-16 cs.AI cs.CV
Defying Imbalanced Forgetting in Class Incremental Learning
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统全国重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Centre for Artificial Intelligence and Robotics, HK Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院人工智能与机器人中心);School of Intelligence Science and Technology, University of Science and Technology, Beijing(北京科技大学智能科学与技术学院)
本文首次揭示了类增量学习中的不平衡遗忘现象,并提出类感知解耦(CLAD)方法,通过预测易遗忘旧类并提升其准确率,无缝集成现有方法,实现高达2.56%的性能提升。
2024-03-22 cs.CV
Towards Generalized and Incremental Few-Shot Object Detection
National University of Singapore(新加坡国立大学);SIMTech, Agency for Science, Technology and Research(新加坡科技研究局智能系统研究院(SIMTech))
现实世界的目标检测是非常需要配备的学习可扩展性,可以逐步扩大其检测类。此外,这种仅从少量注释训练样本的学习进一步增加了对象检测器的灵活性,这在诸如自动驾驶、机器人等许多应用中是高度期望的。然而,这种具有Few-Shot训练样本的顺序学习场景通常会导致灾难性遗忘和显著的过拟合。针对上述增量式少样本学习问题,提出了一种新的增量式Few-Shot目标检测(iFSOD)方法,能够有效地从Few-Shot样本中进行持续学习。具体而言,提出了一种双分支框架(DBF)的基础和新的(Few-Shot)类的特征表示解耦,这有利于旧的知识保留和新的类适应同时进行。此外,采用渐进式模型更新规则,在适应连续的新类时有效地保留旧类的长期记忆。此外,任务间的类分离损失,提出了扩大新来的类的决策区域,更好的特征区分。我们在Pascal VOC和MS-COCO上进行了实验,实验结果表明,该方法可以有效地解决增量式Few-Shot检测问题,显著提高了基本类和新类的检测精度。
2021-09-23 cs.CV
PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning
Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院人工智能与机器人中心);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出PASS++双偏差减少框架,通过自监督变换和原型增强解决无样本类增量学习中的表示与分类器偏差,无需旧样本即可媲美基于样本的方法。
2024-07-19 cs.CV cs.LG
Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks
Nanjing University(南京大学);Hikvision Research Institute(海康威视研究院)
在我们不断变化的世界中,新的阶级经常出现,例如,社交媒体中的新兴话题和电子商务中的新型产品。模型应该识别新类,同时保持对旧类的可区分性。在严重的情况下,只有有限的新实例可用于增量更新模型。识别Few-Shot新类而不忘记旧类的任务称为Few-Shot类增量学习(FSCIL)。在这项工作中,我们提出了一个新的范式FSCIL元学习的基础上学习多阶段增量任务(LIMIT),合成假FSCIL任务的基础数据集。伪任务的数据格式与“真实”增量任务一致,通过元学习可以为不可见任务建立可泛化的特征空间。此外,LIMIT还构建了一个基于Transformer的标定模块,将旧的类分类器和新的类原型标定到相同的尺度上,填补了语义鸿沟。校准模块还利用集合到集合函数自适应地将特定于实例的嵌入上下文化。LIMIT有效地适应新类,同时防止遗忘旧类。在三个基准数据集(CIFAR100,miniImageNet和CUB200)和大规模数据集上的实验,即,ImageNet ILSVRC 2012验证了LIMIT实现了最先进的性能。
2022-08-19 cs.CV cs.LG