Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation
China University of Petroleum Beijing (CUP)(中国石油大学(北京))
持续学习的目的是从一系列任务中快速、持续地学习当前任务。与其他方法相比,基于经验回放的方法在克服灾难性遗忘方面显示出了巨大的优势。这种方法的一个常见局限性是先前任务和当前任务之间的数据不平衡,这将进一步加剧遗忘。此外,如何有效地解决这种情况下的稳定性-塑性困境也是一个亟待解决的问题。在本文中,我们克服了这些挑战,提出了一种新的框架称为元学习更新通过多尺度知识蒸馏和数据增强(MMKDDA)。具体而言,我们应用多尺度知识蒸馏,以掌握在不同的功能级别的远程和短程的空间关系的演变,以缓解数据不平衡的问题。此外,该方法将情景记忆和当前任务的样本混合在一起进行在线连续训练,从而减轻了概率分布变化带来的负面影响。此外,我们通过元学习更新来优化我们的模型,这有助于在稳定性和可塑性之间保持更好的平衡。最后,我们在四个基准数据集上的实验评估显示了所提出的MMKDDA框架对其他流行基线的有效性,并且还进行了消融研究以进一步分析我们框架中每个组件的作用。
2022-09-12 cs.CV cs.LG
Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning
Rowan University(罗文大学)
提出受神经科学启发的Robust Rehearsal框架,通过特征蒸馏与再巩固机制缓解持续学习中的灾难性遗忘,在多个数据集上优于基线方法。
2024-04-22 cs.CV cs.LG
Online Continual Learning under Extreme Memory Constraints
University of Trento(特伦托大学);SAP AI Research(SAP人工智能研究院);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信LTCI实验室);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
持续学习(CL)旨在开发能够模仿人类顺序学习新任务的能力的智能体,同时能够保留从过去经验中获得的知识。在本文中,我们介绍了新的问题的内存约束在线持续学习(MC-OCL),它对内存开销施加了严格的限制,一个可能的算法可以用来避免灾难性遗忘。由于大多数(如果不是全部)以前的CL方法违反了这些约束,我们提出了MC-OCL的算法解决方案:批量级蒸馏(BLD),这是一种基于正则化的CL方法,它有效地平衡了稳定性和可塑性,以便从数据流中学习,同时保留了通过蒸馏解决旧任务的能力。我们广泛的实验评估,进行了三个公开的基准,经验表明,我们的方法成功地解决了MC-OCL问题,并实现了相当的准确性,需要更高的内存开销之前的蒸馏方法。
2022-01-12 cs.CV cs.LG
Enhancing Continual Learning in Visual Question Answering with Modality-Aware Feature Distillation
Heriot-Watt University(赫瑞瓦特大学);Alana AI(阿拉纳人工智能公司)
针对视觉问答持续学习中多模态输入演化速率不同导致遗忘的问题,提出模态感知特征蒸馏(MAFED)方法,有效提升了多模态持续学习性能并防止遗忘。
2024-06-27 cs.CV
Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision
Tianjin University(天津大学);Binghamton University, State University of New York(纽约州立大学宾汉姆顿分校)
一般持续学习(GCL)的目标是从非独立同分布的流数据中学习,而不会在训练和测试阶段对不依赖于任务边界的旧任务产生灾难性遗忘。我们揭示了关系偏差和特征偏差是灾难性遗忘的关键问题,其中关系偏差是指知识蒸馏中所有类之间关系的缺失,特征偏差是指无区别的特征表示。为此,我们提出了一个互补校准(CoCa)框架,通过挖掘互补模型的输出和功能,以减轻在GCL过程中的两个偏差。具体来说,我们提出了一个新的协作蒸馏方法来解决关系偏差。该算法利用新模型输出和保留输出的集成暗知识对模型输出进行提取,既保持了原有任务的性能,又平衡了类间的关系。此外,我们探索了一个协作的自我监督的想法,利用借口任务和监督的对比学习,通过学习完整的和歧视性的功能,为所有类解决的特征偏差问题。在四个流行的数据集上进行的大量实验表明,我们的CoCa框架与最先进的方法相比具有优异的性能。代码可在https://github.com/lijincm/CoCa上获得。
2022-12-29 cs.CV cs.LG
Discriminative Distillation to Reduce Class Confusion in Continual Learning
Sun Yat-sen University(中山大学);Key Laboratory of Machine Intelligence and Advanced Computing, MOE(机器智能与先进计算教育部重点实验室)
成功的持续学习新知识将使智能系统能够识别越来越多的对象类别。然而,当前的智能系统在更新以学习新类时通常不能正确地识别先前学习的对象类。人们普遍认为,这种降级的表现完全是由于对以前学过的知识的灾难性遗忘。在这项研究中,我们认为,类混淆现象也可能发挥作用,在降级的分类性能在持续学习,即,新类和任何先前学习的类之间的高度相似性也会导致分类器在识别这些旧类时出错,即使这些旧类的知识没有被遗忘。为了缓解类别混淆问题,我们提出了一种区分蒸馏策略,以帮助分类器在持续学习过程中更好地学习混淆类别之间的区分特征。在多个自然图像分类任务上的实验支持所提出的蒸馏策略,当与现有方法相结合时,在进一步改进持续学习方面是有效的。
2021-08-11 cs.CV
Distillation-Guided Structural Transfer for Continual Learning Beyond Sparse Distributed Memory
本文提出Selective Subnetwork Distillation (SSD),通过结构引导的持续学习框架,利用知识蒸馏实现跨任务知识重用,提升稀疏持续学习的准确率和保留率。
2025-12-17 cs.LG
CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning
Shanghai Jiao Tong University(上海交通大学);UC Santa Cruz(加州大学圣克鲁兹分校);The University of Hong Kong(香港大学)
联邦学习(FL)是一种分布式学习范式,它使多个客户能够协作学习共享的全局模型。尽管最近的进展,它仍然具有挑战性,以处理异构数据客户端,差异的数据分布通常会阻止全局模型提供良好的泛化能力,对每个参与的客户端。在本文中,我们提出了CD^2-pFed,一种新的循环蒸馏引导的通道解耦框架,在FL中个性化的全局模型,在各种数据异构性的设置。不同于以往的作品,建立逐层个性化,以克服跨不同客户端的非IID数据,我们首次尝试在通道分配模型个性化,称为通道解耦。为了进一步促进私有和共享权重之间的协作,我们提出了一种新的循环蒸馏方案,在联邦期间在局部和全局模型表示之间施加一致的正则化。在循环蒸馏的指导下,我们的通道解耦框架可以为不同类型的异质性(如特征偏斜,标签分布偏斜和概念转移)提供更准确和更普遍的结果。四个基准测试,包括自然图像和医学图像分析任务的综合实验,证明了我们的方法在本地和外部验证的一致有效性。
2022-04-08 cs.CV cs.LG
Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation
Sun Yat-sen University(中山大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对传统持续学习的灾难性遗忘问题,提出结合重要性采样的对比持续学习方法CCLIS,含RBS策略与PRD损失,在标准基准上知识保留效果优于现有基线,有效缓解在线场景遗忘。
2024-03-07 cs.LG
Self-Distillation Enables Continual Learning
MIT(麻省理工学院);Improbable AI Lab(Improbable AI实验室);ETH Zurich(苏黎世联邦理工学院)
自蒸馏微调通过直接从演示中进行基于策略的学习,有效减少持续学习中的灾难性遗忘,提升新任务准确性。
2026-08-10 cs.LG
An Attention-based Representation Distillation Baseline for Multi-Label Continual Learning
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
针对多标签持续学习场景,提出基于注意力的选择性类别注意力蒸馏(SCAD)方法,通过教师-学生知识迁移提升性能,实验优于现有最先进方法。
2024-07-19 cs.CV cs.LG
DARAD: Dual Adapters and Ranking-Aware Distillation for Continual Remote Sensing Image-Text Retrieval
针对持续遥感图像-文本检索中跨模态对齐空间失真的问题,提出双适配器与排序感知蒸馏框架DARAD,通过双分支设计与双向排序蒸馏实现新数据适应性与历史数据有效性的平衡,性能优于现有持续学习方法。
2026-08-07 cs.CV
Subspace Distillation for Continual Learning
Monash University(莫纳什大学);CSIRO(澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学);Queensland University of Technology(昆士兰科技大学)
提出一种基于线性子空间建模数据流形的知识蒸馏技术,通过利用潜在空间的流形结构有效缓解了持续学习中的灾难性遗忘,并在多个数据集上显著提升了分类与分割任务的性能。
2023-08-01 cs.AI cs.CV cs.LG
Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校);Computer Vision Center(计算机视觉中心)
边缘上的分布式学习通常包括以自我为中心的设备(SCD),它们独立地学习本地任务,并且不愿意为其他SDC的性能做出贡献。我们如何以零成本实现单个SCD的前向传输?我们将此问题形式化为分布式持续学习场景,其中SCD适应本地任务,CL模型从所产生的模型流中整合知识,而无需查看SCD的私有数据。不幸的是,目前的CL方法不直接适用于这种情况。我们提出了数据不可知的合并(DAC),一种新的双重知识蒸馏方法,合并流的SC模型,而不使用原始数据。DAC通过一种新的投影潜在蒸馏损失在潜在空间中执行蒸馏。实验结果表明,DAC能够在SCD之间进行前向传输,并在Split CIFAR100,CORe50和Split TinyImageNet上达到最先进的准确性,无论是在无再骚扰和分布式CL场景中。令人惊讶的是,即使是一个单独的分发映像也足以作为整合过程中的唯一数据源。
2023-03-28 cs.AI cs.CV cs.LG
Data-Distill-Net: A Data Distillation Approach Tailored for Reply-based Continual Learning
针对基于回放的持续学习中记忆缓冲区容量有限及启发式选择标准导致的问题,提出Data-Distill-Net框架,通过可学习的记忆缓冲区与轻量级蒸馏模块生成软标签实现全局信息蒸馏,有效缓解了模型遗忘并取得优异结果。
2025-05-28 cs.LG
CoReD: Generalizing Fake Media Detection with Continual Representation using Distillation
Sungkyunkwan University(成均馆大学)
在过去的几十年里,人工智能研究取得了巨大的进步,但它仍然严重依赖于固定环境中的固定数据集。持续学习是一个不断发展的研究领域,它研究人工智能系统如何像生物系统一样从连续的链接数据流中顺序学习。与此同时,deepfakes和合成人脸图像等虚假媒体对当前的多媒体技术具有重要意义。最近,已经提出了许多可以以高精度检测深度伪造的方法。然而,由于它们在有限的评价环境中依赖固定的数据集,因此受到严重影响。因此,在这项工作中,我们将连续学习应用于神经网络的学习动态,强调其显着提高数据效率的潜力。我们提出了使用蒸馏的连续表示(CoReD)方法,该方法采用了持续学习(CL),表示学习(RL)和知识蒸馏(KD)的概念。我们设计了CoReD来对新的deepfake和GAN生成的合成人脸数据集执行顺序领域自适应任务,同时有效地最大限度地减少师生模型设置中的灾难性遗忘。我们广泛的实验结果表明,我们的方法在领域自适应方面是有效的,可以从多个数据集中检测低质量的deepfakes视频和GAN生成的图像,优于最先进的基线方法。
2021-08-05 cs.CR cs.CV cs.LG
A Closer Look at Rehearsal-Free Continual Learning
Georgia Institute of Technology(佐治亚理工学院);Samsung Research America(三星美国研究院)
本文研究无排练持续学习,通过结合知识蒸馏与参数正则化,发现L2参数正则化在ViT自注意力模块中优于EWC、特征蒸馏及提示方法。
2023-04-03 cs.AI cs.CV cs.LG
Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation
Tsinghua University(清华大学)
针对在线持续学习中回放缓冲区导致的过拟合与欠拟合困境,提出多级在线顺序专家MOSE,通过多级监督与逆向自蒸馏提升新样本学习与旧知识保留能力。
2024-03-30 cs.AI cs.CV cs.LG
Provable Contrastive Continual Learning
SEIEE, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文为对比持续学习建立理论性能保证,揭示模型性能受先前任务训练损失约束,并据此提出使用自适应蒸馏系数的CILA算法,在标准基准上取得新的最先进性能。
2024-05-29 cs.AI cs.CV cs.LG
Multi-Head Distillation for Continual Unsupervised Domain Adaptation in Semantic Segmentation
Sorbonne Université(索邦大学);Heuritech(赫瑞科技)
无监督领域自适应(UDA)是一种迁移学习任务,旨在通过利用标记的源域在未标记的目标域上进行训练。除了具有单一源域和单一目标域的传统UDA范围之外,现实世界的感知系统面临着各种各样的场景,从不同的照明条件到世界各地的许多城市。在这种情况下,具有多个域的UDA由于在不同靶域内增加了分布偏移而增加了挑战。这项工作的重点是一个新的框架,学习UDA,连续UDA,其中模型操作顺序发现的多个目标域,没有访问以前的目标域。我们提出了MuHDi,多头蒸馏,一种方法,解决了灾难性遗忘问题,固有的持续学习任务。MuHDi从以前的模型以及辅助目标专家分割头中进行多层次的蒸馏。我们报告了具有挑战性的多目标UDA语义分割基准的广泛消融和实验,以验证所提出的学习方案和架构。
2022-04-25 cs.CV
Heterogeneous Continual Learning
NVIDIA(英伟达);New York University(纽约大学)
针对持续学习中网络架构动态演进的新场景,提出异构持续学习范式,搭配弱教师强学生的改进知识蒸馏与快速深度反转方法,在数据受限下提升了多架构下的持续学习准确率。
2023-06-14 cs.CV cs.LG
SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The 63rd Research Institute, National University of Defense Technology, Nanjing(国防科技大学第六十三研究所,南京)
针对持续学习中的灾难性遗忘问题,提出基于稀疏自编码器特征蒸馏的方法,通过将模型表示锚定在稀疏特征空间以减少表征纠缠,实现更精准的正则化,在多个基准上优于现有方法。
2026-05-25 cs.LG
Teach YOLO to Remember: A Self-Distillation Approach for Continual Object Detection
University of Padova(帕多瓦大学)
针对YOLO等单阶段无锚框检测器在持续目标检测中的灾难性遗忘问题,提出YOLO LwF自蒸馏方法,结合重放记忆显著缓解遗忘,在VOC和COCO基准上分别提升mAP +2.1%和+2.9%,达到最先进性能。
2025-03-06 cs.CV
Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning
Tianjin University(天津大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Sheffield(谢菲尔德大学)
视觉语言模型(VLM)在大规模图像-文本数据集上进行了预训练,可以对看不见的数据进行zero-shot预测,但在特定的看不见的任务上可能表现不佳。持续学习(CL)可以帮助VLM有效地适应新的数据分布,而无需联合训练,但面临着灾难性遗忘和泛化遗忘的挑战。虽然基于蒸馏的方法已经取得了重大进展,但它们表现出两个严重的局限性。一是普遍采用的单一教师范式无法传授全面的知识,二是现有方法没有充分利用原始训练数据集中的多模态信息,而是依赖于额外的数据进行提取,这增加了计算和存储开销。为了缓解这两个限制,通过借鉴知识集成理论(KIT),我们提出了一个多阶段知识集成网络(MulKI)来模拟人类在蒸馏方法中的学习过程。Mulki通过四个阶段实现这一目标,包括启发想法,添加新想法,区分想法和建立联系。在这四个阶段中,我们首先利用原型跨模态对齐,引出跨模态知识,然后通过构建与原型的细粒度模态内和模态间关系来添加新知识。在此基础上,自适应区分和重新加权两个教师模型的知识。最后,我们从任务内和任务间连接模型,整合以前的和新的知识。我们的方法在保持zero-shot能力的同时支持跨不同下游任务的持续学习,展示了其在使VLM适应不断变化的数据分布方面的潜力。
2024-11-11 cs.CV cs.LG
Decoupling Knowledge and Privacy: Post-Task Self-Distillation Replay for LLM Continual Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University(南京大学);Tsinghua University(清华大学)
针对隐私保护持续学习中保留与纠正的粒度冲突,提出SPARK分解方法,先冻结任务后分布再选择性纠正,实现有效PII抑制并保持知识保留。
2026-11-05 cs.AI cs.LG
GeoMFD: Continual Drone-View Geo-Localization with Geometry-Aware Adapter and Margin-Field Distillation
研究持续无人机视角地理定位问题,提出GeoMFD方法,结合冷启动引导策略、几何感知适配器和边缘场蒸馏,平衡适应与跨视图几何保留,用单个持续更新模型实现与特定环境方法相当的性能,有效减轻遗忘。
2026-07-29 cs.CV
Dual-Stage Invariant Continual Learning under Extreme Visual Sparsity
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院)
本文提出双阶段不变持续学习框架,通过联合蒸馏保持特征表示稳定性,解决极端稀疏条件下持续学习的挑战,实验表明在空间残留卫星检测中提升mAP 4.0。
2026-03-27 cs.CV cs.LG
Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所);Toyota Motor Europe(丰田汽车欧洲公司)
针对持续学习中旧任务数据不可用的问题,提出原型-样本关系蒸馏,在监督对比嵌入空间中持续演化类别原型并保持其相对相似性,实现无回放的任务与类别增量学习。
2023-06-06 cs.LG
Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning
Yonsei University(延世大学);Seoul National University(首尔大学)
本文提出多级知识蒸馏和动态自监督学习,用于解决持续学习中的类别增量问题,通过利用未标记数据提升模型稳定性与可塑性,实验显示在CVPR CLVISION挑战中取得第二名。
2026-03-31 cs.AI cs.CV cs.LG
Latent Distillation for Continual Object Detection at the Edge
University of Padova(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文针对边缘设备持续目标检测的内存与计算约束,提出潜在蒸馏方法 LD,并在 NanoDet 上验证,在 VOC 和 COCO 基准上将蒸馏参数开销降低 74%、FLOPs 降低 56%,同时保持检测性能。
2024-09-03 cs.AI cs.CV
Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning
Warsaw University of Technology(华沙理工大学);IDEAS NCBR;Jagiellonian University(雅盖隆大学);Gdańsk University of Technology(格但斯克理工大学);Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);Tooploox
针对无样本类别增量学习中知识蒸馏因教师网络表征偏移导致性能下降的问题,提出同步更新教师与主模型的教师自适应方法,可无缝集成于现有基于KD的CIL方法,在多个基准上实现性能提升。
2023-11-04 cs.AI cs.CV cs.LG
Low-redundancy Distillation for Continual Learning
Institute of Computing Technology(计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
LoRD通过消除持续学习中的冗余来提升模型性能和训练效率,实现高准确率与低计算开销的平衡。
2026-01-29 cs.AI cs.LG
ContiStain: Cross-Domain Relation-Preserving Distillation for Continual Multi-Domain Virtual IHC Staining
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对临床中随时间顺序获取新生物标志物数据致性能下降问题,提出ContiStain框架,用混合专家特征提取器构建特征空间,提出关系保留蒸馏策略,提升多域虚拟染色稳定性。
2026-07-07 cs.CV eess.IV
Distill Once, Adapt Life-Long: Exploring Dataset Distillation for Continual Test-Time Adaptation
KAIST, Visual Intelligence Lab(韩国科学技术院,视觉智能实验室);Chung-Ang University, FOV Lab(中央大学,FOV实验室)
提出DO-ALL框架,通过数据集蒸馏生成紧凑的合成锚点,在持续测试时适应中提供稳定参考,无需保留原始源数据,提升长期鲁棒性。
2026-07-01 cs.CV
Revisiting Distillation for Continual Learning on Visual Question Localized-Answering in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London(伦敦大学学院惠康/工程与物理科学研究委员会介入与外科科学中心(WEISS));The Chinese University of Hong Kong (CUHK)(香港中文大学(CUHK));Shun Hing Institute of Advanced Engineering, CUHK(香港中文大学信兴高等工程研究所)
针对手术VQLA系统中深度神经网络的灾难性遗忘及旧数据难获取问题,提出含RP-Dist、SH-Dist和WA技术的无样本持续学习框架,在三个公开数据集上优于传统方法,代码已公开。
2023-07-22 cs.CL cs.CV cs.RO
New Insights for the Stability-Plasticity Dilemma in Online Continual Learning
Seoul National University(首尔大学);DeepBrain AI Inc.(深脑人工智能公司);Ewha Womans University(梨花女子大学)
持续学习的目的是不断地学习新的任务(即,可塑性)而不会忘记先前从旧任务中学习的知识(即,稳定性)。在在线持续学习的场景中,其中数据严格地以流的方式来,在线持续学习的可塑性比离线持续学习更脆弱,因为可以从单个数据点获得的训练信号是有限的。为了克服在线持续学习的稳定性和可塑性的困境,我们提出了一个在线持续学习框架命名为多尺度特征自适应网络(MuFAN),利用更丰富的上下文编码提取从不同级别的预训练网络。此外,我们引入了一种新的结构方面的蒸馏损失,并取代常用的批量归一化层与新提出的稳定性塑性归一化模块训练MuFAN,同时保持高的可塑性和稳定性。MuFAN在SVHN、CIFAR 100、miniImageNet和CORe 50数据集上的表现优于其他最先进的持续学习方法。广泛的实验和消融研究验证了每个组件的重要性和可扩展性:1)来自预训练编码器的多尺度特征图,2)结构方面的蒸馏损失,以及3)MuFAN中的稳定性-可塑性归一化模块。代码可在https://github.com/whitesnowdrop/MuFAN上公开获取。
2023-02-17 cs.AI cs.CV cs.LG
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Co$^2$L: Contrastive Continual Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
自监督学习的最新突破表明,与依赖于特定任务监督的联合训练方法相比,这种算法学习的视觉表示可以更好地转移到看不见的任务中。在本文中,我们发现,类似的持有在持续学习的背景下:对比学习的表示更强大的灾难性遗忘比联合训练的表示。基于这种新的观察,我们提出了一个排练为基础的持续学习算法,专注于不断学习和维护可转移的表示。更具体地说,所提出的方案(1)使用对比学习目标来学习表示,以及(2)使用自监督蒸馏步骤来保存学习的表示。我们在流行的基准图像分类数据集下进行了广泛的实验验证,其中我们的方法设置了新的最先进的性能。
2021-06-28 cs.CV cs.LG
A Multihead Continual Learning Framework for Fine-Grained Fashion Image Retrieval with Contrastive Learning and Exponential Moving Average Distillation
Graduate School of Information Science and Technology, Hokkaido University(信息科学与技术研究生院,北海道大学);Graduate School of Information Science and Technology, The University of Tokyo(信息科学与技术研究生院,东京大学)
本文提出MCL-FIR框架,通过多头设计和对比学习结合EMA蒸馏,实现细粒度时尚图像检索的持续学习,实验表明其在效率与精度上优于现有方法。
2026-03-21 cs.AI cs.CV
Pushing the Limits of Distillation-Based Continual Learning via Classifier-Proximal Lightweight Plugins
National Key Laboratory for Novel Software Technology, Nanjing University, China(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院);Department of Computer Science and Technology, Nanjing University, China(南京大学计算机科学与技术系);School of Electronic Science and Engineering, Nanjing University, China(南京大学电子科学与工程学院)
本文提出DLC插件方法,通过轻量残差插件提升分类准确率,同时减少对特征提取过程的干扰,实现8%的精度提升和4%的参数增加。
2026-04-03 cs.LG stat.ML
Federated Continual Learning through distillation in pervasive computing
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
联邦学习已经作为一种新的机器学习范例被引入,其增强了本地设备的使用。在服务器级别,FL定期聚合分布式客户端本地学习的模型,以获得更通用的模型。当前的解决方案依赖于客户端大量存储数据的可用性,以便微调服务器发送的模型。这样的设置在移动普适计算中是不现实的,因为移动普适计算中数据存储必须保持较低,并且数据特征可以急剧变化。为了解决这种可变性,一种解决方案是使用客户端定期收集的数据来逐步适应接收到的模型。但这种天真的做法使客户面临众所周知的灾难性遗忘问题。为了解决这个问题,我们定义了一个联邦持续学习的方法,主要是基于蒸馏。我们的方法允许更好地利用资源,消除了在新数据到达时从头开始重新训练的需要,并通过限制要存储的数据量来减少内存使用。该建议已在人类活动识别(HAR)领域进行了评估,并已显示出有效地减少了灾难性遗忘的影响。
2022-07-17 cs.AI cs.LG
Divide-and-Conquer for Enhancing Unlabeled Learning, Stability, and Plasticity in Semi-supervised Continual Learning
Nanjing University(南京大学);Southeast University(东南大学)
提出USP分而治之框架,通过特征空间预留、分而治之伪标签和类均值锚定蒸馏,协同增强半监督持续学习中的可塑性、无标签学习和稳定性,最后准确率提升达5.94%。
2025-08-07 cs.CV cs.LG
Complex Facial Expression Recognition Using Deep Knowledge Distillation of Basic Features
School of Information Technology, Deakin University(德克萨斯大学信息学院)
本文提出了一种基于持续学习的方法,通过知识蒸馏和新颖的预测排序记忆重放,实现了复杂面部表情识别的最新状态,能够在少量样本下准确识别新复合表情类别。
2023-11-05 cs.AI cs.CV cs.LG
TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation
ETH Zurich(苏黎世联邦理工学院);Sony AI(索尼人工智能)
针对联邦类别持续学习中新类动态加入且 non-IID 数据加剧遗忘的问题,提出 TARGET,通过旧全局模型蒸馏与生成器合成数据实现无样本、保护隐私的持续学习。
2023-08-17 cs.AI cs.LG
Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出“嫁接”方法,通过离线策略合并优于在线策略自蒸馏,在持续学习中实现新任务与旧任务性能的帕累托改进,并避免昂贵采样。
2026-10-06 cs.AI cs.CL cs.LG
RATT: Recurrent Attention to Transient Tasks for Continual Image Captioning
University of Florence(佛罗伦萨大学);Universitat Autónoma de Barcelona(巴塞罗那自治大学)
对持续学习的研究导致了各种方法来减轻前馈分类网络中的灾难性遗忘。令人惊讶的是,到目前为止,很少有人关注应用于图像描述等问题的递归模型的持续学习。在本文中,我们系统地研究了基于LSTM的图像描述模型的持续学习。我们提出了一种基于注意力的方法,明确地适应在连续的图像描述任务词汇的瞬态性质-即任务词汇不相交。我们称我们的方法经常注意瞬态任务(RATT),并展示了如何适应持续学习方法的基础上,重量egularization和知识蒸馏经常性的持续学习的问题。我们将我们的方法应用于增量图像描述问题,我们使用MS-COCO和Flickr 30数据集定义的两个新的持续学习基准。我们的研究结果表明,RATT能够顺序学习五个字幕任务,同时不会忘记以前学过的。
2020-10-29 cs.CV cs.LG
Continual Segmentation with Disentangled Objectness Learning and Class Recognition
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);Metavisioncn(元视觉科技)
本文提出 CoMasTRe,将持续分割解耦为抗遗忘的目标性学习与持续分类两阶段,并设计多标签类别蒸馏策略,在 PASCAL VOC 和 ADE20K 上优于逐像素和基于查询的方法。
2024-04-01 cs.CV
Self-Supervised Models are Continual Learners
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
当在大规模的未标记数据上进行离线训练时,自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而,在持续学习(CL)场景中,它们的功效会灾难性地降低,其中数据按顺序呈现给模型。在本文中,我们表明,自我监督的损失函数可以无缝地转换成CL蒸馏机制,通过添加一个预测网络,映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架,(i)显着提高学习表示的质量,(ii)与几个最先进的自监督目标兼容,(iii)几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Densely Distilling Cumulative Knowledge for Continual Learning
Hefei University of Technology(合肥工业大学);Zhengzhou University(郑州大学);Academy of Cyber(网络学院)
针对持续学习中知识蒸馏方法难蒸馏全部过往任务累积知识的问题,提出密集知识蒸馏DKD方法,通过任务池分组蒸馏、随机组选择、自适应加权平衡新旧类学习,在多基准下性能超SOTA,兼具鲁棒性与通用性。
2024-05-16 cs.CV cs.LG
ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning
NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
ECLIPSE通过冻结基础模型参数并仅微调少量视觉提示嵌入,结合logit操作缓解错误传播与语义漂移,在ADE20K持续全景分割基准上实现了抗灾难性遗忘与合理可塑性的新最优性能。
2024-03-29 cs.CV
On the Query Strategies for Efficient Online Active Distillation
University of Verona(维罗纳大学)
本文评估多种查询策略,结合主动学习与在线蒸馏,在人体姿态估计数据集上验证了边缘轻量模型实时适应新环境的可行性。
2023-09-04 cs.CV cs.LG
A Unified Framework for Continual Learning and Unlearning
KIIT Bhubaneswar(基特布巴内什瓦尔大学);SagepilotAI(赛奇派洛特人工智能公司);EPFL(洛桑联邦理工学院);University of South Florida(南佛罗里达大学)
本文提出首个统一持续学习与机器遗忘的框架,通过受控知识蒸馏和固定内存缓冲区,在基准数据集上达到或超过现有方法性能,支持模型动态学习与定向遗忘。
2024-12-25 cs.LG
Preserving Linear Separability in Continual Learning by Backward Feature Projection
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
针对持续学习中的灾难性遗忘问题,提出反向特征投影(BFP)方法,允许新特征变化为旧特征的可学习线性变换,在保留旧类线性可分性的同时容纳新类,有效平衡稳定性与可塑性并提升模型性能。
2023-06-28 cs.AI cs.CV cs.LG
Continual Learning for Class- and Domain-Incremental Semantic Segmentation
Porsche Engineering Services GmbH(保时捷工程服务有限公司);Fraunhofer IOSB(弗劳恩霍夫光学、系统技术与图像利用研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
持续深度学习领域是一个新兴的领域,已经取得了很多进展。然而,同时,大多数方法仅在图像分类的任务上进行测试,这与智能车辆领域无关。直到最近才提出了类增量语义分割的方法。然而,所有这些方法都是基于某种形式的知识蒸馏。目前,还没有研究基于重放的方法,通常用于在连续设置中的对象识别。与此同时,虽然语义分割的无监督域自适应获得了很大的牵引力,但关于连续设置中的域增量学习的研究并没有得到很好的研究。因此,我们的工作目标是评估和适应既定的解决方案,连续对象识别的任务,语义分割,并提供基线方法和评估协议的任务,连续语义分割。我们首先介绍评估协议的类和域增量分割和分析选定的方法。我们表明,语义分割的任务的性质改变的方法是最有效的,在减轻遗忘相比,图像分类。特别是在类增量学习中,知识蒸馏被证明是一种重要的工具,而在领域增量学习中,重放方法是最有效的方法。
2022-09-16 cs.CV