3rd Continual Learning Workshop Challenge on Egocentric Category and Instance Level Object Understanding
University of Bologna（博洛尼亚大学）；Meta AI；KU Leuven（鲁汶大学）；ServiceNow Research（ServiceNow研究院）
持续学习，也称为终身学习或增量学习，最近在人工智能研究界重新引起了人们的兴趣。最近的研究工作已经迅速导致能够减少深度神经网络中的灾难性遗忘现象的影响的新颖算法的设计。由于对该领域的兴趣激增，近年来举办了许多比赛，因为它们是激发有前途方向研究的绝佳机会。本文总结了CVPR 2022第三届持续学习计算机视觉（CLVision）研讨会上举办的挑战赛的想法、设计选择、规则和结果。本次比赛的重点是复杂的连续目标检测任务，这仍然是在文献中探索的分类任务相比。该挑战赛基于新颖的EgoObjects数据集的挑战版本，这是一个大规模的以自我为中心的对象数据集，旨在对以自我为中心的类别/实例级对象理解的持续学习算法进行基准测试，该数据集覆盖了超过100 k个视频帧中的1 k个唯一主对象和250多个类别。
2022-12-13 cs.AI cs.CV cs.LG
Online Continual Learning via the Knowledge Invariant and Spread-out Properties
China University of Petroleum Beijing（中国石油大学（北京））；College of Information Science and Engineering（信息科学与工程学院）
持续学习的目标是提供能够使用从先前任务获得的知识持续学习任务序列的智能代理，同时在先前任务上表现良好。然而，这种持续学习范式的一个关键挑战是灾难性遗忘，即使模型适应新任务通常会导致先前任务的严重性能下降。当前基于记忆的方法显示出它们在减轻灾难性遗忘问题上的成功，这是通过在学习新任务时重放过去任务中的例子来实现的。然而，这些方法对于从先前任务转移结构知识是不可行的，即，不同实例之间的相似性或不相似性。此外，当前任务和先前任务之间的学习偏差也是一个亟待解决的问题。在这项工作中，我们提出了一种新的方法，命名为在线持续学习通过知识不变和排除属性（OCLKISP），其中我们通过知识不变和排除属性（KISP）约束嵌入功能的演变。因此，我们可以进一步转移先前任务的实例间结构知识，同时减轻由于学习偏差而导致的遗忘。我们经验评估我们提出的方法在四个流行的基准持续学习：分裂CIFAR 100，分裂SVHN，分裂CUB 200和分裂Tiny-Image-Net。实验结果表明，我们提出的方法相比，国家的最先进的持续学习算法的有效性。
2023-02-02 cs.CV
Continual Multiple Instance Learning for Hematologic Disease Diagnosis
Institute of AI for Health, Helmholtz Munich（人工智能健康研究所，海德堡穆恩）
针对多示例学习（MIL）在血液病诊断中面临的持续学习难题，提出基于实例注意力分数与均值距离的重演机制，有效避免灾难性遗忘并显著优于现有方法。
2025-08-09 cs.CV cs.LG eess.IV
D-CBRS: Accounting For Intra-Class Diversity in Continual Learning
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
持续学习--从一系列学习经验中积累知识--是一个重要而又具有挑战性的问题。在这个范例中，模型对先前遇到的实例的性能可能会随着看到额外的数据而大幅下降。在处理类别不平衡的数据时，遗忘会进一步加剧。先前的工作已经提出了基于重放的方法，其目的是通过智能地存储用于将来重放的实例来减少遗忘。虽然类平衡水库采样（CBRS）已成功地处理不平衡的数据，类内的多样性尚未占，隐含假设类的每个实例是同样的信息。我们提出了Diverse-CBRS（D-CBRS），该算法允许我们在内存中存储实例时考虑类内的多样性。我们的研究结果表明，D-CBRS优于最先进的存储管理持续学习算法的数据集具有相当大的类内多样性。
2022-07-13 cs.CV cs.LG stat.ML
Continual Segmentation with Disentangled Objectness Learning and Class Recognition
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；Metavisioncn（元视觉科技）
本文提出 CoMasTRe，将持续分割解耦为抗遗忘的目标性学习与持续分类两阶段，并设计多标签类别蒸馏策略，在 PASCAL VOC 和 ADE20K 上优于逐像素和基于查询的方法。
2024-04-01 cs.CV
Evolving Without Ending: Unifying Multimodal Incremental Learning for Continual Panoptic Perception
本文提出了一种统一多模态和多任务持续学习的持续全景感知模型，通过跨模态编码器和可变知识继承模块解决灾难性遗忘问题，并在多任务增量场景中实现模型进化。
2026-01-22 cs.CV
Teach YOLO to Remember: A Self-Distillation Approach for Continual Object Detection
University of Padova（帕多瓦大学）
针对YOLO等单阶段无锚框检测器在持续目标检测中的灾难性遗忘问题，提出YOLO LwF自蒸馏方法，结合重放记忆显著缓解遗忘，在VOC和COCO基准上分别提升mAP +2.1%和+2.9%，达到最先进性能。
2025-03-06 cs.CV
SCoDA: Self-supervised Continual Domain Adaptation
Shiv Nadar Institution of Eminence（施瓦尔纳卓越研究所）
提出SCoDA框架，通过自监督预训练初始化和几何流形对齐原则，结合实例级特征匹配与空间相似度损失及EMA更新，有效解决无源域自适应中的几何信息丢失与灾难性遗忘问题。
2025-09-12 cs.CV
Dynamic VAEs with Generative Replay for Continual Zero-shot Learning
Indian Institute of Science（印度科学研究院）
连续零样本学习（Continual zero-shot learning，CSCL）是一个新的领域，用于对模型在训练过程中没有看到的对象进行顺序分类。它比zero-shot和持续学习方法更适用于实际情况，即数据可能连续地只具有少数类的属性和其他类的属性和特征。持续学习（CL）遭受灾难性遗忘，并且由于在训练期间缺乏实际数据（或特征），零样本学习（ZNL）模型不能像最先进的监督分类器那样对对象进行分类。本文提出了一种新的连续零样本学习（DVGR-CQML）模型，该模型随着每个任务的大小而增长，并使用生成重放来更新先前学习的类以避免遗忘。我们证明了我们的混合模型（DVGR-CNOL）优于基线，并且在几个数据集上是有效的，即，CUB、AWA 1、AWA 2和aPY。我们表明，我们的方法是优越的任务顺序学习的零样本学习（Zero-Shot Learning）。我们还讨论了我们的结果对太阳数据集。
2021-04-26 cs.CV
Long-Tailed Continual Learning For Visual Food Recognition
针对食物识别中持续学习与长尾分布的挑战，提出了基于知识蒸馏预测器与CAM-CutMix增强技术的端到端框架，并构建了三个反映真实人群消费的新基准数据集，显著提升了实例稀少类别的泛化能力。
2025-04-26 cs.CV
Learn to Memorize and to Forget: A Continual Learning Perspective of Dynamic SLAM
Peking University（北京大学）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
本文从持续学习视角提出动态SLAM框架，利用自适应遗忘机制缓解动态物体干扰，通过持续学习分类器限制回放，提升系统鲁棒性。
2024-07-18 cs.CV
CLVOS23: A Long Video Object Segmentation Dataset for Continual Learning
University of Waterloo（滑铁卢大学）
本文首次将半监督在线视频目标分割（VOS）形式化为持续学习问题，提出CLVOS23长视频数据集，并在LWL基线上实现基于正则化的持续学习方法，验证了其有效性。
2023-04-09 cs.CV cs.LG
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University（西安交通大学）
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言，使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题，我们提出了多个深度度量表示学习，通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外，我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广，平均平均类准确率（AMCA）64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning
NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）
ECLIPSE通过冻结基础模型参数并仅微调少量视觉提示嵌入，结合logit操作缓解错误传播与语义漂移，在ADE20K持续全景分割基准上实现了抗灾难性遗忘与合理可塑性的新最优性能。
2024-03-29 cs.CV
Discriminative Distillation to Reduce Class Confusion in Continual Learning
Sun Yat-sen University（中山大学）；Key Laboratory of Machine Intelligence and Advanced Computing, MOE（机器智能与先进计算教育部重点实验室）
成功的持续学习新知识将使智能系统能够识别越来越多的对象类别。然而，当前的智能系统在更新以学习新类时通常不能正确地识别先前学习的对象类。人们普遍认为，这种降级的表现完全是由于对以前学过的知识的灾难性遗忘。在这项研究中，我们认为，类混淆现象也可能发挥作用，在降级的分类性能在持续学习，即，新类和任何先前学习的类之间的高度相似性也会导致分类器在识别这些旧类时出错，即使这些旧类的知识没有被遗忘。为了缓解类别混淆问题，我们提出了一种区分蒸馏策略，以帮助分类器在持续学习过程中更好地学习混淆类别之间的区分特征。在多个自然图像分类任务上的实验支持所提出的蒸馏策略，当与现有方法相结合时，在进一步改进持续学习方面是有效的。
2021-08-11 cs.CV
TiROD: Tiny Robotics Dataset and Benchmark for Continual Object Detection
Department of Information Engineering（信息工程系）
本文提出TiROD数据集，用于评估适用于小型机器人平台的轻量持续学习策略，通过NanoDet检测器测试不同场景下的持续学习挑战。
2026-07-07 cs.CV cs.RO
Noise-Tolerant Coreset-Based Class Incremental Continual Learning
University of Kentucky（肯塔基大学）；SRI International（SRI国际）
针对类增量持续学习中的标签与实例噪声问题，提出基于核心集重放缓冲区的两种噪声容忍算法，理论推导鲁棒性界限，实验证明其显著提升分类精度并减少遗忘。
2025-04-23 cs.AI cs.CV cs.LG
Learnability and Algorithm for Continual Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；ByteDance（字节跳动）；KDDI Research（KDDI研究所）
本文证明类增量学习（CIL）是可学习的，并基于理论提出新算法，实验验证其有效性。
2023-06-22 cs.CV cs.LG
Learning Novel Objects Continually Through Curiosity
The Pennsylvania State University（宾夕法尼亚州立大学）
孩子们通过对他们最好奇的概念提出问题来不断学习。随着机器人成为我们社会不可或缺的一部分，它们也必须通过向人类提问来不断学习未知的概念。本文分析了一种最新的持续学习方法。本文进一步开发了一种自监督技术，通过利用以前学习的类的聚类表示来找到环境中的大多数不确定对象。我们在机器人持续学习的基准数据集上测试了我们的方法。我们的研究结果表明，我们的好奇心驱动的持续学习方法击败随机采样和基于softmax的不确定性采样的分类精度和学习的类的总数。
2021-05-15 cs.CV cs.LG cs.RO
Generative Negative Text Replay for Continual Vision-Language Pretraining
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；KU Leuven（鲁汶大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程技术研究中心）
视觉语言预训练（VLP）近年来受到越来越多的关注。在大量的图像-文本对的情况下，使用对比度损失训练的VLP模型在各种任务中取得了令人印象深刻的性能，特别是在下游数据集上的zero-shot泛化。然而，在实际应用中，海量数据通常以流式方式收集，这要求VLP模型不断地从传入数据中整合新知识并保留学习到的知识。在这项工作中，我们专注于学习一个VLP模型与连续块的图像-文本对数据。为了解决这种多模态持续学习设置中的灾难性遗忘问题，我们首先引入伪文本重放，该伪文本重放以记忆中的训练图像为条件生成硬否定文本，这不仅更好地保留了学习的知识，而且提高了对比损失中否定样本的多样性。此外，我们提出了图像和文本之间的多模态知识蒸馏，以调整新旧模型之间的实例预测。我们在Conceptual Caption数据集的实例和类增量分割上增量地预训练我们的模型，并在zero-shot图像分类和图像-文本检索任务上评估模型。我们的方法始终优于现有的基线，具有很大的利润率，这表明了它的优越性。值得注意的是，我们实现了$4.60\%$的图像分类下游数据集的类增量分裂的平均性能提升。
2022-10-31 cs.CV
Exemplar-Free Continual Transformer with Convolutions
IIT Kharagpur（印度理工学院克勒格布尔分校）；IML Amazon India（亚马逊印度机器学习研究所）；IISER Kolkata（印度科学教育与研究学院加尔各答分校）
针对视觉Transformer持续学习方法需存样本或推理要任务ID的问题，提出无样本方法ConTraCon，用卷积重加权Transformer注意力权重降参数量，结合增强熵法识别任务，实验显示其以更少参数超多个对比方法。
2023-08-22 cs.CV
Big-model Driven Few-shot Continual Learning
Nanjing University of Science and Technology（南京理工大学）；SeetaCloud（思特云科技）
提出大模型驱动的小样本持续学习框架，利用大模型迁移与自适应蒸馏，在三个数据集上超越现有方法。
2023-09-02 cs.CV
FACT: Feature Adaptive Continual-learning Tracker for Multiple Object Tracking
School of Electrical and Electricity Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学伍舜德智能工程学院）；National Subsea Centre, Robert Gordon University（罗伯特戈登大学国家深海中心）
针对现有多目标跟踪方法难兼顾长期遮挡适应性与实时性、离线方法仅用局部历史信息的问题，提出FACT框架，含FAC模块与两阶段关联模块，可利用全量历史信息实现实时跟踪，在MOT17、MOT20基准上达SOTA在线跟踪性能。
2024-09-12 cs.CV
Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners
Hikvision Research Institute（海康威视研究院）
在持续学习的SSLAD-Track 3B挑战赛中，我们提出了用Transformer进行持续学习的方法（COLT）。我们发现，Transformers遭受灾难性遗忘相比，卷积神经网络。我们的方法的主要原理是配备Transformer为基础的特征提取器与旧的知识蒸馏和头部扩展策略，以竞争灾难性遗忘。在这份报告中，我们首先介绍了目标检测的持续学习的总体框架。然后，分析了解决方案中关键要素对抵御灾难性遗忘的影响。我们的方法在SSLAD-Track 3B挑战测试集上实现了70.78 mAP。
2022-01-13 cs.CV
Continual Learning for Class- and Domain-Incremental Semantic Segmentation
Porsche Engineering Services GmbH（保时捷工程服务有限公司）；Fraunhofer IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
持续深度学习领域是一个新兴的领域，已经取得了很多进展。然而，同时，大多数方法仅在图像分类的任务上进行测试，这与智能车辆领域无关。直到最近才提出了类增量语义分割的方法。然而，所有这些方法都是基于某种形式的知识蒸馏。目前，还没有研究基于重放的方法，通常用于在连续设置中的对象识别。与此同时，虽然语义分割的无监督域自适应获得了很大的牵引力，但关于连续设置中的域增量学习的研究并没有得到很好的研究。因此，我们的工作目标是评估和适应既定的解决方案，连续对象识别的任务，语义分割，并提供基线方法和评估协议的任务，连续语义分割。我们首先介绍评估协议的类和域增量分割和分析选定的方法。我们表明，语义分割的任务的性质改变的方法是最有效的，在减轻遗忘相比，图像分类。特别是在类增量学习中，知识蒸馏被证明是一种重要的工具，而在领域增量学习中，重放方法是最有效的方法。
2022-09-16 cs.CV
The Surprising Positive Knowledge Transfer in Continual 3D Object Shape Reconstruction
Georgia Institute of Technology（佐治亚理工学院）
持续学习已经被广泛研究用于分类任务，其方法被开发用于主要避免灾难性遗忘，这是一种以牺牲最近的样本为代价而忘记早期学习的概念的现象。在这项工作中，我们提出了一组连续的3D对象形状重建任务，包括从不同的输入模式完整的3D形状重建，以及可见表面（2.5D）重建，令人惊讶地证明了积极的知识（向后和向前）传输时，训练仅使用标准SGD，没有额外的几何学。我们提供的证据表明，随着时间的推移，不断更新的单视图三维形状重建的表示学习提高了学习和新类别的性能。我们提供了一个新的分析知识转移能力，通过查看在顺序学习任务的输出分布偏移。最后，我们表明，这些任务的鲁棒性，导致有一个代理表示学习任务连续分类的潜力。与本文一起发布的代码库、数据集和预训练模型可以在https://github.com/rehg-lab/CLRec上找到
2022-09-09 cs.CV cs.LG
Pathological Prior-Guided Multiple Instance Learning For Mitigating Catastrophic Forgetting in Breast Cancer Whole Slide Image Classification
Renmin Hospital of Wuhan University（武汉大学人民医院）；EPITA Research Laboratory（EPITA研究实验室）
提出PaGMIL框架，利用微观和宏观病理先验增强多实例学习，通过选择代表性斑块和提示引导分类头，缓解乳腺癌全切片图像分类中的灾难性遗忘，并在多个公开数据集上优于现有持续学习方法。
2025-03-25 cs.CV
vCLIMB: A Novel Video Class Incremental Learning Benchmark
Pontificia Universidad Católica de Chile（智利天主教大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Adobe Research（奥多比研究院）
持续学习（CL）在视频领域中未被充分探索。少数现有的作品包含分裂与不平衡的类分布的任务，或研究的问题，在不合适的数据集。本文介绍了一种新颖的视频持续学习基准测试工具vCLIMB。vCLIMB是一个标准化的测试平台，用于分析视频持续学习中深度模型的灾难性遗忘。与以前的工作相比，我们专注于类增量持续学习，模型在一系列不相交的任务上训练，并将类的数量均匀地分布在任务中。我们对vCLIMB中现有的CL方法进行了深入的评估，并观察到视频数据中的两个独特挑战。在帧级执行要存储在情景记忆中的实例的选择。第二，未修剪的训练数据影响帧采样策略的有效性。我们解决这两个挑战，提出了一个时间一致性正则化，可以应用于基于内存的持续学习方法。我们的方法显著提高了基线，在未修剪的持续学习任务上提高了24%。
2022-04-06 cs.CV
CLAD: A realistic Continual Learning benchmark for Autonomous Driving
KU Leuven（鲁汶大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在本文中，我们描述的设计和思想，激励一个新的持续学习基准自动驾驶（CLAD），重点是对象分类和目标检测的问题。该基准测试使用SODA 10 M，这是一个最近发布的大规模数据集，涉及自动驾驶相关问题。首先，我们回顾和讨论现有的持续学习基准，它们是如何相关的，并表明大多数是持续学习的极端情况。为此，我们调查了在三个高排名的计算机视觉会议的持续学习论文中使用的基准。接下来，我们介绍CLAD-C，一个在线分类基准实现通过按时间顺序的数据流，构成类和域增量的挑战;和CLAD-D，域增量连续目标检测基准。我们通过对ICCV 2021年CLAD挑战研讨会前3名参与者使用的技术和方法的调查，研究了基准测试带来的固有困难和挑战。我们的结论与可能的途径，以改善目前的持续学习的艺术状态，以及我们认为有前途的未来研究的方向。
2022-10-07 cs.CV cs.LG
Continual Learning by Three-Phase Consolidation
University of Bologna（博洛尼亚大学）
本文提出TPC（三阶段巩固）方法，通过三个不同学习阶段消除类偏差并限制梯度修正，有效控制持续学习中的遗忘问题，在复杂数据集上展现出优于现有方法的准确性与效率。
2024-03-12 cs.CV cs.LG
CUCL: Codebook for Unsupervised Continual Learning
University of Electronic Science and Technology of China（电子科技大学）
针对无监督持续学习（UCL）中前几个任务结果欠佳的问题，提出CUCL方法，通过引入Product Quantization注入多样性并应用交叉量化对比损失学习判别特征，结合Codebook Rehearsal解决灾难性遗忘，在多个基准上显著提升性能。
2023-11-25 cs.CV
Few-Shot Continual Active Learning by a Robot
University of Waterloo（滑铁卢大学）；Capital One（第一资本金融公司）
在本文中，我们考虑了一个具有挑战性的，但现实的持续学习（CL）问题，Few-Shot连续主动学习（FoCAL），其中CL代理提供了一个新的或以前学习的任务，在每个增量和代理只有有限的标签预算可用的未标记的数据。为此，我们建立在持续学习和主动学习文献，并开发了一个框架，可以让CL代理不断学习新的对象类从几个标记的训练样本。我们的框架表示每个对象类使用均匀高斯混合模型（GMM），并使用伪排练，以减轻灾难性遗忘。该框架还对先前学习的类的高斯表示使用不确定性度量，以找到要在增量中标记的信息量最大的样本。我们评估我们的方法对CORe-50数据集和一个真正的人形机器人的对象分类任务。结果表明，我们的方法不仅在数据集上产生了最先进的结果，而且还允许真实的机器人在用户提供有限的标签监督的情况下，在真实环境中不断学习看不见的对象。
2022-10-12 cs.CV cs.LG cs.RO
Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
本文提出DRAPE框架，通过生成连续实例特定的软提示提升多模态持续指令微调性能，采用跨模态注意力和投影梯度投影减少遗忘，实验显示优于现有基线方法。
2026-10-21 cs.AI cs.CV cs.LG
Representational Continuity for Unsupervised Continual Learning
New York University（纽约大学）；KAIST（韩国科学技术院）；Microsoft Research（微软研究院）；AITRICS
持续学习（CL）的目的是在不忘记先前获得的知识的情况下学习一系列任务。然而，最近的CL进展仅限于监督持续学习（SCL）的情况。因此，它们不能扩展到真实世界的应用程序，其中数据分布通常是有偏见的和无注释的。在这项工作中，我们专注于无监督的持续学习（UCL），在那里我们学习的功能表示的一个未标记的任务序列，并表明依赖于注释数据是没有必要的持续学习。我们进行了一项系统的研究，分析了学习到的特征表示，并表明无监督的视觉表示对灾难性遗忘的鲁棒性令人惊讶，始终实现更好的性能，并且比SCL更好地推广到分布外任务。此外，我们发现，UCL实现了一个更平滑的损失景观，通过定性分析的学习表示和学习有意义的特征表示。此外，我们提出了终身无监督混淆（LUMP），一个简单而有效的技术，在当前任务和以前的任务的实例之间进行插值，以减轻无监督表示的灾难性遗忘。
2022-04-05 cs.CV cs.LG
RECALL: Rehearsal-free Continual Learning for Object Classification
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
RECALL通过计算旧类别的logits来避免遗忘，无需保存先前数据，为持续学习提供新类别分类方法，并在CORe50和iCIFAR-100上优于现有方法。
2022-09-29 cs.AI cs.CV
Generative appearance replay for continual unsupervised domain adaptation
IBM Research Europe（IBM欧洲研究院）；ETH Zurich（苏黎世联邦理工学院）；Uppsala University（乌普萨拉大学）
深度学习模型在对大量标记数据进行训练时可以实现高精度。然而，现实世界的场景通常涉及几个挑战：训练数据可能会分期提供，可能来自多个不同的域，并且可能不包含用于训练的标签。某些设置，例如医疗应用，通常涉及由于隐私法规而禁止保留先前看到的数据的进一步限制。在这项工作中，为了解决这些挑战，我们研究了无监督分割在持续学习的情况下，涉及域转移。为此，我们引入了GarDA（连续领域自适应的生成外观重放），这是一种基于生成重放的方法，可以将分割模型顺序地适应于具有未标记数据的新领域。与单步无监督领域自适应（UDA）相比，对一系列领域的持续适应使得能够利用和整合来自多个领域的信息。与以前的增量UDA方法不同，我们的方法不需要访问以前看到的数据，使其适用于许多实际场景。我们在两个具有不同器官和模式的数据集上评估了GarDA，它大大优于现有技术。
2023-02-13 cs.AI cs.CV
A Multi-Head Model for Continual Learning via Out-of-Distribution Replay
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究了持续学习（CL）的类增量学习（CIL）。人们已经提出了许多方法来处理CIL中的灾难性遗忘。大多数方法在一个单一的头网络中为所有任务的所有类增量地构建一个单一的分类器。为了防止CF，一种流行的方法是记住以前任务中的少量样本，并在新任务的训练过程中重放它们。然而，这种方法仍然遭受严重的CF，因为为先前任务学习的参数仅用存储器中保存的有限数量的样本来更新或调整。本文提出了一种完全不同的方法，使用称为MORE的Transformer网络为每个任务构建单独的分类器（head）（称为多头模型）。代替使用存储器中保存的样本来更新现有方法中的先前任务/类的网络，MORE利用保存的样本来构建任务特定分类器（添加新的分类头），而不更新针对先前任务/类学习的网络。MORE中的新任务的模型被训练以学习任务的类别，并且还检测不来自相同数据分布的样本（即，分发外（OOD）。这使得测试实例所属任务的分类器能够为正确的类产生高分，而其他任务的分类器则产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，MORE优于最先进的基线，也自然能够在持续学习设置中执行OOD检测。
2022-08-20 cs.CV cs.LG
Class-Incremental Experience Replay for Continual Learning under Concept Drift
Virginia Commonwealth University（弗吉尼亚联邦大学）
现代机器学习系统需要能够应对不断到达和变化的数据。处理这种情况的两个主要研究领域是持续学习和数据流挖掘。持续学习的重点是积累知识和避免遗忘，假设一旦学习的信息应该被存储。数据流挖掘的重点是适应概念漂移和丢弃过时的信息，假设只有最新的数据是相关的。虽然这两个领域主要是分开开发的，但它们为从动态数据中学习的问题提供了互补的观点。有必要通过提供能够学习和存储新信息的架构来统一它们，以及重新访问和适应以前看到的概念的变化。我们提出了一种新的持续学习方法，可以处理这两个任务。我们的体验重播方法由存储增量到达类的不同实例的重心驱动内存提供动力。这通过一个反应式子空间缓冲器来增强，该缓冲器跟踪先前看到的类中的概念漂移事件并相应地调整聚类。因此，所提出的架构能够记住有效的和忘记过时的信息，提供了一个整体的框架下的概念漂移持续学习。
2021-04-24 cs.CV cs.LG
Memory-Efficient Continual Learning Object Segmentation for Long Video
University of Waterloo（滑铁卢大学）
提出GRCL与RMSCL两种持续学习技术，降低在线视频目标分割的内存需求并提升长视频准确率与泛化能力，在长视频数据集上提升鲁棒性且在短视频数据集上保持可比性能。
2024-02-14 cs.AI cs.CV
Dual-Stage Invariant Continual Learning under Extreme Visual Sparsity
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）
本文提出双阶段不变持续学习框架，通过联合蒸馏保持特征表示稳定性，解决极端稀疏条件下持续学习的挑战，实验表明在空间残留卫星检测中提升mAP 4.0。
2026-03-27 cs.CV cs.LG
Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System
NavInfo Europe（四维图新欧洲公司）
人类擅长从不断变化的环境中不断学习，而对于表现出灾难性遗忘的深度神经网络来说，这仍然是一个挑战。互补学习系统（CLS）理论认为，大脑中快速的基于实例的学习和缓慢的结构化学习之间的相互作用对于积累和保持知识至关重要。在这里，我们提出了CLS-ER，一种新的双重记忆经验重放（ER）的方法，保持短期和长期的语义记忆，互动的情景记忆。我们的方法采用了有效的重放机制，从而获得新的知识，同时对齐的决策边界与语义记忆。CLS-ER不利用任务边界或对数据的分布做出任何假设，这使得它通用且适合于“一般持续学习“。我们的方法在标准基准测试以及更现实的一般持续学习设置上实现了最先进的性能。
2022-05-10 cs.AI cs.CV cs.LG
Lifelong Wandering: A realistic few-shot online continual learning setting
Georgia Institute of Technology（佐治亚理工学院）
在线少样本学习描述了一种设置，其中模型在学习新兴类的同时在数据流上进行训练和评估。虽然在此设置之前的工作已经取得了非常有前途的性能时，从一个单一的室内环境组成的数据流学习的实例分类，我们建议扩展此设置，考虑对象分类的一系列几个室内环境，这是可能发生在应用中，如机器人。重要的是，我们的设置，我们称之为在线Few-Shot持续学习，将灾难性遗忘的充分研究问题注入Few-Shot在线学习范式。在这项工作中，我们基准几个现有的方法和适应基线在我们的设置，并显示存在一个权衡之间的灾难性遗忘和在线性能。我们的发现激发了在这种环境下进行未来工作的需求，这种环境可以在没有灾难性遗忘的情况下实现更好的在线性能。
2022-06-16 cs.CV cs.LG
Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges
North China University of Technology（北方工业大学）
本文提出一种基于密度分布的学习框架，通过为每个任务构建独立的生成核密度估计模型来解决在线持续学习中的灾难性遗忘与高计算成本问题，在保持时空效率的同时显著提升了准确率。
2023-11-22 cs.CV cs.LG
Latent Distillation for Continual Object Detection at the Edge
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文针对边缘设备持续目标检测的内存与计算约束，提出潜在蒸馏方法 LD，并在 NanoDet 上验证，在 VOC 和 COCO 基准上将蒸馏参数开销降低 74%、FLOPs 降低 56%，同时保持检测性能。
2024-09-03 cs.AI cs.CV
Prompt-Based Continual Compositional Zero-Shot Learning
Intelligent Machines Lab（智能机器实验室）；Information Technology University（信息技术大学）；Visual Computing Lab（视觉计算实验室）；Ontario Tech University（安大略技术大学）
PromptCCZSL通过多教师蒸馏和正交投影损失，实现持续组成零样本学习中的知识保留与泛化提升。
2026-09-28 cs.AI cs.CV
Defining Benchmarks for Continual Few-Shot Learning
University of Edinburgh（爱丁堡大学）
由于采用了适当的基准，Few-Shot和持续学习在过去几年中都取得了重大进展。话虽如此，该领域仍然需要为持续Few-Shot学习的高度理想设置构建一套基准，其中学习者被一个接一个地呈现许多Few-Shot任务，然后被要求在源于所有先前看到的任务的验证集上表现良好。连续少样本学习具有较小的计算占用空间，因此是高效调查和实验的绝佳设置。在本文中，我们首先定义了一个连续少样本学习的理论框架，考虑到最近的文献，然后我们提出了一系列灵活的基准，统一的评估标准，并允许从多个角度探索问题。作为基准测试的一部分，我们引入了ImageNet的一个紧凑型变体，称为SlimageNet64，它保留了所有原始的1000个类，但只包含每个类的200个实例（总共20万个数据点），缩小到64 x 64像素。我们使用一些流行的少样本学习算法为建议的基准提供基线，因此，在连续和数据有限的设置中暴露了这些算法以前未知的优点和缺点。
2020-04-15 cs.CV cs.LG stat.ML
Seeing Objects in dark with Continual Contrastive Learning
Myntra（Myntra公司）
目标检测是计算机视觉的一个基本问题，在智能相机系统中具有极其重要的意义。然而，一个真正可靠的相机系统可以实现，当且仅当底层的目标检测组件是足够强大的，在不同的成像条件（或域），例如，不同的时间，一天中，恶劣的天气条件等，在努力实现一个可靠的相机系统，在本文中，我们试图训练这样一个强大的检测器。不幸的是，为了在不同的成像条件下构建性能良好的检测器，需要从大量的角落案例中标记训练图像（通常是大量的）。由于手动获得如此大的标记数据集可能是不可行的，我们建议使用合成图像来模拟不同的训练图像域。我们提出了一种新的，对比学习方法来对齐一对真实图像和合成图像的潜在表示，使检测器对不同的域具有鲁棒性。然而，我们发现，仅仅对比嵌入可能会导致灾难性遗忘的目标检测的基本信息。因此，我们采用基于持续学习的惩罚，以减轻遗忘的问题，同时对比表示。我们展示了我们提出的方法优于广泛的替代方案，以解决极具挑战性，但研究不足的情况下，目标检测在夜间。
2022-08-20 cs.AI cs.CV cs.LG
LoRA-Based Continual Learning with Constraints on Critical Parameter Changes
UESTC（电子科技大学）
针对正交LoRA调优下预任务关键参数在学习后任务时仍显著变化的问题，提出冻结ViT中预任务关键参数矩阵，并基于QR分解提出正交LoRA组合（LoRAC）方法，在多个基准上实现SOTA性能。
2025-04-18 cs.AI cs.CV
Rehearsal-Free Continual Learning over Small Non-I.I.D. Batches
University of Bologna（博洛尼亚大学）
机器人视觉是一个持续学习可以发挥重要作用的领域。一个具体的代理人在一个复杂的环境中进行频繁和不可预测的变化，需要不断学习和适应。例如，在对象识别的背景下，机器人应该能够学习（而不会忘记）以前从未见过的类的对象，并在发现已知类的新实例时提高其识别能力。理想情况下，持续学习应该由单个对象的短视频的可用性触发，并在具有细粒度更新的板载硬件上在线执行。在本文中，我们介绍了一种新的持续学习协议的基础上的CORe 50基准，并提出了两个排练免费的持续学习技术，CWR* 和AR 1 *，可以有效地学习，即使在具有挑战性的情况下，近400个小的非i.i.d.增量批次。特别是，我们的实验表明，在某些情况下，AR1* 的准确率可以超过其他最先进的免排练技术15%以上，并且在训练批次中的计算和内存开销非常小且恒定。
2020-04-21 cs.CV cs.LG cs.NE
SPeCiaL: Self-Supervised Pretraining for Continual Learning
McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
本文介绍了SPeciaL：一种为持续学习量身定制的表示的无监督预训练方法。我们的方法设计了一个元学习目标，通过顺序学习过程区分。具体来说，我们训练一个线性模型的表示，以匹配不同的增强视图相同的图像在一起，每个视图顺序呈现。然后评估线性模型对它刚刚看到的图像进行分类的能力，以及对来自先前迭代的图像进行分类的能力。这就产生了有利于快速记忆知识和最小遗忘的表征。我们在连续少样本学习设置中评估SPeciaL，并表明它可以匹配或优于其他监督预训练方法。
2021-06-16 cs.CV cs.LG
Unlocking Compositional Generalization in Continual Few-Shot Learning
Faculty of Information Technology, University of Science, Vietnam National University（信息科技学院，科学大学，越南国家大学）；Department of Computer Science, University of Warwick（计算机科学系，沃里克大学）
本文提出了一种新的持续少样本学习范式，通过严格解耦表示学习与组合推理，实现对新概念的高效泛化，并在多个基准测试中取得最佳性能。
2026-05-18 cs.CV cs.LG
Lifelong Representations: A Survey on Continual Self-Supervised Learning for Vision Models
综述视觉领域持续自监督学习（CSSL），分析现有评估协议问题，探讨自监督目标抗灾难性遗忘原因，基于遗忘缓解策略对方法分类，识别如可扩展性等挑战，提出推进CSSL需转向大规模持续预训练范式。
2026-07-14 cs.AI cs.CV
Two Complementary Perspectives to Continual Learning: Ask Not Only What to Optimize, But Also How
KU Leuven（鲁汶大学）
该研究指出持续学习现有方法即便完美近似联合损失仍存在暂时遗忘问题，提出应同时关注优化目标与优化轨迹且二者互补，虽初步结合实验未获一致收益，但为该领域开辟了新研究方向。
2024-06-21 cs.AI cs.CV cs.LG
Integrating Present and Past in Unsupervised Continual Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）；Columbia University（哥伦比亚大学）；NYU（纽约大学）
本研究构建无监督持续学习统一框架，指出现有方法忽略跨任务巩固的缺陷，提出在独立嵌入空间优化三目标的Osiris方法，在含两个新基准的所有测试中达最优，且证实模型可从更真实的学习场景获益。
2024-08-12 cs.CV cs.LG
