Subspace Regularizers for Few-Shot Class Incremental Learning
Boston University（波士顿大学）
Few-Shot类增量学习-更新训练分类器以区分具有有限标记数据的扩展类集的问题-是部署在非静态环境中的机器学习系统的关键挑战。解决这个问题的现有方法依赖于复杂的模型架构和难以调整和重用的训练过程。在本文中，我们提出了一个非常简单的方法，使普通的逻辑回归分类器的Few-Shot增量学习。这种方法的关键是一个新的家庭的子空间正则化计划，鼓励新类的权重向量接近现有类的权重所跨越的子空间。当与预训练的卷积特征提取器相结合时，使用子空间正则化训练的逻辑回归模型在miniImageNet数据集上的性能优于专用的最先进的Few-Shot增量图像分类方法高达22%。由于其简单性，子空间正则化可以直接扩展到包含有关新类的额外背景信息（包括自然语言中指定的类名和描述）;这些进一步提高精度高达2%。我们的研究结果表明，类表示的简单几何正则化为持续学习提供了一个有效的工具。
2022-02-20 cs.CV cs.LG
Incremental Few-Shot Learning with Attention Attractor Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Uber ATG（优步先进技术集团）
机器学习分类器通常被训练为识别一组预定义的类。然而，在许多应用中，通常希望具有学习额外概念的灵活性，具有有限的数据并且无需在整个训练集上重新训练。本文解决了这个问题，增量少样本学习，其中一个常规的分类网络已经被训练来识别一组基类，并正在考虑几个额外的新类，每个类只有几个标记的例子。在学习新类之后，然后评估模型在基础类和新类上的总体分类性能。为此，我们提出了一个元学习模型，注意力吸引网络，它使新类的学习规则化。在每一集，我们训练一组新的权重，以识别新的类，直到他们收敛，我们表明，经常性的反向传播技术可以通过反向传播的优化过程，并促进这些参数的学习。我们证明了学习吸引子网络可以帮助识别新的类，同时记住旧的类，而不需要审查原始的训练集，优于各种基线。
2019-10-06 cs.CV cs.LG stat.ML
F-SIOL-310: A Robotic Dataset and Benchmark for Few-Shot Incremental Object Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
深度学习通过像ImageNet这样的大规模数据集的可用性在对象识别任务中取得了显着的成功。然而，深度学习系统在增量学习而不重放旧数据时会遭受灾难性遗忘。对于现实世界的应用，机器人还需要逐步学习新对象。此外，由于机器人可获得的人类帮助有限，它们必须仅从几个例子中学习。然而，很少有对象识别数据集和基准测试存在，以测试机器人视觉的增量学习能力。此外，从一些例子来看，没有专门为增量对象学习设计的数据集或基准。为了填补这一空白，我们提出了一个新的数据集称为F-SIOL-310（Few-Shot增量对象学习），这是专门为测试机器人视觉的Few-Shot增量对象学习能力而捕获的。我们还提供了F-SIOL-310上的8种增量学习算法的基准测试和评估，以供将来进行比较。我们的研究结果表明，机器人视觉的Few-Shot增量对象学习问题远未得到解决。
2022-04-20 cs.CV cs.RO
Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks
Nanjing University（南京大学）；Hikvision Research Institute（海康威视研究院）
在我们不断变化的世界中，新的阶级经常出现，例如，社交媒体中的新兴话题和电子商务中的新型产品。模型应该识别新类，同时保持对旧类的可区分性。在严重的情况下，只有有限的新实例可用于增量更新模型。识别Few-Shot新类而不忘记旧类的任务称为Few-Shot类增量学习（FSCIL）。在这项工作中，我们提出了一个新的范式FSCIL元学习的基础上学习多阶段增量任务（LIMIT），合成假FSCIL任务的基础数据集。伪任务的数据格式与“真实”增量任务一致，通过元学习可以为不可见任务建立可泛化的特征空间。此外，LIMIT还构建了一个基于Transformer的标定模块，将旧的类分类器和新的类原型标定到相同的尺度上，填补了语义鸿沟。校准模块还利用集合到集合函数自适应地将特定于实例的嵌入上下文化。LIMIT有效地适应新类，同时防止遗忘旧类。在三个基准数据集（CIFAR100，miniImageNet和CUB200）和大规模数据集上的实验，即，ImageNet ILSVRC 2012验证了LIMIT实现了最先进的性能。
2022-08-19 cs.CV cs.LG
Coarse-To-Fine Incremental Few-Shot Learning
Huazhong University of Science and Technology（华中科技大学）
与在预设类的大规模数据集上预训练的微调模型不同，类增量学习（CIL）旨在随着时间的推移识别新的类，而不会忘记预训练的类。然而，给定的模型将受到具有更细粒度类的测试图像的挑战，例如，巴辛吉人最多被认为是狗。这样的图像形成新的训练集（即，支持集）以便希望增量模型识别Basenji（即，下一篇：作为一个basenji本文将这种由粗到细的Few-Shot（C2FS）识别的混合自然问题表述为CIL问题C2FSCIL，并提出了一种简单、有效、理论上合理的策略Knowe：一旦从粗标签中对比学习嵌入空间，就从细标签中学习、规范化和冻结分类器的权重。此外，由于CIL的目标是稳定性和可塑性的平衡，提出了新的整体性能指标。从这个意义上说，在CIFAR-100、BREEDS和tieredImageNet上，Knowe的表现优于所有最近的相关CIL/FSCIL方法，这些方法首次针对新的问题设置进行了定制。
2021-11-24 cs.CV cs.LG
Conservative Generator, Progressive Discriminator: Coordination of Adversaries in Few-shot Incremental Image Synthesis
Seoul National University（首尔大学）
针对生成式增量少样本学习任务，提出ConPro框架，利用GAN双方博弈特性，设计保守生成器保留旧知识，渐进判别器推理语义距离，有效缓解过拟合并促进前向迁移。
2024-11-16 cs.CV
Generalized and Incremental Few-Shot Learning by Explicit Learning and Calibration without Forgetting
MPI for Informatics（马克斯·普朗克信息学研究所）；Goethe University Frankfurt（法兰克福大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
广义和增量少样本学习都必须应对三个主要挑战：从每个类的少数样本中学习新类，防止基类的灾难性遗忘，以及跨新类和基类的分类器校准。在这项工作中，我们提出了一个三阶段的框架，允许明确和有效地解决这些挑战。当第一阶段学习具有许多样本的基类时，第二阶段学习用于来自少数样本的新类的校准分类器，同时还防止灾难性遗忘。在最后阶段，在所有类别中实现校准。我们在四个具有挑战性的图像和视频Few-Shot分类基准数据集上评估了所提出的框架，并获得了广义和增量少样本学习的最新结果。
2021-08-18 cs.CV
Few-Shot Batch Incremental Road Object Detection via Detector Fusion
PES University（PES大学）；Intel Corporation（英特尔公司）
增量少样本学习已经成为深度学习中一个新的具有挑战性的领域，其目标是使用很少的新类数据样本来训练深度学习模型，而不使用旧类数据。在这项工作中，我们解决了批量增量Few-Shot道路目标检测使用的数据从印度驾驶数据集（IDD）的问题。我们的方法DualFusion以一种允许我们学习用非常有限的数据检测稀有对象的方式结合了对象检测器，所有这些都不会严重降低检测器在丰富类上的性能。在IDD OpenSet增量Few-Shot检测任务中，我们在基类上实现了40.0的mAP50得分，总体mAP50得分为38.8，这两个得分都是迄今为止最高的。在COCO批量增量Few-Shot检测任务中，我们实现了9.9的新颖AP得分，超过了最先进的新颖类性能超过6.6倍。
2021-08-18 cs.AI cs.CV
Incrementally Zero-Shot Detection by an Extreme Value Analyzer
Academy for Engineering & Technology, Fudan University（复旦大学工程技术学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
人类不仅有能力识别新的看不见的类，而且还可以逐步将新的类纳入现有的知识保存。然而，零样本学习模型假设所有可见的类都应该事先知道，而增量学习模型不能识别未见过的类。本文介绍了一个新的和具有挑战性的任务增量零拍检测（IZSD），一个实用的策略，零样本学习和类增量学习在现实世界中的目标检测。提出了一种创新的端到端模型-- IZSD-EVer来解决这个需要增量检测新类和检测从未见过的类的任务。具体来说，我们提出了一种新的极值分析器，以检测对象从旧的，新的看到，和看不见的类，同时。此外，在技术上，我们提出了两个创新的损失，即，背景-前景均方误差损失减轻了图像的背景和前景的极端不平衡，而投影距离损失对准了旧的可见类的视觉空间和语义空间。实验证明了我们的模型在检测可见和不可见类中的对象方面的有效性，在Pascal VOC和MSCOCO数据集上优于替代模型。
2021-03-29 cs.CV
SAM-IF: Leveraging SAM for Incremental Few-Shot Instance Segmentation
Shanghai Jiao Tong University（上海交通大学）；Noematrix Co., Ltd.（诺码特里克斯有限公司）
SAM-IF利用SAM模型，通过多类分类器和余弦相似度分类器实现增量少样本实例分割，仅更新分类器权重支持增量学习，在有限标注数据下取得更合理结果。
2024-12-15 cs.CV
Towards Generalized and Incremental Few-Shot Object Detection
National University of Singapore（新加坡国立大学）；SIMTech, Agency for Science, Technology and Research（新加坡科技研究局智能系统研究院(SIMTech)）
现实世界的目标检测是非常需要配备的学习可扩展性，可以逐步扩大其检测类。此外，这种仅从少量注释训练样本的学习进一步增加了对象检测器的灵活性，这在诸如自动驾驶、机器人等许多应用中是高度期望的。然而，这种具有Few-Shot训练样本的顺序学习场景通常会导致灾难性遗忘和显著的过拟合。针对上述增量式少样本学习问题，提出了一种新的增量式Few-Shot目标检测（iFSOD）方法，能够有效地从Few-Shot样本中进行持续学习。具体而言，提出了一种双分支框架（DBF）的基础和新的（Few-Shot）类的特征表示解耦，这有利于旧的知识保留和新的类适应同时进行。此外，采用渐进式模型更新规则，在适应连续的新类时有效地保留旧类的长期记忆。此外，任务间的类分离损失，提出了扩大新来的类的决策区域，更好的特征区分。我们在Pascal VOC和MS-COCO上进行了实验，实验结果表明，该方法可以有效地解决增量式Few-Shot检测问题，显著提高了基本类和新类的检测精度。
2021-09-23 cs.CV
Prototype-based Incremental Few-Shot Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）
语义分割模型有两个基本的弱点：i）它们需要大量的训练集，具有昂贵的像素级注释，ii）它们具有静态输出空间，受限于训练集的类。为了解决这两个问题，我们引入了一个新的任务，增量Few-Shot分割（iFSS）。iFSS的目标是扩展一个预先训练的分割模型，其中包含来自少量注释图像的新类别，并且无需访问旧的训练数据。为了克服现有模型inIFS的局限性，我们提出了基于原型的增量Few-Shot分割（PIFS），耦合原型学习和知识蒸馏。PIFS利用原型来初始化新类的分类器，微调网络以改进其特征表示。我们设计了一个基于原型的蒸馏损失的分数，旧的和新的类原型，以避免过度拟合和遗忘，和批量重整，以应付非独立同分布的Few-Shot数据。我们为iFSS创建了一个广泛的基准测试，表明PIFS在所有情况下都优于几种Few-Shot和增量学习方法。
2021-10-18 cs.CV
Incremental Few-Shot Learning for Pedestrian Attribute Recognition
Tsinghua University（清华大学）；University of Warwick（华威大学）；Xidian University（西安电子科技大学）
行人属性识别在视频监控应用中具有重要的作用，因此受到越来越多的关注。然而，大多数现有的方法都是为固定的属性集设计的。它们无法处理增量式少样本学习场景，即使经过良好训练的模型适应具有稀缺数据的新添加属性，这在现实世界中普遍存在。在这项工作中，我们提出了一个基于Meta学习的方法来解决这个问题。我们的框架的核心是一个Meta架构，能够解开多个属性信息，并迅速推广到新的属性。通过在增量式Few-Shot设置下对基准数据集PETA和RAP进行广泛的实验，我们证明了我们的方法能够以具有竞争力的性能和低资源需求执行任务。
2019-06-24 cs.CV
Incremental Embedding Learning via Zero-Shot Translation
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）
现代深度学习方法通过学习一组预定义的数据集，在机器学习和计算机视觉领域取得了巨大的成功。然而，这些方法在应用于实际情况时表现得并不令人满意。这一现象的原因是学习新任务导致训练好的模型迅速忘记旧任务的知识，这被称为灾难性遗忘。目前的增量学习方法主要是针对传统分类网络中的灾难性遗忘问题，而忽略了嵌入式网络中存在的问题，而嵌入式网络是图像检索、人脸识别、零样本学习等的基础网络。在增量学习环境下，两个相邻任务的嵌入空间之间的语义间隙是嵌入网络的主要挑战。因此，我们提出了一种新的类增量嵌入网络方法--zero-shot translation class-incremental method（ZSTCI），它利用zero-shot translation来估计和补偿语义鸿沟，而不需要任何样本。然后，我们尝试在顺序学习过程中学习两个相邻任务的统一表示，该表示精确地捕获先前类和当前类的关系。此外，ZSTCI可以很容易地与现有的基于正则化的增量学习方法相结合，以进一步提高嵌入网络的性能。在CUB-200-2011和CIFAR 100上进行了大量的实验，实验结果证明了该方法的有效性。我们的方法的代码已经发布。
2020-12-31 cs.CV
Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt
University of Maryland（马里兰大学）
提出注意力感知自适应提示（ASP）框架，通过任务不变与任务特定提示结合信息瓶颈目标，解决少样本类增量学习的过拟合与遗忘问题，并在三个基准上超越现有方法。
2024-07-17 cs.AI cs.CV cs.LG
Tell me what this is: Few-Shot Incremental Object Learning by a Robot
The Pennsylvania State University（宾夕法尼亚州立大学）
对于许多应用程序，机器人将需要进行增量训练，以识别应用程序所需的特定对象。本文提出了一种实用的系统，用于增量训练机器人识别不同的对象类别，只使用一小部分由人类提供的视觉示例。本文使用了最近开发的最先进的方法，用于对象的Few-Shot增量学习。在增量学习对象类之后，机器人执行将对象组织成由人类指定的类别的桌子清洁任务。我们还展示了系统的能力，学习对象的安排和预测丢失或错误放置的对象。实验评估表明，我们的方法实现了几乎相同的性能与所有的例子在同一时间（批量训练），这构成了理论上的上限训练系统。
2020-07-15 cs.CV cs.RO
Incremental Few-Shot Object Detection
Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
大多数现有的目标检测方法依赖于每个类的大量标记训练样本的可用性和批处理模式中的离线模型训练。这些要求基本上限制了它们的可扩展性，以开放式地适应具有有限的标记训练数据的新类别。我们提出了一项研究，旨在超越这些限制，考虑增量Few-Shot检测（IFSD）的问题设置，新的类必须增量注册（无需重新访问基类）和一些例子。为此，我们提出了Open-ended中心nEt（ONCE），一个检测器设计用于增量学习，以检测新的类对象很少的例子。这是通过CentreNet检测器对少样本学习场景的优雅适应，以及元学习用于注册新类的类特定代码生成器模型来实现的。ONCE完全尊重增量学习范式，其新颖的类注册仅需要Few-Shot训练样本的单次向前传递，并且不访问基类-因此使其适合在嵌入式设备上部署。对标准目标检测和时尚地标检测任务进行的大量实验首次显示了iFSD的可行性，开辟了一条有趣且非常重要的研究路线。
2020-03-12 cs.CV
Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）
Few-Shot类增量学习是指在给定少量样本的情况下识别新类，同时不忘记旧类。这是一个具有挑战性的任务，因为表示优化和原型重组只能在很少的监督下实现。为了解决这个问题，我们提出了一种新的增量式原型学习方案。我们的计划包括一个随机的情节选择策略，适应各种生成的增量情节的特征表示，以提高相应的可扩展性，和一个自我提升的原型细化机制，通过显式地考虑不同类之间的依赖关系，加强新类的表达能力。特别地，提出了一种动态关系投影模块，用于计算共享嵌入空间中的关系矩阵，并将其作为引导原型更新的因素。在三个基准数据集上进行的大量实验证明了上述增量性能，分别比最先进的方法高出13%，17%和11%。
2021-07-19 cs.CV
TLCE: Transfer-Learning Based Classifier Ensembles for Few-Shot Class-Incremental Learning
Jilin University（吉林大学）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动人机智能工程研究中心）
针对 FSCIL 的遗忘与过拟合问题，本文提出 TLCE，利用情景训练构造准正交原型并集成多个预训练模型，在多个数据集上超过现有最先进方法。
2023-12-07 cs.CV
Class-Incremental Few-Shot Object Detection
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
传统的检测网络通常需要大量的标记训练样本，而人类只需几个例子就可以逐步学习新概念。本文主要研究一个更具挑战性但更现实的类增量Few-Shot目标检测问题（iFSD）。它的目标是从少量的注释样本中增量地转移新对象的模型，而不会灾难性地忘记以前学习的对象。为了解决这个问题，我们提出了一种新的方法LEAST，它可以更少的遗忘，更少的训练资源，更强的迁移能力。具体来说，我们首先提出的转移策略，以减少不必要的权重调整，提高转移能力的iFSD。在此基础上，我们整合了知识蒸馏技术，使用较少的资源消耗的方法来减轻遗忘，并提出了一种新的基于聚类的样本选择过程，以保留更多的判别功能以前学习。作为一种通用而有效的方法，LEAST可以大大提高iFSD在各种基准测试中的性能。
2021-12-28 cs.CV
Incremental Meta-Learning via Indirect Discriminant Alignment
Johns Hopkins University（约翰斯·霍普金斯大学）；AWS（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
大多数用于Few-Shot分类任务的现代元学习方法在两个阶段中操作：元训练阶段，其中元学习者通过解决从大型数据集采样的多个Few-Shot任务来学习通用表示;以及测试阶段，其中元学习者利用其学习的内部表示来执行特定的Few-Shot任务，这些任务涉及在元训练阶段期间未看到的类。据我们所知，所有这些元学习方法都使用单个基础数据集进行元训练，以从中采样任务，并且在元训练后不调整算法。这种策略可能无法扩展到真实世界的用例，其中元学习者从一开始就无法访问完整的元训练数据集，并且当额外的训练数据可用时，我们需要以增量方式更新元学习者。通过我们的实验设置，我们开发了增量学习的概念，在元训练阶段的元学习，并提出了一种方法，可以使用多种现有的基于度量的元学习算法。在基准数据集上的实验结果表明，与使用完整的元训练集训练模型相比，我们的方法在测试时表现良好，并且产生的灾难性遗忘可以忽略不计
2020-04-21 cs.CV cs.LG stat.ML
Latest Advancements Towards Catastrophic Forgetting under Data Scarcity: A Comprehensive Survey on Few-Shot Class Incremental Learning
University of South Australia（南澳大学）；University of Ljubljana（卢布尔雅那大学）
本文综述少样本类别增量学习（FSCIL）的最新进展，涵盖其目标、原型修正、预训练模型及语言引导新范式、性能分析与实际应用，提出挑战、解决方案与未来方向，助力应对数据稀缺下的持续学习问题。
2025-02-12 cs.AI cs.CV cs.LG
Hyperbolic Coarse-to-Fine Few-Shot Class-Incremental Learning
HUST AI and Visual Learning Lab (HAIV Lab)（华中科技大学人工智能与视觉学习实验室）；Huazhong University of Science and Technology (HUST)（华中科技大学）
本文提出将特征提取器嵌入庞加莱球双曲空间，并引入双曲对比损失、双曲全连接层及最大熵分布增强特征，以提升由粗到细小样本类增量学习的粗类和细类分类准确率。
2025-09-23 cs.AI cs.CV cs.LG
Few-shot Class-incremental Learning for 3D Point Cloud Objects
North South University（北南大学）；Australian National University（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organisation（澳大利亚联邦科学与工业研究组织）；University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
Few-Shot类增量学习（FSCIL）旨在使用几个示例为一组新的类增量微调模型（在基类上训练），而不会忘记以前的训练。最近的努力主要在2D图像上解决这个问题。然而，由于摄像机技术的进步，3D点云数据变得比以往任何时候都更可用，这就需要考虑在3D数据上使用FSCIL。本文讨论了FSCIL在3D域。除了众所周知的灾难性遗忘过去的知识和过拟合的Few-Shot数据的问题，3D FSCIL可以带来新的挑战。例如，在实际场景中，基类可能包含许多合成实例。相比之下，只有一些真实的扫描样本（从RGBD传感器）的新类是在增量步骤。由于数据从合成到真实的变化，FSCIL承受了额外的挑战，在以后的增量步骤中降低了性能。我们试图解决这个问题，使用Microshapes（正交基向量）通过使用一组预定义的规则来描述任何3D对象。它支持使用Few-Shot示例进行增量训练，最大限度地减少合成数据与真实数据的差异。我们使用流行的合成数据集（ModelNet和ShapeNet）和3D实时扫描数据集（ScanObjectNN和CO3D）提出了新的3D FSCIL测试协议。通过比较国家的最先进的方法，我们建立了我们的方法在3D域的有效性。
2022-07-22 cs.CV
Bias Mitigating Few-Shot Class-Incremental Learning
School of software, Shandong University（山东大学软件学院）
针对小样本类别增量学习中存在的基础与增量类别、过往与当前增量类别间的准确率失衡问题，提出含映射能力激发等模块的偏差缓解方法，在三个基准数据集上达SOTA性能。
2024-02-01 cs.CV
Incremental Few-Shot Instance Segmentation
Utrecht University（乌得勒支大学）；Cyclomedia Technology（Cyclomedia技术公司）
当新类别的标记训练数据稀缺时，Few-Shot实例分割方法很有前途。然而，当前的方法不便于灵活地添加新类。它们还要求在训练和测试时提供每个类的示例，这是内存密集型的。在本文中，我们提出了第一个增量的方法来解决这些限制Few-Shot实例分割：iMTFA。我们学习合并到类代表的对象实例的判别嵌入。存储嵌入向量而不是图像有效地解决了内存开销问题。我们使用余弦相似度在ROI级别匹配这些类嵌入。这使我们能够添加新的类，而不需要进一步的训练或访问以前的训练数据。在一系列的实验中，我们始终优于目前的最先进的。此外，减少内存需求使我们能够评估，第一次，Few-Shot实例分割的性能在COCO中的所有类联合。
2021-05-11 cs.CV
MgSvF: Multi-Grained Slow vs. Fast Framework for Few-Shot Class-Incremental Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Cloud BU, Huawei Technologies（华为技术有限公司云业务部）
针对少样本类别增量学习中旧知识慢速遗忘与新知识快速适应的SvF两难问题，提出多粒度MgSvF框架，从空间内、空间间两粒度设计频率感知正则化与特征空间组合操作，性能大幅超越现有最优方法。
2024-03-12 cs.CV cs.LG
Rectification-based Knowledge Retention for Continual Learning
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
当在增量学习环境中训练时，深度学习模型会遭受灾难性遗忘。在这项工作中，我们提出了一种新的方法来解决任务增量学习问题，其中包括训练一个模型的新任务，以增量的方式到达。当测试集包含不是训练集的一部分的类时，即，任务增量广义零样本学习问题。我们的方法可以用于zero-shot和非zero-shot任务增量学习设置。我们提出的方法使用权重校正和仿射变换，以适应模型的不同任务，依次到达。具体来说，我们通过“调整”从上一个任务中学习到的权重来调整网络权重，以适应新任务。我们使用很少的参数来学习这些权重校正。我们还学习了网络生成的输出的仿射变换，以便更好地适应新任务。我们在zero-shot和非zero-shot任务增量学习设置中对几个数据集进行了实验，并根据经验表明，我们的方法达到了最先进的结果。具体来说，我们的方法在CIFAR-100数据集上的性能优于最先进的非zero-shot任务增量学习方法超过5%。我们的方法还显著优于最先进的任务增量广义零样本学习方法，AWA 1和CUB数据集的绝对裕度分别为6.91%和6.33%。我们使用各种消融研究来验证我们的方法。
2021-03-30 cs.CV
Forward Compatible Few-Shot Class-Incremental Learning
Nanjing University（南京大学）；Hikvision Research Institute（海康威视研究院）
在我们这个动态变化的世界中，新的类经常出现，例如，认证系统中的新用户，并且机器学习模型应该识别新类而不会忘记旧类。当新的类实例不足时，这种情况变得更具挑战性，这被称为Few-Shot类增量学习（FSCIL）。目前的方法通过使更新后的模型与旧模型相似来处理增量学习。相比之下，我们建议前瞻性地学习，为未来的更新做准备，并为FSCIL提出ForwArd兼容培训（FACT）。前向兼容性要求未来的新类可以根据当前阶段的数据轻松地合并到当前模型中，我们试图通过为未来的新类保留嵌入空间来实现这一点。详细地说，我们分配虚拟原型来挤压已知类的嵌入并为新类保留。此外，我们预测可能出现的新类别，并为更新过程做好准备。虚拟原型允许模型在未来接受可能的更新，这些更新充当分散在嵌入空间中的代理，以在推理过程中构建更强大的分类器。FACT有效地整合了具有向前兼容性的新类，同时阻止了对旧类的遗忘。大量的实验验证了FACT的最先进的性能。代码可在：https://github.com/zhoudw-zdw/CVPR22-Fact
2022-03-14 cs.CV cs.LG
A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection
Huazhong University of Science and Technology（华中科技大学）
表面缺陷检测是工业质量检测的重要环节之一。基于深度学习的表面缺陷检测方法已经显示出巨大的潜力。然而，性能良好的模型通常需要大量的训练数据，并且只能检测在训练阶段出现的缺陷。当缺陷检测模型面对增量Few-Shot数据时，不可避免地会出现灾难性遗忘和误分类问题。为了解决这些问题，本文提出了一种新的知识蒸馏网络，称为双知识对齐网络（DKAN）。所提出的DKAN方法遵循预训练-微调迁移学习范式，并设计了用于微调的知识蒸馏框架。具体来说，提出了一种增量RCNN来实现不同类别的解耦稳定特征表示。在此框架下，在类无关特征图之间设计特征知识对齐（FKA）损失以解决灾难性遗忘问题，在logit分布之间部署Logit知识对齐（LKA）损失以解决误分类问题.在增量式Few-Shot NEU-DET数据集上的实验结果表明，DKAN算法在不同的Few-Shot场景下的平均精度指标达到6.65%，优于其他方法，证明了该方法的有效性。
2022-09-01 cs.AI cs.CV
12 mJ per Class On-Device Online Few-Shot Class-Incremental Learning
ETH Zurich（苏黎世联邦理工学院）；IBM Research-Zurich（IBM苏黎世研究院）；University of Bologna（博洛尼亚大学）
针对边缘端电池供电、内存受限系统的小样本类别增量学习需求，提出基于冻结特征提取器+可扩展显式原型内存的O-FSCIL方法，在CIFAR100基准上达SOTA，且在GAP9微控制器上实现每新类仅12mJ的在线学习。
2024-03-12 cs.CV cs.LG
Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning
Peking University（北京大学）；University of Oxford（牛津大学）；JD Explore Academy（京东探索研究院）；Wuhan University（武汉大学）；Peng Cheng Laboratory（鹏城实验室）
Few-Shot类增量学习（FSCIL）一直是一个具有挑战性的问题，因为在新的会话中，对于每个新的类，只有少数训练样本是可访问的。微调主干或调整在先前会话中训练的分类器原型将不可避免地导致旧类的特征和分类器之间的不对准，这解释了众所周知的灾难性遗忘问题。在本文中，我们处理FSCIL中的这种错位困境的灵感来自最近发现的现象命名为神经崩溃，这表明，同一类的最后一层功能将崩溃成一个顶点，所有类的顶点与分类器原型对齐，形成一个简单的等角紧框架（ETF）。它对应于一个最佳的几何结构分类由于最大化的Fisher判别比。我们提出了一个神经崩溃的启发框架FSCIL。一组分类器原型被预先分配为整个标签空间的单纯形ETF，包括基本会话和所有增量会话。在训练过程中，分类器原型是不可学习的，我们采用了一种新的损失函数，将特征驱动到相应的原型中。理论分析表明，我们的方法保持神经崩溃的最优性，并没有打破特征分类器对齐的增量方式。在miniImageNet、CUB-200和CIFAR-100数据集上的实验表明，我们提出的框架优于最先进的性能。代码地址：https://github.com/NeuralCollapseApplications/FSCIL
2023-02-06 cs.CV cs.LG
Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition
College of Computer Science, Nankai University（南开大学计算机学院）；MICC, University of Florence（佛罗伦萨大学MICC）；Huawei Kirin Solution（华为麒麟解决方案）
大多数元学习方法假设存在一个非常大的标记数据集，可用于基础知识的情景元学习。这与更现实的持续学习范式形成对比，在这种范式中，数据以包含不相交类的任务的形式递增地到达。在本文中，我们考虑这个问题的增量元学习（IML）中，类增量离散任务。我们提出了一种IML的方法，我们称之为情节重放蒸馏（ERD），它将当前任务中的类与以前任务中的类样本混合在一起进行元学习。然后，这些片段被用于知识蒸馏，以最小化灾难性遗忘。在四个数据集上的实验表明，ERD超越了最先进的水平。特别是，在更具挑战性的一次性长任务序列增量元学习场景中，我们将IML和联合训练上限之间的差距从当前最先进的3.5% / 10.1% / 13.4%缩小到2.6% / 2.9% / 5.0%，ImageNet / Mini-ImageNet / CIFAR100。
2021-11-11 cs.CV
Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning
Qualcomm AI Research（高通人工智能研究）
针对少样本类增量学习中的遗忘和过拟合问题，提出三元权重空间集成方法，通过插值基模型、前一模型和当前模型的权重并利用增强数据蒸馏，在多个基准上取得最优性能。
2025-06-04 cs.CV cs.LG
One-Shot Domain Incremental Learning
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本研究提出一次性域增量学习问题，发现现有方法因批归一化统计量失效，并提出相应技术，在开放数据集上验证了有效性。
2025-02-24 cs.AI cs.CV cs.LG
Active Class Selection for Few-Shot Class-Incremental Learning
Pennsylvania State University（宾夕法尼亚州立大学）；University of Waterloo（滑铁卢大学）
本文提出FIASco框架，将少样本类增量学习与主动类别选择相结合，并集成势场导航，使机器人能自主选择并标注环境中最具信息量的对象进行持续学习，在模拟和真实机器人上验证了其有效性。
2023-07-05 cs.CV cs.LG cs.RO
Feature-Space Generative Models for One-Shot Class-Incremental Learning
Gen1S通过特征空间生成模型提升单样本类增量学习中的新类识别性能
2026-01-25 cs.AI cs.CV stat.ML
MASIL: Towards Maximum Separable Class Representation for Few Shot Class Incremental Learning
Amazon（亚马逊）
MASIL通过最大可分离分类器权重和概念分解诱导单纯形等角紧框架，在少样本类增量学习中同时缓解旧类遗忘与新类过拟合，并在多个基准上取得最优性能。
2023-04-08 cs.CV
Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental Learning
Australian National University（澳大利亚国立大学）；Data61-CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）；North South University Bangladesh（孟加拉国南北大学）；Monash University Australia（澳大利亚莫纳什大学）
Few-Shot类增量学习（FSCIL）描述了逐渐学习新概念的问题，其中每个概念只有几个示例可供学习者使用。由于用于训练的示例数量有限，为标准增量学习开发的技术不能逐字应用于FSCIL。在这项工作中，我们引入了一个蒸馏算法来解决FSCIL的问题，并建议在训练过程中利用语义信息。为此，我们利用词嵌入作为语义信息，这是廉价的获得，并促进蒸馏过程。此外，我们提出了一种基于视觉数据的多个并行嵌入的注意机制的方法，以对齐视觉和语义向量，从而减少了与灾难性遗忘相关的问题。通过在MiniImageNet、CUB200和CIFAR100数据集上的实验，我们通过优于现有方法建立了新的最先进的结果。
2021-03-31 cs.CV
Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
针对小样本类别增量学习中新类易被误判为基类的问题，本文提出免训练原型校准策略TEEN，通过融合加权基类原型增强新类判别力，并在多个基准上取得一致提升。
2023-12-08 cs.CV cs.LG
Incremental Few-Shot Object Detection for Robotics
National University of Singapore（新加坡国立大学）
增量式少样本学习在实际机器人应用中被寄予厚望。一方面，机器人需要快速和灵活地学习新的任务，只使用少量的注释训练样本;另一方面，这样的新的额外的任务应该学习在一个连续的和增量的方式，而不会忘记以前学到的知识显着。在这项工作中，我们提出了一种新的类增量Few-Shot目标检测（CI-FSOD）框架，该框架使深度目标检测网络能够从Few-Shot样本中执行有效的持续学习，而无需重新访问先前的训练数据。我们通过为广泛使用的Faster-RCNN检测器配备三个优雅的组件来实现这一点。首先，为了最好地保留预训练的基类的性能，我们提出了一种新的双嵌入空间（DES）架构，该架构将基本类别和新类别的表示学习合并到不同的空间中。其次，为了减轻累积的新类上的灾难性遗忘，我们提出了一种顺序模型融合（SMF）方法，该方法能够在不增加存储成本的情况下实现长期记忆。第三，为了促进特征空间中的任务间类分离，我们提出了一种新的正则化技术，该技术将分类边界进一步扩展到远离先前的类以避免误分类。总的来说，我们的框架简单而有效，并且在AP性能方面优于之前的SOTA，具有2.4点的显着优势。
2022-03-23 cs.CV
Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners
Kyung Hee University（庆熙大学）；Yonsei University（延世大学）
本文提出FSCIL框架PriViLege，利用预训练视觉与语言Transformer结合提示函数、知识蒸馏及预训练知识调优，显著缓解灾难性遗忘和过拟合，并在多个基准上大幅超越现有方法。
2024-04-02 cs.CV
iFS-RCNN: An Incremental Few-shot Instance Segmenter
VinAI Research（VinAI研究院）；Oregon State University（俄勒冈州立大学）
本文讨论了增量式Few-Shot实例分割，当访问旧类的训练样本不再可用时，新对象类的一些示例到达，目标是在旧类和新类上都表现良好。我们通过在第二阶段扩展常见的Mask-RCNN框架做出了两个贡献-即，我们指定了一个基于probit函数的新对象类分类器和一个新的不确定性指导的边界框预测器。前者利用贝叶斯学习来解决新类的训练样本缺乏的问题。后者不仅学习预测对象边界框，而且还学习估计预测的不确定性作为限界框细化的指导。我们还指定了两个新的损失函数的估计对象类分布和边界框的不确定性。我们的贡献在COCO数据集上产生了显着的性能增益，特别是在AP实例分割度量中，新类的增益为+6，旧类的增益为+16。此外，我们是第一个在更具挑战性的LVIS数据集上评估增量Few-Shot设置的人。
2022-05-31 cs.CV
Few-Shot Incremental Learning with Continually Evolved Classifiers
Nanyang Technological University（南洋理工大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
Few-Shot类增量学习（FSCIL）旨在设计机器学习算法，该算法可以从几个数据点中不断学习新概念，而不会忘记旧类的知识。困难在于来自新类的有限数据不仅导致显著的过拟合问题，而且还加剧了臭名昭著的灾难性遗忘问题。此外，由于训练数据在FSCIL中按顺序出现，学习的分类器只能在单个会话中提供区分信息，而FSCIL要求所有类都参与评估。在本文中，我们从两个方面解决FSCIL问题。首先，我们采用了一种简单但有效的表示和分类器的解耦学习策略，在每个增量会话中只更新分类器，这避免了表示中的知识遗忘。通过这样做，我们证明了预训练的骨干加上非参数类均值分类器可以击败最先进的方法。其次，为了使在各个会话上学习的分类器适用于所有类，我们提出了一种持续进化分类器（CEC），该分类器采用图模型在分类器之间传播上下文信息以进行适应。为了实现CEC的学习，我们设计了一个伪增量学习范式，该范式通过从基础数据集采样数据来逐段构建伪增量学习任务以优化图参数。在CIFAR 100、miniImageNet和Caltech-USCD Birds-200-2011（CUB 200）三个流行的基准数据集上的实验表明，我们的方法显著优于基线，并具有显著的优势。
2021-04-07 cs.AI cs.CV cs.LG
Consistency-Guided Asynchronous Contrastive Tuning for Few-Shot Class-Incremental Tuning of Foundation Models
Vector Institute（矢量研究所）；York University（约克大学）
提出CoACT方法，通过异步对比微调、受控微调和一致性引导增量微调，在少样本类增量学习及新提出的FSCIT设置下有效微调基础模型，显著降低遗忘并提升性能。
2025-04-01 cs.CV
A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning
Shanghai Jiao Tong University（上海交通大学）；Hikvision Research Institute（海康威视研究院）
该研究提出半监督增量小样本学习（S2 I-FSL）新场景，设计含元训练算法与模型适配机制的新范式，经多基准实验验证方法有效，为该领域提供强基线。
2024-10-30 cs.CV
Controllable Forgetting Mechanism for Few-Shot Class-Incremental Learning
Samsung Research（三星研究院）；Samsung R&D Institute UK (SRUK)（英国三星研发研究院）
针对少样本类增量学习中新类与基类准确率失衡问题，提出新类检测规则以先验控制遗忘程度，在保持基类2%遗忘率的同时将新类准确率提升达30%。
2025-01-27 cs.AI cs.CV cs.LG
Learnable Distribution Calibration for Few-Shot Class-Incremental Learning
University of Chinese Academy of Sciences（中国科学院大学）；Huawei Inc.（华为公司）
Few-Shot类增量学习（FSCIL）面临着在训练样本较少的情况下记忆旧类分布和估计新类分布的挑战。在这项研究中，我们提出了一种可学习的分布校准（LDC）方法，旨在使用统一的框架系统地解决这两个挑战。LDC是建立在一个参数化的校准单元（PCU），它基于分类器向量（无记忆）和一个单一的协方差矩阵的所有类的偏差分布。协方差矩阵由所有类共享，因此内存成本是固定的。在基础训练期间，PCU被赋予了在真实分布的监督下通过循环更新采样特征来校准有偏分布的能力。在增量学习期间，PCU恢复旧类的分布以避免“遗忘”，以及估计新类的分布和增加样本以减轻由Few-Shot样本的有偏分布引起的“过度拟合”。最小似然法是一种变分推理方法，在理论上是合理的。它提高了FSCIL的灵活性，因为训练过程不需要类相似性先验。在CUB 200、CIFAR 100和mini-ImageNet数据集上的实验表明，LDC的性能分别比最先进的算法高出4.64%、1.98%和3.97%。LDC的有效性也在少样本学习场景下得到了验证。
2022-10-01 cs.CV
Enhanced Few-Shot Class-Incremental Learning via Ensemble Models
Tencent（腾讯）
针对少样本类增量学习中的过拟合问题，提出结合数据增强的多输入多输出集成模型框架与自监督学习，有效提升了特征提取器多样性与模型泛化能力，并优于现有方法。
2024-03-21 cs.CV
OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对少样本类增量学习中的灾难性遗忘与过拟合问题，提出OrCo框架，通过监督与自监督对比损失及OrCo损失实现特征正交性，最大化类间边界并预留空间，在三个基准数据集上达到SOTA。
2024-03-27 cs.CV
Zero-shot Generalizable Incremental Learning for Vision-Language Object Detection
Institute of Automation, Chinese Academy of Sciences (CAS)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Science, UCAS（中国科学院大学人工智能学院）；Shanghai Sixth People’s Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属第六人民医院）
本文提出了IVLOD任务以增量适配视觉-语言目标检测模型并保持零样本泛化能力，并设计了ZiRa方法，通过零干扰损失和重参数化技术，在不增加推理成本和内存的情况下有效提升了模型的零样本泛化性能。
2024-10-16 cs.CV
SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation
University of Surrey, UK（英国萨里大学）；University of Wollongong, Australia（澳大利亚沃拉彭大学）；University of Copenhagen, Denmark（丹麦哥本哈根大学）；University of Exeter, UK（英国埃克塞特大学）；Singapore University of Technology and Design, Singapore（新加坡科技与设计大学）
SCOPE通过背景引导原型丰富框架，在3D分割中实现增量少量样本学习，提升新类别和平均IoU性能，同时减少遗忘。
2026-03-09 cs.CV cs.LG
A novel spatial-frequency domain network for zero-shot incremental learning
Xi’an Polytechnic University（西安工程大学）；Shaanxi University of Science and Technology（陕西科技大学）；CSIRO Data61（联邦科学与工业研究组织数据61部门）
本文提出SFDNet，通过SFFE模块和AFA模块提取空间-频域特征，结合最近类均值分类器与零样本翻译模型，有效缓解灾难性遗忘并提升零样本增量学习的分类精度。
2024-02-11 cs.CV
Revisiting Pool-based Prompt Learning for Few-shot Class-incremental Learning
School of Computer Science and Technology, Huazhong University of Science and Technology（计算机科学与技术学院，华中科技大学）
本文首次研究提示池方法在少样本类增量学习中的失效原因，发现token维度饱和导致过拟合，并提出LGSP-Prompt将提示学习从token维度转向空间维度，通过局部空间特征与全局频域表示协同生成空间提示，在多个FSCIL基准上取得最先进性能。
2025-07-20 cs.CV
