A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里，我们提出了一个统一的方法为传统的zero-shot，广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向（CAPD）的概念，允许多个嵌入到一个语义空间的图像特征。给定一个图像，我们的方法为每个可见类生成一个主方向。然后，它学习如何组合这些方向以获得每个未见过类的主方向，使得测试图像的CAPD与真实类的语义嵌入对齐，并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外，我们提出了一个自动的过程中，选择最有用的看到的类为每个看不见的类，以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD，利用很少的看不见的图像在少样本学习的情况下工作。此外，我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD，这显著提高了广义零样本学习的性能。我们的广泛的评估表明，所提出的方法一贯取得优异的性能在zero-shot，广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Few-Shot Learning with Intra-Class Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
我们考虑不平衡数据集的Few-Shot分类任务，其中一些类有足够的训练样本，而其他类只有有限的训练样本。最近的工作提出了解决这个问题，通过增加训练数据的Few-Shot类使用生成模型与Few-Shot训练样本作为种子。然而，由于有限数量的Few-Shot种子，生成的样本通常具有小的多样性，使得难以训练用于Few-Shot类的判别分类器。为了丰富所生成的样本的多样性，我们建议利用来自邻居多镜头类的类内知识，直觉上邻居类共享相似的统计信息。这种类内信息是通过两步机制获得的。首先，使用仅在多镜头类上训练的回归器来评估仅来自少数样本的Few-Shot类均值。其次，对超类进行聚类，并将每个超类的统计均值和特征方差作为子Few-Shot类继承的可传递知识。然后，生成器使用这些知识来增强稀疏训练数据，以帮助下游分类任务。大量的实验表明，我们的方法在不同的数据集和$n$拍摄设置上达到了最先进的水平。
2020-08-22 cs.CV
Similarity R-C3D for Few-shot Temporal Activity Detection
University of California, Berkeley（加利福尼亚大学伯克利分校）；National University of Singapore（新加坡国立大学）；Boston University（波士顿大学）
许多感兴趣的活动是罕见的事件，只有少数标记的例子可用。因此，期望能够从几个示例中学习的用于时间活动检测的模型。在本文中，我们提出了一个概念上简单和一般但新颖的框架，用于Few-Shot时间活动检测，它检测未修剪视频中的Few-Shot输入活动的开始和结束时间。我们的模型是端到端可训练的，可以从更多的Few-Shot示例中受益。在测试时，为每个建议分配与最大相似性分数相对应的Few-Shot活动类的标签。我们的相似性R-C3 D方法在Few-Shot设置中的时间活动检测的三个大规模基准（THUMOS 14，ActivityNet1.2和ActivityNet1.3数据集）上优于以前的工作。我们的代码将提供。
2018-12-25 cs.CV
Task-Adaptive Negative Envision for Few-Shot Open-Set Recognition
Columbia University（哥伦比亚大学）
我们研究了Few-Shot开集识别（FSOR）问题，它学习一个识别系统，能够快速适应新的类与有限的标记的例子和拒绝未知的负样本。由于数据的限制，传统的大规模开集方法在求解FSOR问题时已被证明是无效的。当前的FSOR方法通常将Few-Shot闭集分类器校准为对负样本敏感，使得它们可以经由阈值化而被拒绝。然而，阈值调整是一个具有挑战性的过程，因为不同的FSOR任务可能需要不同的抑制功率。在本文中，我们提出了任务自适应负类设想FSOR集成阈值调整到学习过程中。具体来说，我们增加了Few-Shot闭集分类器与额外的负面原型生成的Few-Shot的例子。通过将Few-Shot类的相关性在负生成过程中，我们能够学习动态拒绝边界的FSOR任务。此外，我们将我们的方法扩展到广义Few-Shot开集识别（GFSOR），它需要对多镜头和Few-Shot类进行分类，以及拒绝负样本。在公共基准上的大量实验验证了我们在这两个问题上的方法。
2022-07-18 cs.CV
Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection
University of Minnesota（明尼苏达大学）
针对小样本目标检测中自上而下注意力效果受限的问题，提出结合两类注意力的AttFDNet网络，搭配新型损失与混合学习策略，验证了注意力互补性并提升了检测性能与可解释性。
2020-07-23 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Few-Shot Transformation of Common Actions into Time and Space
University of Amsterdam（阿姆斯特丹大学）
本文介绍了Few-Shot常见动作的时空定位任务。鉴于一些修剪的支持视频包含相同的，但未知的动作，我们努力在一个长的未修剪的查询视频的动作的时空定位。我们不需要任何类标签、区间边界或边界框。为了解决这一具有挑战性的任务，我们引入了一种新的Few-Shot Transformer架构，该架构具有专用的编码器-解码器结构，该结构针对联合共性学习和定位预测进行了优化，而无需建议。在AVA和UCF 101 -24数据集上的实验表明，即使在支持视频有噪声的情况下，我们的方法也能有效地进行Few-Shot常见动作定位。虽然我们不是专门为常见的时间定位而设计的，但在此设置中，我们也可以与最先进的Few-Shot和One-Shot进行比较。最后，我们证明了Few-Shot Transformer很容易扩展到每个像素的共同动作定位。
2021-04-06 cs.CV
Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings
University of Alberta（阿尔伯塔大学）；HiSilicon, Huawei Research（华为研究·海思）；Indian Institute of Science（印度科学学院）；Element AI
Few-Shot目标分割方法的研究取得了重要进展。学习是成功的，在Few-Shot分割设置，使用像素级，涂鸦和限界框监督。本文采用另一种方法，即，对于Few-Shot对象分割，仅需要图像级标签。我们提出了一种新的多模态交互模块的Few-Shot对象分割，利用共同的注意力机制，使用视觉和词嵌入。我们的模型使用图像级标签实现了4.8%的改进，比以前提出的图像级Few-Shot对象分割。它还优于在PASCAL-5i上使用弱限界框监督的最先进方法。我们的研究结果表明，Few-Shot分割受益于利用词嵌入，我们能够执行Few-Shot分割使用堆叠联合视觉语义处理与弱图像级标签。我们进一步提出了一种新的设置，时间对象分割的少样本学习（TOSFL）的视频。TOSFL可以用于各种公共视频数据，如Youtube-VOS，如实例级和类别级TOSFL实验所示。
2020-05-17 cs.CV
Dense Classification and Implanting for Few-Shot Learning
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩计算机科学与应用研究所）；Safran（赛峰集团）
从少量样本训练深度神经网络是许多计算机视觉任务的一个高度挑战性和关键问题。在这种情况下，我们的目标是将知识从具有丰富数据的集合转移到具有很少可用示例的其他集合。我们提出了两种简单有效的解决方案：（i）特征图上的密集分类，这是第一次在少样本学习领域研究局部激活，以及（ii）植入，即将新的神经元连接到先前训练的网络中，以学习新的特定于任务的特征。在miniImageNet上，我们改进了现有的Few-Shot分类技术，即，在5路1次、5次和10次设置下，我们分别实现了62.5%、79.8%和83.8%。
2019-03-12 cs.CV
Generating Representative Samples for Few-Shot Classification
Stony Brook University（石溪大学）；Amazon Robotics（亚马逊机器人）
少样本学习（FSL）的目的是学习新的类别与一些视觉样本每个类。由于数据稀缺，Few-Shot类表示往往存在偏差。为了缓解这个问题，我们建议使用条件变分自编码器（CVAE）模型生成基于语义嵌入的视觉样本。我们训练基础类的CVAE模型，并使用它来生成新的类的功能。更重要的是，在训练CVAE模型时，我们通过从基础训练集中删除非代表性样本来引导VAE严格生成代表性样本。我们表明，这种训练方案提高了所生成的样本的代表性，因此，提高了Few-Shot分类结果。实验结果表明，我们的方法改进了三种FSL基线方法，在miniImageNet和tieredImageNet数据集上实现了最先进的Few-Shot分类性能。代码可在：https://github.com/cvlab-stonybrook/fsl-rsvae.
2022-05-05 cs.CV
PatchProto Networks for Few-shot Visual Anomaly Classification
Zhejiang University（浙江大学）
针对工业异常分类中异常样本稀缺的少样本学习问题，提出仅提取缺陷区域CNN特征作为原型的PatchProto网络，在MVTec-AD数据集上较基础分类器显著提升分类准确率。
2023-10-07 cs.CV
FHIST: A Benchmark for Few-shot Classification of Histological Images
ÉTS Montréal（蒙特利尔高等技术学院）；CRCHUM（蒙特利尔大学医疗中心研究中心）；University of Twente（特文特大学）；Mila（米拉人工智能研究所）；Imagia Inc（Imagia公司）；CIFAR（加拿大高等研究院）
少样本学习最近引起了人们对图像分类的广泛兴趣，但几乎所有当前的公共基准都集中在自然图像上。由于标记数据的稀缺性，Few-Shot范例在医学成像应用中是高度相关的，因为注释是昂贵的并且需要专门的专业知识。然而，在医学成像中，少样本学习研究很少，仅限于私人数据集，并且处于早期阶段。特别地，由于癌症相关组织分类任务的多样性和细粒度以及数据准备技术的多样性，Few-Shot设置在组织学中受到高度关注。本文介绍了一个高度多样化的公共基准，从各种公共数据集收集，用于Few-Shot组织学数据分类。我们构建了Few-Shot任务和基础训练数据，这些数据具有各种组织类型、源于各种癌症部位的不同级别的域偏移以及不同的类粒度级别，从而反映了现实场景。我们在我们的基准测试中评估了最先进的少样本学习方法的性能，并观察到简单的微调和正则化方法比流行的元学习和episodic训练范式取得了更好的结果。此外，我们介绍了三种方案的基础上的域之间的源和目标组织学数据的变化：近域，中域和域外。我们的实验显示了少样本学习在组织学分类中的潜力，最先进的少样本学习方法接近近域设置中的监督学习基线。在我们的域外设置中，对于5路5次拍摄，性能最好的方法达到60%的准确率。我们相信，我们的工作可以帮助建立现实的评价和公平的比较少样本学习方法，并将进一步鼓励研究在Few-Shot范式。
2022-05-31 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD
Zhejiang University（浙江大学）；Tencent（腾讯）
本方法基于CLIP模型并添加线性层映射图像特征至联合嵌入空间，利用记忆库存储参考特征，在VAND 2023挑战赛中零样本赛道获第一名（分割F1提升0.0489），少样本赛道获第四名（分类F1为0.8687）。
2023-10-11 cs.CV
Diversity Helps: Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
少样本学习是指在只有少量训练样本的情况下学习新的概念，近年来得到了广泛的研究。然而，目前的大多数作品严重依赖于一个大规模的标记辅助集训练他们的模型在一个episodic训练范式。这种监督设置基本上限制了少样本学习算法的广泛使用。相反，在本文中，我们开发了一种新的框架，称为无监督的少样本学习via分布偏移-Based Data Augmentation（ULDA），它在使用数据增强时关注每个构造的借口Few-Shot任务内部的分布多样性。重要的是，我们强调了分布多样性在基于增强的借口Few-Shot任务中的价值和重要性，这可以有效地缓解过拟合问题，使Few-Shot模型学习更鲁棒的特征表示。在ULDA中，我们系统地研究了不同增强技术的效果，并提出在每个Few-Shot任务中，通过增强这两个集合的差异（即，分布偏移）。通过这种方式，即使结合简单的增强技术（例如，随机裁剪、颜色抖动或旋转），我们的ULDA可以产生显著的改进。在实验中，通过ULDA学习的Few-Shot模型可以实现卓越的泛化性能，并在Omniglot和miniImageNet上的各种已建立的少样本学习任务中获得最先进的结果。源代码可以在https://github.com/WonderSeven/ULDA上找到。
2020-09-17 cs.CV
Few-shot Image Generation Using Discrete Content Representation
Shanghai Jiao Tong University（上海交通大学）
Few-Shot图像生成和Few-Shot图像翻译是两个相关的任务，它们都旨在为只有少量图像的不可见类别生成新图像。在这项工作中，我们第一次尝试适应Few-Shot图像翻译方法的Few-Shot图像生成任务。Few-Shot图像翻译将图像分解为样式向量和内容映射。看不见的样式向量可以与不同的可见内容映射组合以产生不同的图像。然而，它需要存储看到的图像以提供内容映射，并且看不见的样式向量可能与看到的内容映射不兼容。为了适应Few-Shot图像生成任务，我们通过将连续内容映射量化为离散内容映射来学习本地内容向量的紧凑字典，而不是存储看到的图像。此外，我们建立了以风格向量为条件的离散内容映射的自回归分布模型，从而缓解了内容映射和风格向量之间的不兼容性。三个真实数据集上的定性和定量结果表明，我们的模型可以产生更高的多样性和保真度的图像看不见的类别比以前的方法。
2022-07-22 cs.CV
Hold-One-Shot-Out (HOSO) for Validation-Free Few-Shot CLIP Adapters
ML-Labs（ML实验室）；Dublin City University（都柏林城市大学）
HOSO-Adapter通过无需验证的少样本设置，提升CLIP适配器性能，平均高出4个百分点
2026-03-04 cs.CV
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI；Middle East Technical University（中东技术大学）；Hacettepe University（哈切特佩大学）
就像其他少样本学习问题一样，Few-Shot分割旨在最大限度地减少对手动注释的需求，这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本，仍然需要注释训练数据。为了缓解这一需求，我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后，我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明，所提出的方法取得了可喜的成果，突出了自我监督训练的潜力。据我们所知，这是第一个工作，解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Few-Shot Adaptation Benchmark for Remote Sensing Vision-Language Models
UCLouvain（乌尔特-洛文大学）；UMons（蒙斯大学）；Fonds de la Recherche Scientifique（科学基金组织）
提出首个遥感视觉语言模型少样本适应基准，通过十个数据集和五种策略评估三个模型，发现零样本性能相似的模型在少样本适应下表现差异显著，需开发更鲁棒的方法。
2025-10-08 cs.CV
Meta-Transfer Learning for Few-Shot Learning
National University of Singapore（新加坡国立大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Tianjin University（天津大学）
元学习已经被提出作为一个框架，以解决具有挑战性的少样本学习设置。其关键思想是利用大量类似的Few-Shot任务，以学习如何使基本学习者适应只有少数标记样本可用的新任务。由于深度神经网络（DNN）往往只使用少量样本进行过拟合，因此元学习通常使用浅神经网络（SNN），从而限制了其有效性。在本文中，我们提出了一种称为Meta迁移学习（MTL）的新的少拍学习方法，该方法学习适应深度NN用于少样本学习任务。具体来说，“Meta”是指训练多个任务，而“转移”是通过学习每个任务的DNN权重的缩放和移位函数来实现的。此外，我们介绍了硬任务（HT）元批计划作为一个有效的学习课程MTL。我们在两个具有挑战性的少样本学习基准测试：miniImageNet和Fewshot-CIFAR 100上使用（5类，1次）和（5类，5次）识别任务进行实验。与相关工作的广泛比较验证了我们的Meta迁移学习方法与建议的HT元批处理方案训练达到最佳性能。消融研究还表明，这两个组件有助于快速收敛和高精度。
2019-04-09 cs.CV
Few-Shot Learning by Integrating Spatial and Frequency Representation
University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
人类可以识别新的对象只有少数标记的例子，然而，少样本学习仍然是一个具有挑战性的问题，机器学习系统。以往的少样本学习算法大多只利用图像的空间信息。在本文中，我们提出了将频率信息集成到学习模型中，以提高系统的识别能力。我们使用离散余弦变换（DCT）来产生频率表示，然后，结合空间域和频率域的特征进行分类。所提出的策略及其有效性验证了不同的骨干，数据集和算法。大量的实验表明，频率信息是互补的空间表示在Few-Shot分类。通过在不同的少样本学习任务中集成来自空间域和频域的特征，分类精度得到显著提高。
2021-07-07 cs.CV
Feature Aligning Few shot Learning Method Using Local Descriptors Weighted Rules
Guilin University Of Electronic Technology（桂林电子科技大学）
本文提出FAFD-LDWR方法，通过引入交叉归一化保留局部描述符判别信息，并对齐支持集与查询集关键局部描述符去除背景噪声，在多个基准数据集上提升了小样本分类性能与可解释性。
2024-08-26 cs.CV
The Devil is in the Few Shots: Iterative Visual Knowledge Completion for Few-shot Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Ant Group（蚂蚁集团）；Institute of AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）
针对少样本学习中样本分布狭窄导致视觉知识偏差的问题，提出迭代式视觉知识补全方法KCL，利用无标签样本逐步补全知识，无需额外数据，在11个基准数据集上验证了有效性。
2024-04-19 cs.CV
Few-shot Classification via Adaptive Attention
National University of Singapore（新加坡国立大学）
训练一个可以快速适应新任务的神经网络模型是非常理想的，但对于少样本学习问题来说是具有挑战性的。近年来的少样本学习方法主要集中于从优化初始模型和学习距离度量两个方面来开发各种元学习策略。在这项工作中，我们提出了一种新的少样本学习方法，通过优化和快速适应查询样本表示的基础上非常少的参考样本。具体而言，我们设计了一个简单而有效的元重加权策略，以适应样本表示和产生软注意力，以细化表示，以便从查询和支持样本的相关功能可以提取更好的Few-Shot分类。这种自适应注意力模型也能够在一定程度上解释分类模型正在寻找什么作为分类的证据。实验表明，该模型实现了国家的最先进的分类结果在各种基准Few-Shot分类和细粒度识别数据集。
2020-11-21 cs.CV
Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification
Anhui University（安徽大学）
Few-Shot分类是一种利用有限样本识别未知类别的分类方法，受到了越来越多的关注。通常，它被公式化为度量学习问题。Few-Shot分类的核心问题是如何学习（1）支持集和查询集中图像的一致表示和（2）支持集和查询集之间图像的有效度量学习。在本文中，我们表明，这两个挑战可以很好地同时通过一个统一的查询支持Transformer（QSFormer）模型建模。具体来说，所提出的QSFormer包括全局查询支持样本Transformer（sampleFormer）分支和局部补丁Transformer（patchFormer）学习分支。sampleFormer旨在捕获图像表示的支持集和查询集中样本的依赖性。采用编码器、解码器和交叉注意分别对支持度、查询（图像）表示和度量学习进行建模，实现了Few-Shot分类任务。此外，作为对全局学习分支的补充，我们采用了局部块Transformer，通过捕获局部图像块的长程依赖性来提取每个图像样本的结构表示。此外，提出了一种新的跨尺度交互式特征提取器（CIFE），用于提取和融合多尺度CNN特征，作为所提出的少样本学习方法的有效骨干模块。所有模块都集成到一个统一的框架中，并以端到端的方式进行培训。在四个流行的数据集上的实验证明了所提出的QSFormer的有效性和优越性。
2022-08-26 cs.CV
Few-Shot Few-Shot Learning and the role of Spatial Attention
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）；Safran（赛峰集团）
少样本学习的动机通常是人类从很少的例子中学习新任务的能力。然而，标准的Few-Shot分类基准假设表示是在有限数量的基类数据上学习的，忽略了人类在学习新任务之前可能已经积累的先验知识的量。同时，即使有一个强大的表示，也可能在某些领域中发生基类数据有限或不存在的情况。这促使我们研究一个问题，其中表示是从在不同领域的大规模数据集上预先训练的分类器中获得的，假设无法访问其训练过程，而基类数据仅限于每个类的几个示例，它们的作用是使表示适应手头的领域，而不是从头开始学习。我们适应的表示在两个阶段，即在几个基类的数据，如果可用的，甚至更少的数据的新任务。在这样做的过程中，我们从预先训练的分类器中获得了一个空间注意力图，它允许关注对象并抑制背景杂波。这在新问题中很重要，因为当基类数据很少时，网络无法学习隐式关注的位置。我们还表明，预先训练的网络可以很容易地适应新的类，而无需元学习。
2020-02-18 cs.CV
Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；IDEAS-NCBR
本文面向基于预训练 ViT 的 FSCIL 低可塑性问题，提出依据新类与基类的语义相似性校准协方差矩阵，并与现有方法结合以显著提升持续分类性能。
2024-04-09 cs.CV
Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning
Nanyang Technological University（南洋理工大学）；ByteDance（字节跳动）；Monash University（蒙纳士大学）
少样本学习的目标是使从先前任务中学习到的知识适应新的任务，只有有限数量的标记数据。关于少样本学习的研究文献呈现出很大的多样性，而不同的算法通常在不同的少样本学习场景中表现出色。因此，决定在不同的任务条件下使用哪种学习策略是很棘手的。受最近自动机器学习文献（AutoML）的成功启发，本文提出了Meta Navigator，一个试图通过寻求更高级别的策略来解决上述少样本学习限制的框架，并提供从各种少样本学习设计中自动选择。我们的工作的目标是寻找良好的参数自适应政策，适用于不同阶段的网络Few-Shot分类。我们提出了一个搜索空间，涵盖了许多流行的少样本学习算法在文献中，并开发了可微搜索和解码算法的基础上元学习，支持基于梯度的优化。我们证明了我们的基于搜索的方法在多个基准数据集上的有效性。大量的实验表明，我们的方法显着优于基线，并证明了许多国家的最先进的方法的性能优势。代码和模型将公开发布。
2021-09-13 cs.CV
SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning
Cornell University（康奈尔大学）；Ohio State University（俄亥俄州立大学）；Facebook AI Research（脸书人工智能研究院）
Few-Shot学习器的目标是基于少量标记的训练样本识别新的对象类。为了防止过拟合，最先进的Few-Shot学习器对卷积网络特征使用元学习，并使用最近邻分类器执行分类。本文研究了没有元学习的最近邻基线的精度。令人惊讶的是，我们发现简单的特征变换足以获得有竞争力的少样本学习精度。例如，我们发现，在miniImageNet数据集上，与均值减法和L2归一化相结合使用的最近邻分类器在五分之三的设置中优于先前的结果。
2019-11-16 cs.CV
Integrative Few-Shot Learning for Classification and Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们介绍了Few-Shot分类和分割（FS-CS）的综合任务，旨在分类和分割目标对象的查询图像时，目标类与一些例子。该任务结合了两个传统的少样本学习问题，Few-Shot分类和分割。FS-CS将它们推广到具有任意图像对的更真实的情节，其中每个目标类可能存在于查询中，也可能不存在。为了解决这个问题，我们提出了综合少样本学习（iFSL）框架的FS-CS，训练学习者构建类明智的前景地图多标签分类和像素明智的分割。我们还开发了一个有效的iFSL模型，专注挤压网络（ASNet），它利用深层语义相关性和全局自我注意力来生成可靠的前景地图。在实验中，所提出的方法表现出良好的性能上的FS-CS任务，也达到了最先进的标准Few-Shot分割基准。
2022-04-27 cs.CV
Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
HKUST（香港科技大学）；Tencent（腾讯）
用于目标检测的常规方法通常需要大量的训练数据，并且准备这样的高质量训练数据是非常劳动密集的。在本文中，我们提出了一种新的Few-Shot目标检测网络，旨在检测对象的不可见的类别只有几个注释的例子。我们的方法的核心是我们的注意力RPN，多关系检测器和对比训练策略，利用Few Shot支持集和查询集之间的相似性来检测新的对象，同时抑制背景中的错误检测。为了训练我们的网络，我们贡献了一个新的数据集，其中包含1000个具有高质量注释的各种对象的类别。据我们所知，这是第一批专门为Few-Shot目标检测设计的数据集之一。一旦我们的Few-Shot网络经过训练，它就可以检测出不可见类别的对象，而无需进一步训练或微调。我们的方法是通用的，并具有广泛的潜在应用。我们在Few-Shot设置中的不同数据集上产生了新的最先进的性能。数据集链接是https://github.com/fanq15/Few-Shot-Object-Detection-Dataset。
2020-05-10 cs.CV
Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
Northwestern Polytechnical University（西北工业大学）
少样本学习的目的是用少量的标记样本从新类别中识别实例，具有重要的研究和应用价值。虽然最近在这方面已经有了很多工作，但现有的大部分工作都是基于图像分类任务的。基于视频的Few-Shot动作识别尚未得到很好的研究，并且仍然具有挑战性：1）不同文献之间实现细节的差异使得公平比较困难; 2）时间序列的广泛变化和不对齐使得视频级相似性比较困难; 3）标记数据的稀缺使得优化困难。为了解决这些问题，本文提出了1）一个特定的设置，以评估性能的Few-Shot动作识别算法; 2）一个隐式序列对齐算法更好的视频级相似性比较; 3）一个先进的损失为少样本学习，以优化对相似性有限的数据。具体来说，我们提出了一种新的Few-Shot动作识别框架，该框架使用长短期记忆跟随3D卷积层进行序列建模和对齐。通过引入圈损失，使类内相似度最大化，类间相似度最小化，从而灵活地实现更明确的收敛目标。我们没有使用随机或模糊的实验设置，而是设置了一个具体的标准，类似于标准的基于图像的Few-Shot学习设置，用于Few-Shot动作识别评估。在两个数据集上的实验证明了该方法的有效性。
2020-10-13 cs.CV
Few-Shot Adaptation of Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Google Research（谷歌研究院）
生成对抗网络（GANs）在图像合成任务中表现出了卓越的性能，但通常需要大量的训练样本才能实现高质量的合成。本文提出了一种简单有效的方法，Few-Shot GAN（FSGAN），用于在Few-Shot设置（少于100张图像）中调整GANs。FSGAN重新利用了分量分析技术，并学习适应预训练权重的奇异值，同时冻结相应的奇异向量。这为适应提供了一个高度表达的参数空间，同时限制了对预训练权重的更改。我们验证我们的方法在一个具有挑战性的Few-Shot设置5-100图像的目标域。我们表明，我们的方法具有显着的视觉质量增益相比，现有的GAN适应方法。我们报告的定性和定量结果表明，我们的方法的有效性。我们还强调了一个问题，Few-Shot合成的数据高效的图像合成工作所使用的标准定量度量。代码和其他结果可在http://e-271.github.io/few-shot-gan上获得。
2020-10-22 cs.CV
P3DC-Shot: Prior-Driven Discrete Data Calibration for Nearest-Neighbor Few-Shot Classification
Jilin University（吉林大学）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE（教育部知识驱动的人机智能工程研究中心）
最近邻分类是一种简单有效的少样本学习方法。查询数据可以通过基于预训练的深度模型提取的特征找到最近的支持类来有效分类。然而，基于神经网络的方法是敏感的数据分布，并可能产生错误的预测，如果支持集的样本恰好位于不同类的分布边界附近。为了解决这个问题，我们提出了P3 DC-Shot，一种改进的基于最近邻的Few-Shot分类方法，通过先验驱动的数据校准。受分布校准技术的启发，提出了一种新的离散数据校准操作，该操作更适合于基于神经网络的Few-Shot分类。具体来说，我们把代表每个基类的原型作为先验，并根据其与不同基本原型的相似性来校准每个支持数据。然后，我们使用这些离散校准的支持数据进行NN分类。在各种数据集上进行的大量实验结果表明，我们高效的基于非学习的方法可以优于或至少与需要额外学习步骤的SOTA方法相当。
2023-01-02 cs.CV
Few-Shot Visual Question Generation: A Novel Task and Benchmark Datasets
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
从视觉场景生成自然语言问题，称为视觉问题生成（VQG），在最近的过去已经被探索，其中大量精心标记的数据提供训练语料库。然而，在实践中，仅具有对应于几种类型的答案的具有问题注释的几个图像并不罕见。本文提出了一个新的具有挑战性的Few-Shot视觉问题生成（FS-VQG）任务，并给出了一个全面的测试基准，具体地，我们评估了各种现有的VQG方法以及流行的基于元学习和自监督策略的FS-VQG任务的Few-Shot解决方案。我们在两个流行的现有数据集VQG和Visual 7 w上进行实验。此外，我们还清理和扩展了VQG数据集，以便在Few-Shot场景中使用，其中包含额外的图像-问题对以及额外的答案类别。我们称这个新数据集为VQG-23。从我们的实验中出现了几个重要的发现，揭示了当前模型在Few-Shot视觉和语言生成任务中的局限性。我们发现，用迁移学习或元学习来简单地扩展现有的VQG方法可能不足以解决Few-Shot VQG中的固有挑战。我们相信，这项工作将有助于加快少样本学习研究的进展。
2023-01-06 cs.CV
Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning
Monash University（莫纳什大学）；Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Amazon Australia（亚马逊澳大利亚）；The University of Melbourne（墨尔本大学）
学习和推广到新的概念，很少的样本（少样本学习）仍然是一个重要的挑战，现实世界的应用。实现少样本学习的主要方法是实现一个能够快速适应给定任务上下文的模型。动态网络已经被证明能够有效地学习内容自适应参数，使它们适合于少样本学习。在本文中，我们建议学习卷积网络的动态内核作为手头任务的函数，从而实现更快的泛化。为此，我们根据整个任务和每个样本获得动态内核，并开发一种机制，进一步独立调节每个通道和位置。这导致动态内核同时关注全局信息，同时也考虑可用的微小细节。我们的经验表明，我们的模型提高了性能的Few-Shot分类和检测任务，实现了有形的改善，超过几个基线模型。这包括4个Few-Shot分类基准测试的最新结果：mini-ImageNet，tiered-ImageNet，CUB和FC 100以及Few-Shot检测数据集的竞争结果：MS COCO-PASCAL-VOC。
2022-07-13 cs.CV
Collaboration of Pre-trained Models Makes Better Few-shot Learner
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
Few-Shot分类需要深度神经网络仅从有限的训练图像中学习广义表示，这在低数据状态下具有挑战性但意义重大。最近，基于CLIP的方法已经显示出有希望的Few-Shot性能，这得益于对比语言图像预训练。基于这一点，我们质疑大规模的预训练是否可以缓解Few-Shot数据不足，并通过预先学习的知识辅助表示学习。在本文中，我们提出了CoMo，这是一种预训练模型的协作，它整合了来自各种预训练范例的多种先验知识，以实现更好的少样本学习。我们的CoMo包括：CLIP的语言对比知识，DINO的视觉对比知识和DALL-E的语言生成知识。具体而言，CoMo工作在两个方面：Few-Shot数据扩展和多样化的知识集成。首先，我们通过zero-shot DALL-E生成合成图像，以丰富Few-Shot训练数据，而无需任何人力。另一方面，我们引入了一个可学习的多知识适配器（MK-Adapter）来自适应地混合CLIP和DINO的预测。通过这种合作，CoMo可以充分释放不同预训练方法的潜力，并将它们统一起来，以执行最先进的Few-Shot分类。我们在11个数据集上进行了广泛的实验，以证明我们的方法的优越性和泛化能力。
2022-11-07 cs.CV
Shot in the Dark: Few-Shot Learning with No Base-Class Labels
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
少样本学习的目标是从少量标记的示例中为新类构建分类器，并且通常通过访问来自不同的“基类”集合的示例来促进。测试集（新类）和用于学习归纳偏差的基类之间的数据分布差异通常会导致新类的泛化能力较差。为了缓解由分布偏移引起的问题，以前的研究已经探索了使用未标记的例子，从新的类，除了标记的例子的基础类，这是已知的转换设置。在这项工作中，我们发现，令人惊讶的是，现成的自监督学习在miniImageNet上的5次Few-Shot率比转换的少数方法高出3.9%，而不使用任何基类标签。这促使我们更仔细地研究通过自我监督学习的特征在少样本学习中的作用。通过实验比较了监督特征和自监督特征的可移植性、鲁棒性、效率以及互补性。
2021-04-23 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University（康奈尔大学）
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别（例如，鸟类）仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示：首先定位每个图像中的语义部分，然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类，我们表明，他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下，姿势归一化将浅层和深层架构的准确度提高了10到20个百分点，更好地推广到新领域，并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
StarNet: towards Weakly Supervised Few-Shot Object Detection
IBM Research AI（IBM研究院人工智能部门）；Tel-Aviv University（特拉维夫大学）；Technion（以色列理工学院）
近年来，Few-Shot检测和分类有了显著的进步。然而，检测方法需要强注释（边界框）用于预训练和适应新的类别，并且分类方法很少提供场景中对象的定位。在本文中，我们介绍了StarNet -一个Few-Shot模型，具有端到端可微的非参数星形模型检测和分类头。通过这个头，骨干只使用图像级标签进行元训练，以产生良好的特征，用于使用查询和支持图像之间几何匹配的星型模型（以找到相应的对象实例）联合定位和分类以前看不见的Few-Shot测试任务类别。作为一个Few-Shot检测器，StarNet不需要任何限界框注释，无论是在预训练期间还是在新的类适应期间。因此，它可以应用于以前未开发的和具有挑战性的任务弱监督Few-Shot目标检测（WS-FSOD），在那里它实现了显着的改进，超过基线。此外，StarNet在Few-Shot分类基准上显示出显着的收益，这些基准在对象周围的裁剪较少（其中对象定位是关键）。
2020-09-17 cs.CV
Few-shot learning via tensor hallucination
Imperial College London（帝国理工学院）；Inria, Univ Rennes, CNRS, IRISA（法国国家信息与自动化研究所，雷恩大学，法国国家科学研究中心，IRISA）
Few-Shot分类解决了仅给定有限标记数据的分类示例的挑战。一个强有力的方法是超越数据增强，走向数据综合。然而，大多数用于Few-Shot分类的数据增强/合成方法过于复杂和复杂，例如，用多个正则化器训练wGAN或训练网络以将潜在的差异从已知类别转移到新类别。我们做了两个贡献，即我们表明：（1）使用一个简单的损失函数是足够的训练特征生成器在Few-Shot设置;（2）学习生成张量特征，而不是矢量特征是优越的。在miniImagenet、CUB和CIFAR-FS数据集上的大量实验表明，我们的方法开创了一个新的领域，优于更复杂的Few-Shot数据增强方法。
2021-04-19 cs.CV
Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS
Du Xiaoman Financial（度小满金融）
单次神经结构搜索（NAS）算法已被广泛应用，以减少计算消耗。然而，由于权值共享的节点之间的干扰，这些算法训练的超网所继承的节点在精度排序上的一致性较差。为了解决这个问题，我们提出了一个逐步的训练超网计划从一个镜头NAS到Few-Shot NAS。在训练方案中，我们首先对超网进行一次性训练，然后将超网分解为多个权值，逐步训练。最后，我们的方法在CVPR 2022第三届轻量级NAS挑战赛1中排名第四。我们的代码可在https://github.com/liujiawei2333/CVPR2022-NAS-competition-Track-1-4th-solution上获得。
2022-06-14 cs.CV
Generalized and Incremental Few-Shot Learning by Explicit Learning and Calibration without Forgetting
MPI for Informatics（马克斯·普朗克信息学研究所）；Goethe University Frankfurt（法兰克福大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
广义和增量少样本学习都必须应对三个主要挑战：从每个类的少数样本中学习新类，防止基类的灾难性遗忘，以及跨新类和基类的分类器校准。在这项工作中，我们提出了一个三阶段的框架，允许明确和有效地解决这些挑战。当第一阶段学习具有许多样本的基类时，第二阶段学习用于来自少数样本的新类的校准分类器，同时还防止灾难性遗忘。在最后阶段，在所有类别中实现校准。我们在四个具有挑战性的图像和视频Few-Shot分类基准数据集上评估了所提出的框架，并获得了广义和增量少样本学习的最新结果。
2021-08-18 cs.CV
Any-Shot Object Detection
Australian National University（澳大利亚国立大学）；North South University（南北大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；Inception Institute of Artificial Intelligence（人工智能初创研究所）
以前的新目标检测工作考虑零或Few-Shot设置，其中每个类别的示例都不可用于训练。在现实世界的场景中，期望“所有”新类都是不可见的或{有}很少的例子是不太实际的。在这里，我们提出了一个更现实的设置称为“任意镜头检测”，完全看不见的和Few-Shot类别可以同时发生在推理过程中。任意镜头检测提供了独特的挑战相比，传统的新的目标检测，如，看不见的，Few-Shot和看到的对象类之间的高度不平衡，忘记基础训练的敏感性，同时学习新的类和区分新的类从背景。为了解决这些挑战，我们提出了一个统一的任意镜头检测模型，可以同时学习检测zero-shot和Few-Shot对象类。我们的核心思想是使用类语义作为原型的目标检测，制定自然最大限度地减少知识遗忘和减轻标签空间中的类不平衡。此外，我们提出了一个重新平衡的损失函数，强调困难的Few-Shot的情况下，但避免过拟合的新类，允许检测完全看不见的类。没有花里胡哨，我们的框架也可以单独用于Zero-shot检测和Few-Shot检测任务。我们报告了Pascal VOC和MS-COCO数据集上的大量实验，我们的方法显示出显着的改进。
2020-03-16 cs.CV
Review of Zero-Shot and Few-Shot AI Algorithms in The Medical Domain
该综述梳理了医学领域近三年零样本、少样本及常规目标检测技术，分类对比了相关方法与创新模型，指出领域正转向视觉-语言模型应用，并提出未来需深入探索局限性与领域适配问题。
2024-06-23 cs.CV
Bayesian Embeddings for Few-Shot Open World Recognition
University of Toronto（多伦多大学）；Stanford University（斯坦福大学）
随着自主决策代理从狭窄的操作环境转向非结构化世界，学习系统必须从封闭世界的制定转向开放世界和Few-Shot设置，在这种设置中，代理从少量信息中不断学习新的类。这与现代机器学习系统形成鲜明对比，现代机器学习系统通常设计有一组已知的类和每个类的大量示例。在这项工作中，我们扩展嵌入为基础的少样本学习算法的开放世界的识别设置。我们将贝叶斯非参数类先验与基于嵌入的预训练方案相结合，以产生一个高度灵活的框架，我们称之为开放世界识别（FLOWR）的少样本学习。我们在通用MiniImageNet和TieredImageNet少样本学习数据集的开放世界扩展上对我们的框架进行基准测试。我们的研究结果表明，与以前的方法相比，强大的分类精度性能和高达12%的改进H-测量（新的类检测的措施）从我们的非参数开放世界少样本学习计划。
2022-10-06 cs.CV
What Makes Good Few-shot Examples for Vision-Language Models?
Fudan University（复旦大学）；Bytedance（字节跳动）；Sensetime Technology（商汤科技）
本研究提出REPRE和高斯蒙特卡洛两种示例选择方法，优于随机和主动学习策略，显著提升视觉-语言模型少样本训练效果，且模型无关。
2024-05-22 cs.CV
Defensive Few-shot Learning
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）；Tsinghua University（清华大学）；Southeast University（东南大学）；University of Rochester（罗切斯特大学）
本文针对小样本场景下现有对抗防御方法失效的问题，提出DFSL框架，通过基于任务轮次的对抗训练和两类分布一致性准则，有效提升小样本模型的对抗鲁棒性。
2023-08-25 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块，可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer（TAFT），将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富（SE）模块，利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实，添加的模块成功地扩展了现有分割器的能力，以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
Cross-Domain Evaluation of Few-Shot Classification Models: Natural Images vs. Histopathological Images
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究评估了少样本分类模型在自然图像与组织病理学图像间的跨域性能，通过多数据集和多种shot场景实验，揭示了模型的迁移与泛化能力，并提出了跨域优化建议。
2024-10-11 cs.CV
Zero-Shot Prompting and Few-Shot Fine-Tuning: Revisiting Document Image Classification Using Large Language Models
University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学）；University of Fribourg（弗里堡大学）
本文在零样本提示和少样本微调背景下，研究使用大型语言模型解决文档图像分类问题，旨在尽可能减少对人工标注训练样本的依赖。
2024-12-18 cs.CV
Enhancing Few-shot Image Classification with Cosine Transformer
VinUniversity（文大大学）；VinUni-Illinois Smart Health Center（文大-伊利诺伊智能健康中心）；College of Engineering & Computer Science, VinUniversity（文大大学工程与计算机科学学院）
针对小样本图像分类中样本表征不足的问题，提出含余弦注意力的小样本余弦Transformer，通过原型嵌入网络和Transformer编码器构建样本关系图，在多个基准和自定义数据集上取得优异性能，可应用于多领域。
2023-07-21 cs.CV
Logarithm-transform aided Gaussian Sampling for Few-Shot Learning
BITS Pilani（博拉理工学院）
针对小样本图像分类中表征分布需近似高斯的问题，本文提出一种新的高斯变换，并结合高斯采样，在采样数据更少的情况下显著提升分类性能。
2023-09-28 cs.CV
