Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Disentangled Feature Representation for Few-shot Image Classification
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
学习可推广的特征表示是Few-Shot图像分类的关键。虽然最近的工作利用任务特定的特征嵌入使用元任务的少样本学习，他们是有限的，在许多具有挑战性的任务，被分散的特征，如背景，域和风格的图像样本。在这项工作中，我们提出了一种新的分离特征表示框架，称为DFR，用于少样本学习应用。DFR可以自适应地将由分类分支建模的鉴别特征与变化分支的类无关分量解耦。一般来说，大多数流行的深度少样本学习方法都可以作为分类分支插入，因此DFR可以提高它们在各种Few-Shot任务上的性能。此外，我们提出了一种新的FS域网数据集的基础上域网，基准测试的Few-Shot领域泛化任务。我们进行了广泛的实验，以评估所提出的DFR对一般和细粒度的Few-Shot分类，以及Few-Shot领域泛化，使用相应的四个基准，即，mini-ImageNet，tiered-ImageNet，CUB，以及建议的FS-DomainNet。由于有效的特征分解，基于DFR的Few-Shot分类器在所有数据集上都取得了最先进的结果。
2021-09-26 cs.CV
Generalized Few-Shot Object Detection without Forgetting
Megvii Technology（旷视科技）
近年来，Few-Shot目标检测被广泛用于处理数据有限的情况。虽然大多数以前的作品只专注于性能上的Few-Shot类别，我们声称，检测所有类是至关重要的测试样本可能包含任何实例在现实中的应用，这需要Few-Shot检测器学习新的概念，而不会忘记。通过对基于迁移学习的方法的分析，利用一些被忽视但有益的性质，设计了一种简单而有效的Few-Shot检测器--保留R-CNN。它由Bias-Balanced RPN和Re-detector组成，Bias-Balanced RPN用于消除预训练RPN的偏差，Re-detector用于在不忘记先前知识的情况下找到Few-Shot类对象。在Few-Shot检测基准上进行的大量实验表明，在所有设置中，Retentive R-CNN在整体性能上明显优于最先进的方法，因为它可以在Few-Shot类上实现有竞争力的结果，并且根本不会降低基类的性能。我们的方法已经证明，长期期望的永不遗忘的学习器是可用的目标检测。
2021-05-20 cs.CV
A Unified approach for Conventional Zero-shot, Generalized Zero-shot and Few-shot Learning
零样本学习中流行的技术不能很好地推广到其他相关的问题场景。在这里，我们提出了一个统一的方法为传统的zero-shot，广义zero-shot和少样本学习问题。我们的方法是基于一个新的类自适应主方向（CAPD）的概念，允许多个嵌入到一个语义空间的图像特征。给定一个图像，我们的方法为每个可见类生成一个主方向。然后，它学习如何组合这些方向以获得每个未见过类的主方向，使得测试图像的CAPD与真实类的语义嵌入对齐，并且与其他类相反。这允许从可见类到不可见类的有效和类自适应信息传输。此外，我们提出了一个自动的过程中，选择最有用的看到的类为每个看不见的类，以实现鲁棒性零样本学习。我们的方法可以更新看不见的CAPD，利用很少的看不见的图像在少样本学习的情况下工作。此外，我们的方法可以通过估计可见-不可见的多样性来推广可见的CAPD，这显著提高了广义零样本学习的性能。我们的广泛的评估表明，所提出的方法一贯取得优异的性能在zero-shot，广义zero-shot和少数/一次性学习问题。
2017-10-26 cs.CV
Few-Shot Learning with Intra-Class Knowledge Transfer
Carnegie Mellon University（卡内基梅隆大学）
我们考虑不平衡数据集的Few-Shot分类任务，其中一些类有足够的训练样本，而其他类只有有限的训练样本。最近的工作提出了解决这个问题，通过增加训练数据的Few-Shot类使用生成模型与Few-Shot训练样本作为种子。然而，由于有限数量的Few-Shot种子，生成的样本通常具有小的多样性，使得难以训练用于Few-Shot类的判别分类器。为了丰富所生成的样本的多样性，我们建议利用来自邻居多镜头类的类内知识，直觉上邻居类共享相似的统计信息。这种类内信息是通过两步机制获得的。首先，使用仅在多镜头类上训练的回归器来评估仅来自少数样本的Few-Shot类均值。其次，对超类进行聚类，并将每个超类的统计均值和特征方差作为子Few-Shot类继承的可传递知识。然后，生成器使用这些知识来增强稀疏训练数据，以帮助下游分类任务。大量的实验表明，我们的方法在不同的数据集和$n$拍摄设置上达到了最先进的水平。
2020-08-22 cs.CV
Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths
Zhejiang University（浙江大学）
Zero-shot识别的目标是通过使用图像特征空间和语义嵌入空间之间的共享视觉语义映射来准确地识别不可见类别的对象。该映射是在可见类的训练数据上学习的，并且预期具有到不可见类的转移能力。在本文中，我们解决这个问题，利用语义空间流形和视觉语义映射的传输能力之间的内在关系。我们形式化他们的连接和铸造zero-shot识别作为一个联合优化问题。基于此，我们提出了一个新的框架，zero-shot识别，其中包含双重视觉语义映射路径。我们的分析表明，该框架不仅可以应用先验语义知识来推断图像特征空间中的潜在语义流形，而且还可以生成优化的语义嵌入空间，这可以增强视觉语义映射到不可见类的传递能力。在四个基准数据集上对所提出的方法进行了zero-shot识别评估，取得了优异的效果。
2017-03-20 cs.CV
Visual and Semantic Prompt Collaboration for Generalized Zero-Shot Learning
Beijing University of Technology（北京工业大学）；Macquarie University（麦考瑞大学）
本文提出视觉与语义提示协作框架，通过提示调优和分层融合机制，实现高效特征适配，解决广义零样本学习中的视觉-语义对齐与过拟合问题。
2025-03-29 cs.CV
Similarity R-C3D for Few-shot Temporal Activity Detection
University of California, Berkeley（加利福尼亚大学伯克利分校）；National University of Singapore（新加坡国立大学）；Boston University（波士顿大学）
许多感兴趣的活动是罕见的事件，只有少数标记的例子可用。因此，期望能够从几个示例中学习的用于时间活动检测的模型。在本文中，我们提出了一个概念上简单和一般但新颖的框架，用于Few-Shot时间活动检测，它检测未修剪视频中的Few-Shot输入活动的开始和结束时间。我们的模型是端到端可训练的，可以从更多的Few-Shot示例中受益。在测试时，为每个建议分配与最大相似性分数相对应的Few-Shot活动类的标签。我们的相似性R-C3 D方法在Few-Shot设置中的时间活动检测的三个大规模基准（THUMOS 14，ActivityNet1.2和ActivityNet1.3数据集）上优于以前的工作。我们的代码将提供。
2018-12-25 cs.CV
Task-Adaptive Negative Envision for Few-Shot Open-Set Recognition
Columbia University（哥伦比亚大学）
我们研究了Few-Shot开集识别（FSOR）问题，它学习一个识别系统，能够快速适应新的类与有限的标记的例子和拒绝未知的负样本。由于数据的限制，传统的大规模开集方法在求解FSOR问题时已被证明是无效的。当前的FSOR方法通常将Few-Shot闭集分类器校准为对负样本敏感，使得它们可以经由阈值化而被拒绝。然而，阈值调整是一个具有挑战性的过程，因为不同的FSOR任务可能需要不同的抑制功率。在本文中，我们提出了任务自适应负类设想FSOR集成阈值调整到学习过程中。具体来说，我们增加了Few-Shot闭集分类器与额外的负面原型生成的Few-Shot的例子。通过将Few-Shot类的相关性在负生成过程中，我们能够学习动态拒绝边界的FSOR任务。此外，我们将我们的方法扩展到广义Few-Shot开集识别（GFSOR），它需要对多镜头和Few-Shot类进行分类，以及拒绝负样本。在公共基准上的大量实验验证了我们在这两个问题上的方法。
2022-07-18 cs.CV
Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection
University of Minnesota（明尼苏达大学）
针对小样本目标检测中自上而下注意力效果受限的问题，提出结合两类注意力的AttFDNet网络，搭配新型损失与混合学习策略，验证了注意力互补性并提升了检测性能与可解释性。
2020-07-23 cs.CV
TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition
Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新型的时间注意力关系网络（TARN）来解决少镜头（Few-Shot）和零镜头（zero-shot）动作识别问题。我们网络的核心是一种元学习方法，它学习比较可变时间长度的表示，即不同长度的两个视频（在Few-Shot动作识别的情况下）或视频和语义表示（如单词向量）（在zero-shot动作识别的情况下）。通过对比其他作品中的Few-Shot和zero-shot动作识别，我们a）利用注意力机制，以便执行时间对齐，和b）学习的深距离测量对齐表示在视频段级别。我们采用基于场景的培训计划，并以端到端的方式对我们的网络进行训练。所提出的方法不需要在目标域中进行任何微调，也不需要像记忆网络那样维护额外的表示。实验结果表明，该框架在Few-Shot动作识别方面优于现有技术，在zero-shot动作识别方面也取得了较好的效果。
2019-07-21 cs.CV
TAEN: Temporal Aware Embedding Network for Few-Shot Action Recognition
OriginAI；Technion（以色列理工学院）；IBM Research AI（IBM研究院人工智能部门）
新类别实体的分类需要收集和注释数百或数千个样本，这通常是非常昂贵的。少样本学习建议学习仅使用几个示例对新类进行分类。只有少数研究解决了时空模式（如视频）上的少样本学习的挑战。在本文中，我们提出了时间感知嵌入网络（TAEN）的Few-Shot动作识别，学习表示动作，在一个度量空间作为一个轨迹，传达短期语义和动作部分之间的长期连接。我们证明了TAEN两个Few Shot任务，视频分类和时间动作检测的有效性，并评估我们的方法上的动力学-400和ActivityNet 1.2 Few-Shot基准。通过仅训练几个完全连接的层，我们在Few Shot视频分类和时间检测任务上都达到了与现有技术相当的结果，同时在某些场景中达到了最先进的水平。
2021-07-17 cs.CV
Temporal and cross-modal attention for audio-visual zero-shot learning
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
用于视频分类的视听广义零样本学习需要理解音频和视觉信息之间的关系，以便能够在测试时从新颖的、先前未见过的类中识别样本。可以利用视频数据中音频和视觉数据之间的自然语义和时间对齐来学习强大的表示，这些表示在测试时推广到看不见的类。我们提出了一个多模态和时间交叉注意框架（\modelName）的视听广义零样本学习。它的输入是从预先训练的网络中获得的时间对齐的音频和视觉特征。鼓励框架专注于跨时间的跨模态对应，而不是模态内的自我注意，这显著提高了性能。我们表明，我们提出的框架，摄取时间特征产生最先进的性能\ucf，\vgg和\activity基准（广义）零样本学习。再现所有结果的代码可在\url{https://github.com/ExplainableML/TCAF-GZSL}上获得。
2022-07-20 cs.CV
Few-Shot Transformation of Common Actions into Time and Space
University of Amsterdam（阿姆斯特丹大学）
本文介绍了Few-Shot常见动作的时空定位任务。鉴于一些修剪的支持视频包含相同的，但未知的动作，我们努力在一个长的未修剪的查询视频的动作的时空定位。我们不需要任何类标签、区间边界或边界框。为了解决这一具有挑战性的任务，我们引入了一种新的Few-Shot Transformer架构，该架构具有专用的编码器-解码器结构，该结构针对联合共性学习和定位预测进行了优化，而无需建议。在AVA和UCF 101 -24数据集上的实验表明，即使在支持视频有噪声的情况下，我们的方法也能有效地进行Few-Shot常见动作定位。虽然我们不是专门为常见的时间定位而设计的，但在此设置中，我们也可以与最先进的Few-Shot和One-Shot进行比较。最后，我们证明了Few-Shot Transformer很容易扩展到每个像素的共同动作定位。
2021-04-06 cs.CV
Few-Shot Visual Question Generation: A Novel Task and Benchmark Datasets
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
从视觉场景生成自然语言问题，称为视觉问题生成（VQG），在最近的过去已经被探索，其中大量精心标记的数据提供训练语料库。然而，在实践中，仅具有对应于几种类型的答案的具有问题注释的几个图像并不罕见。本文提出了一个新的具有挑战性的Few-Shot视觉问题生成（FS-VQG）任务，并给出了一个全面的测试基准，具体地，我们评估了各种现有的VQG方法以及流行的基于元学习和自监督策略的FS-VQG任务的Few-Shot解决方案。我们在两个流行的现有数据集VQG和Visual 7 w上进行实验。此外，我们还清理和扩展了VQG数据集，以便在Few-Shot场景中使用，其中包含额外的图像-问题对以及额外的答案类别。我们称这个新数据集为VQG-23。从我们的实验中出现了几个重要的发现，揭示了当前模型在Few-Shot视觉和语言生成任务中的局限性。我们发现，用迁移学习或元学习来简单地扩展现有的VQG方法可能不足以解决Few-Shot VQG中的固有挑战。我们相信，这项工作将有助于加快少样本学习研究的进展。
2023-01-06 cs.CV
Weakly Supervised Few-shot Object Segmentation using Co-Attention with Visual and Semantic Embeddings
University of Alberta（阿尔伯塔大学）；HiSilicon, Huawei Research（华为研究·海思）；Indian Institute of Science（印度科学学院）；Element AI
Few-Shot目标分割方法的研究取得了重要进展。学习是成功的，在Few-Shot分割设置，使用像素级，涂鸦和限界框监督。本文采用另一种方法，即，对于Few-Shot对象分割，仅需要图像级标签。我们提出了一种新的多模态交互模块的Few-Shot对象分割，利用共同的注意力机制，使用视觉和词嵌入。我们的模型使用图像级标签实现了4.8%的改进，比以前提出的图像级Few-Shot对象分割。它还优于在PASCAL-5i上使用弱限界框监督的最先进方法。我们的研究结果表明，Few-Shot分割受益于利用词嵌入，我们能够执行Few-Shot分割使用堆叠联合视觉语义处理与弱图像级标签。我们进一步提出了一种新的设置，时间对象分割的少样本学习（TOSFL）的视频。TOSFL可以用于各种公共视频数据，如Youtube-VOS，如实例级和类别级TOSFL实验所示。
2020-05-17 cs.CV
PatchProto Networks for Few-shot Visual Anomaly Classification
Zhejiang University（浙江大学）
针对工业异常分类中异常样本稀缺的少样本学习问题，提出仅提取缺陷区域CNN特征作为原型的PatchProto网络，在MVTec-AD数据集上较基础分类器显著提升分类准确率。
2023-10-07 cs.CV
Dense Classification and Implanting for Few-Shot Learning
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩计算机科学与应用研究所）；Safran（赛峰集团）
从少量样本训练深度神经网络是许多计算机视觉任务的一个高度挑战性和关键问题。在这种情况下，我们的目标是将知识从具有丰富数据的集合转移到具有很少可用示例的其他集合。我们提出了两种简单有效的解决方案：（i）特征图上的密集分类，这是第一次在少样本学习领域研究局部激活，以及（ii）植入，即将新的神经元连接到先前训练的网络中，以学习新的特定于任务的特征。在miniImageNet上，我们改进了现有的Few-Shot分类技术，即，在5路1次、5次和10次设置下，我们分别实现了62.5%、79.8%和83.8%。
2019-03-12 cs.CV
Generating Representative Samples for Few-Shot Classification
Stony Brook University（石溪大学）；Amazon Robotics（亚马逊机器人）
少样本学习（FSL）的目的是学习新的类别与一些视觉样本每个类。由于数据稀缺，Few-Shot类表示往往存在偏差。为了缓解这个问题，我们建议使用条件变分自编码器（CVAE）模型生成基于语义嵌入的视觉样本。我们训练基础类的CVAE模型，并使用它来生成新的类的功能。更重要的是，在训练CVAE模型时，我们通过从基础训练集中删除非代表性样本来引导VAE严格生成代表性样本。我们表明，这种训练方案提高了所生成的样本的代表性，因此，提高了Few-Shot分类结果。实验结果表明，我们的方法改进了三种FSL基线方法，在miniImageNet和tieredImageNet数据集上实现了最先进的Few-Shot分类性能。代码可在：https://github.com/cvlab-stonybrook/fsl-rsvae.
2022-05-05 cs.CV
Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning
利用类语义描述和已知对象的示例，零样本学习使得可以训练用于其示例不可用的对象类的识别模型。在本文中，我们提出了一种新的零样本学习模型，利用聚类结构的语义嵌入空间。其关键思想是施加结构约束，语义表示必须预测其相应的视觉样本的位置。为此，这简化为从来自所看到的对象类别的标记数据的语义表示样本对训练多个基于内核的回归量。尽管简单，但我们的方法在标准基准数据集上的性能明显优于现有的零样本学习方法，包括包含20，000多个未知类别的ImageNet数据集。
2017-08-20 cs.CV
FHIST: A Benchmark for Few-shot Classification of Histological Images
ÉTS Montréal（蒙特利尔高等技术学院）；CRCHUM（蒙特利尔大学医疗中心研究中心）；University of Twente（特文特大学）；Mila（米拉人工智能研究所）；Imagia Inc（Imagia公司）；CIFAR（加拿大高等研究院）
少样本学习最近引起了人们对图像分类的广泛兴趣，但几乎所有当前的公共基准都集中在自然图像上。由于标记数据的稀缺性，Few-Shot范例在医学成像应用中是高度相关的，因为注释是昂贵的并且需要专门的专业知识。然而，在医学成像中，少样本学习研究很少，仅限于私人数据集，并且处于早期阶段。特别地，由于癌症相关组织分类任务的多样性和细粒度以及数据准备技术的多样性，Few-Shot设置在组织学中受到高度关注。本文介绍了一个高度多样化的公共基准，从各种公共数据集收集，用于Few-Shot组织学数据分类。我们构建了Few-Shot任务和基础训练数据，这些数据具有各种组织类型、源于各种癌症部位的不同级别的域偏移以及不同的类粒度级别，从而反映了现实场景。我们在我们的基准测试中评估了最先进的少样本学习方法的性能，并观察到简单的微调和正则化方法比流行的元学习和episodic训练范式取得了更好的结果。此外，我们介绍了三种方案的基础上的域之间的源和目标组织学数据的变化：近域，中域和域外。我们的实验显示了少样本学习在组织学分类中的潜力，最先进的少样本学习方法接近近域设置中的监督学习基线。在我们的域外设置中，对于5路5次拍摄，性能最好的方法达到60%的准确率。我们相信，我们的工作可以帮助建立现实的评价和公平的比较少样本学习方法，并将进一步鼓励研究在Few-Shot范式。
2022-05-31 cs.CV
PEVA-Net: Prompt-Enhanced View Aggregation Network for Zero/Few-Shot Multi-View 3D Shape Recognition
Institute for Infocomm Research, A*STAR（新加坡科研局信息通信研究院）
本文提出PEVA-Net，利用CLIP和提示增强视图聚合，同时解决零样本与少样本多视图三维形状识别，并通过零样本描述符引导的自蒸馏提升少样本学习效果。
2024-04-30 cs.CV
APRIL-GAN: A Zero-/Few-Shot Anomaly Classification and Segmentation Method for CVPR 2023 VAND Workshop Challenge Tracks 1&2: 1st Place on Zero-shot AD and 4th Place on Few-shot AD
Zhejiang University（浙江大学）；Tencent（腾讯）
本方法基于CLIP模型并添加线性层映射图像特征至联合嵌入空间，利用记忆库存储参考特征，在VAND 2023挑战赛中零样本赛道获第一名（分割F1提升0.0489），少样本赛道获第四名（分类F1为0.8687）。
2023-10-11 cs.CV
Visual-Semantic Contrastive Alignment for Few-Shot Image Classification
少样本学习旨在训练和优化一个模型，该模型可以适应看不见的视觉类，只有少数标记的例子。现有的少样本学习（FSL）方法严重依赖于视觉数据，因此无法从很少的示例中捕获语义属性以学习更广义的视觉概念版本。然而，众所周知的事实是，人类视觉学习极大地受益于来自视觉、语言和音频等多种形式的输入。受人类学习本质的启发，将视觉类别的现有知识以语言的形式封装起来，我们引入了视觉和语义特征向量的对比对齐机制，以学习更广义的视觉概念，用于少样本学习。我们的方法只是简单地添加了一个辅助的对比学习目标，它捕获的上下文知识的视觉类别从一个强大的文本编码器除了现有的训练机制。因此，该方法更通用，可以插入到任何现有的FSL方法。我们在方法中使用的预训练语义特征提取器（从大规模文本语料库中学习）提供了强大的上下文先验知识来帮助FSL。在流行的FSL数据集上进行的实验结果表明，我们的方法本质上是通用的，并对现有的FSL基线提供了强有力的推动。
2022-10-20 cs.CV
Shaping Visual Representations with Attributes for Few-Shot Recognition
Nanjing University（南京大学）
Few-Shot识别的目标是在低数据条件下识别新类别。一些最近的Few-Shot识别方法引入了辅助语义模态，即，类别属性信息引入到表示学习中，增强了特征区分度，提高了识别性能。现有的这些方法大多只考虑支持集的属性信息而忽略查询集，导致潜在的性能损失。在这封信中，我们提出了一种新的属性形状学习（ASL）框架，它可以联合执行查询属性生成和判别视觉表示学习的Few-Shot识别。具体来说，视觉属性预测器（VAP）的构造预测查询的属性。通过利用属性信息，设计了一个属性视觉注意模块（AVAM），它可以自适应地利用属性和视觉表示来学习更多的区分特征。在属性模态的指导下，我们的方法可以学习增强的语义感知表示分类。实验表明，我们的方法可以取得竞争力的结果在CUB和SUN基准。我们的源代码可在以下网址获得：\url{https://github.com/chenhaoxing/ASL}。
2022-06-05 cs.CV
Diversity Helps: Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
少样本学习是指在只有少量训练样本的情况下学习新的概念，近年来得到了广泛的研究。然而，目前的大多数作品严重依赖于一个大规模的标记辅助集训练他们的模型在一个episodic训练范式。这种监督设置基本上限制了少样本学习算法的广泛使用。相反，在本文中，我们开发了一种新的框架，称为无监督的少样本学习via分布偏移-Based Data Augmentation（ULDA），它在使用数据增强时关注每个构造的借口Few-Shot任务内部的分布多样性。重要的是，我们强调了分布多样性在基于增强的借口Few-Shot任务中的价值和重要性，这可以有效地缓解过拟合问题，使Few-Shot模型学习更鲁棒的特征表示。在ULDA中，我们系统地研究了不同增强技术的效果，并提出在每个Few-Shot任务中，通过增强这两个集合的差异（即，分布偏移）。通过这种方式，即使结合简单的增强技术（例如，随机裁剪、颜色抖动或旋转），我们的ULDA可以产生显著的改进。在实验中，通过ULDA学习的Few-Shot模型可以实现卓越的泛化性能，并在Omniglot和miniImageNet上的各种已建立的少样本学习任务中获得最先进的结果。源代码可以在https://github.com/WonderSeven/ULDA上找到。
2020-09-17 cs.CV
Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University（印第安纳大学）；Fudan University（复旦大学）
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题，可以应用现成的图像生成器来合成额外的训练图像，但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架，将生成的图像与原始图像相结合，从而得到的“混合”训练图像可以改善一次性学习。具体而言，通用的图像生成器更新的几个新的类的训练实例，并提出了一个Meta图像增强网络（MetaIRNet）进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练，我们的实验表明，在单次细粒度图像分类基准测试中，与基线相比，该模型具有一致的改进。
2019-11-17 cs.CV
Text-to-feature diffusion for audio-visual few-shot learning
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对视听少样本视频分类问题，提出了统一的基准及文本到特征扩散框架AV-DIFF，通过跨模态注意力融合特征并生成新类多模态特征，实现了最先进的分类性能。
2023-09-07 cs.CV
Few-shot Image Generation Using Discrete Content Representation
Shanghai Jiao Tong University（上海交通大学）
Few-Shot图像生成和Few-Shot图像翻译是两个相关的任务，它们都旨在为只有少量图像的不可见类别生成新图像。在这项工作中，我们第一次尝试适应Few-Shot图像翻译方法的Few-Shot图像生成任务。Few-Shot图像翻译将图像分解为样式向量和内容映射。看不见的样式向量可以与不同的可见内容映射组合以产生不同的图像。然而，它需要存储看到的图像以提供内容映射，并且看不见的样式向量可能与看到的内容映射不兼容。为了适应Few-Shot图像生成任务，我们通过将连续内容映射量化为离散内容映射来学习本地内容向量的紧凑字典，而不是存储看到的图像。此外，我们建立了以风格向量为条件的离散内容映射的自回归分布模型，从而缓解了内容映射和风格向量之间的不兼容性。三个真实数据集上的定性和定量结果表明，我们的模型可以产生更高的多样性和保真度的图像看不见的类别比以前的方法。
2022-07-22 cs.CV
Hold-One-Shot-Out (HOSO) for Validation-Free Few-Shot CLIP Adapters
ML-Labs（ML实验室）；Dublin City University（都柏林城市大学）
HOSO-Adapter通过无需验证的少样本设置，提升CLIP适配器性能，平均高出4个百分点
2026-03-04 cs.CV
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI；Middle East Technical University（中东技术大学）；Hacettepe University（哈切特佩大学）
就像其他少样本学习问题一样，Few-Shot分割旨在最大限度地减少对手动注释的需求，这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本，仍然需要注释训练数据。为了缓解这一需求，我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后，我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明，所提出的方法取得了可喜的成果，突出了自我监督训练的潜力。据我们所知，这是第一个工作，解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Few-Shot Adaptation Benchmark for Remote Sensing Vision-Language Models
UCLouvain（乌尔特-洛文大学）；UMons（蒙斯大学）；Fonds de la Recherche Scientifique（科学基金组织）
提出首个遥感视觉语言模型少样本适应基准，通过十个数据集和五种策略评估三个模型，发现零样本性能相似的模型在少样本适应下表现差异显著，需开发更鲁棒的方法。
2025-10-08 cs.CV
Meta-Transfer Learning for Few-Shot Learning
National University of Singapore（新加坡国立大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Tianjin University（天津大学）
元学习已经被提出作为一个框架，以解决具有挑战性的少样本学习设置。其关键思想是利用大量类似的Few-Shot任务，以学习如何使基本学习者适应只有少数标记样本可用的新任务。由于深度神经网络（DNN）往往只使用少量样本进行过拟合，因此元学习通常使用浅神经网络（SNN），从而限制了其有效性。在本文中，我们提出了一种称为Meta迁移学习（MTL）的新的少拍学习方法，该方法学习适应深度NN用于少样本学习任务。具体来说，“Meta”是指训练多个任务，而“转移”是通过学习每个任务的DNN权重的缩放和移位函数来实现的。此外，我们介绍了硬任务（HT）元批计划作为一个有效的学习课程MTL。我们在两个具有挑战性的少样本学习基准测试：miniImageNet和Fewshot-CIFAR 100上使用（5类，1次）和（5类，5次）识别任务进行实验。与相关工作的广泛比较验证了我们的Meta迁移学习方法与建议的HT元批处理方案训练达到最佳性能。消融研究还表明，这两个组件有助于快速收敛和高精度。
2019-04-09 cs.CV
Few-Shot Learning by Integrating Spatial and Frequency Representation
University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
人类可以识别新的对象只有少数标记的例子，然而，少样本学习仍然是一个具有挑战性的问题，机器学习系统。以往的少样本学习算法大多只利用图像的空间信息。在本文中，我们提出了将频率信息集成到学习模型中，以提高系统的识别能力。我们使用离散余弦变换（DCT）来产生频率表示，然后，结合空间域和频率域的特征进行分类。所提出的策略及其有效性验证了不同的骨干，数据集和算法。大量的实验表明，频率信息是互补的空间表示在Few-Shot分类。通过在不同的少样本学习任务中集成来自空间域和频域的特征，分类精度得到显著提高。
2021-07-07 cs.CV
Feature Aligning Few shot Learning Method Using Local Descriptors Weighted Rules
Guilin University Of Electronic Technology（桂林电子科技大学）
本文提出FAFD-LDWR方法，通过引入交叉归一化保留局部描述符判别信息，并对齐支持集与查询集关键局部描述符去除背景噪声，在多个基准数据集上提升了小样本分类性能与可解释性。
2024-08-26 cs.CV
The Devil is in the Few Shots: Iterative Visual Knowledge Completion for Few-shot Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Ant Group（蚂蚁集团）；Institute of AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）
针对少样本学习中样本分布狭窄导致视觉知识偏差的问题，提出迭代式视觉知识补全方法KCL，利用无标签样本逐步补全知识，无需额外数据，在11个基准数据集上验证了有效性。
2024-04-19 cs.CV
Few-shot Classification via Adaptive Attention
National University of Singapore（新加坡国立大学）
训练一个可以快速适应新任务的神经网络模型是非常理想的，但对于少样本学习问题来说是具有挑战性的。近年来的少样本学习方法主要集中于从优化初始模型和学习距离度量两个方面来开发各种元学习策略。在这项工作中，我们提出了一种新的少样本学习方法，通过优化和快速适应查询样本表示的基础上非常少的参考样本。具体而言，我们设计了一个简单而有效的元重加权策略，以适应样本表示和产生软注意力，以细化表示，以便从查询和支持样本的相关功能可以提取更好的Few-Shot分类。这种自适应注意力模型也能够在一定程度上解释分类模型正在寻找什么作为分类的证据。实验表明，该模型实现了国家的最先进的分类结果在各种基准Few-Shot分类和细粒度识别数据集。
2020-11-21 cs.CV
Few-Shot Learning Meets Transformer: Unified Query-Support Transformers for Few-Shot Classification
Anhui University（安徽大学）
Few-Shot分类是一种利用有限样本识别未知类别的分类方法，受到了越来越多的关注。通常，它被公式化为度量学习问题。Few-Shot分类的核心问题是如何学习（1）支持集和查询集中图像的一致表示和（2）支持集和查询集之间图像的有效度量学习。在本文中，我们表明，这两个挑战可以很好地同时通过一个统一的查询支持Transformer（QSFormer）模型建模。具体来说，所提出的QSFormer包括全局查询支持样本Transformer（sampleFormer）分支和局部补丁Transformer（patchFormer）学习分支。sampleFormer旨在捕获图像表示的支持集和查询集中样本的依赖性。采用编码器、解码器和交叉注意分别对支持度、查询（图像）表示和度量学习进行建模，实现了Few-Shot分类任务。此外，作为对全局学习分支的补充，我们采用了局部块Transformer，通过捕获局部图像块的长程依赖性来提取每个图像样本的结构表示。此外，提出了一种新的跨尺度交互式特征提取器（CIFE），用于提取和融合多尺度CNN特征，作为所提出的少样本学习方法的有效骨干模块。所有模块都集成到一个统一的框架中，并以端到端的方式进行培训。在四个流行的数据集上的实验证明了所提出的QSFormer的有效性和优越性。
2022-08-26 cs.CV
Few-Shot Few-Shot Learning and the role of Spatial Attention
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）；Safran（赛峰集团）
少样本学习的动机通常是人类从很少的例子中学习新任务的能力。然而，标准的Few-Shot分类基准假设表示是在有限数量的基类数据上学习的，忽略了人类在学习新任务之前可能已经积累的先验知识的量。同时，即使有一个强大的表示，也可能在某些领域中发生基类数据有限或不存在的情况。这促使我们研究一个问题，其中表示是从在不同领域的大规模数据集上预先训练的分类器中获得的，假设无法访问其训练过程，而基类数据仅限于每个类的几个示例，它们的作用是使表示适应手头的领域，而不是从头开始学习。我们适应的表示在两个阶段，即在几个基类的数据，如果可用的，甚至更少的数据的新任务。在这样做的过程中，我们从预先训练的分类器中获得了一个空间注意力图，它允许关注对象并抑制背景杂波。这在新问题中很重要，因为当基类数据很少时，网络无法学习隐式关注的位置。我们还表明，预先训练的网络可以很容易地适应新的类，而无需元学习。
2020-02-18 cs.CV
Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；IDEAS-NCBR
本文面向基于预训练 ViT 的 FSCIL 低可塑性问题，提出依据新类与基类的语义相似性校准协方差矩阵，并与现有方法结合以显著提升持续分类性能。
2024-04-09 cs.CV
Zero-shot Visual Relation Detection via Composite Visual Cues from Large Language Models
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出RECODE方法，通过将谓词分解为主体、客体和空间成分，并利用大语言模型生成复合描述提示及动态权重，有效提升零样本视觉关系检测的性能与可解释性。
2023-11-28 cs.CV
Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning
Nanyang Technological University（南洋理工大学）；ByteDance（字节跳动）；Monash University（蒙纳士大学）
少样本学习的目标是使从先前任务中学习到的知识适应新的任务，只有有限数量的标记数据。关于少样本学习的研究文献呈现出很大的多样性，而不同的算法通常在不同的少样本学习场景中表现出色。因此，决定在不同的任务条件下使用哪种学习策略是很棘手的。受最近自动机器学习文献（AutoML）的成功启发，本文提出了Meta Navigator，一个试图通过寻求更高级别的策略来解决上述少样本学习限制的框架，并提供从各种少样本学习设计中自动选择。我们的工作的目标是寻找良好的参数自适应政策，适用于不同阶段的网络Few-Shot分类。我们提出了一个搜索空间，涵盖了许多流行的少样本学习算法在文献中，并开发了可微搜索和解码算法的基础上元学习，支持基于梯度的优化。我们证明了我们的基于搜索的方法在多个基准数据集上的有效性。大量的实验表明，我们的方法显着优于基线，并证明了许多国家的最先进的方法的性能优势。代码和模型将公开发布。
2021-09-13 cs.CV
SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning
Cornell University（康奈尔大学）；Ohio State University（俄亥俄州立大学）；Facebook AI Research（脸书人工智能研究院）
Few-Shot学习器的目标是基于少量标记的训练样本识别新的对象类。为了防止过拟合，最先进的Few-Shot学习器对卷积网络特征使用元学习，并使用最近邻分类器执行分类。本文研究了没有元学习的最近邻基线的精度。令人惊讶的是，我们发现简单的特征变换足以获得有竞争力的少样本学习精度。例如，我们发现，在miniImageNet数据集上，与均值减法和L2归一化相结合使用的最近邻分类器在五分之三的设置中优于先前的结果。
2019-11-16 cs.CV
Integrative Few-Shot Learning for Classification and Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们介绍了Few-Shot分类和分割（FS-CS）的综合任务，旨在分类和分割目标对象的查询图像时，目标类与一些例子。该任务结合了两个传统的少样本学习问题，Few-Shot分类和分割。FS-CS将它们推广到具有任意图像对的更真实的情节，其中每个目标类可能存在于查询中，也可能不存在。为了解决这个问题，我们提出了综合少样本学习（iFSL）框架的FS-CS，训练学习者构建类明智的前景地图多标签分类和像素明智的分割。我们还开发了一个有效的iFSL模型，专注挤压网络（ASNet），它利用深层语义相关性和全局自我注意力来生成可靠的前景地图。在实验中，所提出的方法表现出良好的性能上的FS-CS任务，也达到了最先进的标准Few-Shot分割基准。
2022-04-27 cs.CV
Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
HKUST（香港科技大学）；Tencent（腾讯）
用于目标检测的常规方法通常需要大量的训练数据，并且准备这样的高质量训练数据是非常劳动密集的。在本文中，我们提出了一种新的Few-Shot目标检测网络，旨在检测对象的不可见的类别只有几个注释的例子。我们的方法的核心是我们的注意力RPN，多关系检测器和对比训练策略，利用Few Shot支持集和查询集之间的相似性来检测新的对象，同时抑制背景中的错误检测。为了训练我们的网络，我们贡献了一个新的数据集，其中包含1000个具有高质量注释的各种对象的类别。据我们所知，这是第一批专门为Few-Shot目标检测设计的数据集之一。一旦我们的Few-Shot网络经过训练，它就可以检测出不可见类别的对象，而无需进一步训练或微调。我们的方法是通用的，并具有广泛的潜在应用。我们在Few-Shot设置中的不同数据集上产生了新的最先进的性能。数据集链接是https://github.com/fanq15/Few-Shot-Object-Detection-Dataset。
2020-05-10 cs.CV
Few-shot Action Recognition with Implicit Temporal Alignment and Pair Similarity Optimization
Northwestern Polytechnical University（西北工业大学）
少样本学习的目的是用少量的标记样本从新类别中识别实例，具有重要的研究和应用价值。虽然最近在这方面已经有了很多工作，但现有的大部分工作都是基于图像分类任务的。基于视频的Few-Shot动作识别尚未得到很好的研究，并且仍然具有挑战性：1）不同文献之间实现细节的差异使得公平比较困难; 2）时间序列的广泛变化和不对齐使得视频级相似性比较困难; 3）标记数据的稀缺使得优化困难。为了解决这些问题，本文提出了1）一个特定的设置，以评估性能的Few-Shot动作识别算法; 2）一个隐式序列对齐算法更好的视频级相似性比较; 3）一个先进的损失为少样本学习，以优化对相似性有限的数据。具体来说，我们提出了一种新的Few-Shot动作识别框架，该框架使用长短期记忆跟随3D卷积层进行序列建模和对齐。通过引入圈损失，使类内相似度最大化，类间相似度最小化，从而灵活地实现更明确的收敛目标。我们没有使用随机或模糊的实验设置，而是设置了一个具体的标准，类似于标准的基于图像的Few-Shot学习设置，用于Few-Shot动作识别评估。在两个数据集上的实验证明了该方法的有效性。
2020-10-13 cs.CV
Learning Visually Consistent Label Embeddings for Zero-Shot Learning
HAVELSAN Inc.（哈维尔桑公司）；Middle East Technical University（中东技术大学）；Hacettepe University（哈塞特佩大学）
在这项工作中，我们提出了一个零样本学习方法，有效地建模类之间的知识转移，通过共同学习视觉上一致的词向量和标签嵌入模型在端到端的方式。其主要思想是将属性和类的向量空间词向量投影到视觉空间中，使得语义相关类的词表示变得更接近，并使用所提出的嵌入模型中的投影向量来识别未见过的类。我们在两个基准数据集上对所提出的方法进行了评估，实验结果表明，我们的方法在识别精度上有了显着的提高。
2019-05-16 cs.CV
Few-Shot Adaptation of Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Google Research（谷歌研究院）
生成对抗网络（GANs）在图像合成任务中表现出了卓越的性能，但通常需要大量的训练样本才能实现高质量的合成。本文提出了一种简单有效的方法，Few-Shot GAN（FSGAN），用于在Few-Shot设置（少于100张图像）中调整GANs。FSGAN重新利用了分量分析技术，并学习适应预训练权重的奇异值，同时冻结相应的奇异向量。这为适应提供了一个高度表达的参数空间，同时限制了对预训练权重的更改。我们验证我们的方法在一个具有挑战性的Few-Shot设置5-100图像的目标域。我们表明，我们的方法具有显着的视觉质量增益相比，现有的GAN适应方法。我们报告的定性和定量结果表明，我们的方法的有效性。我们还强调了一个问题，Few-Shot合成的数据高效的图像合成工作所使用的标准定量度量。代码和其他结果可在http://e-271.github.io/few-shot-gan上获得。
2020-10-22 cs.CV
P3DC-Shot: Prior-Driven Discrete Data Calibration for Nearest-Neighbor Few-Shot Classification
Jilin University（吉林大学）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE（教育部知识驱动的人机智能工程研究中心）
最近邻分类是一种简单有效的少样本学习方法。查询数据可以通过基于预训练的深度模型提取的特征找到最近的支持类来有效分类。然而，基于神经网络的方法是敏感的数据分布，并可能产生错误的预测，如果支持集的样本恰好位于不同类的分布边界附近。为了解决这个问题，我们提出了P3 DC-Shot，一种改进的基于最近邻的Few-Shot分类方法，通过先验驱动的数据校准。受分布校准技术的启发，提出了一种新的离散数据校准操作，该操作更适合于基于神经网络的Few-Shot分类。具体来说，我们把代表每个基类的原型作为先验，并根据其与不同基本原型的相似性来校准每个支持数据。然后，我们使用这些离散校准的支持数据进行NN分类。在各种数据集上进行的大量实验结果表明，我们高效的基于非学习的方法可以优于或至少与需要额外学习步骤的SOTA方法相当。
2023-01-02 cs.CV
Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning
Monash University（莫纳什大学）；Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Amazon Australia（亚马逊澳大利亚）；The University of Melbourne（墨尔本大学）
学习和推广到新的概念，很少的样本（少样本学习）仍然是一个重要的挑战，现实世界的应用。实现少样本学习的主要方法是实现一个能够快速适应给定任务上下文的模型。动态网络已经被证明能够有效地学习内容自适应参数，使它们适合于少样本学习。在本文中，我们建议学习卷积网络的动态内核作为手头任务的函数，从而实现更快的泛化。为此，我们根据整个任务和每个样本获得动态内核，并开发一种机制，进一步独立调节每个通道和位置。这导致动态内核同时关注全局信息，同时也考虑可用的微小细节。我们的经验表明，我们的模型提高了性能的Few-Shot分类和检测任务，实现了有形的改善，超过几个基线模型。这包括4个Few-Shot分类基准测试的最新结果：mini-ImageNet，tiered-ImageNet，CUB和FC 100以及Few-Shot检测数据集的竞争结果：MS COCO-PASCAL-VOC。
2022-07-13 cs.CV
Collaboration of Pre-trained Models Makes Better Few-shot Learner
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
Few-Shot分类需要深度神经网络仅从有限的训练图像中学习广义表示，这在低数据状态下具有挑战性但意义重大。最近，基于CLIP的方法已经显示出有希望的Few-Shot性能，这得益于对比语言图像预训练。基于这一点，我们质疑大规模的预训练是否可以缓解Few-Shot数据不足，并通过预先学习的知识辅助表示学习。在本文中，我们提出了CoMo，这是一种预训练模型的协作，它整合了来自各种预训练范例的多种先验知识，以实现更好的少样本学习。我们的CoMo包括：CLIP的语言对比知识，DINO的视觉对比知识和DALL-E的语言生成知识。具体而言，CoMo工作在两个方面：Few-Shot数据扩展和多样化的知识集成。首先，我们通过zero-shot DALL-E生成合成图像，以丰富Few-Shot训练数据，而无需任何人力。另一方面，我们引入了一个可学习的多知识适配器（MK-Adapter）来自适应地混合CLIP和DINO的预测。通过这种合作，CoMo可以充分释放不同预训练方法的潜力，并将它们统一起来，以执行最先进的Few-Shot分类。我们在11个数据集上进行了广泛的实验，以证明我们的方法的优越性和泛化能力。
2022-11-07 cs.CV
Shot in the Dark: Few-Shot Learning with No Base-Class Labels
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
少样本学习的目标是从少量标记的示例中为新类构建分类器，并且通常通过访问来自不同的“基类”集合的示例来促进。测试集（新类）和用于学习归纳偏差的基类之间的数据分布差异通常会导致新类的泛化能力较差。为了缓解由分布偏移引起的问题，以前的研究已经探索了使用未标记的例子，从新的类，除了标记的例子的基础类，这是已知的转换设置。在这项工作中，我们发现，令人惊讶的是，现成的自监督学习在miniImageNet上的5次Few-Shot率比转换的少数方法高出3.9%，而不使用任何基类标签。这促使我们更仔细地研究通过自我监督学习的特征在少样本学习中的作用。通过实验比较了监督特征和自监督特征的可移植性、鲁棒性、效率以及互补性。
2021-04-23 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University（康奈尔大学）
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别（例如，鸟类）仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示：首先定位每个图像中的语义部分，然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类，我们表明，他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下，姿势归一化将浅层和深层架构的准确度提高了10到20个百分点，更好地推广到新领域，并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
StarNet: towards Weakly Supervised Few-Shot Object Detection
IBM Research AI（IBM研究院人工智能部门）；Tel-Aviv University（特拉维夫大学）；Technion（以色列理工学院）
近年来，Few-Shot检测和分类有了显著的进步。然而，检测方法需要强注释（边界框）用于预训练和适应新的类别，并且分类方法很少提供场景中对象的定位。在本文中，我们介绍了StarNet -一个Few-Shot模型，具有端到端可微的非参数星形模型检测和分类头。通过这个头，骨干只使用图像级标签进行元训练，以产生良好的特征，用于使用查询和支持图像之间几何匹配的星型模型（以找到相应的对象实例）联合定位和分类以前看不见的Few-Shot测试任务类别。作为一个Few-Shot检测器，StarNet不需要任何限界框注释，无论是在预训练期间还是在新的类适应期间。因此，它可以应用于以前未开发的和具有挑战性的任务弱监督Few-Shot目标检测（WS-FSOD），在那里它实现了显着的改进，超过基线。此外，StarNet在Few-Shot分类基准上显示出显着的收益，这些基准在对象周围的裁剪较少（其中对象定位是关键）。
2020-09-17 cs.CV
