Dynamic Input Structure and Network Assembly for Few-Shot Learning
从少量样本中学习的能力从一开始就是机器学习中的一个难题。虽然方法在大量训练数据上取得了成功，但如何用更少的例子实现类似的性能的研究一直在进行中，称为一次性学习或更一般的少样本学习。这种技术已被证明具有很好的性能，但在实践中需要固定大小的输入，使其不切实际的生产系统，类大小可以变化。这阻碍了少样本学习系统的训练和最终效用。本文介绍了一种方法来构建和训练一个网络，可以动态处理任意大小的示例系统使用。
2017-08-22 cs.LG stat.ML
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh（爱丁堡大学）
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索，其中每个类的标签是可用的。另一方面，无监督的Few-Shot学习设置，其中不需要任何类型的标签，几乎没有调查。我们提出了一种方法，命名为假设，扩增和学习或AAL，用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充，并重用支持集的标签，得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练，这样的模型可以直接应用于小型实标记数据集，而无需任何更改或微调。在我们的实验中，学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
Discrete Few-Shot Learning for Pan Privacy
University of Melbourne（墨尔本大学）
在本文中，我们提出了第一个基线结果的任务的少样本学习的离散嵌入向量的图像识别。少样本学习是一项高度研究的任务，通常由资源受限的识别系统利用，以在每个类别的少量图像上进行训练。Few-Shot系统通常存储每个类的连续嵌入向量，在系统违规或内部威胁令人担忧的情况下对隐私构成风险。使用离散的嵌入向量，我们设计了一个简单的密码协议，它使用单向哈希函数，以建立识别系统，不直接存储其用户的嵌入向量，从而提供了一个实用的和广泛的设置计算泛隐私的保证。
2020-06-23 cs.LG stat.ML
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company（好奇人工智能公司）
我们考虑半监督的Few-Shot分类问题，其中分类器需要使用几个标记的示例和（可能是许多）未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类，并使用少数标记示例指导聚类过程。我们注意到，在许多实际应用中，通过用户反馈请求少量标签，可以显著提高自适应性能。我们展示了良好的性能，使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
A Baseline for Few-Shot Image Classification
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
微调使用标准交叉熵损失训练的深度网络是少样本学习的强大基线。当进行微调时，这在标准数据集上的表现优于当前最先进的技术，例如Mini-ImageNet，Tiered-ImageNet，CIFAR-FS和FC-100，具有相同的超参数。这种方法的简单性使我们能够在ImageNet-21 k数据集上展示前少样本学习结果。我们发现，使用大量的元训练类的结果在高的Few-Shot精度，即使是大量的Few-Shot类。我们并不提倡我们的方法作为解决方案的少样本学习，但只是使用的结果，以突出当前的基准和Few-Shot协议的局限性。我们对基准数据集进行了广泛的研究，提出了一个度量标准，量化了“硬度”的Few-Shot插曲。该度量可用于以更系统的方式报告Few-Shot算法的性能。
2020-10-21 cs.CV cs.LG stat.ML
Texture Bias Of CNNs Limits Few-Shot Classification Performance
Speechmatics
在计算机视觉中，给定少量标记数据的精确图像分类（Few-Shot分类）仍然是一个悬而未决的问题。在这项工作中，我们研究了卷积神经网络（CNN）的已知纹理偏差如何影响Few-Shot分类性能。虽然纹理偏差可以帮助标准的图像分类，在这项工作中，我们表明它显着损害Few-Shot分类性能。在纠正这种偏差之后，我们使用一种比当前性能最好的少样本学习方法简单得多的方法，在竞争性的miniImageNet任务上展示了最先进的性能。
2019-10-18 cs.CV cs.LG stat.ML
Metric-Based Few-Shot Learning for Video Action Recognition
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
在Few-Shot场景中，学习器必须有效地推广到给定标记示例的小支持集的未见过的类。虽然相对大量的研究已经进入了用于图像分类的少样本学习，但是在Few-Shot视频分类上做的工作很少。在这项工作中，我们解决的任务Few-Shot视频动作识别与一组两个流模型。我们评估了一组卷积和递归神经网络视频编码器架构与三种流行的基于度量的Few-Shot算法结合使用的性能。我们使用Kinetics 600数据集的Few-Shot分割进行训练和评估。我们的实验证实了双流设置的重要性，并找到原型网络和池化长短期记忆网络嵌入，分别作为Few-Shot方法和视频编码器提供最佳性能。对于一个5杆5路任务，该设置获得84.2%的准确率在测试集和59.4%的特殊的“挑战”测试集，组成的高度混淆的类。
2019-09-14 cs.CV cs.LG stat.ML
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
Few-Shot图像分类的目标是推广到具有有限标记数据的任务，多年来已经取得了很大的进展。然而，分类器容易受到对抗性样本的影响，这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合，以提高Few-Shot分类器的鲁棒性。我们表明，一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明，在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器，在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的，易于扩展，并与很少的努力，可以导致强大的Few-Shot分类器。代码可在这里：\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
Revisiting Fine-tuning for Few-shot Learning
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
少样本学习是一种仅使用少量样本学习新类的过程，它在机器学习中仍然是一个具有挑战性的任务。许多复杂的少样本学习算法都是基于这样一个概念提出的：如果只使用几个样本对网络进行简单的微调，那么网络很容易过拟合到新的样本。在这项研究中，我们表明，在常用的低分辨率mini-ImageNet数据集中，微调方法在1次任务中实现了比常见的少样本学习算法更高的准确性，在5次任务中与最先进的算法几乎相同的准确性。然后，我们评估我们的方法与更实际的任务，即高分辨率的单域和跨域的任务。这两个任务，我们表明，我们的方法比常见的少样本学习算法实现了更高的精度。我们进一步分析了实验结果，并表明：1）再训练过程可以通过采用低学习率来稳定，2）在微调过程中使用自适应梯度优化器可以提高测试精度，3）当基类和新类之间存在较大的域偏移时，可以通过更新整个网络来提高测试精度。
2019-10-03 cs.CV cs.LG stat.ML
True Few-Shot Learning with Language Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
预训练的语言模型（LM）即使在从几个示例中学习时也能在许多任务中表现良好，但之前的工作使用许多保留的示例来调整学习的各个方面，例如超参数，训练目标和自然语言模板（“提示”）。在这里，我们评估的Few-Shot能力的LM时，这样的支持的例子是不可用的，我们称之为真正的少样本学习。我们测试两个模型选择标准，交叉验证和最小描述长度，选择LM提示和超参数在真正的Few-Shot设置。平均而言，这两种方法的表现都略优于随机选择，而大大低于基于保留样本的选择。此外，选择标准往往倾向于表现明显差于随机选择的模型。即使考虑到我们在选择过程中对模型真实性能的不确定性，以及当改变用于选择的计算量和示例数量时，我们也会发现类似的结果。总的来说，我们的研究结果表明，以前的工作显着高估了真正的Few-Shot能力的LM考虑到困难的Few-Shot模型选择。
2021-05-24 cs.CL cs.LG stat.ML
Defining Benchmarks for Continual Few-Shot Learning
University of Edinburgh（爱丁堡大学）
由于采用了适当的基准，Few-Shot和持续学习在过去几年中都取得了重大进展。话虽如此，该领域仍然需要为持续Few-Shot学习的高度理想设置构建一套基准，其中学习者被一个接一个地呈现许多Few-Shot任务，然后被要求在源于所有先前看到的任务的验证集上表现良好。连续少样本学习具有较小的计算占用空间，因此是高效调查和实验的绝佳设置。在本文中，我们首先定义了一个连续少样本学习的理论框架，考虑到最近的文献，然后我们提出了一系列灵活的基准，统一的评估标准，并允许从多个角度探索问题。作为基准测试的一部分，我们引入了ImageNet的一个紧凑型变体，称为SlimageNet64，它保留了所有原始的1000个类，但只包含每个类的200个实例（总共20万个数据点），缩小到64 x 64像素。我们使用一些流行的少样本学习算法为建议的基准提供基线，因此，在连续和数据有限的设置中暴露了这些算法以前未知的优点和缺点。
2020-04-15 cs.CV cs.LG stat.ML
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
Few-shot learning using pre-training and shots, enriched by pre-trained samples
我们使用EMNIST手写数字数据集来测试一种简单的少样本学习方法。完全连接的神经网络用10个数字的子集进行预训练，并用于用未训练的数字进行少样本学习。引入了两个基本思想：在少样本学习期间，第一层的学习被禁用，并且对于每个镜头，先前未知的数字与四个先前训练的数字一起用于梯度下降，直到满足预定义的阈值条件。这样，我们在10次射击后达到约90%的准确率。
2020-09-19 cs.CV cs.LG
Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法，即学习学习的算法。通过从更大的数据集中采样Few-Shot任务，我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的，Sicara是一家为企业提供图像识别解决方案的法国公司。它包含：1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法，该算法仍在开发中。
2019-09-30 cs.CV cs.LG
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究所）
跨域少样本学习（CD-FSL）在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异，最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外，这些数据还可以在目标域上进行自我监督的预训练。在本文中，我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现，当目标域与源域不相似或目标域本身具有低Few-Shot难度时，自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案，混合监督和两阶段学习，提高性能。在这种情况下，我们提出了六个研究结果的CD-FSL，这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
现实世界的分类任务经常需要在开放集设置中工作。这对于少样本学习问题尤其具有挑战性，因为每个已知类别的样本量都很小，这使得现有的开集方法无法有效地工作;然而，大多数多类Few-Shot方法仅限于闭集场景。在这项工作中，我们解决了问题的Few-Shot开集分类首先提出的方法为Few-Shot一类分类，然后将其扩展到Few-Shot多类开集分类。我们介绍了两个独立的Few-Shot单类分类方法：Meta Binary Cross-Entropy（Meta-BCE），它学习一个单独的特征表示单类分类，单类元学习（OCML），它学习生成单类分类器给定标准的多类特征表示。这两种方法都可以增强任何现有的少样本学习方法，而不需要重新训练以在Few-Shot多类开集设置中工作，而不会降低其闭集性能。我们在不同的问题设置中展示了这两种方法的优点和缺点，并在三个标准的基准数据集miniImageNet，tieredImageNet和Caltech-UCSD-Birds-200-2011上对其进行了评估，在这些数据集上，它们在Few-Shot多类开集和Few-Shot一类任务中超越了最先进的方法。
2021-09-14 cs.CV cs.LG
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中，Transductive方法总是优于归纳方法。然而，现有的Few-Shot方法包含一个潜在的条件：每个类中的样本数是相同的，这可能是不现实的。为了应对这些情况下，每个类的查询镜头是不均匀的（即不均匀的少样本学习），我们提出了一个任务先验条件变分自动编码器模型TP-VAE，条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外，我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中，单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
Few-shot Decoding of Brain Activation Maps
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（STICC实验室）
少样本学习解决了有限数量的训练样本可用的问题。到目前为止，该领域主要由计算机视觉中的应用驱动。在这里，我们有兴趣适应最近推出的Few-Shot方法来解决神经成像数据处理的问题，这是一个很有前途的应用领域。为此，我们为少样本学习创建了一个神经成像基准数据集，并比较了多种学习范式，包括元学习以及各种骨干网络。我们的实验表明，Few-Shot方法能够使用很少的例子有效地解码大脑信号，这为临床和认知神经科学中的许多应用铺平了道路，例如从大脑扫描中识别生物标志物或理解广泛的认知任务中大脑表征的泛化。
2021-05-19 cs.LG
Learning from Few Examples: A Summary of Approaches to Few-Shot Learning
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习是指仅从几个训练样本中学习数据中的底层模式的问题。由于需要大量的数据样本，许多深度学习解决方案都面临数据饥饿和大量的计算时间和资源。此外，由于问题的性质或隐私问题，以及数据准备的成本，数据往往无法获得。数据汇集、预处理和标记是繁重的人工任务。因此，可以大幅减少构建机器学习应用程序的周转时间的少样本学习成为一种低成本解决方案。这篇调查论文包括最近提出的少样本学习算法的代表性列表。考虑到学习的动力学和特征，从元学习、迁移学习和混合方法（即，少样本学习问题的不同变体）。
2022-03-07 cs.CV cs.LG
A Study on Representation Transfer for Few-Shot Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
Few-Shot分类的目标是学习仅使用少量标记的示例来很好地分类新的对象类别。从其他模型转移特征表示是解决Few-Shot分类问题的一种流行方法。在这项工作中，我们进行了系统的研究，各种功能表示为Few-Shot分类，包括表示学习MAML，监督分类，和几个常见的自我监督的任务。我们发现，从更复杂的任务中学习往往会为Few-Shot分类提供更好的表示，因此我们提出使用从多个任务中学习到的表示进行Few-Shot分类。再加上特征选择和投票的新技巧来处理小样本量的问题，我们的直接迁移学习方法在几个基准数据集上提供了与最新技术相当的性能。
2022-09-05 cs.CV cs.LG
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
HCFSLN: Adaptive Hyperbolic Few-Shot Learning for Multimodal Anxiety Detection
本文提出HCFSLN少样本学习框架，融合语音、生理和视频数据，利用双曲嵌入与自适应门控实现多模态焦虑检测，在108人数据集上以88%准确率超越最佳基线14%。
2025-11-10 cs.HC cs.LG
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
Inductive Linear Probing for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题，本文通过实证揭示现有框架局限，提出适配归纳式少样本节点分类的简单强基线，为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
Meta-free few-shot learning via representation learning with weight averaging
University of Toronto（多伦多大学）
最近的研究Few-Shot分类使用迁移学习的情节元学习算法的有效性和效率提出了挑战。迁移学习方法是一种自然的选择，但它们仅限于Few-Shot分类。此外，除了一些贝叶斯情景学习算法之外，很少有人关注来自Few-Shot样本的具有良好校准的不确定性的概率模型的开发。为了解决上述问题，我们提出了一种新的迁移学习方法，以获得准确和可靠的模型，用于Few-Shot回归和分类。由此产生的方法不需要情景元学习，被称为无元表示学习（MFRL）。MFRL首先发现低秩表示在元测试任务上泛化良好。给定学习的表示，概率线性模型用Few-Shot样本进行微调，以获得具有良好校准的不确定性的模型。该方法不仅在广泛的少样本学习基准数据集上实现了最高的准确率，而且正确地量化了预测的不确定性。此外，加权平均和温度缩放在提高具有广泛的学习范例和模型架构的现有元学习算法中的少样本学习的准确性和可靠性方面是有效的。
2022-04-30 cs.CV cs.LG
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Few-shot training LLMs for project-specific code-summarization
University of California, Davis（加州大学戴维斯分校）
非常大的大语言模型（LLM），如GPT-3和Codex，已经在几个自然语言任务上实现了最先进的性能，并且在代码方面也表现出了很大的潜力。LLM的一个特别令人兴奋的方面是他们对Few-Shot和零样本学习的诀窍：他们可以用很少的例子学习执行任务。在软件工程中，少拍具有特别的协同作用，其中有许多现象（标识符名称、API、术语、编码模式）是高度特定于项目的。然而，特定于项目的数据可能非常有限，特别是在项目历史的早期;因此LLM的少样本学习能力可能非常相关。在本文中，我们研究了使用Few-Shot训练与非常大的GPT（生成式预训练Transformer）Codex模型，并发现证据表明，利用特定于项目的训练，可以显着超过最先进的代码摘要模型。
2022-09-08 cs.LG cs.SE
Transductive Few-Shot Learning: Clustering is All You Need?
Thales - Cortaix（泰雷兹Cortaix）；ÉTS Montreal（蒙特利尔高等技术学院）
我们研究了一个通用的公式聚类和转导少样本学习，它集成了基于原型的目标，拉普拉斯正则化和监督约束，从一些标记的数据点。我们提出了一个凹凸松弛的问题，并推导出一个计算效率高的块坐标界优化，收敛保证。在每次迭代中，我们的优化器为每个点到集群分配计算独立（并行）更新。因此，对于大规模聚类和Few-Shot任务，它可以是平凡分布的。此外，我们提供了一个彻底的收敛性分析的基础上点到集的地图。在各种数据集上进行了端口综合聚类和少样本学习实验，表明我们的方法在准确性和优化质量方面具有竞争力的性能，同时可以扩展到大型问题。在基础类上使用标准训练，而不采用复杂的元学习和情节训练策略，我们的方法在各种模型，设置和数据集上的性能明显优于最先进的Few-Shot方法。令人惊讶的是，我们发现即使是标准的聚类程序（例如，K-means），对应于我们一般模型的特定非正则化情况，与少样本学习中的最新技术相比，已经实现了具有竞争力的性能。这些令人惊讶的结果指出了当前Few-Shot基准测试的局限性，并质疑了最近文献中大量卷积少样本学习技术的可行性。
2021-06-16 cs.CV cs.LG
ReMP: Rectified Metric Propagation for Few-Shot Learning
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
少样本学习的特点是能够从少量样本中进行归纳。在本文中，我们首先发现，一个区分性特征空间（即纠正的度量空间）是基于度量的少样本学习成功的重要组成部分，它被学习以保持从训练到测试的度量一致性。许多分析表明，一个简单的修改的目标可以产生显着的性能增益。由此产生的方法，称为纠正度量传播（ReMP），进一步优化了一个专注的原型传播网络，并应用排斥力来做出自信的预测。大量的实验表明，所提出的ReMP是有效的和高效的，并优于各种标准的少样本学习数据集上的艺术状态。
2020-12-02 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
FewSAR: A Few-shot SAR Image Classification Benchmark
Army Engineering University of PLA（中国人民解放军陆军工程大学）
针对SAR图像小样本分类领域缺乏统一基准导致研究进展缓慢的问题，本文提出包含15种经典方法的开源基准FewSAR，通过系统实验发现度量学习方法表现最优，为该交叉领域研究提供了统一测试平台。
2023-06-16 cs.CV cs.LG
Dynamic Memory Induction Networks for Few-Shot Text Classification
Alibaba Group（阿里巴巴集团）；Ingenuity Labs Research Institute（匠心实验室研究院）；Queen’s University（女王大学）
提出了一种基于动态记忆归纳网络的Few-Shot文本分类方法。该模型利用动态路由为基于记忆的少样本学习提供更大的灵活性，以更好地适应支持集，这是Few-Shot分类模型的关键能力。在此基础上，我们进一步开发了具有查询信息的归纳模型，旨在增强元学习的泛化能力。该模型在miniRCV 1和ODIC数据集上取得了新的最先进的结果，将最佳性能（准确度）提高了2~ 4%。进一步进行详细分析以显示每个组件的有效性。
2020-05-12 cs.CL cs.LG
Learning Class-level Prototypes for Few-shot Learning
Nanjing University（南京大学）
少样本学习旨在使用很少的标记样本识别新类别。虽然少样本学习近年来取得了很大的发展，但现有的方法大多采用平均运算来计算原型，从而受到离群样本的限制。在这项工作中，我们提出了一个简单而有效的框架，Few-Shot分类，它可以学习生成更好的原型，从几个支持数据的帮助下，情节原型生成器模块。生成的原型旨在接近某个\textit{\targetproto{}}，并且受异常值样本的影响较小。大量的实验证明了该模块的有效性，我们的方法在基线模型上得到了显着的提高，并在\textit{mini} ImageNet，\textit{tiered} ImageNet和跨域（\textit{mini} ImageNet $\rightarrow$ CUB-200-2011）数据集上得到了与以前的方法相比具有竞争力的结果。
2021-08-25 cs.CV cs.LG
Privacy Enhancement for Cloud-Based Few-Shot Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习由于对精确模型所需数据较少，在许多应用领域表现出了鲁棒性和通用性。然而，在不受信任的环境中部署Few-Shot模型可能会造成隐私问题，例如，可能会侵犯用户提供的数据的隐私的攻击或对手。本文研究了在不可信环境下的少样本学习的隐私增强问题，云，通过建立一个新的隐私保护的嵌入空间，保护数据的隐私，并保持模型的准确性。我们研究了各种图像隐私方法的影响，如模糊，像素化，高斯噪声，差分私有像素化（DP-Pix）对Few-Shot图像分类，并提出了一种方法，通过联合损失学习隐私保护的表示。实证结果显示了如何针对隐私增强的少样本学习协商隐私-性能权衡。
2022-08-23 cs.CR cs.CV cs.LG
On Class Separability Pitfalls In Audio-Text Contrastive Zero-Shot Learning
INSPER Institute of Teaching and Research（INSPER教学与研究机构）；Research University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校研究大学）
本研究揭示音频-文本对比零样本学习准确率主要源于单模态骨干网络的预训练优势，而非跨模态学习所得，指出了数据泄漏导致的类别可分性陷阱。
2024-08-23 cs.LG cs.SD eess.AS
TARDiS : Text Augmentation for Refining Diversity and Separability
School of Computer Science and Engineering, Korea University of Technology and Education (KOREATECH)（韩国技术教育大学计算机科学与工程学院（KOREATECH））
针对少样本文本分类，本文提出基于 LLM 的两阶段文本增强方法 TARDiS，通过 SEG、CEG 生成流程和类别适应机制提升样本多样性、可分离性与类别一致性，并在多项任务中超过现有方法。
2025-01-06 cs.AI cs.CL cs.LG
Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data
University of California, Berkeley（加州大学伯克利分校）
针对IMU基零样本人体活动识别中的模态差距问题，提出对比训练与描述性原型结合的方法，在PAMAP2数据集上实现73.2%准确率和0.583宏F1，并指出宏F1更适合作为评估指标。
2026-06-09 cs.LG
Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes
Vector Institute, University of Toronto（向量研究所，多伦多大学）
Few-Shot分类（FSC）是在给定小的标记数据集的情况下使分类器适应看不见的类的任务，是迈向类人机器学习的重要一步。贝叶斯方法非常适合解决在Few-Shot场景中过度拟合的基本问题，因为它们允许从业者指定先验信念并根据观察到的数据更新这些信念。当代的贝叶斯Few-Shot分类方法保持了模型参数的后验分布，这很慢，并且需要随模型大小而扩展的存储。相反，我们提出了一个基于Pólya-Gamma增强和one-vs-each softmax近似的新组合的高斯过程分类器，使我们能够有效地边缘化函数而不是模型参数。我们证明了改进的准确性和不确定性量化标准的Few-Shot分类基准和Few-Shot域转移任务。
2021-01-21 cs.LG stat.ML
FROB: Few-shot ROBust Model for Classification and Out-of-Distribution Detection
Cranberry-Lemon University（蔓越莓柠檬大学）；Department of Computer Science（计算机科学系）；University of the Witwatersrand（金山大学）；Department of Computational Neuroscience（计算神经科学系）；Pittsburgh, PA 15213, USA（美国宾夕法尼亚州匹兹堡市（注意：这是地址，非机构，不应提取））；Joburg, South Africa（南非约翰内斯堡（注意：这是地址，非机构，不应提取））；Affiliation Affiliation: Address Affiliation: email（（这些为非机构内容，不应提取））
目前，由于Few-Shot环境中的稀有性和有限样本，以及由于对抗攻击，Few-Shot环境中的分类和分布外（OoD）检测仍然是具有挑战性的目标。实现这些目标对于安全、安保和防御方面的关键系统至关重要。同时，OoD检测具有挑战性，因为深度神经网络分类器将高置信度设置为远离训练数据的OoD样本。为了解决这些限制，我们提出了Few-Shot ROBust（FROB）模型进行分类和Few-Shot OoD检测。我们设计了FROB，以提高Few-Shot OoD检测的鲁棒性和可靠的置信度预测。我们生成了正态类分布的支持边界，并将其与Few-Shot离群值暴露（OE）相结合。我们提出了一个自监督学习的Few-Shot置信边界方法的基础上生成和歧视性模型。FROB的贡献是以自监督学习方式生成的边界和在该学习边界处施加低置信度的组合。FROB隐式地在边界上生成强对抗性样本，并迫使来自OoD的样本（包括我们的边界）被分类器降低置信度。FROB实现了对看不见的OoD的泛化，适用于未知的、在野外的、与训练数据集不相关的测试集。为了提高鲁棒性，FROB重新设计了OE，使其即使在零次发射时也能工作。通过包括我们的边界，FROB降低了与模型的Few-Shot鲁棒性相关的阈值;它保持了OoD性能，几乎与few-Shot的数量无关。FROB在不同组和单类分类（OCC）数据上的Few-Shot鲁棒性分析评估表明，F…
2022-02-02 cs.LG stat.ML
