A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
Few-Shot图像分类的目标是推广到具有有限标记数据的任务，多年来已经取得了很大的进展。然而，分类器容易受到对抗性样本的影响，这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合，以提高Few-Shot分类器的鲁棒性。我们表明，一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明，在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器，在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的，易于扩展，并与很少的努力，可以导致强大的Few-Shot分类器。代码可在这里：\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Few-shot learning using pre-training and shots, enriched by pre-trained samples
我们使用EMNIST手写数字数据集来测试一种简单的少样本学习方法。完全连接的神经网络用10个数字的子集进行预训练，并用于用未训练的数字进行少样本学习。引入了两个基本思想：在少样本学习期间，第一层的学习被禁用，并且对于每个镜头，先前未知的数字与四个先前训练的数字一起用于梯度下降，直到满足预定义的阈值条件。这样，我们在10次射击后达到约90%的准确率。
2020-09-19 cs.CV cs.LG
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks
University of Montreal（蒙特利尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）
最近的工作少样本学习\cite{tian2020rethinking}表明，学习表示的质量起着重要的作用，在Few-Shot分类性能。另一方面，自监督学习的目标是在不使用类别标签的情况下恢复数据的有用语义信息。在这项工作中，我们利用这两种模式的互补性，通过多任务框架，我们利用最近的自我监督的方法作为辅助任务。我们发现，将多个任务结合起来通常是有益的，同时解决它们可以有效地完成。我们的研究结果表明，自我监督的辅助任务是有效的数据依赖的正则化表示学习。我们的代码可在：\url{https://github.com/nathanielsimard/improving-fs-ssl} .
2021-01-24 cs.CV cs.LG
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
Revisiting Fine-tuning for Few-shot Learning
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
少样本学习是一种仅使用少量样本学习新类的过程，它在机器学习中仍然是一个具有挑战性的任务。许多复杂的少样本学习算法都是基于这样一个概念提出的：如果只使用几个样本对网络进行简单的微调，那么网络很容易过拟合到新的样本。在这项研究中，我们表明，在常用的低分辨率mini-ImageNet数据集中，微调方法在1次任务中实现了比常见的少样本学习算法更高的准确性，在5次任务中与最先进的算法几乎相同的准确性。然后，我们评估我们的方法与更实际的任务，即高分辨率的单域和跨域的任务。这两个任务，我们表明，我们的方法比常见的少样本学习算法实现了更高的精度。我们进一步分析了实验结果，并表明：1）再训练过程可以通过采用低学习率来稳定，2）在微调过程中使用自适应梯度优化器可以提高测试精度，3）当基类和新类之间存在较大的域偏移时，可以通过更新整个网络来提高测试精度。
2019-10-03 cs.CV cs.LG stat.ML
Defining Benchmarks for Continual Few-Shot Learning
University of Edinburgh（爱丁堡大学）
由于采用了适当的基准，Few-Shot和持续学习在过去几年中都取得了重大进展。话虽如此，该领域仍然需要为持续Few-Shot学习的高度理想设置构建一套基准，其中学习者被一个接一个地呈现许多Few-Shot任务，然后被要求在源于所有先前看到的任务的验证集上表现良好。连续少样本学习具有较小的计算占用空间，因此是高效调查和实验的绝佳设置。在本文中，我们首先定义了一个连续少样本学习的理论框架，考虑到最近的文献，然后我们提出了一系列灵活的基准，统一的评估标准，并允许从多个角度探索问题。作为基准测试的一部分，我们引入了ImageNet的一个紧凑型变体，称为SlimageNet64，它保留了所有原始的1000个类，但只包含每个类的200个实例（总共20万个数据点），缩小到64 x 64像素。我们使用一些流行的少样本学习算法为建议的基准提供基线，因此，在连续和数据有限的设置中暴露了这些算法以前未知的优点和缺点。
2020-04-15 cs.CV cs.LG stat.ML
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法，即学习学习的算法。通过从更大的数据集中采样Few-Shot任务，我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的，Sicara是一家为企业提供图像识别解决方案的法国公司。它包含：1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法，该算法仍在开发中。
2019-09-30 cs.CV cs.LG
Few-Shot Image Classification via Contrastive Self-Supervised Learning
School of Information；Communications Xi’an Jiaotong University Xi'an, P.R. China
大多数以前的少样本学习算法都是基于元训练，使用假的Few-Shot任务作为训练样本，其中需要大的标记基类。训练模型也受到任务类型的限制。在本文中，我们提出了一个新的无监督少样本学习的范例来修复的不足。我们分两个阶段解决了Few-Shot任务：通过对比自监督学习对可转移特征提取器进行元训练，并使用图聚合、自蒸馏和流形增强训练分类器。一旦经过元训练，该模型就可以用于任何类型的任务，并进行任务相关的分类器训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与可用的无监督少样本学习方法相比，提高了8- 28%。
2020-08-23 cs.AI cs.CV
One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
现实世界的分类任务经常需要在开放集设置中工作。这对于少样本学习问题尤其具有挑战性，因为每个已知类别的样本量都很小，这使得现有的开集方法无法有效地工作;然而，大多数多类Few-Shot方法仅限于闭集场景。在这项工作中，我们解决了问题的Few-Shot开集分类首先提出的方法为Few-Shot一类分类，然后将其扩展到Few-Shot多类开集分类。我们介绍了两个独立的Few-Shot单类分类方法：Meta Binary Cross-Entropy（Meta-BCE），它学习一个单独的特征表示单类分类，单类元学习（OCML），它学习生成单类分类器给定标准的多类特征表示。这两种方法都可以增强任何现有的少样本学习方法，而不需要重新训练以在Few-Shot多类开集设置中工作，而不会降低其闭集性能。我们在不同的问题设置中展示了这两种方法的优点和缺点，并在三个标准的基准数据集miniImageNet，tieredImageNet和Caltech-UCSD-Birds-200-2011上对其进行了评估，在这些数据集上，它们在Few-Shot多类开集和Few-Shot一类任务中超越了最先进的方法。
2021-09-14 cs.CV cs.LG
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS（诺曼底大学，卡昂大学，卡昂国立高等工程师学校，国家科学研究中心）；ONERA - The French Aerospace Lab（法国国家航空航天研究院）
本文研究了zero-shot图像分类的问题。所提出的方法的关键贡献是控制图像的语义嵌入-零样本学习的主要成分之一-通过将其制定为度量学习问题。优化后的经验标准关联两种类型的子任务约束：度量区分能力和准确的属性预测。这导致了一种新的零样本学习的表达，在训练阶段不需要类的概念：只有对图像/属性，增强了一致性指标，作为地面真理。在测试时，学习的模型可以预测测试图像与给定属性集的一致性，从而允许以灵活的方式产生识别推断。尽管它的简单性，所提出的方法给出了国家的最先进的结果四个具有挑战性的数据集用于zero-shot识别评估。
2016-07-27 cs.AI cs.CV cs.LG
Learning from Few Examples: A Summary of Approaches to Few-Shot Learning
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习是指仅从几个训练样本中学习数据中的底层模式的问题。由于需要大量的数据样本，许多深度学习解决方案都面临数据饥饿和大量的计算时间和资源。此外，由于问题的性质或隐私问题，以及数据准备的成本，数据往往无法获得。数据汇集、预处理和标记是繁重的人工任务。因此，可以大幅减少构建机器学习应用程序的周转时间的少样本学习成为一种低成本解决方案。这篇调查论文包括最近提出的少样本学习算法的代表性列表。考虑到学习的动力学和特征，从元学习、迁移学习和混合方法（即，少样本学习问题的不同变体）。
2022-03-07 cs.CV cs.LG
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中，Transductive方法总是优于归纳方法。然而，现有的Few-Shot方法包含一个潜在的条件：每个类中的样本数是相同的，这可能是不现实的。为了应对这些情况下，每个类的查询镜头是不均匀的（即不均匀的少样本学习），我们提出了一个任务先验条件变分自动编码器模型TP-VAE，条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外，我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中，单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
A Study on Representation Transfer for Few-Shot Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
Few-Shot分类的目标是学习仅使用少量标记的示例来很好地分类新的对象类别。从其他模型转移特征表示是解决Few-Shot分类问题的一种流行方法。在这项工作中，我们进行了系统的研究，各种功能表示为Few-Shot分类，包括表示学习MAML，监督分类，和几个常见的自我监督的任务。我们发现，从更复杂的任务中学习往往会为Few-Shot分类提供更好的表示，因此我们提出使用从多个任务中学习到的表示进行Few-Shot分类。再加上特征选择和投票的新技巧来处理小样本量的问题，我们的直接迁移学习方法在几个基准数据集上提供了与最新技术相当的性能。
2022-09-05 cs.CV cs.LG
FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation
Tsinghua University（清华大学）；New York University（纽约大学）；Institute for Artificial Intelligence（人工智能研究院）
我们提出了一个Few-Shot关系分类数据集（FewRel），由来自维基百科的100个关系上的70，000个句子组成，并由crowdworker注释。每个句子的关系首先由远程监督方法识别，然后由众包过滤。我们采用了最新的最先进的少样本学习方法进行关系分类，并对这些方法进行了全面的评估。实证结果表明，即使是最有竞争力的少样本学习模型在这项任务上也很困难，特别是与人类相比。我们还表明，需要一系列不同的推理技能来解决我们的任务。这些结果表明，Few-Shot关系分类仍然是一个开放的问题，仍然需要进一步的研究。我们的详细分析为未来的研究指出了多个方向。有关数据集和基线的所有详细信息和资源都在http://zhuhao.me/fewrel上发布。
2018-10-26 cs.AI cs.CL cs.LG
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数（或镜头数）。最近的工作通过元学习来解决这个任务，其中元学习者在元训练期间从观察到的任务中提取信息，以便在元测试期间快速适应新任务。在这个公式中，元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说，元训练中使用的镜头数应该与元测试中使用的镜头数相匹配，以获得最佳性能。我们介绍了一个理论分析的影响，镜头数的原型网络，一个国家的最先进的Few-Shot分类方法。根据我们的分析，我们提出了一种简单的方法，该方法对元训练期间使用的镜头数量的选择具有鲁棒性，这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
Meta Faster R-CNN: Towards Accurate Few-Shot Object Detection with Attentive Feature Alignment
Columbia University（哥伦比亚大学）
Few-Shot目标检测（FSOD）旨在仅使用几个示例来检测对象。如何使最先进的物体检测器适应于Few-Shot域仍然具有挑战性。目标建议是现代目标探测器的关键组成部分。然而，使用现有方法为Few-Shot类生成的建议的质量比为多镜头类生成的建议的质量差得多，由于错误分类或相对于真实对象的不准确空间位置，Few-Shot类的框丢失。为了解决有噪声的建议问题，我们提出了一种新的基于元学习的FSOD模型，通过联合优化Few-Shot建议生成和细粒度的Few-Shot建议分类。为了改进Few-Shot类的提案生成，我们建议学习基于轻量级度量学习的原型匹配网络，而不是传统的简单线性对象/非对象分类器，例如，用于RPN。我们的非线性分类器与特征融合网络，可以提高区分的原型匹配和建议召回Few-Shot类。为了提高细粒度的Few-Shot建议分类，我们提出了一种新的关注特征对齐方法，以解决噪声建议和Few-Shot类之间的空间错位，从而提高Few-Shot目标检测的性能。同时，我们学习了一个单独的Faster R-CNN检测头，用于多镜头基类，并显示出维护基类知识的强大性能。我们的模型在大多数镜头和指标的多个FSOD基准测试中实现了最先进的性能。
2022-06-02 cs.AI cs.CV cs.MM
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
Meta-free few-shot learning via representation learning with weight averaging
University of Toronto（多伦多大学）
最近的研究Few-Shot分类使用迁移学习的情节元学习算法的有效性和效率提出了挑战。迁移学习方法是一种自然的选择，但它们仅限于Few-Shot分类。此外，除了一些贝叶斯情景学习算法之外，很少有人关注来自Few-Shot样本的具有良好校准的不确定性的概率模型的开发。为了解决上述问题，我们提出了一种新的迁移学习方法，以获得准确和可靠的模型，用于Few-Shot回归和分类。由此产生的方法不需要情景元学习，被称为无元表示学习（MFRL）。MFRL首先发现低秩表示在元测试任务上泛化良好。给定学习的表示，概率线性模型用Few-Shot样本进行微调，以获得具有良好校准的不确定性的模型。该方法不仅在广泛的少样本学习基准数据集上实现了最高的准确率，而且正确地量化了预测的不确定性。此外，加权平均和温度缩放在提高具有广泛的学习范例和模型架构的现有元学习算法中的少样本学习的准确性和可靠性方面是有效的。
2022-04-30 cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Discriminative Few-Shot Learning Based on Directional Statistics
SK T-Brain
基于度量的少样本学习方法试图通过学习嵌入来克服由于缺乏训练样本而导致的困难，从而使比较变得容易。我们提出了一种新的算法来生成类代表的Few-Shot分类任务。作为输入的学习特征的概率模型，我们考虑了一个混合的von Mises-Fisher分布，已知它在高维空间中比高斯分布更有表现力。然后，从判别分类器的角度来看，我们得到了一个更好的类代表性考虑类间的相关性，还没有解决传统的少样本学习算法。我们将我们的方法应用于\emph{mini} ImageNet和\emph{tiered} ImageNet数据集，并表明所提出的方法在Few-Shot分类任务中优于其他可比方法。
2019-06-05 cs.LG stat.ML
Leveraging the Feature Distribution in Transfer-based Few-Shot Learning
IMT Atlantique（大西洋国立高等电信学院）；Orange Labs（Orange实验室）
Few-Shot分类是一个具有挑战性的问题，由于不确定性所造成的使用少数标记的样本。在过去的几年中，已经提出了许多方法来解决Few-Shot分类，其中基于转移的方法已被证明达到最好的性能。遵循这一思路，在本文中，我们提出了一种新的基于传输的方法，该方法基于两个连续的步骤：1）预处理特征向量，使其更接近高斯分布，以及2）使用最优传输启发算法（在转换设置的情况下）利用这种预处理。使用标准化的视觉基准，我们证明了所提出的方法，以实现国家的最先进的精度与各种数据集，骨干架构和Few-Shot设置的能力。
2021-01-26 cs.LG stat.ML
Restoring Negative Information in Few-Shot Object Detection
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；King’s College London（伦敦国王学院）
小样本学习最近成为深度学习领域的一个新挑战：与使用大量标记数据训练深度神经网络（DNN）的传统方法不同，它要求DNN在具有少量注释样本的新类上泛化。近年来，小样本学习的研究主要集中在图像分类方面，而本文的研究重点是目标检测。在Few-Shot目标检测中的初始探索倾向于通过使用图像中关于某个对象类的正建议而丢弃该类的负建议来模拟分类场景。然而，在Few-Shot目标检测中，负数，尤其是硬负数对于嵌入空间学习是必不可少的。在本文中，我们恢复的负面信息，在Few-Shot目标检测通过引入一个新的负和正代表为基础的度量学习框架和一个新的推理计划与负和正代表。我们在最近的Few-Shot管道RepMet上构建了我们的工作，其中包含几个新模块来编码训练和测试的负面信息。在ImageNet和PASCAL VOC上的大量实验表明，我们的方法大大提高了最先进的Few-Shot目标检测解决方案。我们的代码可在www.example.com上获得。
2020-10-26 cs.AI cs.CV
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
Transductive Few-Shot Learning: Clustering is All You Need?
Thales - Cortaix（泰雷兹Cortaix）；ÉTS Montreal（蒙特利尔高等技术学院）
我们研究了一个通用的公式聚类和转导少样本学习，它集成了基于原型的目标，拉普拉斯正则化和监督约束，从一些标记的数据点。我们提出了一个凹凸松弛的问题，并推导出一个计算效率高的块坐标界优化，收敛保证。在每次迭代中，我们的优化器为每个点到集群分配计算独立（并行）更新。因此，对于大规模聚类和Few-Shot任务，它可以是平凡分布的。此外，我们提供了一个彻底的收敛性分析的基础上点到集的地图。在各种数据集上进行了端口综合聚类和少样本学习实验，表明我们的方法在准确性和优化质量方面具有竞争力的性能，同时可以扩展到大型问题。在基础类上使用标准训练，而不采用复杂的元学习和情节训练策略，我们的方法在各种模型，设置和数据集上的性能明显优于最先进的Few-Shot方法。令人惊讶的是，我们发现即使是标准的聚类程序（例如，K-means），对应于我们一般模型的特定非正则化情况，与少样本学习中的最新技术相比，已经实现了具有竞争力的性能。这些令人惊讶的结果指出了当前Few-Shot基准测试的局限性，并质疑了最近文献中大量卷积少样本学习技术的可行性。
2021-06-16 cs.CV cs.LG
ReMP: Rectified Metric Propagation for Few-Shot Learning
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
少样本学习的特点是能够从少量样本中进行归纳。在本文中，我们首先发现，一个区分性特征空间（即纠正的度量空间）是基于度量的少样本学习成功的重要组成部分，它被学习以保持从训练到测试的度量一致性。许多分析表明，一个简单的修改的目标可以产生显着的性能增益。由此产生的方法，称为纠正度量传播（ReMP），进一步优化了一个专注的原型传播网络，并应用排斥力来做出自信的预测。大量的实验表明，所提出的ReMP是有效的和高效的，并优于各种标准的少样本学习数据集上的艺术状态。
2020-12-02 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Dynamic Input Structure and Network Assembly for Few-Shot Learning
从少量样本中学习的能力从一开始就是机器学习中的一个难题。虽然方法在大量训练数据上取得了成功，但如何用更少的例子实现类似的性能的研究一直在进行中，称为一次性学习或更一般的少样本学习。这种技术已被证明具有很好的性能，但在实践中需要固定大小的输入，使其不切实际的生产系统，类大小可以变化。这阻碍了少样本学习系统的训练和最终效用。本文介绍了一种方法来构建和训练一个网络，可以动态处理任意大小的示例系统使用。
2017-08-22 cs.LG stat.ML
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh（爱丁堡大学）
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索，其中每个类的标签是可用的。另一方面，无监督的Few-Shot学习设置，其中不需要任何类型的标签，几乎没有调查。我们提出了一种方法，命名为假设，扩增和学习或AAL，用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充，并重用支持集的标签，得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练，这样的模型可以直接应用于小型实标记数据集，而无需任何更改或微调。在我们的实验中，学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
FewSAR: A Few-shot SAR Image Classification Benchmark
Army Engineering University of PLA（中国人民解放军陆军工程大学）
针对SAR图像小样本分类领域缺乏统一基准导致研究进展缓慢的问题，本文提出包含15种经典方法的开源基准FewSAR，通过系统实验发现度量学习方法表现最优，为该交叉领域研究提供了统一测试平台。
2023-06-16 cs.CV cs.LG
Discrete Few-Shot Learning for Pan Privacy
University of Melbourne（墨尔本大学）
在本文中，我们提出了第一个基线结果的任务的少样本学习的离散嵌入向量的图像识别。少样本学习是一项高度研究的任务，通常由资源受限的识别系统利用，以在每个类别的少量图像上进行训练。Few-Shot系统通常存储每个类的连续嵌入向量，在系统违规或内部威胁令人担忧的情况下对隐私构成风险。使用离散的嵌入向量，我们设计了一个简单的密码协议，它使用单向哈希函数，以建立识别系统，不直接存储其用户的嵌入向量，从而提供了一个实用的和广泛的设置计算泛隐私的保证。
2020-06-23 cs.LG stat.ML
Learning Class-level Prototypes for Few-shot Learning
Nanjing University（南京大学）
少样本学习旨在使用很少的标记样本识别新类别。虽然少样本学习近年来取得了很大的发展，但现有的方法大多采用平均运算来计算原型，从而受到离群样本的限制。在这项工作中，我们提出了一个简单而有效的框架，Few-Shot分类，它可以学习生成更好的原型，从几个支持数据的帮助下，情节原型生成器模块。生成的原型旨在接近某个\textit{\targetproto{}}，并且受异常值样本的影响较小。大量的实验证明了该模块的有效性，我们的方法在基线模型上得到了显着的提高，并在\textit{mini} ImageNet，\textit{tiered} ImageNet和跨域（\textit{mini} ImageNet $\rightarrow$ CUB-200-2011）数据集上得到了与以前的方法相比具有竞争力的结果。
2021-08-25 cs.CV cs.LG
Privacy Enhancement for Cloud-Based Few-Shot Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习由于对精确模型所需数据较少，在许多应用领域表现出了鲁棒性和通用性。然而，在不受信任的环境中部署Few-Shot模型可能会造成隐私问题，例如，可能会侵犯用户提供的数据的隐私的攻击或对手。本文研究了在不可信环境下的少样本学习的隐私增强问题，云，通过建立一个新的隐私保护的嵌入空间，保护数据的隐私，并保持模型的准确性。我们研究了各种图像隐私方法的影响，如模糊，像素化，高斯噪声，差分私有像素化（DP-Pix）对Few-Shot图像分类，并提出了一种方法，通过联合损失学习隐私保护的表示。实证结果显示了如何针对隐私增强的少样本学习协商隐私-性能权衡。
2022-08-23 cs.CR cs.CV cs.LG
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
True Few-Shot Learning with Language Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
预训练的语言模型（LM）即使在从几个示例中学习时也能在许多任务中表现良好，但之前的工作使用许多保留的示例来调整学习的各个方面，例如超参数，训练目标和自然语言模板（“提示”）。在这里，我们评估的Few-Shot能力的LM时，这样的支持的例子是不可用的，我们称之为真正的少样本学习。我们测试两个模型选择标准，交叉验证和最小描述长度，选择LM提示和超参数在真正的Few-Shot设置。平均而言，这两种方法的表现都略优于随机选择，而大大低于基于保留样本的选择。此外，选择标准往往倾向于表现明显差于随机选择的模型。即使考虑到我们在选择过程中对模型真实性能的不确定性，以及当改变用于选择的计算量和示例数量时，我们也会发现类似的结果。总的来说，我们的研究结果表明，以前的工作显着高估了真正的Few-Shot能力的LM考虑到困难的Few-Shot模型选择。
2021-05-24 cs.CL cs.LG stat.ML
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究所）
跨域少样本学习（CD-FSL）在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异，最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外，这些数据还可以在目标域上进行自我监督的预训练。在本文中，我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现，当目标域与源域不相似或目标域本身具有低Few-Shot难度时，自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案，混合监督和两阶段学习，提高性能。在这种情况下，我们提出了六个研究结果的CD-FSL，这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
Few-shot Decoding of Brain Activation Maps
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（STICC实验室）
少样本学习解决了有限数量的训练样本可用的问题。到目前为止，该领域主要由计算机视觉中的应用驱动。在这里，我们有兴趣适应最近推出的Few-Shot方法来解决神经成像数据处理的问题，这是一个很有前途的应用领域。为此，我们为少样本学习创建了一个神经成像基准数据集，并比较了多种学习范式，包括元学习以及各种骨干网络。我们的实验表明，Few-Shot方法能够使用很少的例子有效地解码大脑信号，这为临床和认知神经科学中的许多应用铺平了道路，例如从大脑扫描中识别生物标志物或理解广泛的认知任务中大脑表征的泛化。
2021-05-19 cs.LG
Inductive Linear Probing for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题，本文通过实证揭示现有框架局限，提出适配归纳式少样本节点分类的简单强基线，为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Entailment as Few-Shot Learner
Facebook AI（脸书人工智能研究院）
大型预训练语言模型（LM）已经证明了作为Few-Shot学习者的卓越能力。然而，他们的成功很大程度上取决于缩放模型参数的程度，使其具有挑战性的训练和服务。在本文中，我们提出了一种新的方法，命名为EFL，可以把小LM到更好的Few-Shot学习。这种方法的核心思想是将潜在的NLP任务重新表达为一个蕴涵任务，然后用最少8个示例对模型进行微调。我们进一步证明了我们提出的方法可以：（i）自然地与基于无监督对比学习的数据增强方法相结合;（ii）很容易扩展到多语言少样本学习。对18个标准NLP任务的系统评估表明，该方法将现有的各种SOTA少样本学习方法提高了12%，并在500倍大的模型（如GPT-3）上产生了具有竞争力的Few-Shot性能。
2021-04-29 cs.AI cs.CL
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
Few-shot training LLMs for project-specific code-summarization
University of California, Davis（加州大学戴维斯分校）
非常大的大语言模型（LLM），如GPT-3和Codex，已经在几个自然语言任务上实现了最先进的性能，并且在代码方面也表现出了很大的潜力。LLM的一个特别令人兴奋的方面是他们对Few-Shot和零样本学习的诀窍：他们可以用很少的例子学习执行任务。在软件工程中，少拍具有特别的协同作用，其中有许多现象（标识符名称、API、术语、编码模式）是高度特定于项目的。然而，特定于项目的数据可能非常有限，特别是在项目历史的早期;因此LLM的少样本学习能力可能非常相关。在本文中，我们研究了使用Few-Shot训练与非常大的GPT（生成式预训练Transformer）Codex模型，并发现证据表明，利用特定于项目的训练，可以显着超过最先进的代码摘要模型。
2022-09-08 cs.LG cs.SE
Dynamic Memory Induction Networks for Few-Shot Text Classification
Alibaba Group（阿里巴巴集团）；Ingenuity Labs Research Institute（匠心实验室研究院）；Queen’s University（女王大学）
提出了一种基于动态记忆归纳网络的Few-Shot文本分类方法。该模型利用动态路由为基于记忆的少样本学习提供更大的灵活性，以更好地适应支持集，这是Few-Shot分类模型的关键能力。在此基础上，我们进一步开发了具有查询信息的归纳模型，旨在增强元学习的泛化能力。该模型在miniRCV 1和ODIC数据集上取得了新的最先进的结果，将最佳性能（准确度）提高了2~ 4%。进一步进行详细分析以显示每个组件的有效性。
2020-05-12 cs.CL cs.LG
