Discrete Few-Shot Learning for Pan Privacy
University of Melbourne（墨尔本大学）
在本文中，我们提出了第一个基线结果的任务的少样本学习的离散嵌入向量的图像识别。少样本学习是一项高度研究的任务，通常由资源受限的识别系统利用，以在每个类别的少量图像上进行训练。Few-Shot系统通常存储每个类的连续嵌入向量，在系统违规或内部威胁令人担忧的情况下对隐私构成风险。使用离散的嵌入向量，我们设计了一个简单的密码协议，它使用单向哈希函数，以建立识别系统，不直接存储其用户的嵌入向量，从而提供了一个实用的和广泛的设置计算泛隐私的保证。
2020-06-23 cs.LG stat.ML
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company（好奇人工智能公司）
我们考虑半监督的Few-Shot分类问题，其中分类器需要使用几个标记的示例和（可能是许多）未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类，并使用少数标记示例指导聚类过程。我们注意到，在许多实际应用中，通过用户反馈请求少量标签，可以显著提高自适应性能。我们展示了良好的性能，使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
A Baseline for Few-Shot Image Classification
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
微调使用标准交叉熵损失训练的深度网络是少样本学习的强大基线。当进行微调时，这在标准数据集上的表现优于当前最先进的技术，例如Mini-ImageNet，Tiered-ImageNet，CIFAR-FS和FC-100，具有相同的超参数。这种方法的简单性使我们能够在ImageNet-21 k数据集上展示前少样本学习结果。我们发现，使用大量的元训练类的结果在高的Few-Shot精度，即使是大量的Few-Shot类。我们并不提倡我们的方法作为解决方案的少样本学习，但只是使用的结果，以突出当前的基准和Few-Shot协议的局限性。我们对基准数据集进行了广泛的研究，提出了一个度量标准，量化了“硬度”的Few-Shot插曲。该度量可用于以更系统的方式报告Few-Shot算法的性能。
2020-10-21 cs.CV cs.LG stat.ML
Texture Bias Of CNNs Limits Few-Shot Classification Performance
Speechmatics
在计算机视觉中，给定少量标记数据的精确图像分类（Few-Shot分类）仍然是一个悬而未决的问题。在这项工作中，我们研究了卷积神经网络（CNN）的已知纹理偏差如何影响Few-Shot分类性能。虽然纹理偏差可以帮助标准的图像分类，在这项工作中，我们表明它显着损害Few-Shot分类性能。在纠正这种偏差之后，我们使用一种比当前性能最好的少样本学习方法简单得多的方法，在竞争性的miniImageNet任务上展示了最先进的性能。
2019-10-18 cs.CV cs.LG stat.ML
Metric-Based Few-Shot Learning for Video Action Recognition
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
在Few-Shot场景中，学习器必须有效地推广到给定标记示例的小支持集的未见过的类。虽然相对大量的研究已经进入了用于图像分类的少样本学习，但是在Few-Shot视频分类上做的工作很少。在这项工作中，我们解决的任务Few-Shot视频动作识别与一组两个流模型。我们评估了一组卷积和递归神经网络视频编码器架构与三种流行的基于度量的Few-Shot算法结合使用的性能。我们使用Kinetics 600数据集的Few-Shot分割进行训练和评估。我们的实验证实了双流设置的重要性，并找到原型网络和池化长短期记忆网络嵌入，分别作为Few-Shot方法和视频编码器提供最佳性能。对于一个5杆5路任务，该设置获得84.2%的准确率在测试集和59.4%的特殊的“挑战”测试集，组成的高度混淆的类。
2019-09-14 cs.CV cs.LG stat.ML
Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model
National Taiwan University（台湾大学）
由于收集每种语言的训练数据是不可行的，因此人们对跨语言迁移学习越来越感兴趣。本文系统地研究了基于多语种语料库预训练语言表征模型的zero-shot跨语言迁移学习在阅读理解任务中的应用。实验结果表明，使用预先训练好的语言表示，零样本学习是可行的，不需要将源数据翻译成目标语言，甚至会降低性能。我们进一步探讨了模型在zero-shot设置中学习了什么。
2019-09-15 cs.CL cs.LG stat.ML
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
Revisiting Fine-tuning for Few-shot Learning
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
少样本学习是一种仅使用少量样本学习新类的过程，它在机器学习中仍然是一个具有挑战性的任务。许多复杂的少样本学习算法都是基于这样一个概念提出的：如果只使用几个样本对网络进行简单的微调，那么网络很容易过拟合到新的样本。在这项研究中，我们表明，在常用的低分辨率mini-ImageNet数据集中，微调方法在1次任务中实现了比常见的少样本学习算法更高的准确性，在5次任务中与最先进的算法几乎相同的准确性。然后，我们评估我们的方法与更实际的任务，即高分辨率的单域和跨域的任务。这两个任务，我们表明，我们的方法比常见的少样本学习算法实现了更高的精度。我们进一步分析了实验结果，并表明：1）再训练过程可以通过采用低学习率来稳定，2）在微调过程中使用自适应梯度优化器可以提高测试精度，3）当基类和新类之间存在较大的域偏移时，可以通过更新整个网络来提高测试精度。
2019-10-03 cs.CV cs.LG stat.ML
True Few-Shot Learning with Language Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
预训练的语言模型（LM）即使在从几个示例中学习时也能在许多任务中表现良好，但之前的工作使用许多保留的示例来调整学习的各个方面，例如超参数，训练目标和自然语言模板（“提示”）。在这里，我们评估的Few-Shot能力的LM时，这样的支持的例子是不可用的，我们称之为真正的少样本学习。我们测试两个模型选择标准，交叉验证和最小描述长度，选择LM提示和超参数在真正的Few-Shot设置。平均而言，这两种方法的表现都略优于随机选择，而大大低于基于保留样本的选择。此外，选择标准往往倾向于表现明显差于随机选择的模型。即使考虑到我们在选择过程中对模型真实性能的不确定性，以及当改变用于选择的计算量和示例数量时，我们也会发现类似的结果。总的来说，我们的研究结果表明，以前的工作显着高估了真正的Few-Shot能力的LM考虑到困难的Few-Shot模型选择。
2021-05-24 cs.CL cs.LG stat.ML
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Defining Benchmarks for Continual Few-Shot Learning
University of Edinburgh（爱丁堡大学）
由于采用了适当的基准，Few-Shot和持续学习在过去几年中都取得了重大进展。话虽如此，该领域仍然需要为持续Few-Shot学习的高度理想设置构建一套基准，其中学习者被一个接一个地呈现许多Few-Shot任务，然后被要求在源于所有先前看到的任务的验证集上表现良好。连续少样本学习具有较小的计算占用空间，因此是高效调查和实验的绝佳设置。在本文中，我们首先定义了一个连续少样本学习的理论框架，考虑到最近的文献，然后我们提出了一系列灵活的基准，统一的评估标准，并允许从多个角度探索问题。作为基准测试的一部分，我们引入了ImageNet的一个紧凑型变体，称为SlimageNet64，它保留了所有原始的1000个类，但只包含每个类的200个实例（总共20万个数据点），缩小到64 x 64像素。我们使用一些流行的少样本学习算法为建议的基准提供基线，因此，在连续和数据有限的设置中暴露了这些算法以前未知的优点和缺点。
2020-04-15 cs.CV cs.LG stat.ML
Few-shot learning using pre-training and shots, enriched by pre-trained samples
我们使用EMNIST手写数字数据集来测试一种简单的少样本学习方法。完全连接的神经网络用10个数字的子集进行预训练，并用于用未训练的数字进行少样本学习。引入了两个基本思想：在少样本学习期间，第一层的学习被禁用，并且对于每个镜头，先前未知的数字与四个先前训练的数字一起用于梯度下降，直到满足预定义的阈值条件。这样，我们在10次射击后达到约90%的准确率。
2020-09-19 cs.CV cs.LG
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究所）
跨域少样本学习（CD-FSL）在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异，最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外，这些数据还可以在目标域上进行自我监督的预训练。在本文中，我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现，当目标域与源域不相似或目标域本身具有低Few-Shot难度时，自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案，混合监督和两阶段学习，提高性能。在这种情况下，我们提出了六个研究结果的CD-FSL，这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
Few-shot Decoding of Brain Activation Maps
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（STICC实验室）
少样本学习解决了有限数量的训练样本可用的问题。到目前为止，该领域主要由计算机视觉中的应用驱动。在这里，我们有兴趣适应最近推出的Few-Shot方法来解决神经成像数据处理的问题，这是一个很有前途的应用领域。为此，我们为少样本学习创建了一个神经成像基准数据集，并比较了多种学习范式，包括元学习以及各种骨干网络。我们的实验表明，Few-Shot方法能够使用很少的例子有效地解码大脑信号，这为临床和认知神经科学中的许多应用铺平了道路，例如从大脑扫描中识别生物标志物或理解广泛的认知任务中大脑表征的泛化。
2021-05-19 cs.LG
Meta-learning algorithms for Few-Shot Computer Vision
少样本学习是用少量数据训练模型的挑战。这个问题的许多解决方案使用Meta学习算法，即学习学习的算法。通过从更大的数据集中采样Few-Shot任务，我们可以教这些算法解决新的、看不见的任务。本文档报告了我在Few-Shot计算机视觉的Meta学习算法方面的工作。这项工作是我在Sicara实习期间完成的，Sicara是一家为企业提供图像识别解决方案的法国公司。它包含：1.广泛回顾了Few-Shot计算机视觉的最新发展; 2.用于Few-Shot图像分类的Meta学习算法的基准; 3.介绍了一种新的用于Few-Shot目标检测的Meta学习算法，该算法仍在开发中。
2019-09-30 cs.CV cs.LG
TADAM: Task dependent adaptive metric for improved few-shot learning
Element AI（元素人工智能公司）；CVC-UAB（巴塞罗那自治大学计算机视觉中心）
少样本学习已经成为生成从很少的例子中概括的模型的必要条件。在这项工作中，我们确定度量缩放和度量任务条件是重要的，以提高性能的Few-Shot算法。我们的分析表明，简单的度量缩放完全改变了Few-Shot算法参数更新的性质。度量缩放为mini-Imagenet 5路5镜头分类任务中的某些度量提供了高达14%的准确性改进。我们进一步提出了一个简单而有效的方法来调节学习任务样本集，从而学习任务相关的度量空间。此外，我们提出并实证测试了一个基于辅助任务协同训练的实用端到端优化过程，以学习任务相关的度量空间。由此产生的少样本学习模型的基础上的任务相关的缩放度量达到最先进的迷你Imagenet。我们在本文介绍的另一个基于CIFAR 100的Few-Shot数据集上证实了这些结果。我们的代码可在https://github.com/ElementAI/TADAM上公开获取。
2019-01-25 cs.AI cs.CV cs.LG
FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation
Tsinghua University（清华大学）；New York University（纽约大学）；Institute for Artificial Intelligence（人工智能研究院）
我们提出了一个Few-Shot关系分类数据集（FewRel），由来自维基百科的100个关系上的70，000个句子组成，并由crowdworker注释。每个句子的关系首先由远程监督方法识别，然后由众包过滤。我们采用了最新的最先进的少样本学习方法进行关系分类，并对这些方法进行了全面的评估。实证结果表明，即使是最有竞争力的少样本学习模型在这项任务上也很困难，特别是与人类相比。我们还表明，需要一系列不同的推理技能来解决我们的任务。这些结果表明，Few-Shot关系分类仍然是一个开放的问题，仍然需要进一步的研究。我们的详细分析为未来的研究指出了多个方向。有关数据集和基线的所有详细信息和资源都在http://zhuhao.me/fewrel上发布。
2018-10-26 cs.AI cs.CL cs.LG
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
现实世界的分类任务经常需要在开放集设置中工作。这对于少样本学习问题尤其具有挑战性，因为每个已知类别的样本量都很小，这使得现有的开集方法无法有效地工作;然而，大多数多类Few-Shot方法仅限于闭集场景。在这项工作中，我们解决了问题的Few-Shot开集分类首先提出的方法为Few-Shot一类分类，然后将其扩展到Few-Shot多类开集分类。我们介绍了两个独立的Few-Shot单类分类方法：Meta Binary Cross-Entropy（Meta-BCE），它学习一个单独的特征表示单类分类，单类元学习（OCML），它学习生成单类分类器给定标准的多类特征表示。这两种方法都可以增强任何现有的少样本学习方法，而不需要重新训练以在Few-Shot多类开集设置中工作，而不会降低其闭集性能。我们在不同的问题设置中展示了这两种方法的优点和缺点，并在三个标准的基准数据集miniImageNet，tieredImageNet和Caltech-UCSD-Birds-200-2011上对其进行了评估，在这些数据集上，它们在Few-Shot多类开集和Few-Shot一类任务中超越了最先进的方法。
2021-09-14 cs.CV cs.LG
Learning from Few Examples: A Summary of Approaches to Few-Shot Learning
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习是指仅从几个训练样本中学习数据中的底层模式的问题。由于需要大量的数据样本，许多深度学习解决方案都面临数据饥饿和大量的计算时间和资源。此外，由于问题的性质或隐私问题，以及数据准备的成本，数据往往无法获得。数据汇集、预处理和标记是繁重的人工任务。因此，可以大幅减少构建机器学习应用程序的周转时间的少样本学习成为一种低成本解决方案。这篇调查论文包括最近提出的少样本学习算法的代表性列表。考虑到学习的动力学和特征，从元学习、迁移学习和混合方法（即，少样本学习问题的不同变体）。
2022-03-07 cs.CV cs.LG
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中，Transductive方法总是优于归纳方法。然而，现有的Few-Shot方法包含一个潜在的条件：每个类中的样本数是相同的，这可能是不现实的。为了应对这些情况下，每个类的查询镜头是不均匀的（即不均匀的少样本学习），我们提出了一个任务先验条件变分自动编码器模型TP-VAE，条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外，我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中，单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
A Study on Representation Transfer for Few-Shot Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
Few-Shot分类的目标是学习仅使用少量标记的示例来很好地分类新的对象类别。从其他模型转移特征表示是解决Few-Shot分类问题的一种流行方法。在这项工作中，我们进行了系统的研究，各种功能表示为Few-Shot分类，包括表示学习MAML，监督分类，和几个常见的自我监督的任务。我们发现，从更复杂的任务中学习往往会为Few-Shot分类提供更好的表示，因此我们提出使用从多个任务中学习到的表示进行Few-Shot分类。再加上特征选择和投票的新技巧来处理小样本量的问题，我们的直接迁移学习方法在几个基准数据集上提供了与最新技术相当的性能。
2022-09-05 cs.CV cs.LG
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
Inductive Linear Probing for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题，本文通过实证揭示现有框架局限，提出适配归纳式少样本节点分类的简单强基线，为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
Meta-free few-shot learning via representation learning with weight averaging
University of Toronto（多伦多大学）
最近的研究Few-Shot分类使用迁移学习的情节元学习算法的有效性和效率提出了挑战。迁移学习方法是一种自然的选择，但它们仅限于Few-Shot分类。此外，除了一些贝叶斯情景学习算法之外，很少有人关注来自Few-Shot样本的具有良好校准的不确定性的概率模型的开发。为了解决上述问题，我们提出了一种新的迁移学习方法，以获得准确和可靠的模型，用于Few-Shot回归和分类。由此产生的方法不需要情景元学习，被称为无元表示学习（MFRL）。MFRL首先发现低秩表示在元测试任务上泛化良好。给定学习的表示，概率线性模型用Few-Shot样本进行微调，以获得具有良好校准的不确定性的模型。该方法不仅在广泛的少样本学习基准数据集上实现了最高的准确率，而且正确地量化了预测的不确定性。此外，加权平均和温度缩放在提高具有广泛的学习范例和模型架构的现有元学习算法中的少样本学习的准确性和可靠性方面是有效的。
2022-04-30 cs.CV cs.LG
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer
National University of Defense Technology（国防科技大学）；University of Copenhagen（哥本哈根大学）
基于预训练语言编码器的多任务迁移学习在一系列任务中实现了最先进的性能。标准方法隐含地假设我们有训练数据的任务同样代表我们感兴趣的任务，这一假设通常很难证明。本文提出了一种更不可知的方法来多任务迁移学习，它使用自动化的课程学习，以尽量减少一个新的家庭的最坏情况下意识的损失跨任务。这些损失不仅导致在异常值任务上的更好的性能;它们还导致在zero-shot和Few-Shot传输设置中的更好的性能。
2020-09-23 cs.CL cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
Few-Shot图像分类的目标是推广到具有有限标记数据的任务，多年来已经取得了很大的进展。然而，分类器容易受到对抗性样本的影响，这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合，以提高Few-Shot分类器的鲁棒性。我们表明，一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明，在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器，在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的，易于扩展，并与很少的努力，可以导致强大的Few-Shot分类器。代码可在这里：\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Few-shot training LLMs for project-specific code-summarization
University of California, Davis（加州大学戴维斯分校）
非常大的大语言模型（LLM），如GPT-3和Codex，已经在几个自然语言任务上实现了最先进的性能，并且在代码方面也表现出了很大的潜力。LLM的一个特别令人兴奋的方面是他们对Few-Shot和零样本学习的诀窍：他们可以用很少的例子学习执行任务。在软件工程中，少拍具有特别的协同作用，其中有许多现象（标识符名称、API、术语、编码模式）是高度特定于项目的。然而，特定于项目的数据可能非常有限，特别是在项目历史的早期;因此LLM的少样本学习能力可能非常相关。在本文中，我们研究了使用Few-Shot训练与非常大的GPT（生成式预训练Transformer）Codex模型，并发现证据表明，利用特定于项目的训练，可以显着超过最先进的代码摘要模型。
2022-09-08 cs.LG cs.SE
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Transductive Few-Shot Learning: Clustering is All You Need?
Thales - Cortaix（泰雷兹Cortaix）；ÉTS Montreal（蒙特利尔高等技术学院）
我们研究了一个通用的公式聚类和转导少样本学习，它集成了基于原型的目标，拉普拉斯正则化和监督约束，从一些标记的数据点。我们提出了一个凹凸松弛的问题，并推导出一个计算效率高的块坐标界优化，收敛保证。在每次迭代中，我们的优化器为每个点到集群分配计算独立（并行）更新。因此，对于大规模聚类和Few-Shot任务，它可以是平凡分布的。此外，我们提供了一个彻底的收敛性分析的基础上点到集的地图。在各种数据集上进行了端口综合聚类和少样本学习实验，表明我们的方法在准确性和优化质量方面具有竞争力的性能，同时可以扩展到大型问题。在基础类上使用标准训练，而不采用复杂的元学习和情节训练策略，我们的方法在各种模型，设置和数据集上的性能明显优于最先进的Few-Shot方法。令人惊讶的是，我们发现即使是标准的聚类程序（例如，K-means），对应于我们一般模型的特定非正则化情况，与少样本学习中的最新技术相比，已经实现了具有竞争力的性能。这些令人惊讶的结果指出了当前Few-Shot基准测试的局限性，并质疑了最近文献中大量卷积少样本学习技术的可行性。
2021-06-16 cs.CV cs.LG
ReMP: Rectified Metric Propagation for Few-Shot Learning
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
少样本学习的特点是能够从少量样本中进行归纳。在本文中，我们首先发现，一个区分性特征空间（即纠正的度量空间）是基于度量的少样本学习成功的重要组成部分，它被学习以保持从训练到测试的度量一致性。许多分析表明，一个简单的修改的目标可以产生显着的性能增益。由此产生的方法，称为纠正度量传播（ReMP），进一步优化了一个专注的原型传播网络，并应用排斥力来做出自信的预测。大量的实验表明，所提出的ReMP是有效的和高效的，并优于各种标准的少样本学习数据集上的艺术状态。
2020-12-02 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
FewSAR: A Few-shot SAR Image Classification Benchmark
Army Engineering University of PLA（中国人民解放军陆军工程大学）
针对SAR图像小样本分类领域缺乏统一基准导致研究进展缓慢的问题，本文提出包含15种经典方法的开源基准FewSAR，通过系统实验发现度量学习方法表现最优，为该交叉领域研究提供了统一测试平台。
2023-06-16 cs.CV cs.LG
Dynamic Memory Induction Networks for Few-Shot Text Classification
Alibaba Group（阿里巴巴集团）；Ingenuity Labs Research Institute（匠心实验室研究院）；Queen’s University（女王大学）
提出了一种基于动态记忆归纳网络的Few-Shot文本分类方法。该模型利用动态路由为基于记忆的少样本学习提供更大的灵活性，以更好地适应支持集，这是Few-Shot分类模型的关键能力。在此基础上，我们进一步开发了具有查询信息的归纳模型，旨在增强元学习的泛化能力。该模型在miniRCV 1和ODIC数据集上取得了新的最先进的结果，将最佳性能（准确度）提高了2~ 4%。进一步进行详细分析以显示每个组件的有效性。
2020-05-12 cs.CL cs.LG
Learning Class-level Prototypes for Few-shot Learning
Nanjing University（南京大学）
少样本学习旨在使用很少的标记样本识别新类别。虽然少样本学习近年来取得了很大的发展，但现有的方法大多采用平均运算来计算原型，从而受到离群样本的限制。在这项工作中，我们提出了一个简单而有效的框架，Few-Shot分类，它可以学习生成更好的原型，从几个支持数据的帮助下，情节原型生成器模块。生成的原型旨在接近某个\textit{\targetproto{}}，并且受异常值样本的影响较小。大量的实验证明了该模块的有效性，我们的方法在基线模型上得到了显着的提高，并在\textit{mini} ImageNet，\textit{tiered} ImageNet和跨域（\textit{mini} ImageNet $\rightarrow$ CUB-200-2011）数据集上得到了与以前的方法相比具有竞争力的结果。
2021-08-25 cs.CV cs.LG
CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in NLP
University of Southern California（南加州大学）
人类可以通过利用他们在学习先前任务时获得的知识，仅用很少的例子就有效地学习新的语言任务。在本文中，我们将探讨这种跨任务泛化能力是否以及如何获得，并进一步应用于构建跨不同NLP任务的更好的Few-Shot学习器。我们介绍CrossFit，一个研究跨任务泛化能力的问题设置，它描述了可见/不可见的任务分区，不同学习阶段的数据访问和评估协议。为了在CrossFit中实例化不同的可见/不可见任务分区并促进深入分析，我们提出了NLP Few-Shot Gym，这是一个包含160个不同的Few-Shot NLP任务的存储库，这些任务是从开放访问的NLP数据集创建的，并转换为统一的文本到文本格式。我们的分析表明，少样本学习能力上看不见的任务，可以提高通过上游学习阶段使用一组看到的任务。我们还观察到，上游学习任务的选择可以显着影响Few-Shot性能看不见的任务，要求进一步分析任务相似性和可转移性。
2021-09-30 cs.CL cs.LG
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Privacy Enhancement for Cloud-Based Few-Shot Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习由于对精确模型所需数据较少，在许多应用领域表现出了鲁棒性和通用性。然而，在不受信任的环境中部署Few-Shot模型可能会造成隐私问题，例如，可能会侵犯用户提供的数据的隐私的攻击或对手。本文研究了在不可信环境下的少样本学习的隐私增强问题，云，通过建立一个新的隐私保护的嵌入空间，保护数据的隐私，并保持模型的准确性。我们研究了各种图像隐私方法的影响，如模糊，像素化，高斯噪声，差分私有像素化（DP-Pix）对Few-Shot图像分类，并提出了一种方法，通过联合损失学习隐私保护的表示。实证结果显示了如何针对隐私增强的少样本学习协商隐私-性能权衡。
2022-08-23 cs.CR cs.CV cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding
National Taiwan University（台湾大学）
本文研究了一种可转移音素嵌入框架，旨在解决Few-Shot环境下的跨语言文本到语音转换问题。迁移学习是Few-Shot学习的常用方法，因为在Few-Shot训练数据上从头开始训练必然会过拟合。尽管如此，我们发现，在提供不到8分钟的数据的极Few-Shot设置下，朴素的迁移学习方法无法适应看不见的语言。我们处理的问题，提出了一个框架，该框架由一个基于音素的TTS模型和一个码本模块从不同的语言到一个学习的潜在空间的项目音素。此外，通过利用音素级平均的自监督学习特征，我们有效地提高了合成语音的质量。实验表明，使用我们的框架，当适应一种看不见的语言时，使用4个话语（大约30秒的数据）就足以合成可理解的语音。
2022-08-03 cs.AI cs.LG eess.AS
Transfer Language Selection for Zero-Shot Cross-Lingual Abusive Language Detection
我们研究了自动辱骂性语言检测中迁移语言的选择问题。我们没有为每种语言准备数据集，而是展示了跨语言迁移学习对zero-shot滥用语言检测的有效性。通过这种方式，我们可以使用来自高资源语言的现有数据来为低资源语言构建更好的检测系统。我们的数据集来自三个语系的七种不同语言。我们使用几种语言相似性度量来测量语言之间的距离，特别是通过量化世界语言结构地图集。我们发现，语言相似性和分类器性能之间存在相关性。这一发现使我们能够选择一个最佳的迁移语言的zero shot滥用语言检测。
2022-06-02 cs.AI cs.CL cs.LG
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
