Meta-free few-shot learning via representation learning with weight averaging
University of Toronto（多伦多大学）
最近的研究Few-Shot分类使用迁移学习的情节元学习算法的有效性和效率提出了挑战。迁移学习方法是一种自然的选择，但它们仅限于Few-Shot分类。此外，除了一些贝叶斯情景学习算法之外，很少有人关注来自Few-Shot样本的具有良好校准的不确定性的概率模型的开发。为了解决上述问题，我们提出了一种新的迁移学习方法，以获得准确和可靠的模型，用于Few-Shot回归和分类。由此产生的方法不需要情景元学习，被称为无元表示学习（MFRL）。MFRL首先发现低秩表示在元测试任务上泛化良好。给定学习的表示，概率线性模型用Few-Shot样本进行微调，以获得具有良好校准的不确定性的模型。该方法不仅在广泛的少样本学习基准数据集上实现了最高的准确率，而且正确地量化了预测的不确定性。此外，加权平均和温度缩放在提高具有广泛的学习范例和模型架构的现有元学习算法中的少样本学习的准确性和可靠性方面是有效的。
2022-04-30 cs.CV cs.LG
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Transductive Few-Shot Learning: Clustering is All You Need?
Thales - Cortaix（泰雷兹Cortaix）；ÉTS Montreal（蒙特利尔高等技术学院）
我们研究了一个通用的公式聚类和转导少样本学习，它集成了基于原型的目标，拉普拉斯正则化和监督约束，从一些标记的数据点。我们提出了一个凹凸松弛的问题，并推导出一个计算效率高的块坐标界优化，收敛保证。在每次迭代中，我们的优化器为每个点到集群分配计算独立（并行）更新。因此，对于大规模聚类和Few-Shot任务，它可以是平凡分布的。此外，我们提供了一个彻底的收敛性分析的基础上点到集的地图。在各种数据集上进行了端口综合聚类和少样本学习实验，表明我们的方法在准确性和优化质量方面具有竞争力的性能，同时可以扩展到大型问题。在基础类上使用标准训练，而不采用复杂的元学习和情节训练策略，我们的方法在各种模型，设置和数据集上的性能明显优于最先进的Few-Shot方法。令人惊讶的是，我们发现即使是标准的聚类程序（例如，K-means），对应于我们一般模型的特定非正则化情况，与少样本学习中的最新技术相比，已经实现了具有竞争力的性能。这些令人惊讶的结果指出了当前Few-Shot基准测试的局限性，并质疑了最近文献中大量卷积少样本学习技术的可行性。
2021-06-16 cs.CV cs.LG
ReMP: Rectified Metric Propagation for Few-Shot Learning
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
少样本学习的特点是能够从少量样本中进行归纳。在本文中，我们首先发现，一个区分性特征空间（即纠正的度量空间）是基于度量的少样本学习成功的重要组成部分，它被学习以保持从训练到测试的度量一致性。许多分析表明，一个简单的修改的目标可以产生显着的性能增益。由此产生的方法，称为纠正度量传播（ReMP），进一步优化了一个专注的原型传播网络，并应用排斥力来做出自信的预测。大量的实验表明，所提出的ReMP是有效的和高效的，并优于各种标准的少样本学习数据集上的艺术状态。
2020-12-02 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
FewSAR: A Few-shot SAR Image Classification Benchmark
Army Engineering University of PLA（中国人民解放军陆军工程大学）
针对SAR图像小样本分类领域缺乏统一基准导致研究进展缓慢的问题，本文提出包含15种经典方法的开源基准FewSAR，通过系统实验发现度量学习方法表现最优，为该交叉领域研究提供了统一测试平台。
2023-06-16 cs.CV cs.LG
Learning Class-level Prototypes for Few-shot Learning
Nanjing University（南京大学）
少样本学习旨在使用很少的标记样本识别新类别。虽然少样本学习近年来取得了很大的发展，但现有的方法大多采用平均运算来计算原型，从而受到离群样本的限制。在这项工作中，我们提出了一个简单而有效的框架，Few-Shot分类，它可以学习生成更好的原型，从几个支持数据的帮助下，情节原型生成器模块。生成的原型旨在接近某个\textit{\targetproto{}}，并且受异常值样本的影响较小。大量的实验证明了该模块的有效性，我们的方法在基线模型上得到了显着的提高，并在\textit{mini} ImageNet，\textit{tiered} ImageNet和跨域（\textit{mini} ImageNet $\rightarrow$ CUB-200-2011）数据集上得到了与以前的方法相比具有竞争力的结果。
2021-08-25 cs.CV cs.LG
Adaptive Parametric Prototype Learning for Cross-Domain Few-Shot Classification
Carleton University（卡尔顿大学）
针对跨域小样本分类的域偏移问题，提出自适应参数化原型学习方法，以参数化方式学习类别原型并施加正则化，结合直推式自训练微调，在多个基准上优于现有方法。
2023-09-04 cs.CV cs.LG
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中，Transductive方法总是优于归纳方法。然而，现有的Few-Shot方法包含一个潜在的条件：每个类中的样本数是相同的，这可能是不现实的。为了应对这些情况下，每个类的查询镜头是不均匀的（即不均匀的少样本学习），我们提出了一个任务先验条件变分自动编码器模型TP-VAE，条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外，我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中，单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
A Baseline for Few-Shot Image Classification
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
微调使用标准交叉熵损失训练的深度网络是少样本学习的强大基线。当进行微调时，这在标准数据集上的表现优于当前最先进的技术，例如Mini-ImageNet，Tiered-ImageNet，CIFAR-FS和FC-100，具有相同的超参数。这种方法的简单性使我们能够在ImageNet-21 k数据集上展示前少样本学习结果。我们发现，使用大量的元训练类的结果在高的Few-Shot精度，即使是大量的Few-Shot类。我们并不提倡我们的方法作为解决方案的少样本学习，但只是使用的结果，以突出当前的基准和Few-Shot协议的局限性。我们对基准数据集进行了广泛的研究，提出了一个度量标准，量化了“硬度”的Few-Shot插曲。该度量可用于以更系统的方式报告Few-Shot算法的性能。
2020-10-21 cs.CV cs.LG stat.ML
Texture Bias Of CNNs Limits Few-Shot Classification Performance
Speechmatics
在计算机视觉中，给定少量标记数据的精确图像分类（Few-Shot分类）仍然是一个悬而未决的问题。在这项工作中，我们研究了卷积神经网络（CNN）的已知纹理偏差如何影响Few-Shot分类性能。虽然纹理偏差可以帮助标准的图像分类，在这项工作中，我们表明它显着损害Few-Shot分类性能。在纠正这种偏差之后，我们使用一种比当前性能最好的少样本学习方法简单得多的方法，在竞争性的miniImageNet任务上展示了最先进的性能。
2019-10-18 cs.CV cs.LG stat.ML
Metric-Based Few-Shot Learning for Video Action Recognition
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
在Few-Shot场景中，学习器必须有效地推广到给定标记示例的小支持集的未见过的类。虽然相对大量的研究已经进入了用于图像分类的少样本学习，但是在Few-Shot视频分类上做的工作很少。在这项工作中，我们解决的任务Few-Shot视频动作识别与一组两个流模型。我们评估了一组卷积和递归神经网络视频编码器架构与三种流行的基于度量的Few-Shot算法结合使用的性能。我们使用Kinetics 600数据集的Few-Shot分割进行训练和评估。我们的实验证实了双流设置的重要性，并找到原型网络和池化长短期记忆网络嵌入，分别作为Few-Shot方法和视频编码器提供最佳性能。对于一个5杆5路任务，该设置获得84.2%的准确率在测试集和59.4%的特殊的“挑战”测试集，组成的高度混淆的类。
2019-09-14 cs.CV cs.LG stat.ML
Zero-Shot and Few-Shot Learning for Lung Cancer Multi-Label Classification using Vision Transformer
Harvard Medical School（哈佛医学院）
肺癌是全球癌症相关死亡的主要原因。肺腺癌（LUAD）和肺鳞状细胞癌（LUSC）是非小细胞肺癌（NSCLC）最常见的组织学亚型。组织学是肺癌诊断的重要工具。病理学家根据优势亚型进行分类。虽然形态学仍然是诊断的标准，但需要开发重要的工具来阐明诊断。在我们的研究中，我们利用预先训练的视觉Transformer（ViT）模型在Zero-Shot和Few-Shot设置下对组织切片（来自数据集LC 25000）上的多标记肺癌进行分类。然后我们比较了Zero-Shot和Few-Shot ViT在准确度、精确度、召回率、灵敏度和特异度方面的性能。我们的研究表明，预训练的ViT模型在Zero-Shot设置中具有良好的性能，在Few-Shot设置中具有竞争力的准确性（$99.87\%$）（{epoch = 1}），在Few-Shot设置中具有最佳结果（$100.00\%$）（{epoch = 5}）。
2022-05-31 cs.AI cs.CV cs.LG
A Simple Approach to Adversarial Robustness in Few-shot Image Classification
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
Few-Shot图像分类的目标是推广到具有有限标记数据的任务，多年来已经取得了很大的进展。然而，分类器容易受到对抗性样本的影响，这就对其泛化能力提出了问题。最近的工作试图将元学习方法与对抗训练相结合，以提高Few-Shot分类器的鲁棒性。我们表明，一个简单的迁移学习为基础的方法可以用来训练对抗强大的Few-Shot分类。我们还提出了一种基于将Few-Shot类别的重心向基类校准的新型分类任务的方法。我们表明，在基本类别上进行的标准对抗训练以及在新类别中校准的基于质心的分类器，在少样本学习的标准基准上优于或与最先进的先进方法相当。我们的方法是简单的，易于扩展，并与很少的努力，可以导致强大的Few-Shot分类器。代码可在这里：\url{https://github.com/UCDvision/Simple_few_shot.git}
2022-04-11 cs.AI cs.CV cs.LG
A Concise Review of Recent Few-shot Meta-learning Methods
Lanzhou University of Technology（兰州理工大学）；University College London（伦敦大学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Few-Shot元学习最近已经复兴，期望模仿人类基于先验知识对新概念的快速适应。在这篇简短的交流中，我们简要回顾了最近在Few-Shot元学习中的代表性方法，根据其技术特征将其分为四个分支。最后，我们总结了当前Few-Shot元学习面临的一些重要挑战和未来的展望。
2020-05-22 cs.CV cs.LG stat.ML
Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning
South China University of Technology（华南理工大学）
少样本学习（Few-shot learning，FSL）的目标是从很少的样本中学习新的视觉类别，这在实际应用中是一个具有挑战性的问题。许多Few-Shot分类方法在一般图像上工作良好，以学习全局表示。然而，由于缺乏细微和局部的信息，它们不能同时很好地处理细粒度的类别。我们认为，本地化是一种有效的方法，因为它直接提供了歧视性的地区，这是至关重要的一般分类和细粒度分类在低数据制度。在本文中，我们提出了一个基于自注意力的互补模块（SAC模块），以实现弱监督的目标定位，更重要的是产生激活的面具，用于选择区分性的深度描述符，用于Few-Shot分类。基于每个选定的深度描述符，语义对齐模块（SAM）计算查询和支持图像之间的语义对齐距离，以提高分类性能。大量的实验表明，我们的方法优于国家的最先进的方法在基准数据集在各种设置下，特别是在细粒度的Few-Shot任务。此外，当在miniImageNet上训练模型并在不同的数据集上进行评估时，我们的方法比以前的方法具有更好的性能，证明了其优越的泛化能力。实验结果表明，该方法能够更好地定位关键目标.
2020-12-12 cs.CV cs.LG stat.ML
Few-Shot Learning with Embedded Class Models and Shot-Free Meta Training
Amazon Web Services（亚马逊云科技）；UCLA（加州大学洛杉矶分校）
我们提出了一种学习嵌入的方法，用于少样本学习，适用于任何数量的方式和任何数量的镜头（镜头免费）。我们不是将类原型固定为样本嵌入的欧几里得平均值，而是允许它们生活在更高维的空间（嵌入式类模型）中，并随着模型参数一起学习原型。类表示函数是隐式定义的，这允许我们使用简单的恒定大小架构来处理每个类的可变数量的镜头。类嵌入包含度量学习，这有助于添加新类而不会拥挤类表示空间。尽管是通用的，没有调整到基准，我们的方法实现了最先进的性能标准的Few-Shot基准数据集。
2020-04-21 cs.CV cs.LG stat.ML
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University（西安交通大学）
度量学习是少样本学习中广泛使用的一种方法，其中原型的质量在算法中起着关键作用。在本文中，我们提出了可训练的原型距离测量，而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端，本文采用了基于自监督学习的非情景元训练。总的来说，我们解决了Few-Shot任务在两个阶段：元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外，简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与现有的无监督少样本学习方法相比，提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Privacy Enhancement for Cloud-Based Few-Shot Learning
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
少样本学习由于对精确模型所需数据较少，在许多应用领域表现出了鲁棒性和通用性。然而，在不受信任的环境中部署Few-Shot模型可能会造成隐私问题，例如，可能会侵犯用户提供的数据的隐私的攻击或对手。本文研究了在不可信环境下的少样本学习的隐私增强问题，云，通过建立一个新的隐私保护的嵌入空间，保护数据的隐私，并保持模型的准确性。我们研究了各种图像隐私方法的影响，如模糊，像素化，高斯噪声，差分私有像素化（DP-Pix）对Few-Shot图像分类，并提出了一种方法，通过联合损失学习隐私保护的表示。实证结果显示了如何针对隐私增强的少样本学习协商隐私-性能权衡。
2022-08-23 cs.CR cs.CV cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
Revisiting Fine-tuning for Few-shot Learning
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
少样本学习是一种仅使用少量样本学习新类的过程，它在机器学习中仍然是一个具有挑战性的任务。许多复杂的少样本学习算法都是基于这样一个概念提出的：如果只使用几个样本对网络进行简单的微调，那么网络很容易过拟合到新的样本。在这项研究中，我们表明，在常用的低分辨率mini-ImageNet数据集中，微调方法在1次任务中实现了比常见的少样本学习算法更高的准确性，在5次任务中与最先进的算法几乎相同的准确性。然后，我们评估我们的方法与更实际的任务，即高分辨率的单域和跨域的任务。这两个任务，我们表明，我们的方法比常见的少样本学习算法实现了更高的精度。我们进一步分析了实验结果，并表明：1）再训练过程可以通过采用低学习率来稳定，2）在微调过程中使用自适应梯度优化器可以提高测试精度，3）当基类和新类之间存在较大的域偏移时，可以通过更新整个网络来提高测试精度。
2019-10-03 cs.CV cs.LG stat.ML
Defining Benchmarks for Continual Few-Shot Learning
University of Edinburgh（爱丁堡大学）
由于采用了适当的基准，Few-Shot和持续学习在过去几年中都取得了重大进展。话虽如此，该领域仍然需要为持续Few-Shot学习的高度理想设置构建一套基准，其中学习者被一个接一个地呈现许多Few-Shot任务，然后被要求在源于所有先前看到的任务的验证集上表现良好。连续少样本学习具有较小的计算占用空间，因此是高效调查和实验的绝佳设置。在本文中，我们首先定义了一个连续少样本学习的理论框架，考虑到最近的文献，然后我们提出了一系列灵活的基准，统一的评估标准，并允许从多个角度探索问题。作为基准测试的一部分，我们引入了ImageNet的一个紧凑型变体，称为SlimageNet64，它保留了所有原始的1000个类，但只包含每个类的200个实例（总共20万个数据点），缩小到64 x 64像素。我们使用一些流行的少样本学习算法为建议的基准提供基线，因此，在连续和数据有限的设置中暴露了这些算法以前未知的优点和缺点。
2020-04-15 cs.CV cs.LG stat.ML
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
少样本学习中的大多数方法依赖于（预）训练期间与目标任务域相关的昂贵的注释数据。最近，无监督元学习方法已经将注释要求交换为Few-Shot分类性能的降低。同时，在具有现实域转移的设置中，常见的迁移学习已被证明优于有监督的元学习。基于这些见解和自监督学习的进展，我们提出了一种迁移学习方法，该方法构建了一个度量嵌入，将未标记的原型样本及其增强紧密地聚集在一起。这种预训练的嵌入是通过总结类聚类和微调来进行Few-Shot分类的起点。我们证明了我们的自监督原型迁移学习方法ProtoTransfer在mini-ImageNet数据集的Few-Shot任务上优于最先进的无监督元学习方法。在域偏移的Few-Shot实验中，我们的方法甚至具有与监督方法相当的性能，但需要数量级更少的标签。
2020-06-19 cs.CV cs.LG stat.ML
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究所）
跨域少样本学习（CD-FSL）在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异，最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外，这些数据还可以在目标域上进行自我监督的预训练。在本文中，我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现，当目标域与源域不相似或目标域本身具有低Few-Shot难度时，自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案，混合监督和两阶段学习，提高性能。在这种情况下，我们提出了六个研究结果的CD-FSL，这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
Few-shot Decoding of Brain Activation Maps
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（STICC实验室）
少样本学习解决了有限数量的训练样本可用的问题。到目前为止，该领域主要由计算机视觉中的应用驱动。在这里，我们有兴趣适应最近推出的Few-Shot方法来解决神经成像数据处理的问题，这是一个很有前途的应用领域。为此，我们为少样本学习创建了一个神经成像基准数据集，并比较了多种学习范式，包括元学习以及各种骨干网络。我们的实验表明，Few-Shot方法能够使用很少的例子有效地解码大脑信号，这为临床和认知神经科学中的许多应用铺平了道路，例如从大脑扫描中识别生物标志物或理解广泛的认知任务中大脑表征的泛化。
2021-05-19 cs.LG
TADAM: Task dependent adaptive metric for improved few-shot learning
Element AI（元素人工智能公司）；CVC-UAB（巴塞罗那自治大学计算机视觉中心）
少样本学习已经成为生成从很少的例子中概括的模型的必要条件。在这项工作中，我们确定度量缩放和度量任务条件是重要的，以提高性能的Few-Shot算法。我们的分析表明，简单的度量缩放完全改变了Few-Shot算法参数更新的性质。度量缩放为mini-Imagenet 5路5镜头分类任务中的某些度量提供了高达14%的准确性改进。我们进一步提出了一个简单而有效的方法来调节学习任务样本集，从而学习任务相关的度量空间。此外，我们提出并实证测试了一个基于辅助任务协同训练的实用端到端优化过程，以学习任务相关的度量空间。由此产生的少样本学习模型的基础上的任务相关的缩放度量达到最先进的迷你Imagenet。我们在本文介绍的另一个基于CIFAR 100的Few-Shot数据集上证实了这些结果。我们的代码可在https://github.com/ElementAI/TADAM上公开获取。
2019-01-25 cs.AI cs.CV cs.LG
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习，但很少有研究考虑到Few-Shot持续学习（FSCL）这一新的环境，即需要最大限度地减少对旧任务的灾难性遗忘，并逐步提高Few-Shot泛化能力。在本文中，我们提供了第一个系统的研究FSCL，并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察，即任务序列的持续学习不可避免地干扰了Few-Shot泛化，这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发，提出了一种方法：（1）受元可塑性和快/慢突触的生物学模型的启发，相互依赖地更新持续学习和少样本学习的一对快/慢权重，以理清它们的不同目标;（2）用脑启发的两个--步骤合并策略，用于在快速权重中学习任务序列而不会忘记，同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明，我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
Few-Shot Learning Through an Information Retrieval Lens
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Uber ATG（优步先进技术集团）
少样本学习是指仅从几个例子中理解新概念。我们提出了一个信息检索启发的方法，这个问题的动机是最大限度地利用所有可用的信息在这个低数据制度的重要性增加。我们定义了一个训练目标，旨在通过同时有效地优化批处理点的所有相对排序，从每个训练批中提取尽可能多的信息。特别是，我们将每个批次点视为一个“查询”，根据其预测的相关性对其余批次点进行排名，并且我们在结构化预测的框架内定义了一个模型，以优化这些排名的平均平均精度。我们的方法在标准的Few-Shot分类基准上取得了令人印象深刻的结果，同时也能够进行Few-Shot检索。
2017-11-14 cs.LG
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数（或镜头数）。最近的工作通过元学习来解决这个任务，其中元学习者在元训练期间从观察到的任务中提取信息，以便在元测试期间快速适应新任务。在这个公式中，元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说，元训练中使用的镜头数应该与元测试中使用的镜头数相匹配，以获得最佳性能。我们介绍了一个理论分析的影响，镜头数的原型网络，一个国家的最先进的Few-Shot分类方法。根据我们的分析，我们提出了一种简单的方法，该方法对元训练期间使用的镜头数量的选择具有鲁棒性，这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
Inductive Linear Probing for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）
针对现有元学习方法多聚焦直推式少样本节点分类、忽视归纳式场景的问题，本文通过实证揭示现有框架局限，提出适配归纳式少样本节点分类的简单强基线，为理解图域元学习提供新方向。
2023-06-14 cs.LG cs.SI
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Few-shot acoustic event detection via meta-learning
Amazon（亚马逊）
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比，用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题，并探讨了利用传统的监督方法，这种设置以及各种元学习方法，这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比，元学习模型具有更好的性能，从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响，进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Discriminative Few-Shot Learning Based on Directional Statistics
SK T-Brain
基于度量的少样本学习方法试图通过学习嵌入来克服由于缺乏训练样本而导致的困难，从而使比较变得容易。我们提出了一种新的算法来生成类代表的Few-Shot分类任务。作为输入的学习特征的概率模型，我们考虑了一个混合的von Mises-Fisher分布，已知它在高维空间中比高斯分布更有表现力。然后，从判别分类器的角度来看，我们得到了一个更好的类代表性考虑类间的相关性，还没有解决传统的少样本学习算法。我们将我们的方法应用于\emph{mini} ImageNet和\emph{tiered} ImageNet数据集，并表明所提出的方法在Few-Shot分类任务中优于其他可比方法。
2019-06-05 cs.LG stat.ML
Leveraging the Feature Distribution in Transfer-based Few-Shot Learning
IMT Atlantique（大西洋国立高等电信学院）；Orange Labs（Orange实验室）
Few-Shot分类是一个具有挑战性的问题，由于不确定性所造成的使用少数标记的样本。在过去的几年中，已经提出了许多方法来解决Few-Shot分类，其中基于转移的方法已被证明达到最好的性能。遵循这一思路，在本文中，我们提出了一种新的基于传输的方法，该方法基于两个连续的步骤：1）预处理特征向量，使其更接近高斯分布，以及2）使用最优传输启发算法（在转换设置的情况下）利用这种预处理。使用标准化的视觉基准，我们证明了所提出的方法，以实现国家的最先进的精度与各种数据集，骨干架构和Few-Shot设置的能力。
2021-01-26 cs.LG stat.ML
Few-shot training LLMs for project-specific code-summarization
University of California, Davis（加州大学戴维斯分校）
非常大的大语言模型（LLM），如GPT-3和Codex，已经在几个自然语言任务上实现了最先进的性能，并且在代码方面也表现出了很大的潜力。LLM的一个特别令人兴奋的方面是他们对Few-Shot和零样本学习的诀窍：他们可以用很少的例子学习执行任务。在软件工程中，少拍具有特别的协同作用，其中有许多现象（标识符名称、API、术语、编码模式）是高度特定于项目的。然而，特定于项目的数据可能非常有限，特别是在项目历史的早期;因此LLM的少样本学习能力可能非常相关。在本文中，我们研究了使用Few-Shot训练与非常大的GPT（生成式预训练Transformer）Codex模型，并发现证据表明，利用特定于项目的训练，可以显着超过最先进的代码摘要模型。
2022-09-08 cs.LG cs.SE
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
Dynamic Input Structure and Network Assembly for Few-Shot Learning
从少量样本中学习的能力从一开始就是机器学习中的一个难题。虽然方法在大量训练数据上取得了成功，但如何用更少的例子实现类似的性能的研究一直在进行中，称为一次性学习或更一般的少样本学习。这种技术已被证明具有很好的性能，但在实践中需要固定大小的输入，使其不切实际的生产系统，类大小可以变化。这阻碍了少样本学习系统的训练和最终效用。本文介绍了一种方法来构建和训练一个网络，可以动态处理任意大小的示例系统使用。
2017-08-22 cs.LG stat.ML
Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation
University of Edinburgh（爱丁堡大学）
Few-Shot学习的领域已经在监督设置中进行了艰苦的探索，其中每个类的标签是可用的。另一方面，无监督的Few-Shot学习设置，其中不需要任何类型的标签，几乎没有调查。我们提出了一种方法，命名为假设，扩增和学习或AAL，用于生成Few-Shot任务使用未标记的数据。我们从未标记的数据集中随机标记图像的随机子集以生成支持集。然后通过对支持集的图像进行数据扩充，并重用支持集的标签，得到目标集。得到的Few-Shot任务可以用于训练任何标准的元学习框架。一旦经过训练，这样的模型可以直接应用于小型实标记数据集，而无需任何更改或微调。在我们的实验中，学习模型在Omniglot和Mini-Imagenet上的各种已建立的Few-Shot学习任务中实现了良好的泛化性能。
2019-03-05 cs.LG stat.ML
Dynamic Memory Induction Networks for Few-Shot Text Classification
Alibaba Group（阿里巴巴集团）；Ingenuity Labs Research Institute（匠心实验室研究院）；Queen’s University（女王大学）
提出了一种基于动态记忆归纳网络的Few-Shot文本分类方法。该模型利用动态路由为基于记忆的少样本学习提供更大的灵活性，以更好地适应支持集，这是Few-Shot分类模型的关键能力。在此基础上，我们进一步开发了具有查询信息的归纳模型，旨在增强元学习的泛化能力。该模型在miniRCV 1和ODIC数据集上取得了新的最先进的结果，将最佳性能（准确度）提高了2~ 4%。进一步进行详细分析以显示每个组件的有效性。
2020-05-12 cs.CL cs.LG
Discrete Few-Shot Learning for Pan Privacy
University of Melbourne（墨尔本大学）
在本文中，我们提出了第一个基线结果的任务的少样本学习的离散嵌入向量的图像识别。少样本学习是一项高度研究的任务，通常由资源受限的识别系统利用，以在每个类别的少量图像上进行训练。Few-Shot系统通常存储每个类的连续嵌入向量，在系统违规或内部威胁令人担忧的情况下对隐私构成风险。使用离散的嵌入向量，我们设计了一个简单的密码协议，它使用单向哈希函数，以建立识别系统，不直接存储其用户的嵌入向量，从而提供了一个实用的和广泛的设置计算泛隐私的保证。
2020-06-23 cs.LG stat.ML
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company（好奇人工智能公司）
我们考虑半监督的Few-Shot分类问题，其中分类器需要使用几个标记的示例和（可能是许多）未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类，并使用少数标记示例指导聚类过程。我们注意到，在许多实际应用中，通过用户反馈请求少量标签，可以显著提高自适应性能。我们展示了良好的性能，使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in NLP
University of Southern California（南加州大学）
人类可以通过利用他们在学习先前任务时获得的知识，仅用很少的例子就有效地学习新的语言任务。在本文中，我们将探讨这种跨任务泛化能力是否以及如何获得，并进一步应用于构建跨不同NLP任务的更好的Few-Shot学习器。我们介绍CrossFit，一个研究跨任务泛化能力的问题设置，它描述了可见/不可见的任务分区，不同学习阶段的数据访问和评估协议。为了在CrossFit中实例化不同的可见/不可见任务分区并促进深入分析，我们提出了NLP Few-Shot Gym，这是一个包含160个不同的Few-Shot NLP任务的存储库，这些任务是从开放访问的NLP数据集创建的，并转换为统一的文本到文本格式。我们的分析表明，少样本学习能力上看不见的任务，可以提高通过上游学习阶段使用一组看到的任务。我们还观察到，上游学习任务的选择可以显着影响Few-Shot性能看不见的任务，要求进一步分析任务相似性和可转移性。
2021-09-30 cs.CL cs.LG
Subgraph-aware Few-Shot Inductive Link Prediction via Meta-Learning
Sun Yat-sen University（中山大学）
知识图谱的链接预测旨在预测实体之间的缺失连接。现有的方法局限于一个转导设置和难以处理看不见的实体。最近提出的基于子图的模型提供了替代方案来预测从候选三元组周围的子图结构的链接。然而，这些方法需要大量的已知事实来训练三胞胎，并且在只有几个三胞胎的关系上表现不佳。在本文中，我们提出了Meta-iKG，一种新的基于子图的元学习器的Few-Shot归纳关系推理。Meta-iKG利用局部子图来传输特定于子图的信息，并通过Meta梯度更快地学习可转移模式。通过这种方式，我们发现模型可以快速适应Few-Shot关系，只需使用少量具有归纳设置的已知事实。此外，我们在传统的元学习中引入了大镜头关系更新过程，以确保我们的模型可以很好地推广Few-Shot和大镜头关系。我们在NELL和Freebase的归纳基准上对Meta-iKG进行了评估，结果表明Meta-iKG在Few-Shot场景和标准归纳设置中都优于当前最先进的方法。
2021-07-26 cs.LG cs.SI
Training few-shot classification via the perspective of minibatch and pretraining
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
Few-Shot分类是一个具有挑战性的任务，其目的是制定人类从有限的先验数据中学习概念的能力，并在机器学习中引起了相当大的关注。最近在Few-Shot分类中的进展具有元学习的特征，其中定义并训练学习算法的参数化模型以学习在表示不同分类任务的极大或无限事件上处理分类任务的能力，每个事件具有小的标记支持集及其对应的查询集。在这项工作中，我们提出了这个Few-Shot分类范式，制定它作为一个监督分类学习问题。我们进一步提出了多集和交叉训练技术，分别对应于分类问题中的小批量和预训练。最先进的Few-Shot分类方法（原型网络）的实验结果表明，所提出的训练策略可以大大加快训练过程，而不会损失Omniglot和miniImageNet上不同的Few-Shot分类问题的准确性。
2020-04-10 cs.LG stat.ML
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
True Few-Shot Learning with Language Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
预训练的语言模型（LM）即使在从几个示例中学习时也能在许多任务中表现良好，但之前的工作使用许多保留的示例来调整学习的各个方面，例如超参数，训练目标和自然语言模板（“提示”）。在这里，我们评估的Few-Shot能力的LM时，这样的支持的例子是不可用的，我们称之为真正的少样本学习。我们测试两个模型选择标准，交叉验证和最小描述长度，选择LM提示和超参数在真正的Few-Shot设置。平均而言，这两种方法的表现都略优于随机选择，而大大低于基于保留样本的选择。此外，选择标准往往倾向于表现明显差于随机选择的模型。即使考虑到我们在选择过程中对模型真实性能的不确定性，以及当改变用于选择的计算量和示例数量时，我们也会发现类似的结果。总的来说，我们的研究结果表明，以前的工作显着高估了真正的Few-Shot能力的LM考虑到困难的Few-Shot模型选择。
2021-05-24 cs.CL cs.LG stat.ML
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation
Tsinghua University（清华大学）；New York University（纽约大学）；Institute for Artificial Intelligence（人工智能研究院）
我们提出了一个Few-Shot关系分类数据集（FewRel），由来自维基百科的100个关系上的70，000个句子组成，并由crowdworker注释。每个句子的关系首先由远程监督方法识别，然后由众包过滤。我们采用了最新的最先进的少样本学习方法进行关系分类，并对这些方法进行了全面的评估。实证结果表明，即使是最有竞争力的少样本学习模型在这项任务上也很困难，特别是与人类相比。我们还表明，需要一系列不同的推理技能来解决我们的任务。这些结果表明，Few-Shot关系分类仍然是一个开放的问题，仍然需要进一步的研究。我们的详细分析为未来的研究指出了多个方向。有关数据集和基线的所有详细信息和资源都在http://zhuhao.me/fewrel上发布。
2018-10-26 cs.AI cs.CL cs.LG
Exploiting the Matching Information in the Support Set for Few Shot Event Classification
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）
现有的事件分类（EC）工作主要集中在传统的监督学习设置中，其中模型不能提取新的/未见过的事件类型的事件提及。Few-Shot learninghas没有在这方面的研究，但它使EC模型将其操作扩展到未观察到的事件类型。为了填补这一空白，在这项工作中，我们调查事件分类下的Few-Shot学习设置。针对这个问题，我们提出了一种新的训练方法，该方法在少量学习模型的训练过程中广泛利用支持集。特别是，除了匹配的查询示例与那些在支持集的训练，我们寻求进一步匹配的例子在支持集本身。该方法为模型提供了更多的训练信号，适用于各种基于度量学习的少样本学习方法。我们在两个标准EC数据集上的实验表明，该方法可以将最好的少样本学习模型的事件分类精度提高10
2020-06-19 cs.CL cs.LG stat.ML
