FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs
University of Virginia（弗吉尼亚大学）；Hong Kong Polytechnic University（香港理工大学）
Few-Shot图分类的目的是预测图的类别，给定每个类别的有限标记图。为了解决标签稀缺的瓶颈，最近的工作提出了将少样本学习框架用于快速适应具有有限标签图的图类。具体而言，这些工作提出了在不同的元训练任务中积累元知识，然后将这些元知识推广到具有不相交标签集的目标任务。然而，现有的方法通常忽略元训练任务之间的任务相关性，而单独对待它们。然而，这种任务相关性可以将模型泛化到目标任务，以获得更好的分类性能。另一方面，由于大量元训练任务中的复杂组件，利用任务相关性仍然是不平凡的。为了解决这个问题，我们提出了一种新的少样本学习框架FAITH，通过构建不同粒度的分层任务图来捕获任务相关性。然后，我们进一步设计了一个基于损失的抽样策略，以选择具有更多相关类的任务。此外，提出了一个特定于任务的分类器，利用学习的任务相关性的Few-Shot分类。在四个流行的Few-Shot图分类数据集上进行的大量实验表明，FAITH优于其他最先进的基线。
2022-05-07 cs.AI cs.LG
Task-Equivariant Graph Few-shot Learning
KAIST（韩国科学技术院）
针对图神经网络少样本节点分类中元学习需大量训练任务的问题，提出任务等变图少样本学习（TEG）框架，利用等变神经网络学习可迁移策略，在有限元任务下实现最先进的准确率与泛化能力。
2023-06-24 cs.AI cs.LG
Few-Shot Transfer Learning for Device-Free Fingerprinting Indoor Localization
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
无设备无线室内定位是物联网（IoT）的关键技术，基于指纹的方法被广泛使用。基于指纹的方法面临的一个共同挑战是数据收集和标记。本文提出了一种Few-Shot迁移学习系统，该系统仅使用来自当前环境的少量标记数据，并重用先前在其他环境中收集的大量现有标记数据，从而显著降低了每个新环境中本地化的数据收集和标记成本。其核心方法是基于图神经网络（GNN）的Few-Shot迁移学习及其改进。在真实世界环境中进行的实验结果表明，该系统实现了与卷积神经网络（CNN）模型相当的性能，标记数据减少了40倍。
2022-01-29 cs.LG eess.SP
Boosting Meta-Learning for Few-Shot Text Classification via Label-guided Distance Scaling
Dalian University of Technology（大连理工大学）
本文提出标签引导的距离缩放策略，通过利用标签语义提升少样本文本分类的性能，实验表明其优于现有方法。
2026-02-28 cs.AI cs.LG
Self-training for Few-shot Transfer Across Extreme Task Differences
Cornell University（康奈尔大学）
大多数少样本学习技术都是在一个大的、标记的“基础数据集”上进行预训练的。在这样的大型标记数据集不可用于预训练的问题域中（例如，X射线，卫星图像），必须在不同的“源”问题域（例如，ImageNet），这可能与所需的目标任务非常不同。传统的Few-Shot和迁移学习技术在源任务和目标任务之间存在这种极端差异的情况下会失败。在本文中，我们提出了一个简单而有效的解决方案来解决这个极端的域差距：在目标域的未标记数据上自训练源域表示。我们表明，这将目标域上的一次性性能平均提高了2.9个点，这是由来自多个域的数据集组成的具有挑战性的BSCD-FSL基准测试。我们的代码可在https://github.com/cpphoo/STARTUP上获得。
2021-03-17 cs.AI cs.CV cs.LG
TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Futurewei Technologies；University of Rochester（罗切斯特大学）
深度学习在许多视觉识别任务中的成功应用在很大程度上依赖于大量标记数据的可用性，而这些数据的获取通常是昂贵的。少样本学习问题是一个基于少量标记样本建立鲁棒模型的问题，已引起研究者的广泛关注。大多数现有的作品在元学习框架下解决这个问题，通过模仿少样本学习任务的情景训练策略。在本文中，我们提出了一个新的迁移学习框架的半监督少样本学习，充分利用辅助信息标记的基本类数据和未标记的新类数据。该框架由三个部分组成：1）在基本类数据上预训练特征提取器; 2）使用特征提取器初始化新类的分类器权重;以及3）使用半监督学习方法进一步更新模型。在所提出的框架下，我们开发了一种新的半监督少样本学习方法，称为TransMatch通过实例化的三个组件与印记和MixMatch。在两个流行的少样本学习基准数据集CUB-200-2011和miniImageNet上的实验表明，该方法可以有效地利用标记的基类数据和未标记的新类数据中的辅助信息，显著提高少样本学习任务的准确性。
2020-03-09 cs.CV cs.LG stat.ML
A Survey of Few-Shot Learning for Biomedical Time Series
University of Oxford（牛津大学）
本文综述了面向生物医学时间序列的小样本学习方法，系统比较其在临床场景中的优势与局限，为应对标注数据稀缺问题及未来研究提供参考。
2024-05-03 cs.AI cs.LG
Multi-source Few-shot Domain Adaptation
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
多源领域自适应（MDA）的目的是将预测模型从多个完全标记的源域转移到未标记的目标域。然而，在许多应用中，相关的标记源数据集可能不可用，并且收集源标签可能与标记目标数据本身一样昂贵。在本文中，我们研究多源Few-Shot领域自适应（MFDA）：一个新的领域自适应的情况下，有限的多源标签和未标记的目标数据。正如我们所示，现有的方法往往无法学习的歧视性功能的源和目标域中的MFDA设置。因此，我们提出了一个新的框架，称为多源Few-Shot适应网络（MSFAN），它可以以非对抗的方式进行端到端的训练。MSFAN首先使用一种典型的、多域的、自监督学习来学习不仅是域不变的而且是类区分的特征。其次，MSFAN使用一个小的，标记的支持集，以加强跨域的功能一致性和域不变性。最后，利用来自多个来源的原型来学习更好的分类器。与最先进的MDA方法相比，MSFAN在MFDA上的不同域对上的平均分类准确率分别提高了20.2%，9.4%和16.2%。
2021-09-25 cs.AI cs.CV cs.LG
Semi-Supervised and Active Few-Shot Learning with Prototypical Networks
The Curious AI Company（好奇人工智能公司）
我们考虑半监督的Few-Shot分类问题，其中分类器需要使用几个标记的示例和（可能是许多）未标记的示例来适应新的任务。我们提出了一个聚类的方法来解决这个问题。使用原型网络提取的特征使用$K$ -均值进行聚类，并使用少数标记示例指导聚类过程。我们注意到，在许多实际应用中，通过用户反馈请求少量标签，可以显著提高自适应性能。我们展示了良好的性能，使用图像数据的主动适应策略。
2018-04-25 cs.LG stat.ML
Towards Practical Few-shot Federated NLP
Beiyou Shenzhen Institute（北邮深圳研究院）；University of Virginia（弗吉尼亚大学）
针对联邦场景下NLP任务标注数据稀缺且无法集中上传的问题，提出基于提示的联邦学习系统AUG-FedPrompt，利用无标注数据增强，在少样本下达到全量微调性能，但系统成本较高。
2023-08-19 cs.CL cs.LG
ALPET: Active Few-shot Learning for Citation Worthiness Detection in Low-Resource Wikipedia Languages
本文提出ALPET框架，结合主动学习与模式利用训练，在加泰罗尼亚语、巴斯克语和阿尔巴尼亚语维基百科上以更少标注样本超越CCW基线，显著提升低资源语言的引文必要性检测性能。
2025-02-05 cs.AI cs.CL cs.LG
Few-shot Learning for Multi-modal Social Media Event Filtering
University of Campinas（坎皮纳斯大学）；Institute of Computing（计算研究所）
社交媒体已成为事件分析的重要数据来源。在收集此类数据时，大多数数据都不包含对目标事件有用的信息。因此，必须尽早过滤掉这些噪声数据，以便人类专家进行进一步检查。大多数现有的事件过滤解决方案都依赖于完全监督的训练方法。然而，在许多现实世界的场景中，访问大量的标记样本是不可能的。针对事件过滤中的少量标记样本训练问题，提出了一种基于图的少样本学习流水线。我们还发布了巴西抗议数据集来测试我们的方法。据我们所知，该数据集是第一个专注于多模态社交媒体数据中的抗议活动的事件过滤数据集，其中大部分文本都是葡萄牙语。我们的实验结果表明，我们提出的管道具有相当的性能，只有少数标记的样本（60）相比，一个完全标记的数据集（3100）。为了方便研究社区，我们在https://github.com/jdnascim/7Set-AL上提供我们的数据集和代码。
2022-11-16 cs.LG cs.SI
Are Fewer Labels Possible for Few-shot Learning?
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
由于数据和标签非常有限，少样本学习具有挑战性。大迁移（BiT）的最新研究表明，少样本学习可以从不同领域的大规模标记数据集的预训练中受益匪浅。这篇论文提出了一个更具挑战性的问题：“我们能在预训练（没有标签）和微调（有更少的标签）中使用尽可能少的标签进行少样本学习吗？".我们的关键见解是，在特征空间中的目标样本的聚类是我们所需要的Few-Shot微调。它解释了为什么香草无监督预训练（聚类差）比监督预训练差。在本文中，我们提出了一种无监督的预训练方法，它通过涉及目标数据来实现更好的聚类，即使目标数据的数量非常有限。改进的聚类结果对于识别最具代表性的样本（“特征样本”）供用户标记具有重要价值，而反过来，对标记的特征样本的继续微调进一步改进了聚类。因此，我们提出了特征微调，使更少的镜头学习，利用聚类和特征样本的协同进化的微调。我们在10个不同的Few-Shot目标数据集上进行了实验，我们的平均Few-Shot性能大大优于香草归纳无监督传输和监督传输。例如，当每个目标类别只有10个标记样本时，在上述两个基线上的平均准确率增益分别为9.2%和3.42。
2020-12-10 cs.CV cs.LG
Simple and Effective Zero-shot Cross-lingual Phoneme Recognition
Facebook AI Research（脸书人工智能研究院）
自训练、自监督预训练和无监督学习的最新进展使语音识别系统能够在没有任何标记数据的情况下表现良好。然而，在许多情况下，有标记的数据可用于相关的语言，这是不利用这些方法。本文通过微调多语言预训练的wav2vec 2.0模型来转录看不见的语言，从而扩展了以前关于zero-shot跨语言迁移学习的工作。这是通过使用发音特征将训练语言的音素映射到目标语言来完成的。实验表明，这种简单的方法显着优于先前的工作，其中引入了特定于任务的架构，并只使用了单语言预训练模型的一部分。
2021-09-23 cs.CL cs.LG cs.SD
Predicting the Accuracy of a Few-Shot Classifier
IMT Atlantique（大西洋高等电信学校）；Lab-STICC（布列塔尼电子与电信通信科学实验室）；MILA, Université de Montréal（蒙特利尔大学MILA人工智能研究所）；Université Cote d’Azur（蔚蓝海岸大学）；École Normale Supérieure de Lyon（里昂高等师范学院）
在少样本学习的背景下，由于标记样本的数量很少，无法使用验证集来测量训练的分类器的泛化能力。在本文中，我们感兴趣的是寻找替代方案来回答这个问题：我的分类器是否可以很好地推广到以前看不见的数据？我们首先分析了泛化性能变化的原因。然后，我们研究使用基于转移的解决方案的情况，并考虑三种设置：i）监督，我们只能访问一些标记的样本，ii）半监督，我们可以访问一些标记的样本和一组未标记的样本，iii）无监督，我们只能访问未标记的样本。对于每一个设置，我们提出了合理的措施，我们的经验表明，与考虑分类器的泛化能力。我们还表明，这些简单的措施可以用来预测泛化到一定的信心。我们在标准的Few-Shot视觉数据集上进行实验。
2020-07-08 cs.CV cs.LG stat.ML
TOHAN: A One-step Approach towards Few-shot Hypothesis Adaptation
NUDT（国防科技大学）；HKBU（香港浸会大学）；Peng Cheng Laboratory（鹏城实验室）；USYD（悉尼大学）；HKUST（香港科技大学）；UTS（悉尼科技大学）
在Few-Shot领域自适应（FDA）中，用源域（SD）中的可访问标记数据和目标域（TD）中的少量标记数据来训练目标域的分类器。然而，在当前时代，数据通常包含私人信息，例如，个人手机上的数据。因此，如果我们直接访问SD中的数据来训练目标域分类器（FDA方法所需的），则会泄露私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，其中TD的分类器必须使用少量标记的目标数据和经过良好训练的SD分类器进行训练，称为Few-Shot假设自适应（FHA）。在FHA中，我们不能访问SD中的数据，因此，SD中的隐私信息将得到很好的保护。为此，我们提出了一个面向目标的假设自适应网络（TOHAN）来解决FHA问题，在那里我们生成高度兼容的未标记数据（即，中间域）来帮助训练目标域分类器。TOHAN同时维护两个深度网络，其中一个专注于学习中间域，另一个负责中间到目标的分布适应和目标风险最小化。实验结果表明，TOHAN显著优于竞争基线。
2022-09-07 cs.LG
Semi-Supervised Few-Shot Learning for Dual Question-Answer Extraction
Zhejiang University（浙江大学）；University of California, Irvine（加州大学欧文分校）
本文研究了从句子中提取关键短语的问题。现有的最先进的监督方法需要大量的注释数据，以实现良好的性能和泛化。然而，收集标记数据通常是昂贵的。在本文中，我们重新定义的问题，问答提取，并提出了SAMIE：自我询问模型的信息提取，一个半监督模型，双重学习问和回答问题本身。简单地说，给定一个句子$s$和一个答案$a$，模型需要选择最合适的问题$\hat q$ ;同时，对于给定的句子$s$和在上一步中选择的相同问题$\hat q$，模型将预测一个答案$\hat a$。该模型可以在非常有限的监督下支持少样本学习。它也可以用来执行聚类分析时，没有监督提供。实验结果表明，该方法优于典型的监督方法，特别是在少量标记数据的情况下。
2019-04-08 cs.AI cs.CL cs.LG
Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis
Princeton University（普林斯顿大学）
我们研究了少样本学习（FSL）问题，其中模型学习识别每个类别具有极少数标记训练数据的新对象。以往的FSL方法大多采用元学习范式，模型通过学习大量训练任务来积累归纳偏差，从而解决一个新的不可见的Few-Shot任务。相比之下，我们提出了一个简单的方法来利用伴随着Few-Shot任务的未标记数据，以提高Few-Shot的性能。首先，我们提出了一种基于互协方差算子的Hilbert-Schmidt范数的依赖性最大化方法，该方法最大化了未标记数据的嵌入特征与其标签预测之间的统计依赖性，以及支持集上的监督损失。然后，我们使用所获得的模型来推断这些未标记数据的伪标签。此外，我们提出了一个实例判别分析来评估每个伪标记的例子的可信度，并选择最忠实的到一个增广支持集重新训练模型的第一步。我们重复上述过程，直到未标记数据的伪标签变得稳定。在标准的转换和半监督FSL设置之后，我们的实验表明，所提出的方法在四个广泛使用的基准测试中表现优于以前的最先进的方法，包括mini-ImageNet，tiered-ImageNet，CUB和CIFARFS。
2021-09-07 cs.AI cs.CV cs.LG
A Theoretical Analysis of the Number of Shots in Few-Shot Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
Few-Shot分类是从一组少量的有标签的样本中预测样本的类别的任务。每个类别的标记示例的数量称为镜头数（或镜头数）。最近的工作通过元学习来解决这个任务，其中元学习者在元训练期间从观察到的任务中提取信息，以便在元测试期间快速适应新任务。在这个公式中，元训练期间使用的镜头数量对元测试时的识别性能有影响。一般来说，元训练中使用的镜头数应该与元测试中使用的镜头数相匹配，以获得最佳性能。我们介绍了一个理论分析的影响，镜头数的原型网络，一个国家的最先进的Few-Shot分类方法。根据我们的分析，我们提出了一种简单的方法，该方法对元训练期间使用的镜头数量的选择具有鲁棒性，这是一个至关重要的超参数。我们为任意元训练镜头数训练的模型的性能显示了不同元测试镜头数值的出色性能。我们实验证明我们的方法在不同的Few-Shot分类基准。
2020-02-14 cs.LG stat.ML
Meta-learning for Few-shot Natural Language Processing: A Survey
Salesforce Research（Salesforce 研究院）
Few-Shot自然语言处理（NLP）是指仅伴随少数标记示例的NLP任务。这是人工智能系统必须学会处理的现实挑战。通常我们依赖于收集更多的辅助信息或开发更有效的学习算法。然而，如果从头开始训练，则高容量模型中的一般基于梯度的优化需要在大量标记的示例上执行许多参数更新步骤以表现良好（Snell等人，2017年）的报告。如果目标任务本身不能提供更多的信息，那么如何收集更多的带有丰富注释的任务来帮助模型学习呢？元学习的目标是训练具有丰富注释的各种任务的模型，使得它可以仅使用少量标记的样本来解决新任务。关键思想是训练模型的初始参数，使得模型在通过零或几个梯度步骤更新参数之后在新任务上具有最大性能。已经有一些关于元学习的调查，例如（Vilalta和Drissi，2002; Vanschoren，2018; Hospedales等人，2020年）。然而，本文的重点是自然语言处理领域，特别是Few-Shot应用。本文试图给出元学习在Few-Shot NLP中应用的更清晰的定义、进展总结和一些常用的数据集。
2020-07-19 cs.CL cs.LG
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）；University of New South Wales（新南威尔士大学）
各种机器学习应用期望从有限数量的标记数据中实现快速学习。然而，当前大多数模型的成功是大数据大量训练的结果。元学习通过提取跨不同任务的共同知识来解决这个问题，这些知识可以快速适应新任务。然而，他们没有充分探索弱监督的信息，这通常是免费或廉价的collect. In本文中，我们表明，弱标记的数据可以显着提高性能的元学习Few-Shot分类。我们提出了原型传播网络（PPN）训练的Few-Shot任务与粗标签标注的数据。给定目标细类和一些弱标记粗类的类别图，PPN学习注意力机制，该注意力机制将图上的一个类的原型传播到另一个类，使得在传播的原型上定义的K-最近邻（KNN）分类器在不同的Few-Shot任务中具有高精度。训练任务由子图抽样生成，训练目标由子图上的分层分类损失累积得到。生成的原型图可以不断地重用和更新，以用于新的任务和类。我们还介绍了两个实际的测试/推理设置，根据测试任务是否可以利用任何弱监督信息进行训练而有所不同。在两个基准测试中，PPN在不同的设置中显着优于最新的少样本学习方法，即使它们也被允许在弱标记数据上进行训练。
2019-06-02 cs.CV cs.LG cs.NE
Label Hallucination for Few-Shot Classification
Dartmouth College（达特茅斯学院）
Few-Shot分类需要适应从大型注释基础数据集学习的知识，以识别新的不可见类，每个类由很少的标记示例表示。在这种情况下，在大数据集上预训练一个高容量的网络，然后在少数几个例子上对其进行微调，会导致严重的过拟合。与此同时，在从大型标记数据集学习的“冻结”特征之上训练简单的线性分类器无法使模型适应新类的属性，从而有效地导致欠拟合。在本文中，我们提出了一种替代方法，这两个流行的战略。首先，我们的方法使用在新类上训练的线性分类器对整个大型数据集进行伪标签。这有效地“幻觉”了大数据集中的新类别，尽管新类别不存在于基础数据库中（新类别和基础类别是不相交的）。然后，除了新数据集上的标准交叉熵损失之外，它还对伪标记的基本示例进行蒸馏损失来微调整个模型。这一步有效地训练网络识别上下文和外观线索，这些线索对小说类别识别有用，但使用整个大规模基础数据集，从而克服了少样本学习固有的数据稀缺问题。尽管简单的方法，我们表明，我们的方法优于国家的最先进的四个完善的Few-Shot分类基准。
2021-12-06 cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University（北京师范大学）；Peking University（北京大学）
从有限样本中学习（少样本学习）是一个基本的、未解决的问题，在机器学习社区中一直在努力探索。然而，目前的Few-Shot学习器大多是有监督的，并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程，并在许多机器学习任务中产生了有希望的结果。在目前的研究中，我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练（UFLST），它可以有效地推广到新的，但相关的类。该模型由两个交替的过程，渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器，进一步优化数据的特征表示。这两个过程相互促进，并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet，我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501，我们进一步证明了我们的模型的可行性，在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
Zero-shot Relation Classification from Side Information
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个零样本学习关系分类（ZERO-SHOT LEARNING Relationship Classification，ZERO-SHOT LRC）框架，该框架通过识别训练数据中不存在的新关系的能力来改进现有技术。零样本学习方法模仿人类在没有先验知识的情况下学习和识别新概念的方式。为了实现这一点，ARMLRC使用先进的原型网络，这些网络经过修改以利用加权边（辅助）信息。LRC的辅助信息是由关键字、名称实体的上位词、标签及其同义词构建的。EMLRC还包括一个自动上位词提取框架，该框架直接从Web获取各种名称实体的上位词。LRC改进了依赖于标记的训练数据的最先进的少样本学习关系分类方法，因此即使在一些关系没有对应的标记样本用于训练的真实世界场景中也可以更广泛地应用。我们在两个公共数据集（NYT和FewRel）上进行了广泛的实验，结果表明，在监督学习、少样本学习和零样本学习任务上，ARLRC的性能明显优于最先进的方法。我们的实验结果也证明了我们提出的模型的有效性和鲁棒性。
2021-11-18 cs.CL cs.LG
Enhancing Unsupervised Graph Few-shot Learning via Set Functions and Optimal Transport
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）
针对无监督图小样本学习中集合级特征缺失、支持-查询分布偏移及基类标注依赖问题，提出STAR模型，利用集合函数与最优传输提升泛化，并在多数据集上验证有效性。
2025-01-10 cs.LG
Extended Few-Shot Learning: Exploiting Existing Resources for Novel Tasks
Brown University（布朗大学）；Isfahan University of Tech.（伊斯法罕理工大学）
在许多实际的少样本学习问题中，即使标记的例子很少，也有丰富的辅助数据集可能包含有用的信息。我们提出了扩展少样本学习的问题来研究这些场景。然后，我们介绍了一个框架，以解决有效地选择和有效地使用辅助数据在Few-Shot图像分类的挑战。给定一个大的辅助数据集和类之间语义相似性的概念，我们自动选择伪镜头，这些镜头是与目标任务相关的其他类的标记示例。我们表明，天真的方法，如（1）建模这些额外的例子与目标任务的例子相同，或（2）使用它们来学习功能通过迁移学习，只增加了适量的准确性。相反，我们提出了一个掩蔽模块，调整辅助数据的特征，使其与目标类的特征更相似。我们发现，这个掩蔽模块的表现比单纯地对支持示例和迁移学习建模分别好4.68和6.03个百分点。
2021-07-03 cs.CV cs.LG stat.ML
Continual Local Replacement for Few-shot Learning
Xiamen University（厦门大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
少样本学习的目标是学习一个模型，该模型可以基于一个或几个训练数据识别新的类。它的挑战性主要在于两个方面：（1）它缺乏对新类的良好特征表示;（2）少量的标记数据不能准确地表示真实的数据分布，因此很难学习一个好的分类决策函数。在这项工作中，我们使用一个复杂的网络架构，以学习更好的特征表示，并专注于第二个问题。提出了一种新的连续局部替换策略来解决数据缺失问题。它利用未标记图像中的内容来不断增强标记图像。具体而言，采用伪标记方法不断选择语义相似的图像上飞。原始标记的图像将在本地被选定的图像替换，用于下一个epoch训练。这样，该模型可以直接从未标记的图像中学习新的语义信息，并且可以显着扩大嵌入空间中的监督信号的容量。这允许模型改进泛化并学习更好的决策边界以用于分类。我们的方法是概念简单，易于实现。大量的实验表明，它可以实现国家的最先进的结果对各种Few-Shot图像识别基准。
2020-03-10 cs.CV cs.LG eess.IV
Few-shot Learning for CT Scan based COVID-19 Diagnosis
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
2019年冠状病毒病（COVID-19）是国际关注的突发公共卫生事件，感染了188个国家和地区的4000多万人。胸部计算机断层扫描（CT）成像技术因其高诊断准确性和鲁棒性，已成为COVID-19大规模检测不可或缺的方式。最近，深度学习方法已成为自动筛选医学图像的有效工具，也被考虑用于COVID-19诊断。然而，与COVID-19相关的高感染风险导致所收集的标记数据的相对稀疏，限制了此类方法的性能。此外，准确标记CT图像需要放射科医生的专业知识，使得该过程昂贵且耗时。为了解决上述问题，我们提出了一种基于监督域自适应的COVID-19 CT诊断方法，该方法可以在只有少量标记CT扫描样本可用时有效执行。为了补偿标记数据的稀疏性，所提出的方法利用了大量的合成COVID-19 CT图像，并通过跨域训练机制将网络从源域（合成数据）调整到目标域（真实数据）。实验结果表明，该方法在基于Few-Shot COVID-19 CT成像的诊断任务上实现了最先进的性能。
2021-02-01 cs.CV cs.LG eess.IV
Meta-Learning for Semi-Supervised Few-Shot Classification
University of Toronto（多伦多大学）；Princeton University（普林斯顿大学）；Google Brain（谷歌大脑）；MIT（麻省理工学院）；CIFAR（加拿大高级研究院）；Vector Institute（向量研究所）
在Few-Shot分类中，我们感兴趣的是学习算法，该算法仅从少数标记的示例中训练分类器。Few-Shot分类的最新进展以元学习为特征，其中定义用于学习算法的参数化模型，并在表示不同分类问题的情节上对其进行训练，每个情节具有小的标记训练集及其对应的测试集。在这项工作中，我们推进这种Few-Shot分类范式对一个场景中，未标记的例子也可在每一集。我们考虑两种情况：一种是假设所有未标记的示例与该片段的标记示例属于同一组类，另一种是更具有挑战性的情况，其中还提供了来自其他干扰项类的示例。为了解决这个范例，我们提出了原型网络的新扩展（Snell等人，2017年），增强了在生成原型时使用未标记示例的能力。这些模型以端到端的方式在剧集上进行训练，以学习成功利用未标记的示例。我们在Omniglot和miniImageNet基准测试的版本上评估了这些方法，这些方法适用于这个用未标记示例增强的新框架。我们还提出了一个新的ImageNet分裂，由一个大的类集合组成，具有层次结构。我们的实验证实，由于未标记的示例，我们的原型网络可以学习改进其预测，就像半监督算法一样。
2018-03-02 cs.CV cs.LG stat.ML
Learning to Learn to Disambiguate: Meta-Learning for Few-Shot Word Sense Disambiguation
ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所（ILLC））；Facebook AI（Facebook人工智能（Facebook AI））；Dept. of Informatics, King’s College London（伦敦国王学院信息学系）
深度学习方法的成功取决于为感兴趣的任务注释的大型训练数据集的可用性。与人类智能相比，这些方法缺乏通用性，并且难以快速学习和适应新任务，其中标记数据很少。元学习旨在通过在大量的Few-Shot任务上训练模型来解决这个问题，其目标是从少量的示例中快速学习新任务。在本文中，我们提出了一个元学习框架的Few-Shot词义消歧（WSD），其目标是学习消歧看不见的话，只有几个标记的实例。到目前为止，元学习方法通常在$N$方式、$K$镜头分类设置中进行测试，其中每个任务具有$N$类，每个类具有$K$示例。由于其性质，WSD偏离了这种受控设置，并要求模型处理大量高度不平衡的类。我们将几种流行的元学习方法扩展到这种情况下，并分析它们在这种新的具有挑战性的环境中的优势和劣势。
2020-10-12 cs.CL cs.LG
Few-shot Domain Adaptation by Causal Mechanism Transfer
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了用于回归问题的Few-Shot监督领域自适应（DA），其中只有少数标记的目标域数据和许多标记的源域数据可用。许多当前的DA方法将其传递假设基于参数化的分布偏移或表观分布相似性，例如，相同的条件或小的分配差异。然而，这些假设可能会排除从错综复杂的变化和显然非常不同的分布适应的可能性。为了克服这个问题，我们提出了机制转移，一个元分布的情况下，数据生成机制是不变的域之间。这种转移假设可以容纳非参数的变化，导致明显不同的分布，同时提供了坚实的统计基础DA。我们以因果建模中的结构方程为例，提出了一种新的DA方法，这是有用的理论和实验。我们的方法可以被看作是第一次尝试充分利用DA的结构因果模型。
2020-08-19 cs.LG stat.ML
Few-Shot Named Entity Recognition: A Comprehensive Study
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
本文提出了一个全面的研究，以有效地建立命名实体识别（NER）系统时，少量的领域内标记的数据是可用的。基于最近的基于transformer的自监督预训练语言模型（PLM），我们研究了三种正交方案来提高Few-Shot设置的模型泛化能力：（1）元学习来构建不同实体类型的原型，（2）在有噪声的Web数据上进行监督预训练以提取实体相关的通用表示，以及（3）自我训练以利用未标记的域内数据。还考虑了这些方案的不同组合。我们对10个公共NER数据集进行了广泛的实证比较，这些数据集具有不同比例的标记数据，为未来的研究提供了有用的见解。我们的实验表明，（i）在少样本学习设置中，所提出的NER方案显着改善或优于常用的基线，基于PLM的线性分类器在域标签上进行了微调;（ii）与现有方法相比，我们在Few-Shot和无训练设置上创建了新的最先进的结果。我们将发布我们的代码和预训练模型，用于可重复的研究。
2020-12-29 cs.CL cs.IR cs.LG
Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation
University of California, Merced（加利福尼亚大学默塞德分校）；Virginia Tech（弗吉尼亚理工大学）；Google Research（谷歌研究院）；Yonsei University（延世大学）
Few-Shot分类的目标是识别新的类别，每个类别中只有很少的标记图像。现有的基于度量的Few-Shot分类算法通过使用学习的度量函数将查询图像的特征嵌入与来自一些标记图像（支持示例）的特征嵌入进行比较来预测类别。虽然已经证明了有前途的性能，这些方法往往无法推广到看不见的领域，由于跨域的特征分布的差异很大。在这项工作中，我们解决的问题，Few-Shot分类域移位的度量为基础的方法。我们的核心思想是使用特征变换层来增强图像特征，使用仿射变换来模拟训练阶段不同域下的各种特征分布。为了捕捉不同域下特征分布的变化，我们进一步应用学习到学习的方法来搜索特征变换层的超参数。我们使用五个Few-Shot分类数据集：mini-ImageNet，CUB，Cars，Places和Plantae在领域泛化设置下进行了广泛的实验和消融研究。实验结果表明，所提出的特征变换层适用于各种基于度量的模型，并在域偏移下对Few-Shot分类性能提供了一致的改善。
2020-03-09 cs.CV cs.LG
A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）
少样本学习是机器学习中一个快速发展的研究领域，其目标是用一个或“几个”标记的示例性样本对未标记的数据进行分类。神经网络通常被训练以最小化标记的示例性样本与查询集之间的距离度量。早期的Few-Shot方法使用情景训练过程将训练数据子采样为Few-Shot批次。该训练过程与评估中进行的二次抽样相匹配。最近，传统的监督训练加上余弦距离已经取得了优越的性能为Few-Shot。尽管在过去的十年中，Few-Shot方法的多样性，但大多数方法仍然依赖于训练网络的潜在特征之间的余弦或欧几里得距离层。在这项工作中，我们研究了训练的Few-Shot特征的分布，并证明它们可以大致近似为指数分布。在指数分布的假设下，我们提出了一个新的最大对数似然度量的Few-Shot架构。我们证明，该指标实现了优越的性能精度w.r.t.传统的相似性度量（例如，余弦、欧几里德等），并实现最先进的电感Few-Shot性能。此外，可以通过仔细组合多个度量来实现额外的增益，并且我们的方法都不需要后处理特征转换，这对许多算法来说都是常见的。最后，我们展示了一种新的迭代算法，设计围绕我们的最大对数似然方法，实现了国家的最先进的转导Few-Shot的性能时，评估数据是不平衡的。我们已经在https://github.com/samuelhess/MLL_FSL/上公开了我们的代码。
2022-12-07 cs.CV cs.LG
Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measures
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
我们建议研究图神经网络（GNNs）中的Few Shot图分类问题，以识别未见过的类，给出有限的标记图示例。尽管最近提出了几种有趣的GNN变体用于节点和图分类任务，但当面对Few Shot设置中的稀缺标记示例时，这些GNN在分类性能上表现出显着的损失。在这里，我们提出了一种方法，其中的概率测度分配给每个图的基础上的频谱的图形归一化拉普拉斯算子。这使我们能够相应地将与每个图相关联的图基标签聚类到超类中，其中Lp Wasserstein距离作为我们的底层距离度量。随后，基于超类构建的超级图被馈送到我们提出的GNN框架中，该框架利用超级图明确的潜在类间关系来实现图之间更好的类标签分离。我们对我们提出的方法进行了详尽的实证评估，结果表明，它优于最先进的图分类方法对Few Shot场景的适应和我们的朴素基线GNN。此外，我们还扩展和研究我们的方法的行为，半监督和主动学习的情况。
2020-02-27 cs.LG stat.ML
Concept Learners for Few-Shot Learning
Stanford University（斯坦福大学）
开发能够推广到一个新的任务的算法，只给出了几个标记的例子，代表了缩小机器和人类水平的性能之间的差距的一个根本挑战。人类认知的核心在于结构化的、可重用的概念，这些概念帮助我们快速适应新任务，并为我们的决策提供推理。然而，现有的元学习方法在先前标记的任务中学习复杂的表示，而不对学习的表示施加任何结构。在这里，我们提出了COMET，一种元学习方法，通过学习沿着人类可解释的概念维度学习来提高泛化能力。COMET不是学习一个联合的非结构化度量空间，而是学习高级概念到半结构化度量空间的映射，并有效地结合独立概念学习器的输出。我们对来自不同领域的Few-Shot任务评估了我们的模型，包括细粒度图像分类、文档分类和我们工作中开发的生物领域的新数据集上的细胞类型注释。COMET显著优于强大的元学习基线，在最具挑战性的一次性学习任务上实现了6-15%的相对改进，而不像现有的方法提供了模型预测背后的解释。
2021-03-20 cs.CV cs.LG stat.ML
Graph Prototypical Networks for Few-shot Learning on Attributed Networks
Arizona State University（亚利桑那州立大学）；Texas A&M University（得克萨斯农工大学）；University of Virginia（弗吉尼亚大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Singapore Management University（新加坡管理大学）
如今，属性网络在无数高影响力的应用中无处不在，例如社会网络分析、金融欺诈检测和药物发现。节点分类作为属性网络的一项核心分析任务，受到了研究界的广泛关注。在真实世界的属性网络中，大部分节点类只包含有限的标记实例，呈现长尾节点类分布。现有的节点分类算法不具备处理\textit{few-shot}节点类的能力。作为一种补救措施，少样本学习在研究界引起了极大的关注。然而，Few-Shot节点分类仍然是一个具有挑战性的问题，因为我们需要解决以下问题：（i）如何从属性网络中提取元知识用于Few-Shot节点分类？(ii)如何识别每个标记实例的信息量，以建立一个强大而有效的模型？为了回答这些问题，本文提出了一个图元学习框架--图原型网络（GPN）。通过构建一个半监督节点分类任务池来模拟真实的测试环境，GPN能够在属性网络上执行\textit{meta-learning}，并导出一个高度概括的模型来处理目标分类任务。大量的实验证明了GPN在Few-Shot节点分类中的优越性能。
2020-11-27 cs.LG cs.SI stat.ML
Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对有标签数据中类别缺失的少样本零样本场景，提出在SSL目标函数中增加KL散度惩罚项，显著提升分类准确率。
2023-11-15 cs.CV cs.LG
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM（国际商业机器公司）
人类能够从少数（标记的）样本中学习新概念，增量和持续。这发生在我们可以区分样本的上下文中，以及样本和大量其他数据（未标记和标记）之间。这表明，在人类学习中，基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习（CSSL）的更大背景下。我们讨论扩展CSSL（1）主要基于样本，其次是数据增强，（2）适用于未标记的数据（一般有大量可用）和标记的数据（一些样本可以获得有价值的监督知识）。这些扩展的主要好处是基于范例的CSSL，具有监督微调，支持Few-Shot类增量学习（CIL）。具体来说，我们讨论了基于样本的CSSL，包括：最近邻CSSL，监督预训练的邻域CSSL，以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL，以促进少样本学习，特别是，Few-Shot CIL。
2022-02-05 cs.LG
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance（字节跳动）
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源，但它们难以推广到看不见的源。在本文中，我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的，但弱标记的数据集：AudioSet。首先，我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次，我们设计了一个基于查询的音频分离模型，利用这些数据进行模型训练。第三，我们设计了一个潜在的嵌入处理器来编码查询，指定音频目标分离，允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离，并且仅依赖于弱标记数据进行训练。此外，所提出的音频分离器可以在zero-shot设置中使用，学习分离在训练中从未见过的音频源类型。为了评估分离性能，我们在MUSDB 18上测试了我们的模型，同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型，是从培训。在这两种情况下，该模型都实现了与当前监督模型相当的源失真比（SDR）性能。
2022-02-12 cs.AI cs.LG cs.MM
Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models
Pennsylvania State University（宾夕法尼亚州立大学）；Wright State University（莱特州立大学）
本文提出一种结合大型语言模型零样本推理能力与图神经网络的Graph-LLM主动学习范式，在标注数据极少时显著提升节点分类性能并超越现有基线。
2024-09-04 cs.AI cs.LG
ExPT: Synthetic Pretraining for Few-Shot Experimental Design
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出 ExPT 基础模型，通过合成预训练与上下文学习解决少样本实验设计问题，仅需少量带标签示例即可生成最优设计，并在多个挑战性领域中展现出优于现有方法的通用性与性能。
2023-10-30 cs.AI cs.LG
Few-Shot Semantic Relation Prediction across Heterogeneous Graphs
Macquarie University（麦考瑞大学）；Hong Kong University of Science and Technology（香港科技大学）
语义关系预测的目的是挖掘异构图中对象之间的隐含关系，异构图由不同类型的对象和不同类型的链接组成。在现实世界的场景中，新的语义关系不断出现，它们通常只与少数标记数据一起出现。由于多个异构图中存在着多种语义关系，因此可以从已有的语义关系中挖掘出可传递的知识，以较少的标注数据帮助预测新的语义关系。这启发了一个新的问题，跨异构图的Few-Shot语义关系预测。然而，现有的方法不能解决这个问题，因为它们不仅需要大量的标记样本作为输入，而且还专注于具有固定异质性的单个图。针对这一新的具有挑战性的问题，本文提出了一种基于元学习的图神经网络用于语义关系预测，称为MetaGS。MetaGS首先将对象间的图结构分解为多个规范化子图，然后采用双视图图神经网络捕获这些子图的局部异构信息和全局结构信息。其次，MetaGS通过超原型网络聚合这些子图的信息，该超原型网络可以从现有的语义关系中学习并适应新的语义关系。第三，利用初始化良好的双视图图神经网络和超原型网络，MetaGS可以有效地从不同的图中学习新的语义关系，同时克服了标记数据少的限制。在三个真实世界数据集上进行的大量实验表明，MetaGS的性能优于最先进的方法。
2022-07-11 cs.AI cs.LG
TEPI: Taxonomy-aware Embedding and Pseudo-Imaging for Scarcely-labeled Zero-shot Genome Classification
Auburn University（奥本大学）；Oklahoma State University（俄克拉荷马州立大学）；Oklahoma Animal Disease Diagnostics Laboratory, College of Veterinary Medicine, Oklahoma State University（俄克拉荷马州立大学兽医学院俄克拉荷马动物疾病诊断实验室）
针对物种标签长尾且标注稀缺的全基因组分类问题，提出 TEPI，将基因组表示为伪图像并映射到分类学感知嵌入空间，以零样本方式实现大规模物种泛化分类。
2024-01-24 cs.AI cs.LG q-bio.GN
CAOS: Conformal Aggregation of One-Shot Predictors
Department of Statistics, University of Wisconsin-Madison, USA（统计学系，威斯康星大学麦迪逊分校）
CAOS通过自适应聚合多个一次性预测器，利用留一校准方案实现有效覆盖，比传统方法在预测集大小上更小且保持可靠覆盖。
2026-01-30 cs.AI cs.LG stat.ML
AnomalyLLM: Few-shot Anomaly Edge Detection for Dynamic Graphs using Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beijing Institute of Technology（北京理工大学）；Jinan University（暨南大学）；Southeast University（东南大学）
针对动态图异常边检测中标注样本少且类型不断涌现的问题，提出AnomalyLLM，结合大语言模型与动态感知编码器，通过上下文学习实现少样本异常检测，并在无需更新参数的情况下有效识别新型异常。
2024-08-28 cs.AI cs.LG
Deep Triplet Ranking Networks for One-Shot Recognition
Temple University, USA（美国天普大学）；Carleton University, Canada（加拿大卡尔顿大学）
尽管深度学习模型在传统的监督学习场景中实现了突破，但它们对每个类别中足够的标记训练数据的依赖性阻止了这些深度模型在新类别子集的标记训练实例非常稀疏的情况下的有效应用-在极端情况下，每个类别只有一个实例可用。为了解决这一自然而重要的挑战，一次性学习，其目的是利用一组标记良好的基类来为每个类只有一个观察实例的新目标类构建分类器，最近受到了研究界越来越多的关注。在本文中，我们提出了一种新的端到端深度三元组排名网络来执行一次性学习。所提出的方法学习类通用的图像嵌入标记良好的基础类下的三重排序损失，这样的实例，从新的类可以被分类的基础上，他们的相似性与学习的嵌入空间中的一次性实例。此外，我们的方法可以自然地将新类中可用的一次性实例纳入嵌入学习过程中，以改进三元组排名模型。我们在两个流行的数据集上进行了一次性学习的实验。结果表明，该方法取得了更好的性能比国家的最先进的比较方法。
2018-04-19 cs.LG stat.ML
Progressive Ensemble Networks for Zero-Shot Recognition
Temple University（天普大学）；Carleton University（卡尔顿大学）
尽管监督图像识别算法的进步，它们对标记数据的可用性和图像类别的快速扩展的依赖提出了零样本学习的重大挑战。零样本学习（Zero-shot learning，缩写为ZRL）旨在将知识从标记的类转移到未标记的类，以减少人类标记的努力。本文提出了一种新的渐进集成网络模型，该模型具有多个投影标签嵌入，以解决zero-shot图像识别问题。集成网络是通过学习多个图像分类功能与共享的特征提取网络，但不同的标签嵌入表示，这增强了分类器的多样性，并促进信息转移到未标记的类。然后，部署渐进训练框架，以逐渐用预测的伪标签标记每个未标记类中最有信心的图像，并用伪标签增强的训练数据更新系综网络。该模型对标记和未标记数据进行训练。它可以自然地桥接视觉外观中的域移位问题，并被扩展到广义零样本学习场景。我们在多个数据集上进行了实验，实验结果证明了该模型的有效性。
2019-04-06 cs.AI cs.CV cs.LG
Towards Zero-Shot Multilingual Synthetic Question and Answer Generation for Cross-Lingual Reading Comprehension
Google Research（谷歌研究院）
我们提出了一个简单的方法，通过使用一个单一的生成模型生成大规模的多语言问题和答案对。这些合成样本可用于提高多语言QA模型在目标语言上的zero-shot性能。我们提出的生成模型的多任务训练只需要英语中的标记训练样本，因此不需要目标语言中的此类样本，使其适用于比标记数据更多的语言。人工评估表明，大多数这样的样本在语法上是正确和合理的。实验结果表明，我们提出的方法可以在XQuAD数据集上实现很大的增益，减少各种语言上较小QA模型的zero-shot和监督性能之间的差距。
2021-05-28 cs.AI cs.CL cs.LG
Random Edge Coding: One-Shot Bits-Back Coding of Large Labeled Graphs
University of Toronto（多伦多大学）；Vector Institute for Artificial Inteligence（向量人工智能研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一种名为Random Edge Coding的大型标记图一次性压缩方法，结合Pólya's Urn无参数模型实现准线性计算和线性内存复杂度，利用回退比特编码保留图结构，并在真实数据集上展现出竞争力的压缩性能和良好扩展性。
2023-05-16 cs.IT cs.LG math.IT
Prompt Tuning without Labeled Samples for Zero-Shot Node Classification in Text-Attributed Graphs
Indian Institute of Science（印度科学研究院）；Singapore Management University（新加坡管理大学）
本文提出一种基于双模态生成器的零样本提示调优框架，通过生成合成样本实现文本属性图中节点分类的无标注样本学习。
2026-01-07 cs.IR cs.LG
ZeroBERTo: Leveraging Zero-Shot Text Classification by Topic Modeling
Escola Politécnica, Universidade de São Paulo（圣保罗大学理工学院）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Universidade Portucalense（波尔图卡兰斯大学）；INESC TEC（葡萄牙国家电气与计算机工程系统研究所）
传统的文本分类方法通常需要大量的标记数据，这是很难获得的，特别是在有限的领域或不太流行的语言。这种标记数据的缺乏导致了低资源方法的兴起，这些方法假设自然语言处理中的数据可用性较低。其中，零样本学习脱颖而出，它包括在没有任何先前标记的数据的情况下学习分类器。使用这种方法报告的最佳结果使用了Transformers等语言模型，但遇到了两个问题：执行时间长和无法处理长文本作为输入。本文提出了一种新的模型，ZeroBERTo，它利用无监督聚类步骤，以获得一个压缩的数据表示之前的分类任务。我们表明，ZeroBERTO在长输入和短执行时间方面具有更好的性能，在FolhaUOL数据集中的F1得分中优于XLM-R约12%。关键词：低资源NLP，无标签数据，零样本学习，主题建模，Transformers。
2022-06-04 cs.AI cs.CL cs.LG
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation
Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
现有的持续关系学习（CRL）方法依赖于大量的标记训练数据来学习新的任务，这在实际场景中很难获得，因为获得大量具有代表性的标记数据通常是昂贵和耗时的。因此，该模型有必要学习新的关系模式与很少的标记数据，同时避免灾难性遗忘以前的任务知识。在本文中，我们制定了这个具有挑战性的，但实际的问题，连续Few-Shot关系学习（CFRL）。基于新出现的Few-Shot任务的学习通常会导致与先前任务的学习分布不兼容的特征分布的发现，我们提出了一种基于嵌入空间正则化和数据增强的新方法。我们的方法推广到新的Few-Shot任务，并通过对关系嵌入施加额外的约束和以自监督的方式添加额外的{相关}数据来避免对先前任务的灾难性遗忘。通过大量的实验，我们证明了我们的方法可以显着优于以前的国家的最先进的方法在CFRL任务设置。
2022-03-04 cs.CL cs.LG
