FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team（CLUE团队）
预训练语言模型（PLM）在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调，zero-shot，和少样本学习-已被广泛探索和比较的语言，如英语，有相对较少的工作，公平和全面的评估和比较这些方法，从而阻碍了累积的进展。在本文中，我们介绍了中文少样本学习评估基准（FewCLUE），第一个全面的Few-Shot评估基准中文。它包括九个任务，从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的（SOTA）少样本学习方法（包括PET，ADAPET，LM-BFF，P-tuning和EFL），并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明：1）不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2）PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外，我们还提供了一个用户友好的工具包，以及一个在线排行榜，以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现，为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
Entailment as Few-Shot Learner
Facebook AI（脸书人工智能研究院）
大型预训练语言模型（LM）已经证明了作为Few-Shot学习者的卓越能力。然而，他们的成功很大程度上取决于缩放模型参数的程度，使其具有挑战性的训练和服务。在本文中，我们提出了一种新的方法，命名为EFL，可以把小LM到更好的Few-Shot学习。这种方法的核心思想是将潜在的NLP任务重新表达为一个蕴涵任务，然后用最少8个示例对模型进行微调。我们进一步证明了我们提出的方法可以：（i）自然地与基于无监督对比学习的数据增强方法相结合;（ii）很容易扩展到多语言少样本学习。对18个标准NLP任务的系统评估表明，该方法将现有的各种SOTA少样本学习方法提高了12%，并在500倍大的模型（如GPT-3）上产生了具有竞争力的Few-Shot性能。
2021-04-29 cs.AI cs.CL
Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim Verification with Pattern Exploiting Training
Queen Mary University of London（伦敦玛丽女王大学）
为了减轻标签数据的稀缺性对事实核查系统的影响，我们专注于Few-Shot索赔验证。尽管最近通过提出先进的语言模型对Few-Shot分类进行了研究，但缺乏对数据注释优先级的研究，以提高对要标记的少数镜头的选择以获得最佳模型性能。我们提出了主动PET，一种新的加权方法，利用各种语言模型的基础上的模式开发训练（PET）模型的合奏，积极选择未标记的数据作为候选人的注释。使用主动PET进行Few-Shot数据选择，在两个技术事实检查数据集上使用六种不同的预训练语言模型，显示出与基线方法相比的一致改进。我们展示了Active PETs-o的进一步改进，它进一步集成了过采样策略。我们的方法可以有效地选择要标记的实例，其中未标记的数据丰富，但标记的资源有限，从而不断提高Few-Shot声明验证性能。我们的代码可用。
2022-10-11 cs.AI cs.CL
Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
Institute of AI for Education, East China Normal University（华东师范大学教育人工智能研究院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Changning Mental Health Center（上海市长宁区精神卫生中心）
提出元认知增强的少样本提示方法，结合正强化反馈，引导大语言模型反思思维过程以更好学习演示示例，在真实数据集上分类准确率和宏F1优于传统方法。
2023-12-24 cs.AI cs.CL
True Few-Shot Learning with Language Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
预训练的语言模型（LM）即使在从几个示例中学习时也能在许多任务中表现良好，但之前的工作使用许多保留的示例来调整学习的各个方面，例如超参数，训练目标和自然语言模板（“提示”）。在这里，我们评估的Few-Shot能力的LM时，这样的支持的例子是不可用的，我们称之为真正的少样本学习。我们测试两个模型选择标准，交叉验证和最小描述长度，选择LM提示和超参数在真正的Few-Shot设置。平均而言，这两种方法的表现都略优于随机选择，而大大低于基于保留样本的选择。此外，选择标准往往倾向于表现明显差于随机选择的模型。即使考虑到我们在选择过程中对模型真实性能的不确定性，以及当改变用于选择的计算量和示例数量时，我们也会发现类似的结果。总的来说，我们的研究结果表明，以前的工作显着高估了真正的Few-Shot能力的LM考虑到困难的Few-Shot模型选择。
2021-05-24 cs.CL cs.LG stat.ML
Inductive Unsupervised Domain Adaptation for Few-Shot Classification via Clustering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Xiaomi Inc.（小米公司）
当需要适应不同的领域时，Few-Shot分类往往会遇到困难。由于域之间的标签空间不重叠，传统的领域自适应的性能受到限制。以前的工作处理的问题，在一个transductive的方式，通过假设访问的全套测试数据，这是太多的限制，为许多现实世界的应用程序。在本文中，我们着手解决这个问题，通过引入一个归纳框架，DaFeC，通过聚类提高领域自适应性能的Few-Shot分类。我们首先构建一个表示提取器来从目标域中获取未标记数据的特征（不需要测试数据），然后用聚类挖掘器将它们分组。生成的伪标记数据和标记的源域数据被用作监督以更新Few-Shot分类器的参数。为了获得高质量的伪标签，我们提出了一种聚类提升机制，通过相似熵最小化和对抗性分布对齐，结合余弦退火策略，为目标域学习更好的特征。实验在FewRel 2.0数据集上进行。我们的方法优于以前的工作，在四个Few-Shot设置下的绝对增益（分类准确率）分别为4.95%，9.55%，3.99%和11.62%。
2020-06-23 cs.CL
A Closer Look at Few-Shot Crosslingual Transfer: The Choice of Shots Matters
LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Technion, IIT（以色列理工学院）
Few-Shot跨语言迁移已被证明优于其zero-shot对应物，如多语言BERT等预训练编码器。尽管它越来越受欢迎，很少或根本没有注意到标准化和分析Few-Shot实验的设计。在这项工作中，我们强调了这一缺点所带来的基本风险，说明该模型对少数镜头的选择具有高度的敏感性。我们对40组采样的几个镜头进行了大规模的实验研究，用于多达40种语言的六种不同的NLP任务。我们提供了一个成功和失败的案例分析Few-Shot转移，突出了词汇特征的作用。此外，我们表明，一个简单的全模型微调方法是非常有效的Few-Shot传输，优于几个国家的最先进的Few-Shot的方法。作为标准化Few-Shot跨语言实验设计的一步，我们公开了我们的几个样本。
2021-06-02 cs.CL
Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，NLP社区见证了多语言和跨语言迁移研究的快速发展，其中监督从高资源语言（HRL）转移到低资源语言（LRL）。然而，跨语言迁移在不同语言之间并不一致，特别是在zero-shot设置中。为了实现这一目标，一个有前途的研究方向是在有限的注释数据的情况下跨多个任务学习可共享的结构。下游的多语言应用程序可能会从这种学习设置中受益，因为全球大多数语言都是低资源的，并且与其他语言共享一些结构。在本文中，我们提出了一种新的元学习框架（称为Meta-X $_{NLG}$）学习共享结构的类型多样的语言的基础上元学习和语言聚类。这是朝着统一的跨语言迁移未见过的语言迈出的一步。我们首先聚类的语言表示的基础上，并确定每个集群的质心语言。然后，用所有质心语言训练Meta学习算法，并在zero-shot设置中对其他语言进行评估。我们在两个NLG任务（抽象文本摘要和问题生成），5个流行的数据集和30种类型不同的语言上证明了这种建模的有效性。在强基线基础上的持续改进表明了拟议框架的效力。该模型的精心设计使得这种端到端NLG设置不太容易受到意外翻译问题的影响，这是zero-shot跨语言NLG任务中的一个突出问题。
2022-03-19 cs.CL
On Measuring the Intrinsic Few-Shot Hardness of Datasets
Stanford University（斯坦福大学）
虽然预训练的进步导致了NLP任务的少样本学习的显着改进，但对数据集中成功的Few-Shot适应的驱动因素的理解有限。特别是，给定一个新的数据集和一个预先训练的模型，数据集的哪些属性使它成为\emph{few-shot learnable}，这些属性是否独立于所使用的特定自适应技术？我们考虑了一组广泛的最近的少样本学习方法，并表明它们在大量数据集上的性能是高度相关的，这表明对于给定的预训练模型，Few-Shot硬度可能是数据集固有的。为了估计内在的Few-Shot硬度，我们提出了一个简单而轻量级的度量，称为“Spread”，它捕捉了这样一种直觉，即通过利用训练样本和测试样本之间的特征空间不变性，可以实现少样本学习。与现有的硬度概念相比，我们的度量更好地解释了Few-Shot硬度，并且计算速度快约8- 100倍。
2022-11-16 cs.CL
Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University（卡内基梅隆大学）
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上，并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务，我们进行实验，在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明，语言模型能够分类委婉语的条款相对较好，即使在训练过程中看不见的新术语，这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
Extensively Matching for Few-shot Learning Event Detection
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）
现有的事件检测模型在监督学习环境下无法转换为新的事件类型。少样本学习在事件检测中还没有被探索过，尽管它允许模型在新事件类型上表现良好并具有高度的泛化能力。在这项工作中，我们制定了事件检测作为一个Few-Shot学习问题，使事件检测扩展到新的事件类型。我们提出了两个新的损失因子，在支持集上匹配样本，为模型提供更多的训练信号。此外，这些训练信号可以应用于许多基于度量的Few-Shot学习模型中。在ACE-2005数据集上的大量实验表明，该方法可以有效地提高少样本学习的性能
2020-06-17 cs.CL
Decomposed Meta-Learning for Few-Shot Named Entity Recognition
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
Few-Shot命名实体识别（NER）系统的目标是仅基于少量标记的实例来识别新类别的命名实体。在本文中，我们提出了一个分解的元学习方法，解决了问题的Few-Shot NER依次解决Few-Shot跨度检测和Few-Shot实体类型使用元学习。特别地，我们将Few-Shot跨度检测问题转化为序列标记问题，并通过引入模型无关元学习（MAML）算法对跨度检测器进行训练，以找到一个能够快速适应新实体类的模型参数初始化。对于Few-Shot实体类型，我们提出了MAML-ProtoNet，即，MAML增强的原型网络，以找到一个良好的嵌入空间，可以更好地区分不同实体类的文本跨度表示。在各种基准测试上的大量实验表明，我们的方法比以前的方法具有更好的性能。
2022-04-13 cs.CL
Vector Projection Network for Few-shot Slot Tagging in Natural Language Understanding
Shanghai Jiao Tong University（上海交通大学）
由于会话对话系统的巨大发展，Few-Shot槽标记变得对快速域转移和适应有吸引力。在本文中，我们提出了一个矢量投影网络的Few-Shot槽标记，利用投影的上下文词嵌入每个目标标签向量作为词标签的相似性。本质上，这种方法相当于具有自适应偏差的归一化线性模型。对比实验表明，我们提出的基于向量投影的相似性度量可以显着优于其他变种。具体来说，在基准SNIPS和NER的五次设置中，我们的方法分别通过F $_1$分数上的$6.30$和$13.79$点优于最强的少样本学习基线。我们的代码将在https://github.com/sz128/few_shot_slot_tagging_and_NER上发布。
2020-09-22 cs.CL
SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
Amazon（亚马逊）；Georgia Institute of Technology（佐治亚理工学院）
最近的研究表明，结合预训练的语言模型（LM）与规范话语的Few-Shot语义解析有希望的结果。由于形式语言的组成结构，规范话语往往冗长而复杂。学习生成这样的规范话语需要大量的数据来达到高性能。仅用Few-Shot样本进行微调，LM很容易忘记预先训练的知识，过拟合虚假偏差，并遭受成分分布外泛化错误。为了解决这些问题，我们提出了一种新的Few-Shot语义解析方法-- SeqZero。SeqZero将问题分解为一系列子问题，这些子问题对应于形式语言的子子句。基于分解，LM仅需要使用用于预测子子句的提示来生成简短答案。因此，SeqZero避免一次生成长的规范话语。此外，SeqZero不仅采用了Few-Shot模型，而且还采用了zero-shot模型来减轻过拟合。特别是，SeqZero通过集成配备了我们提出的约束重新缩放，从这两个模型的优点。SeqZero实现了GeoQuery和EscherceQuery上基于BART的模型的SOTA性能，这是两个具有组合数据分割的Few-Shot数据集。
2022-05-15 cs.CL
Causal Interventions-based Few-Shot Named Entity Recognition
University of South China（南华大学）
针对小样本命名实体识别中样本选择偏差引发虚假相关性导致过拟合的问题，提出基于因果干预的方法，通过后门调整及增量学习干预原型，在多基准上取得SOTA结果，最高绝对提升29%、平均提升12%。
2023-05-03 cs.CL
The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Saarland University（萨尔兰大学）；Microsoft Corporation（微软公司）
我们提出了一个共享的任务训练实例选择Few-Shot神经文本生成。大规模的预训练语言模型在Few-Shot文本生成方面取得了巨大的进步。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。选择策略的研究可以帮助我们（1）在下游任务中充分利用我们的注释预算，（2）更好地基准测试Few-Shot文本生成模型。我们欢迎提交，介绍他们的选择策略和对一代质量的影响。
2021-08-14 cs.CL
Self-Training with Purpose Preserving Augmentation Improves Few-shot Generative Dialogue State Tracking
POSTECH（浦项科技大学）
在对话状态跟踪（DST）中，标记数据集涉及大量的人力劳动。我们提出了一个新的自我训练框架的Few-Shot生成DST，利用未标记的数据。我们的自训练方法通过伪标签迭代地改进模型，并采用目的保持增强（PPAug）来防止过拟合。与基线相比，我们在MultiWOZ 2.1上将Few-Shot 10%性能提高了约4%，并将不可见值的插槽召回率提高了8.34%。
2022-11-17 cs.CL
Learning from Miscellaneous Other-Class Words for Few-shot Named Entity Recognition
Tsinghua University（清华大学）；JOYY Inc（欢聚集团）；Nanyang Technological University（南洋理工大学）
Few-Shot命名实体识别（NER）仅利用少量注释来识别和分类命名实体提及。原型网络在Few-Shot NER上表现出优越的性能。然而，现有的原型方法无法区分丰富的语义在其他类的话，这将加剧过拟合在Few Shot的情况下。为了解决这个问题，我们提出了一种新的模型，挖掘未定义的类从类（MUCO），可以自动诱导不同的未定义的类从其他类，以提高Few-Shot NER。通过这些额外标记的未定义类，我们的方法将提高NER分类器的区分能力，并增强对具有备用语义知识的预定义类的理解。实验结果表明，我们的模型优于五个国家的最先进的模型在1杆和5杆设置四个NER基准。我们将在接受后发布代码。源代码发布在https：//github.com/shuaiwa16/OtherClassNER.git上。
2021-06-29 cs.CL
SEE-Few: Seed, Expand and Entail for Few-shot Named Entity Recognition
Southeast University（东南大学）
Few-Shot命名实体识别（NER）的目的是基于少量的标记实例来识别命名实体。当前的Few-Shot NER方法专注于利用丰富资源域中的现有数据集，这可能在不使用源域数据的从头开始训练设置中失败。为了解决从头开始训练的问题，充分利用注释信息（边界和实体类型）至关重要。因此，在本文中，我们提出了一种新的多任务（种子，扩展和Entail）学习框架，SEE-Few，Few-Shot NER不使用源域数据。播种和扩展模块负责为派生模块提供尽可能准确的候选跨度。蕴涵模块重新制定跨度分类作为一个文本蕴涵任务，利用上下文线索和实体类型信息。所有三个模块共享相同的文本编码器，并共同学习。在四个基准数据集上的实验结果表明，该方法优于最先进的Few-Shot NER方法，具有很大的差距。我们的代码可在https://github.com/unveiled-the-red-hat/SEE-Few上获得。
2022-10-11 cs.CL
SF-DST: Few-Shot Self-Feeding Reading Comprehension Dialogue State Tracking with Auxiliary Task
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
Few-Shot对话状态跟踪（DST）模型以可靠的准确性跟踪对话中的用户请求，即使数据量很小。在本文中，我们介绍了一个本体无关的Few-Shot DST与自我喂养的信念状态输入。自馈信念状态输入通过总结先前对话来增加多轮对话中的准确性。此外，我们新开发了一个槽门辅助任务。这个新的辅助任务有助于区分对话中是否提到了一个槽。我们的模型在multiWOZ 2.0上的四个域的Few-Shot设置中获得了最佳分数。
2022-09-16 cs.CL
Hansel: A Chinese Few-Shot and Zero-Shot Entity Linking Benchmark
Harbin Institute of Technology（哈尔滨工业大学）；Wechat, Tencent（腾讯微信）
本文提出中文少样本与零样本实体链接基准Hansel，覆盖1万篇多样化文档，并建立强基线，在少样本和零样本场景下分别取得46.2%和76.6%的R@1，显著优于现有系统。
2023-10-29 cs.CL
Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering
University of Southern California（南加州大学）；Amazon.com Inc（亚马逊公司）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）
Few-Shot文本分类（FSTC）通过利用历史任务中的先验知识，模仿人类仅用少量样本就能有效地学习新的文本分类器。然而，大多数现有的工作假设，所有的任务都是从一个单一的数据源，这不能适应现实世界的情况下，任务是异构的，躺在不同的分布。因此，现有的方法可能会受到他们的全球知识共享机制来处理任务的异质性。另一方面，固有的任务关系没有被明确地捕获，使得任务知识无组织，难以转移到新的任务。因此，我们探索了一种新的FSTC设置，其中任务可以来自不同的数据源。为了解决任务的异构性，我们提出了一种自监督层次任务聚类（SS-HTC）方法。SS-HTC不仅通过动态地将异构任务组织成不同层次的集群来定制特定于集群的知识，而且还解开了任务之间的潜在关系，以提高可解释性。在五个公开的FSTC基准数据集上的实验证明了SS-HTC的有效性。
2022-11-16 cs.CL cs.LG
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University（哈佛大学）
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University（北京大学）
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据，但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发，提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义，并给出了该任务的Few-Shot检索框架。此外，我们将两个实际的序列标记模型（称为Few-Shot TPLinker和Few-Shot BiTT）应用到我们的框架中，并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们研究了用于对话语言理解的Few-Shot联合学习。大多数现有的Few-Shot模型每次只学习一个任务，只有很少的例子。然而，对话语言理解包含两个密切相关的任务，即，意图检测和槽填充，并且通常受益于联合学习这两个任务。这就需要新的少样本学习技术，这些技术能够从几个示例中捕获任务关系，并联合学习多个任务。为了实现这一点，我们提出了一个基于相似性的少样本学习方案，称为对比原型合并网络（ConProm），它学习桥接数据丰富域上的意图和槽的度量空间，然后将桥接的度量空间适应特定的Few-Shot域。在两个公共数据集Snips和FewJoint上的实验表明，我们的模型在一次和五次拍摄设置中显着优于强基线。
2021-05-25 cs.AI cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Robust Few-Shot Named Entity Recognition with Boundary Discrimination and Correlation Purification
Beijing Institute of Technology（北京理工大学）
针对现有小样本NER模型易受文本对抗攻击的问题，提出基于边界判别与相关性净化的两阶段鲁棒方法，在构建的对抗数据集上验证了其鲁棒性与优越性。
2023-12-13 cs.AI cs.CL
Improve few-shot voice cloning using multi-modal learning
NetEase Games AI Lab（网易游戏AI实验室）
近年来，Few-Shot语音克隆技术取得了显著的进步。然而，大多数用于Few-Shot语音克隆的模型是单模态的，并且多模态的Few-Shot语音克隆尚未得到充分研究。在本文中，我们提出使用多模态学习来提高Few-Shot语音克隆的性能。受最近无监督语音表示工作的启发，建议的多模态系统是通过扩展Tacotron 2与无监督语音表示模块来构建的。我们评估我们提出的系统在两个Few-Shot语音克隆的情况下，即Few-Shot文本到语音（TTS）和语音转换（VC）。实验结果表明，所提出的多模态学习可以显着提高Few-Shot的语音克隆性能比他们的对应单模态系统。
2022-03-18 cs.CL cs.SD eess.AS
CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
CLIP在广泛的视觉任务中显示出卓越的zero-shot能力。以前，CLIP只被认为是一个强大的视觉编码器。然而，在从大量的图像-字幕对中通过语言监督进行预训练之后，CLIP本身也应该获得了一些用于视觉语言任务的Few-Shot能力。在这项工作中，我们的经验表明，CLIP可以是一个强大的视觉语言的Few-Shot学习者利用语言的力量。我们首先评估CLIP的zero-shot性能上一个典型的视觉问答任务，并证明了zero-shot跨模态传输能力的CLIP上的视觉蕴涵任务。然后，我们提出了一个参数高效微调策略，以提高Few-Shot性能的vqa任务。我们在视觉问答和视觉蕴涵任务上实现了有竞争力的零/Few-Shot结果，而无需引入任何额外的预训练过程。
2022-03-14 cs.CL cs.CV
FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
少样本学习（FSL）是机器学习未来的关键步骤之一，并引起了广泛的关注。然而，与计算机视觉等其他领域的快速发展相比，自然语言处理领域的FSL的发展要缓慢得多。其中一个主要原因是缺乏公共基准。NLP FSL研究总是在自己构建的Few-Shot数据集上报告新的结果，这在结果比较中是相当低效的，从而阻碍了累积进展。在本文中，我们提出了FewJoint，一个新的NLP少样本学习基准。与大多数NLP FSL研究仅关注简单的N-分类问题不同，我们的基准测试引入了Few-Shot联合对话语言理解，它还涵盖了结构预测和多任务依赖问题。这使得我们的基准测试能够反映出超越简单N分类的真实NLP复杂性。我们的基准测试用于SMP 2020-ECDT task-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台，以简化实验设置。
2020-12-13 cs.AI cs.CL
DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering
Baidu Inc.（百度公司）
本文提出DocPrompt，通过弱监督数据生成、多阶段训练和模型集成，在4个文档问答任务上达到最先进性能，显著提升效率并降低成本。
2023-08-31 cs.AI cs.CL
Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Adobe Research（Adobe 研究院）
在这项工作中，我们专注于一个更具挑战性的Few-Shot意图检测的情况下，许多意图是细粒度和语义相似。我们提出了一个简单而有效的Few-Shot意图检测模式，通过对比预训练和微调。具体来说，我们首先对收集到的意图数据集进行自我监督的对比预训练，隐式学习在不使用任何标签的情况下区分语义相似的话语。然后，我们将Few-Shot意图检测与监督式对比学习一起执行，这明确地将来自相同意图的话语拉得更近，并将不同意图的话语推得更远。实验结果表明，我们提出的方法实现了国家的最先进的性能在三个具有挑战性的意图检测数据集下的5杆和10杆的设置。
2021-09-13 cs.CL cs.LG
Few-shot Learning for Multi-label Intent Detection
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们研究了Few-Shot多标签分类的用户意图检测。对于多标签意图检测，最先进的工作估计标签实例相关性分数，并使用阈值来选择多个相关联的意图标签。为了仅用几个例子确定适当的阈值，我们首先学习数据丰富域上的通用阈值经验，然后通过基于非参数学习的校准将阈值适应于某些Few-Shot域。为了更好地计算标签-实例相关性得分，我们引入标签名称嵌入作为表示空间中的锚点，从而细化不同类别的表示，使其彼此分离。两个数据集上的实验表明，该模型显着优于强基线在一次拍摄和五次拍摄设置。
2020-10-11 cs.AI cs.CL
Dynamic Memory Induction Networks for Few-Shot Text Classification
Alibaba Group（阿里巴巴集团）；Ingenuity Labs Research Institute（匠心实验室研究院）；Queen’s University（女王大学）
提出了一种基于动态记忆归纳网络的Few-Shot文本分类方法。该模型利用动态路由为基于记忆的少样本学习提供更大的灵活性，以更好地适应支持集，这是Few-Shot分类模型的关键能力。在此基础上，我们进一步开发了具有查询信息的归纳模型，旨在增强元学习的泛化能力。该模型在miniRCV 1和ODIC数据集上取得了新的最先进的结果，将最佳性能（准确度）提高了2~ 4%。进一步进行详细分析以显示每个组件的有效性。
2020-05-12 cs.CL cs.LG
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego（加州大学圣地亚哥分校）
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法，特别是Few-Shot任务。我们认为，在Few-Shot设置下，制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中，我们采取了Few-Shot命名实体识别（NER）的试点研究，现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER，FFF-NER。具体来说，我们引入了三种新类型的标记，“是实体”，“哪种类型”和括号，因此我们可以根据预训练的语言模型的选择，将NER微调制定为（屏蔽的）标记预测或生成。在我们的实验中，我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调，并观察到与现有微调策略相比的显着改进，包括序列标记，原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究，显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
Few-Shot Knowledge Graph Completion
University of Notre Dame（圣母大学）；Pennsylvania State University（宾夕法尼亚州立大学）；JD Finance American Corporation（京东金融美国公司）
知识图谱（KG）是各种自然语言处理应用的有用资源。先前的KG完成方法需要大量的训练实例（即，头-尾实体对）。实际情况是，对于大多数关系，只有很少的实体对可用。现有的一次性学习工作限制了方法对Few-Shot场景的推广性，并且没有充分利用监督信息;然而，Few-Shot KG完成尚未得到很好的研究。在这项工作中，我们提出了一种新的Few-Shot关系学习模型（FSRL），旨在发现事实的新关系与Few-Shot参考。FSRL可以有效地从异构图结构中获取知识，聚合Few-Shot引用的表示，并为每个关系匹配引用集的相似实体对。在两个公共数据集上的大量实验表明，FSRL优于最先进的。
2019-11-26 cs.AI cs.CL cs.LG
Visually grounded few-shot word acquisition with fewer shots
Stellenbosch University（斯泰伦博斯大学）
本文提出一种基于视觉基础的语音模型，利用少量自然词-图像对挖掘无监督训练数据，并结合词到图像注意力机制，在更少样本条件下实现更优的新词习得性能。
2023-05-25 cs.AI cs.CL eess.AS
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
Few-NERD: A Few-Shot Named Entity Recognition Dataset
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
近年来，围绕Few-Shot命名实体识别（NER）这一主题出现了大量的文献，但很少有公开的基准数据专门针对这一实际而具有挑战性的任务。目前的方法收集现有的监督NER数据集，并重新组织它们的Few-Shot设置的实证研究。这些策略通常旨在识别具有很少示例的粗粒度实体类型，而在实践中，大多数看不见的实体类型是细粒度的。在本文中，我们提出了Few-NERD，一个大规模的人类注释的Few-Shot NER数据集，具有8个粗粒度和66个细粒度实体类型的层次结构。Few-NERD由维基百科的188，238个句子组成，包含4，601，160个单词，每个单词都被注释为上下文或两级实体类型的一部分。据我们所知，这是第一个Few-Shot NER数据集，也是最大的人工NER数据集。我们构造了不同侧重点的基准任务，以全面评估模型的泛化能力。大量的实证结果和分析表明，Few-NERD具有挑战性，需要进一步研究。我们在https://ningding97.github.io/fewnerd/上公开了Few-NERD。
2021-09-01 cs.AI cs.CL cs.LG
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管实现了最先进的zero-shot性能，现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习（MAML）是Few-Shot迁移学习的自然替代方案，但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型（如CLIP）上的使用。虽然许多文献一直致力于探索替代的优化策略，我们确定了有效的Few-Shot迁移学习，任务采样，这是以前只被视为数据预处理的一部分，在MAML的另一个重要方面。为了显示任务采样的影响，我们提出了一个简单的算法，模型无关的多任务微调（MAMF），它区分经典的微调只对均匀采样多个任务。尽管它的简单性，我们表明，MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明，MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作，并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation
Tsinghua University（清华大学）；New York University（纽约大学）；Institute for Artificial Intelligence（人工智能研究院）
我们提出了一个Few-Shot关系分类数据集（FewRel），由来自维基百科的100个关系上的70，000个句子组成，并由crowdworker注释。每个句子的关系首先由远程监督方法识别，然后由众包过滤。我们采用了最新的最先进的少样本学习方法进行关系分类，并对这些方法进行了全面的评估。实证结果表明，即使是最有竞争力的少样本学习模型在这项任务上也很困难，特别是与人类相比。我们还表明，需要一系列不同的推理技能来解决我们的任务。这些结果表明，Few-Shot关系分类仍然是一个开放的问题，仍然需要进一步的研究。我们的详细分析为未来的研究指出了多个方向。有关数据集和基线的所有详细信息和资源都在http://zhuhao.me/fewrel上发布。
2018-10-26 cs.AI cs.CL cs.LG
