Distilling Hypernymy Relations from Language Models: On the Effectiveness of Zero-Shot Taxonomy Induction
BITS Pilani（Birla理工学院皮拉尼校区）；Cardiff University（卡迪夫大学）
本文分析了zero-shot分类学习方法，该方法通过提示和句子评分从语言模型中提取知识。我们表明，尽管它们很简单，这些方法优于一些监督策略，并在适当的条件下与当前最先进的竞争力。我们还表明，提示的统计和语言特性决定下游的性能。
2022-02-10 cs.AI cs.CL
Induction Heads as an Essential Mechanism for Pattern Matching in In-context Learning
ILLC University of Amsterdam（阿姆斯特丹大学ILLC）
本文探讨归纳头在少样本上下文学习（ICL）中的作用，发现消融归纳头会导致抽象模式识别任务性能下降约32%，并使NLP任务性能降至接近零样本水平，证明归纳机制是ICL的核心。
2025-04-02 cs.CL
Zero-Shot Activity Recognition with Verb Attribute Induction
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
在本文中，我们研究了大规模的zero-shot活动识别建模的视觉和语言属性的动作动词。例如，动词“敬礼”有几个属性，如作为一个轻的运动，一个社会行为，并在持续时间短。我们使用这些属性作为视觉和文本表示之间的内部映射，以推理以前看不见的动作。与许多先前的工作，假设访问黄金标准属性的zero-shot类，并主要集中在对象属性，我们的模型唯一学习推断动作属性的字典定义和分布式单词表示。实验结果证实，从语言推断的动作属性可以提供一个预测信号，以前看不见的活动的zero-shot预测。
2017-09-02 cs.CL cs.CV
BoostTaxo: Zero-Shot Taxonomy Induction via Boosting-Style Agentic Reasoning and Constraint-Aware Calibration
KTH Royal Institute of Technology（皇家理工学院）；Monash University（莫纳什大学）
BoostTaxo通过提升式代理推理和约束感知校准方法，提升零样本分类诱导的泛化能力、结构可靠性及效率，实验证明其在WordNet、DBLP和SemEval-Sci数据集上性能优异。
2026-04-03 cs.AI cs.CL
Diverge to Induce Prompting: Multi-Rationale Induction for Zero-Shot Reasoning
Department of Computer Science and Information Engineering, National Taiwan University, Taiwan（国家台湾大学计算机科学与信息工程系）；Institute of Information Science, Academia Sinica, Taiwan（学术院信息科学研究所）；AI Research Center (AINTU), National Taiwan University, Taiwan（国家台湾大学人工智能研究中心（AINTU））
本研究提出DIP框架，通过生成多个多样化的高层理由并诱导最终计划，以提升零样本推理的准确性，克服了传统链式思考提示中推理路径不稳定的问题。
2026-02-08 cs.AI cs.CL
Analysis of Error Sources in LLM-based Hypothesis Search for Few-Shot Rule Induction
Department of Statistics, University of California, Los Angeles（统计学系，加州大学洛杉矶分校）；Microsoft, Redmond, WA（微软公司，西雅图，华盛顿州）；Department of Psychology, University of California, Los Angeles（心理学系，加州大学洛杉矶分校）
该研究针对少样本规则归纳任务，对比基于LLM的假设搜索框架与直接程序生成方法，发现前者性能接近人类，同时通过误差分析明确假设生成的关键瓶颈，指出该框架的应用潜力与系统优化方向。
2025-08-31 cs.AI cs.CL cs.LG
Instruction Induction: From Few Examples to Natural Language Task Descriptions
Tel Aviv University（特拉维夫大学）；New York University（纽约大学）；Meta AI
大语言模型能够通过对一些输入-输出演示进行调节来执行任务-这种范例被称为上下文学习。我们表明，语言模型可以明确地推断出一个基本的任务，从一些示范，促使他们产生一个自然语言指令，适合的例子。为了探索这种能力，我们引入了指令感应挑战，编译了一个由24个任务组成的数据集，并定义了一个新的评估指标的基础上执行生成的指令。我们发现，在很大程度上，当使用一个足够大并且能够遵循指令的模型时，生成指令的能力确实会出现;在我们基于执行的指标中，InstructGPT达到了65.7%的人类性能，而原始的GPT-3模型只达到了9.8%的人类性能。这个令人惊讶的结果表明，指令归纳本身可能是一个可行的学习范式，而不是拟合一组潜在的连续参数的数据，一个搜索的最佳描述在自然语言假设空间。
2022-05-22 cs.CL
Multi-View Zero-Shot Open Intent Induction from Dialogues: Multi Domain Batch and Proxy Gradient Transfer
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）
针对任务导向对话中的零样本开放意图归纳，本文提出融合 SBERT、MDB 与 PGT 的语义多视角模型，利用多域知识和 Siamese 聚类微调显著提升性能。
2023-08-13 cs.AI cs.CL
"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models
University of Applied Sciences Berlin（柏林应用科学大学）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；University of Birmingham（伯明翰大学）
本研究提出利用大语言模型零样本生成可解释决策树，无需训练数据，在小型表格数据集上性能可超越数据驱动树，并可作为低数据场景下的知识驱动基线。
2025-05-27 cs.AI cs.CL cs.LG
A Closer Look at Few-Shot Crosslingual Transfer: The Choice of Shots Matters
LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Technion, IIT（以色列理工学院）
Few-Shot跨语言迁移已被证明优于其zero-shot对应物，如多语言BERT等预训练编码器。尽管它越来越受欢迎，很少或根本没有注意到标准化和分析Few-Shot实验的设计。在这项工作中，我们强调了这一缺点所带来的基本风险，说明该模型对少数镜头的选择具有高度的敏感性。我们对40组采样的几个镜头进行了大规模的实验研究，用于多达40种语言的六种不同的NLP任务。我们提供了一个成功和失败的案例分析Few-Shot转移，突出了词汇特征的作用。此外，我们表明，一个简单的全模型微调方法是非常有效的Few-Shot传输，优于几个国家的最先进的Few-Shot的方法。作为标准化Few-Shot跨语言实验设计的一步，我们公开了我们的几个样本。
2021-06-02 cs.CL
On Measuring the Intrinsic Few-Shot Hardness of Datasets
Stanford University（斯坦福大学）
虽然预训练的进步导致了NLP任务的少样本学习的显着改进，但对数据集中成功的Few-Shot适应的驱动因素的理解有限。特别是，给定一个新的数据集和一个预先训练的模型，数据集的哪些属性使它成为\emph{few-shot learnable}，这些属性是否独立于所使用的特定自适应技术？我们考虑了一组广泛的最近的少样本学习方法，并表明它们在大量数据集上的性能是高度相关的，这表明对于给定的预训练模型，Few-Shot硬度可能是数据集固有的。为了估计内在的Few-Shot硬度，我们提出了一个简单而轻量级的度量，称为“Spread”，它捕捉了这样一种直觉，即通过利用训练样本和测试样本之间的特征空间不变性，可以实现少样本学习。与现有的硬度概念相比，我们的度量更好地解释了Few-Shot硬度，并且计算速度快约8- 100倍。
2022-11-16 cs.CL
Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University（卡内基梅隆大学）
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上，并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务，我们进行实验，在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明，语言模型能够分类委婉语的条款相对较好，即使在训练过程中看不见的新术语，这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
FewMMBench: A Benchmark for Multimodal Few-Shot Learning
Aselsan Research（阿塞利桑研究）
FewMMBench是一个用于评估多模态少样本学习能力的基准测试，通过系统分析不同任务类型、模型家族和提示策略，揭示指令调优模型在零样本性能上的优势及CoT推理的局限性。
2026-02-25 cs.CL
Extensively Matching for Few-shot Learning Event Detection
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）
现有的事件检测模型在监督学习环境下无法转换为新的事件类型。少样本学习在事件检测中还没有被探索过，尽管它允许模型在新事件类型上表现良好并具有高度的泛化能力。在这项工作中，我们制定了事件检测作为一个Few-Shot学习问题，使事件检测扩展到新的事件类型。我们提出了两个新的损失因子，在支持集上匹配样本，为模型提供更多的训练信号。此外，这些训练信号可以应用于许多基于度量的Few-Shot学习模型中。在ACE-2005数据集上的大量实验表明，该方法可以有效地提高少样本学习的性能
2020-06-17 cs.CL
Decomposed Meta-Learning for Few-Shot Named Entity Recognition
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
Few-Shot命名实体识别（NER）系统的目标是仅基于少量标记的实例来识别新类别的命名实体。在本文中，我们提出了一个分解的元学习方法，解决了问题的Few-Shot NER依次解决Few-Shot跨度检测和Few-Shot实体类型使用元学习。特别地，我们将Few-Shot跨度检测问题转化为序列标记问题，并通过引入模型无关元学习（MAML）算法对跨度检测器进行训练，以找到一个能够快速适应新实体类的模型参数初始化。对于Few-Shot实体类型，我们提出了MAML-ProtoNet，即，MAML增强的原型网络，以找到一个良好的嵌入空间，可以更好地区分不同实体类的文本跨度表示。在各种基准测试上的大量实验表明，我们的方法比以前的方法具有更好的性能。
2022-04-13 cs.CL
Vector Projection Network for Few-shot Slot Tagging in Natural Language Understanding
Shanghai Jiao Tong University（上海交通大学）
由于会话对话系统的巨大发展，Few-Shot槽标记变得对快速域转移和适应有吸引力。在本文中，我们提出了一个矢量投影网络的Few-Shot槽标记，利用投影的上下文词嵌入每个目标标签向量作为词标签的相似性。本质上，这种方法相当于具有自适应偏差的归一化线性模型。对比实验表明，我们提出的基于向量投影的相似性度量可以显着优于其他变种。具体来说，在基准SNIPS和NER的五次设置中，我们的方法分别通过F $_1$分数上的$6.30$和$13.79$点优于最强的少样本学习基线。我们的代码将在https://github.com/sz128/few_shot_slot_tagging_and_NER上发布。
2020-09-22 cs.CL
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）
提出 ProToCo，通过生成声明变体并施加一致性约束，结合 PEFT 提升 PLM 的少样本与零样本事实验证能力，并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Task Contamination: Language Models May Not Be Few-Shot Anymore
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
本文研究了LLMs的零样本和少样本性能随时间的变化，发现训练数据创建日期前发布的数据集上存在任务污染，且在无污染的分类任务中LLMs极少显著优于简单多数基线。
2023-12-26 cs.CL
Causal Interventions-based Few-Shot Named Entity Recognition
University of South China（南华大学）
针对小样本命名实体识别中样本选择偏差引发虚假相关性导致过拟合的问题，提出基于因果干预的方法，通过后门调整及增量学习干预原型，在多基准上取得SOTA结果，最高绝对提升29%、平均提升12%。
2023-05-03 cs.CL
The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Saarland University（萨尔兰大学）；Microsoft Corporation（微软公司）
我们提出了一个共享的任务训练实例选择Few-Shot神经文本生成。大规模的预训练语言模型在Few-Shot文本生成方面取得了巨大的进步。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。选择策略的研究可以帮助我们（1）在下游任务中充分利用我们的注释预算，（2）更好地基准测试Few-Shot文本生成模型。我们欢迎提交，介绍他们的选择策略和对一代质量的影响。
2021-08-14 cs.CL
Self-Training with Purpose Preserving Augmentation Improves Few-shot Generative Dialogue State Tracking
POSTECH（浦项科技大学）
在对话状态跟踪（DST）中，标记数据集涉及大量的人力劳动。我们提出了一个新的自我训练框架的Few-Shot生成DST，利用未标记的数据。我们的自训练方法通过伪标签迭代地改进模型，并采用目的保持增强（PPAug）来防止过拟合。与基线相比，我们在MultiWOZ 2.1上将Few-Shot 10%性能提高了约4%，并将不可见值的插槽召回率提高了8.34%。
2022-11-17 cs.CL
Learning from Miscellaneous Other-Class Words for Few-shot Named Entity Recognition
Tsinghua University（清华大学）；JOYY Inc（欢聚集团）；Nanyang Technological University（南洋理工大学）
Few-Shot命名实体识别（NER）仅利用少量注释来识别和分类命名实体提及。原型网络在Few-Shot NER上表现出优越的性能。然而，现有的原型方法无法区分丰富的语义在其他类的话，这将加剧过拟合在Few Shot的情况下。为了解决这个问题，我们提出了一种新的模型，挖掘未定义的类从类（MUCO），可以自动诱导不同的未定义的类从其他类，以提高Few-Shot NER。通过这些额外标记的未定义类，我们的方法将提高NER分类器的区分能力，并增强对具有备用语义知识的预定义类的理解。实验结果表明，我们的模型优于五个国家的最先进的模型在1杆和5杆设置四个NER基准。我们将在接受后发布代码。源代码发布在https：//github.com/shuaiwa16/OtherClassNER.git上。
2021-06-29 cs.CL
SEE-Few: Seed, Expand and Entail for Few-shot Named Entity Recognition
Southeast University（东南大学）
Few-Shot命名实体识别（NER）的目的是基于少量的标记实例来识别命名实体。当前的Few-Shot NER方法专注于利用丰富资源域中的现有数据集，这可能在不使用源域数据的从头开始训练设置中失败。为了解决从头开始训练的问题，充分利用注释信息（边界和实体类型）至关重要。因此，在本文中，我们提出了一种新的多任务（种子，扩展和Entail）学习框架，SEE-Few，Few-Shot NER不使用源域数据。播种和扩展模块负责为派生模块提供尽可能准确的候选跨度。蕴涵模块重新制定跨度分类作为一个文本蕴涵任务，利用上下文线索和实体类型信息。所有三个模块共享相同的文本编码器，并共同学习。在四个基准数据集上的实验结果表明，该方法优于最先进的Few-Shot NER方法，具有很大的差距。我们的代码可在https://github.com/unveiled-the-red-hat/SEE-Few上获得。
2022-10-11 cs.CL
LMTurk: Few-Shot Learners as Crowdsourcing Workers in a Language-Model-as-a-Service Framework
LMU Munich（慕尼黑大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
大量的努力致力于创建高性能的Few-Shot学习器，即，大规模预训练的语言模型（PLM），在几乎没有下游任务训练数据的情况下表现良好。培训PLM已经产生了巨大的成本，但由于其巨大的规模，利用Few-Shot学习器仍然具有挑战性。这项工作的重点是一个至关重要的问题：如何有效地利用这些Few-Shot学习者？我们提出了LMTurk，一种新颖的方法，将Few-Shot学习者视为众包工作者。其基本原理是，众包工作者实际上是Few-Shot学习者：他们被展示了一些说明性的例子来了解一项任务，然后开始注释。LMTurk雇佣基于PLM的Few-Shot学习者作为工作人员。我们表明，由此产生的注释可以用来训练模型，解决任务以及足够小，可部署在实际情况下。主动学习集成到LMTurk中，以减少对PLM的查询量，最大限度地减少运行PLM推理过程的计算成本。总之，LMTurk是有效利用当前PLM的重要一步。
2022-05-02 cs.CL
SF-DST: Few-Shot Self-Feeding Reading Comprehension Dialogue State Tracking with Auxiliary Task
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
Few-Shot对话状态跟踪（DST）模型以可靠的准确性跟踪对话中的用户请求，即使数据量很小。在本文中，我们介绍了一个本体无关的Few-Shot DST与自我喂养的信念状态输入。自馈信念状态输入通过总结先前对话来增加多轮对话中的准确性。此外，我们新开发了一个槽门辅助任务。这个新的辅助任务有助于区分对话中是否提到了一个槽。我们的模型在multiWOZ 2.0上的四个域的Few-Shot设置中获得了最佳分数。
2022-09-16 cs.CL
Hansel: A Chinese Few-Shot and Zero-Shot Entity Linking Benchmark
Harbin Institute of Technology（哈尔滨工业大学）；Wechat, Tencent（腾讯微信）
本文提出中文少样本与零样本实体链接基准Hansel，覆盖1万篇多样化文档，并建立强基线，在少样本和零样本场景下分别取得46.2%和76.6%的R@1，显著优于现有系统。
2023-10-29 cs.CL
Few-Shot Complex Knowledge Base Question Answering via Meta Reinforcement Learning
Monash University（莫纳什大学）；Southeast University-Monash University Joint Research Institute（东南大学-莫纳什大学联合研究院）；Southeast University（东南大学）
复杂问答（CQA）涉及在知识库（KB）上回答复杂的自然语言问题。然而，当问题具有不同类型时，传统的神经程序归纳（NPI）方法表现出不均匀的性能，具有固有的不同特征，例如，难度级别。提出了一种Meta强化学习方法用于CQA中的程序归纳，以解决问题中潜在的分布偏差问题。我们的方法快速，有效地适应元学习程序员的新问题的基础上检索的最相似的问题，从训练数据。然后，元学习策略用于学习良好的编程策略，利用试验轨迹及其对支持集中类似问题的奖励。我们的方法在CQA数据集上实现了最先进的性能（Saha等人，2018年），同时在每个支持集中只使用5个试验轨迹来处理前5个检索到的问题，并对仅由1%的训练集构建的任务进行元训练。我们已经在https://github.com/DevinJake/MRL-CQA上发布了我们的代码。
2020-10-29 cs.AI cs.CL
On Bilingual Lexicon Induction with Large Language Models
University of Cambridge（剑桥大学）
本文系统研究了利用多语言大语言模型进行双语词典归纳，发现基于最近邻上下文示例的少样本提示效果最佳，在多个语言对上取得了新的最优结果。
2024-02-25 cs.AI cs.CL cs.IR
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University（北京大学）
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据，但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发，提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义，并给出了该任务的Few-Shot检索框架。此外，我们将两个实际的序列标记模型（称为Few-Shot TPLinker和Few-Shot BiTT）应用到我们的框架中，并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Dynamic Policy Induction for Adaptive Prompt Optimization: Bridging the Efficiency-Accuracy Gap via Lightweight Reinforcement Learning
University of California, Irvine School of Information & Computer Science（加州大学尔湾分校信息与计算机科学学院）
针对大语言模型静态提示策略存在的效率-精度权衡僵化问题，提出基于轻量级强化学习的提示策略网络PPN，通过单步MDP和资源感知奖励自适应选择推理策略，在算术任务上以更低token成本保持竞争力精度。
2025-09-28 cs.AI cs.CL cs.LG
FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team（CLUE团队）
预训练语言模型（PLM）在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调，zero-shot，和少样本学习-已被广泛探索和比较的语言，如英语，有相对较少的工作，公平和全面的评估和比较这些方法，从而阻碍了累积的进展。在本文中，我们介绍了中文少样本学习评估基准（FewCLUE），第一个全面的Few-Shot评估基准中文。它包括九个任务，从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的（SOTA）少样本学习方法（包括PET，ADAPET，LM-BFF，P-tuning和EFL），并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明：1）不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2）PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外，我们还提供了一个用户友好的工具包，以及一个在线排行榜，以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现，为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们研究了用于对话语言理解的Few-Shot联合学习。大多数现有的Few-Shot模型每次只学习一个任务，只有很少的例子。然而，对话语言理解包含两个密切相关的任务，即，意图检测和槽填充，并且通常受益于联合学习这两个任务。这就需要新的少样本学习技术，这些技术能够从几个示例中捕获任务关系，并联合学习多个任务。为了实现这一点，我们提出了一个基于相似性的少样本学习方案，称为对比原型合并网络（ConProm），它学习桥接数据丰富域上的意图和槽的度量空间，然后将桥接的度量空间适应特定的Few-Shot域。在两个公共数据集Snips和FewJoint上的实验表明，我们的模型在一次和五次拍摄设置中显着优于强基线。
2021-05-25 cs.AI cs.CL
Which Attention Heads Matter for In-Context Learning?
UC Berkeley（加州大学伯克利分校）
本研究比较了12个语言模型中的归纳头和函数向量（FV）头，发现少样本ICL性能主要依赖FV头，且FV头在训练中多由归纳头转变而来，表明归纳机制促进了驱动ICL的复杂FV机制的学习。
2025-02-19 cs.AI cs.CL cs.LG
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Robust Few-Shot Named Entity Recognition with Boundary Discrimination and Correlation Purification
Beijing Institute of Technology（北京理工大学）
针对现有小样本NER模型易受文本对抗攻击的问题，提出基于边界判别与相关性净化的两阶段鲁棒方法，在构建的对抗数据集上验证了其鲁棒性与优越性。
2023-12-13 cs.AI cs.CL
Entailment as Few-Shot Learner
Facebook AI（脸书人工智能研究院）
大型预训练语言模型（LM）已经证明了作为Few-Shot学习者的卓越能力。然而，他们的成功很大程度上取决于缩放模型参数的程度，使其具有挑战性的训练和服务。在本文中，我们提出了一种新的方法，命名为EFL，可以把小LM到更好的Few-Shot学习。这种方法的核心思想是将潜在的NLP任务重新表达为一个蕴涵任务，然后用最少8个示例对模型进行微调。我们进一步证明了我们提出的方法可以：（i）自然地与基于无监督对比学习的数据增强方法相结合;（ii）很容易扩展到多语言少样本学习。对18个标准NLP任务的系统评估表明，该方法将现有的各种SOTA少样本学习方法提高了12%，并在500倍大的模型（如GPT-3）上产生了具有竞争力的Few-Shot性能。
2021-04-29 cs.AI cs.CL
CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
CLIP在广泛的视觉任务中显示出卓越的zero-shot能力。以前，CLIP只被认为是一个强大的视觉编码器。然而，在从大量的图像-字幕对中通过语言监督进行预训练之后，CLIP本身也应该获得了一些用于视觉语言任务的Few-Shot能力。在这项工作中，我们的经验表明，CLIP可以是一个强大的视觉语言的Few-Shot学习者利用语言的力量。我们首先评估CLIP的zero-shot性能上一个典型的视觉问答任务，并证明了zero-shot跨模态传输能力的CLIP上的视觉蕴涵任务。然后，我们提出了一个参数高效微调策略，以提高Few-Shot性能的vqa任务。我们在视觉问答和视觉蕴涵任务上实现了有竞争力的零/Few-Shot结果，而无需引入任何额外的预训练过程。
2022-03-14 cs.CL cs.CV
FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
少样本学习（FSL）是机器学习未来的关键步骤之一，并引起了广泛的关注。然而，与计算机视觉等其他领域的快速发展相比，自然语言处理领域的FSL的发展要缓慢得多。其中一个主要原因是缺乏公共基准。NLP FSL研究总是在自己构建的Few-Shot数据集上报告新的结果，这在结果比较中是相当低效的，从而阻碍了累积进展。在本文中，我们提出了FewJoint，一个新的NLP少样本学习基准。与大多数NLP FSL研究仅关注简单的N-分类问题不同，我们的基准测试引入了Few-Shot联合对话语言理解，它还涵盖了结构预测和多任务依赖问题。这使得我们的基准测试能够反映出超越简单N分类的真实NLP复杂性。我们的基准测试用于SMP 2020-ECDT task-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台，以简化实验设置。
2020-12-13 cs.AI cs.CL
Improve few-shot voice cloning using multi-modal learning
NetEase Games AI Lab（网易游戏AI实验室）
近年来，Few-Shot语音克隆技术取得了显著的进步。然而，大多数用于Few-Shot语音克隆的模型是单模态的，并且多模态的Few-Shot语音克隆尚未得到充分研究。在本文中，我们提出使用多模态学习来提高Few-Shot语音克隆的性能。受最近无监督语音表示工作的启发，建议的多模态系统是通过扩展Tacotron 2与无监督语音表示模块来构建的。我们评估我们提出的系统在两个Few-Shot语音克隆的情况下，即Few-Shot文本到语音（TTS）和语音转换（VC）。实验结果表明，所提出的多模态学习可以显着提高Few-Shot的语音克隆性能比他们的对应单模态系统。
2022-03-18 cs.CL cs.SD eess.AS
Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim Verification with Pattern Exploiting Training
Queen Mary University of London（伦敦玛丽女王大学）
为了减轻标签数据的稀缺性对事实核查系统的影响，我们专注于Few-Shot索赔验证。尽管最近通过提出先进的语言模型对Few-Shot分类进行了研究，但缺乏对数据注释优先级的研究，以提高对要标记的少数镜头的选择以获得最佳模型性能。我们提出了主动PET，一种新的加权方法，利用各种语言模型的基础上的模式开发训练（PET）模型的合奏，积极选择未标记的数据作为候选人的注释。使用主动PET进行Few-Shot数据选择，在两个技术事实检查数据集上使用六种不同的预训练语言模型，显示出与基线方法相比的一致改进。我们展示了Active PETs-o的进一步改进，它进一步集成了过采样策略。我们的方法可以有效地选择要标记的实例，其中未标记的数据丰富，但标记的资源有限，从而不断提高Few-Shot声明验证性能。我们的代码可用。
2022-10-11 cs.AI cs.CL
DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering
Baidu Inc.（百度公司）
本文提出DocPrompt，通过弱监督数据生成、多阶段训练和模型集成，在4个文档问答任务上达到最先进性能，显著提升效率并降低成本。
2023-08-31 cs.AI cs.CL
Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Adobe Research（Adobe 研究院）
在这项工作中，我们专注于一个更具挑战性的Few-Shot意图检测的情况下，许多意图是细粒度和语义相似。我们提出了一个简单而有效的Few-Shot意图检测模式，通过对比预训练和微调。具体来说，我们首先对收集到的意图数据集进行自我监督的对比预训练，隐式学习在不使用任何标签的情况下区分语义相似的话语。然后，我们将Few-Shot意图检测与监督式对比学习一起执行，这明确地将来自相同意图的话语拉得更近，并将不同意图的话语推得更远。实验结果表明，我们提出的方法实现了国家的最先进的性能在三个具有挑战性的意图检测数据集下的5杆和10杆的设置。
2021-09-13 cs.CL cs.LG
Few-shot Learning for Multi-label Intent Detection
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们研究了Few-Shot多标签分类的用户意图检测。对于多标签意图检测，最先进的工作估计标签实例相关性分数，并使用阈值来选择多个相关联的意图标签。为了仅用几个例子确定适当的阈值，我们首先学习数据丰富域上的通用阈值经验，然后通过基于非参数学习的校准将阈值适应于某些Few-Shot域。为了更好地计算标签-实例相关性得分，我们引入标签名称嵌入作为表示空间中的锚点，从而细化不同类别的表示，使其彼此分离。两个数据集上的实验表明，该模型显着优于强基线在一次拍摄和五次拍摄设置。
2020-10-11 cs.AI cs.CL
Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
Institute of AI for Education, East China Normal University（华东师范大学教育人工智能研究院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Changning Mental Health Center（上海市长宁区精神卫生中心）
提出元认知增强的少样本提示方法，结合正强化反馈，引导大语言模型反思思维过程以更好学习演示示例，在真实数据集上分类准确率和宏F1优于传统方法。
2023-12-24 cs.AI cs.CL
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego（加州大学圣地亚哥分校）
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法，特别是Few-Shot任务。我们认为，在Few-Shot设置下，制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中，我们采取了Few-Shot命名实体识别（NER）的试点研究，现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER，FFF-NER。具体来说，我们引入了三种新类型的标记，“是实体”，“哪种类型”和括号，因此我们可以根据预训练的语言模型的选择，将NER微调制定为（屏蔽的）标记预测或生成。在我们的实验中，我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调，并观察到与现有微调策略相比的显着改进，包括序列标记，原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究，显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
Few-Shot Knowledge Graph Completion
University of Notre Dame（圣母大学）；Pennsylvania State University（宾夕法尼亚州立大学）；JD Finance American Corporation（京东金融美国公司）
知识图谱（KG）是各种自然语言处理应用的有用资源。先前的KG完成方法需要大量的训练实例（即，头-尾实体对）。实际情况是，对于大多数关系，只有很少的实体对可用。现有的一次性学习工作限制了方法对Few-Shot场景的推广性，并且没有充分利用监督信息;然而，Few-Shot KG完成尚未得到很好的研究。在这项工作中，我们提出了一种新的Few-Shot关系学习模型（FSRL），旨在发现事实的新关系与Few-Shot参考。FSRL可以有效地从异构图结构中获取知识，聚合Few-Shot引用的表示，并为每个关系匹配引用集的相似实体对。在两个公共数据集上的大量实验表明，FSRL优于最先进的。
2019-11-26 cs.AI cs.CL cs.LG
Visually grounded few-shot word acquisition with fewer shots
Stellenbosch University（斯泰伦博斯大学）
本文提出一种基于视觉基础的语音模型，利用少量自然词-图像对挖掘无监督训练数据，并结合词到图像注意力机制，在更少样本条件下实现更优的新词习得性能。
2023-05-25 cs.AI cs.CL eess.AS
Ensemble Making Few-Shot Learning Stronger
University of South China（南华大学）
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而，这些模型中的每一个都有捕捉语义特征的某一方面的不足，例如，CNN的长期依赖部分，Transformer的局部特征。单一的模型很难适应多种关系学习，这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差，并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明，我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
Few-NERD: A Few-Shot Named Entity Recognition Dataset
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
近年来，围绕Few-Shot命名实体识别（NER）这一主题出现了大量的文献，但很少有公开的基准数据专门针对这一实际而具有挑战性的任务。目前的方法收集现有的监督NER数据集，并重新组织它们的Few-Shot设置的实证研究。这些策略通常旨在识别具有很少示例的粗粒度实体类型，而在实践中，大多数看不见的实体类型是细粒度的。在本文中，我们提出了Few-NERD，一个大规模的人类注释的Few-Shot NER数据集，具有8个粗粒度和66个细粒度实体类型的层次结构。Few-NERD由维基百科的188，238个句子组成，包含4，601，160个单词，每个单词都被注释为上下文或两级实体类型的一部分。据我们所知，这是第一个Few-Shot NER数据集，也是最大的人工NER数据集。我们构造了不同侧重点的基准任务，以全面评估模型的泛化能力。大量的实证结果和分析表明，Few-NERD具有挑战性，需要进一步研究。我们在https://ningding97.github.io/fewnerd/上公开了Few-NERD。
2021-09-01 cs.AI cs.CL cs.LG
True Few-Shot Learning with Language Models
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
预训练的语言模型（LM）即使在从几个示例中学习时也能在许多任务中表现良好，但之前的工作使用许多保留的示例来调整学习的各个方面，例如超参数，训练目标和自然语言模板（“提示”）。在这里，我们评估的Few-Shot能力的LM时，这样的支持的例子是不可用的，我们称之为真正的少样本学习。我们测试两个模型选择标准，交叉验证和最小描述长度，选择LM提示和超参数在真正的Few-Shot设置。平均而言，这两种方法的表现都略优于随机选择，而大大低于基于保留样本的选择。此外，选择标准往往倾向于表现明显差于随机选择的模型。即使考虑到我们在选择过程中对模型真实性能的不确定性，以及当改变用于选择的计算量和示例数量时，我们也会发现类似的结果。总的来说，我们的研究结果表明，以前的工作显着高估了真正的Few-Shot能力的LM考虑到困难的Few-Shot模型选择。
2021-05-24 cs.CL cs.LG stat.ML
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管实现了最先进的zero-shot性能，现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习（MAML）是Few-Shot迁移学习的自然替代方案，但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型（如CLIP）上的使用。虽然许多文献一直致力于探索替代的优化策略，我们确定了有效的Few-Shot迁移学习，任务采样，这是以前只被视为数据预处理的一部分，在MAML的另一个重要方面。为了显示任务采样的影响，我们提出了一个简单的算法，模型无关的多任务微调（MAMF），它区分经典的微调只对均匀采样多个任务。尽管它的简单性，我们表明，MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明，MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作，并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation
Tsinghua University（清华大学）；New York University（纽约大学）；Institute for Artificial Intelligence（人工智能研究院）
我们提出了一个Few-Shot关系分类数据集（FewRel），由来自维基百科的100个关系上的70，000个句子组成，并由crowdworker注释。每个句子的关系首先由远程监督方法识别，然后由众包过滤。我们采用了最新的最先进的少样本学习方法进行关系分类，并对这些方法进行了全面的评估。实证结果表明，即使是最有竞争力的少样本学习模型在这项任务上也很困难，特别是与人类相比。我们还表明，需要一系列不同的推理技能来解决我们的任务。这些结果表明，Few-Shot关系分类仍然是一个开放的问题，仍然需要进一步的研究。我们的详细分析为未来的研究指出了多个方向。有关数据集和基线的所有详细信息和资源都在http://zhuhao.me/fewrel上发布。
2018-10-26 cs.AI cs.CL cs.LG
