Description Boosting for Zero-Shot Entity and Relation Classification
IBM Research Europe(IBM欧洲研究院)
本文针对零样本实体和关系分类模型对文本描述敏感的问题,提出一种通过生成描述变体、排序及集成方法来增强描述的策略,在四个数据集上达到SOTA。
2024-06-04 cs.CL cs.IR cs.LG
ZeFaV: Boosting Large Language Models for Zero-shot Fact Verification
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);VNU University of Information Technology(VNU信息技术大学)
本文提出ZeFaV零样本事实验证框架,利用大型语言模型的上下文学习能力提取声明中实体关系并重组证据信息生成上下文,在HoVer和FEVEROUS数据集上取得了与最先进方法相当的效果。
2024-11-18 cs.AI cs.CL
BoostTaxo: Zero-Shot Taxonomy Induction via Boosting-Style Agentic Reasoning and Constraint-Aware Calibration
KTH Royal Institute of Technology(皇家理工学院);Monash University(莫纳什大学)
BoostTaxo通过提升式代理推理和约束感知校准方法,提升零样本分类诱导的泛化能力、结构可靠性及效率,实验证明其在WordNet、DBLP和SemEval-Sci数据集上性能优异。
2026-04-03 cs.AI cs.CL
Boosting Reinforcement Learning with Verifiable Rewards via Randomly Selected Few-Shot Guidance
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出FEST算法,通过随机选择的少样本引导提升可验证奖励的强化学习,仅需128个演示即可获得优于基线的结果,关键在于监督信号、在线信号和衰减权重。
2026-05-14 cs.AI cs.CL cs.LG
Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data
LMU Munich(慕尼黑大学)
本文提出利用双语词典生成人工语码转换数据训练排序模型,在mMARCO上显著提升零样本跨语言和多语言检索性能,且对远距离语言和未见语言具有鲁棒性。
2023-05-26 cs.CL cs.IR
Boosting Natural Language Generation from Instructions with Meta-Learning
Microsoft Research(微软研究院)
最近的工作表明,使用多任务\textit{instructional learning}(MTIL)训练的语言模型(LM)可以在零和Few-Shot设置中解决各种NLP任务,与提示微调相比,性能有所提高。MTIL说明LM可以从输入和输出的表面模式之外的指令中提取和使用关于任务的信息。这表明元学习可以进一步提高指令的利用率,以实现有效的任务转移。在本文中,我们研究元学习应用于MTIL是否可以进一步提高泛化到看不见的任务在zero-shot设置。具体来说,我们建议适应元学习MTIL在三个方向:1)模型不可知的Meta学习(MAML),2)超网络(HNet)为基础的适应,以产生任务特定的参数条件下的指令,和3)的方法结合HNet和MAML。通过在大规模Natural指令V2数据集上的大量实验,我们表明我们提出的方法在zero-shot设置中显著改善了强基线。特别是,元学习提高了指令的有效性,并且当测试任务是严格的zero-shot(即训练集中没有类似的任务)并且对于LM是“硬”的时,元学习是最有影响力的,这说明了MTIL的元学习对于分布外任务的潜力。
2022-10-20 cs.CL cs.LG
GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts
Novelis Research and Innovation Lab(诺贝丽斯研究与创新实验室)
本文在11个数据集上评估GPT-3.5、GPT-4和BARD的零样本推理能力,发现GPT-4整体最优,但三者在归纳、数学和多跳推理上均有限,并提出提示工程方法提升性能。
2023-09-19 cs.AI cs.CL
A Closer Look at Few-Shot Crosslingual Transfer: The Choice of Shots Matters
LMU Munich(慕尼黑大学);University of Cambridge(剑桥大学);Monash University(莫纳什大学);Technion, IIT(以色列理工学院)
Few-Shot跨语言迁移已被证明优于其zero-shot对应物,如多语言BERT等预训练编码器。尽管它越来越受欢迎,很少或根本没有注意到标准化和分析Few-Shot实验的设计。在这项工作中,我们强调了这一缺点所带来的基本风险,说明该模型对少数镜头的选择具有高度的敏感性。我们对40组采样的几个镜头进行了大规模的实验研究,用于多达40种语言的六种不同的NLP任务。我们提供了一个成功和失败的案例分析Few-Shot转移,突出了词汇特征的作用。此外,我们表明,一个简单的全模型微调方法是非常有效的Few-Shot传输,优于几个国家的最先进的Few-Shot的方法。作为标准化Few-Shot跨语言实验设计的一步,我们公开了我们的几个样本。
2021-06-02 cs.CL
On Measuring the Intrinsic Few-Shot Hardness of Datasets
Stanford University(斯坦福大学)
虽然预训练的进步导致了NLP任务的少样本学习的显着改进,但对数据集中成功的Few-Shot适应的驱动因素的理解有限。特别是,给定一个新的数据集和一个预先训练的模型,数据集的哪些属性使它成为\emph{few-shot learnable},这些属性是否独立于所使用的特定自适应技术?我们考虑了一组广泛的最近的少样本学习方法,并表明它们在大量数据集上的性能是高度相关的,这表明对于给定的预训练模型,Few-Shot硬度可能是数据集固有的。为了估计内在的Few-Shot硬度,我们提出了一个简单而轻量级的度量,称为“Spread”,它捕捉了这样一种直觉,即通过利用训练样本和测试样本之间的特征空间不变性,可以实现少样本学习。与现有的硬度概念相比,我们的度量更好地解释了Few-Shot硬度,并且计算速度快约8- 100倍。
2022-11-16 cs.CL
Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University(卡内基梅隆大学)
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上,并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务,我们进行实验,在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明,语言模型能够分类委婉语的条款相对较好,即使在训练过程中看不见的新术语,这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
FewMMBench: A Benchmark for Multimodal Few-Shot Learning
Aselsan Research(阿塞利桑研究)
FewMMBench是一个用于评估多模态少样本学习能力的基准测试,通过系统分析不同任务类型、模型家族和提示策略,揭示指令调优模型在零样本性能上的优势及CoT推理的局限性。
2026-02-25 cs.CL
Extensively Matching for Few-shot Learning Event Detection
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
现有的事件检测模型在监督学习环境下无法转换为新的事件类型。少样本学习在事件检测中还没有被探索过,尽管它允许模型在新事件类型上表现良好并具有高度的泛化能力。在这项工作中,我们制定了事件检测作为一个Few-Shot学习问题,使事件检测扩展到新的事件类型。我们提出了两个新的损失因子,在支持集上匹配样本,为模型提供更多的训练信号。此外,这些训练信号可以应用于许多基于度量的Few-Shot学习模型中。在ACE-2005数据集上的大量实验表明,该方法可以有效地提高少样本学习的性能
2020-06-17 cs.CL
Decomposed Meta-Learning for Few-Shot Named Entity Recognition
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
Few-Shot命名实体识别(NER)系统的目标是仅基于少量标记的实例来识别新类别的命名实体。在本文中,我们提出了一个分解的元学习方法,解决了问题的Few-Shot NER依次解决Few-Shot跨度检测和Few-Shot实体类型使用元学习。特别地,我们将Few-Shot跨度检测问题转化为序列标记问题,并通过引入模型无关元学习(MAML)算法对跨度检测器进行训练,以找到一个能够快速适应新实体类的模型参数初始化。对于Few-Shot实体类型,我们提出了MAML-ProtoNet,即,MAML增强的原型网络,以找到一个良好的嵌入空间,可以更好地区分不同实体类的文本跨度表示。在各种基准测试上的大量实验表明,我们的方法比以前的方法具有更好的性能。
2022-04-13 cs.CL
Vector Projection Network for Few-shot Slot Tagging in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
由于会话对话系统的巨大发展,Few-Shot槽标记变得对快速域转移和适应有吸引力。在本文中,我们提出了一个矢量投影网络的Few-Shot槽标记,利用投影的上下文词嵌入每个目标标签向量作为词标签的相似性。本质上,这种方法相当于具有自适应偏差的归一化线性模型。对比实验表明,我们提出的基于向量投影的相似性度量可以显着优于其他变种。具体来说,在基准SNIPS和NER的五次设置中,我们的方法分别通过F $_1$分数上的$6.30$和$13.79$点优于最强的少样本学习基线。我们的代码将在https://github.com/sz128/few_shot_slot_tagging_and_NER上发布。
2020-09-22 cs.CL
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
提出 ProToCo,通过生成声明变体并施加一致性约束,结合 PEFT 提升 PLM 的少样本与零样本事实验证能力,并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Task Contamination: Language Models May Not Be Few-Shot Anymore
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文研究了LLMs的零样本和少样本性能随时间的变化,发现训练数据创建日期前发布的数据集上存在任务污染,且在无污染的分类任务中LLMs极少显著优于简单多数基线。
2023-12-26 cs.CL
Causal Interventions-based Few-Shot Named Entity Recognition
University of South China(南华大学)
针对小样本命名实体识别中样本选择偏差引发虚假相关性导致过拟合的问题,提出基于因果干预的方法,通过后门调整及增量学习干预原型,在多基准上取得SOTA结果,最高绝对提升29%、平均提升12%。
2023-05-03 cs.CL
The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Saarland University(萨尔兰大学);Microsoft Corporation(微软公司)
我们提出了一个共享的任务训练实例选择Few-Shot神经文本生成。大规模的预训练语言模型在Few-Shot文本生成方面取得了巨大的进步。尽管如此,几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。选择策略的研究可以帮助我们(1)在下游任务中充分利用我们的注释预算,(2)更好地基准测试Few-Shot文本生成模型。我们欢迎提交,介绍他们的选择策略和对一代质量的影响。
2021-08-14 cs.CL
Self-Training with Purpose Preserving Augmentation Improves Few-shot Generative Dialogue State Tracking
POSTECH(浦项科技大学)
在对话状态跟踪(DST)中,标记数据集涉及大量的人力劳动。我们提出了一个新的自我训练框架的Few-Shot生成DST,利用未标记的数据。我们的自训练方法通过伪标签迭代地改进模型,并采用目的保持增强(PPAug)来防止过拟合。与基线相比,我们在MultiWOZ 2.1上将Few-Shot 10%性能提高了约4%,并将不可见值的插槽召回率提高了8.34%。
2022-11-17 cs.CL
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University(北京大学)
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据,但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发,提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义,并给出了该任务的Few-Shot检索框架。此外,我们将两个实际的序列标记模型(称为Few-Shot TPLinker和Few-Shot BiTT)应用到我们的框架中,并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation
Emory University(埃默里大学);NEC Laboratories America(NEC美国实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校)
最近的多语言预训练语言模型已经取得了显着的zero-shot性能,其中模型仅在一种源语言上进行微调,并直接在目标语言上进行评估。在这项工作中,我们提出了一个自学习框架,进一步利用目标语言的未标记数据,结合不确定性估计的过程中,选择高质量的银标签。三种不同的不确定性是适应和分析专门为跨语言迁移:语言异方差/同方差不确定性(LEU/LOU),证据不确定性(EVI)。我们评估我们的框架与不确定性的两个跨语言的任务,包括命名实体识别(NER)和自然语言推理(NLI),共覆盖40种语言,这超过基线显着的平均10 F1的NER和2.5的准确度得分NLI。
2021-09-23 cs.CL cs.LG
FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team(CLUE团队)
预训练语言模型(PLM)在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调,zero-shot,和少样本学习-已被广泛探索和比较的语言,如英语,有相对较少的工作,公平和全面的评估和比较这些方法,从而阻碍了累积的进展。在本文中,我们介绍了中文少样本学习评估基准(FewCLUE),第一个全面的Few-Shot评估基准中文。它包括九个任务,从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的(SOTA)少样本学习方法(包括PET,ADAPET,LM-BFF,P-tuning和EFL),并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明:1)不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2)PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外,我们还提供了一个用户友好的工具包,以及一个在线排行榜,以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现,为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
Learning to Bridge Metric Spaces: Few-shot Joint Learning of Intent Detection and Slot Filling
Harbin Institute of Technology(哈尔滨工业大学)
在本文中,我们研究了用于对话语言理解的Few-Shot联合学习。大多数现有的Few-Shot模型每次只学习一个任务,只有很少的例子。然而,对话语言理解包含两个密切相关的任务,即,意图检测和槽填充,并且通常受益于联合学习这两个任务。这就需要新的少样本学习技术,这些技术能够从几个示例中捕获任务关系,并联合学习多个任务。为了实现这一点,我们提出了一个基于相似性的少样本学习方案,称为对比原型合并网络(ConProm),它学习桥接数据丰富域上的意图和槽的度量空间,然后将桥接的度量空间适应特定的Few-Shot域。在两个公共数据集Snips和FewJoint上的实验表明,我们的模型在一次和五次拍摄设置中显着优于强基线。
2021-05-25 cs.AI cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Alibaba Group(阿里巴巴集团)
在本文中,我们探讨了槽标记只有几个标记的支持句(a.k.a. Few-Shot)。与其他Few-Shot分类问题相比,Few-Shot槽标记面临着独特的挑战,因为它需要对标签之间的依赖关系进行建模。但是,由于标签集的差异,很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题,我们在条件随机场(CRF)中引入了一个折叠依赖转移机制,以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中,CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性,我们提出了一个标签增强的任务自适应投影网络(L-TapNet)的基础上,国家的最先进的Few-Shot分类模型- TapNet,利用标签名称语义表示标签。实验结果表明,我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
Robust Few-Shot Named Entity Recognition with Boundary Discrimination and Correlation Purification
Beijing Institute of Technology(北京理工大学)
针对现有小样本NER模型易受文本对抗攻击的问题,提出基于边界判别与相关性净化的两阶段鲁棒方法,在构建的对抗数据集上验证了其鲁棒性与优越性。
2023-12-13 cs.AI cs.CL
Entailment as Few-Shot Learner
Facebook AI(脸书人工智能研究院)
大型预训练语言模型(LM)已经证明了作为Few-Shot学习者的卓越能力。然而,他们的成功很大程度上取决于缩放模型参数的程度,使其具有挑战性的训练和服务。在本文中,我们提出了一种新的方法,命名为EFL,可以把小LM到更好的Few-Shot学习。这种方法的核心思想是将潜在的NLP任务重新表达为一个蕴涵任务,然后用最少8个示例对模型进行微调。我们进一步证明了我们提出的方法可以:(i)自然地与基于无监督对比学习的数据增强方法相结合;(ii)很容易扩展到多语言少样本学习。对18个标准NLP任务的系统评估表明,该方法将现有的各种SOTA少样本学习方法提高了12%,并在500倍大的模型(如GPT-3)上产生了具有竞争力的Few-Shot性能。
2021-04-29 cs.AI cs.CL
CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
CLIP在广泛的视觉任务中显示出卓越的zero-shot能力。以前,CLIP只被认为是一个强大的视觉编码器。然而,在从大量的图像-字幕对中通过语言监督进行预训练之后,CLIP本身也应该获得了一些用于视觉语言任务的Few-Shot能力。在这项工作中,我们的经验表明,CLIP可以是一个强大的视觉语言的Few-Shot学习者利用语言的力量。我们首先评估CLIP的zero-shot性能上一个典型的视觉问答任务,并证明了zero-shot跨模态传输能力的CLIP上的视觉蕴涵任务。然后,我们提出了一个参数高效微调策略,以提高Few-Shot性能的vqa任务。我们在视觉问答和视觉蕴涵任务上实现了有竞争力的零/Few-Shot结果,而无需引入任何额外的预训练过程。
2022-03-14 cs.CL cs.CV
Improve few-shot voice cloning using multi-modal learning
NetEase Games AI Lab(网易游戏AI实验室)
近年来,Few-Shot语音克隆技术取得了显著的进步。然而,大多数用于Few-Shot语音克隆的模型是单模态的,并且多模态的Few-Shot语音克隆尚未得到充分研究。在本文中,我们提出使用多模态学习来提高Few-Shot语音克隆的性能。受最近无监督语音表示工作的启发,建议的多模态系统是通过扩展Tacotron 2与无监督语音表示模块来构建的。我们评估我们提出的系统在两个Few-Shot语音克隆的情况下,即Few-Shot文本到语音(TTS)和语音转换(VC)。实验结果表明,所提出的多模态学习可以显着提高Few-Shot的语音克隆性能比他们的对应单模态系统。
2022-03-18 cs.CL cs.SD eess.AS
FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
少样本学习(FSL)是机器学习未来的关键步骤之一,并引起了广泛的关注。然而,与计算机视觉等其他领域的快速发展相比,自然语言处理领域的FSL的发展要缓慢得多。其中一个主要原因是缺乏公共基准。NLP FSL研究总是在自己构建的Few-Shot数据集上报告新的结果,这在结果比较中是相当低效的,从而阻碍了累积进展。在本文中,我们提出了FewJoint,一个新的NLP少样本学习基准。与大多数NLP FSL研究仅关注简单的N-分类问题不同,我们的基准测试引入了Few-Shot联合对话语言理解,它还涵盖了结构预测和多任务依赖问题。这使得我们的基准测试能够反映出超越简单N分类的真实NLP复杂性。我们的基准测试用于SMP 2020-ECDT task-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台,以简化实验设置。
2020-12-13 cs.AI cs.CL
Few-Shot Knowledge Graph Completion
University of Notre Dame(圣母大学);Pennsylvania State University(宾夕法尼亚州立大学);JD Finance American Corporation(京东金融美国公司)
知识图谱(KG)是各种自然语言处理应用的有用资源。先前的KG完成方法需要大量的训练实例(即,头-尾实体对)。实际情况是,对于大多数关系,只有很少的实体对可用。现有的一次性学习工作限制了方法对Few-Shot场景的推广性,并且没有充分利用监督信息;然而,Few-Shot KG完成尚未得到很好的研究。在这项工作中,我们提出了一种新的Few-Shot关系学习模型(FSRL),旨在发现事实的新关系与Few-Shot参考。FSRL可以有效地从异构图结构中获取知识,聚合Few-Shot引用的表示,并为每个关系匹配引用集的相似实体对。在两个公共数据集上的大量实验表明,FSRL优于最先进的。
2019-11-26 cs.AI cs.CL cs.LG
Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning
The George Washington University(乔治华盛顿大学);Duke University(杜克大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
通过经典监督学习视角提出监督校准方法,提升大语言模型上下文学习的性能和决策边界方向调整能力。
2026-03-03 cs.AI cs.CL cs.LG
Visually grounded few-shot word acquisition with fewer shots
Stellenbosch University(斯泰伦博斯大学)
本文提出一种基于视觉基础的语音模型,利用少量自然词-图像对挖掘无监督训练数据,并结合词到图像注意力机制,在更少样本条件下实现更优的新词习得性能。
2023-05-25 cs.AI cs.CL eess.AS