Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而,Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进,有监督的Few-Shot方法与简单的主题提取方法相结合,对无监督的主题建模方法提出了重大挑战。我们的研究表明,有监督的少样本学习,结合一个简单的主题提取方法,可以优于无监督的主题建模技术,在生成连贯的主题,即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
Few-Shot Out-of-Domain Transfer Learning of Natural Language Explanations in a Label-Abundant Setup
University of Oxford(牛津大学);TU Wien(维也纳工业大学);University College London(伦敦大学学院)
训练模型为其预测提供自然语言解释(NLE)通常需要获取特定于任务的NLE,这是耗时和资源消耗的。一种可能的解决方案是NLE从具有许多NLE的父任务到子任务的域外Few-Shot转移。在这项工作中,我们研究的设置,其中的子任务有几个NLE,但丰富的标签。我们建立了四个Few-Shot迁移学习方法,涵盖了父任务和子任务的标签和NLE的可能微调组合。我们将可解释性从大型自然语言推理数据集(e-SNLI)分别转移到两个子任务:(1)代词解析的困难情况,其中我们在WinoGrande数据集之上引入NLE的small-e-WinoGrande数据集,以及(2)~常识验证(ComVE)。我们的研究结果表明,父任务有助于NLE生成,我们建立了最好的方法,这种设置。
2022-10-22 cs.CL
Few-shot Intent Classification and Slot Filling with Retrieved Examples
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院);Cornell University(康奈尔大学);Google Assistant(谷歌助手)
少样本学习出现在重要的实际场景中,例如当自然语言理解系统需要为新兴的、资源稀缺的领域学习新的语义标签时。在本文中,我们探讨检索为基础的方法,意图分类和插槽填充任务,在Few-Shot设置。基于检索的方法基于检索索引中与输入相似的标记示例进行预测,因此可以通过更改索引而无需重新训练模型来适应新的领域。然而,将这些方法应用于具有复杂标签空间的任务(如插槽填充)并非易事。为此,我们提出了一个跨度级检索方法,通过一个新的批处理softmax目标,学习类似的上下文表示的跨度相同的标签。在推理时,我们使用检索到的span的标签来构建具有最高聚合得分的最终结构。我们的方法优于以前的系统在各种Few-Shot设置的CLINC和SNIPS基准。
2021-04-12 cs.CL
LST: Lexicon-Guided Self-Training for Few-Shot Text Classification
Yonsei University(延世大学)
自训练提供了一种有效的方法,可以使用极少量的标记数据为未标记数据创建伪标签。许多最先进的自训练方法都依赖于不同的正则化方法来防止过拟合和提高泛化能力。然而,它们仍然严重依赖于最初用有限的标记数据作为伪标签训练的预测,并且可能会根据第一次预测将过度自信的标签信念放在错误的类别上。为了解决文本分类中的这个问题,我们引入了LST,这是一种简单的自训练方法,它使用词典以丰富的语言方式指导伪标签机制。我们通过预测看不见的数据的置信度来不断改进词典,以便在训练迭代中更好地教授伪标签。我们证明,这种简单而精心制作的词汇知识实现了1.0-2.0%的性能比目前最先进的方法,每类30个标记的样本的五个基准数据集。
2022-02-05 cs.CL
The Benefits of Label-Description Training for Zero-Shot Text Classification
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Educational Testing Service(教育考试服务中心)
提出标签-描述微调方法,仅用语言描述标签构建小型数据集,在零样本文本分类中显著提升准确率与鲁棒性,并在多领域超越少样本域外分类。
2023-10-23 cs.AI cs.CL
Few-Shot Learning with Siamese Networks and Label Tuning
Symanto Research(赛曼托研究)
我们研究的问题,建立文本分类很少或没有训练数据,通常称为零和Few-Shot文本分类。近年来,一种基于神经文本蕴涵模型的方法被发现在各种任务上都有很好的效果。在这项工作中,我们表明,通过适当的预训练,嵌入文本和标签的暹罗网络提供了一个有竞争力的替代方案。这些模型允许大幅降低推理成本:标签数量恒定而不是线性。此外,我们引入标签调整,一个简单的和计算效率高的方法,允许适应模型在一个Few-Shot设置只改变标签嵌入。虽然性能低于模型微调,但这种方法具有架构优势,即单个编码器可以由许多不同的任务共享。
2022-04-20 cs.CL cs.LG
Label-template based Few-Shot Text Classification with Contrastive Learning
School of Computer Science, Chongqing University(重庆大学计算机学院)
针对现有小样本文本分类元学习方法对类别标签利用不足、依赖类间方差易受噪声影响的问题,提出融合标签模板嵌入、监督对比学习与注意力机制的框架,在四个典型数据集上性能超越现有最先进模型。
2024-12-13 cs.AI cs.CL
Label-Aware Automatic Verbalizer for Few-Shot Text Classification
Chulalongkorn University(朱拉隆功大学);Google(谷歌)
针对少样本文本分类中手动 verbalizer 非最优的问题,提出 LAAV 方法,利用手动标签和连词“and”引导语言模型生成更优的单词,在五个多语言数据集上显著提升了分类效果。
2023-10-19 cs.CL cs.LG
Automatically Identifying Words That Can Serve as Labels for Few-Shot Text Classification
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心(LMU Munich));LMU Munich(慕尼黑大学)
最近的一种用于Few-Shot文本分类的方法是将文本输入转换为包含某种形式的任务描述的完形填空题,用预先训练的语言模型处理它们,并将预测的单词映射到标签。手动定义单词和标签之间的映射需要领域专业知识和对语言模型能力的理解。为了缓解这个问题,我们设计了一种方法,自动找到这样的映射给少量的训练数据。对于许多任务,我们的方法找到的映射执行几乎手工制作的标签到单词的映射。
2020-10-26 cs.AI cs.CL cs.LG
Label-enhanced Prototypical Network with Contrastive Learning for Multi-label Few-shot Aspect Category Detection
Dalian University of Technology(大连理工大学);Peking University(北京大学)
多标记体类别检测允许一个评论语句包含多个体类别,在情感分析中具有更好的实用性,并受到越来越多的关注。由于标注大量数据是耗时且劳动密集型的,在现实世界的场景中经常发生数据稀缺,这激发了多标签Few-Shot方面类别检测。然而,对这一问题的研究仍处于起步阶段,可用的方法很少。在本文中,我们提出了一种新的标签增强的原型网络(LPN)的多标签Few-Shot方面类别检测。LPN的亮点可以总结如下。首先,它利用标签描述作为辅助知识来学习更多的判别原型,它可以保留方面相关的信息,同时消除不相关的方面造成的有害影响。其次,它与对比学习相结合,鼓励具有相同体标签的句子在嵌入空间中被拉到一起,同时将具有不同体标签的句子推开。此外,本文还引入了自适应多标签推理模块来预测句子中的体数,该方法简单而有效。在三个数据集上的大量实验结果表明,我们提出的模型LPN可以始终如一地实现最先进的性能。
2022-06-14 cs.AI cs.CL cs.LG
Extreme Zero-Shot Learning for Extreme Text Classification
极限多标签文本分类(XMC)问题涉及从大型标签集中为输入文本实例找到最相关的标签。然而,XMC设置面临两个挑战:(1)在动态环境中预测看不见的标签是不可推广的,以及(2)它需要大量的监督(实例,标签)对,这对于新兴领域来说可能很难获得。最近,广义zero-shot XMC(GZ-XMC)的设置已被研究和ZestXML相应地提出来处理看不见的标签,这仍然需要大量的注释(实例,标签)对。在本文中,我们考虑一个更实际的场景称为极端Zero-Shot XMC(EZ-XMC),其中不需要监督,只有原始文本的实例和标签是可访问的。Few-Shot XMC(FS-XMC)是EZ-XMC的扩展,具有有限的监督。为了学习实例和标签与原始文本的语义嵌入,我们建议使用自监督对比损失来预训练基于transformer的编码器。具体来说,我们开发了一种预训练方法MACLR,它充分利用了原始文本的技术,包括多尺度自适应聚类,标签正则化和使用伪正对的自我训练。在四个公共EZ-XMC数据集上的实验结果表明,与所有其他领先的基线方法相比,MACLR实现了更好的性能,特别是平均精度和召回率提高了约5-10%。此外,我们还表明,当训练中有有限数量的地面真值阳性对时,我们的预训练编码器可以在FS-XMC上进一步改进。通过在这样的Few-Shot子集上微调编码器,MACLR仍然显著优于其他极端分类器。
2021-12-16 cs.CL cs.LG
Label Agnostic Pre-training for Zero-shot Text Classification
University of Michigan(密歇根大学)
本文提出隐式和显式两种标签无关预训练策略,通过注入方面级理解提升预训练语言模型在零样本文本分类中的跨方面、跨领域泛化能力,并构建新基准 UTCD 验证了方法的有效性。
2023-05-25 cs.CL cs.LG
Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究零样本多标签文本分类,提出利用文档元数据诱导对比学习(MICoL)方法,通过文档元数据构建相似文档对训练分类器,在无需标注数据下性能媲美有监督方法并缓解长尾标签问题。
2022-03-24 cs.CL cs.LG
DEFTri: A Few-Shot Label Fused Contextual Representation Learning For Product Defect Triage in e-Commerce
Walmart Global Tech(沃尔玛全球技术)
针对电商缺陷分诊效率低的问题,提出基于微调BERT的DEFTri框架,通过标签融合嵌入优化上下文表示,并结合弱监督与对抗学习在沃尔玛专有少样本缺陷数据集上实现多标签分诊。
2023-07-21 cs.CL cs.SE
Exploring the Limits of Natural Language Inference Based Setup for Few-Shot Intent Detection
本研究提出基于自然语言推理的少样本意图检测方法,利用类标签语义,在1-shot和5-shot任务上F1提升2-8%,广义设置下提升达20%。
2023-12-26 cs.CL cs.LG
Zero-shot Entailment of Leaderboards for Empirical AI Research
L3S Research Center, Leibniz University of Hannover(汉诺威莱布尼茨大学L3S研究中心);TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心)
我们提出了一个大规模的实证调查的零样本学习现象,在一个特定的识别文本蕴涵(RTE)任务类别,即自动挖掘排行榜的实证人工智能研究。先前报道的用于排行榜提取的最先进的模型被制定为RTE任务,在非零拍摄设置中,具有超过90%的报道性能。然而,一个核心的研究问题仍然没有得到研究:模型真的学会了蕴涵吗?因此,对于本文中的实验,两个先前报道的最先进的模型被开箱即用地测试了它们的泛化能力或蕴涵能力,给定了在训练过程中看不到的排行榜标签。我们假设,如果模型学习了蕴涵,那么它们的zero-shot表现也可以预期是适度高的--也许,具体地说,比机会更好。作为这项工作的结果,一个zero-shot标记的数据集是通过制定排行榜提取RTE任务的远程标记创建的。
2023-03-29 cs.AI cs.CL cs.LG
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design(新加坡科技设计大学)
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现,文本标签(即,关系名称和关系描述)对于学习类表示非常有用,这将有益于少样本学习任务。然而,在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中,我们认为,这种方法可能并不总是导致最佳结果。相反,我们提出了一种新的方法,称为标签提示辍学,随机删除标签的描述在学习过程中。我们的实验表明,我们的方法是能够导致改进的类表示,产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
All Labels Together: Low-shot Intent Detection with an Efficient Label Semantic Encoding Paradigm
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(赛富时研究院);Penn State University(宾夕法尼亚州立大学);Hangzhou Dianzi University(杭州电子科技大学)
针对少样本意图检测中标签语义利用不足的问题,提出端到端 One-to-All 系统将输入话语与所有标签候选比较以充分利用标签语义,在1/3/5-shot设置下达到SOTA,并借助复述预训练实现零样本跨域泛化。
2023-09-08 cs.CL
Ask2Transformers: Zero-Shot Domain labelling with Pre-trained Language Models
HiTZ Center(HiTZ中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
在本文中,我们提出了一个系统,利用不同的预先训练的语言模型分配域标签的WordNet同义词集没有任何形式的监督。此外,系统不限于使用特定的域标签集合。我们利用不同的现成的预训练语言模型和任务公式中编码的知识来推断特定WordNet定义的域标签。所提出的zero-shot系统在评估中使用的英语数据集上实现了新的最先进水平。
2021-01-29 cs.CL
Label Semantics for Few Shot Named Entity Recognition
AWS AI Labs(亚马逊云科技人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
研究了命名实体识别的少样本学习问题。具体来说,我们利用标签名称中的语义信息作为一种方式,为模型提供额外的信号和丰富的先验知识。我们提出了一个神经架构,由两个BERT编码器,一个编码的文档和它的令牌和另一个编码的标签在自然语言格式。我们的模型学习将第一个编码器计算的命名实体的表示与第二个编码器计算的标签表示相匹配。标签语义信号被示出为支持多个Few Shot NER基准测试和标准基准测试中的标准性能的改进的最先进的结果。我们的模型在低资源环境中特别有效。
2022-03-16 cs.CL
X-Shot: A Unified System to Handle Frequent, Few-shot and Zero-shot Learning Simultaneously in Classification
Temple University(天普大学);University of California, Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Penn State University(宾夕法尼亚州立大学)
该研究提出X-shot分类新挑战以适配真实场景中标签频率的多样性,同时提出BinBin方法,结合指令跟随的间接监督与大语言模型的弱监督,在多领域基准上取得了优于现有技术的表现。
2024-03-06 cs.CL
APP: Adaptive Prototypical Pseudo-Labeling for Few-shot OOD Detection
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
针对少样本OOD检测中标注IND数据稀缺和大量未标注混合数据难以利用的问题,本文提出APP方法,结合ProtoOOD框架与自适应伪标签策略,有效提升低资源场景下的OOD意图检测性能。
2023-10-20 cs.CL
Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models
Department of Computer Science, University of Sheffield, UK(计算机科学系,谢菲尔德大学)
针对零样本分类中标签选项对上下文学习性能影响未充分探索的问题,提出LOADS方法,基于激活分布峰度选择最优标签集,无需标记数据,在多任务多模型上性能提升显著。
2025-08-26 cs.CL
Bridge to Target Domain by Prototypical Contrastive Learning and Label Confusion: Re-explore Zero-Shot Learning for Slot Filling
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Group(美团集团)
Zero-shot跨域缝隙填充技术在目标域数据稀缺的情况下,消除了数据相关性,引起了广泛的研究。然而,现有的方法大多不能有效地将知识转移到目标领域,只能拟合目标领域中可见槽的分布,而对目标领域中不可见槽的知识转移效果较差。为了解决这个问题,我们提出了一种新的方法,基于原型对比学习与动态标签混淆策略的zero-shot插槽填充。原型对比学习的目的是重构标签的语义约束,我们引入标签混淆策略来动态建立源域和目标域之间的标签依赖。实验结果表明,我们的模型实现了显着的改善,同时也设置了新的国家的最先进的槽填充任务。
2021-10-07 cs.CL
ConVEx: Data-Efficient and Few-Shot Slot Labeling
PolyAI Ltd(PolyAI有限公司);University of Cambridge(剑桥大学)
我们提出了ConVEx(会话值提取器),这是一种有效的预训练和微调神经方法,用于槽标签对话任务。而不是依赖于更一般的预培训目标从以前的工作(例如,语言建模,响应选择),ConVEx的预训练目标,一种使用Reddit数据的新型成对完形填空任务,与其在序列标签任务上的预期用途非常一致。这使得通过简单地微调预训练的通用序列标记模型的解码层来学习特定于域的槽标记器,而预训练模型的大部分参数保持冻结。我们报告了ConVEx在一系列不同领域和数据集上的最新性能,用于对话框槽标记,在最具挑战性的Few-Shot设置中获得最大收益。我们认为ConVEx减少了预训练时间(即,在12个GPU上仅需18小时)和成本,以及其高效的微调和强大的性能,为数据高效的序列标记任务提供了更广泛的可移植性和可扩展性。
2021-06-07 cs.CL
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction
HiTZ Basque Center for Language Technologies - Ixa NLP Group(HiTZ巴斯克语言技术中心 - Ixa自然语言处理小组);University of the Basque Country (UPV/EHU)(巴斯克大学)
关系抽取系统需要大量的标注样本,而标注样本的成本很高。在这项工作中,我们重新制定关系抽取作为一个蕴涵任务,简单,手工制作,在不到15分钟的关系,每个关系产生的关系动词化。该系统依赖于一个预先训练的文本蕴涵引擎,该引擎按原样运行(没有训练样本,zero-shot)或进一步在标记的示例上进行微调(Few-Shot或完全训练)。在我们对TACRED的实验中,我们达到了63%的F1 zero-shot,69%,每个关系16个例子(在相同条件下比最好的监督系统高出17%),只有4个点低于最先进的水平(使用20倍以上的训练数据)。我们还表明,性能可以显着提高与更大的蕴涵模型,高达12点的zero-shot,允许报告最好的结果时,充分训练的TARED日期。分析表明,我们的Few-Shot系统是特别有效的关系之间的区别,在低数据制度的性能差异主要来自于识别无关系的情况下。
2021-09-08 cs.CL
Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究的问题,Few-Shot细粒度实体类型(FET),其中只有几个注释的实体提到的上下文是每个实体类型。最近,通过将实体类型分类任务公式化为“填空”问题,在Few-Shot场景中,基于优化的调优表现出优于标准微调的性能。这允许有效利用预训练语言模型(PLM)的强大语言建模能力。尽管当前基于语义的调优方法取得了成功,但仍然存在两个主要挑战:(1)提示中的动词化器是手动设计的,或者是从外部知识库构建的,而不考虑目标语料库和标签层次结构信息;(2)当前方法主要利用PLM的表示能力,但尚未探索通过广泛的通用域预训练获得的生成能力。在这项工作中,我们提出了一个新的框架,由两个模块组成的Few-Shot FET:(1)实体类型标签解释模块自动学习相关的类型标签的词汇表,通过联合利用Few-Shot实例和标签层次结构,和(2)基于类型的上下文实例生成器产生新的实例的基础上给定的实例,以扩大训练集更好的泛化。在三个基准数据集上,我们的模型明显优于现有方法。代码可以在https://github.com/teapot123/Fine-Grained-Entity-Typing上找到。
2022-06-28 cs.CL
A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition
Samsung R&D Institute China-Beijing(三星中国北京研发院)
针对少样本 NER 中标签语义利用不当导致上下文表示区分不足的问题,提出统一标签感知 token 级对比学习框架,结合后缀提示与双对比目标,在多个数据集上显著超越现有方法。
2024-05-08 cs.CL
Large-Scale Label Interpretation Learning for Few-Shot Named Entity Recognition
Humboldt Universität zu Berlin(柏林洪堡大学)
本文提出通过大规模增加标签解释学习的实体类型数量和粒度,利用强语义先验提升少样本命名实体识别性能,在零样本及少样本的领域内、跨领域和跨语言设置中均取得显著效果。
2024-03-21 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen(哥本哈根大学);Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd.(Cognitiv+ 有限公司)
我们介绍了MULTI-EURLEX,一个新的多语言数据集的主题分类的法律文件。该数据集包含65,000条欧盟(EU)法律,官方翻译为23种语言,并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性,而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台,其中我们利用一种语言(源)中的注释训练文档对另一种语言(目标)中的文档进行分类。我们发现,在单一源语言中微调多语言预训练模型(XLM-ROBERTA,MT5)会导致灾难性的多语言知识遗忘,因此,到其他语言的zero-shot迁移很差。适应策略,即部分微调,适配器,BITFIT,LNFIT,最初提出来加速新的最终任务的微调,有助于保留预训练的多语言知识,大大提高zero-shot跨语言迁移,但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Alibaba Group(阿里巴巴集团)
在本文中,我们探讨了槽标记只有几个标记的支持句(a.k.a. Few-Shot)。与其他Few-Shot分类问题相比,Few-Shot槽标记面临着独特的挑战,因为它需要对标签之间的依赖关系进行建模。但是,由于标签集的差异,很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题,我们在条件随机场(CRF)中引入了一个折叠依赖转移机制,以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中,CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性,我们提出了一个标签增强的任务自适应投影网络(L-TapNet)的基础上,国家的最先进的Few-Shot分类模型- TapNet,利用标签名称语义表示标签。实验结果表明,我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
CSS: Combining Self-training and Self-supervised Learning for Few-shot Dialogue State Tracking
CUHK-Shenzhen(香港中文大学(深圳));JD AI Research(京东人工智能研究院);Pengcheng Lab(鹏城实验室)
Few-Shot对话状态跟踪(DST)是用有限的标记数据训练DST模型的现实问题。现有的Few-Shot方法主要传递从外部标记的对话数据(例如,从问答、对话摘要、机器阅读理解任务等)然而,收集大量的外部标记数据是费力的,并且外部数据可能不会有效地有助于DST特定的任务。在本文中,我们提出了一个称为CSS的Few-Shot DST框架,它结合了自训练和自监督学习方法。DST任务的未标记数据被纳入自训练迭代中,其中伪标签由预先在有限的标记数据上训练的DST模型预测。此外,一个对比的自我监督的方法是用来学习更好的表示,其中的数据是增加的dropout操作训练模型。MultiWOZ数据集上的实验结果表明,我们提出的CSS在几个Few-Shot场景中达到了有竞争力的性能。
2022-10-11 cs.CL
Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy
University of Toronto(多伦多大学);Dalla Lana School of Public Health(达拉·拉纳公共卫生学院);Institute of Health Policy, Management, and Evaluation (IHPME)(卫生政策、管理与评价研究所);Faculty of Information(信息学院);Schwartz Reisman Institute(施瓦茨·赖斯曼研究所)
本研究针对公共卫生社交媒体数据标注耗时昂贵的问题,对比零样本LLM标注与传统众包标注的表现,发现LLM在简单分类任务中可媲美人类且大幅提速,但复杂任务准确性下降,为公共卫生研究标注提供高效方案。
2025-02-10 cs.CL
Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition
University of Michigan(密歇根大学)
提出对比蒸馏框架,从LLMs(如GPT-4)蒸馏情感知识至紧凑模型,实现零样本情感识别,性能接近GPT-4且规模小万倍以上。
2025-05-23 cs.CL
Few-shot Learning for Multi-label Intent Detection
Harbin Institute of Technology(哈尔滨工业大学)
在本文中,我们研究了Few-Shot多标签分类的用户意图检测。对于多标签意图检测,最先进的工作估计标签实例相关性分数,并使用阈值来选择多个相关联的意图标签。为了仅用几个例子确定适当的阈值,我们首先学习数据丰富域上的通用阈值经验,然后通过基于非参数学习的校准将阈值适应于某些Few-Shot域。为了更好地计算标签-实例相关性得分,我们引入标签名称嵌入作为表示空间中的锚点,从而细化不同类别的表示,使其彼此分离。两个数据集上的实验表明,该模型显着优于强基线在一次拍摄和五次拍摄设置。
2020-10-11 cs.AI cs.CL
Familiarity: Better Evaluation of Zero-Shot Named Entity Recognition by Quantifying Label Shifts in Synthetic Training Data
Humboldt Universität zu Berlin(柏林洪堡大学);DFKI(德国人工智能研究中心);Amazon(亚马逊公司)
本文提出 Familiarity 指标,通过量化合成训练数据与评估基准之间的标签语义相似性和频率来估计标签偏移,从而更准确地评估零样本 NER 能力并支持细粒度分析。
2025-03-07 cs.CL
Unifying Token and Span Level Supervisions for Few-Shot Sequence Labeling
Nanjing University(南京大学);Tencent Cloud Xiaowei(腾讯云小微)
针对少样本序列标注单一粒度训练的缺陷,提出统一token与span层级监督的CDAP网络,通过一致性损失与一致贪心推理实现多粒度协同,在三个基准数据集上取得最优结果。
2023-07-20 cs.CL
DS$^2$-ABSA: Dual-Stream Data Synthesis with Label Refinement for Few-Shot Aspect-Based Sentiment Analysis
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
提出DS$^2$-ABSA双流数据合成框架,通过关键点驱动和实例驱动两视角结合标签精炼模块,少样本ABSA生成多样高质量数据,显著优于现有方法。
2024-12-19 cs.CL
Detecting Local Insights from Global Labels: Supervised & Zero-Shot Sequence Labeling via a Convolutional Decomposition
Harvard University(哈佛大学)
我们提出了一种新的,更可行的神经网络可解释性和数据分析的观点,通过利用来自深度网络的表示的显着匹配有效性,由类条件特征检测方法指导。卷积神经网络和线性层在预先训练的深度网络上的过滤器-ngram交互的分解产生了强大的二进制序列标记器,在从完全监督的序列标记设置到具有挑战性的zero-shot序列标记设置的不同标签粒度下产生预测和定义损失函数方面具有灵活性,其中我们寻求标记级预测,但只有文档级标签用于训练。从这个序列标记层,我们得到输入的密集表示,然后可以将其与训练中的实例或具有已知标签的支持集进行匹配。在某些情况下,这种具有推理时间决策规则的自省提供了一种方法,通过改变支持集中的标签或实例来对模型进行局部更新,而无需重新训练完整模型。最后,我们从匹配的样本表示中构建了一个特定的K-最近邻(K-NN)模型,该模型近似于原始模型的预测,并且至少与地面真实标签的预测一样有效。这还在令牌级别上产生可解释的算法,用于确定预测何时不太可能可靠,以及用于筛选与支持集不同的输入。实际上,我们证明了我们可以将深度网络转换为对样本和相关标签的简单加权,从而产生原始模型的可内省-并且可适度更新-版本。
2021-06-12 cs.CL
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学)
虽然Few-Shot分类已被广泛探索与基于相似性的方法,Few-Shot序列标记构成了一个独特的挑战,因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性,我们建议利用条件随机场(CRF)在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数,并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时,不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题,我们引入了依赖转移机制,转移抽象标签转换模式。此外,相似性方法依赖于高质量的样本表示,这对于序列标记是具有挑战性的,因为当测量单词与不同句子中的单词的相似性时,单词的含义是不同的。为了弥补这一点,我们利用最近的上下文嵌入技术,并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明,我们的模型显着优于最强的少样本学习基线分别为11.76(21.2%)和12.18(97.7%)的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
虽然预训练的语言模型在几个自然语言理解任务中获得了最先进的性能,但它们在决策过程中非常不透明。虽然最近的一些工作专注于通过突出文本中的突出概念作为理由或理由来合理化神经预测,但它们依赖于数千个标记的训练样本用于任务标签以及注释的每个实例的理由。对于许多任务来说,获得这种广泛的大规模注释是不可行的。为此,我们开发了一个多任务的教师-学生框架的基础上自我训练语言模型有限的任务特定的标签和理由,明智的样本选择,从信息丰富的伪标记的例子1。我们研究了构成良好理论基础的几个特征,并证明了神经模型的性能可以通过使其意识到其合理化预测来显着提高,特别是在低资源环境中。在多个基准数据集上的实验证明了该方法的有效性。
2021-09-17 cs.CL
Meta learning to classify intent and slot labels with noisy few shot examples
Amazon AI(亚马逊人工智能)
最近,深度学习已经主导了许多机器学习领域,包括口语语言理解(SLU)。然而,深度学习模型因数据饥渴而臭名昭著,并且高度优化的模型通常对所提供的训练样本的质量以及训练和推理条件之间的一致性敏感。为了提高SLU模型在噪声和低训练资源任务上的性能,我们提出了一个新的SLU基准测试任务:Few-Shot鲁棒SLU,其中SLU包括两个核心问题,意图分类(IC)和槽标记(SL)。我们通过在三个公共IC/SL数据集ATIS、SNIPS和TOP上定义Few-Shot分裂,并向分裂中添加两种类型的自然噪声(自适应示例缺失/替换和模态失配)来建立任务。我们进一步提出了一种新的噪声鲁棒的Few-Shot SLU模型的基础上的原型网络。我们表明,该模型始终优于传统的微调基线和另一种流行的元学习方法,模型不可知元学习(MAML),在实现更好的IC精度和SL F1,并产生较小的性能变化时,噪声存在。
2020-11-30 cs.CL
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation
Microsoft Research Asia(微软亚洲研究院);The University of Hong Kong(香港大学);Beihang University(北京航空航天大学)
命名实体识别(NER)面临着标注训练数据缺乏的问题,特别是对于没有标注数据的低资源语言。跨语言NER已经被提出来通过经由对齐的跨语言表示或机器翻译结果将知识从高资源语言转移到低资源语言来缓解这个问题。然而,跨语言NER方法的性能受到翻译或标签投影质量不理想的严重影响。为了解决这些问题,我们提出了一个跨语言实体投影框架(CROP),使zero-shot跨语言NER的帮助下,多语言标记序列翻译模型。具体地,目标序列首先被翻译成源语言,然后由源NER模型标记。我们进一步采用标记序列翻译模型,将标记序列映射回目标语言,并标记目标原始句子。最终,整个管道通过自我训练的方式集成到端到端模型中。两个基准测试的实验结果表明,我们的方法大大优于以前的强基线+3 7 F1分数的大幅度,并实现了最先进的性能。
2022-10-13 cs.CL
Dynamic Label Name Refinement for Few-Shot Dialogue Intent Classification
Chung-Ang University(中央大学);LG AI Research(LG人工智能研究院)
本文提出一种基于上下文学习和动态标签优化的少样本对话意图分类方法,通过大型语言模型动态优化意图标签以区分相似意图,在多个数据集上显著提升性能并增强标签可解释性。
2024-12-20 cs.CL
Zero-shot Chinese Discourse Dependency Parsing via Cross-lingual Mapping
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
由于缺乏标记数据,语篇分析在某些语言中仍然具有挑战性。本文提出了一种利用英语语篇标注数据和句法分析技术进行zero-shot中文文本级依存句法分析的方法。首先从句子和基本话语单位(EDU)两个层面构建汉英映射,然后利用对应英文译文的句法分析结果构建中文文本的话语树。该方法不需要大规模的中文标注数据,就能自动进行汉语篇章分析。
2019-11-27 cs.CL
Few-Shot Multi-Label Aspect Category Detection Utilizing Prototypical Network with Sentence-Level Weighting and Label Augmentation
Waseda University(早稻田大学)
针对少样本多标签方面类别检测中原型平均表示与标签信息不足的问题,本文提出融合标签增强、支持集注意力及句子级加权原型的 Prototypical Network,并在 Yelp 四种场景下超过全部基线。
2023-09-27 cs.CL
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
我们研究如何在没有任何直接监督的情况下,在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时,用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意,句子中的信息会分布在许多标记之间,从而对zero-shot标记级性能产生负面影响。我们发现,一个软的注意力模块,明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
本文提出首个基于LLM的检索式上下文学习框架用于少样本层次文本分类,通过标签感知检索表示和迭代标签管理策略,在三个基准数据集上取得最先进结果。
2024-06-29 cs.CL
Unsupervised Ranking and Aggregation of Label Descriptions for Zero-Shot Classifiers
Symanto Research(Symanto研究院);Universitat Politècnica de València(瓦伦西亚理工大学);PRHLT Research Center(PRHLT研究中心)
基于标签描述的Zero-shot文本分类器将输入文本和一组标签嵌入到同一空间中:然后可以使用余弦相似度等度量来选择与输入文本最相似的标签描述作为预测标签。在真正的zero-shot设置中,设计良好的标签描述是具有挑战性的,因为没有可用的开发集。受《带分歧学习》文献的启发,我们研究了重复评级分析的概率模型如何用于以无监督的方式选择最佳标签描述。我们在一组不同的数据集和任务(情感,主题和立场)上评估我们的方法。此外,我们表明,多个,嘈杂的标签描述可以聚合,以提高性能。
2022-05-24 cs.CL cs.LG
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs(亚马逊云科技人工智能实验室)
获得面向任务的对话系统的基于训练神经网络(NN)的自然语言理解(NLU)组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的,特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法,不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签,我们表明,可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系,以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构,翻译之间的单词和句子嵌入空间,并证明这些修改是必要的,使零样本学习这项任务。我们展示了强基线的实质性改进,并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners
Illinois Institute of Technology(伊利诺伊理工学院)
大型预训练语言模型(PLM)的最新进展通过特定于任务的微调在自然语言理解(NLU)任务方面取得了令人印象深刻的进展。然而,直接微调PLM严重依赖于足够的标记训练实例,这通常是很难获得的。PLM上的基于数据库的调优已被证明对于各种下游Few-Shot任务是强大的。现有的工作研究Few-Shot自然语言理解任务的基于语义的调整主要集中在派生适当的标签词与动词或生成提示模板,以引出语义从PLM。此外,传统的数据增强策略,如同义词替换,虽然广泛采用在低资源的情况下,只带来边际改进的少样本学习。因此,一个重要的研究问题出现了:如何设计有效的数据增强方法,为基础的Few-Shot调整?为此,考虑到标签语义是必不可少的,在基于标签的调整,我们提出了一种新的标签引导的数据增强的框架BattDA,它利用丰富的标签语义信息的数据增强。在Few-Shot文本分类任务上的大量实验结果表明,该框架通过有效利用标签语义和数据增强进行自然语言理解,具有优异的性能。我们的代码可在https://github.com/canyuchen/PromptDA上获得。
2023-03-22 cs.AI cs.CL
Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
New York University(纽约大学);University of California, San Diego(加州大学圣地亚哥分校)
基于知识的学习(即,提示)是一种用于利用由预训练的语言模型学习的知识的新兴范例。在本文中,我们提出了自动多标签标注(AMuLaP),一个简单而有效的方法来自动选择标签映射的Few-Shot文本分类提示。我们的方法利用一对多的标签映射和一个基于代数的算法来选择标签映射给出一个提示模板。我们的实验表明,AMuLaP达到竞争力的性能,在没有人力或外部资源的情况下,在GLUE基准。
2022-04-14 cs.AI cs.CL cs.LG
ICXML: An In-Context Learning Framework for Zero-Shot Extreme Multi-Label Classification
Center for Intelligent Information Retrieval(智能信息检索中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对零样本极端多标签分类任务标签空间过大难以应用上下文学习的问题,提出两阶段框架ICXML,先生成候选标签缩小搜索空间再重排序,在两个公开基准上取得SOTA结果。
2024-04-15 cs.CL cs.LG
Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
在zero-shot多语言抽取式文本摘要中,通常在英语摘要数据集上训练模型,然后将其应用于其他语言的摘要数据集。给定英文黄金摘要和文档,用于提取摘要的摘要级标签通常使用语法生成。然而,在英语数据集上创建的这些单语标签在其他语言的数据集上可能不是最佳的,因为不同语言之间存在句法或语义差异。通过这种方式,可以将英语数据集翻译为其他语言,并使用语法学再次获得不同的标签集。为了充分利用这些不同标签集的信息,我们提出了NLSSum(用于摘要的神经标签搜索),它与我们的摘要模型一起学习这些不同标签集的分层权重。我们在MLSUM和WikiLingua数据集上进行了多语言zero-shot摘要实验,并在这两个数据集上使用人工和自动评估实现了最先进的结果。
2022-04-29 cs.AI cs.CL