PanGu-$α$: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation
大规模预训练语言模型(PLMs)已成为自然语言处理(NLP)的新范式。具有数千亿参数的PLM(如GPT-3)在自然语言理解和\textit{few-shot in-context}学习生成方面表现出了强大的性能。在这项工作中,我们提出了我们的实践训练大规模自回归语言模型命名盘古- $α$,高达2000亿参数。PanGu- $α$是在MindSpore下开发的,并在2048个Ascend 910 AI处理器集群上训练。基于MindSpore Auto-parallel实现了训练并行策略,该策略包括数据并行、操作级模型并行、流水线模型并行、优化器模型并行和再物化5个并行维度,可有效地将训练任务扩展到2048个处理器。为了提高PanGu- $α$的泛化能力,我们从广泛的领域收集了1.1TB的高质量中文数据来预训练模型。我们实证测试$α$在各种场景下的生成能力,包括文本摘要,问答,对话生成等。此外,我们调查了模型规模对Few-Shot性能的影响,在广泛的中文NLP任务。实验结果表明PanGu- $α$在执行各种任务时在Few-Shot或zero-shot设置下的优越能力。
2021-04-26 cs.CL
FewMMBench: A Benchmark for Multimodal Few-Shot Learning
Aselsan Research(阿塞利桑研究)
FewMMBench是一个用于评估多模态少样本学习能力的基准测试,通过系统分析不同任务类型、模型家族和提示策略,揭示指令调优模型在零样本性能上的优势及CoT推理的局限性。
2026-02-25 cs.CL
Making Pretrained Language Models Good Long-tailed Learners
Beijing Institute of Technology(北京理工大学);Meituan(美团)
由于其能够有效地利用预先训练的知识,预调优在Few-Shot分类中表现出了吸引人的性能。这促使我们检查的假设,即调优也是长尾分类的一个有前途的选择,因为尾部类直观上是Few-Shot的。为了实现这一目标,我们进行了实证研究,以检验假设。实验结果表明,预调优使得预训练的语言模型至少是好的长尾学习者。为了直观地了解为什么自动调优可以在长尾分类中实现良好的性能,我们通过逐步弥合自动调优和常用微调之间的差距来进行深入分析。总而言之,与不太重要的输入结构相比,分类器结构和参数化是制作好长尾学习器的关键。最后,我们验证了我们的发现适用于Few-Shot分类。好的长尾学习者可以缩写为Glee。
2022-10-10 cs.CL cs.LG
KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model
Institute of Artificial Intelligence, Soochow University(苏州大学人工智能研究院);Peking University(北京大学);The Hong Kong Polytechnic University(香港理工大学);Pharmcube(药智魔方);Changping Laboratory(昌平实验室)
针对生物医学领域多语言模型训练数据稀缺的问题,提出知识锚定模型KBioXLM,通过融入多粒度知识对齐与对应训练任务增强XLM-R的跨语言能力,在零样本和少样本场景下显著优于现有模型。
2023-11-20 cs.CL
Zero-Shot Next-Item Recommendation using Large Pretrained Language Models
Singapore Management University(新加坡管理大学)
本研究提出零样本下一项推荐(NIR)提示策略,通过3步提示引导GPT-3生成候选项目并推荐排名列表,在MovieLens 100K上实现强零样本性能,超越部分全量训练的序列推荐模型。
2023-04-06 cs.CL cs.IR
Coherence boosting: When your pretrained language model is not paying enough attention
Mila / Université de Montréal(米拉 / 蒙特利尔大学);Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
长距离语义连贯一直是语言生成和理解中的一个难题。我们证明了大语言模型没有充分地学习远距离单词对下一个标记预测的影响。我们提出的连贯性增强,推理过程,增加LM的重点放在一个长期的背景。我们通过对生成的普通文本和对话响应进行分布分析,展示了使用预训练模型增强一致性的好处。研究还发现,对于各种zero-shot NLP任务,使用最先进的模型进行一致性增强,无需额外的训练即可获得性能增益。
2022-03-16 cs.CL
Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model
University of California, Santa Barbara(加州大学圣巴巴拉分校);Facebook AI(Facebook人工智能)
预训练语言模型的最新突破已经表明了自监督学习对广泛的自然语言处理(NLP)任务的有效性。除了标准的语法和语义NLP任务外,预训练模型在涉及真实世界知识的任务上也取得了很大的改进,这表明大规模语言建模可能是一种捕获知识的隐式方法。在这项工作中,我们进一步研究了预训练模型(如BERT)使用zero-shot事实完成任务捕获知识的程度。此外,我们提出了一个简单而有效的弱监督预训练目标,它明确地迫使模型包含有关真实世界实体的知识。用我们的新目标训练的模型在事实完成任务上有显著的改进。当应用于下游任务时,我们的模型在四个实体相关的问答数据集上的表现始终优于BERT(即,WebQuestions、TriviaQA、SearchQA和Quasar-T),平均有2.7个F1改进和一个标准的细粒度实体类型数据集(即,FIGER),具有5.7精度增益。
2019-12-20 cs.CL
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
提出 ProToCo,通过生成声明变体并施加一致性约束,结合 PEFT 提升 PLM 的少样本与零样本事实验证能力,并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Task Contamination: Language Models May Not Be Few-Shot Anymore
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文研究了LLMs的零样本和少样本性能随时间的变化,发现训练数据创建日期前发布的数据集上存在任务污染,且在无污染的分类任务中LLMs极少显著优于简单多数基线。
2023-12-26 cs.CL
Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
创建zero-shot跨语言检索模型的一种流行方法是用多语言预训练语言模型(例如多语言BERT)替换检索模型中的单语言预训练语言模型。这种多语言模型被微调为单语言数据(如英语MS MARCO)的检索任务,使用与所使用的单语言检索模型相同的训练配方。然而,这种转移的模型在训练和推理期间遭受输入文本的语言的不匹配。在这项工作中,我们提出了使用适配器,一个参数有效的组件,一个Transformer网络传输单语检索模型。通过添加针对特定语言的语言任务预训练的适配器和特定任务的适配器,先前的工作表明,在各种NLP任务中跨语言传输时,适配器增强模型的性能优于微调整个模型。通过构建具有适配器的稠密检索模型,我们表明,当转移到跨语言信息检索(CLIR)设置时,用单语数据训练的模型比微调整个模型更有效。然而,我们发现,先前的建议,更换语言适配器,以匹配目标语言在推理时间是次优的稠密检索模型。我们对其他跨语言NLP任务和CLIR之间的这种差异进行了深入分析。
2022-12-20 cs.CL cs.IR
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理(NLP)的许多任务中取得了新的突破。最近的研究表明,深度Transformer语言模型(在大量文本上进行预训练)可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而,这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型,即GPT-3和BioBERT,在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明,在很大程度上,这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果,但它无法像BioBERT那样有效,BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练,我们的研究表明,语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而,域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
Locally Differentially Private Document Generation Using Zero Shot Prompting
Cohere For AI;IBM Research(IBM研究院)
本文提出DP-Prompt机制,利用预训练大语言模型和零样本提示实现本地差分隐私文档生成,在IMDB等数据集上显著降低作者去匿名化攻击成功率,同时保持下游情感分析效用,并在多个开源大语言模型上验证了隐私-效用权衡。
2023-11-30 cs.CL cs.CR cs.LG
To Tune or Not To Tune? Zero-shot Models for Legal Case Entailment
NeuralMind;University of Campinas (Unicamp)(坎皮纳斯大学);Federal University of Goiás (UFG)(戈亚斯联邦大学);University of Waterloo(滑铁卢大学)
越来越多的证据表明,在大型和多样化的监督数据集上进行微调的预训练语言模型可以很好地转移到各种域外任务中。在这项工作中,我们调查这种转移能力的法律领域。为此,我们参与了COLIEE 2021的法律案例蕴涵任务,在该任务中,我们使用了这些模型,而没有对目标领域进行调整。我们的参赛作品获得了最高分,超过了第二名超过6个百分点。我们的实验证实了预训练语言模型的新范式中的一个反直觉结果:给定有限的标记数据,对目标任务几乎没有适应的模型可以比在其上微调的模型对数据分布的变化更鲁棒。代码可在https://github.com/neuralmind-ai/coliee上获得。
2022-02-07 cs.CL cs.LG
FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team(CLUE团队)
预训练语言模型(PLM)在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调,zero-shot,和少样本学习-已被广泛探索和比较的语言,如英语,有相对较少的工作,公平和全面的评估和比较这些方法,从而阻碍了累积的进展。在本文中,我们介绍了中文少样本学习评估基准(FewCLUE),第一个全面的Few-Shot评估基准中文。它包括九个任务,从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的(SOTA)少样本学习方法(包括PET,ADAPET,LM-BFF,P-tuning和EFL),并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明:1)不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2)PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外,我们还提供了一个用户友好的工具包,以及一个在线排行榜,以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现,为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
Impact of Pretraining Term Frequencies on Few-Shot Reasoning
University of California, Irvine(加州大学欧文分校);Microsoft Semantic Machines(微软语义机器公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
预先训练的语言模型(LM)已经证明了通过在Few-Shot设置中从几个例子中推断来执行数值推理的能力。然而,这种推断在多大程度上依赖于可靠的推理尚不清楚。在本文中,我们研究了这些模型在预训练数据中使用频率较低的术语的情况。特别是,我们研究了测试实例上的模型性能与预训练数据中这些实例的术语频率之间的相关性。我们在各种数值推导任务(例如,算术和单位转换)。我们的研究结果一致表明,模型在术语更普遍的实例上更准确,在某些情况下,与底部10%相比,在$70\%$(绝对)以上的顶部10%频繁术语上更准确。总的来说,虽然LM在Few-Shot数值推理任务中表现出很强的性能,但我们的研究结果提出了一个问题,即模型实际上在预训练数据之外推广了多少,我们鼓励研究人员在解释评估结果时考虑预训练数据。
2022-05-24 cs.CL cs.LG
Entailment as Few-Shot Learner
Facebook AI(脸书人工智能研究院)
大型预训练语言模型(LM)已经证明了作为Few-Shot学习者的卓越能力。然而,他们的成功很大程度上取决于缩放模型参数的程度,使其具有挑战性的训练和服务。在本文中,我们提出了一种新的方法,命名为EFL,可以把小LM到更好的Few-Shot学习。这种方法的核心思想是将潜在的NLP任务重新表达为一个蕴涵任务,然后用最少8个示例对模型进行微调。我们进一步证明了我们提出的方法可以:(i)自然地与基于无监督对比学习的数据增强方法相结合;(ii)很容易扩展到多语言少样本学习。对18个标准NLP任务的系统评估表明,该方法将现有的各种SOTA少样本学习方法提高了12%,并在500倍大的模型(如GPT-3)上产生了具有竞争力的Few-Shot性能。
2021-04-29 cs.AI cs.CL
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google(谷歌)
大型预训练(例如,"基础")模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的,但它们可能仅勉强重叠。例如,视觉语言模型(VLM)是在互联网规模的图像标题上训练的,但是大语言模型(LM)是在没有图像的互联网规模的文本上进一步训练的(例如,电子表格、SAT问题、代码)。因此,这些模型在不同领域存储不同形式的常识知识。在这项工作中,我们表明这种多样性是共生的,并且可以通过苏格拉底模型(SM)来利用:一个模块化框架,其中多个预训练模型可以由zero-shot组成,即,通过多模态通知提示,彼此交换信息并捕获新的多模态能力,而不需要微调。通过最少的工程,SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争,而且还实现了新的应用,例如(i)回答关于自我中心视频的自由形式的问题,(ii)参与与人的多模态辅助对话(例如,用于烹饪食谱)通过与外部API和数据库(例如,网络搜索),以及(iii)机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations
PolyAI Limited(PolyAI有限公司);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们介绍了跨度ConveRT,一个轻量级的对话框插槽填充框架的任务作为一个回合为基础的跨度提取任务的模型。该公式允许在大型预训练会话模型(诸如ConveRT)中编码的会话知识的简单集成(Henderson等人,2019年)。我们表明,在Span-ConveRT中利用这些知识对于少样本学习场景特别有用:我们报告了1)在目标域从头开始训练表示的跨度提取器和2)基于BERT的跨度提取器的一致增益。为了激发更多的工作跨度提取插槽填充任务,我们还发布了RESTAURANTS-8 K,一个新的具有挑战性的数据集,8,198话语,从餐厅预订领域的实际对话中编译。
2020-07-16 cs.CL
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Ingenuity Labs Research Institute & ECE, Queen’s University(女王大学创新实验室研究所与电子与计算机工程系);Amazon.com Inc(亚马逊公司)
利用标签层次结构已成为解决zero-shot多标签文本分类问题的一种很有前途的方法。传统的方法旨在学习文本和标签之间的匹配模型,使用图形编码器来合并标签层次结构以获得有效的标签表示\cite{rios2018few}。最近,像BERT \cite{devlin2018bert}这样的预训练模型已被用于将分类任务转换为文本蕴涵任务\cite{yin-etal-2019-benchmarking}。这种方法自然适合于M-MTC任务。然而,在现有的工作中,预训练的模型没有得到充分的研究,因为它们不会为文本或标签生成单独的矢量表示,因此将它们与传统的图形编码方法相结合是不直观的。在本文中,我们探索如何改进带有标签层次结构的预训练模型。我们提出了一个加强标签层次推理(RLHR)的方法,以鼓励在训练过程中的层次结构中的标签之间的相互依赖性。同时,为了克服平面预测的弱点,我们设计了一个回滚算法,可以在推理过程中删除预测中的逻辑错误。在三个真实数据集上的实验结果表明,我们的方法取得了更好的性能,并优于以前的非预训练的方法在机器学习MTC任务。
2021-04-04 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research(微软研究院);The University of Hong Kong(香港大学);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德克萨斯A&M大学)
以前的工作主要集中在使用多语言预训练编码器(MPE)改善NLU任务的跨语言迁移,或者使用BERT提高监督机器翻译的性能。然而,MPE是否有助于促进NMT模型的跨语言可移植性,这一点还有待进一步研究。本文重点研究了NMT中的零镜头(zero-shot)跨语言迁移任务。在该任务中,NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练,然后直接在zero-shot语言对上进行测试。我们提出了SixT,这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE,并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法,SixT的性能明显优于mBART,mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型,在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外,与CRISS和m2m-100两个强大的多语言NMT基线相比,我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据,实现了更好的性能。
2021-11-05 cs.CL
AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Stuttgart(斯图加特大学);University of Edinburgh(爱丁堡大学);Microsoft Turing(微软图灵);Facebook AI Research(脸书人工智能研究院);New York University(纽约大学);Universidad de la República, Uruguay(乌拉圭共和国大学);Universidad Tecnológica de Tlaxcala(特拉斯卡拉理工大学);University of Zurich(苏黎世大学);Carnegie Mellon University(卡内基梅隆大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Universidade Tecnológica Federal do Paraná(巴拉那联邦理工大学);Dartmouth College(达特茅斯学院)
预训练的多语言模型能够在zero-shot设置中执行跨语言迁移,即使是预训练期间未看到的语言。然而,以前的工作评估性能看不见的语言在很大程度上被限制在低层次,语法任务,它仍然不清楚,如果零样本学习的高层次,语义任务是可能的看不见的语言。为了探讨这个问题,我们提出了AmericasNLI,XNLI的扩展(Conneau等人,2018年10月,美洲10种原住民语言。我们用XLM-R进行实验,测试多个zero-shot和基于预处理的方法。此外,我们通过持续的预训练探索模型自适应,并通过考虑仅假设模型来提供数据集分析。我们发现,XLM-R的zero-shot性能是穷人的所有10种语言,平均性能为38.62%。持续的预训练提供了改进,平均准确率为44.05%。令人惊讶的是,在翻译不佳的数据上进行训练的准确率远远超过所有其他方法,达到48.72%。
2022-03-16 cs.CL
Empirical study of pretrained multilingual language models for zero-shot cross-lingual knowledge transfer in generation
Naver Labs Europe(Naver欧洲实验室);LMU Munich(慕尼黑大学)
本文实证研究了mBART和NLLB-200等替代多语言预训练模型在生成任务零样本跨语言知识转移中的表现,发现带适配器的mBART与同规模mT5相当,且调整微调学习率能有效缓解生成错误语言的问题。
2024-04-22 cs.CL
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
适配器模块,附加的可训练参数,使预训练的Transformers的有效微调,最近已被用于语言专业化的多语言Transformers,改善下游zero-shot跨语言迁移。在这项工作中,我们提出了正交的语言和任务适配器(称为orthoadapters)的跨语言迁移。他们被训练编码语言和任务特定的信息,这是互补的(即,正交)到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验,涉及三个任务(POS标记,NER,NLI)和一组10种不同的语言,1)指出了orthoadapters在跨语言迁移中的有用性,特别是对于最复杂的NLI任务,但也2)表明,最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
Multilingual Speech Translation with Efficient Finetuning of Pretrained Models
Facebook AI(脸书人工智能研究院)
我们提出了一种简单而有效的方法来建立多语言的语音到文本(ST)的翻译,通过有效的迁移学习从预训练的语音编码器和文本解码器。我们的关键发现是,最小化的LNA(LayerNorm and Attention)微调可以通过仅微调不到10%的预训练参数来实现zero-shot跨语言和跨模态传输能力。这使得能够以低训练成本有效地利用大型预训练模型。使用wav 2 vec 2.0进行声学建模,使用mBART进行多语言文本生成,我们的方法在大规模多语言ST基准测试CoVoST 2上为34个翻译方向(其中23个超过级联ST)提供了最新的技术水平(15个En-X方向平均+6.4 BLEU,19个X-En方向平均+5.1 BLEU)。我们的方法在多对多多语言模型中表现出强大的zero-shot性能(在18个非英语方向上平均+5.7 BLEU),使其成为一种具有吸引力的方法,用于实现高质量的语音翻译,提高参数和数据效率。
2021-01-02 cs.CL
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University(耶鲁大学);Facebook AI(脸书人工智能研究院);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学)
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而,这些模型通常在数十万个数据点上进行微调,这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中,我们介绍了一种新颖的和可推广的方法,称为WikiTransfer,用于微调预训练模型,以无监督的,特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调,伪摘要是从通用维基百科数据中产生的,其中包含目标数据集的特征,例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能,并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒,并且与来自其他摘要数据集的Few-Shot传输相比,使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能,我们通过往返转换采用数据增强,并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用,我们进一步研究了无监督微调数据的组件的影响,并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research(微软研究院);Beijing Institute of Technology(北京理工大学)
多语言预训练语言模型(如多语言BERT)在跨语言迁移方面取得了令人印象深刻的结果。然而,由于恒定的模型容量,多语言预训练通常落后于单语言竞争对手。在这项工作中,我们提出了两种方法来改善zero-shot跨语言分类,通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明,我们的方法优于香草多语言微调。
2019-11-10 cs.CL
SeqZero: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models
Amazon(亚马逊);Georgia Institute of Technology(佐治亚理工学院)
最近的研究表明,结合预训练的语言模型(LM)与规范话语的Few-Shot语义解析有希望的结果。由于形式语言的组成结构,规范话语往往冗长而复杂。学习生成这样的规范话语需要大量的数据来达到高性能。仅用Few-Shot样本进行微调,LM很容易忘记预先训练的知识,过拟合虚假偏差,并遭受成分分布外泛化错误。为了解决这些问题,我们提出了一种新的Few-Shot语义解析方法-- SeqZero。SeqZero将问题分解为一系列子问题,这些子问题对应于形式语言的子子句。基于分解,LM仅需要使用用于预测子子句的提示来生成简短答案。因此,SeqZero避免一次生成长的规范话语。此外,SeqZero不仅采用了Few-Shot模型,而且还采用了zero-shot模型来减轻过拟合。特别是,SeqZero通过集成配备了我们提出的约束重新缩放,从这两个模型的优点。SeqZero实现了GeoQuery和EscherceQuery上基于BART的模型的SOTA性能,这是两个具有组合数据分割的Few-Shot数据集。
2022-05-15 cs.CL
ConEntail: An Entailment-based Framework for Universal Zero and Few Shot Classification with Supervised Contrastive Pretraining
Penn State University(宾夕法尼亚州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通用分类模型旨在推广到零和Few Shot设置中的不同分类任务。一种有希望的通用分类方法是将异构数据格式转换为与数据集无关的"元任务"(例如,文本蕴涵、问答),然后在组合的元数据集上预训练模型。现有的工作要么是对特定的分类任务子集进行预训练,要么是对分类和生成数据进行预训练,但模型在通用性和可靠性方面无法发挥其潜力。这也留下了大量未被利用的注释数据。为了填补这些空白,我们提出了ConEntail,一个新的框架,用于通用零和Few Shot分类,并进行监督对比预训练。我们的统一分类元任务是基于嵌套蕴涵。它可以被解释为"句子a是否包含[句子b包含标签c]"。这个公式使我们能够更好地利用57个带注释的分类数据集进行监督对比预训练和通用评估。通过这种方式,ConEntail帮助模型(1)从不同的数据集中吸收知识,(2)通过更多的预训练数据获得一致的性能增益。在实验中,我们将我们的模型与在相同数据集上预训练的判别模型和生成模型进行了比较。结果证实,我们的框架有效地利用了现有的注释数据,并在零(平均改善9.4%)和Few Shot设置(平均改善3.5%)中始终优于基线。
2023-02-11 cs.CL
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center(华为研究中心)
虽然各种途径的研究已经探索了迭代修剪,很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要,如果通过修剪而扭曲,不仅会导致用于再训练的语言数据的性能较差,而且还会导致评估的zero-shot语言的性能较差。在这项工作中,我们表明,有一个明显的性能差异,在基于幅度的修剪时,比较标准的监督学习的zero-shot设置。根据这一发现,我们提出了两个权重正则化器,旨在最大限度地提高修剪和未修剪网络单元之间的对齐度,以减轻修剪跨语言模型中的对齐失真,并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$,我们还发现,修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究,重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
Can a Frozen Pretrained Language Model be used for Zero-shot Neural Retrieval on Entity-centric Questions?
Kioxia Corporation(铠侠公司)
神经文档检索器,包括密集段落检索(DPR),在特定的问答数据集上进行微调和测试时,表现优于经典的词汇匹配检索器,如BM 25。然而,它已被证明,现有的密集检索不推广以及不仅出域,但即使在域,如维基百科,特别是当一个问题中的命名实体是一个主要的线索检索。在本文中,我们提出了一种方法,对领域泛化内泛化使用的嵌入所产生的冻结语言模型训练的实体领域。通过不微调,我们探索了预训练的语言模型中包含的丰富知识可用于检索任务的可能性。该方法优于传统的DPRs在维基百科领域的实体为中心的问题,并实现几乎相当的性能BM 25和最先进的SPAR模型。我们还表明,上下文化的键导致强大的改进相比,BM 25时,实体名称由常见的单词。我们的研究结果表明,zero-shot检索方法的可行性,以实体为中心的问题的维基百科领域,DPR一直在努力执行。
2023-03-09 cs.AI cs.CL
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
XeroAlign: Zero-Shot Cross-lingual Transformer Alignment
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
预训练的跨语言语言模型的引入为多语言NLP任务带来了决定性的改进。然而,缺乏标记的任务数据需要各种方法来缩小与高资源语言的差距。特别是Zero-shot方法,通常使用翻译的任务数据作为训练信号,以弥合源语言和目标语言之间的性能差距。我们介绍XeroAlign,这是一种简单的方法,用于跨语言预训练Transformers(如XLM-R)的特定任务对齐。XeroAlign使用翻译的任务数据来鼓励模型为不同的语言生成类似的句子嵌入。XeroAligned XLM-R(称为XLM-RA)在基线模型上表现出了强大的改进,在三种多语言自然语言理解任务上实现了最先进的zero-shot结果。XLM-RA的文本分类准确性超过了使用标记数据训练的XLM-R,并且在跨语言对抗性释义任务上与最先进的模型表现相当。
2021-10-25 cs.CL
A Primer on Pretrained Multilingual Language Models
RBCDSAI(罗伯特·博世数据科学与人工智能中心);AI4Bharat;IIT Madras(印度理工学院马德拉斯分校);Microsoft(微软)
多语言语言模型(\MLLMs),如mBERT,XLM,XLM-R,\textit{etc.}已经成为一个可行的选择,使大量的语言预训练的力量。鉴于他们在zero-shot迁移学习中的成功,已经出现了大量的工作:(i)构建更大的\MLLMs ~覆盖大量语言(ii)创建覆盖更广泛的任务和语言的详尽基准,用于评估\MLLMs ~(iii)分析\MLLMs ~在单语上的性能,zero-shot跨语言和双语任务(iv)理解\MLLMs学习的通用语言模式(如果有的话)~和(v)增强\MLLMs ~(通常)有限的能力来提高他们在已知语言甚至未知语言上的表现。在本次调查中,我们回顾了现有的文献,涵盖了与\MLLMs有关的上述广泛的研究领域。根据我们的调查,我们建议了一些有前途的研究方向。
2021-12-23 cs.CL
A Closer Look at Few-Shot Crosslingual Transfer: The Choice of Shots Matters
LMU Munich(慕尼黑大学);University of Cambridge(剑桥大学);Monash University(莫纳什大学);Technion, IIT(以色列理工学院)
Few-Shot跨语言迁移已被证明优于其zero-shot对应物,如多语言BERT等预训练编码器。尽管它越来越受欢迎,很少或根本没有注意到标准化和分析Few-Shot实验的设计。在这项工作中,我们强调了这一缺点所带来的基本风险,说明该模型对少数镜头的选择具有高度的敏感性。我们对40组采样的几个镜头进行了大规模的实验研究,用于多达40种语言的六种不同的NLP任务。我们提供了一个成功和失败的案例分析Few-Shot转移,突出了词汇特征的作用。此外,我们表明,一个简单的全模型微调方法是非常有效的Few-Shot传输,优于几个国家的最先进的Few-Shot的方法。作为标准化Few-Shot跨语言实验设计的一步,我们公开了我们的几个样本。
2021-06-02 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen(哥本哈根大学);Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd.(Cognitiv+ 有限公司)
我们介绍了MULTI-EURLEX,一个新的多语言数据集的主题分类的法律文件。该数据集包含65,000条欧盟(EU)法律,官方翻译为23种语言,并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性,而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台,其中我们利用一种语言(源)中的注释训练文档对另一种语言(目标)中的文档进行分类。我们发现,在单一源语言中微调多语言预训练模型(XLM-ROBERTA,MT5)会导致灾难性的多语言知识遗忘,因此,到其他语言的zero-shot迁移很差。适应策略,即部分微调,适配器,BITFIT,LNFIT,最初提出来加速新的最终任务的微调,有助于保留预训练的多语言知识,大大提高zero-shot跨语言迁移,但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
ConVEx: Data-Efficient and Few-Shot Slot Labeling
PolyAI Ltd(PolyAI有限公司);University of Cambridge(剑桥大学)
我们提出了ConVEx(会话值提取器),这是一种有效的预训练和微调神经方法,用于槽标签对话任务。而不是依赖于更一般的预培训目标从以前的工作(例如,语言建模,响应选择),ConVEx的预训练目标,一种使用Reddit数据的新型成对完形填空任务,与其在序列标签任务上的预期用途非常一致。这使得通过简单地微调预训练的通用序列标记模型的解码层来学习特定于域的槽标记器,而预训练模型的大部分参数保持冻结。我们报告了ConVEx在一系列不同领域和数据集上的最新性能,用于对话框槽标记,在最具挑战性的Few-Shot设置中获得最大收益。我们认为ConVEx减少了预训练时间(即,在12个GPU上仅需18小时)和成本,以及其高效的微调和强大的性能,为数据高效的序列标记任务提供了更广泛的可移植性和可扩展性。
2021-06-07 cs.CL
On Measuring the Intrinsic Few-Shot Hardness of Datasets
Stanford University(斯坦福大学)
虽然预训练的进步导致了NLP任务的少样本学习的显着改进,但对数据集中成功的Few-Shot适应的驱动因素的理解有限。特别是,给定一个新的数据集和一个预先训练的模型,数据集的哪些属性使它成为\emph{few-shot learnable},这些属性是否独立于所使用的特定自适应技术?我们考虑了一组广泛的最近的少样本学习方法,并表明它们在大量数据集上的性能是高度相关的,这表明对于给定的预训练模型,Few-Shot硬度可能是数据集固有的。为了估计内在的Few-Shot硬度,我们提出了一个简单而轻量级的度量,称为“Spread”,它捕捉了这样一种直觉,即通过利用训练样本和测试样本之间的特征空间不变性,可以实现少样本学习。与现有的硬度概念相比,我们的度量更好地解释了Few-Shot硬度,并且计算速度快约8- 100倍。
2022-11-16 cs.CL
Zero-shot Video Moment Retrieval With Off-the-Shelf Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对于大多数机器学习社区来说,收集高质量人工注释数据的昂贵性以及无法在有限的计算上有效地微调非常大的最先进的预训练模型是为新任务构建模型的主要瓶颈。我们提出了一个zero-shot简单的方法,这样的任务,视频时刻检索(VMR),不执行任何额外的微调,只是重新使用现成的模型训练其他任务。我们的三步方法包括矩建议,矩查询匹配和后处理,所有这些都只使用现成的模型。在VMR的QVHighlights基准测试中,我们在所有指标上将以前的zero-shot方法的性能提高了至少2.5倍,并将zero-shot和最先进的监督之间的差距缩小了74%以上。此外,我们还表明,我们的zero-shot方法在召回指标上击败了非预训练的监督模型,并且在mAP指标上非常接近;并且在较短的时刻上,它的表现也优于最好的预训练监督模型。最后,我们消融和分析我们的结果,并提出有趣的未来方向。
2022-11-03 cs.CL cs.CV
Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University(卡内基梅隆大学)
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上,并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务,我们进行实验,在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明,语言模型能够分类委婉语的条款相对较好,即使在训练过程中看不见的新术语,这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
在这项工作中,我们探讨了新的想法,采用依存句法分析信息的上下文中的少样本学习,学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先,我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次,我们介绍了两种少样本学习方法,通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
Everything Is All It Takes: A Multipronged Strategy for Zero-Shot Cross-Lingual Information Extraction
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
零镜头跨语言信息抽取(IE)描述了在给定仅以某个其它语言(通常是英语)的现有注释的情况下,针对某个目标语言的IE模型的构造。虽然预先训练的多语言编码器的进步表明了一个简单的乐观"训练英语,运行在任何语言",我们发现通过彻底的探索和技术的扩展,新老方法的结合,导致更好的性能比任何一个跨语言的战略,特别是。我们探索了包括数据投影和自我训练在内的技术,以及不同的预训练编码器如何影响它们。我们使用英语到阿拉伯语的IE作为我们的初始示例,在此设置中,事件提取,命名实体识别,词性标记和依存句法分析表现出很强的性能。然后,我们将数据投影和自我训练应用于八种目标语言的三个任务。因为没有一组技术在所有任务中表现最好,我们鼓励从业者在寻求改进zero-shot训练时探索本工作中描述的技术的各种配置。
2021-09-14 cs.CL
Extensively Matching for Few-shot Learning Event Detection
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
现有的事件检测模型在监督学习环境下无法转换为新的事件类型。少样本学习在事件检测中还没有被探索过,尽管它允许模型在新事件类型上表现良好并具有高度的泛化能力。在这项工作中,我们制定了事件检测作为一个Few-Shot学习问题,使事件检测扩展到新的事件类型。我们提出了两个新的损失因子,在支持集上匹配样本,为模型提供更多的训练信号。此外,这些训练信号可以应用于许多基于度量的Few-Shot学习模型中。在ACE-2005数据集上的大量实验表明,该方法可以有效地提高少样本学习的性能
2020-06-17 cs.CL
Decomposed Meta-Learning for Few-Shot Named Entity Recognition
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
Few-Shot命名实体识别(NER)系统的目标是仅基于少量标记的实例来识别新类别的命名实体。在本文中,我们提出了一个分解的元学习方法,解决了问题的Few-Shot NER依次解决Few-Shot跨度检测和Few-Shot实体类型使用元学习。特别地,我们将Few-Shot跨度检测问题转化为序列标记问题,并通过引入模型无关元学习(MAML)算法对跨度检测器进行训练,以找到一个能够快速适应新实体类的模型参数初始化。对于Few-Shot实体类型,我们提出了MAML-ProtoNet,即,MAML增强的原型网络,以找到一个良好的嵌入空间,可以更好地区分不同实体类的文本跨度表示。在各种基准测试上的大量实验表明,我们的方法比以前的方法具有更好的性能。
2022-04-13 cs.CL
Vector Projection Network for Few-shot Slot Tagging in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
由于会话对话系统的巨大发展,Few-Shot槽标记变得对快速域转移和适应有吸引力。在本文中,我们提出了一个矢量投影网络的Few-Shot槽标记,利用投影的上下文词嵌入每个目标标签向量作为词标签的相似性。本质上,这种方法相当于具有自适应偏差的归一化线性模型。对比实验表明,我们提出的基于向量投影的相似性度量可以显着优于其他变种。具体来说,在基准SNIPS和NER的五次设置中,我们的方法分别通过F $_1$分数上的$6.30$和$13.79$点优于最强的少样本学习基线。我们的代码将在https://github.com/sz128/few_shot_slot_tagging_and_NER上发布。
2020-09-22 cs.CL
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
Causal Interventions-based Few-Shot Named Entity Recognition
University of South China(南华大学)
针对小样本命名实体识别中样本选择偏差引发虚假相关性导致过拟合的问题,提出基于因果干预的方法,通过后门调整及增量学习干预原型,在多基准上取得SOTA结果,最高绝对提升29%、平均提升12%。
2023-05-03 cs.CL
Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning
National Taiwan University(台湾大学);Intel Labs(英特尔实验室)
提出一种通用的参数高效启动框架,通过在包含160个NLP任务的少样本跨领域基准上实验,验证了该框架能显著提升PLM的少样本适配和跨任务泛化能力。
2024-05-30 cs.AI cs.CL
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University(纽约大学);IBM Research AI(IBM研究院人工智能部门)
预训练的语言模型在自然语言处理的各个领域都取得了成功,包括阅读理解任务。然而,当将机器学习方法应用于新领域时,标记的数据可能并不总是可用的。为了解决这个问题,我们对源域数据进行了有监督的预训练,以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能,以微调预训练模型,而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Simple and Effective Zero-shot Cross-lingual Phoneme Recognition
Facebook AI Research(脸书人工智能研究院)
自训练、自监督预训练和无监督学习的最新进展使语音识别系统能够在没有任何标记数据的情况下表现良好。然而,在许多情况下,有标记的数据可用于相关的语言,这是不利用这些方法。本文通过微调多语言预训练的wav2vec 2.0模型来转录看不见的语言,从而扩展了以前关于zero-shot跨语言迁移学习的工作。这是通过使用发音特征将训练语言的音素映射到目标语言来完成的。实验表明,这种简单的方法显着优于先前的工作,其中引入了特定于任务的架构,并只使用了单语言预训练模型的一部分。
2021-09-23 cs.CL cs.LG cs.SD
Language-Independent Representations Improve Zero-Shot Summarization
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对微调导致零样本跨语言摘要灾难性遗忘的问题,提出 QK 微调与平衡对抗语言分类器,以解耦任务知识和语言生成能力并获得语言无关表示。
2024-04-08 cs.AI cs.CL
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University(复旦大学)
提出了一种新的基于语义的文本微调方法(称为DLM-SCS),该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的,用于Few-Shot文本分类。其基本思想是,使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件(或部分)组成,因此可以相应地分解其语义一致性。每个组件的语义一致性计算,然后利用预训练的ELECTRA模型,而不引入额外的参数。大量的实验表明,我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection
Salesforce Research(Salesforce研究院);Google Research(谷歌研究院);Huazhong University of Science and Technology(华中科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
据报道,预先训练的基于transformer的模型在意图分类方面具有鲁棒性。在这项工作中,我们首先指出了在Few-Shot意图识别任务中的域内范围外检测的重要性,然后说明了预训练的基于transformer的模型对域内但范围外(ID-OOS)的样本的脆弱性。我们构建了两个新的数据集,并根据经验表明,预先训练的模型在ID-OOS示例和一般范围外示例上都表现不佳,特别是在细粒度的Few-Shot意图检测任务上。为了弄清楚模型如何将ID-OOS意图错误地分类为范围内意图,我们进一步对置信度和重叠关键字进行分析,并指出未来工作的几个前瞻性方向。资源可在https://github.com/jianguoz/Few-Shot-Intent-Detection上获得。
2022-04-07 cs.AI cs.CL
Z-LaVI: Zero-Shot Language Solver Fueled by Visual Imagination
University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室)
大规模预训练语言模型在解决下游语言理解任务方面取得了重大进展。然而,他们通常遭受报告偏见,这种现象描述了书面文本中缺乏明确的常识知识,例如,“橙子就是橙子”为了克服这一局限性,我们开发了一种新的方法,Z-LaVI,赋予语言模型视觉想象能力。具体来说,我们利用两种互补类型的“想象力”:(i)通过检索回忆现有的图像和(ii)通过文本到图像生成合成不存在的图像。联合利用语言输入和想象力,预先训练的视觉语言模型(例如,CLIP)最终为原始语言任务组成了一个zero-shot解决方案。值得注意的是,为语言模型注入想象力可以有效地利用视觉知识来解决简单的语言任务。因此,Z-LaVI始终提高了现有语言模型在各种语言任务中的zero-shot性能。
2022-10-21 cs.CL cs.CV
ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models
Carnegie Mellon University(卡内基梅隆大学);UC San Diego(加州大学圣地亚哥分校);Petuum Inc.(Petuum公司);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出ASDOT方法,通过数据消歧和句子融合两步骤,利用预训练语言模型在零样本到全样本等多种数据稀缺场景下实现高效的数据到文本生成。
2022-10-22 cs.AI cs.CL cs.LG