Large Language Models are Few-Shot Clinical Information Extractors
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Münster(明斯特大学)
临床NLP社区的一个长期目标是提取临床笔记中的重要变量。然而,障碍包括从一般领域的数据集转移和缺乏公共临床语料库和注释。在这项工作中,我们表明,大语言模型,如InstructGPT,在零和Few-Shot信息抽取从临床文本,尽管没有专门为临床领域进行训练,表现良好。虽然文本分类和生成性能已经在这些模型中得到了广泛的研究,但在这里,我们还演示了如何利用它们来处理需要更多结构化输出的各种NLP任务,包括跨度识别,标记级序列分类和关系抽取。此外,由于缺乏可用的数据来评估这些系统,我们引入了新的数据集基准Few-Shot临床信息抽取的基础上手动重新注释的CASI数据集的新任务。在我们研究的临床提取任务中,GPT-3系统显著优于现有的零次和Few-Shot基线。
2022-11-30 cs.AI cs.CL
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA(LexisNexis美国公司)
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能,发现超网络适应无显著提升,提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
From Annotation to Adaptation: Metrics, Synthetic Data, and Aspect Extraction for Aspect-Based Sentiment Analysis with Large Language Models
Saint Mary’s University(圣玛丽大学);York University(约克大学)
针对新领域ABSA中的隐式方面抽取,本文构建合成体育反馈数据集评估开放权重LLM,并提出面向生成式模型的方面抽取评估指标,揭示其潜力与局限。
2025-03-26 cs.CL
How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室)
该研究针对大语言模型在少样本关系抽取中缺乏系统探索的问题,基于GPT-3.5实验验证上下文学习与数据生成方法,提出任务相关指令和模式约束数据生成策略,在四个数据集上取得少样本SOTA结果并开源代码。
2023-06-09 cs.AI cs.CL cs.DB
Zero-shot Task Transfer for Invoice Extraction via Class-aware QA Ensemble
UST Ltd(UST有限公司)
我们提出VESPA,一个故意简单而新颖的zero-shot系统布局,区域和域不可知的文档提取。尽管有大量的文档语料库,但缺乏标记和验证的数据集使得有区别地为企业训练文档提取模型成为一个挑战。我们表明,这个问题可以通过简单地将信息抽取(IE)任务转移到一个自然语言检索(QA)任务,而无需工程任务特定的架构来解决。我们证明了我们的系统的有效性,通过评估一个封闭的语料库的真实世界的零售和税务发票与多个复杂的布局,域和地理。实证评估表明,我们的系统优于4个著名的商业发票解决方案,这些解决方案使用专门为发票提取而设计的体系结构的歧视性训练模型。我们提取了6个字段,没有预先的人工注释或使用Avg训练。F1 87.50
2021-08-13 cs.AI cs.CL cs.IR
Weakly-Supervised Questions for Zero-Shot Relation Extraction
University of Alberta(阿尔伯塔大学)
零次关系抽取(Zero-Shot Relationship Extraction,ZRE)是关系抽取的任务,其中训练集和测试集没有共享的关系类型。这个非常具有挑战性的领域是对模型泛化能力的很好测试。以前的ZRE方法将关系抽取重新定义为问答(QA),允许使用预先训练的QA模型。然而,这种方法需要为每个新关系手动创建黄金问题模板。在这里,我们放弃了这些黄金模板,而是学习一个可以为看不见的关系生成问题的模型。我们的技术可以成功地将关系描述转换为相关的问题,然后利用这些问题来生成正确的尾部实体。在尾部实体提取方面,我们在不使用黄金问题模板的情况下,比以前的最先进水平高出16个F1点以上。在RE-QA数据集,其中没有以前的基线关系抽取存在,我们提出的算法来在0.7 F1点的系统,使用黄金问题模板。我们的模型在FewRel和Wikipedia L数据集上的表现也优于最先进的ZRE基线,这表明QA模型不再需要模板问题来匹配专门为ZRE任务定制的模型的性能。我们的实现可以在https://github.com/fyshelab/QA-ZRE上获得。
2023-02-09 cs.AI cs.CL cs.LG
Chain of Thought with Explicit Evidence Reasoning for Few-shot Relation Extraction
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对少样本关系抽取中思维链提示缺乏显式推理证据的问题,提出CoT-ER方法,通过生成并显式融入任务与概念级证据,在零训练数据下达到与全监督最优方法相当的性能。
2024-03-08 cs.CL
MASTE: A Multi-Agent Pipeline for Zero-Shot Aspect Sentiment Triplet Extraction
Tsinghua University(清华大学);Wuhan University(武汉大学)
研究针对方面情感三元组提取问题,提出多智能体管道MASTE,将其分解为四个阶段,由专门智能体处理不同子任务,实现完全无训练的零样本提取,在多个基准测试中显著优于基线,缩小与全监督方法差距。
2026-07-10 cs.CL
Zero-shot Triplet Extraction by Template Infilling
University of California, San Diego(加州大学圣地亚哥分校);Megagon Labs(Megagon实验室);Carnegie Mellon University(卡内基梅隆大学)
本文提出 ZETT 框架,将三元组抽取转化为预训练语言模型的模板填充任务,赋予模型零样本抽取未见关系的能力,并在 FewRel 和 Wiki-ZSL 上超越现有最优方法。
2023-09-20 cs.CL
Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction
University of Arizona(亚利桑那大学)
提出基于句法-语义结构相似性的示例选择策略,结合大语言模型生成示例,构建混合系统提升少样本关系抽取性能。
2026-05-29 cs.CL
Memory-Free Continual Learning with Null Space Adaptation for Zero-Shot Vision-Language Models
针对零样本视觉-语言模型在动态环境中的灾难性遗忘问题,提出无记忆持续学习框架NuSA-CL,通过低秩适配与零空间约束保留原有知识,兼顾零样本能力与持续学习性能。
2026-09-22 cs.AI
Test-Time Adaptation via Many-Shot Prompting: Benefits, Limits, and Pitfalls
SambaNova Systems, Inc(SambaNova系统公司);Stanford University(斯坦福大学)
研究通过多示例提示在不同任务和模型中分析测试时适应的性能变化,探讨其有效性及限制,指出其在结构化任务中的优势及在开放生成任务中的不足。
2026-03-17 cs.CL cs.LG
VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision-Language Models
VITA通过测试时间适应提升视觉语言模型的零样本价值估计能力,实现跨任务和环境的泛化,优于现有方法。
2026-02-27 cs.AI cs.CV
ReHARK: Refined Hybrid Adaptive RBF Kernels for Robust One-Shot Vision-Language Adaptation
Buet.ac.bd(巴特西大学)
ReHARK通过重构混合自适应RBF核框架,利用全局近端正则化提升单样本视觉-语言适应的稳定性与准确性,实现65.83%的平均准确率。
2026-03-12 cs.AI cs.CV
One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning
Zhejiang university(浙江大学)
提出Block-LoRA框架,通过共享下投影子矩阵将LoRA低秩矩阵划分为子矩阵,减少参数并降低计算成本,在单24GB GPU上实现CLIP小样本微调且性能具竞争力。
2025-01-28 cs.AI cs.CV
Boosting Skeleton-based Zero-Shot Action Recognition with Training-Free Test-Time Adaptation
Monash University(墨尔本大学);Lancaster University(兰卡斯特大学);University of Western Australia(西澳大学)
通过引入Skeleton-Cache框架,利用LLM引导的语义先验实现无训练测试时适应,提升基于骨架的零样本动作识别性能。
2025-12-12 cs.AI cs.CV
In-Context Adaptation of VLMs for Few-Shot Cell Detection in Optical Microscopy
Iowa State University(爱荷华州立大学)
本文提出Micro-OD基准并研究视觉语言模型的上下文少样本细胞检测能力,通过混合检测流程结合VLM分类器提升显微镜图像中的少样本目标检测性能。
2025-11-04 cs.AI cs.CV
ProKeR: A Kernel Perspective on Few-Shot Adaptation of Large Vision-Language Models
IMT Atlantique(大西洋电信学院);Inria(法国国家信息与自动化研究所);University Rennes(雷恩大学);CNRS(法国国家科学研究中心)
从核视角分析Tip-Adapter,提出全局近端正则化的ProKeR方法,在11个数据集上达到少样本适应最先进性能。
2025-01-19 cs.AI cs.CV cs.LG
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University(北京大学)
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据,但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发,提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义,并给出了该任务的Few-Shot检索框架。此外,我们将两个实际的序列标记模型(称为Few-Shot TPLinker和Few-Shot BiTT)应用到我们的框架中,并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Meta-Learning Adversarial Domain Adaptation Network for Few-Shot Text Classification
East China Normal University(华东师范大学);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
元学习已经成为解决Few-Shot文本分类的趋势技术,并实现了最先进的性能。然而,现有的解决方案在很大程度上依赖于利用词汇特征及其分布签名的训练数据,而忽略了加强模型的能力,以适应新的任务。在本文中,我们提出了一种新的元学习框架集成了对抗性领域自适应网络,旨在提高模型的自适应能力,并生成高质量的文本嵌入新的类。在四个基准数据集上进行了广泛的实验,我们的方法在所有数据集上都表现出明显的优越性。特别是,在20个新闻组的数据集上,1镜头和5镜头分类的准确率分别从52.1%提高到59.6%和从68.3%提高到77.8%。
2021-07-26 cs.AI cs.CL
Zero-shot Temporal Relation Extraction with ChatGPT
The University of Manchester(曼彻斯特大学)
本文探究ChatGPT在零样本时序关系抽取中的表现,通过三种提示设计评估发现其与监督方法差距明显且依赖提示,但在小类别上更优,同时揭示了其一致性和长距离推理缺陷。
2023-04-11 cs.AI cs.CL
Extracting Events Like Code: A Multi-Agent Programming Framework for Zero-Shot Event Extraction
针对零样本事件抽取中直接提示易输出无效结果的问题,本文提出多智能体框架AEC,将事件抽取类比为迭代代码生成过程,经多领域多模型实验验证其性能优于现有零样本基线。
2025-11-17 cs.AI cs.CL
GLiREL -- Generalist Model for Zero-Shot Relation Extraction
Quantexa(昆泰克萨斯)
本文提出 GLiREL,通过单次前向传播实现多实体零样本关系分类,并在 FewRel 与 WikiZSL 上达到最先进水平,同时提供多样化关系标签数据集的合成生成协议。
2025-01-06 cs.AI cs.CL cs.LG
Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
University of Arizona(亚利桑那大学)
提出两阶段框架,结合推理和梯度优化自动优化提示,在少样本关系抽取任务中取得最优性能。
2026-06-28 cs.AI cs.CL
Pre-training to Match for Unified Low-shot Relation Extraction
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
低比例关系抽取RE的目标是在很少甚至没有样本的情况下识别新的关系,这在实际应用中至关重要。Few-Shot和zero-shot RE是两种典型的低发射RE任务,它们看似目标相似,但要求的底层能力却完全不同。在本文中,我们提出了多选择匹配网络来统一低镜头关系抽取。为了填补zero-shot和few-shot RE之间的空白,提出了三元组释义元训练方法,利用三元组释义预训练zero-shot标签匹配能力,并使用元学习范式学习Few-Shot实例摘要能力。实验结果表明,该方法在3种低镜头RE任务上的性能明显优于强基线,在Few-Shot少镜头RE排行榜上的性能最好。
2022-03-23 cs.CL
Zero-Shot Relation Extraction via Reading Comprehension
Univ. of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们表明,关系抽取可以减少到回答简单的阅读理解问题,通过关联一个或多个自然语言的问题与每个关系插槽。这种简化有几个优点:我们可以(1)通过扩展最近的神经阅读理解技术来学习关系提取模型,(2)通过将关系特定的众包问题与远程监督相结合,为这些模型构建非常大的训练集,甚至(3)通过提取只在测试时指定的新关系类型来进行零样本学习,我们没有标记的训练样本。维基百科上的插槽填充任务的实验表明,该方法可以推广到新的问题,已知的关系类型具有高精度,和zero-shot推广看不见的关系类型是可能的,在较低的精度水平,设置酒吧为今后的工作在这项任务。
2017-06-13 cs.AI cs.CL cs.LG
Few-Shot Document-Level Relation Extraction
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
我们提出了FREDo,一个Few-Shot文档级关系抽取(FSDLRE)基准。相对于现有的基准是建立在文档级关系抽取语料库,我们认为,文档级语料库提供更多的现实主义,特别是关于非上述(NOTA)的分布。因此,我们提出了一组FSDLRE任务,并基于两个现有的监督学习数据集,DocRED和sciERC构建了一个基准。我们适应国家的最先进的文档级的方法MNAV,并进一步发展,以改善领域自适应。我们发现FSDLRE是一个具有挑战性的设置有趣的新特性,如能够从支持集采样NOTA实例。数据、代码和训练模型可在线获取(https://github.com/nicpopovic/FREDo)。
2022-07-01 cs.AI cs.CL cs.LG
Chem-FINESE: Validating Fine-Grained Few-shot Entity Extraction through Text Reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Chem-FINESE,一种基于seq2seq的少样本实体抽取方法,通过自验证模块重构输入句子并引入对比损失减少过度复制,在ChemNER+和CHEMET数据集上分别获得8.26%和6.84%的F1提升。
2024-05-29 cs.AI cs.CL cs.LG
Meta-Learning for Few-Shot NMT Adaptation
University of Maryland(马里兰大学);Microsoft(微软);Microsoft Research(微软研究院)
我们提出了META-MT,一种元学习方法,用于在Few-Shot设置中适应神经机器翻译(NMT)系统。META-MT提供了一种新的方法,使NMT模型可以很容易地适应许多目标领域的最小量的域内数据。我们将NMT系统的自适应框架视为元学习问题,在该问题中,我们基于模拟的离线元训练领域自适应任务来学习适应新的未知领域。我们评估了建议的元学习策略上的10个领域与一般的大规模NMT系统。我们表明,META-MT显着优于经典的领域自适应时,很少的域中的例子。我们的实验表明,META-MT在只看到4000个翻译单词(300个平行句子)的情况下,可以比经典的微调高出2.5个BLEU点。
2020-04-06 cs.CL
Grounded Adaptation for Zero-shot Executable Semantic Parsing
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
我们提出了接地适应Zero-shot可执行语义解析(GAZP),以适应现有的语义解析器新的环境(例如,新的数据库模式)。GAZP将前向语义解析器与后向话语生成器相结合,在新的环境中合成数据(如话语和SQL查询),然后选择循环一致的例子来适应解析器。与通常在训练环境中合成未经验证的示例的数据增强不同,GAZP在新环境中合成输入-输出一致性得到验证的示例。在Spider、Sparc和CoSQL zero-shot语义解析任务上,GAZP改进了基线解析器的逻辑形式和执行精度。我们的分析表明,GAZP在训练环境中优于数据增强,性能随着GAZP合成数据量的增加而增加,并且周期一致性是成功适应的核心。
2021-02-01 cs.AI cs.CL cs.DB
Better Few-Shot Relation Extraction with Label Prompt Dropout
Singapore University of Technology and Design(新加坡科技设计大学)
Few-Shot关系抽取的目标是基于非常有限的训练样本来学习识别两个实体之间的关系。最近的努力发现,文本标签(即,关系名称和关系描述)对于学习类表示非常有用,这将有益于少样本学习任务。然而,在学习过程中利用这些标签信息的最佳方式是一个重要的研究问题。现有的作品在很大程度上假设这样的文本标签总是存在于学习和预测过程中。在这项工作中,我们认为,这种方法可能并不总是导致最佳结果。相反,我们提出了一种新的方法,称为标签提示辍学,随机删除标签的描述在学习过程中。我们的实验表明,我们的方法是能够导致改进的类表示,产生显着更好的结果上的Few-Shot关系抽取任务。
2022-10-25 cs.CL
Zero-Shot Dialogue Relation Extraction by Relating Explainable Triggers and Relation Names
National Taiwan University(国立台湾大学)
针对对话关系抽取标注数据成本高、难扩展的问题,提出基于触发词捕捉关联未见过关系名称的零样本抽取模型,在DialogRE基准上已见和未见关系抽取均获显著提升,为提升DRE系统扩展性提供新方向。
2023-06-09 cs.CL
Probing and Fine-tuning Reading Comprehension Models for Few-shot Event Extraction
Georgia Institute of Technology(佐治亚理工学院);Tsinghua University(清华大学)
我们研究从文本数据中提取事件的问题,这需要检测目标事件类型及其参数。通常,事件检测和参数检测子任务都被公式化为监督序列标记问题。我们认为,这样训练的事件提取模型本质上是标签饥饿,并可以推广到不同领域和文本体裁差。我们提出了一个阅读理解框架的事件提取。具体来说,我们制定了事件检测作为一个文本蕴涵预测问题,和参数检测作为一个问题回答问题。通过构造合适的查询模板,我们的方法可以有效地从预训练的阅读理解模型中提取丰富的任务和标签语义知识。此外,我们的模型可以用少量数据进行微调,以提高其性能。我们的实验结果表明,我们的方法表现强劲的zero-shot和Few-Shot事件提取,它达到了最先进的性能ACE 2005基准训练时,完全监督。
2020-10-21 cs.CL
Few-Shot Domain Adaptation for Grammatical Error Correction via Meta-Learning
Beijing Jiaotong University(北京交通大学);Beijing Language and Culture University(北京语言大学);Shanghai University of Finance and Economics(上海财经大学);Beijing University of Technology(北京工业大学)
现有的基于序列对序列的语法纠错方法主要关注如何产生更多的伪数据以获得更好的性能。很少有工作涉及Few-Shot GEC领域自适应。在本文中,我们把不同的GEC领域不同的GEC任务,并提出了扩展元学习Few-Shot GEC领域自适应,而不使用任何伪数据。我们利用一组数据丰富的源域来学习模型参数的初始化,以便于快速适应新的资源贫乏的目标域。我们将GEC模型应用于第二语言学习者的第一语言(L1)。为了评估所提出的方法,我们使用9个L1作为源域和5个L1作为目标域。在L1 GEC领域自适应数据集上的实验结果表明,该方法比多任务迁移学习基线的平均$F_{0.5}$得分高出0.50,并使我们能够有效地适应一个只有200个平行句子的新L1领域。
2021-01-29 cs.CL
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
Zero-Shot Information Extraction as a Unified Text-to-Triple Translation
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
我们将一套信息抽取任务转换为文本到三重翻译框架。我们不是依靠特定于任务的数据集和模型来解决每个任务,而是将任务形式化为特定于任务的输入文本和输出三元组之间的转换。通过获取特定于任务的输入,我们通过利用预先训练的语言模型具有的关于任务的潜在知识来实现任务不可知的翻译。我们进一步证明,预测哪些关系信息对应于哪些输入文本的简单预训练任务是产生特定于任务的输出的有效方法。这使得我们的框架能够zero-shot转移到下游任务。我们研究了这个框架在开放信息抽取(OIE 2016,NYT,WEB,PENN),关系分类(FewRel和TACRED)和事实探测(Google-RE和T-REx)上的zero-shot性能。该模型可以很好地转移到大多数任务中,并且通常与完全监督的方法竞争,而不需要任何特定于任务的训练。例如,我们显著优于有监督的开放信息抽取的F1得分,而无需使用其训练集。
2021-09-23 cs.AI cs.CL cs.LG
Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts
ByteDance AI Lab(字节跳动人工智能实验室);Nanjing University(南京大学)
领域自适应是神经机器翻译面临的一个重要挑战。然而,传统的微调解决方案需要多次额外的训练,并产生高成本。在本文中,我们提出了一个非调优的范例,解决领域自适应与基于调优的方法。具体来说,我们构建了一个双语短语级数据库,并从中检索相关对作为输入句子的提示。通过使用检索短语级语料库(RePP),我们有效地提高了翻译质量。实验表明,我们的方法提高了特定领域的机器翻译为6.2 BLEU分数,并提高了11.5%的准确率,而无需额外的训练翻译约束。
2022-09-23 cs.CL
Pre-trained Language Models and Few-shot Learning for Medical Entity Extraction
Santa Clara University(圣克拉拉大学);San Francisco State University(旧金山州立大学);Cornell University(康奈尔大学);The Chinese University of Hong Kong(香港中文大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文研究基于Transformer的医学实体抽取,比较多种预训练语言模型和抽取方法,并验证小样本学习在低资源场景下的有效性,证明预训练模型与小样本学习结合可提升医学实体抽取准确性。
2025-04-06 cs.CL
Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University(南京大学)
本文提出SCKD模型,通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习,解决持续少样本关系抽取中的灾难性遗忘和过拟合问题,在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
Entity Concept-enhanced Few-shot Relation Extraction
BeiHang University(北京航空航天大学);Pengcheng Laboratory(鹏城实验室);Hikvision Research Institute(海康威视研究院)
Few-Shot关系抽取(FSRE)在解决长尾分布问题中具有重要意义,特别是在数据资源较少的特殊领域。现有的FSRE算法由于样本有限和知识缺乏,仅根据句子信息和识别出的实体对不能准确地对关系进行分类。针对这一问题,本文提出了一种新的实体概念增强的Few-Shot关系抽取方案(ConceptFERE),该方案引入实体固有的概念,为关系预测提供线索,提高关系分类性能。首先,开发了一个概念-句子注意模块,通过计算句子和概念之间的语义相似度,从每个实体的多个概念中选择最合适的概念。其次,提出了一个基于自注意的融合模块,弥补了不同语义空间的概念嵌入和句子嵌入的不足。在FSRE基准数据集FewRel上进行的大量实验证明了所提出的ConceptFERE方案与最先进的基线相比的有效性和优越性。代码可在https://github.com/LittleGuoKe/ConceptFERE上获得。
2021-06-04 cs.AI cs.CL cs.LG
AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
关键词抽取是现代自然语言处理的一个重要课题。它的应用范围从本体生成,事实验证摘要文本,和推荐系统。虽然它有重要的数据密集型应用程序,但当数据集很小时,它往往受到阻碍。关键字提取器的下游训练是一个漫长的过程,需要大量的数据。最近,已经提出了少样本学习(FSL)和零样本学习(Zero-Shot Learning,ZRL)来解决这个问题。因此,我们提出了AdaptKeyBERT,这是一种通过将正则化注意力的概念纳入下游领域自适应的预训练阶段来训练具有LLM基础的关键字提取器的管道。由于我们相信我们的工作对FSL/FML和关键字提取的管道有影响,我们开源了我们的代码,并在https://github.com/AmanPriyanshu/AdaptKeyBERT上提供了同名AdaptKeyBERT的微调库。
2022-11-16 cs.CL cs.LG
Semi-Supervised Few-Shot Learning for Dual Question-Answer Extraction
Zhejiang University(浙江大学);University of California, Irvine(加州大学欧文分校)
本文研究了从句子中提取关键短语的问题。现有的最先进的监督方法需要大量的注释数据,以实现良好的性能和泛化。然而,收集标记数据通常是昂贵的。在本文中,我们重新定义的问题,问答提取,并提出了SAMIE:自我询问模型的信息提取,一个半监督模型,双重学习问和回答问题本身。简单地说,给定一个句子$s$和一个答案$a$,模型需要选择最合适的问题$\hat q$ ;同时,对于给定的句子$s$和在上一步中选择的相同问题$\hat q$,模型将预测一个答案$\hat a$。该模型可以在非常有限的监督下支持少样本学习。它也可以用来执行聚类分析时,没有监督提供。实验结果表明,该方法优于典型的监督方法,特别是在少量标记数据的情况下。
2019-04-08 cs.AI cs.CL cs.LG
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction
HiTZ Basque Center for Language Technologies - Ixa NLP Group(HiTZ巴斯克语言技术中心 - Ixa自然语言处理小组);University of the Basque Country (UPV/EHU)(巴斯克大学)
关系抽取系统需要大量的标注样本,而标注样本的成本很高。在这项工作中,我们重新制定关系抽取作为一个蕴涵任务,简单,手工制作,在不到15分钟的关系,每个关系产生的关系动词化。该系统依赖于一个预先训练的文本蕴涵引擎,该引擎按原样运行(没有训练样本,zero-shot)或进一步在标记的示例上进行微调(Few-Shot或完全训练)。在我们对TACRED的实验中,我们达到了63%的F1 zero-shot,69%,每个关系16个例子(在相同条件下比最好的监督系统高出17%),只有4个点低于最先进的水平(使用20倍以上的训练数据)。我们还表明,性能可以显着提高与更大的蕴涵模型,高达12点的zero-shot,允许报告最好的结果时,充分训练的TARED日期。分析表明,我们的Few-Shot系统是特别有效的关系之间的区别,在低数据制度的性能差异主要来自于识别无关系的情况下。
2021-09-08 cs.CL
Reinforcement Learning for Few-Shot Text Generation Adaptation
Sichuan University(四川大学)
针对少样本文本生成适应中的过拟合与多样性不足问题,提出融合最大似然估计的强化学习框架,在五个目标领域上优于基线。
2022-12-08 cs.CL
Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations
PolyAI Limited(PolyAI有限公司);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们介绍了跨度ConveRT,一个轻量级的对话框插槽填充框架的任务作为一个回合为基础的跨度提取任务的模型。该公式允许在大型预训练会话模型(诸如ConveRT)中编码的会话知识的简单集成(Henderson等人,2019年)。我们表明,在Span-ConveRT中利用这些知识对于少样本学习场景特别有用:我们报告了1)在目标域从头开始训练表示的跨度提取器和2)基于BERT的跨度提取器的一致增益。为了激发更多的工作跨度提取插槽填充任务,我们还发布了RESTAURANTS-8 K,一个新的具有挑战性的数据集,8,198话语,从餐厅预订领域的实际对话中编译。
2020-07-16 cs.CL
Exploring Task Difficulty for Few-Shot Relation Extraction
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
Few-Shot关系抽取(FSRE)主要通过少量标注实例进行学习来识别新关系。元学习已被广泛用于此类任务,它对随机生成的几次(Few-Shot)任务进行训练以学习通用数据表示。尽管取得了令人印象深刻的结果,现有的模型仍然表现不佳时,处理硬FSRE任务,其中的关系是细粒度的,彼此相似。我们认为这在很大程度上是因为现有的模型在学习过程中没有区分困难任务和简单任务。在本文中,我们介绍了一种新的方法,对比学习的基础上,学习更好的表示,利用关系标签信息。我们进一步设计了一种方法,允许模型自适应地学习如何专注于硬任务。在两个标准数据集上的实验证明了该方法的有效性。
2021-10-24 cs.CL
ZeroShotCeres: Zero-Shot Relation Extraction from Semi-Structured Webpages
University of Washington(华盛顿大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
在诸如半结构化网页的许多文档中,文本语义通过使用包括布局、字体大小和颜色的视觉元素传达的附加信息来增强。关于从半结构化网站中提取信息抽取的先前工作需要经由来自该模板的手动标记或远程监督的数据来学习特定于给定模板的提取模型。在这项工作中,我们提出了一个解决方案,“zero-shot”开放域关系抽取从网页与以前看不见的模板,包括从网站与现有的知识来源很少重叠的远程监督和网站在全新的主题垂直。我们的模型使用基于图神经网络的方法来构建网页上文本字段的丰富表示以及它们之间的关系,从而能够泛化到新的模板。实验表明,该方法提供了一个31%的F1增益超过基线的zero-shot提取在一个新的主题垂直。
2020-05-14 cs.CL cs.IR
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
University of California, Los Angeles(加州大学洛杉矶分校);Information Science Institute, University of Southern California(南加州大学信息科学研究所)
我们提出了一个利用多语言预训练生成语言模型的zero-shot跨语言事件参数提取(EAE)的研究。通过将EAE公式化为语言生成任务,我们的方法有效地编码事件结构并捕获参数之间的依赖关系。我们设计了语言无关的模板来表示事件参数结构,这些模板与任何语言都兼容,从而促进了跨语言迁移。我们提出的模型微调多语言预训练的生成语言模型,以生成句子,这些句子用从输入段落中提取的参数填充语言不可知模板。该模型在源语言上进行训练,然后直接应用于目标语言以进行事件参数提取。实验表明,该模型优于当前最先进的zero-shot跨语言EAE模型。全面的研究和错误分析,以更好地了解使用生成语言模型的优势和当前的局限性zero-shot跨语言迁移EAE。
2022-03-15 cs.CL
RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Singapore University of Technology and Design(新加坡科技设计大学)
尽管关系抽取在构建和表示知识中的重要性,但较少的研究集中在推广到看不见的关系类型。我们介绍了Zero-Shot关系三元组提取(ZeroRTE)的任务设置,以鼓励进一步研究低资源的关系抽取方法。给定一个输入句子,每个提取的三元组由头部实体,关系标签和尾部实体组成,其中关系标签在训练阶段看不到。为了解决ZeroRTE问题,我们提出通过促使语言模型生成结构化文本来合成关系示例。具体地说,我们统一了语言模型提示和结构化文本的方法,设计了一个结构化的提示模板生成合成的关系样本时,条件的关系标签提示(提示)。为了克服句子中多个关系三元组提取的局限性,我们设计了一种新的三元组搜索解码方法。在FewRel数据集和Wiki-JPL数据集上的实验表明,该算法在ZeroRTE任务和zero-shot关系分类中具有较好的性能.我们的代码和数据可在github.com/declare-lab/RelationPrompt上获得。
2022-03-17 cs.CL
ZS4IE: A toolkit for Zero-Shot Information Extraction with simple Verbalizations
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);Raytheon BBN Technologies(雷神BBN技术公司);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
信息抽取(IE)分析师的当前工作流程涉及感兴趣的实体/关系的定义和具有注释示例的训练语料库。在这个演示中,我们介绍了一个新的工作流程,分析师直接用语言表达的实体/关系,然后使用的文本蕴涵模型执行zero-shot IE。我们提出了一个工具包的设计和实现的用户界面,以及四个IE任务的实验表明,该系统实现了非常好的性能,在零样本学习,每种类型的用户的努力只有5- 15分钟。我们的演示系统在https://github.com/BBN-E/ZS4IE上开源。演示视频可在https://vimeo.com/676138340上获得。
2022-05-03 cs.CL
ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT
Beijing Jiaotong University(北京交通大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出ChatIE,一种基于ChatGPT的两阶段多轮问答框架,用于零样本信息抽取,在六个数据集上表现出色,甚至超越部分全样本模型。
2024-05-27 cs.CL
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology(南方科技大学);Microsoft China(微软中国)
机器语音链将端到端(E2 E)自动语音识别(ASR)和文本到语音(TTS)集成到一个循环中进行联合训练,已被证明可以有效地利用大量未配对数据进行数据增强。在本文中,我们探索语音链中的TTS->ASR管道,对神经TTS和E2 E ASR模型进行领域自适应,仅使用来自目标域的文本数据。我们进行了实验,通过适应从有声读物域(LibriSpeech)到呈现域(TED-LIUM),有一个相对的词出错率(WER)减少10%的E2 E ASR模型上的TED-LIUM测试集,和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外,我们通过以无监督的方式使用目标说话者的一些话语,对E2 E ASR应用Few-Shot说话者自适应,从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
DILBERT: Customized Pre-Training for Domain Adaptation withCategory Shift, with an Application to Aspect Extraction
Technion, IIT(以色列理工学院);University of Edinburgh(爱丁堡大学)
预训练语言模型的兴起在绝大多数自然语言处理(NLP)任务中取得了实质性进展。然而,在某些情况下,针对预训练过程的通用方法自然可能是次优的。特别地,在源域上微调预训练的语言模型,然后将其应用于不同的目标域,导致许多源-目标域对的最终分类器的性能急剧下降。此外,在一些NLP任务中,输出类别在不同领域之间存在很大差异,这使得适应更具挑战性。例如,这发生在方面提取的任务中,其中,餐馆或电子设备可能非常不同。本文提出了一种新的微调方案,BERT,旨在解决上述挑战。我们将此方案命名为DILBERT:领域不变学习与BERT,并定制它的方面提取在无监督领域自适应设置。DILBERT利用源域和目标域的分类信息来指导预训练过程,以实现更领域和类别不变的表示,从而缩小域之间的差距。我们表明,DILBERT产生了实质性的改善,在国家的最先进的基线,同时使用一小部分的未标记的数据,特别是在更具挑战性的领域自适应设置。
2021-09-01 cs.CL
Few-Shot Document-Level Event Argument Extraction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出少样本文档级事件论元抽取基准 FewDocAE,通过 N-Way-D-Doc 采样重构语料并调整现有文档级模型建立基线,揭示该任务在低资源场景下的挑战性。
2023-05-25 cs.CL