Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University(南京大学)
本文提出SCKD模型,通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习,解决持续少样本关系抽取中的灾难性遗忘和过拟合问题,在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction
HiTZ Basque Center for Language Technologies - Ixa NLP Group(HiTZ巴斯克语言技术中心 - Ixa自然语言处理小组);University of the Basque Country (UPV/EHU)(巴斯克大学)
关系抽取系统需要大量的标注样本,而标注样本的成本很高。在这项工作中,我们重新制定关系抽取作为一个蕴涵任务,简单,手工制作,在不到15分钟的关系,每个关系产生的关系动词化。该系统依赖于一个预先训练的文本蕴涵引擎,该引擎按原样运行(没有训练样本,zero-shot)或进一步在标记的示例上进行微调(Few-Shot或完全训练)。在我们对TACRED的实验中,我们达到了63%的F1 zero-shot,69%,每个关系16个例子(在相同条件下比最好的监督系统高出17%),只有4个点低于最先进的水平(使用20倍以上的训练数据)。我们还表明,性能可以显着提高与更大的蕴涵模型,高达12点的zero-shot,允许报告最好的结果时,充分训练的TARED日期。分析表明,我们的Few-Shot系统是特别有效的关系之间的区别,在低数据制度的性能差异主要来自于识别无关系的情况下。
2021-09-08 cs.CL
TLAG: An Informative Trigger and Label-Aware Knowledge Guided Model for Dialogue-based Relation Extraction
Peking University(北京大学)
基于对话的关系抽取(DRE)旨在预测对话中所提及的论元对的关系类型。最新的生物增强方法提出了触发预测任务,以促进DRE。然而,这些方法不能充分利用触发信息,甚至会给关系抽取带来噪声。为了解决这些问题,我们提出了TLAG,它充分利用触发器和标签感知的知识来指导关系抽取。首先,我们设计了一个自适应触发融合模块,充分利用触发信息。然后,我们引入标签感知知识,以进一步提高我们的模型的性能。在DialogRE数据集上的实验结果表明,TLAG的性能优于基准模型,详细的分析表明了该方法的有效性。
2023-03-30 cs.CL
RAPS: A Novel Few-Shot Relation Extraction Pipeline with Query-Information Guided Attention and Adaptive Prototype Fusion
University of Science and Technology of China(中国科学技术大学)
Few-Shot关系抽取(FSRE)的目标是通过仅使用少量带注释的实例进行学习来识别不可见的关系。为了更有效地推广到新的关系,本文提出了一种新的管道FSRE任务的基础上查询信息引导的注意力和自适应原型fuSion,即RAPS。具体地说,RAPS首先通过查询信息引导的注意力模块,利用支持实例和查询实例之间丰富的交互信息,以获得更准确的初始原型表示的关系原型。然后,RAPS通过自适应原型融合机制将初始原型与相关信息进行融合,得到训练和预测的集成原型。在基准数据集FewRel 1.0上的实验表明,我们的方法对最先进的方法有显着的改进。
2022-11-08 cs.CL
Exploring Task Difficulty for Few-Shot Relation Extraction
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
Few-Shot关系抽取(FSRE)主要通过少量标注实例进行学习来识别新关系。元学习已被广泛用于此类任务,它对随机生成的几次(Few-Shot)任务进行训练以学习通用数据表示。尽管取得了令人印象深刻的结果,现有的模型仍然表现不佳时,处理硬FSRE任务,其中的关系是细粒度的,彼此相似。我们认为这在很大程度上是因为现有的模型在学习过程中没有区分困难任务和简单任务。在本文中,我们介绍了一种新的方法,对比学习的基础上,学习更好的表示,利用关系标签信息。我们进一步设计了一种方法,允许模型自适应地学习如何专注于硬任务。在两个标准数据集上的实验证明了该方法的有效性。
2021-10-24 cs.CL
RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Singapore University of Technology and Design(新加坡科技设计大学)
尽管关系抽取在构建和表示知识中的重要性,但较少的研究集中在推广到看不见的关系类型。我们介绍了Zero-Shot关系三元组提取(ZeroRTE)的任务设置,以鼓励进一步研究低资源的关系抽取方法。给定一个输入句子,每个提取的三元组由头部实体,关系标签和尾部实体组成,其中关系标签在训练阶段看不到。为了解决ZeroRTE问题,我们提出通过促使语言模型生成结构化文本来合成关系示例。具体地说,我们统一了语言模型提示和结构化文本的方法,设计了一个结构化的提示模板生成合成的关系样本时,条件的关系标签提示(提示)。为了克服句子中多个关系三元组提取的局限性,我们设计了一种新的三元组搜索解码方法。在FewRel数据集和Wiki-JPL数据集上的实验表明,该算法在ZeroRTE任务和zero-shot关系分类中具有较好的性能.我们的代码和数据可在github.com/declare-lab/RelationPrompt上获得。
2022-03-17 cs.CL
ZS4IE: A toolkit for Zero-Shot Information Extraction with simple Verbalizations
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);Raytheon BBN Technologies(雷神BBN技术公司);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
信息抽取(IE)分析师的当前工作流程涉及感兴趣的实体/关系的定义和具有注释示例的训练语料库。在这个演示中,我们介绍了一个新的工作流程,分析师直接用语言表达的实体/关系,然后使用的文本蕴涵模型执行zero-shot IE。我们提出了一个工具包的设计和实现的用户界面,以及四个IE任务的实验表明,该系统实现了非常好的性能,在零样本学习,每种类型的用户的努力只有5- 15分钟。我们的演示系统在https://github.com/BBN-E/ZS4IE上开源。演示视频可在https://vimeo.com/676138340上获得。
2022-05-03 cs.CL
ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT
Beijing Jiaotong University(北京交通大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出ChatIE,一种基于ChatGPT的两阶段多轮问答框架,用于零样本信息抽取,在六个数据集上表现出色,甚至超越部分全样本模型。
2024-05-27 cs.CL
Few-Shot Document-Level Event Argument Extraction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出少样本文档级事件论元抽取基准 FewDocAE,通过 N-Way-D-Doc 采样重构语料并调整现有文档级模型建立基线,揭示该任务在低资源场景下的挑战性。
2023-05-25 cs.CL
Efficient Zero-shot Event Extraction with Context-Definition Alignment
Tencent AI Lab(腾讯人工智能实验室)
事件抽取(EE)是从文本中识别感兴趣的事件提及的任务。传统的努力主要集中在监督设置。然而,这些监督模型不能概括到预定义本体之外的事件类型。为了填补这一空白,许多努力已经致力于zero-shot EE问题。本文遵循事件类型语义建模的趋势,但更进一步。我们认为,使用事件类型名称的静态嵌入可能是不够的,因为单个单词可能是模糊的,我们需要一个句子来准确定义类型语义。为了对定义语义进行建模,我们使用两个独立的Transformer模型将上下文化的事件提及和相应的定义投影到同一个嵌入空间中,然后通过对比学习来最小化它们的嵌入距离。最重要的是,我们还提出了一个变暖阶段,以帮助模型学习类似定义之间的微小差异。我们将我们的方法命名为具有定义的Zero-shot事件提取(ZED)。在MAVEN数据集上的实验表明,由于采用了不相交设计,该模型的推理速度明显优于以往所有的zero-shot EE方法。进一步的实验还表明,当注释可用时,ZED可以很容易地应用于Few-Shot设置,并且始终优于基线监督方法。
2022-11-13 cs.CL
Towards Zero-shot Relation Extraction in Web Mining: A Multimodal Approach with Relative XML Path
University of California, San Diego(加州大学圣地亚哥分校)
本文提出ReXMiner方法,通过编码DOM树最短相对路径和文本节点流行度并结合对比学习,解决Web挖掘中的零样本关系抽取问题,在公开基准上优于现有基线。
2023-05-23 cs.CL
A Study on Building Efficient Zero-Shot Relation Extraction Models
本文研究了构建高效零 shot 关系提取模型的方法,提出多种策略以提高模型在现实场景中的鲁棒性,结果显示 AlignRE 在各项指标上表现最佳。
2026-03-04 cs.CL
A Sequence Tagging based Framework for Few-Shot Relation Extraction
Peking University(北京大学)
关系抽取是指从输入文本中抽取关系三元组。现有的基于神经网络的逆向工程系统严重依赖于人工标记的训练数据,但仍然有很多领域没有足够的标记数据。受基于距离的Few-Shot命名实体识别方法的启发,提出了基于序列标记联合抽取方法的Few-Shot检索任务的定义,并给出了该任务的Few-Shot检索框架。此外,我们将两个实际的序列标记模型(称为Few-Shot TPLinker和Few-Shot BiTT)应用到我们的框架中,并在从公共数据集构建的两个Few-Shot RE任务上取得了可靠的结果。
2022-08-17 cs.AI cs.CL
Linguistic representations for fewer-shot relation extraction across domains
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
本文研究语言学表示对跨领域少样本关系抽取的影响,通过在Transformer架构中交替融入句法和语义图,发现两者均能显著提升少样本迁移性能且效用相当。
2023-07-07 cs.CL
Zero-shot information extraction from radiological reports using ChatGPT
Zhejiang Lab(之江实验室);Peking University Cancer Hospital and Institute(北京大学肿瘤医院暨北京市肿瘤防治研究所);Zhejiang University(浙江大学)
本研究探索使用ChatGPT进行零样本信息提取,通过设计提示模板和后处理模块,从847份CT报告中提取信息,实验表明其性能与基线系统相当但仍有改进空间。
2023-09-07 cs.CL
GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction
HiTZ Basque Center for Language Technology(HiTZ巴斯克语言技术中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
针对大语言模型在信息抽取任务上零样本表现不佳的问题,提出经标注指南微调的GoLLIE模型,可提升未见过IE任务的零样本效果,实验证明其性能优于现有方法,且详细指南是效果关键。
2024-03-06 cs.CL
RE-Matching: A Fine-Grained Semantic Matching Method for Zero-Shot Relation Extraction
Fudan University(复旦大学);Baidu Research(百度研究院)
针对零样本关系抽取中通用语义匹配未显式区分实体与上下文的问题,提出 RE-Matching,分解两类匹配分数并用特征蒸馏抑制无关特征,显著提升 F1 且推理提速 10 倍。
2023-06-08 cs.CL
Everything Is All It Takes: A Multipronged Strategy for Zero-Shot Cross-Lingual Information Extraction
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
零镜头跨语言信息抽取(IE)描述了在给定仅以某个其它语言(通常是英语)的现有注释的情况下,针对某个目标语言的IE模型的构造。虽然预先训练的多语言编码器的进步表明了一个简单的乐观"训练英语,运行在任何语言",我们发现通过彻底的探索和技术的扩展,新老方法的结合,导致更好的性能比任何一个跨语言的战略,特别是。我们探索了包括数据投影和自我训练在内的技术,以及不同的预训练编码器如何影响它们。我们使用英语到阿拉伯语的IE作为我们的初始示例,在此设置中,事件提取,命名实体识别,词性标记和依存句法分析表现出很强的性能。然后,我们将数据投影和自我训练应用于八种目标语言的三个任务。因为没有一组技术在所有任务中表现最好,我们鼓励从业者在寻求改进zero-shot训练时探索本工作中描述的技术的各种配置。
2021-09-14 cs.CL
Zero-Shot Transfer Learning for Event Extraction
Rensselaer Polytechnic Institute(伦斯勒理工学院);New York University(纽约大学);US Army Research Lab(美国陆军研究实验室)
大多数以前的事件提取研究严重依赖于来自注释事件提及的功能,因此不能应用于新的事件类型没有注释的努力。在这项工作中,我们重新审视事件提取,并将其建模为接地问题。我们设计了一个可转移的神经架构,映射事件提到和类型联合到一个共享的语义空间,使用结构和组合神经网络,其中每个事件提到的类型可以确定的所有候选类型中最接近的。通过利用(1)~现有事件类型的小集合的可用手动注释和(2)~现有事件本体,我们的框架适用于新的事件类型,而不需要额外的注释。对两种现有事件类型(例如,ACE、ERE)和新事件类型(例如,FrameNet)展示了我们方法的有效性。\textit{Without any manual annotations}的23个新的事件类型,我们的zero-shot框架实现了性能相当于一个国家的最先进的监督模型,这是从500个事件提到的注释训练。
2017-07-04 cs.CL
A Monte Carlo Language Model Pipeline for Zero-Shot Sociopolitical Event Extraction
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对零样本二元事件抽取中词义歧义、情态敏感和计算低效问题,提出多阶段指令跟随生成式LM流水线并结合蒙特卡洛方法处理非确定性,显著提升性能与效率。
2024-06-02 cs.CL
Knowledge-guided Convolutional Networks for Chemical-Disease Relation Extraction
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Languages, Dalian University of Technology(大连理工大学外国语学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
背景资料:从非结构化文本中自动提取化学-疾病关系对于疾病治疗和药物开发具有重要意义。与此同时,生物医学专家已经建立了许多高度结构化的知识库(KBs),其中包含有关化学品和疾病的先验知识。先验知识为CDR提取提供了强有力的支持。如何充分利用它是值得研究的问题。结果:本文提出了一种新的模型,称为“知识引导卷积网络(KCN)”,利用先验知识的CDR提取。该模型首先从知识库中学习包括实体嵌入和关系嵌入的知识表示。然后,使用实体嵌入来控制上下文特征向具有门控卷积的化学疾病对的传播。在此基础上,通过共享注意池,利用关系嵌入进一步获取加权上下文特征。最后,包含额外知识信息的加权上下文特征用于CDR提取。在BioCreative V CDR数据集上的实验表明,所提出的KCN达到了71.28%的F1分数,这优于大多数最先进的系统。结论:本文提出了一种新的CDR提取模型KCN,以充分利用先验知识。实验结果表明,KCN可以有效地集成先验知识和上下文的性能提高。
2019-12-23 cs.CL
Document-level Relation Extraction with Context Guided Mention Integration and Inter-pair Reasoning
Hunan Normal University(湖南师范大学);Changsha University of Science & Technology(长沙理工大学)
文档级关系抽取(DRE)的目的是识别两个实体之间的关系。实体可以对应于跨越句子边界的多个提及。以前很少有研究探讨提及整合,这可能是有问题的,因为共指提及并不等同于一个特定的关系。此外,以前的努力主要集中在实体级的推理,而不是捕捉实体对之间的全局交互。在本文中,我们提出了两个新的技术,上下文引导提及集成和对间推理(CGM2IR),以提高DRE。与简单地应用平均池不同,上下文被用来以加权和的方式指导共指提及的整合。此外,对间推理在实体对图上执行迭代算法,以便对关系的相互依赖性进行建模。我们在三个广泛使用的基准数据集上评估了我们的CGM2IR模型,即DocRED,CDR和GDA。实验结果表明,我们的模型优于以前的国家的最先进的模型。
2022-01-13 cs.CL
GLiDRE: Generalist Lightweight model for Document-level Relation Extraction
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、CEA、List)
本文提出GLiDRE,一种紧凑的文档级关系抽取模型,在低资源和少样本场景下超越现有方法,确立新的最先进水平。
2025-10-07 cs.CL
Document-level Causal Relation Extraction with Knowledge-guided Binary Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对事件-事件因果关系抽取中缺乏文档级建模和因果幻觉的问题,提出融合事件结构的知识引导二元问答方法,在多数据集上验证了其有效性、泛化性与低不一致性,在MECI上达SOTA。
2024-10-07 cs.CL
Document-Level Zero-Shot Relation Extraction with Entity Side Information
School of Information Technology, Monash University Malaysia(墨尔本大学马来西亚分校信息科技学院);Valiantlytix
本文提出DocZSRE-SI方法,通过利用实体侧信息提升低资源语言中零 shot 关系抽取的性能。
2026-01-12 cs.CL
Learning with Silver Standard Data for Zero-shot Relation Extraction
本文提出从银标准数据中检测少量干净数据并微调预训练模型,结合类感知模块,在零样本关系抽取任务上显著超越基线。
2024-03-22 cs.CL
ZeroShotCeres: Zero-Shot Relation Extraction from Semi-Structured Webpages
University of Washington(华盛顿大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
在诸如半结构化网页的许多文档中,文本语义通过使用包括布局、字体大小和颜色的视觉元素传达的附加信息来增强。关于从半结构化网站中提取信息抽取的先前工作需要经由来自该模板的手动标记或远程监督的数据来学习特定于给定模板的提取模型。在这项工作中,我们提出了一个解决方案,“zero-shot”开放域关系抽取从网页与以前看不见的模板,包括从网站与现有的知识来源很少重叠的远程监督和网站在全新的主题垂直。我们的模型使用基于图神经网络的方法来构建网页上文本字段的丰富表示以及它们之间的关系,从而能够泛化到新的模板。实验表明,该方法提供了一个31%的F1增益超过基线的zero-shot提取在一个新的主题垂直。
2020-05-14 cs.CL cs.IR
Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
University of Arizona(亚利桑那大学)
提出两阶段框架,结合推理和梯度优化自动优化提示,在少样本关系抽取任务中取得最优性能。
2026-06-28 cs.AI cs.CL
Knowledge-guided Open Attribute Value Extraction with Reinforcement Learning
North Carolina State University(北卡罗来纳州立大学);Fudan University(复旦大学)
面向新实体的开放属性值抽取是一项重要而又具有挑战性的任务。许多以前的工作制定的问题作为一个\textit{question-answering}(QA)的任务。虽然来自网络语料库的文章集合提供了关于新兴实体的更新信息,但检索到的文本可能是嘈杂的,不相关的,从而导致不准确的答案。有效地过滤掉噪声文章以及糟糕的答案是提高抽取准确率的关键。知识图谱(KG)包含关于实体的丰富的、组织良好的信息,为解决这一挑战提供了良好的资源。在这项工作中,我们提出了一个知识引导的强化学习(RL)框架的开放属性值提取。根据KG中的相关知识,我们训练了一个深度Q网络来顺序比较提取的答案,以提高提取的准确性。该框架适用于不同的信息抽取系统。我们的实验结果表明,我们的方法优于基线的16.5 - 27.8%。
2020-10-19 cs.CL cs.IR
Towards Realistic Few-Shot Relation Extraction: A New Meta Dataset and Evaluation
University of Arizona(亚利桑那大学);Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文构建面向现实场景的少样本关系抽取元数据集,涵盖 NYT29、WIKIDATA 和 TACRED,并在未见关系、有限数据及大量无关候选提及条件下评估六种方法,发现性能普遍较低且无显著优胜者。
2024-04-05 cs.CL cs.IR
GLiREL -- Generalist Model for Zero-Shot Relation Extraction
Quantexa(昆泰克萨斯)
本文提出 GLiREL,通过单次前向传播实现多实体零样本关系分类,并在 FewRel 与 WikiZSL 上达到最先进水平,同时提供多样化关系标签数据集的合成生成协议。
2025-01-06 cs.AI cs.CL cs.LG
Improving Zero-Shot Event Extraction via Sentence Simplification
ACLED和Our World in Data等网站的成功证明了从新闻、社交媒体、博客和论坛等形式的大量文本数据中以结构化格式提取事件的巨大效用。事件提取可以为正在发生的地缘政治危机提供一个窗口,并产生可操作的情报。随着大型预训练语言模型的激增,机器阅读理解(MRC)近年来已成为事件提取的新范式。在这种方法中,事件论元提取被框定为一个提取的问题回答任务。基于MRC的方法的关键优点之一是其执行zero-shot提取的能力。然而,长期依赖性的问题,即,触发词和论元词之间较大的词汇距离以及处理句法复杂的句子的困难困扰着基于MRC的方法。在本文中,我们提出了一种通用的方法来提高性能的MRC为基础的事件提取进行无监督的句子简化指导的MRC模型本身。我们在ICEWS地缘政治事件提取数据集上评估了我们的方法,特别注意“演员”和“目标”参数角色。我们展示了如何这样的上下文简化可以提高基于MRC的事件提取的性能超过5%的演员提取和超过10%的目标提取。
2022-04-06 cs.AI cs.CL
Zero-shot Temporal Relation Extraction with ChatGPT
The University of Manchester(曼彻斯特大学)
本文探究ChatGPT在零样本时序关系抽取中的表现,通过三种提示设计评估发现其与监督方法差距明显且依赖提示,但在小类别上更优,同时揭示了其一致性和长距离推理缺陷。
2023-04-11 cs.AI cs.CL
Few-Shot Relation Extraction with Hybrid Visual Evidence
Virginia Tech(弗吉尼亚理工大学)
针对纯文本少样本关系抽取在上下文不足时性能受限的问题,提出MFS-HVE多模态模型,融合全局与局部视觉特征及文本语义,并通过三类注意力实现交互,实验证明视觉信息可显著提升关系预测性能。
2024-03-01 cs.CL cs.CV
Attention Guided Graph Convolutional Networks for Relation Extraction
Singapore University of Technology and Design(新加坡科技设计大学)
依赖树传递了丰富的结构信息,这些信息被证明对于提取文本中实体之间的关系非常有用。然而,如何有效地利用相关信息,而忽略无关信息的依赖树仍然是一个具有挑战性的研究问题。采用基于规则的硬修剪策略来选择相关部分依赖结构的现有方法可能并不总是产生最佳结果。在这项工作中,我们提出了注意力引导的图卷积网络(AGGCN),一种新的模型,它直接采取全依赖树作为输入。我们的模型可以被理解为一个软修剪的方法,自动学习如何有选择地参加相关的子结构有用的关系抽取任务。在跨句子n元关系抽取和大规模的文档级关系抽取等任务上的广泛结果表明,我们的模型能够更好地利用完整依赖树的结构信息,比以前的方法给出了更好的结果。
2020-09-06 cs.CL cs.LG
Guided Distant Supervision for Multilingual Relation Extraction Data: Adapting to a New Language
University of Luxembourg(卢森堡大学);Aston University(阿斯顿大学)
本文应用引导式远程监督方法构建了最大的德语传记关系抽取数据集,并训练和评估了多种最先进模型,同时通过多语言和跨语言实验探索了对低资源语言的益处。
2024-03-27 cs.CL cs.LG
Mutually Guided Few-shot Learning for Relational Triple Extraction
Tongji University(同济大学);City University of Hong Kong(香港城市大学)
提出相互引导小样本学习框架MG-FTE,通过实体引导关系分类和关系引导实体抽取,并设计原型级融合模块,在FewRel 1.0和2.0上分别提升F1达12.6和20.5。
2023-06-23 cs.AI cs.CL
Extracting Events Like Code: A Multi-Agent Programming Framework for Zero-Shot Event Extraction
针对零样本事件抽取中直接提示易输出无效结果的问题,本文提出多智能体框架AEC,将事件抽取类比为迭代代码生成过程,经多领域多模型实验验证其性能优于现有零样本基线。
2025-11-17 cs.AI cs.CL
Zero-Shot Relation Extraction via Reading Comprehension
Univ. of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们表明,关系抽取可以减少到回答简单的阅读理解问题,通过关联一个或多个自然语言的问题与每个关系插槽。这种简化有几个优点:我们可以(1)通过扩展最近的神经阅读理解技术来学习关系提取模型,(2)通过将关系特定的众包问题与远程监督相结合,为这些模型构建非常大的训练集,甚至(3)通过提取只在测试时指定的新关系类型来进行零样本学习,我们没有标记的训练样本。维基百科上的插槽填充任务的实验表明,该方法可以推广到新的问题,已知的关系类型具有高精度,和zero-shot推广看不见的关系类型是可能的,在较低的精度水平,设置酒吧为今后的工作在这项任务。
2017-06-13 cs.AI cs.CL cs.LG
Few-Shot Document-Level Relation Extraction
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
我们提出了FREDo,一个Few-Shot文档级关系抽取(FSDLRE)基准。相对于现有的基准是建立在文档级关系抽取语料库,我们认为,文档级语料库提供更多的现实主义,特别是关于非上述(NOTA)的分布。因此,我们提出了一组FSDLRE任务,并基于两个现有的监督学习数据集,DocRED和sciERC构建了一个基准。我们适应国家的最先进的文档级的方法MNAV,并进一步发展,以改善领域自适应。我们发现FSDLRE是一个具有挑战性的设置有趣的新特性,如能够从支持集采样NOTA实例。数据、代码和训练模型可在线获取(https://github.com/nicpopovic/FREDo)。
2022-07-01 cs.AI cs.CL cs.LG
Zero-shot Task Transfer for Invoice Extraction via Class-aware QA Ensemble
UST Ltd(UST有限公司)
我们提出VESPA,一个故意简单而新颖的zero-shot系统布局,区域和域不可知的文档提取。尽管有大量的文档语料库,但缺乏标记和验证的数据集使得有区别地为企业训练文档提取模型成为一个挑战。我们表明,这个问题可以通过简单地将信息抽取(IE)任务转移到一个自然语言检索(QA)任务,而无需工程任务特定的架构来解决。我们证明了我们的系统的有效性,通过评估一个封闭的语料库的真实世界的零售和税务发票与多个复杂的布局,域和地理。实证评估表明,我们的系统优于4个著名的商业发票解决方案,这些解决方案使用专门为发票提取而设计的体系结构的歧视性训练模型。我们提取了6个字段,没有预先的人工注释或使用Avg训练。F1 87.50
2021-08-13 cs.AI cs.CL cs.IR
Chem-FINESE: Validating Fine-Grained Few-shot Entity Extraction through Text Reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Chem-FINESE,一种基于seq2seq的少样本实体抽取方法,通过自验证模块重构输入句子并引入对比损失减少过度复制,在ChemNER+和CHEMET数据集上分别获得8.26%和6.84%的F1提升。
2024-05-29 cs.AI cs.CL cs.LG
Fusion Makes Perfection: An Efficient Multi-Grained Matching Approach for Zero-Shot Relation Extraction
Beijing University of Posts and Telecommunications(北京邮电大学)
针对零样本关系抽取中细粒度标注昂贵且语义交互计算开销大的问题,本文提出融合虚拟实体匹配、粗粒度召回与细粒度分类的高效多粒度方法,在保证推理速度的同时超越已有 SOTA。
2024-06-17 cs.AI cs.CL
Zero-Shot Information Extraction as a Unified Text-to-Triple Translation
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
我们将一套信息抽取任务转换为文本到三重翻译框架。我们不是依靠特定于任务的数据集和模型来解决每个任务,而是将任务形式化为特定于任务的输入文本和输出三元组之间的转换。通过获取特定于任务的输入,我们通过利用预先训练的语言模型具有的关于任务的潜在知识来实现任务不可知的翻译。我们进一步证明,预测哪些关系信息对应于哪些输入文本的简单预训练任务是产生特定于任务的输出的有效方法。这使得我们的框架能够zero-shot转移到下游任务。我们研究了这个框架在开放信息抽取(OIE 2016,NYT,WEB,PENN),关系分类(FewRel和TACRED)和事实探测(Google-RE和T-REx)上的zero-shot性能。该模型可以很好地转移到大多数任务中,并且通常与完全监督的方法竞争,而不需要任何特定于任务的训练。例如,我们显著优于有监督的开放信息抽取的F1得分,而无需使用其训练集。
2021-09-23 cs.AI cs.CL cs.LG
DiZiNER: Disagreement-guided Instruction Refinement via Pilot Annotation Simulation for Zero-shot Named Entity Recognition
Seltasquare Seoul, Korea(首尔韩国Seltasquare);Seoul National University College of Medicine(首尔国立大学医学院);Biomedical Research Institute, Seoul National University Hospital(首尔国立大学医院生物医学研究所)
DiZiNER通过模拟试点注释过程,利用LLM作为标注者和监督者,通过多模型标注和分歧分析优化指令,实现零样本NER的SOTA结果,提升F1分数并缩小与监督系统差距。
2026-04-17 cs.AI cs.CL cs.LG
Preserving Generalization of Language models in Few-shot Continual Relation Extraction
VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内理工大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
本文针对少样本持续关系抽取中的灾难性遗忘问题,提出利用常被丢弃的语言模型头并通过互信息最大化保持预训练先验知识、对齐主分类头的方法,同时探索大型语言模型的潜力,实验验证了其有效性。
2024-10-01 cs.AI cs.CL
Weakly-Supervised Questions for Zero-Shot Relation Extraction
University of Alberta(阿尔伯塔大学)
零次关系抽取(Zero-Shot Relationship Extraction,ZRE)是关系抽取的任务,其中训练集和测试集没有共享的关系类型。这个非常具有挑战性的领域是对模型泛化能力的很好测试。以前的ZRE方法将关系抽取重新定义为问答(QA),允许使用预先训练的QA模型。然而,这种方法需要为每个新关系手动创建黄金问题模板。在这里,我们放弃了这些黄金模板,而是学习一个可以为看不见的关系生成问题的模型。我们的技术可以成功地将关系描述转换为相关的问题,然后利用这些问题来生成正确的尾部实体。在尾部实体提取方面,我们在不使用黄金问题模板的情况下,比以前的最先进水平高出16个F1点以上。在RE-QA数据集,其中没有以前的基线关系抽取存在,我们提出的算法来在0.7 F1点的系统,使用黄金问题模板。我们的模型在FewRel和Wikipedia L数据集上的表现也优于最先进的ZRE基线,这表明QA模型不再需要模板问题来匹配专门为ZRE任务定制的模型的性能。我们的实现可以在https://github.com/fyshelab/QA-ZRE上获得。
2023-02-09 cs.AI cs.CL cs.LG
Cross-Domain Few-Shot Relation Extraction via Representation Learning and Domain Adaptation
School of System Design and Intelligent Manufacturing(系统设计与智能制造学院);Department of Computer Science and Engineering(计算机科学与工程系)
针对跨域少样本关系抽取泛化能力有限的问题,提出利用先验知识和关系语义学习更可解释的原型,结合对比学习和迁移学习,在FewRel基准上优于现有方法。
2023-05-10 cs.AI cs.CL
Entity Concept-enhanced Few-shot Relation Extraction
BeiHang University(北京航空航天大学);Pengcheng Laboratory(鹏城实验室);Hikvision Research Institute(海康威视研究院)
Few-Shot关系抽取(FSRE)在解决长尾分布问题中具有重要意义,特别是在数据资源较少的特殊领域。现有的FSRE算法由于样本有限和知识缺乏,仅根据句子信息和识别出的实体对不能准确地对关系进行分类。针对这一问题,本文提出了一种新的实体概念增强的Few-Shot关系抽取方案(ConceptFERE),该方案引入实体固有的概念,为关系预测提供线索,提高关系分类性能。首先,开发了一个概念-句子注意模块,通过计算句子和概念之间的语义相似度,从每个实体的多个概念中选择最合适的概念。其次,提出了一个基于自注意的融合模块,弥补了不同语义空间的概念嵌入和句子嵌入的不足。在FSRE基准数据集FewRel上进行的大量实验证明了所提出的ConceptFERE方案与最先进的基线相比的有效性和优越性。代码可在https://github.com/LittleGuoKe/ConceptFERE上获得。
2021-06-04 cs.AI cs.CL cs.LG
ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning
National Taiwan University(国立台湾大学);National Cheng Kung University(国立成功大学)
虽然关系抽取是知识获取和表示中的一项重要任务,并且新生成的关系在现实世界中很常见,但在预测在训练阶段无法观察到的看不见的关系方面所做的努力较少。在本文中,我们制定了zero-shot关系抽取问题,将可见和不可见的关系的文本描述。我们提出了一种新的多任务学习模型,zero-shot BERT(ZH-BERT),直接预测看不见的关系,而无需手工制作的属性标签和多个成对分类。给定由输入句子和它们之间关系的描述组成的训练实例,Escher-BERT学习两个函数,通过联合最小化它们之间的距离和对所看到的关系进行分类,将句子和关系描述投影到嵌入空间中。基于这两个函数生成未见关系和新句子的嵌入,使用最近邻搜索来获得未见关系的预测。在两个著名的数据集上进行的实验表明,EST-BERT可以比现有的方法至少提高13.54%的F1得分。
2021-04-10 cs.CL cs.IR cs.LG
Few-shot Continual Relation Extraction via Open Information Extraction
Hanoi University of Science and Technology(河内科技大学);Oraichain Labs Inc.(Oraichain实验室公司);VinAI Research(VinAI研究院);Bytedance(字节跳动);VNU University of Engineering and Technology(越南国家大学工程技术大学);University of Oregon(俄勒冈大学)
提出利用开放信息抽取与知识图谱构建的少样本持续关系抽取方法,处理未见关系,增强知识保留与适应性,实验优于现有基线。
2025-02-23 cs.AI cs.CL cs.IR
DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Extraction
Beijing University of Posts and Telecommunications(北京邮电大学)
提出DemoSG模型,通过演示学习和模式引导生成,在低资源事件抽取中显著提升性能。
2023-10-16 cs.AI cs.CL cs.IR
Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models
ETH Zurich(苏黎世联邦理工学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出一种基于预训练语言模型的文档级上下文少样本关系抽取框架,无需NER和人工标注且可免重训切换LM,在六个数据集上超过30余种基线并达到SOTA。
2024-10-02 cs.AI cs.CL cs.LG
From Examples to Rules: Neural Guided Rule Synthesis for Information Extraction
University of Arizona(亚利桑那大学)
虽然用于信息抽取的深度学习方法已经取得了许多成功,但随着需求的变化,它们可能很难扩展或维护。另一方面,基于规则的方法可以更容易地修改。然而,制定规则需要语言学和感兴趣领域的专业知识,这对大多数用户来说是不可行的。在这里,我们试图结合这两个方向的优点,同时减轻他们的缺点。我们适应最近的进展,从相邻领域的程序合成信息抽取,合成规则提供的例子。我们使用基于转换器的架构来指导枚举搜索,并表明这减少了在发现规则之前需要探索的步骤数量。此外,我们表明,在没有在特定域上训练合成算法的情况下,我们合成的规则在专注于关系分类的少样本学习的任务的1次场景上实现了最先进的性能,和竞争力的表现在5杆的情况下。
2022-01-16 cs.CL cs.IR cs.LG