Extreme Extraction: Only One Hour per Relation
University of Washington(华盛顿大学)
信息抽取(IE)旨在从自然语言文本中自动生成大型知识库,但进展缓慢。监督学习需要大量的人工注释,而无监督和弱监督方法无法提供有竞争力的准确性。因此,IE的大多数现场应用以及领先的TAC-KBP系统都依赖于大量的人工工程。即使是“极端”的方法,如弗里德曼等人2011年报道的方法,每个关系需要大约10个小时的专家劳动。本文展示了如何将这种努力减少一个数量级。我们提出了一个新的系统,InstaRead,简化创作与合奏的方法:1)编码提取规则的表达和组合表示,2)引导用户有前途的规则的基础上语料库统计和挖掘的资源,和3)引入一个新的交互式开发周期,提供即时反馈-即使在大型数据集。实验表明,专家可以在一个小时内创建高质量的提取器,甚至NLP新手也可以编写好的提取器。这些提取器等于或优于通过远程监督和最先进的远程监督方法获得的提取器。
2015-06-21 cs.AI cs.CL cs.IR
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction
Zhejiang University(浙江大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Hikvision Research Institute(海康威视研究院);University of Southern California(南加利福尼亚大学)
远程监督利用知识库来自动标记实例,从而允许我们训练关系提取器而无需人工注释。然而,生成的训练数据通常包含大量噪声,并且可能导致普通监督学习的性能较差。在本文中,我们提出了一种新的交叉关系交叉袋选择性注意(C $^2$ SA)进行多示例学习,这导致了远距离监督关系提取器的噪声鲁棒性训练。具体而言,我们采用了双水平的选择性注意,以减少噪音或不匹配的句子的影响,而关系之间的相关性被捕获,以提高注意力的权重的质量。此外,我们试图更多地关注具有更高质量的实体对,而不是平等地对待所有实体对。同样,我们采用选择性注意力机制来实现这一目标。两种类型的关系提取器的实验证明了所提出的方法的优越性,而进一步的消融研究验证了我们的直觉,并证明了我们提出的两种技术的有效性。
2018-12-27 cs.CL cs.LG
SEPT: Improving Scientific Named Entity Recognition with Span Representation
我们引入了一个新的科学命名实体识别器,称为SEPT,它代表Span Extractor with Pre-trained Transformers。在最近的论文中,跨度提取器已被证明是一个强大的模型相比,序列标记模型。然而,我们发现,随着预训练的语言模型的发展,跨度提取器的性能似乎变得与序列标记模型相似。为了保持跨度表示的优点,我们对模型进行了欠采样,以平衡正负样本,减少搜索空间。此外,我们简化了原始网络结构,将跨度提取器与BERT结合起来。实验表明,即使是简化的体系结构也能达到相同的性能,SEPT在不涉及关系信息的情况下也能实现科学的命名实体识别,达到了一个新的技术水平。
2020-10-13 cs.CL cs.IR
Learning Logic Rules for Document-level Relation Extraction
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
文档级关系抽取的目的是识别整个文档中实体之间的关系。以前捕获长距离依赖关系的努力在很大程度上依赖于通过(图)神经网络学习的隐式强大表示,这使得模型不太透明。为了解决这个问题,在本文中,我们提出了LogiRE,一个新的概率模型,通过学习逻辑规则的文档级关系抽取。LogiRE将逻辑规则视为隐变量,由两个模块组成:规则生成器和关系提取器。规则生成器用于生成可能有助于最终预测的逻辑规则,并且关系提取器基于所生成的逻辑规则输出最终预测。这两个模块可以有效地优化与期望最大化(EM)算法。通过在神经网络中引入逻辑规则,LogiRE可以显式地捕获远程依赖关系,并获得更好的解释。实证结果表明,LogiRE显着优于几个强基线的关系性能(1.8 F1得分)和逻辑一致性(超过3.3逻辑得分)。我们的代码可在https://github.com/rudongyu/LogiRE上获得。
2021-11-09 cs.CL
Encoding Implicit Relation Requirements for Relation Extraction: A Joint Inference Approach
Peking University(北京大学);IBM China Research Lab(IBM中国研究院)
关系抽取是识别实体之间预定义关系的任务,在信息抽取、知识库构建、问答等方面起着至关重要的作用。现有的关系抽取器大多对每个实体对进行局部和单独的预测,而忽略了跨不同实体对和知识库中隐含的全局线索,这常常导致来自不同实体对的局部预测之间的冲突。本文提出了一个联合推理框架,采用这种全球性的线索,以解决当地的预测之间的分歧。我们利用两种线索来生成约束,这些约束可以捕获关系的隐式类型和基数要求。这些约束可以在硬风格或软风格中进行检查,这两种风格都可以在整数线性规划公式中进行有效探索。在英文和中文数据集上的实验结果表明,该框架能够有效地利用这两类全局线索,解决局部预测之间的不一致,从而在线索适用于数据集的情况下改进各种关系抽取器。我们的实验还表明,从现有的知识库中自动学习的线索,执行或优于那些细化的人。
2018-11-09 cs.CL
CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors
Fudan University(复旦大学);East China Normal University(华东师范大学)
本文提出CodeIE方法,利用代码生成模型(如Codex)通过代码风格提示将信息抽取任务转化为代码生成,在少样本设置下优于微调专用模型和NL-LLMs提示方法。
2023-05-11 cs.AI cs.CL
Few-Shot Relation Extraction with Hybrid Visual Evidence
Virginia Tech(弗吉尼亚理工大学)
针对纯文本少样本关系抽取在上下文不足时性能受限的问题,提出MFS-HVE多模态模型,融合全局与局部视觉特征及文本语义,并通过三类注意力实现交互,实验证明视觉信息可显著提升关系预测性能。
2024-03-01 cs.CL cs.CV
Language Models are Causal Knowledge Extractors for Zero-shot Video Question Answering
National Taiwan University(台湾大学);Columbia University(哥伦比亚大学);Mobile Drive Technology(智驾科技)
针对现有QG模型难以生成因果问题导致CVidQA性能不佳的问题,提出CaKE-LM框架,利用语言模型提取因果常识知识生成问答对,在零样本准确率上提升4%至6%。
2023-04-07 cs.CL cs.CV
Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions
University of Science and Technology of China(中国科学技术大学)
提出了一种神经网络关系抽取方法来处理远程监控产生的带噪声的训练数据。以往的研究主要集中在通过设计具有袋内关注度的神经网络来实现袋内水平去噪。本文同时考虑袋内和袋间的注意力,分别对袋级和袋级的噪声进行处理。首先,通过使用袋内注意力加权句子嵌入来计算关系感知袋表示。这里,利用每个可能的关系作为用于注意力计算的查询,而不是在传统方法中仅使用目标关系。此外,在训练集中,共享相同的关系标签的一组袋的表示计算通过加权袋表示使用基于相似性的袋间注意模块。最后,一个袋子组被用作训练样本时,建立我们的关系提取器。纽约时报数据集上的实验结果表明,我们提出的袋内和袋间注意力模块的有效性。我们的方法也实现了更好的关系抽取的准确性比国家的最先进的方法在这个数据集上。
2019-03-30 cs.AI cs.CL
Making Pre-trained Language Models Better Continual Few-Shot Relation Extractors
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出对比提示学习框架和记忆增强策略,利用预训练语言模型的隐式能力,有效缓解持续少样本关系抽取中的灾难性遗忘和过拟合问题,并在低资源场景下显著超越现有方法。
2024-02-24 cs.AI cs.CL
Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction
University of Washington(华盛顿大学)
我们介绍了一个多任务的设置,识别和分类的实体,关系,并在科学文章中的共指集群。我们创建了SciERC,一个包含所有三个任务的注释的数据集,并开发了一个统一的框架,称为科学信息提取器(SciIE),用于共享跨度表示。多任务设置减少了任务之间的级联错误,并通过共指链接利用跨句子关系。实验表明,我们的多任务模型优于以前的模型在科学信息抽取,而不使用任何特定领域的功能。我们进一步表明,该框架支持科学知识图谱,我们用它来分析科学文献中的信息的建设。
2018-08-29 cs.CL
Question Answering on Freebase via Relation Extraction and Textual Evidence
Peking University(北京大学);University of Edinburgh(爱丁堡大学);IBM China Research Lab(IBM中国研究实验室)
现有的基于知识的问答系统通常依赖于小的带注释的训练数据。虽然像关系抽取这样的浅层方法对数据稀缺性是鲁棒的,但它们的表达能力不如像语义解析这样的深层含义表示方法,因此无法回答涉及多个约束的问题。在这里,我们减轻这个问题,授权关系抽取方法与维基百科的额外证据。我们首先提出了一个基于神经网络的关系提取器从Freebase检索候选答案,然后推断维基百科来验证这些答案。在WebQuestions问答数据集上的实验表明,该方法的F1达到了53.3%,比现有方法有了很大的提高。
2016-06-09 cs.CL
Revisiting Large Language Models as Zero-shot Relation Extractors
Southeast University(东南大学)
本文研究ChatGPT等LLMs作为零样本关系抽取器,提出SumAsk提示将RE转为QA格式,实验表明其显著提升性能且优于全监督方法,在重叠和NoTA关系上表现优异。
2023-11-24 cs.AI cs.CL
iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models
INSA Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);Universite Claude Bernard Lyon 1(里昂第一大学(克洛德·贝尔纳));GAUC;AUVALIE
本文提出 iText2KG,一种基于大语言模型的零样本、增量式、主题无关知识图谱构建方法,通过四个模块实现无后处理构建,并在论文、网站和简历转图谱任务中优于基线方法。
2024-09-05 cs.AI cs.CL cs.IR
A Practical Framework for Relation Extraction with Noisy Labels Based on Doubly Transitional Loss
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
无论是人工标注还是基于规则的自动标注都是关系抽取数据扩充的有效方法。然而,不可避免的错误标记问题,例如通过远程监督可能会恶化许多现有方法的性能。为了解决这个问题,我们引入了一个实用的端到端深度学习框架,包括一个标准的特征提取器和一个新的噪声分类器与我们提出的双重过渡机制。一个转换基本上是由隐藏层之间的非线性变换参数化的,隐式地表示真实标签和噪声标签之间的转换,并且它可以与其他模型参数一起容易地优化。另一种是显式概率转移矩阵,它捕获标签之间的直接转换,但需要从EM算法中导出。我们在NYT数据集和SemEval 2018任务7上进行了实验。实证结果表明,与最先进的方法相比,性能相当或更好。
2020-04-28 cs.AI cs.CL cs.LG
Active Testing: An Unbiased Evaluation Method for Distantly Supervised Relation Extraction
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);Beijing Normal University (Zhuhai) & UIC(北京师范大学(珠海)与UIC);American University of Sharjah(沙迦美国大学)
远程监督由于其便于自动标注数据集而成为神经关系抽取中广泛使用的方法。然而,现有的工作远距离监督关系抽取的测试集的质量低,这导致相当大的偏见性能评估。这些偏差不仅会导致不公平的评价,而且会误导神经关系抽取的优化。为了缓解这个问题,我们提出了一种新的评估方法命名为主动测试,通过利用噪声测试集和一些手动注释。广泛使用的基准测试的实验表明,我们提出的方法可以产生近似无偏的评价远距离监督的关系提取。
2020-10-17 cs.CL cs.IR
Heterogeneous Supervision for Relation Extraction: A Representation Learning Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
关系抽取是信息抽取中的一项基本任务。大多数现有的方法严重依赖于由人类专家标记的注释,这是昂贵且耗时的。为了克服这个缺点,我们提出了一个新的框架,REHession,使用来自异构信息源的注释进行关系提取器学习,例如,知识库和领域分析。这些被称为异构监督的标注经常相互冲突,这给原有的关系抽取任务带来了新的挑战:如何从给定实例的噪声标注中推断出真实标注。识别上下文信息的骨干关系抽取和真正的标签发现,我们采用嵌入技术来学习上下文的分布式表示,桥梁的所有组件相互增强的迭代方式。大量的实验结果证明了REHession的优越性。
2017-08-01 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science(印度科学研究所);University of British Columbia(英属哥伦比亚大学)
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督(DS)是一种流行的技术,用于从有限监督开始开发关系提取器。我们注意到,在远程监督关系抽取设置中的大多数句子都很长,并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先,我们提出了两个新的词注意力模型的远程监督关系抽取:(1)双向门控递归单元(Bi-GRU)为基础的词注意力模型(BGWA),(2)以实体为中心的注意力模型(EA),和(3)组合模型,采用加权投票方法结合多个互补的模型改进的关系抽取。其次,介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声,使可靠的自动评估成为可能。第三,通过在多个真实数据集上的大量实验,我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
RESIDE: Improving Distantly-Supervised Neural Relation Extraction using Side Information
Indian Institute of Science(印度科学学院);Birla Institute of Technology and Science, Pilani(比尔拉理工学院皮拉尼校区)
远程监督关系抽取(RE)方法通过自动地将知识库(KB)中的关系实例与非结构化文本对齐来训练提取器。除了关系实例之外,KB通常包含其他相关的边信息,诸如关系的别名(例如,founded和co-founded是关系founderOfCompany的别名)。RE模型通常忽略这些容易获得的边信息。在本文中,我们提出了RESIDE,一个远程监督的神经关系抽取方法,利用额外的边信息从知识库改进关系抽取。它使用实体类型和关系别名信息在预测关系时施加软约束。RESIDE采用图卷积网络(GCN)从文本中编码语法信息,即使在有限的边信息可用时也能提高性能。通过在基准数据集上的大量实验,我们证明了RESIDE的有效性。我们提供了RESIDE的源代码,以鼓励可重复的研究。
2019-02-12 cs.CL
"Is depression related to cannabis?": A knowledge-infused model for Entity and Relation Extraction with Limited Supervision
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
由于大力宣传使用大麻对改善心理健康的好处,大麻合法化是立法者的优先事项。然而,初步的科学研究并没有最终将大麻与改善心理健康联系起来。在这项研究中,我们探讨了抑郁症和大麻消费之间的关系,在一个有针对性的社交媒体语料库中,涉及个人使用大麻,目的是获得其潜在的心理健康益处。我们使用的推文包含领域专家注释的三个类别之间的关联-原因,效果和成瘾。最先进的自然语言处理技术在提取大麻短语和抑郁指标之间的这些关系方面存在不足。我们试图通过使用领域知识来解决这一限制;具体来说,药物滥用本体论与精神疾病诊断和统计手册的心理健康词汇增强成瘾。由于领域专家的时间有限而缺乏注释,我们使用监督对比学习结合在大量语料库上训练的GPT-3,即使在监督有限的情况下也能提高性能。实验结果表明,我们的方法可以显着提取大麻抑郁症的关系比最先进的关系提取器。可以使用最近邻方法提供高质量的注释,该方法使用可被科学界用来更好地理解大麻与抑郁症之间的关联的学习表示。
2021-02-01 cs.AI cs.CL
GCRE-GPT: A Generative Model for Comparative Relation Extraction
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文提出基于GPT-2的生成式模型GCRE-GPT,可直接从比较性文本中提取目标、方面及其比较关系,并在两个数据集上取得最先进准确率。
2024-06-27 cs.CL
Distant Supervision for Relation Extraction beyond the Sentence Boundary
Microsoft Research(微软研究院)
对结构化知识日益增长的需求导致了人们对关系抽取的极大兴趣,特别是在监督有限的情况下。然而,现有的距离监督方法只能提取单个句子中表达的关系。一般来说,跨句关系抽取是探索不足,即使在监督学习设置。在本文中,我们提出了第一种将远程监督应用于跨句关系抽取的方法。我们的方法的核心是一个图形表示,可以将标准的依赖关系和话语关系,从而提供了一个统一的方式来建模内和跨句子的关系。我们从这个图中的多条路径中提取特征,当遇到语言变化和分析错误时,提高了准确性和鲁棒性。在一个重要的精准医学提取任务上的实验表明,我们的方法可以学习一个准确的跨句子提取器,只使用一个小的现有知识库和生物医学研究文章中的未标记文本。与现有的远程监督范式相比,我们的方法以相似的精度提取了两倍的关系,从而证明了跨句子关系的普遍性和我们方法的前景。
2017-08-14 cs.CL
Open Set Relation Extraction via Unknown-Aware Training
Fudan University(复旦大学);DataGrand Information Technology (Shanghai) Co., Ltd.(上海达观信息科技有限公司);International Human Phenome Institutes (Shanghai)(上海国际人类表型组研究院)
针对开集关系抽取中未知关系易被误判为已知关系的问题,提出通过动态合成困难负例进行未知感知训练,实现SOTA未知关系检测且不影响已知关系分类。
2023-06-08 cs.CL
CATE: CAusality Tree Extractor from Natural Language Requirements
Technical University of Munich(慕尼黑工业大学);Qualicen GmbH(Qualicen有限公司);Blekinge Institute of Technology(布莱金厄理工学院);University of Cologne(科隆大学)
因果关系(如果A,那么B)在需求工件中很普遍。从需求中自动提取因果关系对于各种RE活动(例如,自动导出合适的测试用例)。然而,我们缺乏一种能够以合理的性能从自然语言中提取因果关系的方法。在本文中,我们提出了我们的工具CATE(因果树提取器),这是能够解析的因果关系组成的树结构。CATE不仅提供了一个句子中的原因和结果的概述,而且还通过将因果关系转化为二叉树来揭示它们的语义连贯性。我们鼓励其他研究人员和从业人员使用CATE,网址为https://causalitytreeextractor.com/
2021-07-22 cs.CL cs.IR
RTE: A Tool for Annotating Relation Triplets from Text
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Siemens Healthineers(西门子医疗)
在这项工作中,我们提出了一个基于Web的注释工具"关系三元组提取器" \footnote{https://abera87.github.io/annotate/}(RTE)的关系三元组的文本注释。关系抽取是从Web上的非结构化文本中抽取关于真实世界实体的结构化信息的一项重要任务。在关系抽取中,我们关注的是二元关系,即两个实体之间的关系。近年来,许多监督模型被提出来解决这个问题,但它们大多使用噪声训练数据使用远程监督方法获得。在许多情况下,模型的评估也是基于噪声测试数据集进行的。缺乏带注释的干净数据集是这一研究领域的一个关键挑战。在这项工作中,我们建立了一个基于Web的工具,研究人员可以注释数据集的关系抽取自己非常容易。我们为这个工具使用了无服务器架构,整个注释操作都是使用客户端代码处理的。因此,它不会受到任何网络延迟的影响,并且用户数据的隐私也得到了维护。我们希望这个工具能对关系抽取领域的研究者有所帮助。
2021-08-18 cs.CL
UniRE: A Unified Label Space for Entity Relation Extraction
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室);East China Normal University(华东师范大学)
许多联合实体关系抽取模型为两个子任务设置两个分离的标签空间(即,实体检测和关系分类)。我们认为,这种设置可能会阻碍实体和关系之间的信息交互。在这项工作中,我们建议消除两个子任务的标签空间上的不同处理。我们模型的输入是一个包含句子中所有单词对的表格。实体和关系在表中由正方形和矩形表示。我们应用一个统一的分类器来预测每个细胞的标签,这统一了两个子任务的学习。为了测试,提出了一种有效的(但快速)近似解码器,用于从表中查找正方形和矩形。在三个基准测试(ACE04、ACE05、SciERC)上的实验表明,仅使用一半的参数,我们的模型就达到了与最佳提取器竞争的准确性,并且速度更快。
2021-07-09 cs.CL cs.LG
Tell Me Why Is It So? Explaining Knowledge Graph Relationships by Finding Descriptive Support Passages
IBM Research(IBM研究院);IIIT Delhi(德里英德拉普拉斯塔信息技术学院)
我们解决的问题,找到描述性的解释存储在知识图谱的事实。这在诸如医疗保健、智能等高风险领域中是重要的,在这些领域中,用户需要额外的信息来进行决策,并且对于依赖于自动构建的知识库的应用尤其重要,在这些应用中,机器学习系统从输入语料库中提取事实,并且提取器的工作对最终用户是不透明的。我们遵循的方法启发从信息检索,并提出了一个简单而有效的,但有效的解决方案,考虑到通道级以及文档级属性,以产生一个排名列表的段落描述一个给定的输入关系。我们测试我们的方法使用维基数据作为知识库和维基百科作为源语料库和报告的用户研究结果进行了研究,我们提出的模型的有效性。
2018-03-17 cs.AI cs.IR
Relabel the Noise: Joint Extraction of Entities and Relations via Cooperative Multiagents
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Sun Yat-Sen University(中山大学)
用于实体和关系抽取的基于远程监督的方法已经受到越来越多的欢迎,这是由于这些方法需要少量的人工注释工作。本文研究了\textit{shifted label distribution}问题,该问题是由受外部知识图谱影响的噪声标记训练集和人工标注测试集之间的不一致性引起的,并且由于噪声传播而加剧了流水线的实体-然后-关系抽取方式。我们提出了一个联合提取方法来解决这个问题,重新标记嘈杂的情况下,一组合作的多智能体。为了以细粒度的方式处理噪声实例,合作组中的每个代理通过从自己的角度计算连续的置信度得分来评估实例;为了利用这两个提取任务之间的相关性,设计了置信度共识模块来收集所有代理的智慧并重新分配噪声训练集与置信度得分标签。此外,置信度用于调整提取器的训练损失。在两个真实数据集上的实验结果验证了重新标记噪声实例的好处,并表明该模型明显优于最先进的实体和关系抽取方法。
2020-04-21 cs.CL
Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction
Virginia Tech(弗吉尼亚理工大学);Adobe Research(奥多比研究院)
基于远距离监督的n元跨句关系抽取模型假设连续的句子中包含n个实体,描述了这n个实体之间的关系。然而,一方面,这种假设引入了噪声标记数据,损害了模型的性能。另一方面,一些非连续的句子也描述了一个关系,这些句子不能在这个假设下被标记。在本文中,我们放松了这个强假设较弱的远程监督假设,以解决第二个问题,并提出了一种新的句子分布估计模型,以解决第一个问题。该估计器选择正确标记的句子,以减轻噪声数据的影响是一个两级代理强化学习模型。此外,提出了一种新的通用关系提取器与注意力机制和PCNN的混合方法,它可以部署在任何任务,包括连续和非连续的句子。实验结果表明,与基准模型相比,该模型能有效降低噪声数据的影响,并在一般的n元跨句关系抽取任务中获得更好的性能。
2020-09-26 cs.CL cs.LG stat.ML
End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction
National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学);Toyota Technological Institute(丰田工业大学)
针对检索增强生成中实例检索不可微导致无法端到端训练的问题,提出ETRAG框架,通过可微的k近邻选择实现检索器与关系抽取目标的联合优化,在TACRED数据集上显著提升性能。
2024-10-10 cs.CL
Narrative World Model: Narratology-Grounded Writer Memory for Long-Form Fiction
PocketFM(口袋FM)
研究针对长篇小说作者记忆问题,提出叙事世界模型(NWM),结合叙事学时间状态图与查询条件混合检索,在多跳叙事学问答上显著优于基线,优势源于其独特表征,非提取方式。
2026-07-08 cs.AI cs.CL cs.IR
Distantly-Supervised Neural Relation Extraction with Side Information using BERT
Centro de Informática, Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);Montreal Institute for Learning Algorithms, University of Montreal(蒙特利尔大学蒙特利尔学习算法研究所);Department of Chemical and Biological Engineering, Northwestern University(西北大学化学与生物工程系)
关系抽取(RE)是对句子中实体之间的关系进行分类。最近开发关系提取器的范例是远程监督(DS),它允许通过在文本语料库和知识库(KB)之间进行对齐来自动创建新的数据集。知识库有时也可以为RE任务提供额外的信息。RESIDE模型是采用这种策略的方法之一,它提出了一种利用知识库边信息的远程监督神经关系抽取。考虑到这种方法优于最先进的基线,在本文中,我们提出了一种相关的方法来RESIDE也使用额外的边信息,但简化了句子编码与BERT嵌入。通过实验,我们在Google Distant Supervision和Riedel数据集上对BGWA和RESIDE基线方法进行了验证。虽然曲线下面积由于不平衡的数据集而减小,但P@N结果表明,使用BERT作为句子编码可以实现优于基线方法的性能。
2020-09-10 cs.CL cs.IR cs.LG
Iterative Document-level Information Extraction via Imitation Learning
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学);Microsoft Semantic Machines(微软语义机器公司)
本研究提出基于模仿学习的迭代式文档级信息抽取模型IterX,将模板抽取任务建模为MDP,无需预定义模板顺序训练,在多个基准任务上取得SOTA或强劲基线结果。
2023-05-01 cs.CL
Meta In-Context Learning Makes Large Language Models Better Zero and Few-Shot Relation Extractors
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Beijing Institute of Computer Technology and Application(北京计算机技术及应用研究所)
本文提出新型元训练框架Micre,通过在多样化RE数据集上微调LLMs提升其上下文学习能力,在零样本和少样本关系抽取任务中实现更优泛化,且对大模型规模效果更显著。
2024-04-27 cs.AI cs.CL
LLM-based Atomic Propositions help weak extractors: Evaluation of a Propositioner for triplet extraction
Université Paris-Saclay, CNRS, LISN(巴黎-萨克雷大学,法国国家科学研究中心,语言与语音处理实验室);AMIAD, Pôle Recherche(AMIAD,研究部)
本文探讨通过将文本分解为原子命题来提升三元组提取效果,引入MPropositionneur-V2模型,并在多个数据集上验证其对弱提取器的增强作用。
2026-04-03 cs.CL
MatSciRE: Leveraging Pointer Networks to Automate Entity and Relation Extraction for Material Science Knowledge-base Construction
Indian Institute of Technology, Kharagpur(印度理工学院卡哈拉格普尔分校);TCS Research Lab, Kolkata(塔塔咨询服务研究实验室(加尔各答));Indo-Korea Science and Technology(印韩科学技术研究院)
提出基于 Pointer Network 的 MatSciRE 编码器-解码器框架,从电池材料文献中联合抽取五类实体关系三元组,F1 分数优于 ChemDataExtractor。
2024-01-18 cs.CE cs.CL cs.IR
Large Language Models are Few-Shot Clinical Information Extractors
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Münster(明斯特大学)
临床NLP社区的一个长期目标是提取临床笔记中的重要变量。然而,障碍包括从一般领域的数据集转移和缺乏公共临床语料库和注释。在这项工作中,我们表明,大语言模型,如InstructGPT,在零和Few-Shot信息抽取从临床文本,尽管没有专门为临床领域进行训练,表现良好。虽然文本分类和生成性能已经在这些模型中得到了广泛的研究,但在这里,我们还演示了如何利用它们来处理需要更多结构化输出的各种NLP任务,包括跨度识别,标记级序列分类和关系抽取。此外,由于缺乏可用的数据来评估这些系统,我们引入了新的数据集基准Few-Shot临床信息抽取的基础上手动重新注释的CASI数据集的新任务。在我们研究的临床提取任务中,GPT-3系统显著优于现有的零次和Few-Shot基线。
2022-11-30 cs.AI cs.CL
Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors
The Ohio State University(俄亥俄州立大学)
针对大型语言模型在关系抽取任务上表现不佳的问题,提出QA4RE框架,通过将关系抽取与问答任务对齐,显著提升了模型在零样本和少样本设置下的性能与鲁棒性。
2023-05-18 cs.CL
Relation Mention Extraction from Noisy Data with Hierarchical Reinforcement Learning
State Grid Corporation of China(国家电网有限公司);Tsinghua University(清华大学);Zhejiang University(浙江大学)
在本文中,我们解决了一个任务的关系提到提取噪声数据:提取代表性的短语,从嘈杂的句子,通过远程监督收集的特定关系。尽管它在许多下游应用中具有重要意义和价值,但该任务在噪声数据上的研究较少。主要的挑战存在于1)缺乏对提及短语的注释,更严重的是,2)处理根本不表达关系的嘈杂句子。为了解决这两个挑战,我们制定了一个半马尔可夫决策过程的任务,并提出了一种新的分层强化学习模型。我们的模型包括一个顶级的句子选择器,以消除嘈杂的句子,一个低级的提及提取器,以提取关系提及,和一个奖励估计器提供信号,以指导数据去噪和提及提取没有显式注释。实验结果表明,该模型能有效地从噪声数据中提取关系提及。
2018-11-03 cs.AI cs.CL cs.LG
Knowledge Base Population using Semantic Label Propagation
Ghent University(根特大学);iMinds(iMinds研究院)
从文本语料库中提取新事实的知识库人口系统的一个关键方面是为其关系提取器生成训练数据。在本文中,我们提出了一种方法,以最小的注释成本最大限度地提高新训练的关系提取器的有效性。远程监督是一种通过将大型文本语料库与已知事实的现有知识库对齐来自动构建训练数据的方法,它可以显著减少手动标记。例如,所有提到“Barack Obama”和“US”的句子都可以充当关系born_in(主语,宾语)的正训练实例。然而,远程监督通常会导致高度嘈杂的训练集:许多训练句子并不能真正表达预期的关系。我们建议将远程监督与最小的人工监督相结合,采用一种称为特征标记的技术,以消除来自大型和嘈杂的初始训练集的噪声,从而显着提高精度。我们通过引入语义标签传播方法来进一步改进这种方法,该方法使用候选训练实例的低维表示之间的相似性来扩展训练集,以提高召回率,同时保持高精度。我们提出的生成训练数据的策略在为知识库人口任务设计的既定测试集合上进行了研究和评估。实验结果表明,语义标签传播策略导致大量的性能增益相比,现有的方法,同时需要一个几乎可以忽略不计的手动注释工作。
2016-03-03 cs.CL cs.LG