Cross-Sentence N-ary Relation Extraction with Graph LSTMs
Microsoft Research(微软研究院);Google Research(谷歌研究院)
过去在关系抽取中的工作主要集中在单句中的二元关系。最近NLP在高价值领域的进展引发了人们对提取跨多个句子的n元关系的更一般设置的兴趣。在本文中,我们探讨了一个通用的关系抽取框架的基础上图长短期记忆网络(图LSTM),可以很容易地扩展到跨句子的n元关系抽取。图公式提供了一种统一的方式来探索不同的LSTM方法,并结合各种内部和内部依赖关系,如顺序,语法和话语关系。一个强大的上下文表示学习的实体,作为输入的关系分类器。这简化了对具有任意arity的关系的处理,并且使具有相关关系的多任务学习成为可能。我们在两个重要的精准医疗环境中评估了这个框架,证明了它在传统的监督学习和远程监督下的有效性。跨句子提取产生了更大的知识库。多任务学习显著提高了提取准确率。对各种LSTM方法的深入分析产生了有用的见解,即语言分析对提取准确性的影响。
2017-08-12 cs.CL
Improving Cross-Domain Performance for Relation Extraction via Dependency Prediction and Information Flow Control
University of Oregon(俄勒冈大学)
关系抽取(RE)是信息抽取和自然语言处理中的一项基本任务。相关树已被证明是一个非常有用的信息源,为这项任务。当前用于关系抽取的深度学习模型主要通过沿着依赖树的结构引导它们的计算来利用这种依赖信息。这种方法的一个潜在问题是它可能会阻止模型捕获语法结构之外的重要上下文信息,并导致较差的跨领域泛化。本文介绍了一种在RE中使用依赖树的新方法,用于联合预测依赖关系和语义关系的深度学习模型。我们还提出了一种新的机制来控制信息流的模型的基础上输入实体提及。我们在基准数据集上的大量实验表明,该模型明显优于现有的RE方法。
2019-07-07 cs.CL
Entity-centered Cross-document Relation Extraction
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
关系抽取(RE)是信息抽取的一项基础性工作,引起了人们的广泛关注。以往的研究主要集中在句子或文档内部的关系抽取,而目前研究者开始探索跨文档的关系抽取。然而,目前的跨文档RE方法直接利用多个给定文档中目标实体周围的文本片段,这带来了相当大的噪声和不相关的句子。此外,他们利用所有的文本路径在一个文档包中的粗粒度的方式,而不考虑这些文本路径之间的连接。在本文中,我们的目标是解决这两个不足,推动国家的最先进的跨文档RE。首先,我们专注于我们的RE模型的输入建设,并提出了一个基于实体的文档上下文过滤器,保留有用的信息,在给定的文档中使用的桥梁实体的文本路径。其次,提出了一种基于跨路径实体关系注意力的跨文档RE模型,该模型允许跨文本路径的实体关系之间进行交互。我们将我们的跨文档RE方法与数据集CodRED中最先进的方法进行了比较。我们的方法在F1中至少比它们高出10%,从而证明了其有效性。
2022-10-29 cs.CL
Distant Supervision for Relation Extraction beyond the Sentence Boundary
Microsoft Research(微软研究院)
对结构化知识日益增长的需求导致了人们对关系抽取的极大兴趣,特别是在监督有限的情况下。然而,现有的距离监督方法只能提取单个句子中表达的关系。一般来说,跨句关系抽取是探索不足,即使在监督学习设置。在本文中,我们提出了第一种将远程监督应用于跨句关系抽取的方法。我们的方法的核心是一个图形表示,可以将标准的依赖关系和话语关系,从而提供了一个统一的方式来建模内和跨句子的关系。我们从这个图中的多条路径中提取特征,当遇到语言变化和分析错误时,提高了准确性和鲁棒性。在一个重要的精准医学提取任务上的实验表明,我们的方法可以学习一个准确的跨句子提取器,只使用一个小的现有知识库和生物医学研究文章中的未标记文本。与现有的远程监督范式相比,我们的方法以相似的精度提取了两倍的关系,从而证明了跨句子关系的普遍性和我们方法的前景。
2017-08-14 cs.CL
Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks
Central University of Finance and Economics(中央财经大学);Huazhong University of Science and Technology(华中科技大学);University of York(约克大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);iFLYTEK(科大讯飞)
联合事件提取,其提取结构信息(即,实体或事件的触发器),在自然语言处理中引起了越来越多的研究关注。大多数现有的工作没有完全解决实体和触发器之间的稀疏共现关系,这丢失了这一重要信息,从而降低了提取性能。为了缓解这个问题,我们首先将联合事件提取定义为一个序列到序列的标签任务,标签集由触发器和实体的标签组成。然后,将上述共现关系中的缺失信息,我们提出了一个交叉监督机制(CSM),交替监督的触发器或实体的提取基于彼此的类型分布。此外,由于连接的实体和触发器自然形成异构信息网络(HIN),因此我们利用给定语料库的元路径上的潜在模式来进一步提高我们提出的方法的性能。为了验证我们所提出的方法的有效性,我们进行了广泛的实验上的四个真实世界的数据集,以及比较我们的方法与国家的最先进的方法。实验结果和分析表明,我们的方法优于国家的最先进的方法在实体和触发提取。
2020-10-14 cs.CL
Everything Is All It Takes: A Multipronged Strategy for Zero-Shot Cross-Lingual Information Extraction
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
零镜头跨语言信息抽取(IE)描述了在给定仅以某个其它语言(通常是英语)的现有注释的情况下,针对某个目标语言的IE模型的构造。虽然预先训练的多语言编码器的进步表明了一个简单的乐观"训练英语,运行在任何语言",我们发现通过彻底的探索和技术的扩展,新老方法的结合,导致更好的性能比任何一个跨语言的战略,特别是。我们探索了包括数据投影和自我训练在内的技术,以及不同的预训练编码器如何影响它们。我们使用英语到阿拉伯语的IE作为我们的初始示例,在此设置中,事件提取,命名实体识别,词性标记和依存句法分析表现出很强的性能。然后,我们将数据投影和自我训练应用于八种目标语言的三个任务。因为没有一组技术在所有任务中表现最好,我们鼓励从业者在寻求改进zero-shot训练时探索本工作中描述的技术的各种配置。
2021-09-14 cs.CL
A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
Xiamen University(厦门大学)
文档级关系抽取(RE)旨在识别给定文档中两个实体之间的关系。与文档级RE相比,文档级RE需要复杂的推理。以往的研究通常通过在文档图的提及层或实体层上进行信息传播来完成推理,而很少考虑到实体对层上的推理,本文提出了一种新的文档级RE模型--密集连接交叉注意网络(Densely Connected Criss-Cross Attention Network,Dense-CCNet),该模型能够在实体对层上完成逻辑推理。具体而言,Dense-CCNet通过交叉注意(CCA)进行实体对级别的逻辑推理,可以在实体对矩阵上收集水平和垂直方向的上下文信息,以增强相应的实体对表示。此外,我们密集地连接CCA的多个层,以同时捕获单跳和多跳逻辑推理的特征。我们在三个公共文档级RE数据集DocRED,CDR和GDA上评估了我们的Dense-CCNet模型。实验结果表明,我们的模型在这三个数据集上达到了最先进的性能。
2022-03-26 cs.CL
A Multi-Domain and Multi-Task Generative Framework with Explicit Task and Domain Conditioning for Cross-Domain Event Extraction
German Research Center for Artificial Intelligence(德国人工智能研究中心);Carl von Ossietzky University of Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
该研究针对跨领域事件抽取难题,提出带显式任务与领域条件的多领域多任务生成框架,通过结合领域条件信号与任务提示实现动态适配,在基准测试中取得了竞争力的性能与跨领域泛化能力。
2026-08-25 cs.CL
BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国家生物技术信息中心(NCBI)、美国国家医学图书馆(NLM)、美国国立卫生研究院(NIH))
生物医学关系陈述通常用多个句子表示,并且由许多概念组成,包括基因、疾病、化学和突变。为了从生物医学文献中自动提取信息,现有的生物医学文本挖掘方法通常将问题表述为跨句子的n元关系提取任务,该任务检测跨多个句子的n个实体之间的关系,并使用具有长短期记忆(LSTM)的图神经网络(GNN)或注意力机制。最近,Transformer在许多自然语言处理(NLP)任务上的表现优于LSTM。在这项工作中,我们提出了一种新的架构,结合双向编码器表示从Transformers与图形Transformer(BERT-GT),通过集成邻居注意力机制到BERT架构。与原始的Transformer架构不同,它利用整个句子来计算当前标记的注意力,我们的方法中的邻居-注意力机制仅利用其邻居标记来计算其注意力。因此,每个令牌可以关注其邻居信息而几乎没有噪声。我们表明,这是至关重要的,当文本是很长的,在跨句子或抽象层次的关系提取任务。我们的基准测试结果显示,在n-ary和化学蛋白质关系数据集上,准确率和F1度量分别提高了5.44%和3.89%,这表明BERT-GT是一种适用于其他生物医学关系抽取任务或数据集的鲁棒方法。
2021-01-11 cs.CL
Beyond Chunk-Local Extraction: Cross-Chunk Graph Augmentation for GraphRAG
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学)
提出CrossAug方法,利用GNN引导的跨块图增强,在查询前离线补充GraphRAG索引中缺失的跨块关系,提升多跳和长文档问答性能。
2026-05-27 cs.CL
Cross-Task Instance Representation Interactions and Label Dependencies for Joint Information Extraction with Graph Convolutional Networks
University of Oregon(俄勒冈大学)
现有的信息抽取(IE)工作主要是分别解决四个主要任务(实体提及识别、关系抽取、事件触发器检测和参数抽取),因此未能从任务之间的相互依赖性中获益。本文提出了一种新的深度学习模型,可以在一个模型中同时解决IE的四个任务(称为FourIE)。与之前联合执行四个IE任务的工作相比,FourIE具有两个新的贡献来捕获任务之间的相互依赖性。首先,在表示层面,我们引入了四个任务的实例之间的交互图,用于丰富一个实例的预测表示与其他任务的相关实例。其次,在标签级别,我们提出了一个依赖图的信息类型在四个IE任务,捕捉输入句子中表达的类型之间的连接。引入了一种新的正则化机制来加强黄金依赖图和预测依赖图之间的一致性,以改善表示学习。我们表明,该模型实现了最先进的性能,联合IE单语和多语言学习设置与三种不同的语言。
2021-03-26 cs.CL
Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Cambridge(剑桥大学)
本文针对多模态关系抽取中复杂关系识别不足的问题,提出基于对象、句子和整幅图像检索文本与视觉证据,并合成对象级、图像级和句子级信息进行跨模态推理,实验表明其显著优于现有最先进模型。
2023-05-25 cs.CL
Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction
Georgia Institute of Technology(佐治亚理工学院)
针对大语言模型在低资源语言信息抽取中表现受限的问题,提出TransFusion翻译融合框架及跨语言指令微调模型GoLLIE-TF,在多语言数据集上实现更优零样本跨语言迁移,且适配多种模型架构均能提升低资源语言命名实体识别性能。
2024-06-20 cs.CL
Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension
College of Medicine, University of Florida(佛罗里达大学医学院);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
本文提出统一的基于提示的机器阅读理解架构,同时解决临床概念抽取与关系抽取,在两个n2c2基准数据集上取得最优性能,并展现出良好的跨机构迁移能力。
2023-03-14 cs.CL
A Biomedical Information Extraction Primer for NLP Researchers
Indian Institute of Technology Delhi(印度理工学院德里分校)
生物医学信息抽取是自然语言处理、生物学和医学交叉的一个令人兴奋的领域。它包括各种不同的任务,需要应用最先进的NLP技术,如NER和关系抽取。本文概述了该领域的问题,并讨论了一些用于解决这些问题的技术。
2017-05-10 cs.CL
Entity, Relation, and Event Extraction with Contextualized Span Representations
University of Washington(华盛顿大学);Google AI Language(谷歌AI语言团队);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们研究了一个统一的,多任务的框架,三个信息抽取任务的能力:命名实体识别,关系抽取,和事件提取。我们的框架(称为DyGIE++)通过枚举,精炼和评分旨在捕获本地(句子内)和全球(跨句子)上下文的文本跨度来完成所有任务。我们的框架在来自各个领域的四个数据集上实现了所有任务的最先进结果。我们进行实验比较不同的技术来构建跨度表示。像BERT这样的上下文嵌入在捕获相同或相邻句子中的实体之间的关系方面表现良好,而动态跨度图更新则对长范围的跨句子关系进行建模。例如,通过预测的共指链接传播跨度表示可以使模型能够消除具有挑战性的实体提及的歧义。我们的代码可在https://github.com/dwadden/dygiepp上公开获取,并且可以轻松地适应新任务或数据集。
2019-09-10 cs.CL
AXE: Low-Cost Cross-Domain Web Structured Information Extraction
Faculty of Computers & Artificial Intelligence - Cairo University(开罗大学计算机与人工智能学院);Ejada Systems;Fawry Integrated Systems;Microsoft(微软)
AXE通过将HTML DOM视为需修剪的树结构,利用专用修剪机制提取高密度上下文,使小型模型生成精确结构化输出,并通过GXR确保提取可追溯性,实现跨领域信息提取的高性能与低成本。
2026-03-30 cs.CL
Silver Syntax Pre-training for Cross-Domain Relation Extraction
IT University of Copenhagen(哥本哈根信息技术大学);University of Turku(图尔库大学);LMU Munich(慕尼黑大学)
本文针对跨域关系抽取数据标注成本高的问题,提出利用句法结构与语义的亲和性,通过高精度句法分析器自动获取最短依赖路径上的句法关系作为预训练数据,在无额外标注下于六种跨域设置中五种优于基线。
2023-05-18 cs.CL
What do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification
IT University of Copenhagen(哥本哈根信息技术大学);Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
在过去的五年中,关系抽取(RE)的研究取得了广泛的进展,许多新的数据集发布。同时,设置清晰度降低,导致可靠的经验评估难度增加(Taillé等人,2020年)。在本文中,我们提供了一个全面的调查RE数据集,并重新审视任务的定义和社区采用。我们发现跨数据集和跨域设置特别缺乏。我们提出了一个实证研究的科学关系分类在两个数据集。尽管大量的数据重叠,我们的分析揭示了注释的实质性差异。注释差异强烈影响关系分类性能,解释了跨数据集评估的大幅下降。进一步子域内的变化存在,但影响关系分类只有有限的程度。总的来说,我们的研究要求更严格地报告RE设置和多个测试集的评估。
2022-04-28 cs.CL
R1-RE: Cross-Domain Relation Extraction with RLVR
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland College Park(马里兰大学学院市分校);BiliBili(哔哩哔哩);Insilicom LLC(Insilicom公司)
本文提出R1-RE,首个基于可验证奖励强化学习的跨领域关系抽取框架,通过将关系抽取重构为推理任务,显著提升小型语言模型的域外鲁棒性,在Sem-2010和MDKG数据集上达到约70%的域外准确率,与GPT-4o相当。
2025-08-06 cs.CL
Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction
University of Liverpool(利物浦大学)
本文提出了一种结合长短期记忆和卷积神经网络(LSTM-CNN)的模型,利用词嵌入和位置嵌入进行跨句n元关系抽取。该模型结合了LSTM和CNN的特性,同时利用长距离序列信息并捕获最具信息性的特征,这对于跨句子的n元关系抽取至关重要。LSTM-CNN模型在跨句子n元关系抽取的标准数据集上进行评估,其性能显著优于CNN、LSTM以及组合的CNN-LSTM模型等基线。本文还表明,LSTM-CNN模型在跨句子n元关系抽取方面优于当前最先进的方法。
2018-11-02 cs.CL cs.IR
Harvesting Events from Multiple Sources: Towards a Cross-Document Event Extraction Paradigm
School of Cyber Science and Engineering, Wuhan University(武汉大学网络科学与工程学院)
本文提出跨文档事件抽取(CDEE)任务,通过构建CLES数据集和五步流程基准,整合多文档事件信息以克服单文档局限性,实现约72%的F1分数。
2024-06-23 cs.AI cs.CL
Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
Tohoku University(东北大学);RIKEN AIP(理化学研究所人工智能研究中心)
设计了用于远程监督关系抽取的双编码器架构,以利用在文本和知识图谱(KG)中发现的互补信息。然而,当前架构具有两个缺点。它们要么根本不允许文本编码器和KG编码器之间的任何共享,要么在具有KG到文本注意力的模型的情况下,只在一个方向上共享信息。在这里,我们介绍了十字绣双编码器,它允许通过十字绣机制在文本编码器和KG编码器之间进行充分的交互。交叉缝合机制允许在任何层的两个编码器之间共享和更新表示,共享量通过基于交叉注意的门动态控制。在两个不同领域的两个关系抽取基准测试上的实验结果表明,在两个编码器之间实现充分的交互会产生很大的改进。
2022-11-02 cs.CL cs.LG
Cross-Domain Contract Element Extraction with a Bi-directional Feedback Clause-Element Relation Network
Shandong University(山东大学);Alibaba Group(阿里巴巴集团);Indiana University Bloomington(印第安纳大学伯明顿分校);University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize Research(阿霍德德尔海兹研究院)
合同要素提取(CEE)是自动识别和提取合同中的法律相关要素(如合同日期、付款和立法参考)的新任务。自动化方法将其视为序列标记问题,并大大减少了人工劳动。然而,由于合同类型和元素类型可能变化很大,因此该序列标记任务的重大挑战是如何将知识从一个领域转移到另一个领域,即,跨域CEE。跨域CEE与跨域命名实体识别(NER)在两个重要方面不同。首先,契约元素比命名实体更细粒度,这阻碍了提取器的转移。第二,跨域CEE的提取区域比跨域NER大得多。因此,来自不同领域的元素的上下文可以更加多样化。我们提出了一个框架,双向反馈cLause-Element relationnetwork(Bi-FLEET),跨域CEE任务,解决上述挑战。Bi-FLEET有三个主要组件:(1)上下文编码器,(2)子句元素关系编码器,以及(3)推理层。为了整合关于元素和子句类型的不变知识,跨域构造子句元素图,并在子句元素关系编码器中采用分层图神经网络。为了减少上下文变化的影响,在推理层设计了一个具有双向反馈机制的多任务框架,同时进行子句分类和元素提取。跨域NER和CEE任务的实验结果表明,Bi-FLEET显着优于最先进的基线。
2021-05-13 cs.CL cs.IR
Reward-based Input Construction for Cross-document Relation Extraction
KAIST(韩国科学技术院)
本文提出首个用于跨文档关系抽取的基于学习的句子选择器REIC,利用强化学习以RE预测分数为奖励训练,有效克服长文档长度限制,性能优于启发式方法。
2024-05-31 cs.CL cs.LG
MC-DRE: Multi-Aspect Cross Integration for Drug Event/Entity Extraction
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);The University of Manchester(曼彻斯特大学)
本文提出 MC-DRE 多方面交叉整合框架,融合语义、句法与医学语境编码,并通过键值、注意力和前馈三种交叉机制提升药物实体/事件抽取性能。
2023-08-15 cs.AI cs.CL
Knowledge-Driven Cross-Document Relation Extraction
IIIT-Delhi(德里印度信息技术学院);Cerence GmbH(Cerence公司);Zerotha Research(Zerotha研究院);University of Kentucky(肯塔基大学)
针对现有跨文档关系抽取(CrossDocRE)未利用领域知识的问题,本文提出KXDocRE方法,融合实体领域知识与输入文本,兼具可解释性且性能优于现有方法。
2024-06-18 cs.CL cs.IR
Cross-domain Variational Capsules for Information Extraction
PES University(PES大学)
在本文中,我们提出了一个特征提取算法和多域图像特征数据集的特征标记的图像,以模拟人类大脑分类跨域信息,并产生洞察力的方式。其目的是识别数据中的突出特征,并使用这种识别机制从其他未知领域的数据中自动生成洞察力。提出了一种结合变分自编码器(VAE)和胶囊网络的信息抽取算法。胶囊网络用于将图像分解为各自的特征,VAE用于探索这些分解特征的变化。因此,使模型在从数据的变化中识别特征方面具有鲁棒性。值得注意的一点是,该算法使用有效的分层解码数据,这有助于更丰富的输出解释。注意到在属于不同领域的图像中包含可见特征的数据集的数量缺乏,创建了多领域图像特征数据集并公开提供。它由三个领域的数千张图像组成。创建该数据集的目的是为未来的细粒度特征识别任务引入新的基准。
2022-10-13 cs.CL cs.CV
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction
Zhejiang University(浙江大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Hikvision Research Institute(海康威视研究院);University of Southern California(南加利福尼亚大学)
远程监督利用知识库来自动标记实例,从而允许我们训练关系提取器而无需人工注释。然而,生成的训练数据通常包含大量噪声,并且可能导致普通监督学习的性能较差。在本文中,我们提出了一种新的交叉关系交叉袋选择性注意(C $^2$ SA)进行多示例学习,这导致了远距离监督关系提取器的噪声鲁棒性训练。具体而言,我们采用了双水平的选择性注意,以减少噪音或不匹配的句子的影响,而关系之间的相关性被捕获,以提高注意力的权重的质量。此外,我们试图更多地关注具有更高质量的实体对,而不是平等地对待所有实体对。同样,我们采用选择性注意力机制来实现这一目标。两种类型的关系提取器的实验证明了所提出的方法的优越性,而进一步的消融研究验证了我们的直觉,并证明了我们提出的两种技术的有效性。
2018-12-27 cs.CL cs.LG
Cross-Lingual Relation Extraction with Transformers
IBM Research AI(IBM研究人工智能部门);Kitchawan Road, Yorktown Heights, NY 10598, USA(美国纽约州约克镇高地基奇瓦诺路1101号(IBM相关地址,按要求忽略地址细节,仅保留机构级别信息,但此处原文中该地址与前一affiliation同属一个机构,因此提取核心机构))
关系抽取(RE)是信息抽取中最重要的任务之一,因为它为许多自然语言处理应用提供了必要的信息。在本文中,我们提出了一个跨语言RE的方法,不需要任何人的注释在目标语言或任何跨语言的资源。基于无监督的跨语言表示学习框架,我们开发了几种基于深度Transformer的RE模型,并采用了一种新的编码方案,可以有效地对实体位置和实体类型信息进行编码。我们的RE模型,当用英语数据训练时,优于几个基于深度神经网络的英语RE模型。更重要的是,我们的模型可以应用于执行zero-shot跨语言RE,在两个数据集上实现最先进的跨语言RE性能(有监督目标语言RE模型的准确率为68-89%)。不需要额外的训练数据或跨语言资源的高跨语言迁移效率表明,我们的RE模型是特别有用的低资源的语言。
2020-10-16 cs.AI cs.CL cs.IR
Multi-hop Evidence Retrieval for Cross-document Relation Extraction
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校)
针对跨文档关系抽取中的开放域证据获取与多跳推理难题,提出基于证据路径挖掘、排序及上下文密集检索的 MR.COD,并在 CodRED 上验证其可提升封闭与开放设置下的端到端性能。
2023-06-05 cs.CL cs.IR cs.LG
Cross-Domain Few-Shot Relation Extraction via Representation Learning and Domain Adaptation
School of System Design and Intelligent Manufacturing(系统设计与智能制造学院);Department of Computer Science and Engineering(计算机科学与工程系)
针对跨域少样本关系抽取泛化能力有限的问题,提出利用先验知识和关系语义学习更可解释的原型,结合对比学习和迁移学习,在FewRel基准上优于现有方法。
2023-05-10 cs.AI cs.CL
Reinforcement Learning-based N-ary Cross-Sentence Relation Extraction
Virginia Tech(弗吉尼亚理工大学);Adobe Research(奥多比研究院)
基于远距离监督的n元跨句关系抽取模型假设连续的句子中包含n个实体,描述了这n个实体之间的关系。然而,一方面,这种假设引入了噪声标记数据,损害了模型的性能。另一方面,一些非连续的句子也描述了一个关系,这些句子不能在这个假设下被标记。在本文中,我们放松了这个强假设较弱的远程监督假设,以解决第二个问题,并提出了一种新的句子分布估计模型,以解决第一个问题。该估计器选择正确标记的句子,以减轻噪声数据的影响是一个两级代理强化学习模型。此外,提出了一种新的通用关系提取器与注意力机制和PCNN的混合方法,它可以部署在任何任务,包括连续和非连续的句子。实验结果表明,与基准模型相比,该模型能有效降低噪声数据的影响,并在一般的n元跨句关系抽取任务中获得更好的性能。
2020-09-26 cs.CL cs.LG stat.ML
Neural Cross-Lingual Relation Extraction Based on Bilingual Word Embedding Mapping
IBM Research AI(IBM研究院人工智能部门)
关系抽取(RelationExtraction,RE)试图检测和分类实体之间的语义关系,这为许多自然语言处理应用提供了有用的信息。由于国家的最先进的RE模型需要大量的手动注释的数据和语言特定的资源,以达到高精度,这是非常具有挑战性的资源丰富的语言的RE模型,以资源贫乏的语言。本文提出了一种基于双语词嵌入映射的RE模型跨语言迁移方法。它将词嵌入从目标语言投影到源语言,使得经过良好训练的源语言神经网络RE模型可以直接应用于目标语言。实验结果表明,该方法在只有1K词对的小型双语词典上,对大量的目标语言,在内部数据集和开放数据集上都取得了很好的性能。
2019-10-31 cs.CL cs.IR cs.LG
Benchmarking and Improving LVLMs on Event Extraction from Multimedia Documents
School of Advanced Technology, Xi’an Jiaotong-Liverpool University(先进技术学院,西安交通大学利物浦大学)
本文首次系统评估LVLMs在M2E2数据集上的表现,发现LoRA微调大幅提升性能且跨模态协同效果优越,同时揭示语义精度等关键挑战。
2025-09-16 cs.CL cs.MM
MuMuQA: Multimedia Multi-Hop News Question Answering via Cross-Media Knowledge Extraction and Grounding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Columbia University(哥伦比亚大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Virginia Tech(弗吉尼亚理工学院暨州立大学);IBM Research AI(IBM研究院人工智能部门)
最近,人们对构建跨文本和图像等多种模态进行推理的问答(QA)模型越来越感兴趣。然而,使用图像的QA通常仅限于从一组预定义的选项中选择答案。此外,现实世界中的图像,特别是新闻中的图像,具有与文本共指的对象,具有来自两种模态的互补信息。在本文中,我们提出了一个新的QA评估基准,其中包含1,384个关于新闻文章的问题,这些文章需要将图像中的对象跨媒体接地到文本中。具体来说,该任务涉及多跳问题,需要对图像-标题对进行推理,以识别所引用的基础视觉对象,然后从新闻正文文本中预测跨度来回答问题。此外,我们引入了一种新的多媒体数据增强框架,基于跨媒体知识提取和综合问答生成,自动增强数据,可以提供弱监督这项任务。我们在我们的基准测试中评估了基于流水线和基于端到端预训练的多媒体QA模型,并表明它们实现了有希望的性能,同时大大落后于人类的性能,因此为未来这项具有挑战性的新任务留下了很大的工作空间。
2022-05-04 cs.CL cs.CV
Cross-media Structured Common Space for Multimedia Event Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);Dataminr(Dataminr公司)
我们介绍了一个新的任务,多媒体事件提取(M2E2),其目的是从多媒体文档中提取事件及其参数。我们开发了第一个基准,并收集了245多媒体新闻文章的数据集,广泛注释的事件和参数。我们提出了一种新的方法,弱对齐结构化嵌入(WASE),编码结构化表示的语义信息从文本和视觉数据到一个共同的嵌入空间。这些结构通过采用弱监督训练策略跨模态对齐,这使得能够在没有明确的跨媒体注释的情况下利用可用资源。与单模态最先进的方法相比,我们的方法在文本事件参数角色标注和视觉事件提取上分别获得了4.0%和9.8%的绝对F分数增益。与最先进的多媒体非结构化表示相比,我们在多媒体事件提取和参数角色标记上分别获得了8.3%和5.0%的绝对F分数增益。通过利用图像,我们提取的事件提及比传统的纯文本方法多21.4%。
2020-05-05 cs.CL cs.CV cs.LG
Document-level Relation Extraction with Cross-sentence Reasoning Graph
University of Electronic Science and Technology of China(电子科技大学);TROY Information Technology Co., Ltd.(Troy信息技术有限公司)
关系抽取(RelationExtraction,RE)最近已经从文档级转移到文档级,这需要聚集文档信息并使用实体和提及进行推理。现有的工作将实体节点和提及节点以相似的方式表示在文档级图中,其复杂的边可能会产生冗余信息。此外,现有的研究只关注实体级的推理路径,没有考虑跨句实体间的全局交互。为此,我们提出了一种新的文档级RE模型与GRaph信息聚合和跨句子推理网络(GRACR)。具体而言,构建了简化的文档级图来描述文档中所有提及和句子的语义信息,并设计了实体级图来探索长距离跨句子实体对之间的关系。实验结果表明,GRACR在两个文档级RE公共数据集上取得了良好的性能。它在提取跨句子实体对的潜在关系时特别有效。我们的代码可在https://github.com/UESTC-LHF/GRACR上获得。
2023-03-07 cs.AI cs.CL cs.LG
How Good are LLMs at Relation Extraction under Low-Resource Scenario? Comprehensive Evaluation
Institute for AI, Tsinghua University(清华大学人工智能研究院);School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
本文针对低资源语言构建了10种语言的关系抽取数据集,并评估了开源大型语言模型的性能,发现其表现不佳,提出了基于翻译和困惑度过滤的构建方法。
2024-06-26 cs.CL
Multilingual Open Relation Extraction Using Cross-lingual Projection
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
开放域关系抽取系统识别句子中的关系和论元短语,而不依赖于任何底层模式。然而,目前国家的最先进的关系抽取系统只适用于英语,因为他们严重依赖于语言工具,如词性标注和依存关系解析器。提出了一种跨语言标注投影的语言无关关系抽取方法。我们评估我们的方法手动注释的测试集和目前的结果在三个类型不同的语言。我们从维基百科发布了这些手动注释和61种语言的关系。
2021-04-14 cs.CL
Halo: Learning Semantics-Aware Representations for Cross-Lingual Information Extraction
Johns Hopkins University(约翰斯·霍普金斯大学)
跨语言信息抽取(CLIE)是一项重要且具有挑战性的任务,特别是在资源不足的情况下。为了应对这一挑战,我们提出了一种名为Halo的训练方法,该方法强制神经模型的每个隐藏状态的局部区域仅生成具有相同语义结构标签的目标令牌。这种简单但强大的技术使神经模型能够学习对噪声鲁棒的语义感知表示,而无需引入任何额外的参数,从而在高和低资源设置中产生更好的泛化。
2018-05-21 cs.CL
Multi-Source (Pre-)Training for Cross-Domain Measurement, Unit and Context Extraction
BASF Digital Solutions GmbH(巴斯夫数字解决方案有限公司);BASF SE(巴斯夫股份公司);University of Mannheim(曼海姆大学)
本文提出基于预训练语言模型的多源跨领域测量与上下文抽取方法,通过多源任务自适应预训练和微调验证跨领域泛化能力,发现多源训练整体最优而单源训练在各自领域更优,并公开了跨领域语料库。
2023-08-05 cs.CL
Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
University of California, Los Angeles(加州大学洛杉矶分校);Information Science Institute, University of Southern California(南加州大学信息科学研究所)
我们提出了一个利用多语言预训练生成语言模型的zero-shot跨语言事件参数提取(EAE)的研究。通过将EAE公式化为语言生成任务,我们的方法有效地编码事件结构并捕获参数之间的依赖关系。我们设计了语言无关的模板来表示事件参数结构,这些模板与任何语言都兼容,从而促进了跨语言迁移。我们提出的模型微调多语言预训练的生成语言模型,以生成句子,这些句子用从输入段落中提取的参数填充语言不可知模板。该模型在源语言上进行训练,然后直接应用于目标语言以进行事件参数提取。实验表明,该模型优于当前最先进的zero-shot跨语言EAE模型。全面的研究和错误分析,以更好地了解使用生成语言模型的优势和当前的局限性zero-shot跨语言迁移EAE。
2022-03-15 cs.CL
GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
跨语言关系和事件提取的最新进展使用具有通用依赖性解析的图卷积网络(GCN)来学习语言无关的句子表示,使得在一种语言上训练的模型可以应用于其他语言。然而,GCN很难对具有长距离依赖关系的单词进行建模,或者在依赖关系树中没有直接连接。为了解决这些挑战,我们建议利用自我注意力机制,我们明确地融合结构信息,学习不同的句法距离的单词之间的依赖关系。本文介绍了一个{ \bf G}转换器{ \bf A} tension { \bf T} transformer { \bf E}ncoder GATE,并在关系和事件抽取任务上测试了它的跨语言可转换性。我们在ACE 05数据集上进行实验,该数据集包括三种类型不同的语言:英语,汉语和阿拉伯语。评估结果表明,GATE优于最近提出的三种方法的大幅度。我们的详细分析表明,由于依赖于语法依赖,GATE产生强大的表示,促进跨语言的传输。
2021-02-17 cs.CL
Language Model Priming for Cross-Lingual Event Extraction
University of Southern California Information Sciences Institute(南加州大学信息科学研究所)
我们提出了一种新的,语言不可知的方法来“启动”的语言模型的任务的事件提取,提供特别有效的性能在低资源和zero-shot跨语言设置。通过启动,我们根据运行时对模型提出的问题,以不同的方式增加对Transformer堆栈的语言模型的输入。例如,如果模型被要求识别触发器“protected”的参数,我们将把该触发器作为输入的一部分提供给语言模型,允许它为候选参数生成不同的表示,而不是在同一个句子中的其他地方被要求识别触发器“arrest”的参数。我们表明,通过使语言模型能够更好地补偿稀疏和嘈杂的训练数据的不足,我们的方法在zero-shot跨语言设置中显著提高了触发和参数检测以及分类。
2021-09-25 cs.CL
How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations
Clemson University(克莱姆森大学)
研究分析了LLM在不同领域和提示条件下引用伪造现象,提出多模型共识和重复验证过滤器,并开发轻量级分类器用于检测幻影引用。
2026-02-07 cs.CL
A Cross-Domain Evaluation of Approaches for Causal Knowledge Extraction
Rensselaer Polytechnic Inst.(伦斯勒理工学院);IBM Research(IBM研究院)
本文系统评估了因果知识抽取方法,发现预训练语言模型嵌入显著提升性能,且基于跨度的模型在4个跨领域数据集上优于简单序列标注模型。
2023-08-07 cs.CL
MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction
Beijing Information Science and Technology University(北京信息科技大学);Beihang University(北京航空航天大学);The University of Hong Kong(香港大学)
本文提出多阶段调优框架MT4CrossIE,通过注入语言特定模块并结合基于模型与数据的跨语言迁移,提升跨语言开放信息抽取性能。
2023-09-20 cs.CL
Prototype-Regularized Federated Learning for Cross-Domain Aspect Sentiment Triplet Extraction
State Key Laboratory of Public Big Data, Guizhou University(贵州大学公共大数据国家重点实验室);College of Computer Science and Technology, Guizhou University(贵州大学计算机科学与技术学院);School of Information Engineering, Guangdong University of Technology(广东工业大学信息工程学院);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文提出PCD-SpanProto框架,通过原型正则化联邦学习实现跨域方面情感三元组提取,提升全局原型在域异质性下的表现,并降低通信成本。
2026-04-10 cs.CL
FOAL: Fine-grained Contrastive Learning for Cross-domain Aspect Sentiment Triplet Extraction
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);ByteDance(字节跳动)
本文提出FOAL方法,通过细粒度对比学习减少跨领域差异,在六个迁移对上实现6%性能提升,缓解目标领域标注数据依赖问题。
2023-11-17 cs.CL
Constructing Code-mixed Universal Dependency Forest for Unbiased Cross-lingual Relation Extraction
National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对跨语言关系抽取中UD结构迁移存在源语或目标语偏置的问题,本文提出融合源端与目标端UD树的代码混合UD森林,并在ACE基准上验证其可显著提升性能。
2023-06-04 cs.CL
Massively Multi-Lingual Event Understanding: Extraction, Visualization, and Search
University of Southern California Information Sciences Institute(南加州大学信息科学研究所)
本文提出ISI-Clear跨语言零样本事件抽取系统及配套界面,仅用英文训练数据即可处理100种语言文本,并提供事件可视化、文档级摘要及跨语言事件搜索功能。
2023-05-17 cs.CL
Test-Time Code-Switching for Cross-lingual Aspect Sentiment Triplet Extraction
Tencent(腾讯)
针对跨语言ASTE任务,提出测试时代码切换框架TT-CSW,通过训练双语生成模型和测试时对齐增强,在四个数据集上平均F1提升3.7%,并超越ChatGPT和GPT-4。
2025-01-24 cs.CL
SHINE: Syntax-augmented Hierarchical Interactive Encoder for Zero-shot Cross-lingual Information Extraction
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院)
针对零样本跨语言信息抽取,提出SHINE编码器,通过多级交互网络融合语言通用特征与上下文信息,并引入成分结构语法特征建模跨度信息,有效提升了跨语言IE任务的性能与泛化能力。
2023-05-21 cs.CL