Domain Knowledge Empowered Structured Neural Net for End-to-End Event Temporal Relation Extraction
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系)
事件时序关系的提取是信息抽取的一项关键任务,在自然语言理解中起着重要作用。现有系统利用深度学习和预训练的语言模型来提高任务的性能。然而,这些系统通常遭受两个缺点:1)当基于神经模型执行最大后验(MAP)推断时,先前的系统仅使用被假定为绝对正确的结构化知识,即,硬约束; 2)当用有限的数据量训练时,对主导时间关系的有偏见的预测。为了解决这些问题,我们提出了一个框架,增强深度神经网络与概率域知识构建的分布约束。我们解决了约束推理问题,通过拉格朗日松弛,并将其应用于端到端的事件时态关系抽取任务。实验结果表明,我们的框架是能够改善基线神经网络模型具有很强的统计意义上的两个广泛使用的数据集在新闻和临床领域。
2020-10-06 cs.AI cs.CL
A Scalable Cross-Domain Event Extraction System via a Unified Generative Training Framework
German Research Center for Artificial Intelligence(德国人工智能研究中心);Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
该研究针对现有事件抽取方法可扩展性与跨域泛化不足的问题,提出统一生成式序列到序列框架,微调预训练语言模型,构建支持多功能的网络应用平台,实现跨域事件抽取。
2026-08-25 cs.CL
Conformal Prediction for Risk-Controlled Medical Entity Extraction Across Clinical Domains
Department of Computer Science, Drexel University(计算机科学系,德雷塞尔大学)
本文提出一种符合预测框架,用于多临床领域医疗实体提取,发现模型在不同领域中校准方向不同,需根据文档结构和任务需求调整阈值以确保安全部署。
2026-03-09 cs.AI cs.CL
FinRED: A Dataset for Relation Extraction in Financial Domain
IIT Kharagpur(印度理工学院克勒格布尔分校);Goldman Sachs(高盛集团);LU, Hannover(汉诺威莱布尼茨大学)
针对金融领域缺乏大规模开源关系抽取数据集的问题,本文发布基于金融新闻和财报电话纪要、通过远程监督映射 Wikidata 三元组构建的 FinRED,并建立基准,验证现有模型在金融关系抽取上性能明显下降。
2023-06-06 cs.CL
Increasing the Accessibility of Causal Domain Knowledge via Causal Information Extraction Methods: A Case Study in the Semiconductor Manufacturing Industry
Infineon Technologies Austria AG(英飞凌奥地利技术公司);Graz University of Technology(格拉茨工业大学);Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Know-Center GmbH(Know-Center有限公司)
本研究针对半导体制造行业,提出单阶段与多阶段序列标注方法以从工业文档中自动提取因果信息,多阶段方法在FMEA文档上F1达93%,并强调领域适配语言模型的重要性。
2024-11-15 cs.AI cs.CL
Generalizing through Forgetting -- Domain Generalization for Symptom Event Extraction in Clinical Notes
University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
症状信息主要记录在自由文本临床笔记中,下游应用程序无法直接访问。为了应对这一挑战,需要能够处理不同机构和专业的临床语言差异的信息抽取方法。在本文中,我们提出了领域泛化的症状提取使用预训练和微调数据,从目标领域的机构和/或专业和患者人群。我们使用基于transformer的联合实体和关系抽取方法提取症状事件。为了减少对特定领域特征的依赖,我们提出了一种领域泛化方法,该方法动态地屏蔽源领域中的频繁症状词。此外,我们在任务相关的未标记文本上预训练Transformer语言模型(LM),以获得更好的表示。我们的实验表明,掩蔽和自适应预训练方法可以显着提高性能时,源域更远离目标域。
2023-02-23 cs.CL
Integrating Heterogeneous Domain Information into Relation Extraction: A Case Study on Drug-Drug Interaction Extraction
Toyota Technological Institute(丰田工业大学)
深度神经网络的发展改善了各个领域的表示学习,包括文本、图形结构和关系三元表示。这一发展为超越传统的面向文本的关系抽取的新关系抽取打开了大门。然而,同时考虑多个异构领域信息的有效性的研究仍在探索中,如果一个模型可以利用集成异构信息的优势,它有望表现出显着的贡献,在世界上的许多问题。本文以文献中的药物相互作用为研究对象,实现了利用异构领域信息的关系抽取。首先,准备了深度神经关系抽取模型,并分析了其注意力机制。接下来,提出了将药物分子结构信息和药物描述信息组合到输入句子信息的方法,并且示出了将药物分子结构和药物描述用于关系抽取任务的有效性。然后,为了进一步利用异构信息,从多个现有数据库中收集药物相关项目,如蛋白质条目、医学术语和途径,并构建知识图谱(KG)形式的新数据集。对构建的数据集进行链接预测任务,以获得包含异质域信息的药物的嵌入表示。最后,提出了一种融合输入句子信息和异构KG信息的方法。在一个广泛使用的数据集上对该模型进行了训练和评估,结果表明,利用异构领域信息显着提高了文献中关系抽取的性能。
2022-12-21 cs.CL
Unsupervised Term Extraction for Highly Technical Domains
IBM Research(IBM研究院)
术语抽取是知识发现平台中的一项信息抽取任务。开发能够在非常多样化和潜在的高技术领域中推广的术语提取器是具有挑战性的,因为需要深入专业知识的领域的注释是稀缺且昂贵的。在本文中,我们描述了一个商业知识发现平台,目标是高度技术领域,如制药,医疗和材料科学的术语提取子系统。为了能够跨领域进行泛化,我们引入了一个完全无监督的注释器(UA)。它通过将来自子词标记化的新颖形态信号与术语到主题和术语内相似性度量相结合来提取术语,这些相似性度量使用通用域预训练的重复编码器来计算。注释器用于实现弱监督设置,其中transformer模型在通过在大型未标记语料库上运行UA生成的训练数据上进行微调(或预训练)。我们的实验表明,我们的设置可以提高预测性能,同时减少CPU和GPU上的推理延迟。我们的注释器为所有注释不可用的情况提供了一个非常有竞争力的基线。
2022-10-24 cs.AI cs.CL cs.LG
A Multi-Domain and Multi-Task Generative Framework with Explicit Task and Domain Conditioning for Cross-Domain Event Extraction
German Research Center for Artificial Intelligence(德国人工智能研究中心);Carl von Ossietzky University of Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
该研究针对跨领域事件抽取难题,提出带显式任务与领域条件的多领域多任务生成框架,通过结合领域条件信号与任务提示实现动态适配,在基准测试中取得了竞争力的性能与跨领域泛化能力。
2026-08-25 cs.CL
An Empirical Study on Relation Extraction in the Biomedical Domain
Peking University(北京大学)
关系抽取是自然语言处理中的一个基本问题。现有的大多数模型都是针对一般领域中的关系抽取而定义的。然而,它们在特定领域的表现(例如,生物医学还不清楚。为了填补这一空白,本文对生物医学研究论文中的关系抽取进行了实证研究。具体来说,我们考虑了文档级和文档级的关系抽取,并在几个基准数据集上运行了一些最先进的方法。研究结果表明:(1)现有的文档级关系抽取方法具有较强的泛化能力;(2)现有方法需要大量的标记数据用于生物医学领域的模型微调。我们的观察可能会启发人们在这一领域的发展更有效的生物医学关系抽取模型。
2021-12-11 cs.CL cs.LG
Open Domain Event Extraction Using Neural Latent Variable Models
Beijing Institute of Technology(北京理工大学);Zhejiang Lab(之江实验室);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
我们考虑开放域事件提取,从新闻集群中提取无约束类型的事件的任务。构造了一种新的隐变量神经网络模型,该模型可扩展到非常大的语料库。收集数据集并手动注释,设计特定于任务的评估指标。结果表明,所提出的无监督模型提供了更好的性能相比,国家的最先进的事件模式归纳方法。
2019-06-17 cs.CL
Concept Discovery through Information Extraction in Restaurant Domain
University of Moratuwa(莫拉图瓦大学);CodeGen International(CodeGen国际公司)
概念识别是理解和构建任何特定领域知识库的关键步骤。然而,这不是一个简单的任务,在非常大的领域,如餐馆和酒店。本文提出了一种新的方法,识别概念层次结构和分类未见过的词到识别的概念相关的餐厅领域。人工对领域相关词进行排序、识别、分类是一项繁琐的工作,因此,本文提出的方法在很大程度上实现了自动化。词嵌入、层次聚类、分类算法被有效地用于获得与餐馆领域相关的概念。此外,这种方法也可以扩展到创建一个半自动的本体论的餐厅领域。
2019-06-12 cs.CL
Improving Cross-Domain Performance for Relation Extraction via Dependency Prediction and Information Flow Control
University of Oregon(俄勒冈大学)
关系抽取(RE)是信息抽取和自然语言处理中的一项基本任务。相关树已被证明是一个非常有用的信息源,为这项任务。当前用于关系抽取的深度学习模型主要通过沿着依赖树的结构引导它们的计算来利用这种依赖信息。这种方法的一个潜在问题是它可能会阻止模型捕获语法结构之外的重要上下文信息,并导致较差的跨领域泛化。本文介绍了一种在RE中使用依赖树的新方法,用于联合预测依赖关系和语义关系的深度学习模型。我们还提出了一种新的机制来控制信息流的模型的基础上输入实体提及。我们在基准数据集上的大量实验表明,该模型明显优于现有的RE方法。
2019-07-07 cs.CL
DICE: Data-Efficient Clinical Event Extraction with Generative Models
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出数据高效的生成式临床事件抽取模型DICE,通过对比学习和提及识别辅助任务提升边界判定能力,并构建首个带论元标注的临床事件抽取数据集MACCROBAT-EE,在低数据场景下取得最优性能。
2023-05-25 cs.AI cs.CL cs.LG
Linguistic representations for fewer-shot relation extraction across domains
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
本文研究语言学表示对跨领域少样本关系抽取的影响,通过在Transformer架构中交替融入句法和语义图,发现两者均能显著提升少样本迁移性能且效用相当。
2023-07-07 cs.CL
BERT-based knowledge extraction method of unstructured domain text
University of Chinese Academy of Sciences(中国科学院大学)
随着知识图的发展和商业应用,从非结构化领域文档中提取知识图谱的实体和关系的需求越来越大。这使得领域文本的自动知识抽取具有重要意义。提出一种基于BERT的知识抽取方法,用于从非结构化的特定领域文本(如保险行业的保险条款)中自动抽取知识点,以节省构建知识图谱的人力。与常用的基于规则、模板或实体抽取模型的方法不同,本文将领域知识点转化为问题和答案对,并以文档中答案周围的文本作为上下文。该方法采用了一个基于BERT的模型,类似于BERT的SQuAD阅读理解任务。该模型是微调。并用于从更多的保险条款中直接提取知识点。根据测试结果,该模型性能良好。
2021-03-01 cs.CL cs.LG
SciEvent: Benchmarking Multi-domain Scientific Event Extraction
Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出多领域科学事件抽取基准SciEvent,通过统一事件模式标注500篇跨五领域摘要,将SciIE定义为分段与触发词论元抽取两阶段流水线,实验揭示现有模型在社科人文领域存在性能差距。
2025-09-19 cs.CL
Does constituency analysis enhance domain-specific pre-trained BERT models for relation extraction?
Université Paris-Saclay, INRAE, MaIAGE(巴黎-萨克雷大学,法国国家农业食品与环境研究院,应用数学与计算机科学、基因组学与环境研究单位);Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique(巴黎-萨克雷大学,法国国家科学研究中心,数字科学跨学科实验室)
近年来,人们对关系抽取进行了大量的研究。BioCreative VII的DrugProt跟踪为关系抽取系统的开发和评估提供了一个手动注释的语料库,其中研究了化学品和基因之间的相互作用。我们描述了我们用于提交的集成系统,该系统通过多数投票结合了微调的bioBERT,sciBERT和const-bioBERT模型的预测。我们特别测试了语法信息对BERT关系抽取的贡献。我们观察到,向BERT添加基于成分的句法信息提高了准确率,但降低了召回率,因为在训练集中很少看到的关系不太可能被注入句法信息的BERT模型预测。我们的代码可以在线获取[https://github.com/Maple177/drugprot-relation-extraction]。
2021-11-25 cs.AI cs.CL cs.LG
CrossRE: A Cross-Domain Dataset for Relation Extraction
IT University of Copenhagen(哥本哈根信息技术大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
关系抽取(RE)已引起越来越多的关注,但目前的RE评估仅限于域内评估设置。很少有人知道如何以及一个RE系统票价在具有挑战性的,但现实的分布外的评估设置。为了解决这一差距,我们提出了CrossRE,一个新的,免费提供的跨域基准RE,其中包括六个不同的文本域,并包括多标签注释。另一个创新是,我们发布了在注释过程中收集的元数据,包括解释和困难实例的标志。我们提供了一个经验评估与国家的最先进的模型关系分类。由于元数据使我们能够对最先进的模型进行新的阐述,我们对困难案例的影响进行了全面的分析,并发现了模型和人工注释之间的相关性。总的来说,我们的实证研究突出了跨域RE的困难。我们发布了我们的数据集,以刺激更多的研究在这个方向。
2022-10-17 cs.CL
LEEC: A Legal Element Extraction Dataset with an Extensive Domain-Specific Label System
Tsinghua University(清华大学)
针对现有法律要素提取数据集覆盖不足的问题,本文构建了包含15,831份司法文书和159个标签的LEEC数据集,并验证其在文档事件提取任务中的适用性。
2023-10-10 cs.CL cs.IR
Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey
University of Waterloo(滑铁卢大学)
从自然语言文本中自动提取因果关系是人工智能领域的一个具有挑战性的开放性问题。大多数早期的解决方案都是在小型和特定领域的数据集上手动构建语言和句法规则。然而,随着大数据的出现,可负担得起的计算能力的可用性以及最近机器学习的普及,解决这个问题的范式已经慢慢改变。机器现在被期望以领域独立的方式,在最少的监督下从标记数据中学习通用的因果提取规则。在本文中,我们提供了一个全面的调查因果关系抽取技术从这两种范式,并分析其相对的优势和劣势,为今后的工作提出建议。
2016-05-25 cs.AI cs.CL cs.IR
REflex: Flexible Framework for Relation Extraction in Multiple Domains
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
关系抽取(RE)的方法的系统比较是困难的,因为在该领域的许多实验没有足够精确地描述是完全可重复的,许多论文未能报告消融研究,将突出其各种组合技术的相对贡献。在这项工作中,我们为RE建立了一个统一的框架,将其应用于三个高度使用的数据集(来自一般,生物医学和临床领域),并能够扩展到新的数据集。通过对建模、预处理和训练方法进行系统的探索,我们发现预处理的选择是一个很大的贡献者,而忽略这些信息会进一步阻碍公平的比较。我们探索的其他见解使我们能够为这一领域的未来研究提供建议。
2019-07-20 cs.CL
Combining Language and Graph Models for Semi-structured Information Extraction on the Web
University of Chicago(芝加哥大学);Argonne National Lab(阿贡国家实验室)
本文提出GraphScholarBERT,通过联合图与语言模型,在仅给定关系简短描述且无需额外训练的情况下,从半结构化网页中抽取干净的目标关系,并在零样本领域和零样本网站设置下将F1分数提升多达34.8%。
2024-02-21 cs.CL cs.IR
Towards Generalized Open Information Extraction
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Xiaomi AI Lab, Xiaomi Inc.(小米公司小米人工智能实验室)
开放信息抽取(OpenIE)促进了文本事实的开放域发现。然而,目前的解决方案评估OpenIE模型的域内测试集除了训练语料库,这肯定违反了域独立的初始任务原则。在本文中,我们建议将OpenIE推向一个更现实的场景:从源训练域中使用不同的数据分布对看不见的目标域进行泛化,称为广义OpenIE。为此,我们首先介绍了GLOBE,一个大规模的人类注释的多域OpenIE基准,检查最近的OpenIE模型的鲁棒性域的变化,高达70%的相对性能下降意味着广义OpenIE的挑战。然后,我们提出了DragonIE,它探索了文本事实的最低限度的图形表达:有向无环图,以改善OpenIE的泛化。大量的实验表明,DragonIE在域内和域外设置中的F1得分绝对超过了以前的方法6.0%,但仍然有很大的改进空间。
2022-11-29 cs.CL
Transfer Learning for Relation Extraction via Relation-Gated Adversarial Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);AZFT Joint Lab for Knowledge Engine(阿里巴巴-浙江大学前沿技术联合研究中心知识引擎联合实验室);Oxford University(牛津大学)
关系抽取的目的是从句子中抽取关系事实。以前的模型主要依赖于手动标记的数据集,种子实例或人工制作的模式,以及远程监督。然而,人工注释是昂贵的,而人工制作的模式遭受语义漂移和遥远的监督样本通常是嘈杂的。领域自适应方法使得能够利用来自不同但相关的领域的标记数据。然而,不同的领域通常具有不同的文本关系描述和不同的标签空间(源标签空间通常是目标标签空间的超集)。为了解决这些问题,我们提出了一种新的关系门控对抗学习关系抽取模型,扩展了基于对抗的领域自适应。实验结果表明,该方法优于以往的领域自适应方法的部分领域适应,并可以提高距离监督关系抽取的准确性,通过微调。
2019-08-22 cs.CL cs.LG stat.ML
Leveraging Open Information Extraction for More Robust Domain Transfer of Event Trigger Detection
University of Zagreb(萨格勒布大学);NEC Laboratories Europe(欧洲 NEC 实验室);Ss. Cyril and Methodius University(圣西里尔与圣美多迪乌斯大学);University of Würzburg(维尔茨堡大学)
针对事件触发词检测跨领域迁移性能下降问题,提出通过多任务训练注入规则型OIE主宾关系关联跨域触发词,结合目标域掩码语言建模,有效提升零/少样本跨域迁移效果且对OIE系统选择具鲁棒性。
2024-02-01 cs.CL cs.LG
Cross-domain Variational Capsules for Information Extraction
PES University(PES大学)
在本文中,我们提出了一个特征提取算法和多域图像特征数据集的特征标记的图像,以模拟人类大脑分类跨域信息,并产生洞察力的方式。其目的是识别数据中的突出特征,并使用这种识别机制从其他未知领域的数据中自动生成洞察力。提出了一种结合变分自编码器(VAE)和胶囊网络的信息抽取算法。胶囊网络用于将图像分解为各自的特征,VAE用于探索这些分解特征的变化。因此,使模型在从数据的变化中识别特征方面具有鲁棒性。值得注意的一点是,该算法使用有效的分层解码数据,这有助于更丰富的输出解释。注意到在属于不同领域的图像中包含可见特征的数据集的数量缺乏,创建了多领域图像特征数据集并公开提供。它由三个领域的数千张图像组成。创建该数据集的目的是为未来的细粒度特征识别任务引入新的基准。
2022-10-13 cs.CL cs.CV
Open-domain Event Extraction and Embedding for Natural Gas Market Prediction
University of Bonn(波恩大学);Farfetch(Farfetch公司);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
我们提出了一种方法来预测天然气价格在几天内使用历史价格数据和事件提取的新闻标题。大多数以前的方法将价格视为可外推的时间序列,那些分析价格和新闻之间关系的方法要么将价格数据相应地修剪到公共新闻数据集,手动注释标题或使用现成的工具。与现成的工具相比,我们的事件提取方法不仅可以检测到现象的发生,还可以检测到公共来源的属性和特征的变化。我们没有使用句子嵌入作为特征,而是使用提取事件的每个单词,在输入学习模型之前对其进行编码和组织。实证结果表明,有利的结果,在预测性能,节省资金和可扩展性。
2019-12-08 cs.CL
Fine Tuning Named Entity Extraction Models for the Fantasy Domain
University of Moratuwa(莫拉图瓦大学)
针对奇幻领域实体难以被通用NER系统识别的问题,本研究利用D&D怪物背景语料微调Trankit框架,使其能抽取领域特定的怪物名称,最终达到87.86%的F1分数并超越其他对比模型。
2024-02-16 cs.CL
Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心)
关系抽取是生物医学领域自然语言处理的核心问题。最近的关系抽取研究表明,基于神经网络的学习提高了全训练集和Few-Shot训练的微调性能。然而,在特定领域的任务上所做的努力较少,在这些任务中,良好的快速设计可能更加困难。在本文中,我们研究了生物医学关系抽取的提示,在ChemProt数据集上的实验。我们提出了一个简单而有效的方法,系统地产生全面的提示,重新制定的关系抽取任务作为一个完形填空测试任务下一个简单的提示制定。特别是,我们实验不同的排名分数,以及时选择。使用BioMed-RoBERTa-base,我们的结果表明,基于优化的微调比常规微调基线获得了14.21 F1的增益,比SciFive-Large获得了1.14 F1的增益,SciFive-Large是目前ChemProt上最先进的算法。此外,我们发现,基于神经网络的学习需要更少的训练样本来做出合理的预测。结果表明,我们的方法在这样一个特定领域的关系抽取任务的潜力。
2022-04-21 cs.CL
Multi-CrossRE A Multi-Lingual Multi-Domain Dataset for Relation Extraction
IT University of Copenhagen(哥本哈根信息技术大学);University of Turku(图尔库大学);LMU Munich(慕尼黑大学)
针对关系抽取缺乏多语言资源的问题,提出覆盖26种语言和六个领域的多语言数据集Multi-CrossRE,通过基线模型和回译验证表明其翻译与数据集质量高。
2023-05-18 cs.CL
Description of the Odin Event Extraction Framework and Rule Language
University of Arizona(亚利桑那大学)
本文档描述了Odin框架,这是一个独立于领域的平台,用于开发基于规则的事件提取模型。Odin的目标是强大(规则语言允许对复杂的语法结构进行建模)和健壮(从句法分析错误中恢复,语法模式可以自由地与表面的基于标记的模式混合),同时保持简单(一些领域语法可以在几分钟内启动并运行)和快速(Odin在现实世界的领域中处理超过100个句子/秒,超过200条规则)。在这里,我们包括Odin规则语言的完整定义,以及Scala语言中Odin API的描述,它允许将这些规则应用于任意文本。
2015-09-24 cs.CL
Cross-Domain Contract Element Extraction with a Bi-directional Feedback Clause-Element Relation Network
Shandong University(山东大学);Alibaba Group(阿里巴巴集团);Indiana University Bloomington(印第安纳大学伯明顿分校);University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize Research(阿霍德德尔海兹研究院)
合同要素提取(CEE)是自动识别和提取合同中的法律相关要素(如合同日期、付款和立法参考)的新任务。自动化方法将其视为序列标记问题,并大大减少了人工劳动。然而,由于合同类型和元素类型可能变化很大,因此该序列标记任务的重大挑战是如何将知识从一个领域转移到另一个领域,即,跨域CEE。跨域CEE与跨域命名实体识别(NER)在两个重要方面不同。首先,契约元素比命名实体更细粒度,这阻碍了提取器的转移。第二,跨域CEE的提取区域比跨域NER大得多。因此,来自不同领域的元素的上下文可以更加多样化。我们提出了一个框架,双向反馈cLause-Element relationnetwork(Bi-FLEET),跨域CEE任务,解决上述挑战。Bi-FLEET有三个主要组件:(1)上下文编码器,(2)子句元素关系编码器,以及(3)推理层。为了整合关于元素和子句类型的不变知识,跨域构造子句元素图,并在子句元素关系编码器中采用分层图神经网络。为了减少上下文变化的影响,在推理层设计了一个具有双向反馈机制的多任务框架,同时进行子句分类和元素提取。跨域NER和CEE任务的实验结果表明,Bi-FLEET显着优于最先进的基线。
2021-05-13 cs.CL cs.IR
A Library Perspective on Nearly-Unsupervised Information Extraction Workflows in Digital Libraries
TU Braunschweig(布伦瑞克工业大学)
信息抽取可以为数字图书馆提供新颖有效的访问路径。然而,设计可靠的提取工作流程在实践中可能成本高昂。一方面,合适的提取方法依赖于特定领域的训练数据。另一方面,无监督和开放的提取方法通常产生非规范化的提取结果。本文探讨了数字图书馆如何处理这种抽取,以及它们的质量在实践中是否足够。我们专注于无监督的提取工作流程,通过分析他们在维基百科(Wikipedia),药学和政治学领域的案例研究。我们报告机会和限制。最后,我们讨论了无监督提取工作流的最佳实践。
2022-05-02 cs.CL cs.DL
Logician: A Unified End-to-End Neural Approach for Open-Domain Information Extraction
Baidu Research(百度研究院)
在本文中,我们考虑的问题,开放信息抽取(OIE)提取实体和关系层的中间结构,从句子中的开放域。我们重点研究了四种有价值的中间结构(关系、属性、描述和概念),并提出了一种统一的知识表示形式SAOKE来表示它们。我们公开发布了一个数据集,其中包含超过40000个句子和相应的事实,以SAOKE格式标记的众包。据我们所知,这是最大的公开可用的人类标记的数据集开放的信息抽取任务。使用这个标记的SAOKE数据集,我们训练了一个端到端的神经模型,使用序列到序列范式,称为逻辑学家,将句子转换为事实。对于每个句子,与现有的算法不同,这些算法通常专注于提取每个单个事实而不考虑其他可能的事实,Logician对所有可能涉及的事实进行全局优化,其中事实不仅相互竞争以吸引单词的注意力,而且还合作共享单词。对各种类型的开放域关系抽取任务的实验研究揭示了Logician算法相对于其他最先进算法的一致优越性。实验验证了SAOKE格式的合理性、SAOKE数据集的价值、所提出的Logician模型的有效性,以及将端到端学习范式应用于有监督数据集的方法学的可行性,以解决开放式信息抽取这一具有挑战性的任务。
2019-04-29 cs.AI cs.CL cs.DB
CMNEE: A Large-Scale Document-Level Event Extraction Dataset based on Open-Source Chinese Military News
National University of Defense Technology(国防科技大学);Southeast University(东南大学);Tsinghua University(清华大学)
针对军事文本事件抽取的数据稀缺问题,提出大规模文档级中文军事新闻事件抽取数据集CMNEE,含17,000文档和29,223事件,实验表明该领域任务更具挑战性。
2024-04-18 cs.CL
Information Extraction in Domain and Generic Documents: Findings from Heuristic-based and Data-driven Approaches
Stevens Institute of Technology(史蒂文斯理工学院)
本研究探讨了文档体裁和长度对启发式与数据驱动信息抽取方法的影响,发现在NER和SRL任务中无单一方法占绝对优势,数据驱动方法在短文本NER上表现更佳,而结合句法表示的方法在SRL上更优。
2023-06-30 cs.CL
A Domain-Specific Curated Benchmark for Entity and Document-Level Relation Extraction
University of Padova(帕多瓦大学)
本文提出GutBrainIE基准,用于生物医学领域实体和文档级关系提取,通过精细标注和多任务设计提升IE方法的评估与开发
2026-02-04 cs.CL
Relation extraction from clinical texts using domain invariant convolutional neural network
IIT Guwahati(印度理工学院古瓦哈提分校);Excelra Knowledge Solutions Pvt Ltd(Excelra知识解决方案私人有限公司)
近年来,从生物医学和临床文本(如研究文章、出院摘要或电子健康记录)中提取相关信息一直是许多研究工作和共同挑战的主题。关系抽取是对给定文本中实体之间的语义关系进行检测和分类的过程。在生物医学领域中,用于此任务的现有模型使用手动工程特征或内核方法来创建特征向量。然后将这些特征馈送到分类器以预测正确的类别。事实证明,这些方法的结果是高度依赖于用户设计的功能的质量,也遭受维数灾难。在这项工作中,我们专注于从临床出院总结中提取关系。我们的主要目标是利用卷积神经网络(CNN)的能力来自动学习特征,从而减少对手动特征工程的依赖。我们在i2 b2 -2010临床关系抽取挑战数据集上评估了所提出的模型的性能。我们的研究结果表明,卷积神经网络可以是一个很好的模型,在临床文本的关系提取,而不依赖于专家的知识来定义质量特征。
2016-06-30 cs.CL
Building blocks for complex tasks: Robust generative event extraction for radiology reports under domain shifts
University of Washington(华盛顿大学)
针对放射学报告信息提取的跨模态泛化与推理成本问题,提出基于T5的生成式方法,通过任务分解、多任务训练及目标域上下文增强,在提升泛化性的同时降低推理成本。
2023-06-15 cs.CL
MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
我们提出了MobIE,德语数据集,这是人类注释的20个粗粒度和细粒度的实体类型和实体链接信息的地理上不确定的实体。该数据集由3,232个社交媒体文本和91K令牌的交通报告组成,并包含20.5K注释实体,其中13.1K链接到知识库。数据集的一个子集是人类注释的七个移动性相关的,n元关系类型,而其余的文件是使用弱监督标记方法与Snorkel框架实现注释。据我们所知,这是第一个结合了NER,EL和RE注释的德语数据集,因此可以用于这些基本信息抽取任务的联合和多任务学习。我们在https://github.com/dfki-nlp/mobie上公开了Mobie。
2022-03-28 cs.CL
Benchmarking BioRelEx for Entity Tagging and Relation Extraction
Amelia Science(阿米莉亚科学公司);IPsoft(IPsoft公司)
提取不同生物实体之间的关系和相互作用仍然是一个极具挑战性的问题,但没有得到太多的关注,因为在其他通用领域的提取。除了缺乏附加说明的数据外,基准低仍然是进展缓慢的一个主要原因。为了填补这一空白,我们比较了多个现有的实体和关系抽取模型在最近推出的公共数据集,BioRelEx的句子注释与生物实体和关系。我们直接的基准测试表明,像DYGIE这样的基于跨度的多任务架构在实体标记和关系抽取方面分别比以前的最新技术进步了4.9%和6%,并且结合特定于领域的信息,如在相关领域预先训练的嵌入,可以提高性能。
2020-05-31 cs.CL cs.IR cs.LG
MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction
Indian Institute of Technology Delhi(印度理工学院德里分校)
材料领域中的大量知识以文本形式产生并存储在同行评审的科学文献中。自然语言处理的最新发展,如Transformers(BERT)模型的双向编码器表示,提供了有前途的工具,从这些文本中提取信息。然而,在材料领域中直接应用这些模型可能会产生次优的结果,因为模型本身可能不会在特定于该领域的符号和术语上进行训练。在这里,我们提出了一种材料感知的语言模型,即MatSciBERT,它是在材料领域发表的大量科学文献语料库上训练的。我们进一步评估了MatSciBERT在不同材料数据集上的三个下游任务,即抽象分类,命名实体识别和关系抽取的性能。我们表明,MatSciBERT优于SciBERT,科学语料库上训练的语言模型,在所有的任务。此外,我们还讨论了MatSciBERT在材料领域提取信息的一些应用,这些信息反过来又有助于材料的发现或优化。最后,为了让更大的材料社区可以访问这项工作,我们让MatSciBERT的预训练和微调权重和模型可以免费访问。
2021-09-30 cond-mat.mtrl-sci cs.CL
MedDistant19: Towards an Accurate Benchmark for Broad-Coverage Biomedical Relation Extraction
German Research Center for Artificial Intelligence(德国人工智能研究中心);Saarland University(萨尔大学);Yale Center for Medical Informatics(耶鲁医学信息学中心);UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
由于缺乏标记数据和高昂的注释成本,生物医学领域的关系抽取具有挑战性,需要领域专家。远程监督通常用于通过将知识图谱关系与原始文本自动配对来解决注释数据的稀缺性。这样的流水线容易产生噪声,并且为覆盖大量生物医学概念的规模增加了挑战。我们调查了现有的广泛覆盖的远程监督生物医学关系抽取基准,发现训练和测试关系之间的重叠范围从26%到86%。此外,我们注意到这些基准测试的数据构建过程中存在一些不一致之处,并且在没有训练测试泄漏的情况下,重点是更窄的实体类型之间的交互。这项工作提出了一个更准确的基准MedDistant19广泛覆盖的远程监督的生物医学关系抽取,解决了这些缺点,并通过调整MEDLINE摘要与广泛使用的SNOMED临床术语知识库。缺乏与特定领域的语言模型进行彻底的评估,我们还进行实验验证一般领域的关系抽取的结果,生物医学关系抽取。
2022-09-13 cs.CL cs.LG
Knowledge Augmented Entity and Relation Extraction for Legal Documents with Hypergraph Neural Network
School of Economics and Management(经济管理学院);Dalian University of Technology(大连理工大学)
本文提出基于超图神经网络的法律文档实体与关系抽取方法,通过整合领域知识和多头注意力机制,提升司法领域文本处理性能。
2026-02-09 cs.CL
A Domain-Adapted Pipeline for Structured Information Extraction from Police Incident Announcements on Social Media
Shandong University(山东大学);Qingdao University(青岛大学);Ocean University of China(中国海洋大学);Tsinghua University(清华大学)
本文提出一种领域适应的提取流水线,利用LoRA技术高效微调模型,实现从社交媒体警察通报中高精度提取15个关键字段。
2026-02-23 cs.CL cs.CY
Making Efficient Use of a Domain Expert's Time in Relation Extraction
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS(弗劳恩霍夫智能分析与信息系统研究所 IAIS)
标记数据的稀缺性是机器学习中最常见的问题之一。这在文本挖掘中的关系抽取中尤其如此,其中在许多应用领域中存在大型文本语料库,而文本数据的标记需要专家投入大量时间来阅读文档。总的来说,最先进的模型,如本文中使用的卷积神经网络,在足够大量的标记数据上训练时会取得很好的效果。然而,从实际的角度来看,如果考虑到专家的体力劳动,这是否是最有效的办法,这就产生了一个问题。在本文中,我们报告了一种替代方法,我们首先构建一个关系抽取模型,使用远程监督,只有后来利用一个领域的专家来完善的结果。远程监督提供了一种在知识库中给定已知关系的情况下对数据进行标记的方法,但是它受到噪声标记的影响。我们引入了一个基于主动学习的扩展,它允许我们的神经网络将专家反馈和报告的第一个结果在一个复杂的数据集。
2018-07-12 cs.CL cs.LG stat.ML
A Dynamic Self-Evolving Extraction System
Megagon Labs(Megagon实验室)
提出DySECT系统,通过LLM抽取三元组构建知识库,结合概率知识和图推理丰富知识,再反馈优化抽取器,形成闭环持续提升。
2026-06-04 cs.CL cs.LG
SciNLP: A Domain-Specific Benchmark for Full-Text Scientific Entity and Relation Extraction in NLP
Nanjing University of Science and Technology(南京理工大学);Soochow University(苏州大学)
SciNLP是一个专门用于自然语言处理领域全文科学实体和关系提取的基准数据集,包含60篇人工标注的全文NLP论文,涵盖6,409个实体和1,648个关系,通过对比实验验证了其在不同长度学术文本上的提取能力,实现了细粒度知识图谱的自动构建。
2026-09-16 cs.CL cs.DL cs.IR
The SOFC-Exp Corpus and Neural Approaches to Information Extraction in the Materials Science Domain
Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司)
本文提出了材料科学领域中一个新的具有挑战性的信息抽取任务。我们开发了一个注释方案,用于标记科学出版物中与固体氧化物燃料电池相关的实验信息,例如所涉及的材料和测量条件。在本文中,我们发布了我们的注释指南,以及由领域专家注释的45篇开放获取学术文章组成的SOFC-Exp语料库。一个语料库和一个注释者之间的协议研究表明,建议的命名实体识别和插槽填充任务的复杂性,以及高注释质量。我们还提出了强大的基于神经网络的模型,可以在我们的新数据集的基础上解决各种任务。在所有任务上,使用BERT嵌入会带来很大的性能提升,但随着任务复杂性的增加,在上面添加一个递归神经网络似乎是有益的。我们的模型将在未来的工作中作为有竞争力的基线,对它们的性能分析突出了数据建模时的困难情况,并提出了有前途的研究方向。
2020-06-04 cs.CL cs.LG
Understanding 6G through Language Models: A Case Study on LLM-aided Structured Entity Extraction in Telecom Domain
School of Computer Science, McGill University(计算机科学系,麦吉尔大学);Standards and Mobility Innovation Lab, Samsung Research America(标准与移动创新实验室,三星研究美国)
本研究针对6G网络知识理解需求,提出基于语言模型的电信结构化实体提取技术TeleSEE,结合令牌高效表示与分层并行解码方法,并构建6GTech数据集验证,其准确率更优且处理速度提升5至9倍。
2025-05-20 cs.CL cs.SY eess.SY
Event Extraction: A Survey
University of Oregon(俄勒冈大学)
从文本中提取报道事件是自然语言处理的关键研究课题之一。这个过程包括几个任务,如事件检测,参数提取,角色标记。事件抽取是自然语言处理和自然语言理解领域的重要研究课题之一,其应用领域广泛,如新闻通讯、生物医学、历史人文、网络安全等。这份报告提出了一个全面的调查事件检测文本文件。在本报告中,我们提供了任务定义,评估方法,以及基准数据集和事件提取方法的分类。我们还提出了我们的愿景,未来的研究方向在事件检测。
2022-10-10 cs.CL cs.IR cs.LG
RuREBus: a Case Study of Joint Named Entity Recognition and Relation Extraction from e-Government Domain
ABBYY;Moscow Institute of Physics and Technology(莫斯科物理技术学院);National Research University Higher School of Economics(俄罗斯国立高等经济大学);Novosibirsk State University(新西伯利亚国立大学);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Innopolis University(伊诺波利斯大学);Kazan Federal University(喀山联邦大学)
我们展示了一个应用程序的信息抽取方法,如命名实体识别(NER)和关系抽取(RE)到一个新的语料库,由文件组成,由国家机构发出。这个语料库的主要挑战是:1)注释方案与一般领域语料库的注释方案有很大不同,2)文档是用英语以外的语言编写的。与预期不同的是,最先进的基于transformer的模型在这两项任务中表现出适度的性能,无论是按顺序进行还是以端到端的方式进行。我们的实验表明,微调一个大型的未标记的语料库不会自动产生显着的改善,因此,我们可以得出结论,更复杂的策略,利用未标记的文本是必需的。在本文中,我们描述了整个开发管道,从文本注释开始,基线开发,并设计了一个共享的任务,希望改善基线。最终,我们意识到,目前的NER和RE技术还远未成熟,无法克服像我们这样的挑战。
2020-10-29 cs.CL cs.CY
Rapid Adaptation of BERT for Information Extraction on Domain-Specific Business Documents
University of Waterloo(滑铁卢大学)
从业务文档(如合同、报表和文件)中自动提取重要内容元素的技术有可能使业务操作更加高效。这个问题可以制定为一个序列标签的任务,我们证明了适应BERT两种类型的商业文件:监管文件和财产租赁协议。这个问题的某些方面使它比“标准”信息抽取任务更容易,而其他方面使它更困难,但总的来说,我们发现适量的注释数据(少于100个文档)足以达到合理的准确性。我们将我们的模型集成到一个端到端的云平台中,该平台提供了一个易于使用的注释接口以及一个推理接口,允许用户上传文档并检查模型输出。
2020-02-05 cs.CL cs.IR cs.LG