A Novel Corpus of Annotated Medical Imaging Reports and Information Extraction Results Using BERT-based Language Models
University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）；Stanford University（斯坦福大学）
本文提出带标注医学影像报告语料库CAMIR，结合细粒度事件结构与概念归一化，并基于BERT架构探索mSpERT与增强的PL-Marker++方法进行事件信息抽取。
2024-03-27 cs.CL
A Privacy-Preserving Approach to Extraction of Personal Information through Automatic Annotation and Federated Learning
University of Ottawa（渥太华大学）；National Research Council Canada（加拿大国家研究委员会）
我们策划了WikiPII，这是一个自动标记的数据集，由维基百科传记页面组成，注释用于个人信息抽取。虽然自动标注可能会导致高度的标签噪声，但它是一个廉价的过程，并且可以生成大量的带注释文档。我们使用WikiPII训练了一个基于BERT的NER模型，并表明使用足够大的训练数据集，该模型可以显着降低手动信息抽取的成本，尽管标签噪声水平很高。在类似的方法中，组织可以利用文本挖掘技术从其历史数据中创建定制的注释数据集，而无需共享原始数据进行人工注释。此外，我们还探索了当注释有噪声时，通过联邦学习对NER模型进行协作训练。我们的研究结果表明，根据对ML操作员的信任程度和可用数据的数量，分布式训练可以是以保护隐私的方式训练个人信息标识符的有效方法。研究材料可在https://github.com/ratmcu/wikipiifed上查阅。
2021-05-19 cs.CL
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group（阿里巴巴集团）
近年来，通过使用深度神经网络，远程监督关系抽取取得了一定的成功。远程监督（DS）可以通过将知识库（KB）中的实体对对齐到句子来自动生成大规模的带注释数据。然而，这些DS生成的数据集不可避免地有错误的标签，导致在测试过程中不正确的评估分数，这可能会误导研究人员。为了解决这个问题，我们构建了一个新的数据集NYTH，其中我们使用DS生成的数据作为训练数据，并雇用注释器来标记测试数据。与以前的数据集相比，NYT-H具有更大的测试集，因此我们可以进行更准确和一致的评估。最后，我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明，比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明，我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
Extracting COVID-19 Diagnoses and Symptoms From Clinical Text: A New Annotated Corpus and Neural Event Extraction Framework
University of Washington（华盛顿大学）
2019冠状病毒病（COVID-19）是一种全球性大流行病。尽管自新型冠状病毒出现以来，人们已经对它有了很多了解，但在跟踪其传播、描述病原学、预测感染严重程度和预测医疗保健利用方面，仍有许多悬而未决的问题。自由文本临床笔记包含解决这些问题的关键信息。需要数据驱动的自动信息抽取模型来在大规模研究中使用这种文本编码的信息。这项工作提出了一个新的临床语料库，称为COVID-19注释临床文本（CACT）语料库，其中包括1，472个注释，详细注释了COVID-19诊断，测试和临床表现。我们引入了一个基于跨度的事件提取模型，该模型联合提取所有注释的现象，在识别具有相关断言值的COVID-19和症状事件方面实现了高性能（事件为0.83-0.97 F1，断言为0.73-0.79 F1）。在二次使用应用程序中，我们探索了使用结构化患者数据（例如生命体征和实验室结果）预测COVID-19检测结果，并自动提取症状信息。自动提取的症状提高了预测性能，不仅仅是结构化数据。
2021-03-10 cs.CL cs.LG
Exploiting Partially Annotated Data for Temporal Relation Extraction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
已知对用自然语言描述的事件之间的时间关系（TempRel）进行注释是劳动密集型的，部分原因是TempRel的总数是事件数量的二次。因此，通常只有少量的文档被注释，限制了各种词汇/语义现象的覆盖范围。为了改进现有的方法，一种可能性是利用现有的、部分附加说明的数据（P为部分），这些数据涵盖更多的文件。然而，P中缺少注释会损害而不是帮助现有系统。这项工作是一个案例研究，探索各种用途的P TempRel提取。结果表明，尽管缺少注释，P仍然是一个有用的监督信号，在约束自举学习框架内的这项任务。该系统中描述的系统是公开可用的。
2018-04-25 cs.CL cs.LG stat.ML
Weak Reward Model Transforms Generative Models into Robust Causal Event Extraction Systems
King’s College London（伦敦国王学院）；The Alan Turing Institute（阿兰·图灵研究所）
针对因果事件抽取评估指标不佳的问题，训练评估模型近似人工评估并用于强化学习对齐人类偏好，提出弱到强监督方法减少标注依赖并保持高性能。
2024-06-27 cs.CL
Creation of an Annotated Corpus of Spanish Radiology Reports
Hospital De Pediatría, Prof. Dr. Juan P. Garrahan（加尔拉汉儿科医院）
本文介绍了一个新的注释语料库的513匿名放射学报告写在西班牙语。报告用实体、否定和不确定性术语和关系手工注释。该语料库被认为是命名实体识别和关系抽取算法的评估资源，并作为使用监督方法的输入。由于保密问题和相关费用，生物医学注释资源稀缺。这项工作提供了一些指导方针，可以帮助其他研究人员承担类似的任务。
2017-10-30 cs.CL
Rules still work for Open Information Extraction
Jiangxi University of Finance and Economics（江西财经大学）；University of Calgary（卡尔加里大学）
本文提出中文开放信息抽取模型APRCOIE，通过自主生成抽取模式并结合基于张量计算的过滤器，在人工标注的大规模数据集上显著超越现有最优中文OIE模型。
2024-12-27 cs.CL
A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events
DFKI GmbH（德国人工智能研究中心）
在个人旅行计划和供应链管理等领域，监控移动性和行业相关事件非常重要，但从异构的大容量文本流中提取与特定公司、运输路线和位置相关的事件仍然是一个重大挑战。这项工作描述了一个语料库的德语文档已被注释细粒度的地理实体，如街道，车站和路线，以及标准的命名实体类型。它还被注释了一组15个与交通和行业相关的n元关系和事件，如事故、交通堵塞、收购和罢工。该语料库包括新闻专线文本、Twitter消息以及来自广播电台、警察局和铁路公司的交通报告。它允许训练和评估两个命名实体识别算法，旨在细粒度的地理实体，以及n元关系抽取系统。
2020-04-07 cs.CL
Silver Syntax Pre-training for Cross-Domain Relation Extraction
IT University of Copenhagen（哥本哈根信息技术大学）；University of Turku（图尔库大学）；LMU Munich（慕尼黑大学）
本文针对跨域关系抽取数据标注成本高的问题，提出利用句法结构与语义的亲和性，通过高精度句法分析器自动获取最短依赖路径上的句法关系作为预训练数据，在无额外标注下于六种跨域设置中五种优于基线。
2023-05-18 cs.CL
A Scientific Information Extraction Dataset for Nature Inspired Engineering
Heriot-Watt University（赫瑞-瓦特大学）
大自然激发了从机器人到航空航天工程和医疗设备制造等应用领域的各种突破性技术发展。然而，获取科学生物学文本中捕获的信息是一项耗时且艰巨的任务，需要特定领域的知识。改善外部人员的访问可以帮助跨学科研究，如自然启发工程。本文描述了一个由1,500个手动注释的句子组成的数据集，这些句子表达了科学生物学文本中中心概念之间的领域独立关系，例如权衡和相关性。这些关系的参数可以是多词表达式，并且已经用修饰短语注释以形成非投影图。该数据集允许训练和评估关系抽取算法，该算法旨在对科学生物学文档进行粗粒度分类，从而为工程师提供高级别过滤器。
2020-05-26 cs.CL
AutoSpecNER: A Fine-Grained Named Entity Recognition Dataset for Vehicle Specification Extraction
Department of Computing and Mathematics, Manchester Metropolitan University（曼彻斯特城市大学计算与数学系）；Autotrader Research Group, Autotrader UK（英国Autotrader研究组）
提出AutoSpecNER数据集，包含659条汽车广告和15类超过1万个实体，基于DeBERTa的模型达到90%微平均F1分数，优于规则方法和大型语言模型。
2026-11-03 cs.CL
A Corpus Study and Annotation Schema for Named Entity Recognition and Relation Extraction of Business Products
DFKI GmbH（德国人工智能研究中心）
识别新闻和论坛文本中的非标准实体类型和关系，例如B2B产品，产品类别及其生产商，在供应链监控和市场研究等应用领域非常重要。然而，在这一领域中缺乏注释语料库和注释指南。在这项工作中，我们提出了一个语料库的研究，注释模式和相关的准则，产品实体和公司产品关系提到的注释。我们发现，虽然产品提及往往是实现为名词短语，定义其确切的程度是困难的，由于高边界歧义和广泛的句法和语义变化的表面实现。我们还描述了我们正在进行的注释工作，并提出了一个初步的语料库的英语网络和社交媒体文件注释根据建议的指导方针。
2020-04-07 cs.CL
A French Corpus Annotated for Multiword Expressions with Adverbial Function
Université Paris-Est（巴黎-est大学）；Institut Gaspard-Monge - LabInfo（加斯帕尔-蒙日研究所 - LabInfo）
本文介绍了一个标注了副词性多词表达的法语语料库，旨在支持信息检索、信息抽取以及深层和浅层句法分析的研究。
2026-06-03 cs.CL
On the Effects of Low-Quality Training Data on Information Extraction from Clinical Reports
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（意大利国家研究委员会信息科学与技术研究所）；Qatar Computing Research Institute, Qatar Foundation（卡塔尔基金会卡塔尔计算研究所）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）
在过去的五年中，已经有一系列关于从临床文档中信息抽取的工作，即，该算法能够从日常临床实践中产生的非正式和非结构化文本中提取与此类实践相关的概念。这些文献中的大多数是关于基于监督学习的方法，即，用于从手动注释的示例训练信息抽取系统的方法。虽然人们已经做了大量工作来设计生成越来越准确的信息提取器的学习方法，但还没有研究过训练数据质量对学习过程的影响。训练数据的低质量通常源于这样一个事实，即注释数据的人与必须根据其判断来评估自动注释数据的人不同。在本文中，我们测试的影响，这些数据质量问题的准确性信息抽取系统应用于临床领域。我们通过比较从由权威编码器注释的训练数据导出的准确度（即，也注释了测试数据并且我们必须遵守其判断的人），其准确度来自由不同编码器注释的训练数据。结果表明，虽然两个编码器之间的分歧（如在训练集上测量的）是实质性的，但差异（令人惊讶的是）并不总是统计学上显著的。
2015-03-04 cs.CL cs.IR cs.LG
AdaK-NER: An Adaptive Top-K Approach for Named Entity Recognition with Incomplete Annotations
最先进的命名实体识别（NER）模型严重依赖于大量的完全注释的训练数据。然而，可访问的数据往往是不完整的注释，因为注释者通常缺乏全面的知识，在目标领域。通常，默认情况下，未注释的标记被视为非实体，而我们强调这些标记可以是非实体或任何实体的一部分。本文研究了不完全标注数据下的NER建模问题，在不完全标注数据下，只有一小部分命名实体被标注，而未标注的标记被每个可能的标记等价地多标注，考虑到多标记，大量的可能路径会分散训练模型对黄金路径（ground truth label序列）的注意力，从而影响学习能力。在本文中，我们提出了AdaK-NER，称为自适应top-K方法，以帮助模型专注于一个较小的可行区域，在那里黄金路径更有可能被定位。通过在英文和中文数据集上的大量实验，我们证明了该方法的优越性，在CoNLL-2003和两个中文数据集上的F值与现有的最先进的方法相比平均提高了2%和10%以上。
2022-06-09 cs.AI cs.CL
A Unified Framework of Medical Information Annotation and Extraction for Chinese Clinical Text
HwaMei Hospital, University of Chinese Academy of Sciences（中国科学院大学华美医院）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）
医学信息抽取由一组自然语言处理（NLP）任务组成，这些任务协作地将临床文本转换为预定义的结构化格式。当前最先进的（SOTA）NLP模型与深度学习技术高度集成，因此需要大量带注释的语言数据。本研究提出了一个医学实体识别、关系抽取和属性抽取的工程框架，在标注、建模和评价上实现了统一。具体而言，注释方案是全面的，并且在任务之间是兼容的，特别是对于医疗关系。最终的标注语料库包括1,200份完整的病历（或18,039份分解文档），三个任务的标注者间一致性（IAAs）分别达到94.53%，73.73%和91.98%F1分数。三个任务特定的神经网络模型是在一个共享的结构中开发的，并通过SOTA NLP技术增强，即，预训练的语言模型。实验结果表明，该系统能准确地检索出医学实体、关系和属性，其F1得分分别为93.47%、67.14%和90.89%。本研究，除了我们公开发布的注释方案和代码，提供了坚实的和实际的工程经验，开发一个集成的医疗信息抽取系统。
2022-03-08 cs.CL
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
Challenges in Expanding Portuguese Resources: A View from Open Information Extraction
Federal University of Bahia（巴伊亚联邦大学）；Institute of Computing, Universidade Federal Fluminense（弗鲁米嫩塞联邦大学计算研究所）
本文构建了高质量葡萄牙语开放信息抽取人工标注语料库，提出标注规则并验证系统性能，填补了该语言数据集空白。
2025-01-21 cs.CL
Open Domain Event Extraction Using Neural Latent Variable Models
Beijing Institute of Technology（北京理工大学）；Zhejiang Lab（之江实验室）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
我们考虑开放域事件提取，从新闻集群中提取无约束类型的事件的任务。构造了一种新的隐变量神经网络模型，该模型可扩展到非常大的语料库。收集数据集并手动注释，设计特定于任务的评估指标。结果表明，所提出的无监督模型提供了更好的性能相比，国家的最先进的事件模式归纳方法。
2019-06-17 cs.CL
MedJEx: A Medical Jargon Extraction Model with Wiki's Hyperlink Span and Contextualized Masked Language Model Score
UMass Amherst（马萨诸塞大学阿默斯特分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）；UMass Medical School（马萨诸塞大学医学院）；U.S. Department of Veterans Affairs（美国退伍军人事务部）
本文提出了一种新的自然语言处理（NLP）的应用程序，用于识别医疗行话术语可能难以理解的病人从电子健康记录（EHR）的笔记。我们首先提出了一个新的和公开可用的数据集，专家注释的医疗行话术语从18K+ EHR笔记句子（$MedJ$）。然后，我们介绍了一种新的医学行话提取（$MedJEx$）模型，已被证明优于现有的国家的最先进的NLP模型。首先，MedJEx在辅助维基百科超链接跨度数据集上进行训练时提高了整体性能，其中超链接跨度提供额外的维基百科文章来解释跨度（或术语），然后在注释的MedJ数据上进行微调。其次，我们发现，一个语境化的掩蔽语言模型分数是有益的检测特定领域的不熟悉的行话。此外，我们的研究结果表明，辅助维基百科超链接跨度数据集上的训练提高了八个生物医学命名实体识别基准数据集中的六个。MedJ和MedJEx都是公开的。
2022-10-12 cs.CL
Event-Arguments Extraction Corpus and Modeling using BERT for Arabic
Birzeit University（比尔宰特大学）
本文构建了阿拉伯语事件-论元抽取语料库hadath，并提出基于BERT文本蕴含的事件关系抽取方法，取得94.01%的F1分数，还构建域外测试集testNLI验证泛化能力，并实现了端到端抽取系统。
2024-07-30 cs.CL
Benchmarking BioRelEx for Entity Tagging and Relation Extraction
Amelia Science（阿米莉亚科学公司）；IPsoft（IPsoft公司）
提取不同生物实体之间的关系和相互作用仍然是一个极具挑战性的问题，但没有得到太多的关注，因为在其他通用领域的提取。除了缺乏附加说明的数据外，基准低仍然是进展缓慢的一个主要原因。为了填补这一空白，我们比较了多个现有的实体和关系抽取模型在最近推出的公共数据集，BioRelEx的句子注释与生物实体和关系。我们直接的基准测试表明，像DYGIE这样的基于跨度的多任务架构在实体标记和关系抽取方面分别比以前的最新技术进步了4.9%和6%，并且结合特定于领域的信息，如在相关领域预先训练的嵌入，可以提高性能。
2020-05-31 cs.CL cs.IR cs.LG
Impact of translation on biomedical information extraction from real-life clinical notes
IPLESP；Shanghai Jiaotong University（上海交通大学）；Hôpital Saint-Antoine（圣安托万医院）；Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；Université Sorbonne Paris Nord（巴黎第十三大学（索邦巴黎北大学））；LIMICS（LIMICS（医学信息学与健康工程实验室））
研究比较原生法语模型与先翻译再用英语工具进行临床概念提取和规范化的方案，发现原生法语方法 f1 显著更高。
2023-06-03 cs.CL
Scientific Information Extraction with Semi-supervised Neural Tagging
University of Washington（华盛顿大学）
本文讨论了从科学文章中提取关键词并将其分类为对应于任务，过程或材料的问题。我们把问题转化为序列标记，并将半监督方法引入神经标记模型，该模型建立在命名实体识别的最新进展基础上。由于注释的训练数据是稀缺的，在这个领域，我们引入了一个基于图的半监督算法与数据选择方案，以利用未注释的文章。在2017年SemEval任务10 ScienceIE任务中，归纳和转导半监督学习策略的表现优于最先进的信息抽取性能。
2017-08-21 cs.CL
Developing Annotated Resources for Internal Displacement Monitoring
ISI Foundation（ISI基金会）；Columbia University（哥伦比亚大学）；Internal Displacement Monitoring Centre（境内流离失所监测中心）
本文详细介绍了一个新的注释框架和国内流离失所的注释资源的设计和开发，作为与国内流离失所监测中心合作的成果，旨在提高其监测平台IDETECT的准确性。该纲要包括对事件的多方面描述，包括原因、流离失所者的数量、地点和日期。提出了基于文档相关性和文档类型等高阶特征的信息抽取方法。我们还报告了机器学习应用于文档分类任务的案例研究。最后，我们讨论了标准化模式在数据集基准开发中的重要性及其对可靠的灾害监测基础设施开发的影响。
2021-04-12 cs.CL
Malaysian English News Decoded: A Linguistic Resource for Named Entity and Relation Extraction
针对马来西亚英语与标准英语的差异导致NLP任务困难的问题，构建了包含200篇新闻的MEN数据集，手动标注实体和关系，并通过微调spaCy NER工具验证了定制数据集能显著提升NER性能。
2026-05-30 cs.CL
HumSet: Dataset of Multilingual Information Extraction and Classification for Humanitarian Crisis Response
Data Friendly Space（数据友好空间）；ToggleCorp Solutions（ToggleCorp解决方案公司）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
及时有效地应对人道主义危机需要对大量文本数据进行快速准确的分析-这一过程可以从专家辅助的NLP系统中受益匪浅，这些系统在人道主义响应领域经过验证和注释的数据培训。为了创建这样的NLP系统，我们引入并发布了HumSet，这是一个由人道主义响应社区专家注释的新颖而丰富的多语言人道主义响应文档数据集。该数据集提供三种语言（英语，法语，西班牙语）的文件，涵盖2018年至2021年全球各种人道主义危机。对于每一份文件，HUMSET提供了选定的片段（条目），并为每个条目指定了类别，使用共同的人道主义信息分析框架进行了注释。HUMSET还提供新颖且具有挑战性的条目提取和多标签条目分类任务。在本文中，我们迈出了接近这些任务的第一步，并进行了一组实验的预训练语言模型（PLM），建立强大的基线，为未来的研究在这一领域。该数据集可在https://blog.thedeep.io/humset/上获得。
2022-11-06 cs.CL cs.LG
DocRED: A Large-Scale Document-Level Relation Extraction Dataset
Tsinghua University（清华大学）；Tencent Inc.（腾讯公司）
文档中的多个实体通常表现出复杂的句间关系，并且不能被现有的关系抽取（RE）方法很好地处理，现有的RE方法通常集中于为单个实体对提取句内关系。为了加速文档级RE的研究，本文引入了一个基于Wikipedia和Wikidata构建的新数据集DocRED，它具有以下三个特点：（1）DocRED同时标注命名实体和关系，是目前最大的人工标注的纯文本文档级RE数据集;（2）DocRED需要阅读文档中的多个句子，通过综合文档的所有信息来提取实体并推断它们的关系;（3）除了人工标注的数据，我们还提供了大规模的远程监督数据，这使得DocRED可以用于监督和弱监督场景。为了验证文档级RE的挑战，我们实现了最近的国家的最先进的RE方法，并对DocRED这些方法进行了彻底的评估。实证结果表明，DocRED是现有的RE方法的挑战，这表明，文档级RE仍然是一个开放的问题，需要进一步的努力。在对实验结果进行详细分析的基础上，我们讨论了未来研究的多个有前途的方向。
2019-08-09 cs.CL
Building a Corpus for Biomedical Relation Extraction of Species Mentions
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本研究构建了聚焦肠道微生物组的物种间二元关系人工标注语料库Species-Species Interaction，经评估不同NER物种标注器后采用PubTator标注全文物种，用BERT及生物医学变体抽取关系的初步结果良好。
2023-06-14 cs.CL
Question Answering on Freebase via Relation Extraction and Textual Evidence
Peking University（北京大学）；University of Edinburgh（爱丁堡大学）；IBM China Research Lab（IBM中国研究实验室）
现有的基于知识的问答系统通常依赖于小的带注释的训练数据。虽然像关系抽取这样的浅层方法对数据稀缺性是鲁棒的，但它们的表达能力不如像语义解析这样的深层含义表示方法，因此无法回答涉及多个约束的问题。在这里，我们减轻这个问题，授权关系抽取方法与维基百科的额外证据。我们首先提出了一个基于神经网络的关系提取器从Freebase检索候选答案，然后推断维基百科来验证这些答案。在WebQuestions问答数据集上的实验表明，该方法的F1达到了53.3%，比现有方法有了很大的提高。
2016-06-09 cs.CL
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，随着词的连续表示（词嵌入）和深层神经网络结构的发展，关系抽取领域的研究成果不断涌现，大量的论文已经难以统计。为了帮助未来的研究，我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取，这些网络在公开可用的数据集上实现了最先进的性能。在本调查中，我们涵盖了文档级关系提取，基于管道的方法联合提取方法，注释数据集，远程监督数据集以及一些最近的研究方向，如zero-shot或Few-Shot关系抽取，远程监督数据集的噪声缓解。关于神经架构，我们在本调查中涵盖了卷积模型，递归网络模型，注意力网络模型和图卷积模型。
2021-03-31 cs.CL
CREER: A Large-Scale Corpus for Relation Extraction and Entity Recognition
National Cheng Kung University（国立成功大学）
我们描述了CREER数据集的设计和使用，一个大型语料库注释丰富的英语语法和语义属性。CREER数据集使用Stanford CoreNLP Annotator从维基百科纯文本中捕获丰富的语言结构。该数据集遵循广泛使用的语言和语义注释，因此它不仅可用于大多数自然语言处理任务，还可扩展数据集。这个大型监督数据集可以作为未来提高NLP任务性能的基础。我们通过以下链接公布数据集：https://140.116.82.111/share.cgi? ssid=000dOJ4
2022-06-09 cs.CL
Tale of tails using rule augmented sequence labeling for event extraction
IIT Bombay（印度理工学院孟买分校）
事件提取的问题是一个相对困难的任务，低资源的语言，由于没有足够的注释数据。此外，任务变得复杂的尾部（很少出现）标签，其中非常少的数据是可用的。在本文中，我们提出了一个新的数据集（InDEE-2019）在灾难领域的多种印度语言，从新闻网站收集。使用这个数据集，我们评估了几种基于规则的机制来增强基于深度学习的模型。我们制定我们的问题，事件提取作为一个序列标签的任务，并进行了广泛的实验，研究和了解不同的方法的有效性。我们进一步表明，尾部标签可以很容易地通过创建新的规则，而不需要大的注释数据。
2020-01-31 cs.CL cs.IR cs.LG
Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
学习事件之间的因果关系和时间关系是深入了解故事和常识的重要一步。虽然有丰富的数据集与事件关系的故事理解，许多没有经验的结果与他们相关联。在这项工作中，我们建立了强大的基线事件的时间关系抽取两个欠开发的故事叙事数据集：丰富的事件描述（RED）和因果和时间关系计划（CaTeRS）。据我们所知，这是在这两个数据集上报告的第一个结果。我们证明了基于神经网络的模型可以优于一些强大的传统的基于语言特征的模型。我们还进行了比较研究，以显示的贡献，采用语境化的词嵌入（BERT）的事件时间关系抽取的故事。提供详细的分析，以更好地了解结果。
2019-04-26 cs.CL
Span Model for Open Information Extraction on Accurate Corpus
Shanghai Jiao Tong University（上海交通大学）
开放式信息抽取（Open IE）是一项具有挑战性的任务，特别是由于其脆弱的数据基础。大多数Open IE系统必须在自动构建的语料库上进行训练，并在不准确的测试集上进行评估。在这项工作中，我们首先从训练集和测试集两个方面缓解了这一困难。对于前者，我们提出了一种改进的模型设计，以更充分地利用训练数据集。对于后者，我们提出了我们的准确重新标注的基准测试集（Re-OIE 6），根据一系列的语言观察和分析。然后，我们引入了一个跨度模型，而不是以前采用的序列标记公式化的n元开放IE。我们新引入的模型在两个基准评估数据集上都实现了最先进的性能。
2019-11-21 cs.CL
FoodChem: A food-chemical relation extraction model
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
在本文中，我们提出了FoodChem，一个新的关系抽取（RE）模型，用于识别食品实体的组成中存在的化学物质，基于生物医学同行评议的科学文献中提供的文本信息。RE任务被视为一个二元分类问题，旨在识别食品化学实体对之间是否存在包含关系。这是通过微调BERT、BioBERT和RoBERTa Transformer模型来实现的。为了评估的目的，一个新的数据集与注释包含关系的食品化学实体对生成，在黄金和白银版本。这些模型被集成到一个投票方案中，以产生我们用于增强各个模型的数据集的银色版本，而手动注释的金色版本则用于评估。在三个评估模型中，BioBERT模型获得了最佳结果，在不平衡增强设置中的宏观平均F1得分为0.902。
2021-10-08 cs.CL cs.LG
AgenticIE: An Adaptive Agent for Information Extraction from Complex Regulatory Documents
Zurich University of Applied Sciences（苏黎世应用科学大学）；NEC Laboratories Europe（NEC欧洲实验室）
本文提出AgenticIE系统，用于从复杂监管文件中提取信息和回答问题，通过高密度标注数据集验证其在KIE和QA任务中的优越性能。
2026-01-14 cs.CL
Graph Neural Networks with Generated Parameters for Relation Extraction
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Université de Montréal（蒙特利尔大学）
近年来，在机器学习领域中，关系推理的改进已经取得了进展。在现有的模型中，图神经网络（GNNs）是多跳关系推理最有效的方法之一。事实上，多跳关系推理在诸如关系抽取等许多自然语言处理任务中是必不可少的。本文提出根据自然语言句子生成图神经网络（GP-GNNs）的参数，使GNNs能够对非结构化文本输入进行关系推理。我们在文本的关系抽取中验证了GP-GNNs。在人类注释数据集和两个远程监督数据集上的实验结果表明，与基线相比，我们的模型实现了显着的改进。我们还进行了定性分析，以证明我们的模型可以发现更准确的多跳关系推理的关系。
2019-02-02 cs.CL
Dynamic Global Memory for Document-level Argument Extraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从新闻文章中提取事件的信息论元是信息抽取中一个具有挑战性的问题，它要求对每个文档有全局的上下文理解。虽然最近关于文档级提取的工作已经超越了单句，并增加了端到端模型的跨句推理能力，但它们仍然受到某些输入序列长度约束的限制，并且通常忽略事件之间的全局上下文。为了解决这个问题，我们引入了一个新的基于全局神经生成的框架，用于文档级事件参数提取，方法是构建一个文档内存存储来记录上下文事件信息，并利用它来隐式和显式地帮助解码后续事件的参数。实验结果表明，我们的框架大大优于以前的方法，它是更强大的对抗注释的例子与我们的约束解码设计。(Our代码和资源可在https://github.com/xinyadu/memory_docie上获得，以供研究之用。）
2022-09-18 cs.CL
Distantly Supervised Morpho-Syntactic Model for Relation Extraction
Université de Franche-Comté（弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院）
提出一种利用远程监督形态句法模式及句法、语义索引抽取并分类开放关系的方法，在六个Wikidata/Wikipedia数据集上精确率最高达0.85，可快速构建规则系统与训练数据集。
2024-01-18 cs.CL
Extracting Information in a Low-resource Setting: Case Study on Bioinformatics Workflows
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）
针对生物信息学工作流信息抽取标注语料稀缺的问题，研究将其定义为低资源抽取任务，测试四种策略并构建BioToFlow语料库，基于SciBERT的模型取得与标注者间一致性相当的70.4 F值，验证了该场景下高性能信息抽取的可行性。
2025-03-10 cs.CL
Eye-SpatialNet: Spatial Information Extraction from Ophthalmology Notes
McWilliams School of Biomedical Informatics, UTHealth Houston（德克萨斯大学休斯顿健康科学中心麦克威廉姆斯生物医学信息学院）；McGovern Medical School, UTHealth Houston（德克萨斯大学休斯顿健康科学中心麦戈文医学院）
本文提出 Eye-SpatialNet 模式标注600份眼科笔记语料库，并基于 BERT 的两轮问答方法自动提取空间信息，F1 分数达89.31、74.86和88.47，首次实现眼科多种临床信息的表示与提取。
2023-05-19 cs.CL
Crude Oil-related Events Extraction and Processing: A Transfer Learning Approach
Monash University（莫纳什大学）
通过传统的监督学习范例进行事件提取的挑战之一是需要相当大的注释数据集来实现令人满意的模型性能。当涉及到金融和经济领域的事件提取时，这是一个资源相当少的领域，更具挑战性。本文提出了一个完整的框架，提取和处理原油相关的事件发现原油新闻语料库，解决了注释稀缺和类不平衡的问题，利用迁移学习的有效性。除了事件提取，我们特别强调事件属性（极性，模态和强度）分类，以确定每个事件的事实确定性。我们首先通过监督学习建立基线模型，然后利用迁移学习方法来提高事件提取模型的性能，尽管注释数据量有限，类别不平衡严重。这是通过迁移学习框架内的方法完成的，例如域自适应预训练，多任务学习和顺序迁移学习。基于实验结果，我们能够提高所有事件提取子任务模型的F1和MCC 1分数相比，通过标准的监督学习训练的基线模型。从原油新闻中准确和全面地提取事件对于下游任务非常有用，例如理解事件链和学习事件-事件关系，这可以用于其他下游任务，例如商品价格预测，总结等，以支持广泛的业务决策。
2022-05-01 cs.CL cs.IR
Taec: a Manually annotated text dataset for trait and phenotype extraction and entity linking in wheat breeding literature
Université Paris-Saclay（巴黎萨克雷大学）；INRAE（法国国家农业食品与环境研究院）；Univ. Montpellier（蒙彼利埃大学）；AgroParisTech（巴黎高科农业学院）；CIRAD（法国农业发展研究中心）；CNRS（法国国家科学研究中心）
本文提出了Taec语料库，包含540篇经完整标注的PubMed小麦育种文献，用于性状、表型和物种命名实体识别与实体链接，填补了植物表型文本挖掘领域缺乏训练和评估语料库的空白。
2024-01-15 cs.AI cs.CL
Exploring Task Difficulty for Few-Shot Relation Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
Few-Shot关系抽取（FSRE）主要通过少量标注实例进行学习来识别新关系。元学习已被广泛用于此类任务，它对随机生成的几次（Few-Shot）任务进行训练以学习通用数据表示。尽管取得了令人印象深刻的结果，现有的模型仍然表现不佳时，处理硬FSRE任务，其中的关系是细粒度的，彼此相似。我们认为这在很大程度上是因为现有的模型在学习过程中没有区分困难任务和简单任务。在本文中，我们介绍了一种新的方法，对比学习的基础上，学习更好的表示，利用关系标签信息。我们进一步设计了一种方法，允许模型自适应地学习如何专注于硬任务。在两个标准数据集上的实验证明了该方法的有效性。
2021-10-24 cs.CL
Dialogue-Based Relation Extraction
Tencent AI Lab（腾讯人工智能实验室）；Cornell University（康奈尔大学）
我们提出了第一个基于人类注释的对话的关系抽取（RE）数据集DialogRE，旨在支持预测出现在对话中的两个参数之间的关系。我们进一步提供DialogRE作为研究跨句子RE的平台，因为大多数事实跨越多个句子。我们认为，扬声器相关的信息起着至关重要的作用，在建议的任务，基于对话的和传统的RE任务之间的相似性和差异的分析。考虑到对话中通信的及时性，我们设计了一个新的度量标准来评估RE方法在对话环境中的性能，并研究了DialogRE上几种有代表性的RE方法的性能。实验结果表明，最佳性能模型的扬声器感知扩展导致收益的标准和会话评估设置。DialogRE可在https://dataset.org/dialogre/上获得。
2020-04-17 cs.CL
RAPS: A Novel Few-Shot Relation Extraction Pipeline with Query-Information Guided Attention and Adaptive Prototype Fusion
University of Science and Technology of China（中国科学技术大学）
Few-Shot关系抽取（FSRE）的目标是通过仅使用少量带注释的实例进行学习来识别不可见的关系。为了更有效地推广到新的关系，本文提出了一种新的管道FSRE任务的基础上查询信息引导的注意力和自适应原型fuSion，即RAPS。具体地说，RAPS首先通过查询信息引导的注意力模块，利用支持实例和查询实例之间丰富的交互信息，以获得更准确的初始原型表示的关系原型。然后，RAPS通过自适应原型融合机制将初始原型与相关信息进行融合，得到训练和预测的集成原型。在基准数据集FewRel 1.0上的实验表明，我们的方法对最先进的方法有显着的改进。
2022-11-08 cs.CL
ZS4IE: A toolkit for Zero-Shot Information Extraction with simple Verbalizations
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；Raytheon BBN Technologies（雷神BBN技术公司）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
信息抽取（IE）分析师的当前工作流程涉及感兴趣的实体/关系的定义和具有注释示例的训练语料库。在这个演示中，我们介绍了一个新的工作流程，分析师直接用语言表达的实体/关系，然后使用的文本蕴涵模型执行zero-shot IE。我们提出了一个工具包的设计和实现的用户界面，以及四个IE任务的实验表明，该系统实现了非常好的性能，在零样本学习，每种类型的用户的努力只有5- 15分钟。我们的演示系统在https://github.com/BBN-E/ZS4IE上开源。演示视频可在https://vimeo.com/676138340上获得。
2022-05-03 cs.CL
Title2Event: Benchmarking Open Event Extraction with a Large-scale Chinese Title Dataset
Tencent（腾讯）；HKUST（香港科技大学）；Tsinghua University（清华大学）；USTC（中国科学技术大学）
事件抽取对于后续的事件聚合、事件知识图谱构建等任务至关重要。大多数现有的EE数据集手动定义固定的事件类型，并为每个事件设计特定的模式，未能涵盖在线文本中出现的各种事件。此外，新闻标题作为事件提及的重要来源，在当前的EE研究中没有得到足够的重视。在本文中，我们提出了Title2Event，一个大规模的事件级数据集基准开放事件提取，而不限制事件类型。Title2Event包含从中文网页收集的34个主题的42，000多个新闻标题。据我们所知，它是目前最大的手动标注的中文开放事件提取数据集。通过对不同模型下的Title2Event进行实验，发现标题的特点使得事件抽取具有挑战性，并提出了进一步研究该问题的意义。数据集和基线代码可在https://open-event-hub.github.io/title2event上获得。
2022-11-02 cs.CL
Ontology-Driven Structural Regularization for Document-Level Relation Extraction
University of Padua（帕多瓦大学）
针对DocRE依赖人工标注、远程监督资源利用不足的问题，提出本体驱动框架强化结构一致性，减少逻辑矛盾，提升泛化性能，为利用大规模远程数据提供有效策略。
2026-08-24 cs.CL
ConstructCIE: A Dataset for Extracting Causal Information from Construction Accident Narratives
Texas A&M University（德克萨斯农工大学）
该研究构建了用于提取施工事故因果信息的ConstructCIE数据集，评估了相关模型的性能，发现模型在精确跨度提取上存在局限，需强化领域基础与证据提取。
2026-08-26 cs.CL
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Zhejiang University（浙江大学）；UCLA（加利福尼亚大学洛杉矶分校）
针对仅部分正类有标注的多标签正样本-未标记学习问题，提出结合强化学习探索能力与监督学习利用能力的MLPAC框架，在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
Towards Unsupervised Learning of Temporal Relations between Events
Sharif University of Technology（谢里夫理工大学）
事件对之间的时间关系的自动提取是诸如问答、信息抽取和摘要等自然语言处理应用的重要任务。由于大多数现有的方法都是有监督的，并且需要大量的语料库，而对于许多语言来说，这是不存在的，因此我们集中精力尽可能减少对注释数据的需求。本文提出了两种不同的算法实现这一目标。第一个算法是一个弱监督的机器学习方法，用于分类事件之间的时间关系。在第一阶段，该算法从标注的语料库中学习一个通用的分类器。然后，在“每一个篇章都有一种时间关系”的假设的启发下，从一组主题相关的文档中提取有用的信息。我们表明，通过结合这样一个集群的全局信息与一般分类器的局部决策，可以建立一个自举跨文档分类器来提取事件之间的时间关系。我们的实验表明，没有任何额外的注释数据，所提出的算法的准确性高于几个以前成功的系统。第二种提出的时态关系抽取方法是基于期望最大化（EM）算法。在EM中，我们使用了不同的技术，如贪婪的最佳优先搜索和整数线性规划的时间不一致性消除。我们认为，我们的EM算法的实验结果，作为第一步，完全无监督的时间关系抽取方法，是令人鼓舞的。
2014-01-23 cs.CL cs.LG
