FRACAS: A FRench Annotated Corpus of Attribution relations in newS
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；Sciences Po Grenoble（格勒诺布尔政治学院）；PACTE（公共政策管理与评估中心）
本文构建了包含1676篇法语新闻文本的FRACAS语料库，用于引语抽取与来源归属研究，并提供了标注规范、流程及高标注者间一致性结果。
2023-09-19 cs.CL
MDACE: MIMIC Documents Annotated with Code Evidence
M Health Information Systems（3M健康信息系统）；Carnegie Mellon University（卡内基梅隆大学）
本文提出MDACE，首个基于MIMIC-III并由专业编码员标注的公开医疗编码证据数据集，包含302份住院和52份Profee病历及近万条证据片段，并基于EffectiveCAN建立多种证据提取基线，用于评估CAC系统的证据提取能力与深度学习模型的可解释性。
2023-07-07 cs.CL
MACRONYM: A Large-Scale Dataset for Multilingual and Multi-Domain Acronym Extraction
University of Oregon（俄勒冈大学）；Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
首字母缩略词提取是识别文本中的首字母缩略词及其扩展形式的任务，这是各种NLP应用所必需的。尽管近年来这项任务取得了重大进展，但现有AE研究的一个局限性是它们仅限于英语和某些领域（即，科学和生物医学）。因此，AE在其他语言和领域的挑战主要是未探索的。缺乏多语言和多领域的注释数据集一直是阻碍该领域研究的主要问题。为了解决这个问题，我们提出了一个新的数据集多语言多领域AE。具体来说，27,200句话在6个类型不同的语言和2个领域，即，法律和科学，手动注释AE。我们在所提出的数据集上进行的大量实验表明，不同语言和不同学习环境下的AE具有独特的挑战，强调了进一步研究多语言和多领域AE的必要性。
2022-02-19 cs.CL
Design of Negative Sampling Strategies for Distantly Supervised Skill Extraction
Ghent University（根特大学）；imec（比利时微电子研究中心）
技能在就业市场和许多人力资源（HR）流程中发挥着核心作用。在其他数字体验之后，今天的在线就业市场让候选人希望根据他们的技能看到合适的机会。同样，企业越来越需要使用数据来保证其员工队伍中的技能能够适应未来。然而，关于技能的结构化信息往往缺失，建立在自我或管理者评估基础上的流程显示出难以解决所产生数据的采用、完整性和新鲜度等问题。提取技能是一项极具挑战性的任务，因为有成千上万的可能的技能标签被明确地提到或仅仅被隐含地描述，并且缺乏精细注释的训练语料库。以前的工作技能提取过于简化的任务，一个明确的实体检测任务或建立在手动注释的训练数据，将是不可行的，如果应用到一个完整的词汇表的技能。我们提出了一个端到端的技能提取系统，通过文字匹配的远程监督的基础上。我们提出并评估了几个负采样策略，调整一个小的验证数据集，以提高概括的技能提取隐含提到的技能，尽管缺乏这种隐含的技能，在远程监督的数据。我们观察到，使用RP5分类法从相关技能中选择负面示例会产生最大的改进，并且将三种不同的策略结合在一个模型中进一步提高了性能，在RP5中高达8个百分点。我们引入了一个手动注释的评估基准的技能提取的基础上，我们验证我们的模型。我们发布基准数据集用于研究目的，以刺激对该任务的进一步研究。
2022-09-13 cs.CL
SkillSpan: Hard and Soft Skill Extraction from English Job Postings
IT University of Copenhagen（哥本哈根信息技术大学）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
技能提取（SE）是一项重要且广泛研究的任务，有助于深入了解劳动力市场动态。然而，数据集和注释指南存在缺陷;可用的数据集很少，并且包含跨级别的众包标签或来自预定义技能清单的标签。为了解决这一差距，我们引入了SKILLSPAN，这是一个由14.5K句子和超过12.5K注释跨度组成的新型SE数据集。我们发布了由领域专家为硬技能和软技能注释的三个不同来源创建的相应指南。我们引入BERT基线（Devlin等人，2019年）。为了改进这一基线，我们用针对长跨度优化的语言模型进行实验（Joshi等人，2020; Beltagy等人，2020年），在招聘领域进行持续的预培训（Han和Eisenstein，2019年; Gururangan等人，多任务学习（Caruana，1997）。我们的研究结果表明，域适应模型显着优于他们的非适应同行，单任务优于多任务学习。
2022-04-27 cs.CL
LEMONADE: A Large Multilingual Expert-Annotated Abstractive Event Dataset for the Real World
Stanford University（斯坦福大学）；Northwestern University（西北大学）；ACLED
本文提出大规模多语言冲突事件数据集LEMONADE，并引入抽象事件抽取与实体链接任务，评估多种大语言模型及提出新型零样本系统ZEST，发现零样本方法虽优于现有基线但仍落后于监督系统。
2025-06-01 cs.CL
Extracting a bilingual semantic grammar from FrameNet-annotated corpora
University of Gothenburg（哥德堡大学）；University of Latvia（拉脱维亚大学）
我们提出了创建一个基于英语瑞典语的语法框架。本研究的目的是使现有的框架计算访问多语言自然语言应用程序通过一个共同的语义语法API，并促进移植到其他语言的语法。在本文中，我们描述了语义语法的抽象语法，同时专注于其自动提取的可能性。我们已经从Berkeley FrameNet（BFN）中的~ 58，500个注释句子和Swedish FrameNet（SweFN）中的~ 3，500个注释句子中提取了共享的抽象语法。抽象语法定义了769个帧特定的价模式，覆盖77.8%的BFN和74.9%的SweFN属于共享的471帧集的例子。作为一个侧面的结果，我们提供了一个统一的方法比较语义和句法价模式跨框架。
2014-04-08 cs.CL
Extraction and Analysis of Clinically Important Follow-up Recommendations in a Large Radiology Dataset
University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）
当影像学检查发现异常时，随访建议的沟通容易出错。在本文中，我们提出了一种基于深度学习的自然语言处理方法，以自动识别放射学报告中的临床重要建议。我们的方法首先确定的建议句子，然后提取的原因，测试，并确定的建议的时间范围。为了训练我们的提取模型，我们创建了一个包含567份放射学报告的语料库，其中标注了推荐信息。我们的抽取模型达到了0.92的推荐句，0.65的原因，0.73的测试，和0.84的时间框架的F-分数的F-分数的F-分数。我们将提取模型应用于一组超过330万份放射学报告，并分析了随访建议的遵守情况。
2019-05-14 cs.CL
Event Argument Extraction using Causal Knowledge Structures
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
事件参数提取是指从非结构化文本中提取感兴趣的特定事件的结构化信息的任务。现有的作品表现出穷人的能力，提取因果事件的论点，如原因和后效应。此外，大多数现有的作品在句子层面上模拟这一任务，将上下文限制在局部范围内。虽然它可能对短跨度的文本有效，但对于较长的文本（如新闻文章），经常观察到事件的参数不一定出现在包含事件触发器的同一个句子中。为了解决论点分散在句子中的问题，在这项任务中使用全局上下文变得至关重要。在我们的工作中，我们提出了一个外部知识辅助的方法来注入文档级的事件信息，以帮助提取复杂的事件参数。我们通过从ConceptNet和Wikipedia中提取相关的事件因果结构，为我们的事件注释数据集开发了一个因果网络。我们使用提取的事件因果特征的双向Transformer编码器，有效地捕捉长距离的句子间的依赖关系。我们报告的有效性，我们提出的方法，通过定性和定量分析。在这项任务中，我们建立了我们的研究结果的事件注释数据集在5种印度语言。该数据集通过标记实体类型（如时间，地点）以及更复杂的参数类型（如原因，After-Effect）的参数，进一步增加了任务的复杂性。我们的方法在所有五种语言中实现了最先进的性能。由于我们的工作不依赖于任何语言特定的功能，它可以很容易地扩展到其他语言。
2021-05-02 cs.CL
LSOIE: A Large-Scale Dataset for Supervised Open Information Extraction
Roboflow, Inc.（Roboflow公司）；Rosegold AI（玫瑰金人工智能）
开放式信息抽取（OIE）系统试图将句子的事实命题压缩成一系列n元元组。这些元组对于自然语言处理中的下游任务很有用，如知识库创建、文本蕴涵和自然语言理解。然而，目前OIE的数据集在规模和多样性方面都很有限。我们通过将QA-SRL 2.0数据集转换为大规模OIE数据集（LSOIE）来引入新的数据集。我们的LSOIE数据集比下一个最大的人类注释OIE数据集大20倍。我们构建和评估几个基准OIE模型LSOIE，为未来的改进任务提供基线。我们的LSOIE数据、模型和代码是公开的
2021-01-27 cs.AI cs.CL
An Annotated Commodity News Corpus for Event Extraction
Monash University（莫纳什大学）
商品新闻包含了丰富的信息，如最近的商品价格走势和导致运动的显着事件的摘要。通过事件抽取，从商品新闻中提取出有用的信息，挖掘事件与商品价格走势之间的因果关系，可以用于商品价格预测。为了方便今后的研究，我们引入了一个新的数据集，其中包含以下信息：（i）实体（包括命名和命名），（ii）事件（触发词和论元角色），（iii）事件元数据：模态、极性和强度，（iv）事件-事件关系。
2021-08-25 cs.CL
AxCell: Automatic Extraction of Results from Machine Learning Papers
Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））；n-waves；University College London (UCL)（伦敦大学学院（UCL））；DeepMind
随着最近论文数量的爆炸式增长，跟踪机器学习的进展变得越来越困难。在本文中，我们提出了AxCell，一个自动机器学习管道，用于从论文中提取结果。AxCell使用了几个新的组件，包括一个表格分割子任务，来学习有助于提取的相关结构知识。当与现有的方法相比，我们的方法显着提高了最先进的结果提取。我们还发布了一个结构化的、带注释的数据集，用于训练模型进行结果提取，以及一个用于评估模型在此任务上的性能的数据集。最后，我们展示了我们方法的可行性，使其能够用于生产中的半自动结果提取，这表明我们的改进首次使这项任务切实可行。代码可以在GitHub上找到。
2020-04-29 cs.CL stat.ML
MaterioMiner -- An ontology-based text mining dataset for extraction of process-structure-property entities
Fraunhofer Institute for Mechanics of Materials IWM（弗劳恩霍夫材料力学研究所）；IBM Research（IBM研究中心）
本文提出 MaterioMiner 数据集及关联材料力学本体，通过细粒度实体标注支持神经符号材料信息抽取、NER 训练与知识图谱构建。
2024-08-05 cond-mat.mtrl-sci cs.CL
CrudeOilNews: An Annotated Crude Oil News Corpus for Event Extraction
Monash University Malaysia Campus（莫纳什大学马来西亚校区）
在本文中，我们提出了原油新闻，英语原油新闻语料库的事件提取。这是Commodity News的第一个此类网站，有助于为经济和金融文本挖掘建立资源。本文描述了语料库的数据汇集过程、注释方法和事件类型学。首先，人工标注175篇新闻文章的种子集，其中25篇新闻的子集被用作注释者间和系统评估的裁定参考测试集。协议一般是实质性的和注释器的性能是足够的，这表明注释方案产生一致的事件注释的高质量。随后，通过（1）数据增强和（2）人在回路主动学习来扩展数据集。由此产生的语料库有425篇新闻文章，约11k事件注释。作为主动学习过程的一部分，语料库被用来训练基本的事件提取模型的机器标记，所产生的模型也作为一个验证或作为试点研究，展示了使用的语料库在机器学习的目的。注释的语料库可在https://github.com/meisin/CrudeOilNews-Corpus上用于学术研究目的。
2022-04-08 cs.CL
Class-Adaptive Self-Training for Relation Extraction with Incompletely Annotated Training Data
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
针对关系抽取中训练数据标注不完整导致的假阴性问题，提出类自适应重采样自训练框架，通过按精确率和召回率重采样各类伪标签提升性能，在相关数据集上优于现有方法。
2023-06-16 cs.CL
$\textit{BenchIE}^{FL}$ : A Manually Re-Annotated Fact-Based Open Information Extraction Benchmark
Université de Montréal（蒙特利尔大学）
针对现有OIE基准BenchIE的局限性，本文提出新基准$\ extit{BenchIE}^{FL}$，通过减少候选事实匹配中的错误与遗漏，更客观地评估OIE抽取器的实际性能。
2024-07-23 cs.CL
MobIE: A German Dataset for Named Entity Recognition, Entity Linking and Relation Extraction in the Mobility Domain
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
我们提出了MobIE，德语数据集，这是人类注释的20个粗粒度和细粒度的实体类型和实体链接信息的地理上不确定的实体。该数据集由3，232个社交媒体文本和91K令牌的交通报告组成，并包含20.5K注释实体，其中13.1K链接到知识库。数据集的一个子集是人类注释的七个移动性相关的，n元关系类型，而其余的文件是使用弱监督标记方法与Snorkel框架实现注释。据我们所知，这是第一个结合了NER，EL和RE注释的德语数据集，因此可以用于这些基本信息抽取任务的联合和多任务学习。我们在https://github.com/dfki-nlp/mobie上公开了Mobie。
2022-03-28 cs.CL
PubMedCausal: A Span-Level Annotated Corpus for Causal Relation Extraction in Biomedical Text
Edyah Limited（Edyah有限公司）；University of Ibadan（伊巴丹大学）；Indiana University（印第安纳大学）；Creighton University（克雷顿大学）
为解决现有资源将因果关系与广义关联混淆、限制句子级标注或仅关注显式因果线索的问题，构建了基于PubMed摘要的跨度级因果关抽取语料库PubMedCausal，包含30,000段落级行、3,945因果行和6,491个裁决的因果对，并基准测试了判别式编码器和开源生成模型。
2026-10-28 cs.CL
AMuRD: Annotated Arabic-English Receipt Dataset for Key Information Extraction and Classification
University of Innsbruck（因斯布鲁克大学）；DISCO AI（DISCO AI公司）
本文提出AMuRD，一个包含47,720个样本的多语言人工标注阿拉伯语-英语收据数据集，用于关键信息提取和物品分类，通过微调LLaMA模型在信息提取和分类任务上取得高达97.43%的F1分数和94.99%的准确率。
2024-03-26 cs.CL
A Novel Corpus of Annotated Medical Imaging Reports and Information Extraction Results Using BERT-based Language Models
University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）；Stanford University（斯坦福大学）
本文提出带标注医学影像报告语料库CAMIR，结合细粒度事件结构与概念归一化，并基于BERT架构探索mSpERT与增强的PL-Marker++方法进行事件信息抽取。
2024-03-27 cs.CL
A Privacy-Preserving Approach to Extraction of Personal Information through Automatic Annotation and Federated Learning
University of Ottawa（渥太华大学）；National Research Council Canada（加拿大国家研究委员会）
我们策划了WikiPII，这是一个自动标记的数据集，由维基百科传记页面组成，注释用于个人信息抽取。虽然自动标注可能会导致高度的标签噪声，但它是一个廉价的过程，并且可以生成大量的带注释文档。我们使用WikiPII训练了一个基于BERT的NER模型，并表明使用足够大的训练数据集，该模型可以显着降低手动信息抽取的成本，尽管标签噪声水平很高。在类似的方法中，组织可以利用文本挖掘技术从其历史数据中创建定制的注释数据集，而无需共享原始数据进行人工注释。此外，我们还探索了当注释有噪声时，通过联邦学习对NER模型进行协作训练。我们的研究结果表明，根据对ML操作员的信任程度和可用数据的数量，分布式训练可以是以保护隐私的方式训练个人信息标识符的有效方法。研究材料可在https://github.com/ratmcu/wikipiifed上查阅。
2021-05-19 cs.CL
Towards Accurate and Consistent Evaluation: A Dataset for Distantly-Supervised Relation Extraction
Alibaba Group（阿里巴巴集团）
近年来，通过使用深度神经网络，远程监督关系抽取取得了一定的成功。远程监督（DS）可以通过将知识库（KB）中的实体对对齐到句子来自动生成大规模的带注释数据。然而，这些DS生成的数据集不可避免地有错误的标签，导致在测试过程中不正确的评估分数，这可能会误导研究人员。为了解决这个问题，我们构建了一个新的数据集NYTH，其中我们使用DS生成的数据作为训练数据，并雇用注释器来标记测试数据。与以前的数据集相比，NYT-H具有更大的测试集，因此我们可以进行更准确和一致的评估。最后，我们给出了几个广泛使用的系统在NYT-H上的实验结果。实验结果表明，比较系统对DS标记的测试数据和人类注释的测试数据的排序列表是不同的。这表明，我们的人类注释的数据是必要的远程监督关系抽取的评估。
2020-10-30 cs.CL
Boosting Biomedical Concept Extraction by Rule-Based Data Augmentation
Université de Montréal（蒙特利尔大学）
本文针对生物医学概念抽取中标注数据稀缺的问题，提出利用基于规则的MetaMapLite系统从PubMed和PMC生成伪标注数据以增强训练集，并通过实验验证了该方法能有效提升概念抽取模型的性能。
2024-07-03 cs.CL
Extracting COVID-19 Diagnoses and Symptoms From Clinical Text: A New Annotated Corpus and Neural Event Extraction Framework
University of Washington（华盛顿大学）
2019冠状病毒病（COVID-19）是一种全球性大流行病。尽管自新型冠状病毒出现以来，人们已经对它有了很多了解，但在跟踪其传播、描述病原学、预测感染严重程度和预测医疗保健利用方面，仍有许多悬而未决的问题。自由文本临床笔记包含解决这些问题的关键信息。需要数据驱动的自动信息抽取模型来在大规模研究中使用这种文本编码的信息。这项工作提出了一个新的临床语料库，称为COVID-19注释临床文本（CACT）语料库，其中包括1，472个注释，详细注释了COVID-19诊断，测试和临床表现。我们引入了一个基于跨度的事件提取模型，该模型联合提取所有注释的现象，在识别具有相关断言值的COVID-19和症状事件方面实现了高性能（事件为0.83-0.97 F1，断言为0.73-0.79 F1）。在二次使用应用程序中，我们探索了使用结构化患者数据（例如生命体征和实验室结果）预测COVID-19检测结果，并自动提取症状信息。自动提取的症状提高了预测性能，不仅仅是结构化数据。
2021-03-10 cs.CL cs.LG
Exploiting Partially Annotated Data for Temporal Relation Extraction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
已知对用自然语言描述的事件之间的时间关系（TempRel）进行注释是劳动密集型的，部分原因是TempRel的总数是事件数量的二次。因此，通常只有少量的文档被注释，限制了各种词汇/语义现象的覆盖范围。为了改进现有的方法，一种可能性是利用现有的、部分附加说明的数据（P为部分），这些数据涵盖更多的文件。然而，P中缺少注释会损害而不是帮助现有系统。这项工作是一个案例研究，探索各种用途的P TempRel提取。结果表明，尽管缺少注释，P仍然是一个有用的监督信号，在约束自举学习框架内的这项任务。该系统中描述的系统是公开可用的。
2018-04-25 cs.CL cs.LG stat.ML
Rules still work for Open Information Extraction
Jiangxi University of Finance and Economics（江西财经大学）；University of Calgary（卡尔加里大学）
本文提出中文开放信息抽取模型APRCOIE，通过自主生成抽取模式并结合基于张量计算的过滤器，在人工标注的大规模数据集上显著超越现有最优中文OIE模型。
2024-12-27 cs.CL
A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events
DFKI GmbH（德国人工智能研究中心）
在个人旅行计划和供应链管理等领域，监控移动性和行业相关事件非常重要，但从异构的大容量文本流中提取与特定公司、运输路线和位置相关的事件仍然是一个重大挑战。这项工作描述了一个语料库的德语文档已被注释细粒度的地理实体，如街道，车站和路线，以及标准的命名实体类型。它还被注释了一组15个与交通和行业相关的n元关系和事件，如事故、交通堵塞、收购和罢工。该语料库包括新闻专线文本、Twitter消息以及来自广播电台、警察局和铁路公司的交通报告。它允许训练和评估两个命名实体识别算法，旨在细粒度的地理实体，以及n元关系抽取系统。
2020-04-07 cs.CL
Silver Syntax Pre-training for Cross-Domain Relation Extraction
IT University of Copenhagen（哥本哈根信息技术大学）；University of Turku（图尔库大学）；LMU Munich（慕尼黑大学）
本文针对跨域关系抽取数据标注成本高的问题，提出利用句法结构与语义的亲和性，通过高精度句法分析器自动获取最短依赖路径上的句法关系作为预训练数据，在无额外标注下于六种跨域设置中五种优于基线。
2023-05-18 cs.CL
A Scientific Information Extraction Dataset for Nature Inspired Engineering
Heriot-Watt University（赫瑞-瓦特大学）
大自然激发了从机器人到航空航天工程和医疗设备制造等应用领域的各种突破性技术发展。然而，获取科学生物学文本中捕获的信息是一项耗时且艰巨的任务，需要特定领域的知识。改善外部人员的访问可以帮助跨学科研究，如自然启发工程。本文描述了一个由1,500个手动注释的句子组成的数据集，这些句子表达了科学生物学文本中中心概念之间的领域独立关系，例如权衡和相关性。这些关系的参数可以是多词表达式，并且已经用修饰短语注释以形成非投影图。该数据集允许训练和评估关系抽取算法，该算法旨在对科学生物学文档进行粗粒度分类，从而为工程师提供高级别过滤器。
2020-05-26 cs.CL
AutoSpecNER: A Fine-Grained Named Entity Recognition Dataset for Vehicle Specification Extraction
Department of Computing and Mathematics, Manchester Metropolitan University（曼彻斯特城市大学计算与数学系）；Autotrader Research Group, Autotrader UK（英国Autotrader研究组）
提出AutoSpecNER数据集，包含659条汽车广告和15类超过1万个实体，基于DeBERTa的模型达到90%微平均F1分数，优于规则方法和大型语言模型。
2026-11-03 cs.CL
A Corpus Study and Annotation Schema for Named Entity Recognition and Relation Extraction of Business Products
DFKI GmbH（德国人工智能研究中心）
识别新闻和论坛文本中的非标准实体类型和关系，例如B2B产品，产品类别及其生产商，在供应链监控和市场研究等应用领域非常重要。然而，在这一领域中缺乏注释语料库和注释指南。在这项工作中，我们提出了一个语料库的研究，注释模式和相关的准则，产品实体和公司产品关系提到的注释。我们发现，虽然产品提及往往是实现为名词短语，定义其确切的程度是困难的，由于高边界歧义和广泛的句法和语义变化的表面实现。我们还描述了我们正在进行的注释工作，并提出了一个初步的语料库的英语网络和社交媒体文件注释根据建议的指导方针。
2020-04-07 cs.CL
On the Effects of Low-Quality Training Data on Information Extraction from Clinical Reports
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（意大利国家研究委员会信息科学与技术研究所）；Qatar Computing Research Institute, Qatar Foundation（卡塔尔基金会卡塔尔计算研究所）；Consiglio Nazionale delle Ricerche（意大利国家研究委员会）
在过去的五年中，已经有一系列关于从临床文档中信息抽取的工作，即，该算法能够从日常临床实践中产生的非正式和非结构化文本中提取与此类实践相关的概念。这些文献中的大多数是关于基于监督学习的方法，即，用于从手动注释的示例训练信息抽取系统的方法。虽然人们已经做了大量工作来设计生成越来越准确的信息提取器的学习方法，但还没有研究过训练数据质量对学习过程的影响。训练数据的低质量通常源于这样一个事实，即注释数据的人与必须根据其判断来评估自动注释数据的人不同。在本文中，我们测试的影响，这些数据质量问题的准确性信息抽取系统应用于临床领域。我们通过比较从由权威编码器注释的训练数据导出的准确度（即，也注释了测试数据并且我们必须遵守其判断的人），其准确度来自由不同编码器注释的训练数据。结果表明，虽然两个编码器之间的分歧（如在训练集上测量的）是实质性的，但差异（令人惊讶的是）并不总是统计学上显著的。
2015-03-04 cs.CL cs.IR cs.LG
Zero-Shot Cross-Lingual Opinion Target Extraction
Semalytix GmbH（Semalytix有限公司）；Bielefeld University（比勒费尔德大学）
基于情感的情感分析涉及对所谓的意见目标表达（OTE）的识别。为了自动提取OTE，通常采用监督学习算法，该算法在手动标注的语料库上进行训练。这些语料库的创建是劳动密集型的，因此足够大的数据集通常只适用于非常有限的语言和领域。在这项工作中，我们提出了一个zero-shot跨语言的意见目标表达的提取方法，以解决缺乏可用的注释数据的特定语言。我们利用跨各种语言共享公共向量空间的多语言词嵌入，并将其纳入卷积神经网络架构中以进行OTE提取。我们对5种语言的实验给出了有希望的结果：我们可以成功地在源语言的注释数据上训练模型，并在目标语言中不使用任何注释样本的情况下对目标语言进行准确的预测。根据源语言和目标语言对的不同，我们在zero-shot模式下的性能达到了目标语言数据训练模型的77%。此外，通过从多个源语言进行跨语言学习，我们可以将这种性能提高到目标语言数据训练的基线模型的87%。
2019-04-19 cs.CL cs.LG
DocIE@XLLM25: In-Context Learning for Information Extraction using Fully Synthetic Demonstrations
ScaDS.AI & TU Dresden（ScaDS.AI与德累斯顿技术大学）
本文提出一种全自动流水线，结合合成数据生成与检索式上下文学习，在零样本下进行文档级实体和关系抽取，并构建了5k篇摘要、59k实体和30k三元组的合成数据集，实验表明该任务仍具挑战性。
2025-07-08 cs.CL
A Unified Framework of Medical Information Annotation and Extraction for Chinese Clinical Text
HwaMei Hospital, University of Chinese Academy of Sciences（中国科学院大学华美医院）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）
医学信息抽取由一组自然语言处理（NLP）任务组成，这些任务协作地将临床文本转换为预定义的结构化格式。当前最先进的（SOTA）NLP模型与深度学习技术高度集成，因此需要大量带注释的语言数据。本研究提出了一个医学实体识别、关系抽取和属性抽取的工程框架，在标注、建模和评价上实现了统一。具体而言，注释方案是全面的，并且在任务之间是兼容的，特别是对于医疗关系。最终的标注语料库包括1,200份完整的病历（或18,039份分解文档），三个任务的标注者间一致性（IAAs）分别达到94.53%，73.73%和91.98%F1分数。三个任务特定的神经网络模型是在一个共享的结构中开发的，并通过SOTA NLP技术增强，即，预训练的语言模型。实验结果表明，该系统能准确地检索出医学实体、关系和属性，其F1得分分别为93.47%、67.14%和90.89%。本研究，除了我们公开发布的注释方案和代码，提供了坚实的和实际的工程经验，开发一个集成的医疗信息抽取系统。
2022-03-08 cs.CL
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
Challenges in Expanding Portuguese Resources: A View from Open Information Extraction
Federal University of Bahia（巴伊亚联邦大学）；Institute of Computing, Universidade Federal Fluminense（弗鲁米嫩塞联邦大学计算研究所）
本文构建了高质量葡萄牙语开放信息抽取人工标注语料库，提出标注规则并验证系统性能，填补了该语言数据集空白。
2025-01-21 cs.CL
Multilingual Open Relation Extraction Using Cross-lingual Projection
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）
开放域关系抽取系统识别句子中的关系和论元短语，而不依赖于任何底层模式。然而，目前国家的最先进的关系抽取系统只适用于英语，因为他们严重依赖于语言工具，如词性标注和依存关系解析器。提出了一种跨语言标注投影的语言无关关系抽取方法。我们评估我们的方法手动注释的测试集和目前的结果在三个类型不同的语言。我们从维基百科发布了这些手动注释和61种语言的关系。
2021-04-14 cs.CL
Benchingmaking Large Langage Models in Biomedical Triple Extraction
University of Minnesota Twin Cities（明尼苏达大学双城分校）
针对生物医学三元组抽取领域LLM应用探索不足及缺乏高质量数据集的问题，本文比较了多种LLM的性能，并提出了涵盖更广泛关系类型的专家标注数据集GIT。
2024-04-27 cs.CL
MedJEx: A Medical Jargon Extraction Model with Wiki's Hyperlink Span and Contextualized Masked Language Model Score
UMass Amherst（马萨诸塞大学阿默斯特分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）；UMass Medical School（马萨诸塞大学医学院）；U.S. Department of Veterans Affairs（美国退伍军人事务部）
本文提出了一种新的自然语言处理（NLP）的应用程序，用于识别医疗行话术语可能难以理解的病人从电子健康记录（EHR）的笔记。我们首先提出了一个新的和公开可用的数据集，专家注释的医疗行话术语从18K+ EHR笔记句子（$MedJ$）。然后，我们介绍了一种新的医学行话提取（$MedJEx$）模型，已被证明优于现有的国家的最先进的NLP模型。首先，MedJEx在辅助维基百科超链接跨度数据集上进行训练时提高了整体性能，其中超链接跨度提供额外的维基百科文章来解释跨度（或术语），然后在注释的MedJ数据上进行微调。其次，我们发现，一个语境化的掩蔽语言模型分数是有益的检测特定领域的不熟悉的行话。此外，我们的研究结果表明，辅助维基百科超链接跨度数据集上的训练提高了八个生物医学命名实体识别基准数据集中的六个。MedJ和MedJEx都是公开的。
2022-10-12 cs.CL
Impact of translation on biomedical information extraction from real-life clinical notes
IPLESP；Shanghai Jiaotong University（上海交通大学）；Hôpital Saint-Antoine（圣安托万医院）；Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；Université Sorbonne Paris Nord（巴黎第十三大学（索邦巴黎北大学））；LIMICS（LIMICS（医学信息学与健康工程实验室））
研究比较原生法语模型与先翻译再用英语工具进行临床概念提取和规范化的方案，发现原生法语方法 f1 显著更高。
2023-06-03 cs.CL
Scientific Information Extraction with Semi-supervised Neural Tagging
University of Washington（华盛顿大学）
本文讨论了从科学文章中提取关键词并将其分类为对应于任务，过程或材料的问题。我们把问题转化为序列标记，并将半监督方法引入神经标记模型，该模型建立在命名实体识别的最新进展基础上。由于注释的训练数据是稀缺的，在这个领域，我们引入了一个基于图的半监督算法与数据选择方案，以利用未注释的文章。在2017年SemEval任务10 ScienceIE任务中，归纳和转导半监督学习策略的表现优于最先进的信息抽取性能。
2017-08-21 cs.CL
Malaysian English News Decoded: A Linguistic Resource for Named Entity and Relation Extraction
针对马来西亚英语与标准英语的差异导致NLP任务困难的问题，构建了包含200篇新闻的MEN数据集，手动标注实体和关系，并通过微调spaCy NER工具验证了定制数据集能显著提升NER性能。
2026-05-30 cs.CL
HumSet: Dataset of Multilingual Information Extraction and Classification for Humanitarian Crisis Response
Data Friendly Space（数据友好空间）；ToggleCorp Solutions（ToggleCorp解决方案公司）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
及时有效地应对人道主义危机需要对大量文本数据进行快速准确的分析-这一过程可以从专家辅助的NLP系统中受益匪浅，这些系统在人道主义响应领域经过验证和注释的数据培训。为了创建这样的NLP系统，我们引入并发布了HumSet，这是一个由人道主义响应社区专家注释的新颖而丰富的多语言人道主义响应文档数据集。该数据集提供三种语言（英语，法语，西班牙语）的文件，涵盖2018年至2021年全球各种人道主义危机。对于每一份文件，HUMSET提供了选定的片段（条目），并为每个条目指定了类别，使用共同的人道主义信息分析框架进行了注释。HUMSET还提供新颖且具有挑战性的条目提取和多标签条目分类任务。在本文中，我们迈出了接近这些任务的第一步，并进行了一组实验的预训练语言模型（PLM），建立强大的基线，为未来的研究在这一领域。该数据集可在https://blog.thedeep.io/humset/上获得。
2022-11-06 cs.CL cs.LG
DocRED: A Large-Scale Document-Level Relation Extraction Dataset
Tsinghua University（清华大学）；Tencent Inc.（腾讯公司）
文档中的多个实体通常表现出复杂的句间关系，并且不能被现有的关系抽取（RE）方法很好地处理，现有的RE方法通常集中于为单个实体对提取句内关系。为了加速文档级RE的研究，本文引入了一个基于Wikipedia和Wikidata构建的新数据集DocRED，它具有以下三个特点：（1）DocRED同时标注命名实体和关系，是目前最大的人工标注的纯文本文档级RE数据集;（2）DocRED需要阅读文档中的多个句子，通过综合文档的所有信息来提取实体并推断它们的关系;（3）除了人工标注的数据，我们还提供了大规模的远程监督数据，这使得DocRED可以用于监督和弱监督场景。为了验证文档级RE的挑战，我们实现了最近的国家的最先进的RE方法，并对DocRED这些方法进行了彻底的评估。实证结果表明，DocRED是现有的RE方法的挑战，这表明，文档级RE仍然是一个开放的问题，需要进一步的努力。在对实验结果进行详细分析的基础上，我们讨论了未来研究的多个有前途的方向。
2019-08-09 cs.CL
Event-based clinical findings extraction from radiology reports with pre-trained language model
University of Washington（华盛顿大学）
放射学报告包含放射科医生在解读图像期间记录的各种丰富的临床异常。放射学发现的综合语义表示将使广泛的二次使用应用程序能够支持诊断、分诊、结果预测和临床研究。在本文中，我们提出了一个新的语料库的放射学报告注释的临床发现。我们的注释模式捕获了在成像（“病变”）和其他类型的临床问题（“医学问题”）上可观察到的病理发现的详细表示。该模式使用基于事件的表示来捕获细粒度的细节，包括断言，解剖结构，特征，大小，计数等。我们的黄金标准语料库包含总共500个注释的计算机断层扫描（CT）报告。我们使用两种最先进的深度学习架构提取触发器和参数实体，包括BERT。然后，我们预测触发器和参数实体（称为参数角色）之间的联系，使用基于BERT的关系抽取模型。我们使用在我们机构的300万份放射学报告上预训练的BERT模型实现了最佳提取性能：90.9%-93.4%F1用于寻找触发器72.0%-85.6%F1用于参数角色。为了评估模型的可推广性，我们使用了从MIMIC胸部X射线（MIMIC-CXR）数据库中随机抽样的外部验证集。该验证集的提取性能为95.6%，用于寻找触发器，79.1%-89.7%用于参数角色，表明该模型适用于不同成像模式的跨机构数据。我们从MIMIC-CXR数据库中的所有放射学报告中提取发现事件，并将提取结果提供给研究团体。
2021-12-27 cs.CL
Building a Corpus for Biomedical Relation Extraction of Species Mentions
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本研究构建了聚焦肠道微生物组的物种间二元关系人工标注语料库Species-Species Interaction，经评估不同NER物种标注器后采用PubTator标注全文物种，用BERT及生物医学变体抽取关系的初步结果良好。
2023-06-14 cs.CL
Task formulation for Extracting Social Determinants of Health from Clinical Narratives
目的：2022年n2c2 NLP挑战赛提出了在临床叙述中识别健康的社会决定因素（SDOH）。我们提出了三个系统，我们开发的挑战，并讨论了独特的任务制定中使用的三个系统。材料和方法：第一个系统使用机器学习分类器独立地识别目标信息片段。第二个系统使用一个大语言模型（LLM），以提取完整的结构化输出每个文档。第三个系统使用机器学习提取候选短语，并使用手工制作的规则识别目标关系。结果如下：这三个系统在挑战赛的子任务A中获得了0.884、0.831和0.663的F1分数，在15支参赛队伍中分别排名第三、第七和第八。从我们的系统的提取结果的审查揭示了每种方法和SODH提取任务的特点。讨论：任务中标注的短语和关系是独特的和多样的，不符合常规的事件提取任务。这些注释难以用有限的训练数据建模。独立提取信息的系统，忽略注释关系，达到最高的F1分数。同时，LLM以其通用的能力实现了较高的F1分数，同时尊重注释关系。基于规则的系统处理关系抽取获得了较低的F1分数，但它是最可解释的方法。结论：三个系统的F1分数在这个挑战设置中有所不同，但每种方法在实际应用中都有优点和缺点。方法的选择不仅取决于F1分数，还取决于应用中的要求。
2023-01-26 cs.CL
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，随着词的连续表示（词嵌入）和深层神经网络结构的发展，关系抽取领域的研究成果不断涌现，大量的论文已经难以统计。为了帮助未来的研究，我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取，这些网络在公开可用的数据集上实现了最先进的性能。在本调查中，我们涵盖了文档级关系提取，基于管道的方法联合提取方法，注释数据集，远程监督数据集以及一些最近的研究方向，如zero-shot或Few-Shot关系抽取，远程监督数据集的噪声缓解。关于神经架构，我们在本调查中涵盖了卷积模型，递归网络模型，注意力网络模型和图卷积模型。
2021-03-31 cs.CL
CREER: A Large-Scale Corpus for Relation Extraction and Entity Recognition
National Cheng Kung University（国立成功大学）
我们描述了CREER数据集的设计和使用，一个大型语料库注释丰富的英语语法和语义属性。CREER数据集使用Stanford CoreNLP Annotator从维基百科纯文本中捕获丰富的语言结构。该数据集遵循广泛使用的语言和语义注释，因此它不仅可用于大多数自然语言处理任务，还可扩展数据集。这个大型监督数据集可以作为未来提高NLP任务性能的基础。我们通过以下链接公布数据集：https://140.116.82.111/share.cgi? ssid=000dOJ4
2022-06-09 cs.CL
Tale of tails using rule augmented sequence labeling for event extraction
IIT Bombay（印度理工学院孟买分校）
事件提取的问题是一个相对困难的任务，低资源的语言，由于没有足够的注释数据。此外，任务变得复杂的尾部（很少出现）标签，其中非常少的数据是可用的。在本文中，我们提出了一个新的数据集（InDEE-2019）在灾难领域的多种印度语言，从新闻网站收集。使用这个数据集，我们评估了几种基于规则的机制来增强基于深度学习的模型。我们制定我们的问题，事件提取作为一个序列标签的任务，并进行了广泛的实验，研究和了解不同的方法的有效性。我们进一步表明，尾部标签可以很容易地通过创建新的规则，而不需要大的注释数据。
2020-01-31 cs.CL cs.IR cs.LG
Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
学习事件之间的因果关系和时间关系是深入了解故事和常识的重要一步。虽然有丰富的数据集与事件关系的故事理解，许多没有经验的结果与他们相关联。在这项工作中，我们建立了强大的基线事件的时间关系抽取两个欠开发的故事叙事数据集：丰富的事件描述（RED）和因果和时间关系计划（CaTeRS）。据我们所知，这是在这两个数据集上报告的第一个结果。我们证明了基于神经网络的模型可以优于一些强大的传统的基于语言特征的模型。我们还进行了比较研究，以显示的贡献，采用语境化的词嵌入（BERT）的事件时间关系抽取的故事。提供详细的分析，以更好地了解结果。
2019-04-26 cs.CL
Emotion-Cause Pair Extraction: A New Task to Emotion Analysis in Texts
Nanjing University of Science and Technology（南京理工大学）
情感原因提取是一项旨在从文本中提取情感背后潜在原因的任务，由于其广泛的应用，近年来受到了广泛的关注。然而，该方法存在两个不足：1）在ECE中提取原因之前必须先对情感进行标注，这极大地限制了其在现实场景中的应用; 2）先标注情感再提取原因的方法忽略了情感和原因是相互指示的事实。在这项工作中，我们提出了一个新的任务：情绪-原因对提取（ECPE），其目的是提取潜在的情绪和相应的原因在一个文件。我们提出了一个两步的方法来解决这个新的ECPE任务，首先通过多任务学习执行个人情感提取和原因提取，然后进行情感-原因配对和过滤。在一个基准情感原因语料库上的实验结果证明了ECPE任务的可行性以及该方法的有效性。
2019-06-04 cs.CL
NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods
Telfer School of Management, University of Ottawa（渥太华大学泰尔弗管理学院）
本文综述了自动化过程提取领域，指出ML/DL方法正越来越多地用于NLP组件且优于经典规则方法，但缺乏黄金标准标注数据集阻碍了客观评估与模型训练，并探讨了LLM在该领域的初步应用与发展前景。
2024-09-10 cs.CL
