Extracting COVID-19 Diagnoses and Symptoms From Clinical Text: A New Annotated Corpus and Neural Event Extraction Framework
University of Washington(华盛顿大学)
2019冠状病毒病(COVID-19)是一种全球性大流行病。尽管自新型冠状病毒出现以来,人们已经对它有了很多了解,但在跟踪其传播、描述病原学、预测感染严重程度和预测医疗保健利用方面,仍有许多悬而未决的问题。自由文本临床笔记包含解决这些问题的关键信息。需要数据驱动的自动信息抽取模型来在大规模研究中使用这种文本编码的信息。这项工作提出了一个新的临床语料库,称为COVID-19注释临床文本(CACT)语料库,其中包括1,472个注释,详细注释了COVID-19诊断,测试和临床表现。我们引入了一个基于跨度的事件提取模型,该模型联合提取所有注释的现象,在识别具有相关断言值的COVID-19和症状事件方面实现了高性能(事件为0.83-0.97 F1,断言为0.73-0.79 F1)。在二次使用应用程序中,我们探索了使用结构化患者数据(例如生命体征和实验室结果)预测COVID-19检测结果,并自动提取症状信息。自动提取的症状提高了预测性能,不仅仅是结构化数据。
2021-03-10 cs.CL cs.LG
Annotating Social Determinants of Health Using Active Learning, and Characterizing Determinants Using Neural Event Extraction
University of Washington(华盛顿大学)
健康的社会决定因素(SDOH)影响健康结果,SDOH的知识可以为临床决策提供信息。从临床文本中自动提取SDOH信息需要在注释语料库上训练的数据驱动的信息抽取模型,这些语料库是异构的并且经常包括关键SDOH。这项工作提出了一个新的语料库与SDOH注释,一个新的主动学习框架,并在新的语料库的第一个提取结果。社会历史注释语料库(SHAC)包括4,480个社会历史部分,详细注释了12个SDOH,描述了18 K个不同事件的状态,程度和时间信息。我们介绍了一种新的主动学习框架,选择样本的注释使用代理文本分类任务作为一个更复杂的事件提取任务的代理。主动学习框架成功地增加了健康风险因素的频率,并在无向注释上改进了这些事件的自动提取。在SHAC上训练的事件提取模型在来自三个机构的数据上实现了物质使用状态(0.82-0.93 F1)、就业状态(0.81-0.86 F1)和生活状态类型(0.81-0.93 F1)的高提取性能。
2020-12-02 cs.CL cs.LG
Clinical Temporal Relation Extraction with Probabilistic Soft Logic Regularization and Global Inference
University of California, Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学)
医学界一直需要精确地提取临床事件之间的时间关系。具体地,时间信息可以促进各种下游应用,诸如病例报告检索和医学问答。现有的方法要么需要昂贵的功能工程或无法建模的全局关系的事件之间的依赖关系。在本文中,我们提出了一种新的方法,临床时间关系提取与概率软逻辑正则化和全局推理(CTRL-PG)来解决这个问题的文件级别。在两个基准数据集I2 B2 -2012和TB-Dense上的大量实验表明,CTRL-PG在时间关系抽取方面明显优于基线方法。
2020-12-16 cs.CL cs.LG
Self-Verification Improves Few-Shot Clinical Information Extraction
Microsoft Research(微软研究院)
本文提出自验证框架,利用LLM自我检查提取结果,提升少样本临床信息提取的准确性和可解释性,并发布代码与提示以促进研究。
2023-05-30 cs.CL cs.LG
Relation extraction between the clinical entities based on the shortest dependency path based LSTM
Indian Institute of Technology Patna(印度理工学院巴特那分校);ezDI, INC(ezDI公司)
随着电子病历数量的迅速增长,电子病历领域的信息抽取成为近年来的一个重要研究领域。医学问题、治疗、检验等医学概念之间的关系抽取也是该领域的重要任务之一。在本文中,我们提出了一个有效的关系抽取系统的基础上产生的最短依赖路径(SDP)的依赖分析树的句子。我们的系统不依赖于许多手工制作的特征和句子中存在的整个令牌序列,而是仅依赖于目标实体之间的SDP。对于每一对实体,系统只将SDP中的单词、它们的依赖标签、词性信息和实体的类型作为输入。我们开发了一个依赖分析器,用于提取依赖信息。我们在基准i2b2数据集上进行实验,用于临床关系抽取挑战2010。实验结果表明,我们的系统优于现有的系统。
2019-03-24 cs.CL cs.LG
Clinical Trial Information Extraction with BERT
Data Science and AI, Novartis(诺华数据科学与人工智能部门);Global Drug Development, Novartis Pharma AG(诺华制药全球药物开发部)
临床试验文件的自然语言处理(NLP)在新的试验设计中可能很有用。在这里,我们确定相关的临床试验设计的实体类型,并提出了一个框架,称为CT-BERT从临床试验文本的信息提取。我们训练命名实体识别(NER)模型,通过微调一组预先训练好的BERT模型来提取合格标准实体。然后,我们将CT-BERT的性能与最近的基线方法进行了比较,包括基于注意力的BiLSTM和Criteria 2 Query。结果证明了CT-BERT在临床试验NLP中的优越性。
2021-09-11 cs.CL cs.LG q-bio.QM
Clinical Relation Extraction Using Transformer-based Models
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
新出现的Transformer技术对自然语言处理研究产生了巨大的影响。在一般的英语领域,基于transformer的模型在各种NLP基准测试中取得了最先进的性能。在临床领域,研究人员还研究了用于临床应用的Transformer模型。本研究的目标是系统地探索三种广泛使用的基于变压器的模型(即,BERT、RoBERTa和XLNet)进行临床关系抽取,并开发具有临床预训练的基于转换器的模型的开源包,以促进临床领域中的信息抽取。我们开发了一系列基于三种Transformer架构的临床RE模型,即BERT、RoBERTa和XLNet。我们使用来自2018年MADE 1.0和2018年n2 c2挑战的2个公开数据集评估了这些模型。我们比较了两种分类策略(二进制与多类分类),并研究了两种方法来生成候选关系,在不同的实验设置。在这项研究中,我们比较了三个基于转换器(BERT,RoBERTa和XLNet)的关系抽取模型。我们证明了RoBERTA-临床RE模型在2018年MADE 1.0数据集上实现了最佳性能,F1得分为0.8958。在2018年的n2 c2数据集中,XLNet临床模型获得了最佳F1评分0.9610。我们的研究结果表明,二元分类策略始终优于临床关系抽取的多类分类策略。我们的方法和模型可在https://github.com/uf-hobi-informatics-lab/Clinica…
2021-08-16 cs.CL cs.IR cs.LG
Clinical Information Extraction via Convolutional Neural Network
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
我们报告了一个临床信息抽取工具的实现,该工具利用深度神经网络从原始临床笔记和病理报告中注释事件跨度及其属性。我们的方法使用上下文单词和他们的词性标签和形状信息作为特征。然后,我们雇用时间(1D)卷积神经网络来学习隐藏的特征表示。最后,我们使用多层感知器(MLP)来预测事件跨度。实证评估表明,我们的方法显着优于基线。
2016-03-30 cs.CL cs.LG cs.NE
Clinical Concept Extraction with Contextual Word Embedding
Boston University(波士顿大学);Philips Research North America(飞利浦北美研究院)
临床概念的自动提取是将临床笔记中的非结构化数据转化为结构化和可操作信息的重要步骤。在这项工作中,我们提出了一个临床概念提取模型的自动注释的临床问题,治疗和测试的临床笔记,利用特定领域的上下文词嵌入。首先在具有临床领域中的临床报告和相关维基百科页面的混合物的语料库上训练上下文词嵌入模型。接下来,使用上下文词嵌入模型训练双向LSTM-CRF模型用于临床概念提取。我们在I2 B2 2010挑战数据集上测试了我们提出的模型。我们提出的模型在报告的基线模型中取得了最好的性能,在F1得分方面比最先进的模型高出3.4%。
2018-11-26 cs.CL
Weakly- and Semi-supervised Evidence Extraction
Carnegie Mellon University(卡内基梅隆大学)
对于许多预测任务,利益相关者不仅需要预测,还需要支持人类可以用来验证其正确性的证据。然而,在实践中,标记支持证据的附加注释可能仅可用于少数训练样本(如果有的话)。在本文中,我们提出了新的方法,结合少量的证据注释(强半监督)与丰富的文档级标签(弱监督)的证据提取任务。评估两个分类任务的特点证据注释,我们发现,我们的方法优于基线适应我们的任务的可解释性文献。我们的方法产生了巨大的收益,只有几百个证据注释。用于复制我们工作的代码和数据集可在https://github.com/danishpruthi/evidence-extraction上获得。
2020-11-03 cs.CL cs.LG
The Impact of Automatic Pre-annotation in Clinical Note Data Element Extraction - the CLEAN Tool
University of California San Diego(加州大学圣地亚哥分校)
Objective.注释是昂贵的,但对于临床笔记审查和临床自然语言处理(cNLP)是必不可少的。然而,计算机生成的预注释在多大程度上有利于人类注释仍然是一个悬而未决的问题。我们的研究介绍了CLEAN(CLinical note rEview and ANnotation),这是一种基于预注释的cNLP注释系统,用于改进数据元素的临床笔记注释,并将CLEAN与广泛使用的注释系统Brat Rapid Annotation Tool(BRAT)进行了全面比较。材料和方法。CLEAN包括一个集成管道(CLEAN-EP)和新开发的注释工具(CLEAN-AT)。一位领域专家和一位新手用户/注释者参与了一项比较可用性测试,在84份公共笔记中标记了87个与充血性心力衰竭(CHF)和川崎病(KD)队列相关的数据元素。结果CLEAN的音符水平F1得分(0.896)高于BRAT(0.820),在正确性上有显著差异(P值< 0.001),最相关的因素是系统/软件(P值< 0.001)。CLEAN(7.262分钟/注)和BRAT(8.286分钟/注)之间的注释时间无显著差异(P值0.188)。差异主要与注释长度(P值< 0.001)和系统/软件(P值0.013)相关。专家报告CLEAN有用/令人满意,而新手报告略有改进。讨论CLEAN提高了注释的正确性,并在相同的效率水平下提高了有用性/满意度。局限性包括预…
2018-08-11 cs.CL
Robust Benchmarking for Machine Learning of Clinical Entity Extraction
Massachusetts Institute of Technology(麻省理工学院);Massachusetts General Hospital(麻省总医院)
临床研究通常需要理解仅存在于自由文本临床笔记中的患者叙述的元素。为了将注释转换为结构化数据以供下游使用,通常提取这些元素并将其规范化为医学词汇表。在这项工作中,我们审计的性能,并指出国家的最先进的系统的改进领域。我们发现,2019年n2c2共享任务中临床实体标准化系统的高任务准确性具有误导性,并且潜在性能仍然脆弱。对于常见概念,归一化准确率很高(95.3%),但对于训练数据中看不到的概念,归一化准确率要低得多(69.3%)。我们证明,目前的方法是阻碍部分医学词汇的不一致,现有的标签模式的限制,和狭窄的评估技术。我们重新制定了临床实体提取的注释框架,以考虑这些问题,从而实现强大的端到端系统基准测试。我们从我们的新框架之间的两个注释器的注释一致性进行评估,并实现了0.73的Jaccard相似性实体识别和0.83的协议实体规范化。我们提出了一条前进的道路,以解决证明需要创建一个参考标准,以刺激实体识别和规范化的方法开发。
2020-07-31 cs.CL cs.LG
TimeTox: An LLM-Based Pipeline for Automated Extraction of Time Toxicity from Clinical Trial Protocols
TimeTox通过Gemini模型三阶段提取临床试验协议中的时间毒性,验证了两阶段流程在真实数据中的高稳定性和准确性,展示了LLM在医疗领域应用的潜力。
2026-03-24 cs.CL cs.LG
Building a comprehensive syntactic and semantic corpus of Chinese clinical texts
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);Ricoh Software Research Center (Beijing)(理光软件研究所(北京));School of Software, Harbin University of Science and Technology(哈尔滨理工大学软件学院);Medical Records Room, the Second Affiliated Hospital of Harbin Medical University(哈尔滨医科大学附属第二医院病案室)
目的:建立一个涵盖中文临床文本句法和语义标注的综合语料库,提供相应的标注指南和方法,并开发基于标注语料库的标注工具,为临床领域中文文本的研究提供基线。材料与方法:提出一种迭代标注方法,用于训练标注人员和制定标注指南。然后,通过使用标注质量保证措施,建立了一个全面的语料库,包括词性标注、句法标注、实体标注、断言标注和关系标注。以标注者间一致性(IAA)评价标注质量,并在此基础上开发了中文临床文本处理与信息抽取系统(CCTPIES)。结果如下:句法语料库包括138篇中文临床文档,包含47,424个标记和2553个完整的解析树;语义语料库包括992篇文档,标注了39,511个实体及其断言和7695个关系。IAA评价表明,该综合语料库质量良好,系统模块有效。讨论内容:标注语料库为临床领域中文文本的自然语言处理研究做出了重要贡献。然而,这个语料库有一些局限性。应引入一些额外类型的临床文本以提高语料库覆盖率,并应利用主动学习方法来提高标注效率。结论:本研究提出了临床中文文本的标注原则和标注方法,并构建了一个包含NLP模块的综合语料库,为进一步研究NLP技术在临床中文文本中的应用奠定了基础。
2016-11-08 cs.CL
Bidirectional LSTM-CRF for Clinical Concept Extraction
University of Sydney(悉尼大学);Capital Markets CRC(资本市场合作研究中心);University of Technology Sydney(悉尼科技大学)
从患者临床记录中自动提取概念是临床研究的重要促进因素。出于这个原因,2010年i2 b2/VA临床记录的自然语言处理挑战引入了概念提取任务,旨在将概念识别和分类到预定义的类别中(即,治疗,测试和问题)。现有的概念抽取方法严重依赖于手工特征和难以收集和定义的特定领域资源。出于这个原因,本文提出了一种替代的简化方法:使用通用的现成单词嵌入初始化的递归神经网络(具有CRF解码的双向LSTM)。使用该框架在2010年i2 b2/VA参考语料库上取得的实验结果优于所有最近的方法,并接近于2010年i2 b2/VA挑战赛的最佳提交。
2016-11-25 cs.CL cs.LG stat.ML
Investigating Alternative Feature Extraction Pipelines For Clinical Note Phenotyping
Thomas Jefferson High School For Science And Technology(托马斯·杰斐逊科学技术高中)
针对现有基于BERT+LSTM的临床笔记表型分析流程收敛慢、无法预测未识别属性的问题,提出基于ScispaCy的替代特征提取流程,虽性能略低但可检测未提及病症,可作为现有方法的补充。
2023-10-05 cs.CL cs.LG
Clinical Annotations for Automatic Stuttering Severity Assessment
University of Aveiro(阿维罗大学);SpeechCare Center(言语治疗中心);MBZUAI(马尔科姆·伯恩斯人工智能研究所);Instituto Brasileiro de Fluência(巴西流畅研究所)
本文基于临床标准为 FluencyBank 数据集构建多模态口吃标注,并引入专家共识测试集,实验表明口吃严重程度评估高度依赖临床专业知识。
2025-05-31 cs.AI cs.CL
Instruction-Tuning LLMs for Event Extraction with Annotation Guidelines
George Mason University(乔治·马歇尔大学)
本研究探讨标注指南在指令微调大型语言模型进行事件抽取时的作用,实验表明其在适量训练数据下能提升跨模式泛化和低频事件类型性能。
2025-05-29 cs.CL
Multi-domain Clinical Natural Language Processing with MedCAT: the Medical Concept Annotation Toolkit
King’s College London(伦敦国王学院);University College London(伦敦大学学院);Health Data Research UK(英国健康数据研究所);King’s College Hospital NHS Foundation Trust(国王学院医院国民保健服务基金会信托)
电子健康记录(EHR)包含大量非结构化文本,需要应用信息抽取(IE)技术来实现临床分析。我们提出了开源医学概念注释工具包(MedCAT),它提供:a)一种新的自监督机器学习算法,用于使用包括UMLS/SNOMED-CT在内的任何概念词汇提取概念; b)一个功能丰富的注释接口,用于定制和训练IE模型; c)集成到更广泛的CogStack生态系统中,用于与供应商无关的健康系统部署。我们在从开放数据集中提取UMLS概念方面表现出了改进的性能(F1:0.448-0.738 vs 0.429-0.650)。进一步的真实世界验证证明了伦敦3家大型医院的SNOMED-CT提取,其中自监督训练来自约1700万临床记录的约8.8B单词,并使用约6 K临床医生注释的示例进行进一步微调。我们在医院、数据集和概念类型之间显示出很强的可移植性(F1 > 0.94),这表明跨领域EHR不可知的实用性,可用于加速临床和研究用例。
2021-03-25 cs.AI cs.CL cs.LG
Augmenting Task-Oriented Dialogue Systems with Relation Extraction
University of Michigan(密歇根大学);Bloomberg(彭博);Vanderbilt University(范德堡大学)
标准的面向任务的对话管道使用意图分类和槽填充来解释用户话语。虽然这种方法可以处理各种各样的查询,但它不能提取处理包含槽之间关系的更复杂查询所需的信息。我们建议将关系抽取集成到这个管道中,作为扩展对话系统功能的有效方法。我们评估我们的方法,使用一个内部数据集的插槽和关系注释跨越三个域。最后,我们展示了如何插槽填充注释计划可以简化,一旦关系注释的表达能力,减少插槽的数量,同时仍然捕捉用户的意图。
2022-10-24 cs.CL cs.LG
AI-assisted Protocol Information Extraction For Improved Accuracy and Efficiency in Clinical Trial Workflows
Banting Health AI(巴丁健康AI)
本文研究了利用AI系统进行临床试验协议信息提取,通过比较RAG方法与传统LLM的准确性,发现AI能显著提升提取效率和准确性,降低工作负担。
2026-04-16 cs.AI cs.CL cs.IR
Efficient Joint Learning for Clinical Named Entity Recognition and Relation Extraction Using Fourier Networks: A Use Case in Adverse Drug Events
University of Geneva(日内瓦大学)
目前的临床信息抽取方法在计算成本和存储器消耗方面效率低下,阻碍了它们在处理大规模电子健康记录(EHR)中的应用。我们提出了一个有效的端到端的模型,联合NER-RE-傅立叶(JNRF),共同学习的命名实体识别和关系抽取的可变长度的文档的任务。该架构使用位置编码和单位批量大小来处理可变长度文档,并使用权重共享傅立叶网络层来进行低复杂度令牌混合。最后,我们达到了理论计算复杂性的下限关系抽取使用选择性池化策略和距离感知的注意力权重与可训练的多项式距离函数。我们使用2018年N2 C2 ADE基准评估了JNRF架构,以联合提取可变长度EHR摘要中的药物相关实体和关系。JNRF的性能比滚动窗口BERT高0.42%,同时训练的速度是滚动窗口的两倍。在N2 C2 ADE基准测试中,与最先进的BiLSTM-CRF架构相比,结果表明,所提出的方法训练速度快22倍,GPU内存消耗减少1.75倍,合理的性能折衷为90%,无需使用外部工具,手工制作的规则或后处理。考虑到深度学习模型的显著碳足迹和当前的能源危机,这些方法可以支持在EHR和其他类型的大型文档数据库中进行高效和更清洁的信息抽取。
2023-02-08 cs.CL cs.LG
Assessing the Efficacy of Clinical Sentiment Analysis and Topic Extraction in Psychiatric Readmission Risk Prediction
McLean Hospital(麦克莱恩医院);Harvard Medical School(哈佛医学院);Brandeis University(布兰迪斯大学)
预测哪些患者更有可能在出院后30天内再次入院,这是临床决策中一个有价值的信息。然而,建立一个成功的再入院风险分类的基础上的电子健康记录(EHR)的内容已被证明是一项具有挑战性的任务。以前探索的功能主要包括结构化的信息,如社会人口学数据,合并症代码和生理变量。在本文中,我们评估纳入额外的临床可解释的NLP为基础的功能,如主题提取和临床情感分析,以预测精神病患者的早期再入院风险。
2019-10-09 cs.CL
Clinical Concept Extraction for Document-Level Coding
Georgia Institute of Technology(佐治亚理工学院);Google Inc(谷歌公司);Sutter Health(萨特医疗中心)
临床笔记的文本可以是患者信息和临床评估的有价值的来源。从历史上看,利用临床笔记的主要方法是信息抽取:将文本的跨度链接到详细领域本体中的概念。然而,最近的工作已经证明了监督机器学习直接从临床笔记的原始文本中提取文档级代码的潜力。我们建议用两种新的合成方法来弥合这两种方法之间的差距:(1)将提取的概念视为特征,用于补充或替换笔记的文本;(2)将提取的概念视为标签,用于学习更好的文本表示。不幸的是,由此产生的概念并没有在文档级临床编码任务上产生性能增益。我们探讨了可能的解释和未来的研究方向。
2019-06-08 cs.CL
Bidirectional LSTM-CRF for Clinical Concept Extraction
University of Sydney(悉尼大学);Capital Markets CRC(资本市场合作研究中心);University of Technology Sydney(悉尼科技大学)
提取患者临床记录中的概念是临床研究中的重要步骤。2010年i2 b2/VA研讨会上的自然语言处理临床记录的挑战提出了概念提取(CE)的任务,旨在识别概念(如治疗,测试,问题),并将其分类到预定义的类别。最先进的CE方法严重依赖于手工制作的功能和难以收集和调优的特定于领域的资源。出于这个原因,本文采用双向LSTM,CRF解码初始化为CE的通用现成词嵌入。使用双向LSTM CRF在2010年i2 b2/VA参考标准语料库上实现的实验结果与排名靠前的系统接近。
2016-10-19 cs.CL
Enhancing Clinical Concept Extraction with Contextual Embeddings
School of Biomedical Informatics(生物医学信息学院);The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
基于神经网络的表示(“嵌入”)极大地推进了自然语言处理(NLP)任务,包括临床NLP任务,诸如概念提取。然而,最近,更先进的嵌入方法和表示(例如,ELMo、BERT)进一步推动了NLP的发展,但对于如何将这些表示集成到临床任务中,还没有通用的最佳实践。本研究的目的,然后,是探索在利用这些新的模型进行临床概念提取的可能选项的空间,包括比较这些传统的词嵌入方法(word 2 vec,GloVe,fastText)。评估了MIMIC-III的现成开放域嵌入和预训练的临床嵌入。我们探索了一系列由传统词嵌入和上下文嵌入组成的嵌入方法,并在四个概念提取语料库上进行了比较:i2 b2 2010,i2 b2 2012,SemEval 2014和SemEval 2015。我们还分析了ELMo或BERT等大语言模型的预训练时间对提取性能的影响。最后,我们提出了一个直观的方式来理解的语义信息编码的上下文嵌入。在大型临床语料库上预训练的上下文嵌入在所有概念提取任务中实现了新的最先进的性能。表现最好的模型优于所有最先进的方法,其F1测量值分别为90.25、93.18(部分)、80.74和81.65。我们展示了上下文嵌入的潜力,通过国家的最先进的性能,这些方法实现临床概念提取。此外,我们证明了上下文嵌入编码有价值的语义信息不占传统的词表示。
2019-08-14 cs.CL
Clinical Utility of the Automatic Phenotype Annotation in Unstructured Clinical Notes: ICU Use Cases
Imperial College London(帝国理工学院);Pangaea Data Limited;Queen Mary University of London(伦敦玛丽女王大学);Hong Kong Baptist University(香港浸会大学)
目的:临床记录包含其他地方没有的信息,包括药物反应和症状,所有这些在预测急性护理患者的关键结局时都非常重要。我们提出了从临床笔记中自动注释表型的方法来捕获基本信息,这是对通常使用的生命体征和实验室检查结果的补充,以预测重症监护室(ICU)的结果。研究方法:我们开发了一种新的表型注释模型来注释患者的表型特征,然后将其用作预测模型的输入特征来预测ICU患者的结局。我们使用MIMIC-III数据集对超过24,000名患者的三个ICU预测任务进行实验,包括住院死亡率,生理失代偿和住院时间。结果如下:结合表型信息的预测模型预测住院死亡率达到0.845(AUC-ROC),生理失代偿达到0.839(AUC-ROC),住院时间达到0.430(Kappa),所有这些都始终优于仅利用生命体征和实验室检查结果的基线模型。此外,我们进行了全面的可解释性研究,表明表型在患者和队列水平上提供了有价值的见解。结论:所提出的方法表明,表型信息补充了传统上使用的生命体征和实验室检查结果,显著提高了ICU预后的预测。
2021-11-24 cs.CL
Analyzing the Granularity and Cost of Annotation in Clinical Sequence Labeling
Duke University(杜克大学);The Australian National University(澳大利亚国立大学)
正如最近的顶级研究所示,在监督式机器学习(ML)中,注释良好的数据集对研究人员来说比以往任何时候都更加重要。然而,数据集注释过程及其相关的人力成本仍然被忽视。在这项工作中,我们分析了序列标记中的注释粒度和ML性能之间的关系,使用护理交接班的临床记录。我们首先研究了一个模型,仅从文本语言特征,没有额外的信息的基础上护理知识。我们发现,在此粒度下,该序列标签器在大多数类别中表现良好。然后,我们进一步包括护士的额外手动注释,并发现序列标记性能几乎保持不变。最后,我们给社区提供了一个指导和参考,因为投资回报率低,没有必要甚至不建议进行详细的粒度注释。因此,我们建议强调其他功能,如文本知识,为研究人员和从业者作为一个具有成本效益的来源,以提高序列标记性能。
2021-08-23 cs.CL
Information Extraction of Clinical Trial Eligibility Criteria
Facebook Inc.(Facebook公司)
临床试验根据从患者人口统计学到食物过敏的各种标准来预测受试者的合格性。试用版将其需求作为语义复杂、非结构化的自由文本发布。将试验标准正式化为计算机可解释的语法将有助于确定合格性。在本文中,我们研究了一个信息抽取(IE)的方法接地标准从临床试验(点)政府共享的知识库。我们将这个问题框架为一个新的知识库人口任务,并实现了机器学习和上下文无关文法相结合的解决方案。据我们所知,这项工作是第一个标准提取系统应用注意力为基础的条件随机场架构的命名实体识别(NER),和word2vec嵌入聚类命名实体链接(NEL)。我们在GitHub上发布系统的资源和核心组件,网址为https://github.com/facebookresearch/Clinical-Trial-Parser。最后,我们报告我们的每一个模块和端到端的性能,我们得出结论,我们的系统是有竞争力的Criteria2Query,我们认为是目前最先进的标准提取。
2020-07-28 cs.CL
Unsupervised extraction, labelling and clustering of segments from clinical notes
Masaryk University(马萨里克大学);Masaryk Memorial Cancer Institute(马萨里克纪念癌症研究所);NUI Galway(爱尔兰国立大学戈尔韦分校)
针对捷克语临床笔记缺乏无监督信息提取工具的问题,提出一种无监督提取、标注并聚类临床特征片段的方法,并在捷克乳腺癌患者数据上验证了其实际应用价值。
2022-11-21 cs.CL
CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain
Bosch Center for Artificial Intelligence, Robert Bosch GmbH(罗伯特·博世有限公司博世人工智能中心);Saarland University(萨尔兰大学)
自然语言处理(NLP)领域最近发生了很大的变化,使用预训练的语言模型来解决几乎任何任务。尽管在各种任务的基准数据集上显示出很大的改进,但这些模型在非标准领域(如临床领域)中的表现往往不是最佳的,在临床领域中,观察到预训练文档和目标文档之间存在很大的差距。在本文中,我们的目标是缩小这一差距与特定领域的语言模型的培训,我们调查其对下游任务和设置的不同设置的效果。我们介绍了预训练的XCL-X(临床XLM-R)语言模型,并展示了XCL-X如何在两种语言的10个临床概念提取任务中大幅优于其他预训练的Transformer模型。此外,我们演示了如何Transformer模型可以进一步改善我们提出的任务和语言无关的模型架构的基础上合奏随机分裂和跨句子上下文。我们在低资源和迁移环境中的研究显示,尽管缺乏注释数据,但模型性能稳定,当只有250个标记句子时,模型性能提高了47个F1点。我们的研究结果突出了专门的语言模型的重要性,如在非标准领域的概念提取的XNUMX,但也表明,我们的任务不可知模型架构是强大的测试任务和语言,使域或任务特定的适应是不需要的。
2022-05-20 cs.CL cs.LG
Clinical Concept Extraction: a Methodology Review
Mayo Clinic(梅奥诊所);University of Minnesota – Twin Cities(明尼苏达大学双城分校)
背景概念提取是自然语言处理(NLP)的一个子领域,其重点是提取感兴趣的概念,已经被采用来从文本中计算地提取临床信息,用于从临床决策支持到护理质量改进的广泛应用。目的在这篇文献综述中,我们提供了一个方法论审查的临床概念提取,旨在目录开发过程中,可用的方法和工具,并在开发临床概念提取应用程序时的具体考虑。方法根据系统性综述和荟萃分析首选报告项目(PRISMA)指南,进行文献检索,以检索2009年1月至2019年6月从Ovid MEDLINE In-Process & Other Non-Indexed Citations、Ovid MEDLINE、Ovid EMBASE、Scopus、Web of Science和ACM数字图书馆发表的以英语撰写的基于EHR的信息抽取文章。结果共检索到6,686篇文献。在标题和摘要筛选后,选择了228篇出版物。本文就临床概念提取应用的开发方法进行了综述。
2020-08-10 cs.CL cs.IR
Brundlefly at SemEval-2016 Task 12: Recurrent Neural Networks vs. Joint Inference for Clinical Temporal Information Extraction
Stanford University(斯坦福大学);Mobilize Center(动员中心)
我们提交了两个系统参加SemEval-2016任务12:临床TempEval挑战,参与第1阶段,在第1阶段,我们确定了临床笔记中的时间和事件表达的文本跨度,第2阶段,我们预测了事件与其父文档创建时间之间的关系。对于时间实体提取,我们发现使用结构化预测的基于联合推理的方法优于香草递归神经网络,该网络采用了在各种大型临床文档集上训练的词嵌入。对于文档创建时间关系,我们发现,数据规范化和远程监督规则的组合,用于预测事件和时间表达式的关系,提高了分类,虽然收益是有限的,可能是由于小规模的训练数据。
2016-06-04 cs.CL
CliNER 2.0: Accessible and Accurate Clinical Concept Extraction
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UMass Lowell(马萨诸塞大学洛厄尔分校)
临床记录通常描述患者住院的重要方面,因此对医学研究至关重要。命名实体的临床概念提取(CCE)-例如问题,测试和治疗-有助于形成对笔记的理解,并为许多下游临床决策任务提供基础。从历史上看,这个任务已经被提出作为一个标准的命名实体识别(NER)序列标记问题,并解决了基于特征的方法,使用手工设计的领域知识。然而,最近的进展已经证明了基于LSTM的模型对NER任务(包括CCE)的有效性。这项工作提出了CliNER 2.0,一个简单的安装,开源工具,用于从临床文本中提取概念。CliNER 2.0使用单词和字符级LSTM模型,并实现了最先进的性能。为了便于使用,该工具还包括可供公众使用的预训练模型。
2018-03-06 cs.CL
Generalizing through Forgetting -- Domain Generalization for Symptom Event Extraction in Clinical Notes
University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
症状信息主要记录在自由文本临床笔记中,下游应用程序无法直接访问。为了应对这一挑战,需要能够处理不同机构和专业的临床语言差异的信息抽取方法。在本文中,我们提出了领域泛化的症状提取使用预训练和微调数据,从目标领域的机构和/或专业和患者人群。我们使用基于transformer的联合实体和关系抽取方法提取症状事件。为了减少对特定领域特征的依赖,我们提出了一种领域泛化方法,该方法动态地屏蔽源领域中的频繁症状词。此外,我们在任务相关的未标记文本上预训练Transformer语言模型(LM),以获得更好的表示。我们的实验表明,掩蔽和自适应预训练方法可以显着提高性能时,源域更远离目标域。
2023-02-23 cs.CL
Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding
University of Wisconsin(威斯康星大学);Loyola University Chicago(芝加哥洛约拉大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
将自然语言处理方法应用于电子健康记录(EHR)数据是一个不断发展的领域。现有的语料库和标注集中在文本特征建模和关系预测上。然而,有一个注释的语料库建立临床诊断思维,涉及文本理解,领域知识的抽象和推理的过程中,一个缺乏。这项工作介绍了一个层次化的注释模式,有三个阶段,以解决临床文本理解,临床推理和总结。我们创建了一个注释语料库的基础上广泛收集的公开可用的每日进展记录,一种类型的EHR文档,是在时间序列中收集的问题为导向的格式。进度记录的常规格式遵循主观、客观、评估和计划标题(SOAP)。我们还定义了一套新的任务,进度说明理解,三个任务利用三个注释阶段。这套新的任务旨在训练和评估未来的NLP模型,用于临床文本理解、临床知识表示、推理和总结。
2022-04-06 cs.AI cs.CL cs.CY
Leveraging Open-Source Large Language Models for Clinical Information Extraction in Resource-Constrained Settings
Diagnostic Image Analysis Group, Department of Medical Imaging(医学影像诊断分析组,医学影像系)
本研究利用开源大语言模型开发了信息抽取框架,展示了其在低资源环境下有效进行临床信息抽取的潜力。
2025-07-28 cs.CL
Generating Information Extraction Patterns from Overlapping and Variable Length Annotations using Sequence Alignment
VA Boston Healthcare System(波士顿退伍军人医疗保健系统);Boston University School of Medicine(波士顿大学医学院);University of Vermont(佛蒙特大学)
序列比对用于通过比对包含重叠和可变长度注释的序列来捕获由代表多个概念级别的元素组成的模式。对齐还确定最直接地影响句子内给定目标的含义的单词和短语的适当上下文窗口,消除了对围绕目标的单词的固定上下文窗口的定位的需要。我们使用CoNLL-2003命名实体识别(NER)任务对系统进行了评估。
2019-09-18 cs.CL
From Annotation to Adaptation: Metrics, Synthetic Data, and Aspect Extraction for Aspect-Based Sentiment Analysis with Large Language Models
Saint Mary’s University(圣玛丽大学);York University(约克大学)
针对新领域ABSA中的隐式方面抽取,本文构建合成体育反馈数据集评估开放权重LLM,并提出面向生成式模型的方面抽取评估指标,揭示其潜力与局限。
2025-03-26 cs.CL
A Privacy-Preserving Approach to Extraction of Personal Information through Automatic Annotation and Federated Learning
University of Ottawa(渥太华大学);National Research Council Canada(加拿大国家研究委员会)
我们策划了WikiPII,这是一个自动标记的数据集,由维基百科传记页面组成,注释用于个人信息抽取。虽然自动标注可能会导致高度的标签噪声,但它是一个廉价的过程,并且可以生成大量的带注释文档。我们使用WikiPII训练了一个基于BERT的NER模型,并表明使用足够大的训练数据集,该模型可以显着降低手动信息抽取的成本,尽管标签噪声水平很高。在类似的方法中,组织可以利用文本挖掘技术从其历史数据中创建定制的注释数据集,而无需共享原始数据进行人工注释。此外,我们还探索了当注释有噪声时,通过联邦学习对NER模型进行协作训练。我们的研究结果表明,根据对ML操作员的信任程度和可用数据的数量,分布式训练可以是以保护隐私的方式训练个人信息标识符的有效方法。研究材料可在https://github.com/ratmcu/wikipiifed上查阅。
2021-05-19 cs.CL
Extraction and Analysis of Clinically Important Follow-up Recommendations in a Large Radiology Dataset
University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
当影像学检查发现异常时,随访建议的沟通容易出错。在本文中,我们提出了一种基于深度学习的自然语言处理方法,以自动识别放射学报告中的临床重要建议。我们的方法首先确定的建议句子,然后提取的原因,测试,并确定的建议的时间范围。为了训练我们的提取模型,我们创建了一个包含567份放射学报告的语料库,其中标注了推荐信息。我们的抽取模型达到了0.92的推荐句,0.65的原因,0.73的测试,和0.84的时间框架的F-分数的F-分数的F-分数。我们将提取模型应用于一组超过330万份放射学报告,并分析了随访建议的遵守情况。
2019-05-14 cs.CL
A Unified Framework of Medical Information Annotation and Extraction for Chinese Clinical Text
HwaMei Hospital, University of Chinese Academy of Sciences(中国科学院大学华美医院);Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences(中国科学院大学宁波生命与健康产业研究院)
医学信息抽取由一组自然语言处理(NLP)任务组成,这些任务协作地将临床文本转换为预定义的结构化格式。当前最先进的(SOTA)NLP模型与深度学习技术高度集成,因此需要大量带注释的语言数据。本研究提出了一个医学实体识别、关系抽取和属性抽取的工程框架,在标注、建模和评价上实现了统一。具体而言,注释方案是全面的,并且在任务之间是兼容的,特别是对于医疗关系。最终的标注语料库包括1,200份完整的病历(或18,039份分解文档),三个任务的标注者间一致性(IAAs)分别达到94.53%,73.73%和91.98%F1分数。三个任务特定的神经网络模型是在一个共享的结构中开发的,并通过SOTA NLP技术增强,即,预训练的语言模型。实验结果表明,该系统能准确地检索出医学实体、关系和属性,其F1得分分别为93.47%、67.14%和90.89%。本研究,除了我们公开发布的注释方案和代码,提供了坚实的和实际的工程经验,开发一个集成的医疗信息抽取系统。
2022-03-08 cs.CL
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia(不列颠哥伦比亚大学);Curai(Curai公司);Vatic Investments(Vatic投资公司)
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表,要么需要跨度注释。在本文中,我们提出了一种方法,用于连接一组开放的实体,不需要任何跨度注释。我们的方法,开放集标签注意力Transformer(OSLAT),使用标签-注意力机制来学习候选实体上下文文本表示。我们发现,OSLAT不仅可以链接实体,但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT:(1)在没有显式跨度注释的情况下训练跨度提取,以及(2)在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
A Corpus Study and Annotation Schema for Named Entity Recognition and Relation Extraction of Business Products
DFKI GmbH(德国人工智能研究中心)
识别新闻和论坛文本中的非标准实体类型和关系,例如B2B产品,产品类别及其生产商,在供应链监控和市场研究等应用领域非常重要。然而,在这一领域中缺乏注释语料库和注释指南。在这项工作中,我们提出了一个语料库的研究,注释模式和相关的准则,产品实体和公司产品关系提到的注释。我们发现,虽然产品提及往往是实现为名词短语,定义其确切的程度是困难的,由于高边界歧义和广泛的句法和语义变化的表面实现。我们还描述了我们正在进行的注释工作,并提出了一个初步的语料库的英语网络和社交媒体文件注释根据建议的指导方针。
2020-04-07 cs.CL
FREDA: Flexible Relation Extraction Data Annotation
University of Alberta(阿尔伯塔大学);Lakehead University(湖首大学)
为了有效地训练准确的关系抽取模型,需要充足且适当标记的数据。标记过的数据很难获得,注释这些数据是一项棘手的工作。之前的工作表明,要么必须牺牲准确性,要么如果准确完成任务则极其耗时。我们提出了一种方法,以产生高质量的数据集的任务关系抽取迅速。神经模型经过训练,可以在创建的数据集上进行关系抽取,取得了非常好的结果,并且可以很好地推广到其他数据集。在我们的研究中,我们能够在合理的时间内为19个关系注释10,022个句子,并为每个关系训练常用的基线模型。
2022-12-14 cs.CL
Relation extraction from clinical texts using domain invariant convolutional neural network
IIT Guwahati(印度理工学院古瓦哈提分校);Excelra Knowledge Solutions Pvt Ltd(Excelra知识解决方案私人有限公司)
近年来,从生物医学和临床文本(如研究文章、出院摘要或电子健康记录)中提取相关信息一直是许多研究工作和共同挑战的主题。关系抽取是对给定文本中实体之间的语义关系进行检测和分类的过程。在生物医学领域中,用于此任务的现有模型使用手动工程特征或内核方法来创建特征向量。然后将这些特征馈送到分类器以预测正确的类别。事实证明,这些方法的结果是高度依赖于用户设计的功能的质量,也遭受维数灾难。在这项工作中,我们专注于从临床出院总结中提取关系。我们的主要目标是利用卷积神经网络(CNN)的能力来自动学习特征,从而减少对手动特征工程的依赖。我们在i2 b2 -2010临床关系抽取挑战数据集上评估了所提出的模型的性能。我们的研究结果表明,卷积神经网络可以是一个很好的模型,在临床文本的关系提取,而不依赖于专家的知识来定义质量特征。
2016-06-30 cs.CL
Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting
Klaus Tschira Institute for Integrative Computational Cardiology(克劳斯·齐拉整合计算心脏病学研究所);Heidelberg University(海德堡大学);University Hospital Heidelberg(海德堡大学医院);German Center for Cardiovascular Research - Partner site Heidelberg/Mannheim(德国心血管研究中心海德堡/曼海姆合作站点);Informatics for Life(生命信息学机构)
本研究首次系统评估低资源场景下基于提示的轻量级预训练模型用于德语临床文本分类,仅用20个样本即比传统模型准确率提升30.5%,并借助Shapley值确保可解释性。
2024-08-13 cs.AI cs.CL cs.LG
Temporal Relation Extraction in Clinical Texts: A Span-based Graph Transformer Approach
本文提出GRAPHTREX方法,通过结合基于跨度的实体关系抽取、临床预训练语言模型和异构图变换器,提升临床文本中时间关系抽取的准确率和长距离关系识别能力。
2025-05-29 cs.AI cs.CL cs.LG
Implementing a Portable Clinical NLP System with a Common Data Model - a Lisp Perspective
Northwestern University(西北大学);MIT(麻省理工学院)
本文提出了一种Lisp架构的便携式NLP系统,称为LAPNLP,用于处理临床笔记。LAPNLP集成了多种标准、定制和内部开发的NLP工具。我们的系统通过整合丰富的通用数据模型(CDM)来标准化必要的数据元素,从而促进了不同机构和数据系统之间的可移植性。它利用UMLS进行领域自适应时,集成通用领域自然语言处理工具。它还具有通过原始文档的位置参照指定的支座注释。我们建立了一个基于区间树的搜索引擎,通过指定位置要求来有效地查询和检索支座注释。我们还开发了一个实用程序,将内联注释格式转换为stand-off注释,以便重用具有内联注释的临床文本数据集。我们用我们的系统进行了几个NLP促进任务的实验,包括淋巴瘤患者的计算表型分析和临床笔记的语义关系抽取。这些实验展示了LAPNLP更广泛的适用性和实用性。
2018-11-15 cs.AI cs.CL
Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension
College of Medicine, University of Florida(佛罗里达大学医学院);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
本文提出统一的基于提示的机器阅读理解架构,同时解决临床概念抽取与关系抽取,在两个n2c2基准数据集上取得最优性能,并展现出良好的跨机构迁移能力。
2023-03-14 cs.CL
Relation Extraction from Biomedical and Clinical Text: Unified Multitask Learning Framework
Indian Institute of Technology Patna(印度理工学院巴特那分校)
为了最大限度地减少在生物医学文献搜索中投入的加速时间,已经提出了许多用于自动化知识提取的方法。关系抽取就是这样一个任务,其中实体之间的语义关系是从自由文本中识别的。在生物医学领域,提取调控途径、代谢过程、药物不良反应或疾病模型需要来自个体关系的知识,例如,基因、蛋白质、药物、化学品、疾病或表型之间的物理或调控相互作用。在本文中,我们研究了关系抽取任务从三个主要的生物医学和临床任务,即药物-药物相互作用,蛋白质-蛋白质相互作用,医学概念关系抽取。为此,我们在多任务学习(MTL)框架中建模关系抽取问题,并首次引入结构化自我关注网络的概念,并辅以对抗性学习方法来预测生物医学和临床文本中的关系。MTL的基本概念是通过利用共享表示的概念同时学习多个问题。此外,我们还生成了高效的单任务模型,该模型利用了在注意门控递归单元上学习的最短依赖路径嵌入来比较我们提出的MTL模型。我们提出的框架显着提高了整体基线(深度学习技术)和单任务模型来预测关系,而不会影响所有任务的性能。
2020-09-20 cs.CL
Deeper Clinical Document Understanding Using Relation Extraction
John Snow Labs Inc.(John Snow Labs 公司)
大量的生物医学文献和数字化临床记录对文本挖掘技术提出了越来越大的需求,这些技术不仅可以识别非结构化数据中的实体,而且还可以在语义上关联实体。在本文中,我们提出了一个文本挖掘框架,包括命名实体识别(NER)和关系抽取(RE)模型,扩展了以前的工作在三个主要方面。首先,我们介绍了两种新的RE模型架构-一种基于BioBERT的精度优化架构和一种利用全连接神经网络(FCNN)上的精心制作的功能的速度优化架构。其次,我们在公共基准数据集上评估了这两个模型,并在2012年i2 b2临床时间关系挑战赛中获得了最新的F1分数(F1为73.6,比之前的SOTA高出1.2%),2010年i2 b2临床关系挑战(F1为69.1,+1.2%),2019年表型-基因关系数据集(F1为87.9,+8.5%),2012年药物不良事件药物反应数据集(F1为90.0,+6.3%)和2018 n2 c2剂量学关系数据集(F1为96.7,+0.6%)。第三,我们展示了这个框架的两个实际应用--用于构建生物医学知识图谱和用于提高将实体映射到临床代码的准确性。该系统使用Spark NLP库构建,该库提供了一个生产级,原生可扩展,硬件优化,可训练和可调的NLP框架。
2021-12-25 cs.AI cs.CL cs.LG
Keyword-optimized Template Insertion for Clinical Information Extraction via Prompt-based Learning
Mount Sinai(西奈山);Hasso Plattner Institute for Digital Health at Mount Sinai(西奈山哈索·普拉特纳数字健康研究所);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Institute for Personalized Medicine(个性化医学研究所)
本文提出关键词优化的模板插入方法KOTI,通过优化提示模板在临床笔记中的位置,在零样本和少样本设置下提升多个临床文本分类任务的性能。
2023-10-31 cs.CL
LLMs Accelerate Annotation for Medical Information Extraction
Google Research(谷歌研究院)
针对医学文本标注耗时昂贵的问题,提出LLMs与人类专家协同生成真值标签的方法,在医学信息抽取任务中减少人工干预并保持高准确率。
2023-12-04 cs.AI cs.CL cs.LG