Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Learning structures of the French clinical language:development and validation of word embedding models using 21 million clinical reports from electronic health records
Assistance Publique – Hôpitaux de Paris(巴黎公共援助医院);Sorbonne Université(索邦大学);Inserm(法国国家健康与医学研究院);Université Sorbonne Paris Nord(索邦巴黎北大学);Centre de Recherche des Cordeliers(科德利埃研究中心);INRIA(法国国家信息与自动化研究所)
使用真实世界数据的临床研究可能受益于利用临床报告,这是一种特别丰富但非结构化的媒介。为此,自然语言处理可以提取相关信息。基于使用预训练的语言模型的迁移学习的方法在大多数NLP应用中取得了最先进的结果;然而,公开可用的模型缺乏对专业语言的接触,特别是在医学领域。目的:我们的目的是评估适应语言模型的影响,以法国的临床报告的下游医学NLP任务。方法我们利用从2017年8月至2021年7月在大巴黎大学医院(APHP)收集的2100万份临床报告的语料库,在专业语言上生成两个CamemBERT架构:一个从头开始重新训练,另一个使用CamemBERT作为其初始化。我们使用两个法语注释的医学数据集来比较我们的语言模型与原始CamemBERT网络,并使用Wilcoxon检验评估改进的统计学显著性。结果我们的模型在临床报告上进行了预训练,将APMed(APHP特定任务)的平均F1分数提高了3个百分点,达到91%,这是一个统计学上的显著改善。它们还实现了与QUAERO上的原始CamemBERT相当的性能。这些结果适用于微调和从头开始的版本,从很少的预训练样本开始。结论我们证实了以前的文献表明,适应通才预训练语言模型,如专业语料库上的CamenBERT提高了他们的性能,为下游临床NLP任务。我们的研究结果表明,从头再培训不会引起统计上显着的性能增益相比,微调。
2022-07-26 cs.CL stat.ML
Hierarchical Pretraining for Biomedical Term Embeddings
Stanford University(斯坦福大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Alibaba Damo Academy(阿里巴巴达摩院);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
提出HiPrBERT模型,通过在包含分层结构的额外数据上微调并修改对比损失函数,有效捕捉生物医学术语间的分层相似度,生成信息量更大的语义嵌入。
2023-07-01 cs.AI cs.CL
Clinical Concept Centers in LLMs
National University of Singapore(新加坡国立大学);SAP Asia Pte Ltd(SAP亚洲私人有限公司);Nanyang Technological University(南洋理工大学);Singapore Institute of Technology(新加坡理工大学)
本研究将行为评估扩展到大语言模型的潜在空间,发现开放权重模型中存在可解释且因果驱动行为的临床概念中心,并验证其在评估、性能提升及临床偏好预测方面的价值。
2026-10-06 cs.CL cs.LG
An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training
Shenzhen People’s Hospital(深圳人民医院);The Chinese University of Hong Kong(香港中文大学)
针对医学AI黑盒模型缺乏可解释性的问题,提出首个可解释生物医学基础模型ConceptCLIP,利用2300万三元组数据集进行双重对齐预训练,在52项临床任务上实现最优诊断准确率并提供经专家验证的解释。
2025-04-26 cs.CL cs.CV
Multi-Label Clinical Text Eligibility Classification and Summarization System
该系统利用NLP和LLMs,结合词嵌入、TF-IDF及随机森林/SVM模型,实现临床试验文本的多标签资格分类与摘要,提升研究效率。
2025-10-15 cs.AI cs.CL
CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain
Bosch Center for Artificial Intelligence, Robert Bosch GmbH(罗伯特·博世有限公司博世人工智能中心);Saarland University(萨尔兰大学)
自然语言处理(NLP)领域最近发生了很大的变化,使用预训练的语言模型来解决几乎任何任务。尽管在各种任务的基准数据集上显示出很大的改进,但这些模型在非标准领域(如临床领域)中的表现往往不是最佳的,在临床领域中,观察到预训练文档和目标文档之间存在很大的差距。在本文中,我们的目标是缩小这一差距与特定领域的语言模型的培训,我们调查其对下游任务和设置的不同设置的效果。我们介绍了预训练的XCL-X(临床XLM-R)语言模型,并展示了XCL-X如何在两种语言的10个临床概念提取任务中大幅优于其他预训练的Transformer模型。此外,我们演示了如何Transformer模型可以进一步改善我们提出的任务和语言无关的模型架构的基础上合奏随机分裂和跨句子上下文。我们在低资源和迁移环境中的研究显示,尽管缺乏注释数据,但模型性能稳定,当只有250个标记句子时,模型性能提高了47个F1点。我们的研究结果突出了专门的语言模型的重要性,如在非标准领域的概念提取的XNUMX,但也表明,我们的任务不可知模型架构是强大的测试任务和语言,使域或任务特定的适应是不需要的。
2022-05-20 cs.CL cs.LG
Detecting PTSD in Clinical Interviews: A Comparative Analysis of NLP Methods and Large Language Models
University of Washington(华盛顿大学)
本研究比较了NLP方法和大语言模型在临床访谈中检测PTSD的效果,发现领域特定模型和嵌入方法表现最佳,强调了领域适应技术在PTSD筛查中的潜力。
2026-01-06 cs.AI cs.CL cs.LG
Federated Learning for ICD Classification with Lightweight Models and Pretrained Embeddings
EuroMov Digital Health in Motion, Univ. Montpellier, IMT Mines Ales(EuroMov数字健康运动、蒙彼利埃大学、IMT Mines Ales)
本文研究了使用MIMIC-IV数据集中的临床笔记进行多标签ICD代码分类的联邦学习可行性与性能,提出了一种结合冻结文本嵌入和简单多层感知机分类器的轻量级可扩展流程,展示了在分布式医疗环境中隐私保护和部署高效的替代方案。
2026-05-19 cs.CL cs.IR cs.LG
Interpreting Embedding Spaces by Conceptualization
Technion – Israel Institute of Technology(以色列理工学院)
针对大语言模型生成的嵌入空间人类难以理解的问题,提出将潜在嵌入空间转换为可理解概念空间的方法,设计动态按需粒度生成算法与新评估方式,可用于模型语义对比、LLM层追踪等任务。
2023-11-09 cs.AI cs.CL cs.LG
Clinical Concept Extraction with Contextual Word Embedding
Boston University(波士顿大学);Philips Research North America(飞利浦北美研究院)
临床概念的自动提取是将临床笔记中的非结构化数据转化为结构化和可操作信息的重要步骤。在这项工作中,我们提出了一个临床概念提取模型的自动注释的临床问题,治疗和测试的临床笔记,利用特定领域的上下文词嵌入。首先在具有临床领域中的临床报告和相关维基百科页面的混合物的语料库上训练上下文词嵌入模型。接下来,使用上下文词嵌入模型训练双向LSTM-CRF模型用于临床概念提取。我们在I2 B2 2010挑战数据集上测试了我们提出的模型。我们提出的模型在报告的基线模型中取得了最好的性能,在F1得分方面比最先进的模型高出3.4%。
2018-11-26 cs.CL
SECNLP: A Survey of Embeddings in Clinical Natural Language Processing
National Institute of Technology Tiruchirappalli(特里奇拉普里国家理工学院)
传统的表示方法如Bagofwords是高维的、稀疏的,忽略了顺序以及句法和语义信息。分布式向量表示或嵌入将可变长度的文本映射到密集的固定长度向量,并捕获可以传输到下游任务的先验知识。尽管嵌入已经成为一般和临床领域基于深度学习的NLP任务的事实标准表示,但没有调查论文对临床自然语言处理中的嵌入进行详细审查。在这篇综述论文中,我们讨论了各种医学语料库及其特点,医学代码,并简要概述了流行的嵌入模型,以及比较。我们将临床嵌入分为九种类型,并详细讨论每种嵌入类型。我们讨论了各种评估方法,随后是临床嵌入中各种挑战的可能解决方案。最后,我们总结了一些未来的方向,这将推动临床嵌入的研究。
2020-11-25 cs.CL
Publicly Available Clinical BERT Embeddings
Harvard-MIT(哈佛-麻省理工);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
上下文词嵌入模型如ELMo(Peters等人,2018)和BERT(Devlin等人,2018)在最近几个月大大提高了许多自然语言处理(NLP)任务的性能。然而,这些模型在专业语料库(如临床文本)上的研究很少;此外,在临床领域,还不存在公开的预训练BERT模型。在这项工作中,我们通过探索和发布临床文本的BERT模型来满足这一需求:一个用于通用临床文本,另一个用于出院总结。我们证明,使用特定领域的模型产生三个常见的临床NLP任务相比,非特异性嵌入的性能提高。这些领域特定的模型在两个临床去识别任务上的性能并不好,并认为这是去识别源文本和合成非去识别任务文本之间差异的自然结果。
2019-06-20 cs.CL
AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
近年来,词嵌入在捕捉它们所代表的词的直观特征方面已经令人惊讶地有效。当训练语料库非常大时,这些向量可以达到最佳效果,有时甚至达到数十亿个单词。然而,临床自然语言处理数据集往往要小得多。即使是最大的公开可用的医疗笔记数据集也比常用的“Google News”词向量数据集小三个数量级。为了弥补有限的训练数据大小,我们将专家领域知识编码到我们的嵌入。基于word2vec以前的扩展,我们表明,概括一个词的“上下文”的概念,包括任意功能创建一个途径编码领域知识到词嵌入。我们表明,通过这种方法产生的词向量优于他们的纯文本同行全面与临床专家的相关性。
2017-12-05 cs.CL
Clinical Text Summarization with Syntax-Based Negation and Semantic Concept Identification
在临床信息爆炸的时代,一个好的临床文本摘要策略有助于改善临床工作流程。理想的摘要策略可以在信息量大但组织性差、结构不良的临床叙述性文本中保留重要信息。我们利用计算语言学的知识和人类专家策划的生物医学知识库,而不是使用难以解释和解释的纯统计学习方法,来实现可解释和有意义的临床文本摘要。我们的研究目标是使用具有语义信息的生物医学本体,并利用语言的层次结构,即组成树,来识别正确的临床概念和相应的否定信息,这对于从叙述性文本中总结临床概念至关重要。我们取得了临床上可接受的性能,无论是否定检测和概念识别,并与常见的否定模式的临床概念可以识别和否定所提出的方法。
2020-02-29 cs.CL
Semantic Analysis of SNOMED CT Concept Co-occurrences in Clinical Documentation using MIMIC-IV
Informatics and Analytics, University of North Carolina Greensboro, Greensboro, NC(信息学与分析,北卡罗来纳大学格林斯伯罗分校);Department of Computer Science, University of Nebraska Omaha, Omaha, NE(计算机科学系,内布拉斯加大学奥马哈分校)
该研究利用MIMIC-IV数据库,结合NPMI与临床预训练嵌入模型分析SNOMED CT概念的共现与语义关联,发现二者弱相关但嵌入可捕捉潜在临床关联,能补充标注、关联结局,为临床决策与表型分析提供支持。
2025-09-03 cs.CL
The Benefits of Word Embeddings Features for Active Learning in Clinical Information Extraction
Queensland University of Technology(昆士兰科技大学);The Australian e-Health Research Centre, CSIRO(澳大利亚电子健康研究中心,联邦科学与工业研究组织)
本研究探讨了使用无监督的词嵌入和序列特征的样本表示的主动学习框架,建立临床概念从临床自由文本。其目的是进一步减少手动注释工作,同时实现更高的效率相比,一组基线功能。无监督特征是从跳跃语法词嵌入和序列表示方法中获得的。无监督的功能和基线手工制作的功能在主动学习框架的比较性能进行了研究,使用范围广泛的选择标准,包括最小的信心,信息多样性,信息密度和多样性,领域知识的信息。使用两个临床数据集进行评价:i2 b2/VA 2010 NLP挑战和ShARe/CLEF 2013 eHealth评价实验室。我们的研究结果表明,在有效性方面有了显着的改进,并且在两个数据集上节省了注释工作。使用无监督特征和基线特征进行样本表示,分别可以进一步节省高达9%和10%的标记和概念注释率。
2016-11-15 cs.CL
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University(乌得勒支大学)
临床词嵌入作为一种最先进的特征向量表示,广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功,但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别:精神障碍,性传播疾病和人格特质。在这种程度上,我们分析了两种不同的预训练嵌入,即(情境化)临床BERT和(非情境化)BioWordVec。我们发现,这两种嵌入都偏向于敏感的性别群体,但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外,我们的分析表明,临床嵌入进行了高度的偏见,一些医学术语和疾病,这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Clinical Concept Extraction for Document-Level Coding
Georgia Institute of Technology(佐治亚理工学院);Google Inc(谷歌公司);Sutter Health(萨特医疗中心)
临床笔记的文本可以是患者信息和临床评估的有价值的来源。从历史上看,利用临床笔记的主要方法是信息抽取:将文本的跨度链接到详细领域本体中的概念。然而,最近的工作已经证明了监督机器学习直接从临床笔记的原始文本中提取文档级代码的潜力。我们建议用两种新的合成方法来弥合这两种方法之间的差距:(1)将提取的概念视为特征,用于补充或替换笔记的文本;(2)将提取的概念视为标签,用于学习更好的文本表示。不幸的是,由此产生的概念并没有在文档级临床编码任务上产生性能增益。我们探讨了可能的解释和未来的研究方向。
2019-06-08 cs.CL
Language Model Training Paradigms for Clinical Feature Embeddings
ETH Zürich(苏黎世联邦理工学院)
针对临床数据稀缺问题,利用语言模型自监督训练范式学习心率、血压等临床特征的通用嵌入,实现更细粒度表示,并在MIMIC-III基准上验证其有效性。
2024-02-06 cs.CL cs.LG
Unsupervised Context-Sensitive Spelling Correction of English and Dutch Clinical Free-Text with Word and Character N-Gram Embeddings
University of Antwerp(安特卫普大学)
我们提出了一种无监督的上下文敏感的拼写校正方法,临床自由文本,使用词和字符的n-gram嵌入。我们的方法生成拼写错误的替换候选人,并根据他们的语义适合他们的排名,通过计算一个候选人的矢量化表示和拼写错误的上下文之间的加权余弦相似性。为了调整这个模型的参数,我们生成了自我诱导的拼写错误语料库。我们对两种语言进行了实验。对于英语,我们在手动注释的MIMIC-III测试集上的表现大大优于现成的拼写校正工具,并对抗噪声信道模型的频率偏差,表明可以成功地利用神经嵌入来改善最先进的水平。对于荷兰语,我们在安特卫普大学医院的手动注释的临床记录上的表现也优于现成的拼写校正工具,但是不能提供经验证据证明我们的方法也在这种情况下抵消了噪声信道模型的频率偏差。然而,我们的上下文敏感的模型和我们的噪声信道模型的实现获得高分的测试集,建立一个国家的最先进的荷兰临床拼写校正与噪声信道模型。
2017-10-19 cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码(BPE)算法来表示子字。我们评估了生物医学词嵌入,获得了比以前的版本更好的结果,这表明随着数据的增加,我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
CliNER 2.0: Accessible and Accurate Clinical Concept Extraction
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UMass Lowell(马萨诸塞大学洛厄尔分校)
临床记录通常描述患者住院的重要方面,因此对医学研究至关重要。命名实体的临床概念提取(CCE)-例如问题,测试和治疗-有助于形成对笔记的理解,并为许多下游临床决策任务提供基础。从历史上看,这个任务已经被提出作为一个标准的命名实体识别(NER)序列标记问题,并解决了基于特征的方法,使用手工设计的领域知识。然而,最近的进展已经证明了基于LSTM的模型对NER任务(包括CCE)的有效性。这项工作提出了CliNER 2.0,一个简单的安装,开源工具,用于从临床文本中提取概念。CliNER 2.0使用单词和字符级LSTM模型,并实现了最先进的性能。为了便于使用,该工具还包括可供公众使用的预训练模型。
2018-03-06 cs.CL
Bidirectional LSTM-CRF for Clinical Concept Extraction
University of Sydney(悉尼大学);Capital Markets CRC(资本市场合作研究中心);University of Technology Sydney(悉尼科技大学)
提取患者临床记录中的概念是临床研究中的重要步骤。2010年i2 b2/VA研讨会上的自然语言处理临床记录的挑战提出了概念提取(CE)的任务,旨在识别概念(如治疗,测试,问题),并将其分类到预定义的类别。最先进的CE方法严重依赖于手工制作的功能和难以收集和调优的特定于领域的资源。出于这个原因,本文采用双向LSTM,CRF解码初始化为CE的通用现成词嵌入。使用双向LSTM CRF在2010年i2 b2/VA参考标准语料库上实现的实验结果与排名靠前的系统接近。
2016-10-19 cs.CL
Writing habits and telltale neighbors: analyzing clinical concept usage patterns with sublanguage embeddings
The Ohio State University(俄亥俄州立大学);National Institutes of Health(美国国立卫生研究院)
自然语言处理技术正被应用于日益多样化的电子健康记录类型,并且可以受益于对医疗文档类型的区别特征的深入理解。我们提出了一种方法,用于表征不同文档类型之间的临床概念的使用模式,以捕捉语义差异超出词汇水平。通过在不同类型的临床文档上训练概念嵌入并测量其最近邻域结构的差异,我们能够测量概念使用的差异,同时校正嵌入学习中的噪声。MIMIC-III语料库上的实验表明,我们的方法捕捉临床相关的概念使用的差异,并提供了一种直观的方式来探索临床文档集合的语义特征。
2019-10-01 cs.AI cs.CL
CaresAI at CT-DEB26: Detecting Dosing Errors In Clinical Trials Using Domain-Specific Transformer Embeddings and Classification Models
本研究利用基于生物医学语料训练的Transformer模型(如BioBERT)编码临床试验文本,结合结构化元数据,通过机器学习模型检测剂量错误,最高ROC-AUC达0.853。
2026-06-29 cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo(滑铁卢大学)
上下文词嵌入模型,如BioBERT和Bio_ClinicalBERT,通过将其预训练过程集中在特定领域的语料库上,在生物医学自然语言处理任务中取得了最先进的结果。然而,这样的模型不考虑专家领域知识。在这项工作中,我们介绍了UmlsBERT,一个上下文嵌入模型,通过一种新的知识增强策略,在预训练过程中集成领域知识。更具体地说,用统一医学语言系统(UMLS)元词库对UmlsBERT进行增强是以两种方式进行的:i)连接UMLS中具有相同基础“概念”的单词,以及ii)利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略,UmlsBERT可以将临床领域知识编码到词嵌入中,并在常见的命名实体识别(NER)和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Enhancing Clinical Information Extraction with Transferred Contextual Embeddings
The Australian National University (ANU)(澳大利亚国立大学);Data61, Commonwealth Scientific and Industrial Research Organization (CSIRO)(澳大利亚联邦科学与工业研究组织Data61部门);University of Canberra(堪培拉大学);University of Turku(图尔库大学)
Transformers的双向编码器表示(BERT)模型在许多自然语言处理(NLP)任务中取得了最先进的性能。然而,当目标域从预训练语料库转移时,例如,对于生物医学或临床NLP应用,有限的研究有助于研究其有效性。在本文中,我们将其应用到一个广泛研究的医院信息抽取(IE)的任务,并分析其性能下的迁移学习设置。与现有的IE模型相比,我们的应用程序成为了新的最先进的结果。具体来说,在这个护理交接数据集上,我们模型的宏观平均F1得分为0.438,而之前最好的深度学习模型为0.416。总之,我们证明了基于BERT的预训练模型可以在温和的条件下通过适当的微调过程转移到健康相关的文档中。
2021-09-22 cs.CL
Clinical Named Entity Recognition using Contextualized Token Representations
University of California, Los Angeles(加州大学洛杉矶分校)
临床命名实体识别(CNER)任务寻求定位临床术语并将其分类为预定义的类别,诸如诊断程序、疾病紊乱、严重性、药物、药物剂量和体征症状。CNER有助于药物副作用的研究,包括识别新现象和以人为中心的信息抽取。现有的兴趣实体提取方法集中于使用静态的词嵌入来表示每个词。然而,一个词可以有不同的解释,这取决于句子的上下文。显然,静态的词嵌入不足以整合一个词的不同解释。为了克服这一挑战,引入了语境化的词嵌入技术,以更好地根据上下文捕捉每个词的语义。ELMo和Flair语言模型已被广泛应用于自然语言处理领域,用于生成领域通用文档的上下文化词嵌入。然而,这些嵌入通常过于笼统,无法捕捉特定领域的词汇表之间的接近度。为了使用临床病例报告(CCR)促进各种下游应用程序,我们使用PubMed Central的临床相关语料库预训练了两个深度上下文化的语言模型,即来自语言模型的临床嵌入(C-ELMo)和临床上下文字符串嵌入(C-Flair)。显式实验表明,我们的模型获得了显着的改善相比,静态词嵌入和域通用语言模型。
2021-06-23 cs.CL q-bio.QM
Exploiting Task-Oriented Resources to Learn Word Embeddings for Clinical Abbreviation Expansion
Rensselaer Polytechnic Institute(伦斯勒理工学院);Peking University(北京大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
在医学领域,识别和扩展临床文本中的缩略语对于更好的人类和机器理解都是一项重要任务。这是一项具有挑战性的任务,因为许多缩写是模糊的,特别是重症监护医学文本,其中短语缩写经常使用。除了没有通用的临床缩略语词典和缩略语写作的通用规则之外,这样的文本很难获得,注释昂贵,甚至有时会让领域专家感到困惑。本文提出了一种新颖有效的方法--利用面向任务的资源来学习词嵌入,以扩展临床笔记中的缩略语。我们实现了82.27%的准确率,接近专家的人类表现。
2018-04-11 cs.AI cs.CL
Understanding patient complaint characteristics using contextual clinical BERT embeddings
Medius Health
在临床会话应用中,所提取的实体倾向于捕获患者的主诉的主要主题,即症状或疾病。然而,他们大多未能认识到投诉的特征,如时间,发病和严重程度。例如,如果输入是“我头痛,而且很严重”,那么最先进的模型仅识别主要症状实体-头痛,但忽略表征头痛的“严重”的严重性因素。在本文中,我们设计了一个两阶段的方法来检测实体的特征,如一般用户在上下文中,他们会描述他们的症状,临床医生提出的症状。我们使用Word 2 Vec和BERT对患者提供的临床文本进行编码。我们转换输出并将任务重新构建为多标签分类问题。最后,我们将处理后的编码与线性判别分析(LDA)算法相结合,对主要实体的特征进行分类。实验结果表明,我们的方法实现了40-50%的提高的准确性比国家的最先进的模型。
2020-02-14 cs.CL
Comparative Analysis of LoRA-Adapted Embedding Models for Clinical Cardiology Text Representation
University of Nevada Las Vegas(内华达大学拉斯维加斯分校);Concorde Career Colleges(康科德职业学院)
本研究通过LoRA微调比较了多种嵌入模型在心脏病文本表示中的性能,发现仅编码器架构在领域特定表现上优于更大解码器模型,并提供了临床NLP开发的实用指导。
2025-11-24 cs.CL cs.LG
CardioEmbed: Domain-Specialized Text Embeddings for Clinical Cardiology
University of Nevada Las Vegas, Department of Neuroscience(内华达大学拉斯维加斯分校神经科学系);Concorde Career Colleges, Department of Cardiovascular and Medical Diagnostic Sonography(康科德职业学院心血管与医学诊断超声系)
针对现有生物医学文本嵌入因依赖PubMed研究文献、与临床心脏病学依赖教材的需求存在差距的问题,本研究基于Qwen3-Embedding-8B训练领域专用模型CardioEmbed,在心脏病学教材语料上通过对比学习训练,显著提升了临床心脏病学语义检索性能及相关医学基准测试表现。
2025-11-14 cs.CL cs.LG
Learning Contextual Hierarchical Structure of Medical Concepts with Poincairé Embeddings to Clarify Phenotypes
Harvard Medical School(哈佛医学院)
生物医学关联研究越来越多地使用临床概念,特别是来自临床数据库的诊断代码作为表型。临床概念可以使用词嵌入模型在有意义的向量空间中表示。这些嵌入允许临床概念之间的比较或直接输入到机器学习模型。使用传统的方法,良好的表示需要高维度,使下游任务,如可视化更加困难。我们将庞加莱嵌入在2维双曲空间中应用于大型行政索赔数据库,并显示出与欧几里得空间中的100维嵌入相当的性能。然后,我们研究不同疾病背景下的疾病关系,以更好地了解潜在的表型。
2018-11-03 cs.CL q-bio.QM
An Empirical Study of UMLS Concept Extraction from Clinical Notes using Boolean Combination Ensembles
University of Minnesota(明尼苏达大学);Dartmouth College(达特茅斯学院);Mayo Clinic(梅奥诊所);The University of Texas Health Science Center(德克萨斯大学健康科学中心)
我们在这项研究中的目标是调查布尔运算符的行为,结合注释输出从多个自然语言处理(NLP)系统跨多个语料库,并评估如何过滤聚合的统一医学语言系统(UMLS)元词库概念影响系统性能的命名实体识别(NER)的UMLS概念。我们使用了三个注释UMLS概念的语料库:2010 i2 b2 VA挑战集(31,161个注释),多源临床问题集成平台(MiPACQ)语料库(17,457个注释,包括UMLS概念唯一标识符)和Fairview Health Services语料库(44,530个注释)。我们的研究结果表明,对于UMLS概念匹配,布尔集成的MiPACQ语料库倾向于更高的性能超过个别系统。使用近似网格搜索可以帮助优化精确度-召回率权衡,并且可以提供一组用于选择最佳集合的算法。
2021-08-04 cs.CL
Effective Feature Representation for Clinical Text Concept Extraction
Roam Analytics;Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
关于医疗保健实践的关键信息仅以自由形式的文本记录,这为高影响力的NLP创造了巨大的机会。然而,带注释的医疗数据集往往很小,而且获取成本很高,这就提出了如何最有效地利用可用数据的问题。为此,我们开发了一个LSTM-CRF模型,用于将来自公共医疗保健本体的无监督单词表示和手工构建的特征表示相结合。我们表明,这种组合模型在五种不同类型的医疗保健文本(临床,社会,科学,商业)的数据集上具有优异的性能。每一个都涉及到复杂的标签,多词跨度,挑选出不同的医疗保健概念。我们还介绍了一种新的标记数据集,用于识别药物和疾病之间的治疗关系。
2019-04-05 cs.CL
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
最近,医学概念的分布式表示已被用于支持下游临床任务。电子健康记录(EHR)捕捉患者医院遭遇的不同方面,并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而,相同的医学概念可以以不同的模态记录(例如,临床记录、实验室结果)-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此,我们提出的方法利用元嵌入,从学习的嵌入聚合的嵌入。首先,每个医学概念的模态特定嵌入是用图自编码器学习的。然后,所有嵌入的集合被建模为元嵌入学习问题,以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明,与最先进的嵌入模型相比,我们的模型有所改进,从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Mapping Unparalleled Clinical Professional and Consumer Languages with Embedding Alignment
Massachusetts Institute of Technology(麻省理工学院)
将专业但《双城之战》晦涩难懂的临床术语映射并翻译成消费者语言对改善医患沟通至关重要。研究人员使用现有的生物医学本体和消费者健康词汇词典来进行语言之间的翻译。然而,这样的方法是有限的专家努力手动建立的字典,这是很难被推广和可扩展的。在这项工作中,我们利用嵌入对齐方法在无与伦比的临床专业和消费者语言嵌入之间进行词映射。为了将语义相似的词映射到两个不同的词嵌入中,我们首先在具有丰富的临床专业术语的语料库和主要具有医疗保健消费者术语的语料库上独立地训练词嵌入。然后,我们通过Procrustes算法对齐嵌入。我们还研究了对抗训练与细化的方法。我们通过计算模型精度和人工定性判断来评估相似词检索比对的质量。我们表明,Procrustes算法可以用于专业消费者语言嵌入对齐,而对抗训练与细化可能会发现两种语言之间的一些关系。
2018-06-25 cs.CL cs.LG stat.ML
TF-IDF vs Word Embeddings for Morbidity Identification in Clinical Notes: An Initial Study
University of Cagliari(卡利亚里大学);Philips Research(飞利浦研究院)
今天,我们看到越来越多的临床笔记,其中包含临床结果,图像和患者健康状态的文本描述。所有这些数据都可以被分析和利用,以提供新的服务,帮助人们和领域专家完成他们的共同医疗任务。然而,许多技术(如深度学习)和工具(如词嵌入)直到最近才开始研究,并且在医疗领域应用中仍然存在许多挑战。为了应对这些挑战,我们提出使用深度学习和词嵌入来识别临床记录的文本描述中的16种发病类型。为此,我们使用了基于双向长短期记忆(LSTM)层的深度学习模型,该模型可以利用最先进的数据向量表示,如词嵌入。我们采用了预先训练的词嵌入,即GloVe和Word 2 Vec,以及我们自己在目标域上训练的词嵌入。此外,我们使用支持向量机和多层感知器(我们的基线)将深度学习方法的性能与传统的tf-idf进行了比较。从获得的结果来看,后者似乎优于使用任何词嵌入的深度学习方法的组合。我们的初步结果表明,有一些特定的特征使数据集偏向于传统的机器学习方法。
2021-06-09 cs.CL cs.LG
Hurtful Words: Quantifying Biases in Clinical Contextual Word Embeddings
University of Toronto(多伦多大学);Vector Institute(向量研究所);Massachusetts Institute of Technology(麻省理工学院)
在这项工作中,我们研究了嵌入可能在多大程度上以不同的方式对边缘化人群进行编码,以及这可能如何导致偏见的延续和临床任务的表现恶化。我们在MIMIC-III医院数据集的医疗记录上预训练深度嵌入模型(BERT),并使用两种方法量化潜在的差异。首先,我们确定危险的潜在关系,所捕获的上下文词嵌入使用一个填空的方法与文本从真正的临床笔记和日志概率偏差得分量化。其次,我们评估了50多个下游临床预测任务(包括急性和慢性疾病的检测)中不同公平性定义的性能差距。我们发现,从BERT表示训练的分类器表现出统计上的显着差异的性能,往往有利于大多数群体的性别,语言,种族和保险状况。最后,我们探讨了使用对抗性去偏置来混淆上下文词嵌入中的子组信息的缺点,并推荐了临床环境中这种深度嵌入模型的最佳实践。
2020-03-11 cs.CL cs.CY cs.LG
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley(加州大学伯克利分校)
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT(Alsentzer等人,2019年)。嵌入和文本增强以及标签平衡,以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测(Keyang Xu,et.(见上文)在F1得分为0.76的情况下,我们实现了0.75的最终F1得分,但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Using Distributed Representations to Disambiguate Biomedical and Clinical Concepts
University of Antwerp(安特卫普大学);University of Groningen(格罗宁根大学)
在本文中,我们报告了一个基于知识的方法,词义消歧领域的生物医学和临床文本。我们结合词表示上创建的大型语料库与少量的定义,从UMLS创建概念表示,然后我们比较表示的背景下的模糊术语。不使用关系信息,我们获得了与MSH-WSD数据集上以前的方法相当的性能,MSH-WSD数据集是生物医学领域中众所周知的数据集。此外,我们的方法是快速和易于设置和扩展到其他领域。补充材料,包括源代码,可以在https://github.com/clips/yarn上找到
2016-08-19 cs.CL
Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings
Transilvania University of Brasov(布拉索夫Transilvania大学);Siemens Healthineers(西门子医疗)
面向 BioASQ MultiCardioNER,本研究评估多种通用领域单语与多语言 BERT 模型,用于英、西、意三语心脏病学文本的疾病和药物 NER,并在四个子任务上超过排行榜平均与中位 F1。
2025-10-20 cs.CL
Comparing representations of long clinical texts for the task of patient note-identification
Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);Data Science Platform, Imagine Institute(伊马金研究所数据科学平台);Hôpital Universitaire Necker-Enfants Malades(内克尔-恩范茨-马拉德大学医院);Assistance Publique - Hôpitaux de Paris (APHP)(巴黎公共医疗援助医院集团);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室);INESC-ID(里斯本大学学院计算机与系统工程研究中心);Instituto Superior Técnico(里斯本高等技术学院);Universidade de Lisboa(里斯本大学)
本文针对患者笔记识别任务,比较了HAN、HTN、LongFormer及BERT等嵌入方法与池化策略,发现BERT结合mean_max池化在处理长临床文本和捕捉患者级表示上效果最优,并在MIMIC和Necker数据上验证了泛化性。
2025-03-31 cs.CL
Med-gte-hybrid: A contextual embedding transformer model for extracting actionable information from clinical texts
Hahn-Schickard(哈恩-席卡德);University of Freiburg(弗莱堡大学)
Med-gte-hybrid通过结合对比学习和去噪自动编码器,改进了临床文本信息提取,提升了患者分层和文本检索性能。
2025-12-01 cs.AI cs.CL
Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension
College of Medicine, University of Florida(佛罗里达大学医学院);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
本文提出统一的基于提示的机器阅读理解架构,同时解决临床概念抽取与关系抽取,在两个n2c2基准数据集上取得最优性能,并展现出良好的跨机构迁移能力。
2023-03-14 cs.CL
Embedding Electronic Health Records for Clinical Information Retrieval
ETH Zurich(苏黎世联邦理工学院);Brown University(布朗大学)
神经网络表示学习框架最近已被证明在广泛的任务中非常有效,从射线照相解释到数据驱动的诊断到临床决策支持。这种通常卓越的性能是以急剧增加的训练数据需求为代价的,而这些需求在每个给定的机构或场景中都不能得到满足。作为对抗这种数据稀疏效应的一种手段,远程监督通过依赖于相关的、资源丰富的任务来训练,从而消除了对稀缺的域内数据的需求。本研究提出了一种端到端的神经临床决策支持系统,该系统通过对众所周知的MIMIC-III集合(丰富的资源)进行远程监督,为个体患者(可用资源很少)推荐相关文献。我们的实验表明,显着改善传统的统计以及纯粹的本地监督检索模型的检索效果。
2018-11-13 cs.CL cs.IR
Clinical Text Generation through Leveraging Medical Concept and Relations
Seoul National University(首尔大学)
本研究以神经序列产生模式为基础,提出一种书写病人简短病史的临床文本的方法。作为一个概念的证明,我们已经证明,它可以在临床文本生成中使用医学概念嵌入是可行的。我们的模型基于Sequence-to-Sequence架构,并使用大量去识别的临床文本数据进行训练。定量结果表明,我们的概念嵌入方法减少了基线架构的困惑。此外,我们还讨论了由医生进行的人体评价的分析结果。
2019-10-02 cs.AI cs.CL
Application of Clinical Concept Embeddings for Heart Failure Prediction in UK EHR data
University College London(伦敦大学学院)
电子健康记录(EHR)越来越多地用于构建疾病风险预测模型。然而,EHR数据的特征工程是具有挑战性的,由于其高度的维度和异构性。EHR数据的低维表示可以潜在地缓解这些挑战。在本文中,我们使用全局向量(GloVe)学习词嵌入的诊断和程序记录使用13万本体术语在270万住院在英国国家电子病历。我们证明了这些嵌入的效用,通过评估他们的表现,在确定患者的风险较高的充血性心力衰竭住院治疗。我们的研究结果表明,嵌入可以创建强大的EHR衍生疾病风险预测模型,并解决与手动临床特征工程相关的一些限制。
2018-11-28 cs.CL cs.LG stat.ML
Medical Concept Normalization in User Generated Texts by Learning Target Concept Embeddings
NIT Trichy(蒂鲁吉拉伯利国家理工学院)
医学概念规范化有助于在自由形式的文本中发现标准概念,即,将与健康相关的提及映射到词汇表中的标准概念。它远远超出了简单的字符串匹配,需要对概念提及有深入的语义理解。最近的研究方法的概念规范化,无论是文本分类或文本匹配。现有的文本分类方法的主要缺点是:a)在学习输入概念提及表示时忽略了有价值的目标概念信息; b)文本匹配方法需要单独生成目标概念嵌入,这是耗时和资源消耗的。我们提出的模型克服了这些缺点,共同学习的表示输入概念提及和目标概念。首先,它使用RoBERTa学习输入概念提及表示。其次,它发现输入概念提及的嵌入与所有目标概念之间的余弦相似性。在这里,目标概念的嵌入是随机初始化的,然后在训练过程中更新。最后,将余弦相似度最大的目标概念分配给输入概念提及。我们的模型通过将准确率提高到2.31%,超过了三个标准数据集上的所有现有方法。
2020-06-07 cs.CL
Embedding Learning Through Multilingual Concept Induction
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们提出了一种新的方法来估计词的向量空间表示:嵌入学习的概念归纳。我们在高度并行的语料库上测试了这种方法,并在单个公共空间中学习了1259种不同语言的单词的语义表示。一个广泛的实验评估跨语言词相似度和情感分析表明,基于概念的多语言嵌入学习比以前的方法表现更好。
2018-06-27 cs.CL
Knowledge Graph Embeddings for Multi-Lingual Structured Representations of Radiology Reports
University of Amsterdam(阿姆斯特丹大学)
提出一种轻量级基于图的放射学报告嵌入方法,通过多语言SNOMED知识库连接医学术语,在疾病分类和图像分类任务中表现优异且模型规模与数据需求更小。
2023-09-14 cs.AI cs.CL
Customizing Knowledge Graph Embedding to Improve Clinical Study Recommendation
Novartis(诺华)
使用知识图谱嵌入从临床试验中推断知识是一个新兴的领域。然而,为不同的用例定制图嵌入仍然是一个重大的挑战。我们提出了custom 2 vec,一个算法框架,通过在训练嵌入中加入用户偏好来定制图嵌入。它通过添加从单独的信息检索方法的手动审查结果派生的自定义节点和链接来捕获用户首选项。我们提出了一个联合学习目标,以保留原始的网络结构,同时结合用户的自定义注释。我们假设自定义训练提高了用户预期的预测,例如,在链接预测任务中。我们通过两种定制方案证明了custom 2 vec在非小细胞肺癌(NSCLC)相关临床试验中的有效性:推荐评估PD-1抑制剂的免疫肿瘤学试验,以及探索将新疗法与标准治疗进行比较的类似试验。结果表明,自定义2 vec训练比传统的训练方法取得了更好的性能。我们的方法是一种自定义知识图谱嵌入并实现更准确的推荐和预测的新方法。
2022-12-28 cs.AI cs.CL cs.CY