Fine-Tuning LLMs on Small Medical Datasets: Text Classification and Normalization Effectiveness on Cardiology reports and Discharge records
Institute of Medical Informatics(医学信息学研究所);University of Münster(明斯特大学)
本研究证明在小型医学数据集上微调小型LLM,可在文本分类和命名实体识别中达到与大型模型相当的性能,仅需200-300个训练样本,有助于自动化临床工作流。
2025-03-27 cs.CL cs.LG
Generalizing over Long Tail Concepts for Medical Term Normalization
University of Udine(乌迪内大学);Bayer Pharmaceuticals(拜耳制药);The Hong Kong Polytechnic University(香港理工大学);University of Naples Federico II(那不勒斯费德里科二世大学)
医学术语规范化包括将一段文本映射到大量的输出类。考虑到标注数据集的小尺寸和概念的极端长尾分布,开发能够概括到稀缺或看不见的概念的模型是至关重要的。大多数目标本体的一个重要属性是它们的层次结构。在本文中,我们介绍了一个简单而有效的学习策略,利用这些信息来提高判别和生成模型的泛化能力。评估结果表明,所提出的策略产生国家的最先进的性能上看到的概念和一致的改进看不见的,也允许有效的zero-shot跨文本类型和数据集的知识转移。
2022-11-03 cs.AI cs.CL cs.IR
Efficiently Assemble Normalization Layers and Regularization for Federated Domain Generalization
Department of Computer Science and Engineering, University of Notre Dame(Notre Dame 大学计算机科学与工程系);College of Engineering and Computer Science, VinUniversity(Vin大学工程与计算机科学学院);Open Distributed Systems, Technical University Berlin(柏林技术大学开放分布式系统)
gPerXAN通过个性化规范化和引导正则化实现联邦域泛化的高效组装,提升模型在域偏移下的泛化能力。
2026-02-16 cs.CV cs.LG
A Lie Group Approach to Riemannian Batch Normalization
University of Trento(特伦托大学);University of Louisville(路易斯维尔大学)
本文提出一个基于李群的统一黎曼批量归一化框架,适用于对称正定流形,通过参数化李群族诱导归一化层,在雷达识别、动作识别和EEG分类中验证了有效性。
2024-03-17 cs.AI cs.LG cs.MS
Medical Concept Normalization in User Generated Texts by Learning Target Concept Embeddings
NIT Trichy(蒂鲁吉拉伯利国家理工学院)
医学概念规范化有助于在自由形式的文本中发现标准概念,即,将与健康相关的提及映射到词汇表中的标准概念。它远远超出了简单的字符串匹配,需要对概念提及有深入的语义理解。最近的研究方法的概念规范化,无论是文本分类或文本匹配。现有的文本分类方法的主要缺点是:a)在学习输入概念提及表示时忽略了有价值的目标概念信息; b)文本匹配方法需要单独生成目标概念嵌入,这是耗时和资源消耗的。我们提出的模型克服了这些缺点,共同学习的表示输入概念提及和目标概念。首先,它使用RoBERTa学习输入概念提及表示。其次,它发现输入概念提及的嵌入与所有目标概念之间的余弦相似性。在这里,目标概念的嵌入是随机初始化的,然后在训练过程中更新。最后,将余弦相似度最大的目标概念分配给输入概念提及。我们的模型通过将准确率提高到2.31%,超过了三个标准数据集上的所有现有方法。
2020-06-07 cs.CL
Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization
Zhengzhou University(郑州大学)
针对中文生物医学实体标准化任务在少样本场景下的性能短板及知识库利用不足问题,提出含五阶段的知识注入提示学习方法,在基准数据集的少样本和全量场景下均优于现有基线。
2023-08-23 cs.CL
xMEN: A Modular Toolkit for Cross-Lingual Medical Entity Normalization
Hasso Plattner Institute for Digital Engineering (HPI)(哈索·普拉特纳数字工程研究所(HPI));University of Potsdam(波茨坦大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本文提出xMEN模块化工具包,通过跨语言候选生成和弱监督交叉编码器排序,在低资源多语言场景下提升医学实体归一化性能,并支持可复现基准测试。
2023-10-17 cs.CL
Extracting Radiological Findings With Normalized Anatomical Information Using a Span-Based BERT Relation Extraction Model
University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
医学成像对于诊断和治疗许多医学问题至关重要,包括许多形式的癌症。医学成像报告提取放射科医生的发现和观察结果,创建非结构化医学图像的非结构化文本表示。这种文本编码信息的大规模使用需要将非结构化文本转换为结构化的语义表示。我们探讨的提取和规范化的放射学报告中的解剖信息,是与放射学的发现。我们调查这个提取和规范化的任务,使用基于跨度的关系抽取模型,共同提取实体和关系,使用BERT。这项工作探讨了影响提取和归一化性能的因素,包括身体部位/器官系统,发生频率,跨度长度和跨度多样性。它讨论了提高性能和创建高质量的放射性现象的语义表示的方法。
2021-08-20 cs.CL
A multi-perspective combined recall and rank framework for Chinese procedure terminology normalization
East China University of Science and Technology(华东理工大学)
医学术语规范化旨在将临床提及映射到来自知识库的术语,这在分析电子健康记录(EHR)和许多下游任务中起着重要作用。本文主要研究汉语过程术语规范化问题。术语的表达是多种多样的,一个医学提及可能与多个术语相关联。以往的研究探索了多类分类和学习排序(LTR)等方法,根据文献和语义信息对术语进行分类。然而,这些信息不足以找到正确的术语,特别是在多重含义的情况下。在这项工作中,我们提出了一个结合召回和排名的框架来解决上述问题。该框架由多任务候选生成器(MTCG)、关键词关注排序器(KAR)和融合模块(FB)组成。MTCG被用来预测提及暗示数和具有语义相似度的召回候选项。KAR基于BERT,具有关键词关注机制,该机制关注手术部位和手术类型等关键词。FB融合了MTCG和KAR的相似性,从不同的角度对术语进行排序。详细的实验分析表明,我们提出的框架有显着的改善性能和效率。
2021-01-22 cs.CL cs.LG
Cross-lingual Candidate Search for Biomedical Concept Normalization
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
生物医学概念规范化将文本中提到的概念链接到生物医学知识库中的语义等效概念。这个任务是具有挑战性的,因为概念在自然语言中可以具有不同的表达,例如释义,其不一定全部存在于知识库中。非英语生物医学文本的概念规范化更具挑战性,因为非英语资源往往要小得多,包含的同义词更少。为了克服非英语术语的局限性,我们提出了一个跨语言的候选人搜索的概念规范化,使用基于字符的神经翻译模型训练的多语言生物医学术语。我们的模型使用西班牙语,法语,荷兰语和德语版本的UMLS进行训练。我们的模型的评估是在法国Quaero语料库上进行的,显示它优于CLEF eHealth 2015和2016的大多数团队。此外,我们还将Mantra的西班牙语、法语、荷兰语和德语版本与商业翻译进行了性能比较。我们的模型表现类似,但免费,可以在本地运行。这对于临床NLP应用尤其重要,因为医疗文档具有严格的隐私限制。
2018-05-04 cs.CL
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction
Optum AI
本文提出MedicalBench,一个用于评估大型语言模型在医疗概念提取中的表现的基准,重点在于隐含概念的提取和证据 grounding,通过多阶段流程构建数据集并定义两种互补的评估任务,揭示了隐含概念提取的挑战。
2026-10-22 cs.CL
PhonSenticNet: A Cognitive Approach to Microtext Normalization for Concept-Level Sentiment Analysis
Nanyang Technological University(南洋理工大学);Vellore Institute of Technology(韦洛尔理工学院)
随着当前社交媒体平台使用的激增,使用短文本(微文本)代替标准单词的趋势显著上升。微文本的使用在概念级情感分析中提出了相当大的性能问题,因为模型是在标准单词上训练的。本文讨论了将子符号(语音学)与符号(机器学习)人工智能耦合以将词汇外概念转换为标准词汇表形式的影响。使用Sorensen相似性算法计算语音距离。这样获得的语音上相似的调用概念然后被用来计算正确的极性值,这是以前被错误计算,因为存在的缩微文本。与早期模型相比,我们提出的框架将极性检测的准确性提高了6%。这也验证了微文本规范化是情感分析任务的必要先决条件的事实。
2019-04-24 cs.CL
MedConceptsQA: Open Source Medical Concepts QA Benchmark
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本研究推出开源医学概念问答基准MedConceptsQA,涵盖多类医学概念与三级难度,评估发现临床预训练大语言模型准确率接近随机猜测,GPT-4较其有27%-37%的绝对提升,为医学概念理解推理评估提供资源。
2024-05-14 cs.CL cs.LG
Medical Entity Linking using Triplet Network
IIT Kharagpur(印度理工学院卡拉格普尔分校);Excelra Knowledge Solutions Pvt Ltd(Excelra知识解决方案私人有限公司)
实体链接(或规范化)是文本挖掘中的一项重要任务,它将医学文本中提到的实体映射到给定知识库(KB)中的标准实体。这项工作在医学领域具有重要意义。它还可以用于合并不同的医学和临床本体。在本文中,我们围绕疾病的链接或正常化的问题。该任务分两个阶段执行:候选人生成和候选人评分。在本文中,我们提出了一种方法来排名的候选知识库条目的基础上,他们的相似性与疾病的提及。我们使用三重网络进行候选人排名。虽然现有的方法已经使用精心生成的筛子和外部资源的候选生成,我们引入了一个强大的和便携式的候选生成方案,不使用手工制作的规则。在标准基准NCBI疾病数据集上的实验结果表明,我们的系统比以前的方法有显着的优势。
2020-12-21 cs.AI cs.CL
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
最近,医学概念的分布式表示已被用于支持下游临床任务。电子健康记录(EHR)捕捉患者医院遭遇的不同方面,并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而,相同的医学概念可以以不同的模态记录(例如,临床记录、实验室结果)-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此,我们提出的方法利用元嵌入,从学习的嵌入聚合的嵌入。首先,每个医学概念的模态特定嵌入是用图自编码器学习的。然后,所有嵌入的集合被建模为元嵌入学习问题,以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明,与最先进的嵌入模型相比,我们的模型有所改进,从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Robust Benchmarking for Machine Learning of Clinical Entity Extraction
Massachusetts Institute of Technology(麻省理工学院);Massachusetts General Hospital(麻省总医院)
临床研究通常需要理解仅存在于自由文本临床笔记中的患者叙述的元素。为了将注释转换为结构化数据以供下游使用,通常提取这些元素并将其规范化为医学词汇表。在这项工作中,我们审计的性能,并指出国家的最先进的系统的改进领域。我们发现,2019年n2c2共享任务中临床实体标准化系统的高任务准确性具有误导性,并且潜在性能仍然脆弱。对于常见概念,归一化准确率很高(95.3%),但对于训练数据中看不到的概念,归一化准确率要低得多(69.3%)。我们证明,目前的方法是阻碍部分医学词汇的不一致,现有的标签模式的限制,和狭窄的评估技术。我们重新制定了临床实体提取的注释框架,以考虑这些问题,从而实现强大的端到端系统基准测试。我们从我们的新框架之间的两个注释器的注释一致性进行评估,并实现了0.73的Jaccard相似性实体识别和0.83的协议实体规范化。我们提出了一条前进的道路,以解决证明需要创建一个参考标准,以刺激实体识别和规范化的方法开发。
2020-07-31 cs.CL cs.LG
tmVar 3.0: an improved variant concept recognition and normalization tool
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院(NIH)国家医学图书馆(NLM)国家生物技术信息中心(NCBI));Baylor College of Medicine(贝勒医学院)
以前的研究表明,自动文本挖掘工具对于成功解锁大规模科学文献中的变异信息变得越来越重要。尽管过去进行了多次尝试,但现有工具的识别范围和精度仍然有限。我们提出了tmVar 3.0:一个改进的变体识别和规范化工具。与其前身相比,tmVar 3.0能够识别广泛的变体相关实体(例如,等位基因和拷贝数变体),并将属于文章中相同概念的不同变体提及分组以提高准确性。此外,tmVar3提供了额外的变异标准化选项,例如来自ClinGen等位基因登记处的等位基因特异性标识符。在三个独立的基准测试数据集上进行评估时,tmVar3在变体识别和标准化中的F测量准确率超过90%,表现出最先进的性能。tmVar3可免费下载。我们还使用tmVar3处理了整个PubMed和PMC,并在我们的FTP上发布了其注释。可用性:www.example.com
2022-04-07 cs.CL
MedRep: Medical Concept Representation for General Electronic Health Record Foundation Models
针对EHR基础模型难以处理词汇表外未见医学代码的问题,提出基于OMOP通用数据模型的医学概念表示MedRep,利用LLM提示和图本体丰富概念信息,在多种预测任务中优于基线模型并具备良好泛化能力。
2025-08-14 cs.AI cs.CL cs.LG
Medical Concept Embedding with Time-Aware Attention
Nankai University(南开大学);National University of Singapore(新加坡国立大学);National University Health System(新加坡国立大学卫生系统)
在电子病历(EMR)中嵌入医疗概念(如药物、程序和诊断代码)是医疗保健分析的核心。以往的医学概念嵌入工作将医学概念和电子病历分别作为词和文档。然而,这样的模型错过了EMR数据的时间性质。一方面,两个连续的医学概念并不表明它们在时间上是接近的,但它们之间的相关性可以通过时间间隔来揭示。另一方面,医学概念的时间范围通常变化很大(例如,\textit{common cold}和\textit{diabetes})。在本文中,我们建议将时间信息嵌入医疗代码。基于连续词袋模型,我们采用注意力机制为每个医学概念学习一个“软”时间感知的上下文窗口。通过聚类和最近邻搜索任务在公共和专有数据集上进行的实验证明了我们模型的有效性,表明它优于五个最先进的基线。
2018-06-06 cs.AI cs.CL
Generalizable and Scalable Multistage Biomedical Concept Normalization Leveraging Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
本研究利用大语言模型结合规则系统,通过生成替代措辞和修剪候选概念的两步方法,显著提升生物医学概念归一化性能,无需微调。
2024-05-24 cs.CL
Concept Extraction to Identify Adverse Drug Reactions in Medical Forums: A Comparison of Algorithms
CSIRO(联邦科学与工业研究组织)
社交媒体正在成为补充传统药物警戒方法的越来越重要的信息来源。为了识别潜在药物不良反应的信号,有必要首先识别社交媒体文本中的医学概念。大多数现有的研究使用基于词典的方法,这些方法没有独立于整体信号检测任务进行评估。我们比较了不同的方法来自动识别和规范化医疗论坛中的消费者评论中的医疗概念。具体来说,我们实现了几个流行的基于字典的方法在相关文献中,以及我们建议的方法的基础上,一个国家的最先进的机器学习方法的实体识别。MetaMap是一种流行的生物医学概念提取工具,被用作基线。我们的评价是在一个通用语料库的受控环境中进行的,该语料库是用概念注释的医学论坛帖子的集合,并与受控词汇(如MedDRA和SNOMED CT)相关联。据我们所知,我们的研究是第一个系统地研究流行的概念提取方法在不良反应信号检测领域的效果。我们表明,算法或控制词汇的选择对概念提取有显着影响,这将影响整个信号检测过程。我们还表明,我们提出的机器学习方法在识别不良反应和药物方面明显优于所有其他方法,即使在使用相对较小的注释文本集进行训练时也是如此。
2015-04-27 cs.AI cs.CL cs.IR
Understanding the Stability of Medical Concept Embeddings
Nanyang Technological University(南洋理工大学)
本文分析医学概念嵌入稳定性,发现低频概念同样高度稳定,并提出上下文词噪声程度这一与频率无关的影响因素。
2020-05-10 cs.CL
Medical Synonym Extraction with Concept Space Models
IBM T. J. Watson Research Lab(IBM T·J·沃森研究实验室)
本文提出了一种新的医学同义词抽取方法。我们的目标是将术语嵌入与医疗领域的知识整合到医疗保健应用中。我们的方法的一个优点是它是非常可扩展的。在超过100万个词对的数据集上的实验表明,该方法的性能大大优于基线方法。
2015-06-01 cs.CL
Bringing Semantic Structures to User Intent Detection in Online Medical Queries
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Baidu Research Big Data Lab(百度研究院大数据实验室);Tencent Medical AI Lab(腾讯医疗人工智能实验室);Tsinghua University(清华大学)
互联网通过网络搜索向患者提供无处不在的医疗信息,从而彻底改变了医疗保健。患者的健康状况、复杂的医疗信息需求在其医疗文本查询中被离散和隐含地表达出来。为了更好地捕捉用户的医疗相关信息搜索的聚焦画面,并摆脱他们的医疗保健信息访问策略的见解,这是具有挑战性的,但有益的,以检测结构化的用户意图,从他们的日常表达的医疗文本查询。我们引入了一个基于图形的配方,探索结构化的概念转换,有效的用户意图检测在医疗查询,其中每个节点代表一个医疗概念提到,每个有向边表示医疗概念的过渡。引入了一种基于多任务学习的深度模型来从用户查询中提取结构化语义转换,其中该模型共同提取词级医学概念提及以及短语级概念转换。一个定制的基于图形的相互转移损失函数的设计施加明确的约束,并进一步利用提到一个医学概念词的语义转换的含义的贡献。我们观察到一个8%的相对改善AUC和23%的覆盖率误差相对减少,通过比较所提出的模型与最佳基线模型的概念转换推理任务对现实世界的医疗文本查询。
2017-10-22 cs.CL
Clinical Text Generation through Leveraging Medical Concept and Relations
Seoul National University(首尔大学)
本研究以神经序列产生模式为基础,提出一种书写病人简短病史的临床文本的方法。作为一个概念的证明,我们已经证明,它可以在临床文本生成中使用医学概念嵌入是可行的。我们的模型基于Sequence-to-Sequence架构,并使用大量去识别的临床文本数据进行训练。定量结果表明,我们的概念嵌入方法减少了基线架构的困惑。此外,我们还讨论了由医生进行的人体评价的分析结果。
2019-10-02 cs.AI cs.CL
Computing Conceptual Distances between Breast Cancer Screening Guidelines: An Implementation of a Near-Peer Epistemic Model of Medical Disagreement
College of Computing, UNC Charlotte(北卡罗来纳大学夏洛特分校计算学院);School of Data Science, UNC Charlotte(北卡罗来纳大学夏洛特分校数据科学学院);Departments of Philosophy & Medical Education, U. of Central Florida(中佛罗里达大学哲学与医学教育系)
使用自然语言处理工具,我们调查了相同的决策问题-乳腺癌筛查的医疗指南中的建议的差异。我们发现,这些差异产生的知识带来的问题,由不同的医学社会,反映在概念词汇的不同群体的authors.The计算模型,我们建立和分析同意Garbayo提出的专家分歧的近同行的认知模型。尽管这篇文章是一个案例研究,侧重于一套准则,所提出的方法是广泛适用的。除了提出一种新的基于图的相似性模型比较文件的集合,我们进行了广泛的分析模型的性能。在一系列的几十个实验中,在三大类中,我们表明,在我们最好的模型的3-4个标准差的非常高的统计显著性水平,专家注释模型和我们的概念之间的高度相似性,自动创建的,计算模型不是偶然的。我们最好的模型达到了大约70%的相似度。我们还描述了这项工作的可能扩展。
2020-07-21 cs.CL cs.IR
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models
UC San Diego(加州大学圣地亚哥分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);VA San Diego Healthcare System(VA圣地亚哥医疗系统)
针对深度学习医学图像分类模型存在的虚假相关性导致泛化差、黑盒缺乏可解释性的问题,提出基于自然语言概念的新范式,通过GPT-4获取临床概念、视觉-语言模型转换特征,在8个数据集上验证了鲁棒性与可解释性优势。
2023-10-04 cs.CL cs.CV cs.LG
Biomedical term normalization of EHRs with UMLS
Vicomtech;UPV/EHU(巴斯克大学)
本文提出了一种新的原型,生物医学术语规范化的电子健康记录摘录与统一医学语言系统(UMLS)元词库。尽管设计上是多语言和跨语言的,但我们首先专注于处理西班牙语的临床文本,因为目前还没有针对这种语言和特定目的的工具。该工具基于Apache Lucene来索引Metathesaurus并从输入文本生成映射候选项。它使用IXA管道进行基本语言处理,并使用UKB工具包解决歧义。它已通过测量其协议MetaMap在两个英语-西班牙语平行语料库进行了评估。此外,我们提出了一个基于Web的界面的工具。
2018-05-24 cs.CL
Improving Broad-Coverage Medical Entity Linking with Semantic Type Prediction and Large-Scale Datasets
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
医学实体链接是识别和标准化非结构化文本中引用的医学概念的任务。大多数现有的方法采用三步方法:(1)检测提及,(2)生成候选概念列表,最后(3)从中挑选最佳概念。在本文中,我们探讨如何缓解候选概念的过度生成的问题,在候选生成模块,医学实体连接的研究最不足的组成部分。为此,我们提出MedType,一个完全模块化的系统,修剪出不相关的候选概念的基础上预测的语义类型的实体提及。我们将MedType整合到五个现成的工具包中,用于医疗实体链接,并证明它在多个基准数据集上持续提高实体链接性能。为了解决医学实体链接的注释训练数据的缺乏,我们提出了WikiMed和PubMedDS,两个大规模的医学实体链接数据集,并证明这些数据集上的预训练MedType进一步提高了实体链接性能。我们公开我们的源代码和数据集,用于医疗实体链接研究。
2021-08-22 cs.CL
Using graph transformation algorithms to generate natural language equivalents of icons expressing medical concepts
Université Paris 13, Sorbonne Paris Cité(巴黎第十三大学,索邦巴黎西岱);INSERM(法国国家健康与医学研究院);Sorbonne Universités, UPMC Univ Paris 06(索邦大学,UPMC巴黎第六大学)
图形语言解决了以综合方式传达医疗信息的需求。医学概念通过图标表达,传达关于患者当前状态或药物已知效果的快速视觉信息。为了提高视觉语言的可接受性和可用性,目前正在开发一个自然语言生成接口。在这种情况下,本文介绍了使用信息学方法-图变换-准备数据组成的概念在OWL-DL本体中使用的自然语言生成组件。OWL概念可以被认为是具有中心节点的星形图。该方法将其转换为表示自然语言短语的深层语义结构的图。这项工作可能是未来使用的其他情况下,本体概念必须映射到半形式化的自然语言表达式。
2014-09-26 cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory(Sber人工智能实验室)
医学实体抽取是医学文本处理的第一步。通常,医学EE是一个两步过程:命名实体识别(NER)和命名实体规范化(NEN)。我们提出了一种从电子健康记录(EHR)中进行医疗EE的新方法,作为一个单步多标签分类任务,通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标,以远程监督的方式进行端到端的训练。我们表明,我们的模型可以学习对足够频繁出现的实体进行泛化,从而为最频繁的实体实现人类级别的分类质量。我们的工作表明,医疗实体提取可以在没有人类监督的情况下进行端到端的提取,并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
SMI: Ontology-Grounded Semantic IDs for Hierarchy-Aware Medical Concept Representation
School of Electrical Engineering and Computer Science, Ohio University(俄亥俄大学电气与计算机工程学院);University of Southern California(南加利福尼亚大学);School of Computer Science, McGill University(麦吉尔大学计算机学院);Northwestern University(西北大学);University of Washington(华盛顿大学)
本研究针对生物医学LMs无法捕捉医学概念层次结构的问题,提出无需训练的SMI框架,通过聚合本体层级的LM嵌入生成层次感知医学概念表示,在MIMIC-IV、eICU等数据集上提升了多项临床任务性能。
2026-10-14 cs.AI cs.CL
On the Combined Use of Extrinsic Semantic Resources for Medical Information Search
Arab American University(阿拉伯美国大学);University of Lyon(里昂大学);University of Sharjah(沙迦大学)
编码在特定领域本体和其他医学语义资源中的语义概念和关系在解读医学查询和文档中的术语方面起着至关重要的作用。利用这些资源来解决语义鸿沟问题已经在文献中得到了广泛的研究。然而,存在阻碍其在现实世界应用中广泛使用的挑战。这些挑战之一是现有医学本体中单独编码的知识不足,当用户使用冗长的自然语言查询来表达他们的信息需求时,这种情况会被放大。在这种情况下,许多用户的查询条件是无法识别所使用的本体,或导致检索误报,降低当前的医疗信息搜索方法的质量。在这篇文章中,我们探索了在开发一个成熟的医学信息搜索框架时多个外部语义资源的组合,以:i)在详细的医疗查询中突出和扩展主要医疗概念(即,查询项中的对给定查询的信息性和意图有显著贡献的概念),ii)构建语义增强的倒排索引文档,iii)有助于查询文档匹配过程中的加权技术。为了证明所提出的方法的有效性,我们在CLEF eHealth 2014数据集上进行了多项实验。研究结果表明,所提出的方法相结合的几个外部语义资源被证明是更有效的比相关方法的精度措施。
2020-05-17 cs.CL cs.IR
Multi-domain Clinical Natural Language Processing with MedCAT: the Medical Concept Annotation Toolkit
King’s College London(伦敦国王学院);University College London(伦敦大学学院);Health Data Research UK(英国健康数据研究所);King’s College Hospital NHS Foundation Trust(国王学院医院国民保健服务基金会信托)
电子健康记录(EHR)包含大量非结构化文本,需要应用信息抽取(IE)技术来实现临床分析。我们提出了开源医学概念注释工具包(MedCAT),它提供:a)一种新的自监督机器学习算法,用于使用包括UMLS/SNOMED-CT在内的任何概念词汇提取概念; b)一个功能丰富的注释接口,用于定制和训练IE模型; c)集成到更广泛的CogStack生态系统中,用于与供应商无关的健康系统部署。我们在从开放数据集中提取UMLS概念方面表现出了改进的性能(F1:0.448-0.738 vs 0.429-0.650)。进一步的真实世界验证证明了伦敦3家大型医院的SNOMED-CT提取,其中自监督训练来自约1700万临床记录的约8.8B单词,并使用约6 K临床医生注释的示例进行进一步微调。我们在医院、数据集和概念类型之间显示出很强的可移植性(F1 > 0.94),这表明跨领域EHR不可知的实用性,可用于加速临床和研究用例。
2021-03-25 cs.AI cs.CL cs.LG
Polish -English Statistical Machine Translation of Medical Texts
Polish Japanese Institute of Information Technology(波兰日本信息技术学院)
这项新的研究探讨了各种训练方法对医学文本的波兰语到英语统计机器翻译系统的影响。OPUS项目的EMEA平行文本语料库的各种元素被用作短语表和语言模型的训练以及翻译系统的开发、调整和测试的基础。BLEU、NIST、METEOR、RIBES和TER指标已被用于评估各种系统和数据准备对翻译结果的影响。我们的实验包括使用POS标记,因子短语模型,层次模型,句法标记和许多不同的对齐方法的系统。我们还对波兰数据进行了深入分析,作为自动数据校正的准备工作,例如真正的大小写和标点符号规范化阶段。
2015-09-29 cs.CL cs.IR stat.ML
Clinical Concept Embeddings Learned from Massive Sources of Multimodal Medical Data
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Harvard Medical School(哈佛医学院);University of North Carolina School of Medicine(北卡罗来纳大学医学院)
词嵌入是一种流行的无监督学习词关系的方法,广泛用于自然语言处理。在这篇文章中,我们提出了一套新的嵌入医学概念的学习使用一个非常大的集合的多模态医疗数据。依靠最近的理论见解,我们展示了如何将一个拥有6000万成员的保险索赔数据库,2000万临床笔记的集合和170万篇全文生物医学期刊文章结合起来,将概念嵌入到一个公共空间中,从而产生了有史以来最大的108,477个医学概念的嵌入集。为了评估我们的方法,我们提出了一个新的基准方法,专门设计用于测试嵌入的医学概念的统计功率的基础上。我们的方法称为cui2vec,在大多数情况下相对于以前的方法具有最先进的性能。最后,我们提供了一组可下载的预训练嵌入供其他研究人员使用,以及一个在线工具,用于交互式探索cui2vec嵌入
2019-08-20 cs.AI cs.CL stat.ML
OntologyAligner: Ontology-Aligned Retrieval and Hierarchy-Guided Large Language Model Reranking for Biomedical Ontology Normalization
West China Hospital, Sichuan University(四川大学华西医院);Chengdu Medical College(成都医学院)
提出OntologyAligner三阶段框架,结合本体对齐检索、大语言模型重排序和层级引导精炼,并构建PhenoNormBench基准,在HPO标准化上取得最先进性能,且可移植至其他本体。
2026-09-10 cs.AI cs.CL
Use of 'off-the-shelf' information extraction algorithms in clinical informatics: a feasibility study of MetaMap annotation of Italian medical notes
Consiglio Nazionale delle Ricerche (CNR)(意大利国家研究委员会);Politecnico di Milano(米兰理工大学);Fondazione IRCCS Ca’ Granda Ospedale Maggiore Policlinico Milano(米兰大医院基金会)
从叙述性临床记录中提取信息抽取对于患者护理以及用于研究或临床目的的医学数据的二次使用是有用的。许多研究都集中在英文临床文本的信息抽取上,而对非英文临床笔记的研究较少。本研究测试了使用“现成的”信息抽取算法从意大利临床笔记中识别医学概念的可行性。我们使用MetaMap将医学概念映射到统一医学语言系统(UMLS)。该研究解决了两个问题:(Q1)了解是否有可能将临床笔记中发现的与“疾病”语义组相关的医学术语正确映射到意大利UMLS资源;(Q2)调查使用MetaMap从意大利临床笔记中提取这些医学概念是否可行。EXP 1中的结果表明,意大利UMLS元词库源覆盖了91%的“疾病”语义组的医学术语,如研究数据集中所发现的那样。即使MetaMap是为分析英文文本而构建的,它也能正常工作。MetaMap正确识别了意大利临床笔记中大约一半的概念。在意大利临床笔记上使用MetaMap的注释,而不是简单的文本搜索,使我们的结果提高了约15个百分点。MetaMap的查全率、查准率和F值分别为0.53、0.98和0.69。大多数失败是由于MetaMap无法生成意大利语有意义的变体。MetaMap在注释自动翻译的英文临床笔记方面的表现与文献中的结果一致,具有相似的召回率(0.75),F-测量(0.83)和更高的精确度(0.95)。
2021-04-02 cs.CL cs.IR
Learning Contextual Hierarchical Structure of Medical Concepts with Poincairé Embeddings to Clarify Phenotypes
Harvard Medical School(哈佛医学院)
生物医学关联研究越来越多地使用临床概念,特别是来自临床数据库的诊断代码作为表型。临床概念可以使用词嵌入模型在有意义的向量空间中表示。这些嵌入允许临床概念之间的比较或直接输入到机器学习模型。使用传统的方法,良好的表示需要高维度,使下游任务,如可视化更加困难。我们将庞加莱嵌入在2维双曲空间中应用于大型行政索赔数据库,并显示出与欧几里得空间中的100维嵌入相当的性能。然后,我们研究不同疾病背景下的疾病关系,以更好地了解潜在的表型。
2018-11-03 cs.CL q-bio.QM
UMCR: Universal Medical Concept Recognition through Guideline Integration and Agentic Linking
Polytechnique Montréal(蒙特利尔理工学院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
UMCR是一种通过指南整合与智能体链接实现的通用医学概念识别方法,可适配任意目标本体与源文本类型,在MedPath基准上表现出色,提升了医疗领域互操作性并降低对LLM记忆的依赖。
2026-10-14 cs.CL
DS4DH at #SMM4H 2023: Zero-Shot Adverse Drug Events Normalization using Sentence Transformers and Reciprocal-Rank Fusion
University of Geneva(日内瓦大学)
本研究针对SMM4H 2023共享任务5的Twitter药物不良事件归一化需求,提出BERT微调实体识别结合Sentence Transformers与倒数排名融合的零样本归一化两阶段方法,取得任务最优性能,验证了该方法的有效性与应用潜力。
2023-11-06 cs.CL
Finding Hidden Relationships Between Medical Concepts by Leveraging Metamap and Text Mining Techniques
Department of Computer Science, North Dakota State University(北达科塔州立大学计算机科学系);Department of Computer Science and Engineering, Daffodil International University(达芙妮国际大学计算机科学与工程系);Department of Computer Science and Engineering, University of North Texas(德克萨斯大学诺丁汉分校计算机科学与工程系)
提出一种结合MetaMap和文本挖掘的新模型,通过构建综合索引结构发现医学概念间的跨文档隐藏关联,实验验证了其有效性。
2026-04-30 cs.CL
Retrofitting Concept Vector Representations of Medical Concepts to Improve Estimates of Semantic Similarity and Relatedness
The University of Texas School of Biomedical Informatics at Houston(德克萨斯大学休斯顿生物医学信息学院);College of Computer and Information Science, Northeastern University(东北大学计算机与信息科学学院)
生物医学概念之间的语义相似性和相关性的估计对于许多信息学应用具有实用性。自动化方法分为两类:基于从文本语料库中提取的分布统计数据的方法,以及使用现有知识资源结构的方法。前一类的方法不考虑分类结构,而后者的方法不考虑语义相关的经验信息。在本文中,我们提出了一种使用UMLS元词典中的结构信息来改造生物医学概念的分布式上下文向量表示的方法,以便增强链接概念的向量表示之间的相似性。我们在UMNSRS基准上对其进行了评估。我们的研究结果表明,概念向量表示的改造导致更好的相关性与人类评分的相似性和相关性,超过了迄今为止报道的最佳结果。他们还证明了一个明显的改进性能的参考标准,改造矢量表示,相比那些没有改造。
2017-09-21 cs.CL
MedCAT -- Medical Concept Annotation Tool
King’s College London(伦敦国王学院);University College London(伦敦大学学院);NIHR Biomedical Research Centre at South London and Maudsley NHS Foundation Trust and King’s College London(英国国立卫生研究院生物医学研究中心(位于南伦敦和莫兹利 NHS 基金会信托与伦敦国王学院))
电子健康记录(EHR)等生物医学文档包含大量非结构化格式的信息。EHR中的数据是记录临床叙述和决策的非常有价值的资源,但是虽然文本可以很容易地被人类医生理解,但在研究和临床应用中使用却具有挑战性。为了揭示生物医学文档的潜力,我们需要提取和结构化它们所包含的信息。当前的任务是命名实体识别和链接(NER+L)。实体的数量,词语的模糊性,重叠和嵌套使得生物医学领域比许多其他领域更加困难。为了克服这些困难,我们开发了医学概念注释工具(MedCAT),这是NER+L的开源无监督方法。MedCAT使用无监督机器学习来消除实体的歧义。它在MIMIC-III(一个免费访问的重症监护数据库)和MedMentions(由统一医学语言系统注释的生物医学论文)上得到了验证。在NER+L的情况下,与现有工具的比较表明,MedCAT仅通过无监督学习改善了之前的最佳效果(疾病检测的F1=0.848 vs 0.691;一般概念检测的F1=0.710 vs 0.222)。MedCAT学习的向量嵌入的定性分析表明,它捕获了EHR(MIMIC-III)中的潜在医学知识。无监督学习可以提高大规模实体抽取的性能,但在处理少量实体和小数据集时存在一定的局限性。在这种情况下,选项是监督学习或主动学习,两者都通过MedCATtrainer扩展在MedCAT中得到支持。我们的方法可以检测和链接数百万种不同的生物医学概念,具有最先进…
2019-12-18 cs.CL cs.LG stat.ML
Incorporating Dictionaries into a Neural Network Architecture to Extract COVID-19 Medical Concepts From Social Media
Birkbeck, University of London(伦敦大学伯贝克学院);National Physical Laboratory(英国国家物理实验室)
本研究将小型领域词典融入神经网络,用于从社交媒体提取COVID-19医学概念,在论坛和推文数据上分别取得90%和81%的F1分数,证明词典能提升概念提取效果并增强模型迁移能力。
2023-09-05 cs.CL cs.SI
EHRmonize: A Framework for Medical Concept Abstraction from Electronic Health Records using Large Language Models
Duke University(杜克大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出EHRmonize框架,利用大语言模型从电子健康记录中自动抽象医学概念,在真实EHR用药数据上验证了GPT-4o等模型的高准确率,并将标注时间减少约60%,为临床数据协调提供了高效辅助工具。
2024-06-28 cs.CL
CBVLM: Training-free Explainable Concept-based Large Vision Language Models for Medical Image Classification
INESC TEC;NOVA LINCS;Universidade da Beira Interior(贝拉蒙特大学);Universidade do Porto(波尔图大学)
针对医学图像分类中标注数据稀缺与模型可解释性不足的问题,提出免训练的CBVLM方法,结合LVLM少样本能力与检索增强的概念瓶颈机制,在多数据集上性能优于现有方法且具备可解释性。
2025-10-06 cs.AI cs.CL cs.CV
Ontology-based Semantic Similarity Measures for Clustering Medical Concepts in Drug Safety
GlaxoSmithKline(葛兰素史克);London School of Hygiene and Tropical Medicine(伦敦卫生与热带医学院)
本研究针对药物警戒领域SSMs应用不足的问题,评估六种基于本体的SSMs对MedDRA PTs的聚类效果,开发高通量框架支持大规模计算,发现基于IC的方法聚类精度更优,为药物警戒工作流程优化提供支持。
2025-04-11 cs.CL
Knowledge-augmented Graph Neural Networks with Concept-aware Attention for Adverse Drug Event Detection
Aalto University(阿尔托大学)
针对现有药物不良事件文本检测方法未整合明确医学知识的问题,本研究引入统一医学语言系统知识增强异质文本图,提出概念感知注意力机制结合预训练嵌入与卷积图神经网络,在四个公开数据集上性能达先进水平且注意力机制更优。
2024-05-18 cs.CL
MMed-Bench-IR: A Heterogeneous Benchmark for Multilingual Medical Information Retrieval
Seoul National University(首尔国立大学);Seoul National University College of Medicine(首尔国立大学医学院);Seoul National University Hospital(首尔国立大学医院)
针对临床RAG的多语言检索需求,提出MMed-Bench-IR基准,涵盖跨语言对齐、概念区分和证据检索三种异构任务,评估6种语言下10个系统,发现生物医学编码器在英语与日语间性能差距巨大。
2026-06-24 cs.AI cs.CL cs.IR
Federated Learning of Medical Concepts Embedding using BEHRT
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对多中心EHR数据隐私限制导致模型训练困难的问题,提出基于BEHRT的联邦学习医学概念嵌入方法,在MIMIC-IV数据集上验证其性能接近集中式模型且优于本地模型,并证明预训练MLM能提升下游预测任务精度。
2023-05-22 cs.AI cs.CL cs.DC
MedGPT: Medical Concept Prediction from Clinical Narratives
Kings College London(伦敦国王学院);Kings College Hospital NHS Foundation Trust(国王学院医院国民保健服务基金会信托)
电子健康记录(EHR)中的可用数据提供了改变护理的机会,为一名患者提供更好护理的最佳方法是通过从所有其他患者的可用数据中学习。考虑到过去事件的顺序的患者病史的时间建模可以用于预测未来事件,例如新疾病的诊断或先前或现有疾病的并发症。虽然大多数预测方法主要使用EHR中的结构化数据或单域预测和结果的子集,但我们提出了MedGPT一种新的基于转换器的管道,该管道使用命名实体识别和链接工具(即MedCAT)来结构化和组织EHR的自由文本部分,并预测一系列未来的医疗事件(最初是疾病)。由于大部分EHR数据是文本形式的,因此这种方法受益于患者的粒度和详细视图,同时引入适度的额外噪声。MedGPT有效地处理了噪声和增加的粒度,并且在预测来自英国伦敦国王学院医院的真实世界医院数据(\textasciitilde 60万患者)的前1、3和5名候选未来疾病时,达到了0.344、0.552和0.640的精度(与LSTM 0.329、0.538和0.633相比)。我们还表明,我们的模型捕获医学知识,通过测试它的实验医学多项选择问答任务,并通过检查模型的注意力集中,使用基于梯度的显着性方法。
2021-07-07 cs.CL