Medical Concept Normalization in User Generated Texts by Learning Target Concept Embeddings
NIT Trichy（蒂鲁吉拉伯利国家理工学院）
医学概念规范化有助于在自由形式的文本中发现标准概念，即，将与健康相关的提及映射到词汇表中的标准概念。它远远超出了简单的字符串匹配，需要对概念提及有深入的语义理解。最近的研究方法的概念规范化，无论是文本分类或文本匹配。现有的文本分类方法的主要缺点是：a）在学习输入概念提及表示时忽略了有价值的目标概念信息; b）文本匹配方法需要单独生成目标概念嵌入，这是耗时和资源消耗的。我们提出的模型克服了这些缺点，共同学习的表示输入概念提及和目标概念。首先，它使用RoBERTa学习输入概念提及表示。其次，它发现输入概念提及的嵌入与所有目标概念之间的余弦相似性。在这里，目标概念的嵌入是随机初始化的，然后在训练过程中更新。最后，将余弦相似度最大的目标概念分配给输入概念提及。我们的模型通过将准确率提高到2.31%，超过了三个标准数据集上的所有现有方法。
2020-06-07 cs.CL
Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings
Pennsylvania State University（宾夕法尼亚州立大学）；RTX Technology Research Center（RTX技术研究中心）
针对医疗领域预训练成本高的问题，提出基于MLP对齐医疗知识图谱嵌入与预训练语言模型嵌入空间的方法，无需领域预训练即可提升开放域模型在医疗MRC任务上的性能。
2024-12-13 cs.CL
Enhancing PIO Element Detection in Medical Text Using Contextualized Embedding
IMRSV Data Labs（IMRSV数据实验室）
在本文中，我们探讨了一种新的方法，人口，干预和结果（PIO）元素检测，循证医学（EBM）的一个共同的任务。本研究的目的是双重的：建立一个训练数据集的PIO元素检测与最小的冗余和模糊性，并调查可能的选项，利用最先进的嵌入方法的PIO元素检测的任务。对于前一个目的，我们建立了一个新的和改进的数据集，通过调查以前发布的数据集的缺点。对于后者的目的，我们利用最先进的文本嵌入，双向编码器表示从Transformers（BERT），并建立一个多标签分类器。我们表明，选择特定于域的预训练嵌入进一步优化了分类器的性能。此外，我们表明，该模型可以通过使用集成的方法和增强技术，提供了充分选择的功能。
2019-06-26 cs.CL
Medical Synonym Extraction with Concept Space Models
IBM T. J. Watson Research Lab（IBM T·J·沃森研究实验室）
本文提出了一种新的医学同义词抽取方法。我们的目标是将术语嵌入与医疗领域的知识整合到医疗保健应用中。我们的方法的一个优点是它是非常可扩展的。在超过100万个词对的数据集上的实验表明，该方法的性能大大优于基线方法。
2015-06-01 cs.CL
Bringing Semantic Structures to User Intent Detection in Online Medical Queries
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Baidu Research Big Data Lab（百度研究院大数据实验室）；Tencent Medical AI Lab（腾讯医疗人工智能实验室）；Tsinghua University（清华大学）
互联网通过网络搜索向患者提供无处不在的医疗信息，从而彻底改变了医疗保健。患者的健康状况、复杂的医疗信息需求在其医疗文本查询中被离散和隐含地表达出来。为了更好地捕捉用户的医疗相关信息搜索的聚焦画面，并摆脱他们的医疗保健信息访问策略的见解，这是具有挑战性的，但有益的，以检测结构化的用户意图，从他们的日常表达的医疗文本查询。我们引入了一个基于图形的配方，探索结构化的概念转换，有效的用户意图检测在医疗查询，其中每个节点代表一个医疗概念提到，每个有向边表示医疗概念的过渡。引入了一种基于多任务学习的深度模型来从用户查询中提取结构化语义转换，其中该模型共同提取词级医学概念提及以及短语级概念转换。一个定制的基于图形的相互转移损失函数的设计施加明确的约束，并进一步利用提到一个医学概念词的语义转换的含义的贡献。我们观察到一个8%的相对改善AUC和23%的覆盖率误差相对减少，通过比较所提出的模型与最佳基线模型的概念转换推理任务对现实世界的医疗文本查询。
2017-10-22 cs.CL
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Northwestern University（西北大学）
最近，医学概念的分布式表示已被用于支持下游临床任务。电子健康记录（EHR）捕捉患者医院遭遇的不同方面，并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而，相同的医学概念可以以不同的模态记录（例如，临床记录、实验室结果）-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此，我们提出的方法利用元嵌入，从学习的嵌入聚合的嵌入。首先，每个医学概念的模态特定嵌入是用图自编码器学习的。然后，所有嵌入的集合被建模为元嵌入学习问题，以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明，与最先进的嵌入模型相比，我们的模型有所改进，从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University（乌得勒支大学）
临床词嵌入作为一种最先进的特征向量表示，广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功，但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别：精神障碍，性传播疾病和人格特质。在这种程度上，我们分析了两种不同的预训练嵌入，即（情境化）临床BERT和（非情境化）BioWordVec。我们发现，这两种嵌入都偏向于敏感的性别群体，但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外，我们的分析表明，临床嵌入进行了高度的偏见，一些医学术语和疾病，这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis（孟菲斯大学）；Adobe Research（奥多比研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
电子健康记录（EHR）中的临床记录提供了丰富的患者记录信息，以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而，现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中，我们提出了一个概念感知的无监督用户嵌入，共同利用文本文档和医学概念，从两个临床语料库，MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务，包括表型分类，在医院死亡率预测，病人检索，和病人的相关性。在两个临床语料库上的实验表明，我们的方法超过了无监督的基线，并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Temporal Self-Attention Network for Medical Concept Embedding
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）
在纵向电子健康记录（EHR）中，患者的事件记录分布在很长一段时间内，事件之间的时间关系反映了足够的领域知识，以利于预测任务，如住院死亡率。医学概念嵌入作为一种特征提取方法，将一组具有特定时间戳的医学概念转换为向量，该向量将被馈送到监督学习算法中。嵌入的质量显著地决定了对医学数据的学习性能。在本文中，我们提出了一种基于应用自我注意力机制来表示每个医学概念的医学概念嵌入方法。我们提出了一种新的注意力机制，它捕获的上下文信息和医学概念之间的时间关系。一个轻量级的神经网络，“时间自我注意力网络（TeSAN）"，然后提出学习医学概念嵌入的基础上提出的注意力机制。为了测试我们提出的方法的有效性，我们对两个公共EHRs数据集进行了聚类和预测任务，将TeSAN与五种最先进的嵌入方法进行了比较。实验结果表明，所提出的TeSAN模型优于所有比较方法。据我们所知，这项工作是第一次利用时间的自我注意的关系之间的医疗事件。
2019-09-15 cs.CL cs.LG
Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language
University of Turin（都灵大学）
词嵌入在当今的自然语言处理任务和应用中扮演着重要的角色。虽然预先训练的模型可以直接使用并集成到现有的管道中，但它们通常会进行微调，以更好地适应特定的语言或领域。在本文中，我们试图通过结合对比学习（CL）和知识图谱嵌入（KGE）来提高意大利医学领域未覆盖利基中的可用嵌入。主要目标是提高医学术语之间语义相似度的准确性，这也被用作一个评估任务。由于意大利语缺乏医学文本和受控词汇，我们已经开发了一个特定的解决方案，结合现有的CL方法（多相似性损失，上下文，动态采样）和KGE的集成，创建一个新的变体的损失。虽然没有超过以多语言模型为代表的最新技术水平，但所获得的结果令人鼓舞，与初始模型相比，性能有了显着的飞跃，同时使用的数据量显着减少。
2022-11-09 cs.CL cs.LG
Medical Concept Embedding with Time-Aware Attention
Nankai University（南开大学）；National University of Singapore（新加坡国立大学）；National University Health System（新加坡国立大学卫生系统）
在电子病历（EMR）中嵌入医疗概念（如药物、程序和诊断代码）是医疗保健分析的核心。以往的医学概念嵌入工作将医学概念和电子病历分别作为词和文档。然而，这样的模型错过了EMR数据的时间性质。一方面，两个连续的医学概念并不表明它们在时间上是接近的，但它们之间的相关性可以通过时间间隔来揭示。另一方面，医学概念的时间范围通常变化很大（例如，\textit{common cold}和\textit{diabetes}）。在本文中，我们建议将时间信息嵌入医疗代码。基于连续词袋模型，我们采用注意力机制为每个医学概念学习一个“软”时间感知的上下文窗口。通过聚类和最近邻搜索任务在公共和专有数据集上进行的实验证明了我们模型的有效性，表明它优于五个最先进的基线。
2018-06-06 cs.AI cs.CL
Improving Broad-Coverage Medical Entity Linking with Semantic Type Prediction and Large-Scale Datasets
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
医学实体链接是识别和标准化非结构化文本中引用的医学概念的任务。大多数现有的方法采用三步方法：（1）检测提及，（2）生成候选概念列表，最后（3）从中挑选最佳概念。在本文中，我们探讨如何缓解候选概念的过度生成的问题，在候选生成模块，医学实体连接的研究最不足的组成部分。为此，我们提出MedType，一个完全模块化的系统，修剪出不相关的候选概念的基础上预测的语义类型的实体提及。我们将MedType整合到五个现成的工具包中，用于医疗实体链接，并证明它在多个基准数据集上持续提高实体链接性能。为了解决医学实体链接的注释训练数据的缺乏，我们提出了WikiMed和PubMedDS，两个大规模的医学实体链接数据集，并证明这些数据集上的预训练MedType进一步提高了实体链接性能。我们公开我们的源代码和数据集，用于医疗实体链接研究。
2021-08-22 cs.CL
A Method to Learn Embedding of a Probabilistic Medical Knowledge Graph: Algorithm Development
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Yidu Cloud Technology Inc（医渡云技术有限公司）；College of Computer Science, Chongqing University（重庆大学计算机学院）；Southwest Hospital（西南医院）；Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；School of Science, Beijing Jiaotong University（北京交通大学理学院）
本文提出了一种基于医学知识的嵌入向量学习算法PrTransH。从真实世界的电子病历数据中嵌入医学知识图谱的独特挑战是知识三元组的不确定性模糊了“正确三元组”和“错误三元组”之间的边界，改变了许多现有算法的基本假设。为解决这一问题，对现有的TransH算法进行了改进，包括：1）将医学知识三元组的概率引入训练目标; 2）将基于边缘的排序损失替换为同时考虑有效三元组和受损三元组的统一损失计算; 3）在训练数据集上增加医学背景知识。在基于医学知识图谱的真实电子病历数据上的验证表明，PrTransH算法在链接预测任务上优于TransH算法.本文是第一篇在概率知识图谱上学习和验证知识嵌入的论文。
2020-11-08 cs.AI cs.CL
Exploiting Sentence Embedding for Medical Question Answering
Tsinghua University（清华大学）；iFlytek Research（讯飞研究院）
尽管词嵌入取得了巨大的成功，但句子嵌入仍然是一个没有很好解决的问题。在本文中，我们提出了一个监督学习框架，利用句子嵌入的医疗问答任务。学习框架由两个主要部分组成：1）一个句子嵌入产生模块，和2）一个评分模块。前者是通过上下文自注意和多尺度技术将句子编码为嵌入张量而开发的。这个模块简称为上下文自我注意多尺度句子嵌入（CAMSE）。后者采用两种评分策略：语义匹配评分（SMS）和语义关联评分（SAS）。SMS测量相似性，而SAS捕获句子对之间的关联：一个医学问题与一个候选选择相连接，以及一个相应的支持证据。建议的框架是由两个医疗问答（MedicalQA）数据集，这是从现实世界中的应用程序：医疗考试和临床诊断的基础上，电子病历（EMR）。比较结果表明，我们提出的框架取得了显着的改进相比，竞争力的基线方法。此外，本文还通过一系列的对照实验，说明了多尺度策略和语境自注意层在产生有效的句子嵌入中的重要作用，以及两种评分策略在问答问题中的互补性。
2018-11-15 cs.AI cs.CL cs.LG
Using graph transformation algorithms to generate natural language equivalents of icons expressing medical concepts
Université Paris 13, Sorbonne Paris Cité（巴黎第十三大学，索邦巴黎西岱）；INSERM（法国国家健康与医学研究院）；Sorbonne Universités, UPMC Univ Paris 06（索邦大学，UPMC巴黎第六大学）
图形语言解决了以综合方式传达医疗信息的需求。医学概念通过图标表达，传达关于患者当前状态或药物已知效果的快速视觉信息。为了提高视觉语言的可接受性和可用性，目前正在开发一个自然语言生成接口。在这种情况下，本文介绍了使用信息学方法-图变换-准备数据组成的概念在OWL-DL本体中使用的自然语言生成组件。OWL概念可以被认为是具有中心节点的星形图。该方法将其转换为表示自然语言短语的深层语义结构的图。这项工作可能是未来使用的其他情况下，本体概念必须映射到半形式化的自然语言表达式。
2014-09-26 cs.CL
Automated Generation of Accurate \& Fluent Medical X-ray Reports
University of Alberta（阿尔伯塔大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们的论文重点是自动生成的医疗报告，从胸部X射线图像输入，一个关键的，但耗时的任务，放射科医生。与现有的倾向于生成人类可读报告的医疗报告生成工作不同，我们的目标是生成流畅且临床准确的医疗报告。这是通过我们的完全可区分和端到端的范例来实现的，该范例包含三个互补模块：以患者的胸部X射线图像和临床历史文档作为输入，我们的分类模块生成疾病相关主题的内部检查列表，称为丰富的疾病嵌入;然后将嵌入表示传递到我们基于transformer的生成器，生成医疗报告;同时，我们的生成器还产生了加权嵌入表示，并将其提供给我们的解释器，以确保与疾病相关的主题的一致性。我们的方法在常用的语言流畅性和临床准确性方面取得了令人满意的结果。此外，当额外的输入信息可用时，如临床文档和不同视图的额外扫描，可以持续观察到显著的性能提升。
2021-08-27 cs.CL
Clinical Concept Embeddings Learned from Massive Sources of Multimodal Medical Data
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Harvard Medical School（哈佛医学院）；University of North Carolina School of Medicine（北卡罗来纳大学医学院）
词嵌入是一种流行的无监督学习词关系的方法，广泛用于自然语言处理。在这篇文章中，我们提出了一套新的嵌入医学概念的学习使用一个非常大的集合的多模态医疗数据。依靠最近的理论见解，我们展示了如何将一个拥有6000万成员的保险索赔数据库，2000万临床笔记的集合和170万篇全文生物医学期刊文章结合起来，将概念嵌入到一个公共空间中，从而产生了有史以来最大的108，477个医学概念的嵌入集。为了评估我们的方法，我们提出了一个新的基准方法，专门设计用于测试嵌入的医学概念的统计功率的基础上。我们的方法称为cui2vec，在大多数情况下相对于以前的方法具有最先进的性能。最后，我们提供了一组可下载的预训练嵌入供其他研究人员使用，以及一个在线工具，用于交互式探索cui2vec嵌入
2019-08-20 cs.AI cs.CL stat.ML
DILA: Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Vanderbilt University（范德堡大学）
针对高维多标签医疗编码预测的可解释性不足问题，提出DILA字典标签注意力模块，将稠密嵌入解耦为含全局医学概念的稀疏嵌入，结合LLM自动识别特征，用稀疏矩阵呈现特征与编码关系，提升可解释性且保持性能与可扩展性。
2025-03-22 cs.CL
Learning Contextual Hierarchical Structure of Medical Concepts with Poincairé Embeddings to Clarify Phenotypes
Harvard Medical School（哈佛医学院）
生物医学关联研究越来越多地使用临床概念，特别是来自临床数据库的诊断代码作为表型。临床概念可以使用词嵌入模型在有意义的向量空间中表示。这些嵌入允许临床概念之间的比较或直接输入到机器学习模型。使用传统的方法，良好的表示需要高维度，使下游任务，如可视化更加困难。我们将庞加莱嵌入在2维双曲空间中应用于大型行政索赔数据库，并显示出与欧几里得空间中的100维嵌入相当的性能。然后，我们研究不同疾病背景下的疾病关系，以更好地了解潜在的表型。
2018-11-03 cs.CL q-bio.QM
MED-SE: Medical Entity Definition-based Sentence Embedding
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；NAVER CLOVA AI Lab（NAVER CLOVA AI实验室）
我们提出了基于医学实体解释的句子嵌入（MED-SE），一种新的无监督对比学习框架，设计用于临床文本，它利用了医学实体的定义。为此，我们进行了广泛的分析，多个句子嵌入技术在临床语义文本相似性（STS）设置。在我们设计的以实体为中心的设置中，MED-SE实现了显着更好的性能，而现有的无监督方法，包括SimCSE显示性能下降。我们的实验阐明了一般和临床领域的文本之间的固有差异，并建议，以实体为中心的对比方法可能有助于弥合这一差距，并导致更好地表示临床句子。
2022-12-09 cs.AI cs.CL cs.LG
UMCR: Universal Medical Concept Recognition through Guideline Integration and Agentic Linking
Polytechnique Montréal（蒙特利尔理工学院）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）
UMCR是一种通过指南整合与智能体链接实现的通用医学概念识别方法，可适配任意目标本体与源文本类型，在MedPath基准上表现出色，提升了医疗领域互操作性并降低对LLM记忆的依赖。
2026-10-14 cs.CL
Knowledge Transfer with Medical Language Embeddings
Weill Cornell Medical College（威尔康奈尔医学院）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
识别概念之间的关系是科学知识综合的一个关键方面。发现这些链接通常需要研究人员费力地搜索科学论文和数据库，因为这些资源的规模越来越大。在本文中，我们描述了如何分布语义可以用来统一结构化的知识图谱与非结构化的文本，以预测新的医学概念之间的关系，使用概率生成模型。我们的方法还旨在改善医学领域的数据稀疏性和稀缺性问题，这使得语言建模更具挑战性。具体来说，我们整合了医疗关系数据库（SemMedDB）与电子健康记录（EHR）的文本，以执行知识图谱完成。我们进一步证明了我们的模型预测令牌之间的关系没有出现在关系数据库的能力。
2016-02-10 cs.CL stat.AP
Finding Hidden Relationships Between Medical Concepts by Leveraging Metamap and Text Mining Techniques
Department of Computer Science, North Dakota State University（北达科塔州立大学计算机科学系）；Department of Computer Science and Engineering, Daffodil International University（达芙妮国际大学计算机科学与工程系）；Department of Computer Science and Engineering, University of North Texas（德克萨斯大学诺丁汉分校计算机科学与工程系）
提出一种结合MetaMap和文本挖掘的新模型，通过构建综合索引结构发现医学概念间的跨文档隐藏关联，实验验证了其有效性。
2026-04-30 cs.CL
Zero-Shot Medical Information Retrieval via Knowledge Graph Embedding
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；University of Liverpool（利物浦大学）；University of Surrey（萨里大学）
本文提出MedFusionRank，结合预训练语言模型与医学知识图谱嵌入实现零样本医疗信息检索，在医学数据集上验证了其优于现有方法的检索性能。
2023-10-31 cs.CL cs.IR
Retrofitting Concept Vector Representations of Medical Concepts to Improve Estimates of Semantic Similarity and Relatedness
The University of Texas School of Biomedical Informatics at Houston（德克萨斯大学休斯顿生物医学信息学院）；College of Computer and Information Science, Northeastern University（东北大学计算机与信息科学学院）
生物医学概念之间的语义相似性和相关性的估计对于许多信息学应用具有实用性。自动化方法分为两类：基于从文本语料库中提取的分布统计数据的方法，以及使用现有知识资源结构的方法。前一类的方法不考虑分类结构，而后者的方法不考虑语义相关的经验信息。在本文中，我们提出了一种使用UMLS元词典中的结构信息来改造生物医学概念的分布式上下文向量表示的方法，以便增强链接概念的向量表示之间的相似性。我们在UMNSRS基准上对其进行了评估。我们的研究结果表明，概念向量表示的改造导致更好的相关性与人类评分的相似性和相关性，超过了迄今为止报道的最佳结果。他们还证明了一个明显的改进性能的参考标准，改造矢量表示，相比那些没有改造。
2017-09-21 cs.CL
Clinical Text Generation through Leveraging Medical Concept and Relations
Seoul National University（首尔大学）
本研究以神经序列产生模式为基础，提出一种书写病人简短病史的临床文本的方法。作为一个概念的证明，我们已经证明，它可以在临床文本生成中使用医学概念嵌入是可行的。我们的模型基于Sequence-to-Sequence架构，并使用大量去识别的临床文本数据进行训练。定量结果表明，我们的概念嵌入方法减少了基线架构的困惑。此外，我们还讨论了由医生进行的人体评价的分析结果。
2019-10-02 cs.AI cs.CL
Embedding Transfer for Low-Resource Medical Named Entity Recognition: A Case Study on Patient Mobility
National Institutes of Health（美国国立卫生研究院）；The Ohio State University（俄亥俄州立大学）
功能作为全球健康的一个重要指标正在得到认可，但在医学自然语言处理研究中仍然研究不足。我们提出的第一个分析自动提取病人的流动性的描述，使用最近开发的自由文本电子健康记录的数据集。我们框架的任务作为一个命名实体识别（NER）的问题，并调查NER技术的适用性，移动性提取。由于文本语料库集中在病人的功能是稀缺的，我们探讨领域自适应的词嵌入中使用的递归神经网络NER系统。我们发现，在一个小的领域内语料库上训练的嵌入执行几乎以及从大型领域外语料库中学习的嵌入，并且领域自适应技术在精确度和召回率方面都有额外的提高。我们的分析确定了几个重大的挑战，在提取病人的流动性，包括注释实体的长度和复杂性和高语言的流动性描述的描述。
2018-06-07 cs.AI cs.CL
Domain-Relevant Embeddings for Medical Question Similarity
Curai（Curai公司）
网上提出医学问题的速度远远超过了合格人员的回答能力，其中许多问题并不是独一无二的。识别相同的问题对可以使问题得到更有效的回答。虽然许多研究工作都集中在非医疗应用程序的一般问题相似性的问题，这些方法并不能很好地推广到医疗领域，医疗专业知识往往需要确定语义相似性。在本文中，我们展示了如何预训练神经网络的医疗问答对的半监督方法是一个特别有用的中间任务，最终目标是确定医疗问题的相似性。虽然其他预训练任务在此任务上的准确率低于78.7%，但我们的模型在相同数量的训练样本下达到了82.6%的准确率，并且在更小的训练集下达到了80.0%的准确率。
2019-11-15 cs.CL cs.LG stat.ML
Embedding Learning Through Multilingual Concept Induction
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一种新的方法来估计词的向量空间表示：嵌入学习的概念归纳。我们在高度并行的语料库上测试了这种方法，并在单个公共空间中学习了1259种不同语言的单词的语义表示。一个广泛的实验评估跨语言词相似度和情感分析表明，基于概念的多语言嵌入学习比以前的方法表现更好。
2018-06-27 cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo（滑铁卢大学）
上下文词嵌入模型，如BioBERT和Bio_ClinicalBERT，通过将其预训练过程集中在特定领域的语料库上，在生物医学自然语言处理任务中取得了最先进的结果。然而，这样的模型不考虑专家领域知识。在这项工作中，我们介绍了UmlsBERT，一个上下文嵌入模型，通过一种新的知识增强策略，在预训练过程中集成领域知识。更具体地说，用统一医学语言系统（UMLS）元词库对UmlsBERT进行增强是以两种方式进行的：i）连接UMLS中具有相同基础“概念”的单词，以及ii）利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略，UmlsBERT可以将临床领域知识编码到词嵌入中，并在常见的命名实体识别（NER）和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Medical Concept Normalization in a Low-Resource Setting
University of Potsdam（波茨坦大学）；Faculty of Human Sciences（人文科学学院）
本文针对低资源环境下德语外行文本的医学概念规范化任务，构建了基于在线论坛的标注数据集，发现多语言Transformer模型优于字符串相似度方法，并进行了系统错误分析提出改进建议。
2024-09-06 cs.CL cs.LG
MedEIR: A Specialized Medical Embedding Model for Enhanced Information Retrieval
Lokasani CompIndia Infotech Pvt. Ltd（洛卡桑尼康普印度科技有限公司）
针对现有嵌入模型医学语义捕捉弱、长文档表现差、领域适配后通用能力下降等问题，提出联合优化的医学嵌入模型MedEIR，支持长上下文，在MTEB多个基准上超越Jina V2和MiniLM。
2025-05-12 cs.CL cs.IR
Multilingual Embeddings Jointly Induced from Contexts and Concepts: Simple, Strong and Scalable
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在自然语言处理中，由局部语境引入的词嵌入是普遍存在的。一个简单有效的基于上下文的多语言嵌入学习器是Levy等人（2017）的S-ID（句子ID）方法。另一项工作是从概念中引入高性能的多语言嵌入（Dufter等人，2018年）。在本文中，我们提出了Co+Co，一个简单的和可扩展的方法，结合了基于上下文和基于概念的学习。从句子对齐的语料库中，通过采样提取概念;然后在嵌入学习中将单词与其概念ID和句子ID相关联。这是第一个成功结合基于上下文和基于概念的嵌入式学习的工作。我们表明，Co+Co表现良好的两个不同的应用场景：并行圣经语料库（1000+语言，低资源）和EuroParl（12种语言，高资源）。在适用于两个语料库的方法中，Co+Co在我们的六个任务的评估设置中表现最好。
2020-04-30 cs.CL
Vector Embedding of Wikipedia Concepts and Entities
Dalhousie University（达尔豪斯大学）
将深度学习用于不同的机器学习任务，例如图像分类和词嵌入，最近受到了很多关注。与其他方法相比，其在特定自然语言处理（NLP）任务中报告的吸引人的性能是其受欢迎的原因。词嵌入是将词或短语映射到低维数值向量的任务。在本文中，我们使用深度学习来嵌入维基百科的概念和实体。维基百科的英文版包含超过500万页，这表明它有能力涵盖许多英语实体，短语和概念。维基百科的每一页都被视为一个概念。有些概念对应于实体，如人名、组织或地点。与词嵌入相反，维基百科概念嵌入并不模糊，因此对于表面形式相似但提及不同的概念有不同的向量。我们提出了几种方法，并评估其性能的基础上概念类比和概念相似性任务。结果表明，所提出的方法具有相当的性能，在某些情况下，甚至高于国家的最先进的方法。
2017-02-12 cs.CL
Interpretable Segmentation of Medical Free-Text Records Based on Word Embeddings
University of Warsaw（华沙大学）；Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
有类似情况的病人得到类似的诊断是真的吗？在本文中，我们展示了NLP方法和一个独特的文档语料库来验证这一说法。我们（1）介绍了一种基于医生记录的自由文本描述的医疗访问表示方法，（2）介绍了一种新的患者访问聚类方法，（3）给出了该方法在10万次访问语料库上的应用。与所提出的方法，我们得到了稳定的和分离的部分访问，对最终的医疗诊断进行了积极的验证。我们展示了如何提出的算法可以用来帮助医生在他们的实践。
2020-06-05 cs.CL cs.LG stat.ML
Concept-Based Embeddings for Natural Language Processing
Nanyang Technological University（南洋理工大学）
在这项工作中，我们专注于通过将概念和单词投影到低维空间，同时保留最关键的语义，有效地利用和集成概念级别和单词级别的信息。在一个广泛的背景下，意见理解系统，我们研究了使用融合嵌入的几个核心NLP任务：命名实体检测和分类，自动语音识别重新排序，并有针对性的情感分析。
2018-07-15 cs.CL
MedConceptsQA: Open Source Medical Concepts QA Benchmark
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究推出开源医学概念问答基准MedConceptsQA，涵盖多类医学概念与三级难度，评估发现临床预训练大语言模型准确率接近随机猜测，GPT-4较其有27%-37%的绝对提升，为医学概念理解推理评估提供资源。
2024-05-14 cs.CL cs.LG
MiME: Multilevel Medical Embedding of Electronic Health Records for Predictive Healthcare
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；IBM Research（IBM研究院）；Sutter Health（萨特医疗）；HINT Consultants（HINT咨询公司）
深度学习模型对于使用电子健康记录（EHR）数据的许多预测性医疗保健任务表现出最先进的性能，但这些模型通常需要超过大多数医疗保健系统容量的训练数据量。外部资源，如医学本体被用来桥接数据量的限制，但这种方法往往是不直接适用或有用的，因为与术语不一致。为了解决数据不足的挑战，我们利用EHR数据的固有多级结构，特别是医疗代码之间的编码关系。我们提出了多级医疗嵌入（MiME），它学习EHR数据的多级嵌入，同时联合执行依赖于这种固有EHR结构的辅助预测任务，而不需要外部标签。我们进行了两个预测任务，心力衰竭预测和连续疾病预测，其中MiME在不同的评估环境中优于基线方法。特别是，MiME在不同体积的数据集上预测心力衰竭时始终优于所有基线，特别是在最小数据集上表现出最大的性能改善（PR-AUC相对于最佳基线增加15%），证明了其有效建模EHR数据多级结构的能力。
2018-10-22 cs.CL cs.LG stat.ML
SMI: Ontology-Grounded Semantic IDs for Hierarchy-Aware Medical Concept Representation
School of Electrical Engineering and Computer Science, Ohio University（俄亥俄大学电气与计算机工程学院）；University of Southern California（南加利福尼亚大学）；School of Computer Science, McGill University（麦吉尔大学计算机学院）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
本研究针对生物医学LMs无法捕捉医学概念层次结构的问题，提出无需训练的SMI框架，通过聚合本体层级的LM嵌入生成层次感知医学概念表示，在MIMIC-IV、eICU等数据集上提升了多项临床任务性能。
2026-10-14 cs.AI cs.CL
Integration of Domain Knowledge using Medical Knowledge Graph Deep Learning for Cancer Phenotyping
Wayne State University（韦恩州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Louisiana State University Health Sciences Center（路易斯安那州立大学健康科学中心）；University of Kentucky（肯塔基大学）；University of Utah School of Medicine（犹他大学医学院）
用于自然语言处理（NLP）的深度学习（DL）的一个关键组件是词嵌入。词嵌入能够有效地捕捉它们所代表的词的含义和上下文，可以显著提高下游DL模型在各种NLP任务中的性能。许多现有的词嵌入技术基于文档和文本中的词共现来捕获词的上下文;然而，它们通常不能捕获概念之间更广泛的特定于领域的关系，这对于手头的NLP任务可能是至关重要的。在本文中，我们提出了一种方法来整合外部知识的医学术语本体到上下文所捕获的词嵌入。具体而言，我们使用医学知识图谱，如统一医学语言系统（UMLS），以找到癌症病理报告中的临床术语之间的联系。这种方法旨在最大限度地减少连接的临床概念之间的距离。我们使用多任务卷积神经网络（MT-CNN）评估所提出的方法，以从约900 K癌症病理报告的数据集中提取六个癌症特征-部位，亚部位，偏侧性，行为，组织学和等级。结果表明，使用我们的域信息嵌入的MT-CNN模型在所有任务中的表现都优于使用标准word 2 vec嵌入的相同MT-CNN，整体微观和宏观F1得分分别提高了4.97%和22.5%。
2021-01-05 cs.CL cs.LG
Sequence Learning with RNNs for Medical Concept Normalization in User-Generated Texts
Kazan Federal University（喀山联邦大学）；Neuromation OU；St. Petersburg Department of the Steklov Mathematical Institute（斯捷克洛夫数学研究所圣彼得堡分所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在这项工作中，我们考虑了医学概念规范化问题，即，将自由格式文本中提到的疾病映射到受控词汇表中的概念的问题，通常映射到统一医学语言系统（UMLS）中的标准词库。这项任务是具有挑战性的，因为医疗术语是非常不同的，当来自医疗保健专业人员或来自社会媒体文本形式的一般公众。我们将其视为一个序列学习问题，训练递归神经网络以获得单词和多词表达式的语义表示。我们开发了专门针对医学概念规范化的端到端神经架构，包括双向LSTM和GRU，以及基于UMLS的注意力机制和其他语义相似性特征。我们对标准基准的评估表明，我们的模型比基于CNN的分类的最新基线有所改进。
2018-11-29 cs.CL cs.IR
When Raw Data Prevails: Are Large Language Model Embeddings Effective in Numerical Data Representation for Medical Machine Learning Applications?
University of Colorado（科罗拉多大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Mass General Brigham, Harvard Medical School（哈佛医学院麻省总医院）；Boston Children Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院）；Loyola University Chicago（芝加哥洛约拉大学）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）
本研究评估大语言模型嵌入在医学机器学习中表示数值数据的有效性，发现原始数据特征仍占优，但零样本嵌入表现有竞争力，为未来研究提供方向。
2024-09-19 cs.AI cs.CL cs.LG
Order Embeddings from Merged Ontologies using Sketching
IBM Research（IBM研究院）
我们给出了一个简单的，低资源的方法来产生顺序嵌入本体。这样的嵌入将词映射到向量，使得词上的顺序关系，例如上位/下位关系，以直接的方式表示。我们的方法使用素描技术，特别是countsketch，降维。我们还研究了合并本体的方法，特别是那些在医学领域，以便保持秩序关系。我们给医疗本体和wordnet的计算结果，表明我们的合并技术是有效的，我们的嵌入产生一个准确的表示在通用和专业领域。
2021-01-06 cs.AI cs.CL
MedRep: Medical Concept Representation for General Electronic Health Record Foundation Models
针对EHR基础模型难以处理词汇表外未见医学代码的问题，提出基于OMOP通用数据模型的医学概念表示MedRep，利用LLM提示和图本体丰富概念信息，在多种预测任务中优于基线模型并具备良好泛化能力。
2025-08-14 cs.AI cs.CL cs.LG
DisEmbed: Transforming Disease Understanding through Embeddings
提出DisEmbed，一个专注于疾病的嵌入模型，通过在包含疾病描述、症状和问答对的合成数据集上训练，在疾病特定任务和RAG中优于现有医疗模型。
2024-12-16 cs.CL cs.LG
Concept Extraction to Identify Adverse Drug Reactions in Medical Forums: A Comparison of Algorithms
CSIRO（联邦科学与工业研究组织）
社交媒体正在成为补充传统药物警戒方法的越来越重要的信息来源。为了识别潜在药物不良反应的信号，有必要首先识别社交媒体文本中的医学概念。大多数现有的研究使用基于词典的方法，这些方法没有独立于整体信号检测任务进行评估。我们比较了不同的方法来自动识别和规范化医疗论坛中的消费者评论中的医疗概念。具体来说，我们实现了几个流行的基于字典的方法在相关文献中，以及我们建议的方法的基础上，一个国家的最先进的机器学习方法的实体识别。MetaMap是一种流行的生物医学概念提取工具，被用作基线。我们的评价是在一个通用语料库的受控环境中进行的，该语料库是用概念注释的医学论坛帖子的集合，并与受控词汇（如MedDRA和SNOMED CT）相关联。据我们所知，我们的研究是第一个系统地研究流行的概念提取方法在不良反应信号检测领域的效果。我们表明，算法或控制词汇的选择对概念提取有显着影响，这将影响整个信号检测过程。我们还表明，我们提出的机器学习方法在识别不良反应和药物方面明显优于所有其他方法，即使在使用相对较小的注释文本集进行训练时也是如此。
2015-04-27 cs.AI cs.CL cs.IR
Generalizing over Long Tail Concepts for Medical Term Normalization
University of Udine（乌迪内大学）；Bayer Pharmaceuticals（拜耳制药）；The Hong Kong Polytechnic University（香港理工大学）；University of Naples Federico II（那不勒斯费德里科二世大学）
医学术语规范化包括将一段文本映射到大量的输出类。考虑到标注数据集的小尺寸和概念的极端长尾分布，开发能够概括到稀缺或看不见的概念的模型是至关重要的。大多数目标本体的一个重要属性是它们的层次结构。在本文中，我们介绍了一个简单而有效的学习策略，利用这些信息来提高判别和生成模型的泛化能力。评估结果表明，所提出的策略产生国家的最先进的性能上看到的概念和一致的改进看不见的，也允许有效的zero-shot跨文本类型和数据集的知识转移。
2022-11-03 cs.AI cs.CL cs.IR
Incorporating Dictionaries into a Neural Network Architecture to Extract COVID-19 Medical Concepts From Social Media
Birkbeck, University of London（伦敦大学伯贝克学院）；National Physical Laboratory（英国国家物理实验室）
本研究将小型领域词典融入神经网络，用于从社交媒体提取COVID-19医学概念，在论坛和推文数据上分别取得90%和81%的F1分数，证明词典能提升概念提取效果并增强模型迁移能力。
2023-09-05 cs.CL cs.SI
Incorporating Domain Knowledge into Medical NLI using Knowledge Graphs
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
最近，从语言模型（如BioELMo）获得的嵌入的生物医学版本已经显示出医学领域文本推理任务的最新结果。在本文中，我们将探讨如何将结构化的领域知识，可在一个知识图谱（UMLS）的形式，医疗NLI任务。具体来说，我们实验融合嵌入获得的知识图谱与国家的最先进的方法NLI任务（ESIM模型）。我们还尝试融合特定领域的情感信息的任务。在MedNLI数据集上进行的实验清楚地表明，该策略改进了医学NLI任务的基线BioELMo架构。
2019-08-31 cs.AI cs.CL cs.LG
Using Large Pre-Trained Language Model to Assist FDA in Premarket Medical Device
Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出了一种使用自然语言处理的可能方法，该方法可能有助于FDA医疗器械上市过程。获取实际器械描述，并与FDA CFR第21条中的器械描述进行匹配，以确定其相应的器械类型。预训练的词嵌入（如FastText）和大型预训练的句子嵌入模型（如句子Transformers）都根据其表征一段设备描述的准确性进行评估。实验还做了测试，这些模型是否可以识别FDA数据库中错误分类的设备。结果表明，与必须手动搜索的2585种设备描述相比，使用T5和MPNet以及GPT-3语义搜索嵌入的句子Transformer通过缩小要包含在前15个最可能的结果中的正确标签来识别正确分类时显示出高准确性。另一方面，所有方法在识别完全错误标记的器械方面都表现出很高的准确性，但都无法识别错误但与真实标签密切相关的虚假器械分类。
2022-11-03 cs.AI cs.CL
Unsupervised Multimodal Representation Learning across Medical Images and Reports
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显著的益处，范围从跨域检索到报告的条件生成，再到多模态表示学习的更广泛目标。在这项工作中，我们建立了基线联合嵌入结果测量通过本地和全球检索方法即将发布的MIMIC-CXR数据集，包括胸部X射线图像和相关的放射学报告。我们研究了监督和无监督的方法在这个任务上，并表明，对于学习表示的文档检索任务，只需要有限的监督量产生的结果相比，完全监督的方法。
2018-11-21 cs.CL cs.LG
Deep Neural Models for Medical Concept Normalization in User-Generated Texts
Kazan Federal University（喀山联邦大学）；Samsung-PDMI Joint AI Center（三星-PDMI联合人工智能中心）；PDMI RAS（俄罗斯科学院PDMI研究所）
本研究针对用户生成文本中医学概念规范化问题，提出利用循环神经网络和上下文词表示模型进行序列学习，在三个基准上显著优于现有最先进模型。
2019-07-18 cs.CL cs.IR cs.LG
Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models
UC San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；VA San Diego Healthcare System（VA圣地亚哥医疗系统）
针对深度学习医学图像分类模型存在的虚假相关性导致泛化差、黑盒缺乏可解释性的问题，提出基于自然语言概念的新范式，通过GPT-4获取临床概念、视觉-语言模型转换特征，在8个数据集上验证了鲁棒性与可解释性优势。
2023-10-04 cs.CL cs.CV cs.LG
Federated Learning of Medical Concepts Embedding using BEHRT
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对多中心EHR数据隐私限制导致模型训练困难的问题，提出基于BEHRT的联邦学习医学概念嵌入方法，在MIMIC-IV数据集上验证其性能接近集中式模型且优于本地模型，并证明预训练MLM能提升下游预测任务精度。
2023-05-22 cs.AI cs.CL cs.DC
