Embedding Transfer for Low-Resource Medical Named Entity Recognition: A Case Study on Patient Mobility
National Institutes of Health（美国国立卫生研究院）；The Ohio State University（俄亥俄州立大学）
功能作为全球健康的一个重要指标正在得到认可，但在医学自然语言处理研究中仍然研究不足。我们提出的第一个分析自动提取病人的流动性的描述，使用最近开发的自由文本电子健康记录的数据集。我们框架的任务作为一个命名实体识别（NER）的问题，并调查NER技术的适用性，移动性提取。由于文本语料库集中在病人的功能是稀缺的，我们探讨领域自适应的词嵌入中使用的递归神经网络NER系统。我们发现，在一个小的领域内语料库上训练的嵌入执行几乎以及从大型领域外语料库中学习的嵌入，并且领域自适应技术在精确度和召回率方面都有额外的提高。我们的分析确定了几个重大的挑战，在提取病人的流动性，包括注释实体的长度和复杂性和高语言的流动性描述的描述。
2018-06-07 cs.AI cs.CL
MED-SE: Medical Entity Definition-based Sentence Embedding
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；NAVER CLOVA AI Lab（NAVER CLOVA AI实验室）
我们提出了基于医学实体解释的句子嵌入（MED-SE），一种新的无监督对比学习框架，设计用于临床文本，它利用了医学实体的定义。为此，我们进行了广泛的分析，多个句子嵌入技术在临床语义文本相似性（STS）设置。在我们设计的以实体为中心的设置中，MED-SE实现了显着更好的性能，而现有的无监督方法，包括SimCSE显示性能下降。我们的实验阐明了一般和临床领域的文本之间的固有差异，并建议，以实体为中心的对比方法可能有助于弥合这一差距，并导致更好地表示临床句子。
2022-12-09 cs.AI cs.CL cs.LG
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon（俄勒冈大学）；Baidu Research（百度研究院）；Tsinghua University（清华大学）
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型，称为概念上下文（CC）嵌入，它将结构化知识的文本表示。与实体嵌入方法不同，我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务，就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录（EHRs）和医疗文本处理基准测试的实验表明，我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
CDialog: A Multi-turn Covid-19 Conversation Dataset for Entity-Aware Dialog Generation
Indian Institute of Technology Patna（印度理工学院巴特那分校）
开发对话代理与患者互动并提供临床建议吸引了许多研究人员的兴趣，特别是在COVID-19大流行的情况下。另一方面，端到端基于神经的对话系统的训练受到缺乏多轮医学对话语料库的阻碍。我们首次尝试发布一个名为CDialog的与Covid-19疾病相关的高质量多轮医疗对话数据集，其中包括从在线医疗咨询网站收集的超过1000个对话。我们用七种不同类别的医学实体来注释对话的每个话语，包括疾病，症状，医学测试，病史，补救措施，药物和其他方面作为附加标签。最后，我们提出了一种新的神经医疗对话系统的基础上的CDialog数据集，以推进未来的研究开发自动化医疗对话系统。我们使用预先训练的语言模型进行对话生成，将注释的医疗实体，以生成一个虚拟医生的响应，解决病人的查询。实验结果表明，所提出的对话模型的性能更好地补充实体信息，从而可以提高响应质量。
2022-11-16 cs.AI cs.CL
Understanding the Stability of Medical Concept Embeddings
Nanyang Technological University（南洋理工大学）
本文分析医学概念嵌入稳定性，发现低频概念同样高度稳定，并提出上下文词噪声程度这一与频率无关的影响因素。
2020-05-10 cs.CL
SMI: Ontology-Grounded Semantic IDs for Hierarchy-Aware Medical Concept Representation
School of Electrical Engineering and Computer Science, Ohio University（俄亥俄大学电气与计算机工程学院）；University of Southern California（南加利福尼亚大学）；School of Computer Science, McGill University（麦吉尔大学计算机学院）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
本研究针对生物医学LMs无法捕捉医学概念层次结构的问题，提出无需训练的SMI框架，通过聚合本体层级的LM嵌入生成层次感知医学概念表示，在MIMIC-IV、eICU等数据集上提升了多项临床任务性能。
2026-10-14 cs.AI cs.CL
Severity-Aware Weighted Loss for Arabic Medical Text Generation
October University for Modern Sciences \& Arts, Egypt
本文提出一种考虑临床严重程度的加权损失方法，用于优化阿拉伯语医疗文本生成，通过动态调整token级损失以提升关键交互性能，实验表明在不同模型上均取得显著提升。
2026-04-07 cs.AI cs.CL
Medically Aware GPT-3 as a Data Generator for Medical Dialogue Summarization
Curai（Curai公司）
在医学对话摘要中，摘要必须连贯一致，并且必须捕获对话中的所有医学相关信息。然而，学习有效的摘要模型需要大量的标记数据，这是特别难以获得的。我们提出了一种算法来创建合成的训练数据，明确侧重于捕获医学相关信息。我们利用GPT-3作为我们算法的主干，并扩展210个人类标记的示例，以产生与使用6400个人类标记的示例（约30倍）相媲美的结果，利用低拍摄学习和集成方法。在详细的实验中，我们表明，这种方法产生高质量的训练数据，可以进一步与人类标记的数据相结合，得到的摘要是强烈优选的模型训练人类数据单独在医疗准确性和一致性。
2021-09-09 cs.AI cs.CL cs.LG
Severity-Aware Curriculum Learning with Multi-Model Response Selection for Medical Text Generation
Faculty of Computer Science（计算机科学学院）；MSA University（MSA大学）；Giza, Egypt（埃及吉扎）
提出一种结合课程学习策略和相关性响应选择的多模型框架，通过三阶段课程训练和五个大语言模型独立训练，在MAQA数据集上实现医疗文本生成性能提升。
2026-07-14 cs.AI cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo（滑铁卢大学）
上下文词嵌入模型，如BioBERT和Bio_ClinicalBERT，通过将其预训练过程集中在特定领域的语料库上，在生物医学自然语言处理任务中取得了最先进的结果。然而，这样的模型不考虑专家领域知识。在这项工作中，我们介绍了UmlsBERT，一个上下文嵌入模型，通过一种新的知识增强策略，在预训练过程中集成领域知识。更具体地说，用统一医学语言系统（UMLS）元词库对UmlsBERT进行增强是以两种方式进行的：i）连接UMLS中具有相同基础“概念”的单词，以及ii）利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略，UmlsBERT可以将临床领域知识编码到词嵌入中，并在常见的命名实体识别（NER）和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Order Embeddings from Merged Ontologies using Sketching
IBM Research（IBM研究院）
我们给出了一个简单的，低资源的方法来产生顺序嵌入本体。这样的嵌入将词映射到向量，使得词上的顺序关系，例如上位/下位关系，以直接的方式表示。我们的方法使用素描技术，特别是countsketch，降维。我们还研究了合并本体的方法，特别是那些在医学领域，以便保持秩序关系。我们给医疗本体和wordnet的计算结果，表明我们的合并技术是有效的，我们的嵌入产生一个准确的表示在通用和专业领域。
2021-01-06 cs.AI cs.CL
MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware Medical Dialogue Generation
Sun Yat-sen University（中山大学）；Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Polytechnic University（香港理工大学）；Tencent Jarvis Lab（腾讯天衍实验室）
开发会话代理以与患者互动并提供主要临床建议，由于其巨大的应用潜力，特别是在COVID-19大流行时期，引起了越来越多的关注。然而，端到端的基于神经的医学对话系统的训练受到医学对话语料数量不足的制约。在这项工作中，我们首次尝试构建并发布了一个与12种常见胃肠道疾病相关的大规模高质量医学对话数据集MedDG，从在线健康咨询社区收集了超过17 K的对话。五种不同类别的实体，包括疾病，症状，属性，测试和药物，在MedDG的每个对话中作为附加标签进行注释。为了推动未来构建专家敏感的医学对话系统的研究，本文提出了两种基于MedDG数据集的医学对话任务。一个是下一个实体预测，另一个是医生响应生成。为了对这两个医学对话任务有一个清晰的理解，我们实现了几个最先进的基准，并设计了两个对话模型，进一步考虑了预测的实体。实验结果表明，预训练的语言模型和其他基线在我们的数据集中表现不佳的两个任务上挣扎，并且可以在辅助实体信息的帮助下提高响应质量。从人类的评价，简单的检索模型优于几个国家的最先进的生成模型，这表明仍然有很大的改进空间，产生医学上有意义的反应。
2022-07-31 cs.AI cs.CL
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Northwestern University（西北大学）
最近，医学概念的分布式表示已被用于支持下游临床任务。电子健康记录（EHR）捕捉患者医院遭遇的不同方面，并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而，相同的医学概念可以以不同的模态记录（例如，临床记录、实验室结果）-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此，我们提出的方法利用元嵌入，从学习的嵌入聚合的嵌入。首先，每个医学概念的模态特定嵌入是用图自编码器学习的。然后，所有嵌入的集合被建模为元嵌入学习问题，以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明，与最先进的嵌入模型相比，我们的模型有所改进，从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Clinical Text Generation through Leveraging Medical Concept and Relations
Seoul National University（首尔大学）
本研究以神经序列产生模式为基础，提出一种书写病人简短病史的临床文本的方法。作为一个概念的证明，我们已经证明，它可以在临床文本生成中使用医学概念嵌入是可行的。我们的模型基于Sequence-to-Sequence架构，并使用大量去识别的临床文本数据进行训练。定量结果表明，我们的概念嵌入方法减少了基线架构的困惑。此外，我们还讨论了由医生进行的人体评价的分析结果。
2019-10-02 cs.AI cs.CL
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University（乌得勒支大学）
临床词嵌入作为一种最先进的特征向量表示，广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功，但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别：精神障碍，性传播疾病和人格特质。在这种程度上，我们分析了两种不同的预训练嵌入，即（情境化）临床BERT和（非情境化）BioWordVec。我们发现，这两种嵌入都偏向于敏感的性别群体，但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外，我们的分析表明，临床嵌入进行了高度的偏见，一些医学术语和疾病，这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis（孟菲斯大学）；Adobe Research（奥多比研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
电子健康记录（EHR）中的临床记录提供了丰富的患者记录信息，以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而，现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中，我们提出了一个概念感知的无监督用户嵌入，共同利用文本文档和医学概念，从两个临床语料库，MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务，包括表型分类，在医院死亡率预测，病人检索，和病人的相关性。在两个临床语料库上的实验表明，我们的方法超过了无监督的基线，并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
RGAR: Recurrence Generation-augmented Retrieval for Factual-aware Medical Question Answering
King’s College London（伦敦国王学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；School of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程学院）
针对现有医疗RAG检索忽视事实知识、适用性受限的问题，提出RGAR循环生成增强检索框架，从EHR和语料库双源检索事实与概念知识并交互优化，在三个基准上实现医疗RAG新SOTA，小模型搭载后性能超越经RAG增强的大模型GPT-3.5。
2025-02-19 cs.AI cs.CL
Temporal Self-Attention Network for Medical Concept Embedding
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）
在纵向电子健康记录（EHR）中，患者的事件记录分布在很长一段时间内，事件之间的时间关系反映了足够的领域知识，以利于预测任务，如住院死亡率。医学概念嵌入作为一种特征提取方法，将一组具有特定时间戳的医学概念转换为向量，该向量将被馈送到监督学习算法中。嵌入的质量显著地决定了对医学数据的学习性能。在本文中，我们提出了一种基于应用自我注意力机制来表示每个医学概念的医学概念嵌入方法。我们提出了一种新的注意力机制，它捕获的上下文信息和医学概念之间的时间关系。一个轻量级的神经网络，“时间自我注意力网络（TeSAN）"，然后提出学习医学概念嵌入的基础上提出的注意力机制。为了测试我们提出的方法的有效性，我们对两个公共EHRs数据集进行了聚类和预测任务，将TeSAN与五种最先进的嵌入方法进行了比较。实验结果表明，所提出的TeSAN模型优于所有比较方法。据我们所知，这项工作是第一次利用时间的自我注意的关系之间的医疗事件。
2019-09-15 cs.CL cs.LG
CMed-GPT: Prompt Tuning for Entity-Aware Chinese Medical Dialogue Generation
Beijing University of Technology（北京工业大学）
本文提出基于中文医疗文本的GPT预训练模型CMed-GPT，通过融合实体嵌入并应用p-tuning，显著提升了中文医疗对话生成的质量，验证了提示微调优于传统微调。
2023-11-24 cs.AI cs.CL
Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language
University of Turin（都灵大学）
词嵌入在当今的自然语言处理任务和应用中扮演着重要的角色。虽然预先训练的模型可以直接使用并集成到现有的管道中，但它们通常会进行微调，以更好地适应特定的语言或领域。在本文中，我们试图通过结合对比学习（CL）和知识图谱嵌入（KGE）来提高意大利医学领域未覆盖利基中的可用嵌入。主要目标是提高医学术语之间语义相似度的准确性，这也被用作一个评估任务。由于意大利语缺乏医学文本和受控词汇，我们已经开发了一个特定的解决方案，结合现有的CL方法（多相似性损失，上下文，动态采样）和KGE的集成，创建一个新的变体的损失。虽然没有超过以多语言模型为代表的最新技术水平，但所获得的结果令人鼓舞，与初始模型相比，性能有了显着的飞跃，同时使用的数据量显着减少。
2022-11-09 cs.CL cs.LG
Knowledge-Aware Neural Networks for Medical Forum Question Classification
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）；Adobe Research（Adobe研究）
在线医学论坛已成为回答消费者健康相关信息需求的主要平台。然而，随着查询数量的显著增加和专家的有限可用性，有必要基于消费者的意图对医疗查询进行自动分类，使得这些问题可以被引导到正确的医疗专家集合。在这里，我们开发了一种新的医疗知识感知BERT为基础的模型（MedBERT），明确给予更多的权重，以医疗概念承载的话，并利用特定领域的侧信息从流行的医疗知识库。我们还为医学论坛问题分类（MFQC）任务贡献了一个多标签数据集。MedBERT在两个基准数据集上实现了最先进的性能，并在低资源设置下表现出色。
2021-09-27 cs.CL
Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback
SKL-IOTSC, CIS, University of Macau（SKL-IOTSC、CIS、澳门大学）
本文提出UMed-LVLM及MAU数据集，通过异常感知指令微调和异常感知奖励训练，显著提升医学图像异常检测与理解能力，较基线提升58%。
2025-06-02 cs.AI cs.CL cs.CV
When Raw Data Prevails: Are Large Language Model Embeddings Effective in Numerical Data Representation for Medical Machine Learning Applications?
University of Colorado（科罗拉多大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Mass General Brigham, Harvard Medical School（哈佛医学院麻省总医院）；Boston Children Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院）；Loyola University Chicago（芝加哥洛约拉大学）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）
本研究评估大语言模型嵌入在医学机器学习中表示数值数据的有效性，发现原始数据特征仍占优，但零样本嵌入表现有竞争力，为未来研究提供方向。
2024-09-19 cs.AI cs.CL cs.LG
Towards Domain Specification of Embedding Models in Medicine
Department of Electrical and Computer Engineering（电气与计算机工程系）；McMaster University（麦斯特大学）
针对医学文本嵌入模型数据狭窄和评估不足的问题，提出微调模型MEDTE及含51项任务的医学基准套件，实现更优的嵌入性能。
2025-08-06 cs.CL
Terminology-aware Medical Dialogue Generation
The University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）
医学对话生成的目的是根据医生和患者之间的对话轮的历史来生成响应。与开放域对话生成不同，这需要特定于医学领域的背景知识。现有的医疗对话生成生成框架没有纳入特定领域的知识，特别是关于医学术语。在本文中，我们提出了一个新的框架，以提高医疗对话生成考虑集中在特定领域的术语的功能。我们利用一个注意力机制，将术语为中心的功能，并通过强制执行语言模型，以学习术语表示与辅助术语识别任务，以填补医学背景知识和常见的话语之间的语义差距。实验结果表明，我们的方法，其中我们提出的框架优于SOTA语言模型的有效性。此外，我们提供了一个新的数据集与医学术语注释，以支持医疗对话生成的研究。我们的数据集和代码可以在https://github.com/tangg555/meddialog上找到。
2023-03-15 cs.CL
Hierarchy-Aware Multimodal Unlearning for Medical AI
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Nanyang Technological University（南洋理工大学）
MedForget提出一个层次感知的多模态反遗忘基准和CHIP方法，有效解决医疗数据中层次结构的遗忘问题，同时保持下游效用。
2026-11-03 cs.AI cs.CL cs.CV
Improving Medical Short Text Classification with Semantic Expansion Using Word-Cluster Embedding
Peking University（北京大学）；ShenZhen Institute of Information Technology（深圳信息职业技术学院）
自动文本分类（TC）研究可以用于现实世界的问题，如住院患者出院摘要和医疗文本报告的分类，这有利于使医生更容易理解医疗文档。然而，在电子病历（EMR）中，包含句子的文本比一般领域中的文本要短，这导致了语义特征的缺乏和语义的模糊。为了应对这一挑战，我们提出将词簇嵌入到深度神经网络中，以提高短文本分类。具体地说，我们首先使用层次凝聚聚类在语义空间中的词向量聚类。然后计算聚类中心向量，该向量代表聚类中词的隐含主题信息。最后，我们使用聚类中心向量扩展词向量，并分别使用CNN和LSTM实现分类器。为了评估我们提出的方法的性能，我们进行了实验上的公共数据集TREC和医疗短句数据集，这是我们构建和发布。实验结果表明，我们提出的方法优于国家的最先进的基线在医学领域和一般领域的短句分类。
2018-12-05 cs.CL
Medical Concept Normalization in User Generated Texts by Learning Target Concept Embeddings
NIT Trichy（蒂鲁吉拉伯利国家理工学院）
医学概念规范化有助于在自由形式的文本中发现标准概念，即，将与健康相关的提及映射到词汇表中的标准概念。它远远超出了简单的字符串匹配，需要对概念提及有深入的语义理解。最近的研究方法的概念规范化，无论是文本分类或文本匹配。现有的文本分类方法的主要缺点是：a）在学习输入概念提及表示时忽略了有价值的目标概念信息; b）文本匹配方法需要单独生成目标概念嵌入，这是耗时和资源消耗的。我们提出的模型克服了这些缺点，共同学习的表示输入概念提及和目标概念。首先，它使用RoBERTa学习输入概念提及表示。其次，它发现输入概念提及的嵌入与所有目标概念之间的余弦相似性。在这里，目标概念的嵌入是随机初始化的，然后在训练过程中更新。最后，将余弦相似度最大的目标概念分配给输入概念提及。我们的模型通过将准确率提高到2.31%，超过了三个标准数据集上的所有现有方法。
2020-06-07 cs.CL
Learning Contextual Hierarchical Structure of Medical Concepts with Poincairé Embeddings to Clarify Phenotypes
Harvard Medical School（哈佛医学院）
生物医学关联研究越来越多地使用临床概念，特别是来自临床数据库的诊断代码作为表型。临床概念可以使用词嵌入模型在有意义的向量空间中表示。这些嵌入允许临床概念之间的比较或直接输入到机器学习模型。使用传统的方法，良好的表示需要高维度，使下游任务，如可视化更加困难。我们将庞加莱嵌入在2维双曲空间中应用于大型行政索赔数据库，并显示出与欧几里得空间中的100维嵌入相当的性能。然后，我们研究不同疾病背景下的疾病关系，以更好地了解潜在的表型。
2018-11-03 cs.CL q-bio.QM
Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings
Pennsylvania State University（宾夕法尼亚州立大学）；RTX Technology Research Center（RTX技术研究中心）
针对医疗领域预训练成本高的问题，提出基于MLP对齐医疗知识图谱嵌入与预训练语言模型嵌入空间的方法，无需领域预训练即可提升开放域模型在医疗MRC任务上的性能。
2024-12-13 cs.CL
Enhancing PIO Element Detection in Medical Text Using Contextualized Embedding
IMRSV Data Labs（IMRSV数据实验室）
在本文中，我们探讨了一种新的方法，人口，干预和结果（PIO）元素检测，循证医学（EBM）的一个共同的任务。本研究的目的是双重的：建立一个训练数据集的PIO元素检测与最小的冗余和模糊性，并调查可能的选项，利用最先进的嵌入方法的PIO元素检测的任务。对于前一个目的，我们建立了一个新的和改进的数据集，通过调查以前发布的数据集的缺点。对于后者的目的，我们利用最先进的文本嵌入，双向编码器表示从Transformers（BERT），并建立一个多标签分类器。我们表明，选择特定于域的预训练嵌入进一步优化了分类器的性能。此外，我们表明，该模型可以通过使用集成的方法和增强技术，提供了充分选择的功能。
2019-06-26 cs.CL
Knowledge Transfer with Medical Language Embeddings
Weill Cornell Medical College（威尔康奈尔医学院）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
识别概念之间的关系是科学知识综合的一个关键方面。发现这些链接通常需要研究人员费力地搜索科学论文和数据库，因为这些资源的规模越来越大。在本文中，我们描述了如何分布语义可以用来统一结构化的知识图谱与非结构化的文本，以预测新的医学概念之间的关系，使用概率生成模型。我们的方法还旨在改善医学领域的数据稀疏性和稀缺性问题，这使得语言建模更具挑战性。具体来说，我们整合了医疗关系数据库（SemMedDB）与电子健康记录（EHR）的文本，以执行知识图谱完成。我们进一步证明了我们的模型预测令牌之间的关系没有出现在关系数据库的能力。
2016-02-10 cs.CL stat.AP
Domain-Relevant Embeddings for Medical Question Similarity
Curai（Curai公司）
网上提出医学问题的速度远远超过了合格人员的回答能力，其中许多问题并不是独一无二的。识别相同的问题对可以使问题得到更有效的回答。虽然许多研究工作都集中在非医疗应用程序的一般问题相似性的问题，这些方法并不能很好地推广到医疗领域，医疗专业知识往往需要确定语义相似性。在本文中，我们展示了如何预训练神经网络的医疗问答对的半监督方法是一个特别有用的中间任务，最终目标是确定医疗问题的相似性。虽然其他预训练任务在此任务上的准确率低于78.7%，但我们的模型在相同数量的训练样本下达到了82.6%的准确率，并且在更小的训练集下达到了80.0%的准确率。
2019-11-15 cs.CL cs.LG stat.ML
Incorporating Domain Knowledge into Medical NLI using Knowledge Graphs
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
最近，从语言模型（如BioELMo）获得的嵌入的生物医学版本已经显示出医学领域文本推理任务的最新结果。在本文中，我们将探讨如何将结构化的领域知识，可在一个知识图谱（UMLS）的形式，医疗NLI任务。具体来说，我们实验融合嵌入获得的知识图谱与国家的最先进的方法NLI任务（ESIM模型）。我们还尝试融合特定领域的情感信息的任务。在MedNLI数据集上进行的实验清楚地表明，该策略改进了医学NLI任务的基线BioELMo架构。
2019-08-31 cs.AI cs.CL cs.LG
Zero-Shot Medical Information Retrieval via Knowledge Graph Embedding
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；University of Liverpool（利物浦大学）；University of Surrey（萨里大学）
本文提出MedFusionRank，结合预训练语言模型与医学知识图谱嵌入实现零样本医疗信息检索，在医学数据集上验证了其优于现有方法的检索性能。
2023-10-31 cs.CL cs.IR
Interpretable Segmentation of Medical Free-Text Records Based on Word Embeddings
University of Warsaw（华沙大学）；Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
有类似情况的病人得到类似的诊断是真的吗？在本文中，我们展示了NLP方法和一个独特的文档语料库来验证这一说法。我们（1）介绍了一种基于医生记录的自由文本描述的医疗访问表示方法，（2）介绍了一种新的患者访问聚类方法，（3）给出了该方法在10万次访问语料库上的应用。与所提出的方法，我们得到了稳定的和分离的部分访问，对最终的医疗诊断进行了积极的验证。我们展示了如何提出的算法可以用来帮助医生在他们的实践。
2020-06-05 cs.CL cs.LG stat.ML
Large Language Models Lack Temporal Awareness of Medical Knowledge
University of Virginia（弗吉尼亚大学）；National Institutes of Health（美国国家卫生研究院）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Yale University（耶鲁大学）；Weill Cornell Medicine（韦氏 Cornell 医学院）
本文提出TempoMed-Bench基准测试，揭示大语言模型在医学知识时间意识方面的不足，包括知识衰减、历史知识回忆困难及时间不一致行为，指出整合代理搜索工具难以解决该问题。
2026-05-13 cs.CL cs.LG
Uncertainty-aware abstention in medical diagnosis based on medical texts
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；AIRI（人工智能研究与创新研究所）；Sber AI Lab（Sber人工智能实验室）；YerevaNN（埃里温神经网络研究中心）
本研究提出不确定性感知的弃权（不执行）策略，引入HUQ-2方法，在多个医学文本数据集上提升选择性预测的可靠性。
2025-02-25 cs.CL
MedEIR: A Specialized Medical Embedding Model for Enhanced Information Retrieval
Lokasani CompIndia Infotech Pvt. Ltd（洛卡桑尼康普印度科技有限公司）
针对现有嵌入模型医学语义捕捉弱、长文档表现差、领域适配后通用能力下降等问题，提出联合优化的医学嵌入模型MedEIR，支持长上下文，在MTEB多个基准上超越Jina V2和MiniLM。
2025-05-12 cs.CL cs.IR
MiME: Multilevel Medical Embedding of Electronic Health Records for Predictive Healthcare
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；IBM Research（IBM研究院）；Sutter Health（萨特医疗）；HINT Consultants（HINT咨询公司）
深度学习模型对于使用电子健康记录（EHR）数据的许多预测性医疗保健任务表现出最先进的性能，但这些模型通常需要超过大多数医疗保健系统容量的训练数据量。外部资源，如医学本体被用来桥接数据量的限制，但这种方法往往是不直接适用或有用的，因为与术语不一致。为了解决数据不足的挑战，我们利用EHR数据的固有多级结构，特别是医疗代码之间的编码关系。我们提出了多级医疗嵌入（MiME），它学习EHR数据的多级嵌入，同时联合执行依赖于这种固有EHR结构的辅助预测任务，而不需要外部标签。我们进行了两个预测任务，心力衰竭预测和连续疾病预测，其中MiME在不同的评估环境中优于基线方法。特别是，MiME在不同体积的数据集上预测心力衰竭时始终优于所有基线，特别是在最小数据集上表现出最大的性能改善（PR-AUC相对于最佳基线增加15%），证明了其有效建模EHR数据多级结构的能力。
2018-10-22 cs.CL cs.LG stat.ML
Medical Malice: A Dataset for Context-Aware Safety in Healthcare LLMs
Medical Malice提出一个情境感知安全的医疗数据库，通过对抗性提示和伦理推理提升医疗LLM的安全性，以应对医疗领域复杂且系统性的威胁。
2025-11-24 cs.AI cs.CL cs.CR
Automated Generation of Accurate \& Fluent Medical X-ray Reports
University of Alberta（阿尔伯塔大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们的论文重点是自动生成的医疗报告，从胸部X射线图像输入，一个关键的，但耗时的任务，放射科医生。与现有的倾向于生成人类可读报告的医疗报告生成工作不同，我们的目标是生成流畅且临床准确的医疗报告。这是通过我们的完全可区分和端到端的范例来实现的，该范例包含三个互补模块：以患者的胸部X射线图像和临床历史文档作为输入，我们的分类模块生成疾病相关主题的内部检查列表，称为丰富的疾病嵌入;然后将嵌入表示传递到我们基于transformer的生成器，生成医疗报告;同时，我们的生成器还产生了加权嵌入表示，并将其提供给我们的解释器，以确保与疾病相关的主题的一致性。我们的方法在常用的语言流畅性和临床准确性方面取得了令人满意的结果。此外，当额外的输入信息可用时，如临床文档和不同视图的额外扫描，可以持续观察到显著的性能提升。
2021-08-27 cs.CL
Federated Learning of Medical Concepts Embedding using BEHRT
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对多中心EHR数据隐私限制导致模型训练困难的问题，提出基于BEHRT的联邦学习医学概念嵌入方法，在MIMIC-IV数据集上验证其性能接近集中式模型且优于本地模型，并证明预训练MLM能提升下游预测任务精度。
2023-05-22 cs.AI cs.CL cs.DC
Integration of Domain Knowledge using Medical Knowledge Graph Deep Learning for Cancer Phenotyping
Wayne State University（韦恩州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Louisiana State University Health Sciences Center（路易斯安那州立大学健康科学中心）；University of Kentucky（肯塔基大学）；University of Utah School of Medicine（犹他大学医学院）
用于自然语言处理（NLP）的深度学习（DL）的一个关键组件是词嵌入。词嵌入能够有效地捕捉它们所代表的词的含义和上下文，可以显著提高下游DL模型在各种NLP任务中的性能。许多现有的词嵌入技术基于文档和文本中的词共现来捕获词的上下文;然而，它们通常不能捕获概念之间更广泛的特定于领域的关系，这对于手头的NLP任务可能是至关重要的。在本文中，我们提出了一种方法来整合外部知识的医学术语本体到上下文所捕获的词嵌入。具体而言，我们使用医学知识图谱，如统一医学语言系统（UMLS），以找到癌症病理报告中的临床术语之间的联系。这种方法旨在最大限度地减少连接的临床概念之间的距离。我们使用多任务卷积神经网络（MT-CNN）评估所提出的方法，以从约900 K癌症病理报告的数据集中提取六个癌症特征-部位，亚部位，偏侧性，行为，组织学和等级。结果表明，使用我们的域信息嵌入的MT-CNN模型在所有任务中的表现都优于使用标准word 2 vec嵌入的相同MT-CNN，整体微观和宏观F1得分分别提高了4.97%和22.5%。
2021-01-05 cs.CL cs.LG
DisEmbed: Transforming Disease Understanding through Embeddings
提出DisEmbed，一个专注于疾病的嵌入模型，通过在包含疾病描述、症状和问答对的合成数据集上训练，在疾病特定任务和RAG中优于现有医疗模型。
2024-12-16 cs.CL cs.LG
