Medical Concept Normalization in a Low-Resource Setting
University of Potsdam（波茨坦大学）；Faculty of Human Sciences（人文科学学院）
本文针对低资源环境下德语外行文本的医学概念规范化任务，构建了基于在线论坛的标注数据集，发现多语言Transformer模型优于字符串相似度方法，并进行了系统错误分析提出改进建议。
2024-09-06 cs.CL cs.LG
Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization
Zhengzhou University（郑州大学）
针对中文生物医学实体标准化任务在少样本场景下的性能短板及知识库利用不足问题，提出含五阶段的知识注入提示学习方法，在基准数据集的少样本和全量场景下均优于现有基线。
2023-08-23 cs.CL
A Neural Multi-Task Learning Framework to Jointly Model Medical Named Entity Recognition and Normalization
Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；University of California Berkeley（加州大学伯克利分校）；Harbin Institute of Technology（哈尔滨工业大学）
最先进的研究已经证明，由于两个过程之间的相互利益，联合建模优于管道实现医疗命名实体识别和规范化。为了以更复杂的方式利用这些好处，我们提出了一种新的深度神经多任务学习框架，该框架具有显式反馈策略，以联合建模识别和规范化。一方面，我们的方法受益于多任务学习提供的两个任务的一般表示。另一方面，我们的方法成功地将分层任务转换为并行多任务设置，同时保持任务之间的相互支持。这两个方面都提高了模型的性能。实验结果表明，我们的方法在两个公开的医学文献数据集上的表现明显优于最先进的方法。
2018-12-14 cs.CL cs.IR
Sequence Learning with RNNs for Medical Concept Normalization in User-Generated Texts
Kazan Federal University（喀山联邦大学）；Neuromation OU；St. Petersburg Department of the Steklov Mathematical Institute（斯捷克洛夫数学研究所圣彼得堡分所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在这项工作中，我们考虑了医学概念规范化问题，即，将自由格式文本中提到的疾病映射到受控词汇表中的概念的问题，通常映射到统一医学语言系统（UMLS）中的标准词库。这项任务是具有挑战性的，因为医疗术语是非常不同的，当来自医疗保健专业人员或来自社会媒体文本形式的一般公众。我们将其视为一个序列学习问题，训练递归神经网络以获得单词和多词表达式的语义表示。我们开发了专门针对医学概念规范化的端到端神经架构，包括双向LSTM和GRU，以及基于UMLS的注意力机制和其他语义相似性特征。我们对标准基准的评估表明，我们的模型比基于CNN的分类的最新基线有所改进。
2018-11-29 cs.CL cs.IR
xMEN: A Modular Toolkit for Cross-Lingual Medical Entity Normalization
Hasso Plattner Institute for Digital Engineering (HPI)（哈索·普拉特纳数字工程研究所（HPI））；University of Potsdam（波茨坦大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文提出xMEN模块化工具包，通过跨语言候选生成和弱监督交叉编码器排序，在低资源多语言场景下提升医学实体归一化性能，并支持可复现基准测试。
2023-10-17 cs.CL
Post-Processing of Word Representations via Variance Normalization and Dynamic Embedding
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
虽然嵌入式向量表示的单词提供了令人印象深刻的性能在许多自然语言处理（NLP）的应用，有序的输入序列的信息在一定程度上丢失，如果只有基于上下文的样本在训练中使用。为了进一步提高性能，两个新的后处理技术，称为后处理通过方差归一化（PVN）和后处理通过动态嵌入（PDE），提出了这项工作。PVN方法将词向量的主成分方差归一化，而PDE方法从有序输入序列中学习正交潜变量。PVN和PDE方法可以集成以实现更好的性能。我们将这些后处理技术应用于两种流行的词嵌入方法（即，word2vec和GloVe）以产生它们的后处理表示。进行了大量的实验，以证明所提出的后处理技术的有效性。
2019-02-04 cs.CL
Extracting Radiological Findings With Normalized Anatomical Information Using a Span-Based BERT Relation Extraction Model
University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）
医学成像对于诊断和治疗许多医学问题至关重要，包括许多形式的癌症。医学成像报告提取放射科医生的发现和观察结果，创建非结构化医学图像的非结构化文本表示。这种文本编码信息的大规模使用需要将非结构化文本转换为结构化的语义表示。我们探讨的提取和规范化的放射学报告中的解剖信息，是与放射学的发现。我们调查这个提取和规范化的任务，使用基于跨度的关系抽取模型，共同提取实体和关系，使用BERT。这项工作探讨了影响提取和归一化性能的因素，包括身体部位/器官系统，发生频率，跨度长度和跨度多样性。它讨论了提高性能和创建高质量的放射性现象的语义表示的方法。
2021-08-20 cs.CL
Generalizing over Long Tail Concepts for Medical Term Normalization
University of Udine（乌迪内大学）；Bayer Pharmaceuticals（拜耳制药）；The Hong Kong Polytechnic University（香港理工大学）；University of Naples Federico II（那不勒斯费德里科二世大学）
医学术语规范化包括将一段文本映射到大量的输出类。考虑到标注数据集的小尺寸和概念的极端长尾分布，开发能够概括到稀缺或看不见的概念的模型是至关重要的。大多数目标本体的一个重要属性是它们的层次结构。在本文中，我们介绍了一个简单而有效的学习策略，利用这些信息来提高判别和生成模型的泛化能力。评估结果表明，所提出的策略产生国家的最先进的性能上看到的概念和一致的改进看不见的，也允许有效的zero-shot跨文本类型和数据集的知识转移。
2022-11-03 cs.AI cs.CL cs.IR
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon（俄勒冈大学）；Baidu Research（百度研究院）；Tsinghua University（清华大学）
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型，称为概念上下文（CC）嵌入，它将结构化知识的文本表示。与实体嵌入方法不同，我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务，就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录（EHRs）和医疗文本处理基准测试的实验表明，我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Understanding the Stability of Medical Concept Embeddings
Nanyang Technological University（南洋理工大学）
本文分析医学概念嵌入稳定性，发现低频概念同样高度稳定，并提出上下文词噪声程度这一与频率无关的影响因素。
2020-05-10 cs.CL
Deep Neural Models for Medical Concept Normalization in User-Generated Texts
Kazan Federal University（喀山联邦大学）；Samsung-PDMI Joint AI Center（三星-PDMI联合人工智能中心）；PDMI RAS（俄罗斯科学院PDMI研究所）
本研究针对用户生成文本中医学概念规范化问题，提出利用循环神经网络和上下文词表示模型进行序列学习，在三个基准上显著优于现有最先进模型。
2019-07-18 cs.CL cs.IR cs.LG
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
跨语言词嵌入（CLWE）是许多多语言自然语言处理系统的基础，通常通过预训练的单语言嵌入的正交变换。然而，正交映射只适用于嵌入自然同构的语言对。对于非同构对，我们的方法（迭代归一化）通过同时强制（1）单个单词向量为单位长度，以及（2）每种语言的平均向量为零，来转换单语嵌入，以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度，其中在英语-日语上观察到的改进最大（从2%到44%的测试准确度）。
2019-11-11 cs.AI cs.CL cs.LG
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP（圣保罗大学数学与计算机科学研究所）
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展，也不可互换，这使得它们不适合规范化用户生成内容（UGC）。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中，我们提出了一种技术的基础上分布式表示的话（或词嵌入）。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式，以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点，我们提出了一个完全无监督的，可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论，优于目前可用的工具，巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis
School of the Gifted Young University of Science；School of Humanities；Social Sciences University of Science
本研究探讨wav2vec 2.0模型内部的语音归一化过程，发现微调通过选择性抑制任务无关信息有效实现归一化，且多任务微调能保留信息而不损害性能，为语音模型与人类语音感知提供新见解。
2025-03-04 cs.AI cs.CL
Normalization of Input-output Shared Embeddings in Text Generation Models
University of California, Riverside（加州大学河滨分校）
基于神经网络的模型已经成为各种自然语言处理任务的最先进的模型，然而，网络中的输入和输出维度问题仍然没有完全解决，特别是在文本生成任务（例如，机器翻译、文本摘要）中，其中输入和输出都具有巨大的词汇量。因此，输入输出嵌入权值共享被引入并广泛采用，但仍有待改进。基于线性代数和统计理论，指出了现有输入输出权值共享嵌入方法的不足，提出了改进输入输出权值共享嵌入的方法，其中嵌入权值矩阵归一化方法的性能最好。这些方法几乎没有计算代价，可以与其他嵌入技术相结合，并在最先进的神经网络模型上显示出良好的效果。对于Transformer-big模型，与WMT'16 En-De数据集上的原始模型版本相比，归一化技术最多可以获得0.6的BLEU改进，并且在IWMT 14'数据集上获得类似的BLEU改进。对于DynamicConv模型，在WMT'16 En-De数据集上可以获得0.5 BLEU的改进，在IWMT' 14' De-En翻译任务上可以获得0.41 BLEU的改进。
2020-01-24 cs.CL cs.LG
Disease Normalization with Graph Embeddings
University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）
生物医学文本中疾病的检测和规范化是生物医学自然语言处理的关键任务。疾病名称不仅需要识别，而且还需要规范化或与描述疾病的临床分类法（如MeSH）相关联。在本文中，我们描述了解决这两个任务的深度学习方法。我们在已知的NCBI疾病基准语料库上训练和测试我们的方法。我们建议利用MeSH的图形结构与使用图嵌入的分类中可用的词汇信息来表示疾病名称。我们还表明，通过多任务学习将神经命名实体识别模型与我们基于图形的实体链接方法相结合，可以提高NCBI语料库中的疾病识别能力。
2020-10-24 cs.AI cs.CL
Towards Domain Specification of Embedding Models in Medicine
Department of Electrical and Computer Engineering（电气与计算机工程系）；McMaster University（麦斯特大学）
针对医学文本嵌入模型数据狭窄和评估不足的问题，提出微调模型MEDTE及含51项任务的医学基准套件，实现更优的嵌入性能。
2025-08-06 cs.CL
Utilizing Character and Word Embeddings for Text Normalization with Sequence-to-Sequence Models
New York University Abu Dhabi（纽约大学阿布扎比分校）
文本规范化是许多NLP任务的重要支持技术。最近，基于神经网络的方法在这项任务中的表现优于成熟的模型。然而，在英语以外的语言中，在这方面的探索很少。注释数据的稀缺性和语言的复杂性都增加了问题的难度。为了解决这些挑战，我们使用了一个基于字符的注意力的序列到序列模型，除了它的自学字符嵌入，还使用了预先训练的词嵌入，这种方法还对子词信息进行了建模。这为神经模型提供了更多的语言信息，特别适合文本规范化，而无需大型并行语料库。我们表明，提供具有单词级特征的模型弥合了神经网络方法在标准阿拉伯语纠正共享任务数据集上实现最先进的F1分数的差距。
2018-09-05 cs.CL cs.LG stat.ML
Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings
Pennsylvania State University（宾夕法尼亚州立大学）；RTX Technology Research Center（RTX技术研究中心）
针对医疗领域预训练成本高的问题，提出基于MLP对齐医疗知识图谱嵌入与预训练语言模型嵌入空间的方法，无需领域预训练即可提升开放域模型在医疗MRC任务上的性能。
2024-12-13 cs.CL
Can Embeddings Adequately Represent Medical Terminology? New Large-Scale Medical Term Similarity Datasets Have the Answer!
Babylon Health（巴比伦健康（Babylon Health））
已经出现了大量基于医疗数据训练的嵌入，但目前尚不清楚它们在多大程度上代表了医疗术语，特别是语义相似的医疗术语之间的密切关系是否被编码在这些嵌入中。到目前为止，只有小的数据集用于测试医学术语的相似性，不允许得出结论的嵌入医生使用的大量的医学术语的普遍性。我们提出了多个自动创建的大规模医学术语相似性数据集，并在与医生的注释研究中确认其高质量。我们评估了最先进的词和上下文嵌入在我们的新数据集，比较多个向量相似性度量和词向量聚合技术。我们的研究结果表明，目前的嵌入是有限的，在他们的能力，充分编码的医学术语。因此，新的数据集形成了一个具有挑战性的新基准，用于开发能够准确表示整个医学术语的医学嵌入。
2020-03-24 cs.AI cs.CL cs.LG
Enhancing PIO Element Detection in Medical Text Using Contextualized Embedding
IMRSV Data Labs（IMRSV数据实验室）
在本文中，我们探讨了一种新的方法，人口，干预和结果（PIO）元素检测，循证医学（EBM）的一个共同的任务。本研究的目的是双重的：建立一个训练数据集的PIO元素检测与最小的冗余和模糊性，并调查可能的选项，利用最先进的嵌入方法的PIO元素检测的任务。对于前一个目的，我们建立了一个新的和改进的数据集，通过调查以前发布的数据集的缺点。对于后者的目的，我们利用最先进的文本嵌入，双向编码器表示从Transformers（BERT），并建立一个多标签分类器。我们表明，选择特定于域的预训练嵌入进一步优化了分类器的性能。此外，我们表明，该模型可以通过使用集成的方法和增强技术，提供了充分选择的功能。
2019-06-26 cs.CL
FLARE: Task-agnostic embedding model evaluation through a normalization process
The Hong Kong University of Science and Technology（香港科学与技术大学）
FLARE通过归一化流方法直接从对数似然估计信息充分性，避免距离基密度估计，在高维空间中稳定评估嵌入模型，实验显示其在监督基准中达到Spearmanρ为0.90。
2026-04-19 cs.CL cs.LG
Simple Language Normalization Wins: Cross-Lingual Speaker Verification for the TidyVoice 2026 Challenge
University of Luxembourg（卢森堡大学）；Radio Télévisioun Lëtzebuerg (RTL)（卢森堡广播电视公司）
针对TidyVoice 2026挑战赛中的跨语言说话人验证问题，从官方基线出发，将干扰属性投影作为嵌入空间的简单语言归一化步骤，通过估计语言子空间并投影嵌入，降低了开发集等效错误率，提升了评估分数。
2026-07-28 cs.CL
Semantic Word Clouds with Background Corpus Normalization and t-distributed Stochastic Neighbor Embedding
Heidelberg University（海德堡大学）；LMU Munich（慕尼黑大学）
许多单词云不提供单词放置的语义，而是使用仅出于美学目的而优化的随机布局。我们提出了一种新的方法来模型的词的重要性和词的亲和力在一个文件中，并在一个大型的背景语料库相比。我们证明了它的有用性，生成更有意义的词云作为一个给定的文档的视觉摘要。然后，我们根据关键词的重要性选择关键词，并根据派生的亲和力构建词云。基于修改的t分布随机邻居嵌入（t-SNE），我们生成语义词放置。对于共现显着的话，我们包括边缘，并根据它们的共现聚类的话。为此，我们设计了一个可扩展的和内存高效的基于草图的方法，可用于商品硬件聚合所需的语料库统计数据进行规范化，并确定关键字以及显着的cooccupancy。我们经验验证我们的方法使用大型维基百科语料库。
2017-08-11 cs.CL cs.IR
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Northwestern University（西北大学）
最近，医学概念的分布式表示已被用于支持下游临床任务。电子健康记录（EHR）捕捉患者医院遭遇的不同方面，并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而，相同的医学概念可以以不同的模态记录（例如，临床记录、实验室结果）-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此，我们提出的方法利用元嵌入，从学习的嵌入聚合的嵌入。首先，每个医学概念的模态特定嵌入是用图自编码器学习的。然后，所有嵌入的集合被建模为元嵌入学习问题，以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明，与最先进的嵌入模型相比，我们的模型有所改进，从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University（乌得勒支大学）
临床词嵌入作为一种最先进的特征向量表示，广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功，但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别：精神障碍，性传播疾病和人格特质。在这种程度上，我们分析了两种不同的预训练嵌入，即（情境化）临床BERT和（非情境化）BioWordVec。我们发现，这两种嵌入都偏向于敏感的性别群体，但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外，我们的分析表明，临床嵌入进行了高度的偏见，一些医学术语和疾病，这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis（孟菲斯大学）；Adobe Research（奥多比研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
电子健康记录（EHR）中的临床记录提供了丰富的患者记录信息，以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而，现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中，我们提出了一个概念感知的无监督用户嵌入，共同利用文本文档和医学概念，从两个临床语料库，MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务，包括表型分类，在医院死亡率预测，病人检索，和病人的相关性。在两个临床语料库上的实验表明，我们的方法超过了无监督的基线，并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Temporal Self-Attention Network for Medical Concept Embedding
University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）
在纵向电子健康记录（EHR）中，患者的事件记录分布在很长一段时间内，事件之间的时间关系反映了足够的领域知识，以利于预测任务，如住院死亡率。医学概念嵌入作为一种特征提取方法，将一组具有特定时间戳的医学概念转换为向量，该向量将被馈送到监督学习算法中。嵌入的质量显著地决定了对医学数据的学习性能。在本文中，我们提出了一种基于应用自我注意力机制来表示每个医学概念的医学概念嵌入方法。我们提出了一种新的注意力机制，它捕获的上下文信息和医学概念之间的时间关系。一个轻量级的神经网络，“时间自我注意力网络（TeSAN）"，然后提出学习医学概念嵌入的基础上提出的注意力机制。为了测试我们提出的方法的有效性，我们对两个公共EHRs数据集进行了聚类和预测任务，将TeSAN与五种最先进的嵌入方法进行了比较。实验结果表明，所提出的TeSAN模型优于所有比较方法。据我们所知，这项工作是第一次利用时间的自我注意的关系之间的医疗事件。
2019-09-15 cs.CL cs.LG
Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language
University of Turin（都灵大学）
词嵌入在当今的自然语言处理任务和应用中扮演着重要的角色。虽然预先训练的模型可以直接使用并集成到现有的管道中，但它们通常会进行微调，以更好地适应特定的语言或领域。在本文中，我们试图通过结合对比学习（CL）和知识图谱嵌入（KGE）来提高意大利医学领域未覆盖利基中的可用嵌入。主要目标是提高医学术语之间语义相似度的准确性，这也被用作一个评估任务。由于意大利语缺乏医学文本和受控词汇，我们已经开发了一个特定的解决方案，结合现有的CL方法（多相似性损失，上下文，动态采样）和KGE的集成，创建一个新的变体的损失。虽然没有超过以多语言模型为代表的最新技术水平，但所获得的结果令人鼓舞，与初始模型相比，性能有了显着的飞跃，同时使用的数据量显着减少。
2022-11-09 cs.CL cs.LG
Biomedical term normalization of EHRs with UMLS
Vicomtech；UPV/EHU（巴斯克大学）
本文提出了一种新的原型，生物医学术语规范化的电子健康记录摘录与统一医学语言系统（UMLS）元词库。尽管设计上是多语言和跨语言的，但我们首先专注于处理西班牙语的临床文本，因为目前还没有针对这种语言和特定目的的工具。该工具基于Apache Lucene来索引Metathesaurus并从输入文本生成映射候选项。它使用IXA管道进行基本语言处理，并使用UKB工具包解决歧义。它已通过测量其协议MetaMap在两个英语-西班牙语平行语料库进行了评估。此外，我们提出了一个基于Web的界面的工具。
2018-05-24 cs.CL
Medical Concept Embedding with Time-Aware Attention
Nankai University（南开大学）；National University of Singapore（新加坡国立大学）；National University Health System（新加坡国立大学卫生系统）
在电子病历（EMR）中嵌入医疗概念（如药物、程序和诊断代码）是医疗保健分析的核心。以往的医学概念嵌入工作将医学概念和电子病历分别作为词和文档。然而，这样的模型错过了EMR数据的时间性质。一方面，两个连续的医学概念并不表明它们在时间上是接近的，但它们之间的相关性可以通过时间间隔来揭示。另一方面，医学概念的时间范围通常变化很大（例如，\textit{common cold}和\textit{diabetes}）。在本文中，我们建议将时间信息嵌入医疗代码。基于连续词袋模型，我们采用注意力机制为每个医学概念学习一个“软”时间感知的上下文窗口。通过聚类和最近邻搜索任务在公共和专有数据集上进行的实验证明了我们模型的有效性，表明它优于五个最先进的基线。
2018-06-06 cs.AI cs.CL
Medical Entity Linking using Triplet Network
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Excelra Knowledge Solutions Pvt Ltd（Excelra知识解决方案私人有限公司）
实体链接（或规范化）是文本挖掘中的一项重要任务，它将医学文本中提到的实体映射到给定知识库（KB）中的标准实体。这项工作在医学领域具有重要意义。它还可以用于合并不同的医学和临床本体。在本文中，我们围绕疾病的链接或正常化的问题。该任务分两个阶段执行：候选人生成和候选人评分。在本文中，我们提出了一种方法来排名的候选知识库条目的基础上，他们的相似性与疾病的提及。我们使用三重网络进行候选人排名。虽然现有的方法已经使用精心生成的筛子和外部资源的候选生成，我们引入了一个强大的和便携式的候选生成方案，不使用手工制作的规则。在标准基准NCBI疾病数据集上的实验结果表明，我们的系统比以前的方法有显着的优势。
2020-12-21 cs.AI cs.CL
NSEEN: Neural Semantic Embedding for Entity Normalization
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
人类的大部分知识都以文本形式编码，可在科学出版物，书籍和网络中获得。鉴于这些资源的快速增长，我们需要自动化的方法来提取这些知识到机器可处理的结构，如知识图谱。这个过程中的一个重要任务是实体规范化，它包括将文本中的噪声实体提到映射到众所周知的参考集中的规范实体。然而，实体规范化是一个具有挑战性的问题;通常有许多文本形式的规范实体可能无法在参考集中捕获，并且文本中提到的实体可能包括许多语法变体或错误。这个问题在生物学等科学领域尤为严重。为了解决这个问题，我们已经开发了一个通用的，可扩展的解决方案的基础上，深连体神经网络模型嵌入的语义信息的实体，以及它们的语法变化。我们使用这些嵌入快速映射新的实体到大的参考集，并在经验上显示了我们的框架在挑战生物实体规范化数据集的有效性。
2019-06-29 cs.CL cs.DB cs.IR
Spatial Pyramid Encoding with Convex Length Normalization for Text-Independent Speaker Verification
KAIST（韩国科学技术院）；LG Electronics（LG电子）
在本文中，我们提出了一种新的池化方法称为空间金字塔编码（SPE）生成说话人嵌入文本无关的说话人确认。我们首先将深度残差网络（ResNet）的输出特征映射划分为越来越细的子区域，并通过可学习的字典编码层从每个子区域提取说话人嵌入。这些嵌入被连接以获得最终的说话者表示。SPE层不仅为可变长度的语音段生成固定维的说话人嵌入，而且还从多层次的时间块中聚合特征分布信息。此外，我们通过用环损失来增加损失函数来应用深度长度归一化。通过应用环损失，网络逐渐学会使用模型权重本身来规范化说话人嵌入，同时保持凸性，从而产生更鲁棒的说话人嵌入。在VoxCeleb1数据集上的实验表明，使用SPE层和基于环丢失的深度长度归一化的系统优于i向量和d向量基线。
2019-06-19 cs.CL cs.LG cs.SD
Cross-lingual Candidate Search for Biomedical Concept Normalization
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
生物医学概念规范化将文本中提到的概念链接到生物医学知识库中的语义等效概念。这个任务是具有挑战性的，因为概念在自然语言中可以具有不同的表达，例如释义，其不一定全部存在于知识库中。非英语生物医学文本的概念规范化更具挑战性，因为非英语资源往往要小得多，包含的同义词更少。为了克服非英语术语的局限性，我们提出了一个跨语言的候选人搜索的概念规范化，使用基于字符的神经翻译模型训练的多语言生物医学术语。我们的模型使用西班牙语，法语，荷兰语和德语版本的UMLS进行训练。我们的模型的评估是在法国Quaero语料库上进行的，显示它优于CLEF eHealth 2015和2016的大多数团队。此外，我们还将Mantra的西班牙语、法语、荷兰语和德语版本与商业翻译进行了性能比较。我们的模型表现类似，但免费，可以在本地运行。这对于临床NLP应用尤其重要，因为医疗文档具有严格的隐私限制。
2018-05-04 cs.CL
Automated Generation of Accurate \& Fluent Medical X-ray Reports
University of Alberta（阿尔伯塔大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们的论文重点是自动生成的医疗报告，从胸部X射线图像输入，一个关键的，但耗时的任务，放射科医生。与现有的倾向于生成人类可读报告的医疗报告生成工作不同，我们的目标是生成流畅且临床准确的医疗报告。这是通过我们的完全可区分和端到端的范例来实现的，该范例包含三个互补模块：以患者的胸部X射线图像和临床历史文档作为输入，我们的分类模块生成疾病相关主题的内部检查列表，称为丰富的疾病嵌入;然后将嵌入表示传递到我们基于transformer的生成器，生成医疗报告;同时，我们的生成器还产生了加权嵌入表示，并将其提供给我们的解释器，以确保与疾病相关的主题的一致性。我们的方法在常用的语言流畅性和临床准确性方面取得了令人满意的结果。此外，当额外的输入信息可用时，如临床文档和不同视图的额外扫描，可以持续观察到显著的性能提升。
2021-08-27 cs.CL
A Method to Learn Embedding of a Probabilistic Medical Knowledge Graph: Algorithm Development
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Yidu Cloud Technology Inc（医渡云技术有限公司）；College of Computer Science, Chongqing University（重庆大学计算机学院）；Southwest Hospital（西南医院）；Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；School of Science, Beijing Jiaotong University（北京交通大学理学院）
本文提出了一种基于医学知识的嵌入向量学习算法PrTransH。从真实世界的电子病历数据中嵌入医学知识图谱的独特挑战是知识三元组的不确定性模糊了“正确三元组”和“错误三元组”之间的边界，改变了许多现有算法的基本假设。为解决这一问题，对现有的TransH算法进行了改进，包括：1）将医学知识三元组的概率引入训练目标; 2）将基于边缘的排序损失替换为同时考虑有效三元组和受损三元组的统一损失计算; 3）在训练数据集上增加医学背景知识。在基于医学知识图谱的真实电子病历数据上的验证表明，PrTransH算法在链接预测任务上优于TransH算法.本文是第一篇在概率知识图谱上学习和验证知识嵌入的论文。
2020-11-08 cs.AI cs.CL
Exploiting Sentence Embedding for Medical Question Answering
Tsinghua University（清华大学）；iFlytek Research（讯飞研究院）
尽管词嵌入取得了巨大的成功，但句子嵌入仍然是一个没有很好解决的问题。在本文中，我们提出了一个监督学习框架，利用句子嵌入的医疗问答任务。学习框架由两个主要部分组成：1）一个句子嵌入产生模块，和2）一个评分模块。前者是通过上下文自注意和多尺度技术将句子编码为嵌入张量而开发的。这个模块简称为上下文自我注意多尺度句子嵌入（CAMSE）。后者采用两种评分策略：语义匹配评分（SMS）和语义关联评分（SAS）。SMS测量相似性，而SAS捕获句子对之间的关联：一个医学问题与一个候选选择相连接，以及一个相应的支持证据。建议的框架是由两个医疗问答（MedicalQA）数据集，这是从现实世界中的应用程序：医疗考试和临床诊断的基础上，电子病历（EMR）。比较结果表明，我们提出的框架取得了显着的改进相比，竞争力的基线方法。此外，本文还通过一系列的对照实验，说明了多尺度策略和语境自注意层在产生有效的句子嵌入中的重要作用，以及两种评分策略在问答问题中的互补性。
2018-11-15 cs.AI cs.CL cs.LG
DILA: Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Vanderbilt University（范德堡大学）
针对高维多标签医疗编码预测的可解释性不足问题，提出DILA字典标签注意力模块，将稠密嵌入解耦为含全局医学概念的稀疏嵌入，结合LLM自动识别特征，用稀疏矩阵呈现特征与编码关系，提升可解释性且保持性能与可扩展性。
2025-03-22 cs.CL
IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization
University of Southern California（南加州大学）
微调预训练语言模型（PTLM），如BERT及其更好的变体RoBERTa，已经成为提高自然语言理解（NLU）任务性能的常见做法。表示学习的最新进展表明，各向同性（即，单位方差和不相关）嵌入可以显著提高下游任务的性能，具有更快的收敛和更好的泛化。然而，PTLM中预先训练的嵌入的各向同性相对未被探索。在本文中，我们通过直观的可视化分析了PTLM的预训练[CLS]嵌入的各向同性，并指出了两个主要问题：标准差的高方差和不同维度之间的高相关性。我们还提出了一种新的网络正则化方法，各向同性批量归一化（IsoBN）来解决这个问题，通过动态惩罚主导主成分来学习更多的各向同性表示。这种简单而有效的微调方法在七个NLU任务的平均值上产生约1.0的绝对增量。
2021-02-04 cs.CL cs.LG
A multi-perspective combined recall and rank framework for Chinese procedure terminology normalization
East China University of Science and Technology（华东理工大学）
医学术语规范化旨在将临床提及映射到来自知识库的术语，这在分析电子健康记录（EHR）和许多下游任务中起着重要作用。本文主要研究汉语过程术语规范化问题。术语的表达是多种多样的，一个医学提及可能与多个术语相关联。以往的研究探索了多类分类和学习排序（LTR）等方法，根据文献和语义信息对术语进行分类。然而，这些信息不足以找到正确的术语，特别是在多重含义的情况下。在这项工作中，我们提出了一个结合召回和排名的框架来解决上述问题。该框架由多任务候选生成器（MTCG）、关键词关注排序器（KAR）和融合模块（FB）组成。MTCG被用来预测提及暗示数和具有语义相似度的召回候选项。KAR基于BERT，具有关键词关注机制，该机制关注手术部位和手术类型等关键词。FB融合了MTCG和KAR的相似性，从不同的角度对术语进行排序。详细的实验分析表明，我们提出的框架有显着的改善性能和效率。
2021-01-22 cs.CL cs.LG
Clinical Concept Embeddings Learned from Massive Sources of Multimodal Medical Data
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Harvard Medical School（哈佛医学院）；University of North Carolina School of Medicine（北卡罗来纳大学医学院）
词嵌入是一种流行的无监督学习词关系的方法，广泛用于自然语言处理。在这篇文章中，我们提出了一套新的嵌入医学概念的学习使用一个非常大的集合的多模态医疗数据。依靠最近的理论见解，我们展示了如何将一个拥有6000万成员的保险索赔数据库，2000万临床笔记的集合和170万篇全文生物医学期刊文章结合起来，将概念嵌入到一个公共空间中，从而产生了有史以来最大的108，477个医学概念的嵌入集。为了评估我们的方法，我们提出了一个新的基准方法，专门设计用于测试嵌入的医学概念的统计功率的基础上。我们的方法称为cui2vec，在大多数情况下相对于以前的方法具有最先进的性能。最后，我们提供了一组可下载的预训练嵌入供其他研究人员使用，以及一个在线工具，用于交互式探索cui2vec嵌入
2019-08-20 cs.AI cs.CL stat.ML
Learning distributed representations with efficient SoftMax normalization
ISI Foundation（ISI基金会）
本文提出一种线性时间启发式近似方法计算SoftMax归一化常数，并设计出高效且与任务无关的嵌入学习算法，在保持或提升性能的同时显著降低计算时间。
2025-06-01 cs.CL cs.LG stat.ML
Learning Contextual Hierarchical Structure of Medical Concepts with Poincairé Embeddings to Clarify Phenotypes
Harvard Medical School（哈佛医学院）
生物医学关联研究越来越多地使用临床概念，特别是来自临床数据库的诊断代码作为表型。临床概念可以使用词嵌入模型在有意义的向量空间中表示。这些嵌入允许临床概念之间的比较或直接输入到机器学习模型。使用传统的方法，良好的表示需要高维度，使下游任务，如可视化更加困难。我们将庞加莱嵌入在2维双曲空间中应用于大型行政索赔数据库，并显示出与欧几里得空间中的100维嵌入相当的性能。然后，我们研究不同疾病背景下的疾病关系，以更好地了解潜在的表型。
2018-11-03 cs.CL q-bio.QM
Knowledge Transfer with Medical Language Embeddings
Weill Cornell Medical College（威尔康奈尔医学院）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
识别概念之间的关系是科学知识综合的一个关键方面。发现这些链接通常需要研究人员费力地搜索科学论文和数据库，因为这些资源的规模越来越大。在本文中，我们描述了如何分布语义可以用来统一结构化的知识图谱与非结构化的文本，以预测新的医学概念之间的关系，使用概率生成模型。我们的方法还旨在改善医学领域的数据稀疏性和稀缺性问题，这使得语言建模更具挑战性。具体来说，我们整合了医疗关系数据库（SemMedDB）与电子健康记录（EHR）的文本，以执行知识图谱完成。我们进一步证明了我们的模型预测令牌之间的关系没有出现在关系数据库的能力。
2016-02-10 cs.CL stat.AP
Scalable Approach for Normalizing E-commerce Text Attributes (SANTA)
Amazon（亚马逊）
在本文中，我们提出了SANTA，一个可扩展的框架，自动规范化电子商业属性值（例如“Win 10 Pro”）的一组固定的预定义的规范值（例如“Windows 10”）。属性规范化的早期工作集中在模糊字符串匹配（本文中也称为语法匹配）。在这项工作中，我们首先进行了广泛的研究，九个句法匹配算法，并建立“余弦”相似性导致最佳的结果，显示2.7%的改善，常用的Jaccard指数。接下来，我们认为，字符串相似性本身是不够的属性规范化，因为许多表面形式需要超越语法匹配（例如，“720 p”和“HD”是同义词）。虽然语义技术，如无监督嵌入（例如word 2 vec/fastText）在单词相似性任务中表现出良好的效果，但我们观察到它们在区分接近的规范形式方面表现不佳，因为这些接近的形式经常出现在类似的上下文中。我们建议使用具有三重损失的孪生网络来学习令牌嵌入。我们提出了一个嵌入式学习任务，利用原始属性值和产品名称以自我监督的方式学习这些嵌入。我们表明，使用我们提出的任务提供监督改进了基于语法和无监督嵌入的属性规范化技术。在一个包含50个属性的真实属性归一化数据集上的实验表明，使用我们提出的方法训练的嵌入比最佳字符串匹配提高了2.3%，比最佳无监督嵌入提高了19.3%。
2021-06-12 cs.CL cs.LG
Zero-Shot Medical Information Retrieval via Knowledge Graph Embedding
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；University of Liverpool（利物浦大学）；University of Surrey（萨里大学）
本文提出MedFusionRank，结合预训练语言模型与医学知识图谱嵌入实现零样本医疗信息检索，在医学数据集上验证了其优于现有方法的检索性能。
2023-10-31 cs.CL cs.IR
Embedding Transfer for Low-Resource Medical Named Entity Recognition: A Case Study on Patient Mobility
National Institutes of Health（美国国立卫生研究院）；The Ohio State University（俄亥俄州立大学）
功能作为全球健康的一个重要指标正在得到认可，但在医学自然语言处理研究中仍然研究不足。我们提出的第一个分析自动提取病人的流动性的描述，使用最近开发的自由文本电子健康记录的数据集。我们框架的任务作为一个命名实体识别（NER）的问题，并调查NER技术的适用性，移动性提取。由于文本语料库集中在病人的功能是稀缺的，我们探讨领域自适应的词嵌入中使用的递归神经网络NER系统。我们发现，在一个小的领域内语料库上训练的嵌入执行几乎以及从大型领域外语料库中学习的嵌入，并且领域自适应技术在精确度和召回率方面都有额外的提高。我们的分析确定了几个重大的挑战，在提取病人的流动性，包括注释实体的长度和复杂性和高语言的流动性描述的描述。
2018-06-07 cs.AI cs.CL
Domain-Relevant Embeddings for Medical Question Similarity
Curai（Curai公司）
网上提出医学问题的速度远远超过了合格人员的回答能力，其中许多问题并不是独一无二的。识别相同的问题对可以使问题得到更有效的回答。虽然许多研究工作都集中在非医疗应用程序的一般问题相似性的问题，这些方法并不能很好地推广到医疗领域，医疗专业知识往往需要确定语义相似性。在本文中，我们展示了如何预训练神经网络的医疗问答对的半监督方法是一个特别有用的中间任务，最终目标是确定医疗问题的相似性。虽然其他预训练任务在此任务上的准确率低于78.7%，但我们的模型在相同数量的训练样本下达到了82.6%的准确率，并且在更小的训练集下达到了80.0%的准确率。
2019-11-15 cs.CL cs.LG stat.ML
MedEIR: A Specialized Medical Embedding Model for Enhanced Information Retrieval
Lokasani CompIndia Infotech Pvt. Ltd（洛卡桑尼康普印度科技有限公司）
针对现有嵌入模型医学语义捕捉弱、长文档表现差、领域适配后通用能力下降等问题，提出联合优化的医学嵌入模型MedEIR，支持长上下文，在MTEB多个基准上超越Jina V2和MiniLM。
2025-05-12 cs.CL cs.IR
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo（滑铁卢大学）
上下文词嵌入模型，如BioBERT和Bio_ClinicalBERT，通过将其预训练过程集中在特定领域的语料库上，在生物医学自然语言处理任务中取得了最先进的结果。然而，这样的模型不考虑专家领域知识。在这项工作中，我们介绍了UmlsBERT，一个上下文嵌入模型，通过一种新的知识增强策略，在预训练过程中集成领域知识。更具体地说，用统一医学语言系统（UMLS）元词库对UmlsBERT进行增强是以两种方式进行的：i）连接UMLS中具有相同基础“概念”的单词，以及ii）利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略，UmlsBERT可以将临床领域知识编码到词嵌入中，并在常见的命名实体识别（NER）和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Interpretable Segmentation of Medical Free-Text Records Based on Word Embeddings
University of Warsaw（华沙大学）；Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
有类似情况的病人得到类似的诊断是真的吗？在本文中，我们展示了NLP方法和一个独特的文档语料库来验证这一说法。我们（1）介绍了一种基于医生记录的自由文本描述的医疗访问表示方法，（2）介绍了一种新的患者访问聚类方法，（3）给出了该方法在10万次访问语料库上的应用。与所提出的方法，我们得到了稳定的和分离的部分访问，对最终的医疗诊断进行了积极的验证。我们展示了如何提出的算法可以用来帮助医生在他们的实践。
2020-06-05 cs.CL cs.LG stat.ML
MiME: Multilevel Medical Embedding of Electronic Health Records for Predictive Healthcare
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；IBM Research（IBM研究院）；Sutter Health（萨特医疗）；HINT Consultants（HINT咨询公司）
深度学习模型对于使用电子健康记录（EHR）数据的许多预测性医疗保健任务表现出最先进的性能，但这些模型通常需要超过大多数医疗保健系统容量的训练数据量。外部资源，如医学本体被用来桥接数据量的限制，但这种方法往往是不直接适用或有用的，因为与术语不一致。为了解决数据不足的挑战，我们利用EHR数据的固有多级结构，特别是医疗代码之间的编码关系。我们提出了多级医疗嵌入（MiME），它学习EHR数据的多级嵌入，同时联合执行依赖于这种固有EHR结构的辅助预测任务，而不需要外部标签。我们进行了两个预测任务，心力衰竭预测和连续疾病预测，其中MiME在不同的评估环境中优于基线方法。特别是，MiME在不同体积的数据集上预测心力衰竭时始终优于所有基线，特别是在最小数据集上表现出最大的性能改善（PR-AUC相对于最佳基线增加15%），证明了其有效建模EHR数据多级结构的能力。
2018-10-22 cs.CL cs.LG stat.ML
Robust Benchmarking for Machine Learning of Clinical Entity Extraction
Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
临床研究通常需要理解仅存在于自由文本临床笔记中的患者叙述的元素。为了将注释转换为结构化数据以供下游使用，通常提取这些元素并将其规范化为医学词汇表。在这项工作中，我们审计的性能，并指出国家的最先进的系统的改进领域。我们发现，2019年n2c2共享任务中临床实体标准化系统的高任务准确性具有误导性，并且潜在性能仍然脆弱。对于常见概念，归一化准确率很高（95.3%），但对于训练数据中看不到的概念，归一化准确率要低得多（69.3%）。我们证明，目前的方法是阻碍部分医学词汇的不一致，现有的标签模式的限制，和狭窄的评估技术。我们重新制定了临床实体提取的注释框架，以考虑这些问题，从而实现强大的端到端系统基准测试。我们从我们的新框架之间的两个注释器的注释一致性进行评估，并实现了0.73的Jaccard相似性实体识别和0.83的协议实体规范化。我们提出了一条前进的道路，以解决证明需要创建一个参考标准，以刺激实体识别和规范化的方法开发。
2020-07-31 cs.CL cs.LG
