Med-gte-hybrid: A contextual embedding transformer model for extracting actionable information from clinical texts
Hahn-Schickard(哈恩-席卡德);University of Freiburg(弗莱堡大学)
Med-gte-hybrid通过结合对比学习和去噪自动编码器,改进了临床文本信息提取,提升了患者分层和文本检索性能。
2025-12-01 cs.AI cs.CL
Snomed2Vec: Random Walk and Poincaré Embeddings of a Clinical Knowledge Base for Healthcare Analytics
Pacific Northwest National Laboratory(西北太平洋国家实验室);Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
变换编码数据的表示学习方法(例如,诊断和药物代码)到连续向量空间(即,向量嵌入)对于深度学习在医疗保健中的应用至关重要。这一领域的初步工作探索了使用word 2 vec算法的变体来从电子健康记录或医疗索赔数据集中学习医疗概念的嵌入。我们提出了学习嵌入的医学概念,通过使用基于图的表示学习方法SNOMED-CT,一个广泛流行的知识图谱在医疗领域的众多业务和研究应用。目前的工作提出了一种经验分析的各种嵌入方法,包括其性能的生物医学相关性(节点分类,链接预测,和患者状态预测)的多个任务的评估。我们的研究结果表明,从SNOMED-CT知识图谱中获得的概念嵌入显著优于最先进的嵌入,在"概念相似性”方面提高了5- 6倍,在患者诊断方面提高了6- 20%。
2019-07-19 cs.AI cs.LG stat.ML
Contrastive Self-Supervised Learning Based Approach for Patient Similarity: A Case Study on Atrial Fibrillation Detection from PPG Signal
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学);University of Maryland(马里兰大学);United Arab Emirates University(阿联酋大学)
本文提出一种基于对比学习的深度学习框架,利用生理信号进行患者相似性搜索,并引入多种邻居选择算法,在170多名个体的PPG信号心房颤动检测数据集上验证了其优于基线方法的有效性。
2023-07-22 cs.LG eess.SP
Visualization of Emergency Department Clinical Data for Interpretable Patient Phenotyping
Texas A&M University(德克萨斯农工大学);Yale School of Medicine(耶鲁医学院)
在电子健康记录(EHR)中包含的对收集的关于患者的临床数据的视觉总结可以在患者呈现给急诊科(ED)时实现精确且快速的分类。在适当分配资源和预测最终患者处置(通常是入院或出院)方面,分诊过程至关重要。EHR数据是高维和复杂的,但提供了发现和表征基础数据驱动的患者表型的机会。这些表型将使改善,个性化的治疗决策和解释。在这项工作中,我们专注于二维患者投影的挑战。低维嵌入提供了在高维中丢失的视觉可解释性。虽然线性降维技术,如主成分分析,经常用于实现这一目标,他们是不足以描述患者数据的方差。在这项工作中,我们采用了新描述的非线性嵌入技术,称为均匀流形近似和投影(UMAP)。UMAP试图在高维数据中捕获局部和全局结构。然后,我们使用高斯混合模型来识别嵌入数据中的聚类,并使用调整后的Rand指数(ARI)来建立这些聚类的发现的稳定性。这种技术被应用到五个常见的临床主要投诉从现实世界的ED EHR数据集,描述所发现的集群的紧急属性。我们观察临床相关的聚类属性,这表明使用非线性降维的EHR数据的视觉嵌入是一种很有前途的方法来揭示数据驱动的患者表型。在五个主要投诉中,我们发现2到6个聚类,随后的训练迭代之间的峰值平均成对ARI范围从0.35到0.74。
2019-07-05 cs.HC cs.LG stat.ML
$\mathtt{MedGraph:}$ Structural and Temporal Representation Learning of Electronic Medical Records
Monash University(蒙纳士大学);Monash Health(蒙纳士健康中心)
电子病历(EMR)数据包含患者就诊的历史序列,每次就诊都包含丰富的信息,如患者人口统计学、医院利用率和医疗代码,包括诊断、程序和药物代码。大多数现有的EMR嵌入方法捕获访问代码的关联,通过构建输入访问表示为二进制向量与医疗代码的静态词汇。利用这种有限的表示,它们无法封装访问的丰富属性信息(人口统计和利用信息)和/或代码(例如,医学代码描述)。此外,目前的工作认为访问同一个病人作为离散时间的事件,忽略了它们之间的时间差。然而,访视之间的时间间隔描绘了患者病史的动态,从而对未来的访视产生不同的影响。为了解决这些局限性,我们提出了$\mathtt{MedGraph}$,监督EMR嵌入方法,捕获两种类型的信息:(1)访问代码的关联在属性二分图,和(2)通过一个点过程的时间顺序的访问。$\mathtt{MedGraph}$为访问和代码生成高斯嵌入,以对不确定性进行建模。我们通过广泛的实验研究评估了$\mathtt{MedGraph}$的性能,并表明$\mathtt{MedGraph}$在几个医疗风险预测任务中优于最先进的EMR嵌入方法。
2020-07-23 cs.LG stat.ML
Semi-supervised Clustering Through Representation Learning of Large-scale EHR Data
Department of Biostatistics, Harvard T.H. Chan School of Public Health(哈佛T.H. 洪学校公共卫生学院生物统计学系);Department of Mathematical Sciences, Bentley University(贝纳特大学数学科学系);Department of Neurology, University of Pittsburgh(匹兹堡大学神经病学系);Department of Biostatistics, Peking University Health Science Center(北京大学健康科学中心生物统计学系);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)
提出SCORE半监督表示学习框架,利用PALM模型和混合EM-GVA算法处理大规模EHR数据,通过患者嵌入提升聚类与预测性能,并在MS残疾预测中验证有效性。
2025-05-27 cs.LG stat.ME
Transformer-based unsupervised patient representation learning based on medical claims for risk stratification and analysis
Ohio University(俄亥俄大学);Nationwide Children's Hospital(全国儿童医院)
索赔数据包含医疗代码、服务信息和已发生的支出,可以是评估个人健康状况和医疗风险水平的良好资源。在这项研究中,我们开发了基于转换器的多模态自动编码器(TMAE),这是一个无监督学习框架,可以通过对索赔数据中有意义的信息进行编码来学习有效的患者表示。TMAE是出于医疗保健的实际需要,将患者分为不同的风险级别,以改善护理和管理。与以前的方法相比,TMAE能够1)对住院病人、门诊病人和药物索赔进行集体建模,2)处理医疗事件之间的不规则时间间隔,3)缓解罕见医疗代码的稀疏问题,以及4)合并医疗支出信息。我们使用包含超过60万名患者的真实儿科索赔数据集训练TMAE,并在两个聚类任务中将其性能与各种方法进行比较。实验结果表明,TMAE具有优越的性能相比,所有的基线。多个下游应用程序也进行了说明我们的框架的有效性。令人鼓舞的结果证实,TMAE框架可扩展到大型索赔数据,并能够生成有效的患者嵌入风险分层和分析。
2021-06-23 cs.AI cs.LG
PCPs: Patient Cardiac Prototypes
University of Oxford(牛津大学)
许多临床深度学习算法是基于人群的,难以解释。这些属性限制了它们的临床实用性,因为基于人群的发现可能无法推广到个体患者,并且医生不愿意将不透明模型纳入其临床工作流程。为了克服这些障碍,我们建议学习患者特定的嵌入,患者心脏原型(PCP),有效地总结了患者的心脏状态。为此,我们通过监督对比学习将来自同一患者的多个心脏信号的表示吸引到相应的PCP。我们发现,PCP的效用是多方面的。首先,它们允许在数据集内和数据集之间发现相似的患者。其次,这种相似性可以与超网络结合使用,以生成患者特异性参数,进而生成患者特异性诊断。第三,我们发现PCP充当原始数据集的紧凑替代品,允许数据集蒸馏。
2020-11-28 cs.LG eess.SP
Multi-view Factorization AutoEncoder with Network Constraints for Multi-omic Integrative Analysis
University at Buffalo(布法罗大学)
多组学数据提供相同患者的多个视图。多组学数据的综合分析对于阐明疾病病因的分子基础至关重要。然而,多组数据存在“大p,小N”问题(特征数多,但样本数少),仅从多组数据中训练复杂的机器学习模型并使其具有良好的泛化能力是一个挑战。在这里,我们提出了一个框架,称为多视图分解AutoEncoder与网络约束集成多组学数据与领域知识(生物相互作用网络)。我们的框架采用深度表示学习来同时学习特征嵌入和患者嵌入,使我们能够将特征交互网络和患者视图相似性网络约束集成到训练目标中。整个框架是端到端可区分的。我们将我们的方法应用于TCGA泛癌症数据集,并取得了令人满意的结果,以预测疾病无进展间期(PFI)和患者总生存期(OS)事件。代码将公开提供。
2018-09-06 cs.LG stat.ML
Medical Profile Model: Scientific and Practical Applications in Healthcare
National Institute of Standards and Technology(美国国家标准与技术研究院);Rice University(莱斯大学);Colorado State University(科罗拉多州立大学);University of Colorado(科罗拉多大学);National Research Institute for Metals(国家金属材料研究所)
针对电子健康记录表示学习问题,提出基于transformer的无监督Medical Profile Model,在百万级患者数据集上训练,诊断预测性能优于现有方法,还可应用于前驱疾病发现与保险评分任务。
2023-10-29 cs.CY cs.LG
Missing-Modality-Aware Graph Neural Network for Cancer Classification
School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院)
本文提出MAGNET模型,通过动态患者-模态多头注意力机制融合低维模态嵌入,以提升部分模态下的多模态预测性能,实验表明其在癌症分类任务中优于现有方法。
2026-05-15 cs.AI cs.LG q-bio.BM
Comparing Baseline and Day-1 Diffusion MRI Using Multimodal Deep Embeddings for Stroke Outcome Prediction
1 Department of Computer Science, University of Geneva, Switzerland 2 Department of Electrical \& Computer Engineering, University of Florida, FL, USA 3 Service of Medical Informatics, University Hospital of Geneva, Switzerland 4 Department of Imaging;Medical Informatics, University of Geneva, Switzerland
本研究通过多模态深度嵌入方法,利用基线和治疗后1天的扩散MRI数据,结合临床特征和病变体积,预测急性缺血性中风患者3个月的功能预后。
2025-12-01 cs.AI cs.CV cs.LG
Event-Based Contrastive Learning for Medical Time Series
Massachusetts Institute of Technology(麻省理工学院);Harvard Medical School(哈佛医学院)
本文提出基于事件的对比学习方法EBCL,通过在关键医疗事件前后保留时间信息学习患者异构数据嵌入,并在心力衰竭患者队列上验证其在下游任务和患者表型聚类中的有效性。
2024-08-08 cs.LG
Patient-Aware Contrastive Learning Preserves Per-Patient Structure in RR-Interval Representations
Department of Computer Science, University of Moratuwa, Sri Lanka(斯里兰卡莫拉图瓦大学计算机科学系)
提出患者感知对比学习目标,通过同患者同类样本形成正对,保留个体基线变异,在阵发性房颤检测中实现跨患者鲁棒泛化,AUROC达0.989±0.003。
2026-06-23 cs.LG
CROCS: Clustering and Retrieval of Cardiac Signals Based on Patient Disease Class, Sex, and Age
University of Oxford(牛津大学)
在临床数据库中手动搜索相关实例并从临床数据库中提取信息的过程支撑了大量临床任务。这些任务包括疾病诊断、临床试验招募和继续医学教育。然而,这种人工搜索和提取过程受到了大规模临床数据库的增长和未标记实例日益普遍的阻碍。为了应对这一挑战,我们提出了一个监督对比学习框架,CROCS,其中心脏信号的表示与一组患者特定属性(例如,疾病类别、性别、年龄)被称为临床原型的可学习嵌入所吸引。我们利用这样的原型的聚类和检索的未标记的心脏信号的基础上,多个病人的属性。我们表明,CROCS优于国家的最先进的方法,DTC,聚类时,也检索相关的心脏信号从一个大型数据库。我们还表明,临床原型采用基于患者属性的语义上有意义的安排,从而赋予高度的可解释性。
2021-10-04 cs.LG eess.SP
Debias-CLR: A Contrastive Learning Based Debiasing Method for Algorithmic Fairness in Healthcare Applications
Wright State University(莱特州立大学);Cincinnati Children’s Hospital Medical Center(辛辛那提儿童医院医疗中心);Kairos Research LLC(Kairos Research有限责任公司);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出 Debias-CLR 对比学习去偏框架,利用 Clinical BERT 和 LSTM 自编码器分别提取临床文本与生命体征特征,在性别和族裔维度上学习公平表示,在不降低住院时长预测准确率的同时有效减轻医疗模型中的统计学偏见。
2024-11-20 cs.CY cs.LG
Medical Concept Representation Learning from Claims Data and Application to Health Plan Payment Risk Adjustment
Geneia LLC(Geneia有限责任公司)
风险调整已成为医疗保健中越来越重要的工具。它被广泛应用于保健计划的付款调整,以反映为成员提供保险的预期费用。风险调整模型通常使用线性回归进行估计,这并没有充分利用索赔数据中的信息。此外,这种线性回归模型的开发需要大量的领域专家知识和数据预处理的计算工作。在本文中,我们提出了一种新的风险调整方法,使用语义嵌入来表示患者的病史。嵌入有效地表示从患者病史中的诊断、程序和处方代码中学习的医学概念。这种方法大大减少了对特征工程的需求。我们的研究结果表明,模型使用嵌入有更好的性能比商业风险调整模型的前瞻性风险评分预测的任务。
2019-07-15 cs.LG stat.ML
Representation Learning of EHR Data via Graph-Based Medical Entity Embedding
IQVIA Inc.(艾昆纬公司);University of Minnesota Twin Cities(明尼苏达大学双城分校)
电子健康记录(EHR)数据中关键实体的自动表示学习是医疗信息化的关键步骤,它将异构的医疗记录转化为结构化的可操作信息。在这里,我们提出了ME2Vec,这是一个算法框架,用于学习EHR中最常见实体的低维向量:医疗服务,医生和患者。ME2Vec利用不同的图嵌入技术来满足每个医疗实体的独特特征。使用真实世界的临床数据,我们证明了ME2Vec在疾病诊断预测方面优于竞争基线的功效。
2019-10-07 cs.IR cs.LG stat.ML
Dynamic Healthcare Embeddings for Improving Patient Care
University of Iowa(爱荷华大学)
随着医院逐步实现计算系统的自动化和集成,越来越多的细粒度医院运营数据变得可用。这些数据包括医院建筑图纸、患者与医疗保健专业人员之间的交互日志、处方数据、程序数据以及患者入院、出院和转院的数据。这为改善患者护理的医疗保健相关预测任务开辟了许多迷人的途径。然而,为了利用现成的机器学习软件来完成这些任务,需要从异构的动态数据流中学习所涉及的实体的结构化表示。在这里,我们提出了DECENT,一个自动编码的异构协同进化动态神经网络,用于学习异构动态嵌入的患者,医生,房间,和药物从不同的数据流。这些嵌入基于静态属性和动态交互来捕获医生、房间、患者和药物之间的相似性。DECENT支持医疗保健预测中的多个应用,例如预测患者的死亡风险和病例严重程度、不良事件(例如,转回重症监护室),以及未来的医疗保健相关感染。在预测建模中使用学习到的患者嵌入的结果表明,DECENT在死亡风险预测任务上的收益高达48.1%,在病例严重程度预测任务上的收益高达12.6%,在医疗重症监护病房转移任务上的收益高达6.4%,在艰难梭菌(C.diff)感染(CDI)预测任务上的收益高达3.8%。此外,对博学的医生、药物和房间嵌入的案例研究表明,我们的方法学习了有意义和可解释的嵌入。
2023-03-21 cs.AI cs.LG q-bio.QM
DeepEnroll: Patient-Trial Matching with Deep Embedding and Entailment Prediction
Tsinghua University(清华大学);IQVIA;Temple University(天普大学);Georgia Institute of Technology(佐治亚理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
临床试验对药物开发至关重要,但往往存在昂贵、不准确和患者招募不足的问题。患者-试验匹配的核心问题是为试验找到合格的患者,其中患者信息存储在电子健康记录(EHR)中,而试验合格性标准(EC)在网络上可用的文本文档中描述。如何表示纵向患者EHR?如何从电子商务中提取复杂的逻辑规则?现有的大多数作品依赖于手动基于规则的提取,这是耗时和不灵活的复杂推理。为了解决这些挑战,我们提出了DeepEnroll,这是一种跨模态推理学习模型,将登记标准(文本)和患者记录(表格数据)联合编码到一个共享的潜在空间中进行匹配推理。DeepEnroll应用预训练的双向编码器表示Transformers(BERT)模型将临床试验信息编码到句子嵌入中。并使用层次嵌入模型来表示患者纵向EHR。此外,DeepEnroll还增加了一个数字信息嵌入和蕴涵模块,可以对EC和EHR中的数字信息进行推理。这些编码器被联合训练以优化患者试验匹配分数。我们评估了DeepEnroll的试验患者匹配任务,并在真实世界的数据集上进行了演示。DeepEnroll在平均F1中超过最佳基线高达12.4%。
2020-01-23 cs.AI cs.LG
WellFactor: Patient Profiling using Integrative Embedding of Healthcare Data
Georgia Institute of Technology(佐治亚理工学院);Kaiser Permanente(凯撒医疗集团);Georgia Tech Research Institute(佐治亚理工研究院)
WellFactor 通过约束低秩逼近整合多源医疗数据生成患者画像,能即时计算新患者嵌入,并在分类、聚类和相似性搜索中优于现有方法。
2023-12-21 cs.AI cs.IR cs.LG
Measuring Patient Similarities via a Deep Architecture with Medical Concept Embedding
Xi’an Jiaotong University(西安交通大学);Microsoft AI & Research(微软人工智能与研究院);HP Labs(惠普实验室);Weill Cornell Medical School(威尔康奈尔医学院)
评估成对患者之间的临床相似性是医疗信息学中的一个基本问题。适当的患者相似性度量可以实现各种下游应用,例如队列研究和治疗比较有效性研究。进行患者相似性研究的一个主要载体是电子健康记录(EHR),它通常是异构的,纵向的和稀疏的。虽然现有的研究表明,从电子病历学习病人的相似性是有用的,在解决实际的临床问题,其适用性是有限的,由于缺乏医学解释。此外,大多数先前的方法假设患者的基于向量的表示,这通常需要在某个时间段内聚合医疗事件。因此,时间信息将丢失。在本文中,我们提出了一个病人的相似性评估框架的基础上,纵向病人EHR的时间匹配。提出了两种有效的方法,无监督和监督,这两种方法都保持了EHR的时间属性。监督方案采用卷积神经网络架构,并学习具有医学概念嵌入的患者临床记录的最佳表示。对真实世界临床数据的实证结果表明,与基线相比有了实质性改善。我们提供我们的代码和样本数据以供进一步研究。
2019-02-09 cs.AI cs.LG stat.ML
Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories
Duke University(杜克大学)
本文提出Clin-JEPA框架,通过多阶段预训练稳定协同训练编码器和预测器,解决EHR数据中联合嵌入预测的挑战,实现多任务下游任务的高性能表现。
2026-09-18 cs.AI cs.LG q-bio.QM
SparGE: Sparse Coding-based Patient Similarity Learning via Low-rank Constraints and Graph Embedding
患者相似性评估(PSA)是基于证据和个性化医疗的关键,通过分析越来越多的电子健康记录(EHR)来实现。然而,用于PSA的机器学习方法必须处理EHR的固有数据缺陷,即缺失值、噪声和小样本量。在这项工作中,提出了一个端到端的判别学习框架,称为SparGE,以解决这些数据的挑战,电子病历PSA。SparGE通过联合稀疏编码和图嵌入来度量相似性。首先,我们使用低秩约束稀疏编码来识别和计算相似患者的权重,同时对缺失值进行去噪。然后,采用稀疏表示的图嵌入,通过保持由距离定义的局部关系来测量患者对之间的相似性。最后,构造全局代价函数对相关参数进行优化.两个私人和公共的真实世界的医疗数据集,即SingHEART和MIMIC-III,实验结果表明,所提出的SparGE显着优于其他机器学习患者相似性方法。
2022-02-03 cs.LG
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Modeling Long-term Dependencies and Short-term Correlations in Patient Journey Data with Temporal Attention Networks for Health Prediction
Flinders University(弗林德斯大学);Northwest A&F University(西北农林科技大学);RMIT University(皇家墨尔本理工大学);UNSW(新南威尔士大学)
建立基于电子健康记录(EHR)的健康预测模型已成为一个活跃的研究领域。EHR患者行程数据由患者按时间排序的临床事件/患者访视组成。大多数现有的研究集中在对访问之间的长期依赖性进行建模,而没有明确考虑连续访问之间的短期相关性,其中作为辅助信息的不规则时间间隔被馈送到健康预测模型中,以捕获患者旅程的潜在渐进模式。我们提出了一种新的深度神经网络,它有四个模块,以考虑各种变量对健康预测的贡献:i)堆叠注意力模块加强每个患者旅程内的临床事件中的深层语义并生成访问嵌入,ii)短期时间注意力模块对短期-连续访问嵌入之间的术语相关性同时捕获那些访问嵌入内的时间间隔的影响,iii)长期时间注意力模块对访问嵌入之间的长期依赖性进行建模,同时捕获这些访问嵌入内的时间间隔的影响,耦合注意力模块自适应地聚合短期时间注意力和长期时间注意力的输出,术语时间注意力模块进行健康预测。MIMIC-III上的实验结果表明,与现有的最先进的方法相比,我们的模型具有更高的预测精度,以及这种方法的可解释性和鲁棒性。此外,我们发现,建模短期相关性有助于本地先验生成,从而改善患者旅程的预测建模。
2022-07-15 cs.AI cs.CL cs.LG
EmbPred30: Assessing 30-days Readmission for Diabetic Patients using Categorical Embeddings
Analytics Quotient;Samsung R&D Institute India-Bangalore(三星印度研发中心班加罗尔);Institute of Engineering and Technology, Lucknow(勒克瑙工程技术学院)
医院再入院是一项重要的医疗质量指标,有助于确定医院为患者提供的护理质量水平,并且已被证明非常昂贵。据估计,在美国,由于糖尿病患者的再入院,每年花费超过250亿美元。本文对现有模型进行了基准测试,并提出了一种新的基于嵌入的最先进的深度神经网络(DNN)。根据1999-2008年间从130家美国医院收集的数据,该模型可以识别住院糖尿病患者是否会在30天内再次入院,准确率为95.2%,受试者操作特征下面积(AUROC)为97.4%。结果是令人鼓舞的病人有变化的药物,同时承认有很高的机会重新入院。确定潜在的病人再入院可以帮助医院系统改善他们的住院护理,从而节省他们不必要的开支。
2020-02-25 cs.LG stat.AP stat.ML
Demographic Aware Probabilistic Medical Knowledge Graph Embeddings of Electronic Medical Records
University of Bonn(波恩大学)
由电子病历构建的医学知识图谱包含了丰富的患者和医疗实体信息。KG嵌入模型在这些数据上的利用已被证明对于不同的医疗任务是有效的。然而,现有的模型没有适当地纳入患者的人口统计数据,他们中的大多数忽略了医疗KG的概率特征。在本文中,我们提出了DARLING(人口统计学感知pRobabiListic medIcal kNowledge embeddinG),一个人口统计学感知的医疗KG嵌入框架,通过将患者人口统计数据与相应的超平面相关联,明确地将人口统计数据纳入医疗实体空间。我们的框架利用医疗实体内的概率特征,通过人口统计学指导来学习它们的表示。我们评估DARLING通过链接预测的治疗和药物,从EMR数据构建的医疗KG,并说明其优越的性能相比,现有的KG嵌入模型。
2021-04-03 cs.AI cs.IR cs.LG
MURAL: An Unsupervised Random Forest-Based Embedding for Electronic Health Record Data
Yale University(耶鲁大学);Univ. de Montréal(蒙特利尔大学);Mila;Glasgow Royal Infirmary(格拉斯哥皇家医院);Otago Med. Sch.(奥塔哥医学院);Christchurch Hospital(基督城医院)
嵌入或可视化临床患者数据的主要挑战是变量类型的异质性,包括连续实验室值,分类诊断代码以及缺失或不完整的数据。特别地,在EHR数据中,一些变量是{ \em非随机缺失(MNAR)}但故意不收集的,因此是信息源。例如,实验室测试可能被认为是必要的,对某些病人的基础上怀疑诊断,但不为其他人。在这里,我们提出了MURAL森林--一种无监督的随机森林,用于表示具有不同变量类型的数据(例如,分类的,连续的,MNAR)。MURAL森林由一组决策树组成,其中节点分裂变量是随机选择的,因此所有其他变量的边际熵通过分裂最小化。这使我们能够以与连续变量一致的方式划分MNAR变量和离散变量。最终目标是使用这些患者之间的平均树距离来学习患者的MURAL嵌入。这些距离可以被馈送到非线性降维方法,如PHATE,以导出可可视化的嵌入。虽然这种方法在连续值数据集(如单细胞RNA测序)中无处不在,但它们尚未广泛用于混合变量数据。我们展示了我们的方法在一个人工和两个临床数据集上的使用。我们表明,使用我们的方法,我们可以可视化和分类数据比竞争对手的方法更准确。最后,我们表明,MURAL也可以用来比较队列的患者通过最近提出的树切片Wasserstein距离。
2021-11-19 cs.AI cs.LG
Deep Representation for Patient Visits from Electronic Health Records
APHP(巴黎公共医疗集团);SNIPS(思耐普斯);INRIA(法国国家信息与自动化研究所)
我们展示了如何从相应的电子健康记录(EHR)中学习患者就诊的低维表示(嵌入),其中国际疾病分类(ICD)诊断代码被删除。我们预计,这些嵌入将有助于构建预测统计模型,以推动个性化医疗和提高医疗质量。这些嵌入是使用训练用于预测ICD诊断类别的深度神经网络来学习的。我们表明,我们的嵌入捕获相关的临床信息,并可以直接用作标准机器学习算法的输入,如ICD代码预测的多输出分类器。我们还表明,重要的医疗信息对应于我们的嵌入空间中的特定方向。
2018-03-26 cs.CY cs.LG stat.ML
HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models
HoneyBee框架整合多模态肿瘤数据生成统一患者嵌入,在TCGA 33种癌症、超1.1万患者上实现98.5%分类准确率,并证明通用大模型在临床文本表示上优于专用医学模型。
2025-08-27 cs.AI cs.DB cs.LG
Evaluation of Embeddings of Laboratory Test Codes for Patients at a Cancer Center
City of Hope National Medical Center(希望之城国家医疗中心)
实验室测试结果是患者电子健康记录(EHR)的重要且通常高维的组成部分。我们训练嵌入表示(通过Word2Vec和GloVe),用于来自癌症中心约80,000名患者的EHR的实验室测试的LOINC代码。为了包含有关实验室测试结果的信息,我们还对LOINC代码与指示结果正常或异常的符号的级联进行训练嵌入。我们观察到在我们的数据上训练的LOINC嵌入之间有几个临床上有意义的相似性。对于具有异常代码的LOINC的串联的嵌入,我们评估了死亡率预测任务的性能和保持有序性属性的能力:即具有正常结果的实验室测试应该更类似于异常而不是非常异常。
2019-08-01 cs.CL cs.CY cs.LG
Re-mixing Embeddings for Patient Augmentation in Data Scarce Multiple Instance Learning
Computational Health Center & Helmholtz AI, Helmholtz Munich(计算健康中心与亥姆霍兹AI,亥姆霍兹慕尼黑);Computer Aided Medical Procedures, Technical University of Munich(计算机辅助医疗程序,慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Medicine III, Ludwig Maximilian University Hospital(路德维希·马克西米利安大学医院第三内科);Department of Physics, Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学物理系);DKTK, German Cancer Consortium, partner site Munich(德国癌症联盟DKTK,慕尼黑合作站点)
提出一种基于高斯混合模型的患者增强方法,在嵌入空间生成逼真患者,解决医学多实例学习中的数据稀缺问题,在跨数据集迁移、低数据和非图像任务中提升性能。
2026-06-25 cs.CV cs.LG
Graph Transformer-Based Pathway Embedding for Cancer Prognosis
Iowa State University(爱荷华州立大学);Stanford University(斯坦福大学)
本文提出PATH方法,通过基因共享基础嵌入与患者特定信号动态适应,提升癌症预后预测的准确性与生物学意义。
2026-04-17 cs.AI cs.LG
Transfer Learning Across Patient Variations with Hidden Parameter Markov Decision Processes
Harvard University(哈佛大学);Brown University(布朗大学)
由于生理变化,诊断为相同病症的患者可能对相同治疗表现出不同但相关的反应。隐参数马尔可夫决策过程(HiP-MDP)通过将这些任务嵌入到低维空间中来解决这个迁移学习问题。然而,HiP-MDP的原始公式有一个严重的缺陷:嵌入不确定性独立于代理的状态不确定性建模,需要一个不自然的训练过程,其中所有任务都访问状态空间的每个部分-对于可以移动到特定位置的机器人来说是可能的,对于人类患者来说是不可能的。我们更新了HiP-MDP框架,并将其扩展到更强大的开发个性化的HIV治疗药物策略。
2016-12-01 cs.AI cs.LG stat.ML
Hierarchical Semantic Correspondence Learning for Post-Discharge Patient Mortality Prediction
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
预测患者死亡率是医疗保健领域中一个重要且具有挑战性的问题,特别是对于重症监护病房(ICU)患者。电子健康笔记作为学习患者陈述的丰富来源,可以促进有效的风险评估。然而,很大一部分的临床笔记是非结构化的,也包含特定领域的术语,我们需要从中提取结构化的信息。在本文中,我们引入了一个嵌入框架来学习语义合理的分布式表示的临床笔记,利用非结构化文本和它们相应的结构化知识,称为语义框架,在一个层次化的方式之间的语义对应。我们的方法将文本建模和语义对应学习集成到单个模型中,该单个模型包括:1)非结构化嵌入模块,其利用自相似矩阵表示,以便注入临床文本中固有的不同片段的结构化映射,以促进局部一致性; 2)结构化嵌入模块,其嵌入语义框架(例如,UMLS语义类型)与深度ConvNet的交互,以及3)分层语义对应模块,其通过增强多个级别上的文本语义框架嵌入对之间的交互来嵌入(即,单词、句子、注释)。出院后重症监护患者死亡率预测任务的多个嵌入基准的评估表明,它的有效性相比,不利用结构化和非结构化的信息之间的语义相互作用的临床笔记的方法。
2019-10-15 cs.CL cs.LG
Predicting Therapeutic Outcome via Aligning Patient-Specific Knowledge Graph and Gene-Level Perturbation Representations
Interdisciplinary Program in Bioinformatics, Seoul National University(首尔国立大学生物信息学跨学科项目);AIGENDRUG Co., Ltd.(爱真药物有限公司);BK21 FOUR Intelligence Computing, Seoul National University(首尔国立大学BK21四号智能计算);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔国立大学人工智能跨学科项目);Department of Artificial Intelligence, Inha University(仁荷大学人工智能系)
针对临床响应标签和治疗后分子图谱稀缺阻碍治疗反应预测的问题,提出PREDIKTOR框架,结合个性化网络视图与可转移转录组扰动视图预测临床药物反应,提升性能并支持精准肿瘤学。
2026-07-07 cs.AI cs.LG q-bio.QM
Seeing The Whole Patient: Using Multi-Label Medical Text Classification Techniques to Enhance Predictions of Medical Codes
The University of Waikato(怀卡托大学)
基于机器学习的多标签医学文本分类可用于增强对人体的理解并帮助满足患者护理的需要。我们提出了一个广泛的临床自然语言处理技术的研究,以最大限度地提高一个功能代表文本时,预测医疗代码的患者与多发病率。我们目前的多标签医疗文本分类问题的结果与18,50和155标签。我们比较了嵌入,文本标记和预处理的几种变化。对于不平衡的数据,我们表明,标签很少出现,受益最多的嵌入中纳入的附加功能。我们还表明,使用健康相关数据预训练的高维嵌入在多标签设置中表现出显着的改进,类似于它们提高二进制分类性能的方式。这项研究的高维嵌入可供公众使用。
2020-03-29 cs.IR cs.LG stat.ML
Enhanced Atrial Fibrillation Prediction in ESUS Patients with Hypergraph-based Pre-training
Emory University(埃默里大学)
本文提出基于超图的预训练方法,用于提升ESUS患者心房颤动预测的准确性与鲁棒性,通过大规模数据预训练并迁移至小样本数据集,实现高效预测。
2026-03-17 cs.AI cs.LG
Incorporating Domain Knowledge into Health Recommender Systems using Hyperbolic Embeddings
Nova School of Business and Economics, Universidade NOVA de Lisboa(新里斯本大学商业与经济学院)
与许多其他领域相比,健康服务中的推荐系统可能特别受益于健康领域知识的整合,因为它有助于提供有意义的和个性化的推荐,以满足个人的健康需求。随着表示学习的最新进展,使健康知识的分层嵌入到双曲庞加莱空间,这项工作提出了一个基于内容的推荐系统,在初级保健的基础上,病人的健康档案,丰富的预训练庞加莱嵌入的ICD-9代码通过迁移学习。建议的模型优于传统的同行在推荐准确性方面,并有几个重要的商业影响,改善医患关系。
2021-06-14 cs.IR cs.LG
A Multimodal Foundation Model for Longitudinal Patient Representation and Scalable Insight Generation in Oncology
Tempus AI, Inc.(Tempus AI公司)
本研究推出多模态基础模型oFM,基于167万肿瘤患者数据整合多模态信息,在预后基准及治疗队列中表现优于基线特征,还开发了机制发现框架以解释模型,助力肿瘤学临床与药物开发应用。
2026-08-26 cs.LG
EF-Net: A Deep Learning Approach Combining Word Embeddings and Feature Fusion for Patient Disposition Analysis
Ahsanullah University of Science & Technology(阿hsanullah科技大学);Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学)
本文提出EF-Net深度学习模型,通过融合分类和数值特征预测急诊科患者去向,并结合XGBoost集成模型,在MIMIC-IV-ED数据集上取得96%准确率,优于现有方法。
2024-12-20 cs.LG
Hyperbolic Graph Representation Learning for Differential Diagnosis on Biomedical Knowledge Graphs
Università degli Studi di Milano(米兰大学);Università della Svizzera italiana (USI)(瑞士意大利语大学);Politecnico di Milano(米兰理工大学);Aalto University(阿尔托大学);FGV(杰图利奥·瓦加斯基金会)
本文研究双曲图表示学习在生物医学知识图谱中用于孟德尔疾病鉴别诊断,证明其在低维下优于欧几里得基线,并能利用层次结构支持诊断推理。
2026-09-17 cs.AI cs.LG
Comparative Visual Analytics for Assessing Medical Records with Sequence Embedding
Beihang University(北京航空航天大学);University of California, Davis(加利福尼亚大学戴维斯分校)
用于数据驱动诊断的机器学习在医学中得到了积极的研究,以提供更好的医疗保健。支持与接受治疗的患者相似的患者队列的分析是临床医生以高置信度做出决策的关键任务。然而,这样的分析是不简单的,由于医疗记录的特点:高维,时间上的不规则性,稀疏性。为了解决这一问题,本文提出了一种病历相似度计算方法.我们的方法采用事件和序列嵌入。当我们使用自动编码器进行事件嵌入时,我们将其变体与自注意机制一起应用于序列嵌入。此外,为了更好地处理数据的不规则性,我们加强了考虑不同时间间隔的自注意机制。我们已经开发了一个可视化分析系统,以支持患者记录的比较研究。为了更容易地比较具有不同长度的序列,我们的系统结合了序列比对方法。通过其交互式界面,用户可以快速识别感兴趣的患者,并方便地查看患者记录的时间和多变量方面。我们证明了我们的设计和系统的有效性,使用真实世界的数据集加州大学戴维斯分校的新生儿重症监护室的案例研究。
2020-03-23 cs.HC cs.LG physics.med-ph
Using ontology embeddings for structural inductive bias in gene expression data analysis
University of Cambridge(剑桥大学)
根据癌症患者的基因表达水平对他们进行分层可以改善诊断、生存分析和治疗计划。然而,这样的数据是非常高维的,因为它包含每个患者超过20000个基因的表达值,并且数据集中的样本数量很低。为了处理这样的设置,我们建议将先前的生物学知识的基因从本体到机器学习系统的任务,患者的基因表达数据进行分类。我们使用本体嵌入来捕获基因之间的语义相似性,以指导图卷积网络,从而稀疏化网络连接。我们证明了这种方法为从高维低样本数据预测临床目标提供了优势。
2020-11-22 cs.LG q-bio.GN
TRACE: Early Detection of Chronic Kidney Disease Onset with Transformer-Enhanced Feature Embedding
Stony Brook University(石溪大学)
慢性肾脏病(chronic kidney disease,CKD)的危险因素多,合并症多,预后差,早期发现面临阳性患者病史不足和危险因素复杂的挑战。在本文中,我们提出了TRACE(Transformer-RNN Autoencoder-enhanced CKD Detector)框架,这是一个使用患者病史数据的端到端预测模型,以应对这些挑战。TRACE提供了一个全面的病史表示,其中包含一个新的关键组件:transformer-RNN自动编码器。自动编码器通过Transformer为每次医院访问联合学习医学概念嵌入,以及总结所有访问中患者病史的潜在表示。我们在来自真实世界医疗记录的数据集上将TRACE与多种最先进的方法进行了比较。我们的模型已经实现了0.5708 AUPRC,比性能最好的方法相对提高了2.31%。我们还通过可视化和案例研究验证了学习嵌入的临床意义,显示了TRACE作为一般疾病预测模型的潜力。
2020-12-03 cs.LG
Attention-enabled Explainable AI for Bladder Cancer Recurrence Prediction
School of Engineering, Newcastle University(新castle大学工程学院)
本文提出一个集成向量嵌入和注意力机制的可解释深度学习框架,用于预测非肌层浸润性膀胱癌复发,在实现70%准确率的同时为临床医生提供患者级别的特征解释,并发现了手术持续时间和住院时间等新影响因素。
2025-04-30 cs.AI cs.LG
Temporal Dynamic Embedding for Irregularly Sampled Time Series
Anonymous Institution(匿名机构)
本文提出时间动态嵌入(TDE),将不规则采样时间序列变量建模为随时间演化的嵌入向量,通过选择性聚合观测子集表示患者状态,在三个临床数据集上以更短训练时间取得竞争性或更优性能。
2025-04-08 cs.AI cs.LG
EAGLE: Efficient Alignment of Generalized Latent Embeddings for Multimodal Survival Prediction with Interpretable Attribution Analysis
Dept. of Machine Learning Moffitt Cancer Center(机器学习系莫菲特癌症中心);Dept. of Cancer Epidemiology Moffitt Cancer Center(癌症流行病学系莫菲特癌症中心);Dept. of Electrical Engineering University of South Florida(电气工程系佛罗里达州立大学)
提出深度学习框架EAGLE,通过动态跨模态注意力机制实现大规模降维与多模态融合,结合互补归因方法提供患者级可解释性,在三种癌症数据上验证了其高预测性能与临床风险分层价值。
2025-06-12 cs.AI cs.LG
PaReGTA: A Temporally Aware LLM-Based Patient Representation Framework for EHR Analytics
Georgia Institute of Technology(佐治亚理工学院);Meta;Mayo Clinic(梅奥诊所)
PaReGTA是一种基于LLM的EHR数据编码方法,通过模板文本生成、轻量级对比微调和混合时间池化,有效捕捉时间信息,提升偏头痛分类性能。
2026-10-09 cs.LG
The Use of Autoencoders for Discovering Patient Phenotypes
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们使用自动编码器来创建潜在患者表型的低维嵌入,我们假设这些表型是决定不同患者对不同干预措施反应的决定因素。我们比较了自编码器的性能,以固定长度的级联时间步序列作为输入与经常性的序列到序列的自编码器。我们对来自Beth Israel Deaconess Hospital的最新MIMIC III数据集的约35,500名患者进行了评估。
2017-03-20 cs.LG
Diffusion Earth Mover's Distance and Distribution Embeddings
Yale University(耶鲁大学);Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
我们提出了一种新的快速测量大量相关的高维数据集之间的距离称为扩散地球移动器的距离(EMD)的方法。我们将数据集建模为公共数据图上支持的分布,该公共数据图是从组合数据上计算的亲和矩阵导出的。在这种情况下,图是一个离散化的基本黎曼闭流形,我们证明了扩散EMD是拓扑等价的标准EMD测地线地面距离。扩散EMD可以在$\tilde{O}(n)$时间内计算,并且比类似的快速算法(例如基于树的EMD)更准确。我们还表明,扩散EMD是完全可微的,使其适合于未来在梯度下降框架中的使用,如深度神经网络。最后,我们展示了扩散EMD对从耶鲁纽黑文医院的210个COVID-19患者样本中收集的单细胞数据的应用。在这里,扩散EMD可以比同样精确的方法快至少两个数量级地导出细胞流形上患者之间的距离。患者之间的这种距离矩阵可以嵌入到更高级别的患者流形中,其揭示了患者的结构和异质性。更一般地说,扩散EMD适用于在许多医学和生物系统中并行大量收集的所有数据集。
2021-07-27 cs.LG
Preventing Data Leakage in EEG-Based Survival Prediction: A Two-Stage Embedding and Transformer Framework
University of Pittsburgh School of Computing and Information(匹兹堡大学计算与信息学院);University of Pittsburgh Department of Critical Care Medicine(匹兹堡大学重症医学系)
本文提出两阶段框架以防止EEG生存预测中的数据泄露,通过严格隔离训练集提升模型泛化能力。
2026-03-26 cs.LG
Compensating trajectory bias for unsupervised patient stratification using adversarial recurrent neural networks
Sensyne Health Plc(Sensyne Health 公司);Bayer AG - Pharmaceuticals(拜耳制药公司)
电子医疗记录是一种重要的信息来源,可用于患者分层,以发现新的疾病表型。然而,它们可能具有挑战性,因为数据通常是稀疏和不规则的采样。解决这些限制的一种方法是使用递归神经网络自动编码器(RNN-AE)学习代表个体患者轨迹的密集嵌入。这个过程可能容易受到不必要的数据偏差的影响。我们发现,使用先前提出的RNN-AE模型的患者嵌入和聚类可能会受到轨迹偏差的影响,这意味着结果主要取决于每个患者轨迹中包含的数据量,而不是临床相关的细节。我们在2个数据集(来自不同的医院)和2个疾病领域以及使用患者轨迹的不同部分研究了这种偏倚。我们使用2个先前发表的基线方法的结果表明,在事件到结束轨迹的情况下,特别强烈的偏见。我们提出了一种可以在RNN-AE之上使用对抗训练方案来克服这个问题的方法。我们的结果表明,我们的方法可以减少在所有情况下的轨迹偏差。
2021-12-14 cs.LG