Variational Disentanglement for Rare Event Modeling
Duke University(杜克大学)
医疗保健数据的可用性和丰富性不断增加,加上机器学习方法的当前进展,为改善临床决策支持系统创造了新的机会。然而,在医疗保健风险预测应用中,相对于可用的样本量,具有感兴趣的病症(标签)的病例的比例通常非常低。虽然在医疗保健中非常普遍,但这种不平衡的分类设置在许多其他场景中也很常见且具有挑战性。因此,出于动机,我们提出了一个变分解纠缠的方法,半参数学习罕见的事件在严重不平衡的分类问题。具体来说,我们利用强加的极端分布行为的潜在空间,以提取信息,从低流行率的事件,并开发一个强大的预测手臂,加入了广义可加模型和保序神经网络的优点。综合研究和各种真实世界数据集的结果,包括对COVID-19队列的死亡率预测,表明所提出的方法优于现有的替代方法。
2021-06-16 cs.LG stat.ML
Multilevel Weighted Support Vector Machine for Classification on Healthcare Data with Missing Values
Clemson University(克莱姆森大学);Geisinger Health System(盖辛格健康系统)
这项工作的动机是对以电子病历为代表的医疗数据进行预测分析的需求。这样的数据总是有问题的:嘈杂,缺少条目,兴趣类别不平衡,导致预测建模中的严重偏差。由于标准的数据挖掘方法往往会产生不良的性能指标,我们主张开发的数据预处理和分类的专门技术。在本文中,我们提出了一种新的方法,同时分类大型数据集,并减少缺失值的影响。它是基于一个多层次的框架的成本敏感的SVM和期望最大化填补方法的缺失值,这依赖于迭代回归分析。我们比较了基于多级SVM的算法在具有不平衡类和缺失值的公共基准数据集以及健康应用中的真实数据上的分类结果,并表明我们的基于多级SVM的方法产生快速,更准确和鲁棒的分类结果。
2016-04-07 cs.LG stat.AP stat.ML
Multi-Task Learning with Incomplete Data for Healthcare
SAS Institute Inc.(SAS研究所公司)
多任务学习是一种迁移学习,它同时训练多个任务,并利用相关任务之间的共享信息来提高泛化性能。然而,输入矩阵中的特征缺失是一个更困难的问题,需要仔细解决。删除包含缺失值的记录可以显著减少样本量,这对于缺失值百分比很大的数据集来说是不切实际的。流行的插补方法往往会扭曲数据的协方差结构,从而导致不准确的推断。在本文中,我们建议使用插件的协方差阵估计,以解决丢失的功能的挑战。具体来说,我们分析了在LASSO和图正则化的鲁棒多任务学习框架下的插件估计器,该框架通过图正则化捕获任务之间的相关性。我们使用阿尔茨海默病进展数据集作为一个例子,以显示如何提出的框架是有效的预测和模型估计时,缺失数据存在。
2018-07-06 cs.LG stat.ML
Probabilistic Machine Learning for Healthcare
Massachusetts Institute of Technology(麻省理工学院);Vector Institute(向量研究所);University of Toronto(多伦多大学);New York University(纽约大学);New York University Grossman School of Medicine(纽约大学格罗斯曼医学院)
机器学习可用于理解医疗保健数据。概率机器学习模型有助于提供医疗保健中观察到的数据的全貌。在这篇综述中,我们研究了概率机器学习如何促进医疗保健。我们考虑预测模型构建管道中的挑战,其中概率模型可以是有益的,包括校准和缺失数据。除了预测模型,我们还研究了概率机器学习模型在表型分析、临床用例生成模型和强化学习中的效用。
2020-09-23 cs.CY cs.LG stat.ML
Virtual Human Generative Model: Masked Modeling Approach for Learning Human Characteristics
Preferred Networks, Inc.(Preferred Networks公司);Kao Corporation(Kao公司);The University of Tokyo(东京大学)
本文提出面向高维稀疏医疗数据的VHGM-MAE算法,通过似然建模、Transformer掩码自编码器与适配缺失模式的训练方案,解决医疗数据建模四大核心挑战,在缺失值插补和合成数据生成上优于现有方法。
2025-11-18 cs.AI cs.LG stat.ML
Mixture of Coupled HMMs for Robust Modeling of Multivariate Healthcare Time Series
Aalto University(阿尔托大学)
针对多元医疗时间序列的挑战,提出耦合隐马尔可夫模型混合(M-CHMM),通过两种采样算法实现高效推理,在真实和半合成数据上提升拟合、预测和可解释性。
2023-11-14 cs.LG stat.AP stat.ML
ELMV: an Ensemble-Learning Approach for Analyzing Electrical Health Records with Significant Missing Values
University of Kentucky(肯塔基大学);Shanghai Jiaotong University(上海交通大学);Affiliated 6th People’s Hospital(附属第六人民医院)
许多真实世界的电子健康记录(EHR)数据包含很大比例的缺失值。如果不处理大部分缺失信息,通常会导致显著偏倚,从而导致得出无效结论。另一方面,用更小的接近完整的子集训练机器学习模型会极大地影响模型推理的可靠性和准确性。试图用有意义的值替换缺失数据的数据插补算法不可避免地会增加效应估计值的变异性,同时增加缺失,使其对于假设验证不可靠。我们提出了一种新的集成学习缺失值(ELMV)框架,该框架引入了一种有效的方法来构建原始EHR数据的多个子集,具有低得多的缺失率,以及动员一个专用的支持集集成学习的目的,以减少大量缺失值造成的偏见。ELMV已经在真实世界的医疗保健数据上进行了评估,用于关键特征识别,以及一批具有不同缺失率的模拟数据,用于结果预测。在这两个实验中,ELMV明显优于传统的缺失值插补方法和集成学习模型。
2020-11-03 cs.LG stat.ML
Neural ODEs for Informative Missingness in Multivariate Time Series
IBM;Maynooth University(梅努斯大学)
在连续时间序列的数字处理中,信息缺失是不可避免的,其中在不同时间点的一个或多个观测值缺失。这种缺失的观测是使用深度学习进行时间序列处理的主要限制之一。实际应用,例如,传感器数据、医疗保健、天气生成实际上在时间上连续的数据,并且信息缺失是这些数据集中的常见现象。这些数据集通常由多个变量组成,并且这些变量中的一个或多个通常存在缺失值。这一特性使得时间序列预测更具挑战性,并且丢失的输入观测值对最终输出的准确性的影响可能很大。最近一种名为GRU-D的新型深度学习模型是解决时间序列数据中信息缺失的早期尝试。另一方面,一种新的神经网络族称为神经ODE(常微分方程)是自然和有效的处理时间序列数据,这是连续的时间。在本文中,提出了一种深度学习模型,该模型利用了GRU-D的有效插补和神经ODE的时间连续性。在PhysioNet数据集上执行的时间序列分类任务演示了此架构的性能。
2020-05-20 cs.LG stat.ML
Learning from Irregularly-Sampled Time Series: A Missing Data Perspective
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
不规则采样的时间序列出现在包括医疗保健在内的许多领域。它们的建模可能具有挑战性,因为它们不会自然地产生许多标准机器学习模型所需的固定维度表示。本文从缺失数据的角度考虑不规则抽样问题。我们将观察到的不规则采样时间序列数据建模为从连续但未观察到的函数中采样的指数-值对序列。我们引入了一个编码器-解码器框架,用于从这样的通用索引序列中学习。我们提出了基于变分自编码器和生成对抗网络的学习方法。对于连续的不规则采样时间序列,我们引入了连续的卷积层,可以有效地与现有的神经网络架构接口。实验表明,与最近的RNN模型相比,我们的模型能够在不规则采样的多变量时间序列上实现有竞争力或更好的分类结果,同时提供更快的训练时间。
2020-08-17 cs.LG stat.ML
MAGIC: Multi-task Gaussian process for joint imputation and classification in healthcare time series
Georgia Institute of Technology(佐治亚理工学院);Mayo Clinic Arizona(梅奥诊所亚利桑那分院);Arizona State University(亚利桑那州立大学)
针对医疗时间序列中的时间不对齐和数据稀疏问题,提出MAGIC统一框架,联合进行类别信息插补与标签预测,在两项医疗应用中取得更优预测性能。
2026-10-30 cs.LG stat.ML
Causal Discovery in the Presence of Missing Data
KTH Royal Institute of Technology(瑞典皇家理工学院);Carnegie Mellon University(卡内基梅隆大学);Karolinska Institute(卡罗林斯卡学院);Microsoft Research(微软研究院)
缺失数据在包括医疗保健在内的许多领域都是普遍存在的。当这些数据录入不是完全随机缺失时,观测数据中的(条件)独立关系可能与基础因果过程生成的完整数据中的独立关系不同。因此,简单地将现有的因果发现方法应用于观测数据可能会导致错误的结论。在本文中,我们的目标是开发一种因果发现方法,从遵循不同缺失机制的观测数据中恢复潜在的因果结构,包括完全随机缺失(MCAR),随机缺失(MAR)和非随机缺失(MNAR)。与missingness图表示的missingness机制,我们分析的条件下,需要额外的校正,以获得完整的数据中的条件独立/依赖关系。基于我们的分析,我们提出了连续和二进制变量的缺失值PC(MVPC)算法,它扩展了PC算法,将额外的校正。我们提出的MVPC在理论上给出渐近正确的结果,即使是MAR或MNAR的数据。在合成数据上的实验结果表明,该算法即使在一般的MNAR情况下也能找到正确的因果关系。此外,我们创建了一个神经性疼痛诊断模拟器,用于评估因果发现方法。在模拟神经病理性疼痛诊断记录和其他两个真实世界的应用程序上进行评估,MVPC优于其他基准方法。
2020-07-12 cs.LG stat.ML
GP-VAE: Deep Probabilistic Time Series Imputation
ETH Zürich(苏黎世联邦理工学院);Yandex(俄罗斯搜索引擎公司);UC Irvine(加州大学欧文分校)
具有缺失值的多变量时间序列在医疗保健和金融等领域很常见,并且多年来在数量和复杂性上都有所增长。这就提出了一个问题,即深度学习方法在这一领域的表现是否优于经典的数据填补方法。然而,深度学习的幼稚应用无法提供可靠的置信度估计,并且缺乏可解释性。我们提出了一个新的深度序列潜变量模型降维和数据填补。我们的建模假设是简单和可解释的:高维时间序列具有低维表示,其根据高斯过程在时间上平滑地演变。在缺失数据存在的非线性降维,实现了一种新的结构变分近似的VAE方法。我们证明,我们的方法在计算机视觉和医疗保健领域的高维数据上优于几种经典的基于深度学习的数据插补方法,同时还提高了插补的平滑性,并提供了可解释的不确定性估计。
2020-02-20 cs.LG stat.ML
Missing Data in Sparse Transition Matrix Estimation for Sub-Gaussian Vector Autoregressive Processes
Wisconsin Institute for Discovery(威斯康星发现研究所);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
高维时间序列数据存在于金融、基因组学、医疗保健和神经科学等众多领域。所有这些数据集的一个不可避免的方面是缺失数据,处理这个问题一直是统计,控制和机器学习的重要焦点。在这项工作中,我们考虑了一个高维估计问题,其中一个动力系统,由一个稳定的向量自回归模型,是随机的,只有部分观察到在每个时间点。我们的任务相当于估计的转移矩阵,这是假设是稀疏的。在这种情况下,协变量高度相互依赖且部分缺失,新的理论挑战出现了。虽然向量自回归模型中的转移矩阵估计以前已经研究过,但缺失数据的情况需要单独的努力。此外,虽然转移矩阵估计可以从高维稀疏线性回归的角度进行研究,但协变量是高度依赖的,并且现有的结果都是在i.i.d.~的缺失数据的正则化估计上。协变量不适用。我们分析的核心在于:1)当新息噪声满足凸集中性质时,一个新的集中结果,以及2)一个新的量,用于表征时变观测过程与底层动力系统的相互作用。
2018-02-26 cs.LG stat.ML
Discordance Minimization-based Imputation Algorithms for Missing Values in Rating Data
Iowa State University(爱荷华州立大学);Ajou University(亚洲大学)
本文针对合并评分列表中的缺失值问题,基于真实数据分析缺失模式,提出最小化评分提供者间总不协调度的优化模型与填补算法,实验表明其填补准确率优于现有通用方法。
2023-11-07 cs.LG stat.ML
Imputation using training labels and classification via label imputation
Simula Metropolitan(西穆拉都会研究院);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
提出CBMI分类策略和IUL插补算法,通过将标签与输入堆叠同时进行插补,显著提升缺失数据下的分类准确性和插补质量。
2025-01-29 cs.LG stat.ML
A Deep Latent Variable Framework for Jointly Modeling Missingness, Measurement Error, and Heterogeneity
University of Alberta(阿尔伯塔大学);University of Western Ontario(西安大略大学);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);University of Prince Edward Island(爱德华王子岛大学)
针对缺失数据、测量误差与异质性共存问题,提出整合树路由变分自编码器等的深度隐变量框架,模拟研究显示其性能优于现有深度生成插补方法。
2026-11-17 cs.LG stat.ML
Multinomial belief networks for healthcare data
University Medical Center Groningen(格罗宁根大学医学中心);Boehringer Ingelheim Pharma GmbH & Co. KG(勃林格殷格翰制药有限责任两合公司)
针对医疗数据的稀疏、高缺失和小样本问题,提出多项信念网络这一深度生成贝叶斯模型,并开发折叠吉布斯采样,可识别数据子结构及癌症突变特征聚类。
2024-04-06 cs.LG stat.AP stat.ML
RDIS: Random Drop Imputation with Self-Training for Incomplete Time Series Data
KLleon R&D Center(KLleon研发中心)
本文提出RDIS方法,通过随机丢弃观测值生成额外缺失值以显式训练插补模型,并结合基于熵过滤伪值的自训练策略利用原始缺失值,在多个模型和两个真实数据集上验证了其有效性。
2023-01-25 cs.LG stat.ML
MissDiff: Training Diffusion Models on Tabular Data with Missing Values
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Renmin University of China(中国人民大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出MissDiff框架,通过掩码去噪分数匹配的回归损失解决表格数据缺失值问题,避免了“先插补后生成”的偏差,在多个数据集上大幅优于现有扩散模型。
2023-07-02 cs.LG stat.ML
Fast Matrix Factorization with Non-Uniform Weights on Missing Data
University of Science and Technology of China(中国科学技术大学);Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学);Hefei University of Technology(合肥工业大学);Nanjing University(南京大学);National University of Singapore(新加坡国立大学)
矩阵分解(MF)被广泛用于发现数据矩阵的低秩结构和预测数据矩阵的缺失项。在许多现实世界的学习系统中,数据矩阵可能是非常高维但稀疏的。这造成了一个不平衡的学习问题,因为丢失条目的规模通常比观察到的条目大得多,但由于有价值的负信号,它们不能被忽略。为了提高效率,现有的工作通常对缺失的条目应用统一的权重以允许快速学习算法。然而,这种简化会降低建模保真度,导致下游应用程序的性能不佳。在这项工作中,我们对缺失数据进行非均匀加权,更一般地,我们允许对缺失数据进行任何加权策略。为了解决效率的挑战,我们提出了一种快速的学习方法,其时间复杂度由数据矩阵中观察到的条目的数量决定,而不是矩阵的大小。关键的想法是双重的:1)我们在权重矩阵上应用截断SVD以获得更紧凑的权重表示,2)我们使用逐元素交替最小二乘(eALS)学习MF参数并记住关键中间变量以避免不必要的重复计算。我们进行了广泛的实验,两个推荐基准,证明了我们的快速eALS方法的正确性,效率和有效性。
2019-01-07 cs.IR cs.LG stat.ML
Targeted maximum likelihood estimation of vaccine effectiveness and immune correlates in test-negative design studies with missing data
University of Washington(华盛顿大学);Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心)
本文提出了一种针对测试阳性设计研究中缺失暴露变量数据的靶向最大似然估计方法,通过半参数逻辑回归模型估计症状性疾病的因果条件风险比,以实现灵活的数据驱动混杂控制和有效的因果推断。
2026-05-20 stat.AP stat.ME stat.ML
Imputation of Clinical Covariates in Time Series
Sloan School of Management and Operations Research Center(斯隆管理学院与运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院)
缺失数据是现实环境中的常见问题,在医疗保健应用中尤其重要,研究人员使用电子健康记录(EHR)和观察性研究结果来应用分析方法。对于纵向数据集,这个问题变得更加突出,其中同一个体的多个实例对应于时间上的不同观测。标准插补方法不考虑多变量面板数据中包含的患者特定信息。我们介绍了解决这个问题的新型插补算法MedImpute,扩展了Bertsimas等人提出的灵活的OptImpute框架。我们的算法提供了缺失的连续和分类功能的数据集的插补,我们提出了制定和实施可扩展的一阶方法的$K$ -NN模型。当数据完全随机完全随机缺失(MCAR)时,我们测试了我们的算法对来自心脏研究的纵向数据的性能。我们证明,MedImpute导致插补精度和下游模型AUC的显着改善相比,国家的最先进的方法。
2018-12-02 cs.LG stat.ML
The Missing Indicator Method: From Low to High Dimensions
Stanford University(斯坦福大学);Cornell University(康奈尔大学)
本文研究了缺失指示方法(MIM)在处理信息性缺失数据时的作用,提出选择性SMIM以解决高维数据过拟合问题,并在理论和临床任务上验证了其有效性。
2023-02-04 cs.AI cs.LG stat.ML
An Interdisciplinary and Cross-Task Review on Missing Data Imputation
School of Data Science(数据科学学院)
本文综述了缺失数据填补的核心概念和方法,涵盖不同领域和数据类型,分析了填补方法的分类和应用,并探讨了填补与下游任务的整合及未来研究方向。
2026-04-24 cs.AI cs.LG stat.ML
Impute With Confidence: A Framework for Uncertainty Aware Multivariate Time Series Imputation
Department of Computer Science University of Toronto(计算机科学系 东京大学)
针对时间序列填充中模型不确定性常被忽略的问题,提出一个量化并利用不确定性进行选择性填充的通用框架,实验证明该方法能降低填充误差并提升下游预测任务性能。
2025-07-12 cs.AI cs.LG stat.ML