Generalizing treatment effects with incomplete covariates: identifying assumptions and multiple imputation algorithms
我们关注的问题是将随机对照试验(RCT)中估计的因果效应推广到由观察数据中的一组协变量描述的目标人群。可用的方法,如反向倾向抽样加权不是设计来处理缺失值,但这是常见的两个数据源。除了耦合因果效应可识别性和缺失值机制的假设以及定义适当的估计策略外,一个困难是考虑具有两个来源的数据的特定结构以及仅在RCT中可用的治疗和结局。我们提出了三种多重插补策略来处理缺失值时,推广处理效应,每一个处理不同的多源结构的问题(单独填补,联合填补固定效果,联合填补忽略源信息)。作为替代多重插补,我们还提出了一种直接估计方法,将不完全协变量作为半离散变量。多重插补策略和后一种替代方法依赖于关于缺失值对可识别性影响的不同假设集。我们讨论这些假设,并通过广泛的模拟研究评估的方法。这项工作的动机是分析了超过20,000例重大创伤患者的大型注册表和一项研究氨甲环酸给药对入住ICU的重大创伤患者死亡率影响的RCT。该分析说明了缺失值处理如何影响从RCT推广至目标人群的效应结论。
2023-02-24 stat.AP stat.ME
The `Why' behind including `Y' in your imputation model
针对缺失协变量插补是否应纳入结局变量的问题,本文通过数学推导区分随机插补与确定性插补,证明前者必须纳入结局以获得无偏估计,后者则不应纳入。
2024-03-01 stat.AP stat.ME
Missing Data Imputation for Classification Problems
University of North Carolina(北卡罗来纳大学)
缺失数据的填补是特征训练矩阵具有缺失性的各种分类问题中的常见应用。一个广泛使用的解决方案,这个插补问题是基于懒惰的学习技术,$k$ -最近邻(kNN)的方法。然而,大多数以前的工作缺失数据没有考虑到分类问题中的类标签的存在。此外,现有的kNN插补方法使用Minkowski距离的变体作为距离的度量,这对于异构数据不起作用。本文提出了一种新的基于类加权灰色距离的迭代kNN填补技术。灰距离在具有缺失实例的异构数据中工作良好。距离由互信息(MI)加权,互信息是特征和类标签之间的特征相关性的度量。这确保了训练数据的插补是针对提高分类性能。这类加权灰色kNN插补算法相比,其他kNN插补算法,以及标准的插补算法,如MICE和missForest,在插补和分类问题的表现有所改善。这些问题是基于模拟场景和UCI数据集与各种率的缺失。
2020-02-25 cs.LG stat.AP stat.ME
Leveraging Random Assignment to Impute Missing Covariates in Causal Studies
针对随机实验中协变量缺失影响治疗效应估计的问题,研究对比了均值填补、回归单一填补、多重填补三类方法在遵循/忽略随机化原则下的表现,发现考虑随机化仅能小幅提升填补准确性,为异质性治疗效应估计中的协变量填补提供参考。
2020-11-08 stat.ME
Adjusting for Incomplete Baseline Covariates in Randomized Controlled Trials: A Cross-World Imputation Framework
本文提出跨世界填补(CWI)框架,统一分析单一填补法与缺失指示法(MIM)在随机对照试验缺失协变量处理中的效率,证明MIM隐式搜索最优CWI值实现最优效率,并推导单一填补法达到同等效率的条件。
2024-08-27 math.ST stat.ME stat.TH
Multiple imputation of covariates by fully conditional specification: accommodating the substantive model
在流行病学和临床研究中,协变量数据缺失是常见的现象,通常采用多重插补(MI)进行处理。如果实质性模型是非线性的(例如,考克斯比例风险模型),或包含非线性(例如,平方)或交互作用项,则部分观察到的协变量的插补是复杂的,并且MI的标准软件实现可能插补来自与此类实质性模型不兼容的模型的协变量。我们展示了如何填补完全条件规范,一种流行的方法进行MI,可以修改,使协变量是从模型,这是兼容的实质性模型。我们调查,通过模拟的性能,这一建议,并将其与现有的方法。模拟结果表明,我们的建议给出了相合估计的一系列常见的实质性模型,包括模型,包含非线性协变量的影响或相互作用,提供的数据是随机缺失和假设插补模型是正确的指定和相互兼容。
2013-01-17 stat.ME
Substantive-Model-Compatible Multiple Imputation for Cox Regression with a Diverging Number of Covariates
Department of Biostatistics, University of Michigan, Ann Arbor(密歇根大学生物统计系)
本文提出了一种半参数多重插补框架,用于处理具有发散维度的Cox回归中缺失协变量的问题,通过Cox模型似然贡献驱动的高维SMC-FCS过程进行插补,并结合拒绝采样和岭正则化后验抽样以保持模型兼容性,最终通过Rubin规则结合去偏估计器和插补内部方差估计进行推断。
2026-05-20 stat.ME
Projective Resampling Imputation Mean Estimation Method for Missing Covariates Problem
缺失数据是临床数据收集中常见的问题,给临床数据的统计分析带来困难。为了克服不完全数据所带来的问题,提出了一种新的估算方法-投影恢复估算均值估计(PRIME),该方法能够以较少的信息损失解决估算中的“维数灾难”问题。我们使用不同的样本量,缺失数据率,协变量相关性,和噪声水平的模拟研究,所有的结果表明,PRIME优于其他方法,如迭代最小二乘估计(ILSE),极大似然(ML),和完整的情况下分析(CC)。此外,我们进行了心脏手术相关的急性肾损伤(CSA-AKI)的影响因素的研究,这表明我们的方法比其他模型表现得更好。最后,我们证明了PRIME在某些正则条件下具有相容性。
2021-06-16 stat.ME
Cox regression analysis with missing covariates via multiple imputation
我们考虑估计Cox回归的情况,其中一些协变量可能缺失,并且存在可能预测缺失协变量的额外信息(包括观察到的事件时间、删失指标和完全观察到的协变量)。我们建议使用两个工作回归模型:一个用于预测缺失协变量,另一个用于预测缺失概率。对于每个缺失协变量观察值,这两个工作模型用于定义最近邻插补集。然后使用该数据集对缺失观测值的协变量值进行非参数插补。插补完成后,对多重插补数据集进行Cox回归,以估计回归系数。在一个模拟研究中,我们比较了非参数多重插补方法与增广逆概率加权(AIPW)方法,它直接将两个工作模型的Cox回归估计。我们表明,所有的方法都可以减少偏见,由于不可验证的缺失机制。所提出的非参数插补方法对两个工作模型中的任何一个的错误设定具有鲁棒性,并且对两个工作模型的链接函数的错误设定具有鲁棒性。相比之下,AIPW方法对两个工作模型的链接函数的错误指定不具有鲁棒性,并且对选择概率敏感。我们将这些方法应用于监测,流行病学和最终结果(SEER)计划的乳腺癌数据集。
2017-10-12 stat.ME
Bayesian Prediction with Covariates Subject to Detection Limits
在工业问题中,由于信号干扰或测量设备缺乏灵敏度而导致的协变量缺失值是常见的。我们提出了一个完整的贝叶斯解决方案的预测问题,一个有效的马尔可夫链蒙特卡罗(MCMC)算法,更新所有的删失协变量值联合在一个随机扫描吉布斯采样。我们发现,缺失协变量值的联合更新可以比单变量更新至少高两个数量级。这种提高的效率被证明是至关重要的快速学习缺失的协变量值和他们的不确定性在实时决策的背景下,特别是当有大量的相关性在后的缺失值。该方法进行了评估模拟数据和电信部门的数据。我们的研究结果表明,所提出的贝叶斯插补提供了更准确的预测比天真的插补,并在插补辅助变量的使用提供了额外的预测能力。
2022-01-19 stat.AP stat.ME
Imputations for High Missing Rate Data in Covariates via Semi-supervised Learning Approach
数据收集技术的进步和数据资源的异质性可能会产生很高比例的变量观测值缺失,例如块级缺失数据。在缺失数据的情况下,传统的方法,如简单平均值,$k$ -最近邻,多重和回归插补可能会导致结果不稳定或无法计算。受半监督学习概念的启发(参见,例如,Zhu和Goldberg,2009年以及Chapelle等人,2010),我们提出了一种新的方法来填补缺失率高的协变量中的缺失值。具体而言,我们将任何协变量中的缺失和非缺失受试者分别视为未标记和标记的目标输出,并将其相应的响应视为未标记和标记的输入。这种创新的设置使我们能够估算大量的缺失数据,而无需强加任何模型假设。此外,所得插补对于连续协变量具有封闭形式,并且可以有效地计算。一个类似的程序适用于离散协变量。我们进一步采用非参数技术来显示插补协变量的理论性质。仿真研究和在线消费金融的例子来说明所提出的方法的实用性。
2022-05-15 stat.ME
Combining missing data imputation and internal validation in clinical risk prediction models
本文提供了一个教程,展示如何通过自助法结合确定性缺失数据填补来构建并内部验证临床风险预测模型,并通过大量模拟研究结果为实际应用提供决策指导。
2024-11-21 stat.AP stat.ME
A multiple imputation approach to distinguish curative from life-prolonging effects in the presence of missing covariates
本文针对协变量缺失的Cox比例风险治愈模型,提出基于多重插补和全条件指定的改进方法,分别对治愈概率和未治愈者生存建模,并在BO06骨肉瘤临床试验数据上验证其优于完整案例分析和全协变量分析。
2024-12-30 stat.ME
Multiple imputation of missing covariate values in multilevel models with random slopes: A cautionary note
多重插补(MI)已成为处理缺失数据的主要方法之一,但方法学文献中的指导原则不容易转移到多水平研究中。对于包含随机斜率的模型,适当的MI可能很困难,特别是当协变量值部分缺失时。在本文中,我们讨论了MI在多水平随机系数模型中的应用、斜率变化带来的理论挑战以及标准MI软件当前的局限性。我们从三个模拟研究中的发现表明:(a)MI能够恢复大多数参数,但目前不适合完全捕获协变量值缺失时的斜率变化;(b)MI为大多数参数提供了合理的估计,即使在较小的样本中或当其假设不满足时;以及(c)当保持斜率方差特别重要时,列表式删除可以是值得考虑的替代方案。
2016-06-16 stat.ME
Missing data analysis and imputation via latent Gaussian Markov random fields
在本文中,我们重铸的问题,在协变量的回归模型作为一个潜在的高斯马尔可夫随机场(GMRF)模型在一个完全贝叶斯框架。我们提出的方法是基于定义的协变量插补子模型作为一个潜在的影响与GMRF结构。我们展示了这种提法如何适用于连续协变量,并提供了一些见解如何将其扩展到分类协变量。由此产生的贝叶斯分层模型自然适合集成嵌套拉普拉斯近似(INLA)框架,我们使用模型拟合。因此,我们的工作填补了INLA方法中的一个重要空白,因为它允许处理协变量中有缺失值的模型。与任何其他完全贝叶斯框架一样,通过依赖INLA进行模型拟合,可以为数据、插补协变量及其缺失机制制定联合模型。通过这种方式,我们能够通过对不同的替代方案进行敏感性分析来对未观察到的协变量进行建模,从而解决评估缺失机制的更普遍的问题。最后,我们用两个健康风险因素建模和疾病映射的例子来说明所提出的方法。在这里,我们依赖于两种不同的插补机制的基础上,一个典型的多元线性回归和空间模型,分别。鉴于INLA模型拟合的速度,我们能够在短时间内拟合关节模型,并轻松进行敏感性分析。
2019-12-23 stat.AP stat.CO stat.ME
Imputation of Nonignorable Missing Data in Surveys Using Auxiliary Margins Via Hot Deck and Sequential Imputation
本文针对调查数据中不可忽略的单元和项目无应答问题,提出两种对MD-AM框架的改进:用随机热卡插补替代联合模型设定,并用链式方程多重插补处理项目无应答,模拟和实证表明该方法比不利用辅助边际信息的模型估计更准确。
2024-06-07 stat.AP stat.ME
A Bayesian two-step multiple imputation approach based on mixed models for the missing in EMA data
本文提出一种基于混合模型的两步贝叶斯多重插补框架,以解决EMA数据缺失问题,通过模拟与实际应用验证了其优于单一插补,并指出选择最佳混合模型的两个关键因素。
2023-11-20 stat.AP stat.ME
Outcome-Assisted Multiple Imputation of Missing Treatments
本研究提出结果辅助的多重插补方法,通过结合结果回归与倾向得分模型来插补缺失治疗,以减小逆概率加权估计量的偏差,提升观察性研究中平均治疗效应的推断性能。
2025-01-21 stat.AP stat.CO stat.ME
Misguided Use of Observed Covariates to Impute Missing Covariates in Conditional Prediction: A Shrinkage Problem
研究人员经常使用缺失数据的插补值进行条件预测。然而,估算的应用往往缺乏坚实的统计理论基础。本文起源于当我们无法找到分析证实的索赔,缺失数据的插补具有良好的频率属性时,数据随机缺失(MAR)。当估计E(y)形式的条件均值时,我们重点关注使用观察到的协变量来插补缺失的协变量|x,w)。这里y是一个结果,它的实现总是被观察到的,x是一个协变量,它的实现总是被观察到的,w是一个协变量,它的实现有时是不可观察的。我们研究了E(y)的简单插补估计的概率极限|x,w),因为样本量趋于无穷大。我们发现,这些估计是不一致的协变量数据时,MAR。相反,估计遭受收缩问题。它们收敛于感兴趣的条件平均值E(y)之间的中间点|x,w)和平均值E(y| x)仅以x为条件。我们使用一种类型的基因型插补来说明。
2021-02-22 econ.EM stat.ME
Multiple Imputation Methods for Missing Multilevel Ordinal Outcomes
多重插补(MI)是一种处理观察性研究中缺失数据的既定技术。联合建模(JM)和完全条件规范(FCS)是常用的方法填补多级聚类数据。然而,顺序聚类结果变量的MI方法还没有得到很好的研究,特别是当有信息聚类大小(ICS)。本研究的目的是描述不同的插补和分析策略的多级顺序结果时,ICS存在。我们进行了全面的蒙特卡罗模拟研究,比较五种不同的方法:完全案例分析(CCA),FCS,FCS+CS(包括集群大小(CS)时,执行插补),JM,JM+CS在不同的场景。我们评估他们的表现,使用比例优势逻辑斯谛回归模型估计聚类加权广义估计方程(CWGEE)。仿真结果表明,在ICS存在的情况下,在插补中加入聚类大小可以显著提高插补精度。FCS比JM提供更准确和稳健估计,其次是CCA用于多水平有序结果。我们进一步将这些方法应用于实际的牙科研究。
2022-09-26 stat.AP stat.ME
Extrapolation before imputation reduces bias when imputing censored covariates
针对严重删失协变量插补中条件均值积分被截断导致高偏倚的问题,提出将半参数生存估计与参数化尾部外推拼接的混合方法,先外推再插补,显著降低偏倚并改善临床试验患者优先级排序。
2023-11-29 stat.ME
Multiple Imputation for Non-Monotone Missing Not at Random Binary Data using the No Self-Censoring Model
虽然当缺失模式是单调的时,处理纵向研究中缺失数据的方法已经发展得很好,但对于非单调缺失的方法却很少。此外,传统的随机随机缺失(MAR)假设--单调缺失的自然基准--没有模拟关于非单调缺失过程的现实信念(Robins和Gill,1997)。这为替代非单调非随机缺失(MNAR)机制提供了动力。“无自截尾”(NSC)模型就是这样一种机制,它假设当以所有其他可能缺失的结果变量及其缺失指标为条件时,结果变量缺失的概率与其值无关。作为一种替代“加权”的方法,成为计算要求越来越多的结果变量,我们提出了NSC下的多重插补方法。我们专注于二元结果的情况下,目前的模拟和渐近研究的结果,调查所提出的插补方法的性能。我们描述了一个相关的方法,敏感性分析偏离NSC。最后,我们讨论了MAR和NSC之间的关系,并证明了一个不是另一个的特殊情况。所提出的方法说明与应用程序的物质使用障碍的临床试验。
2023-02-24 stat.AP stat.ME
Partial Replacement Imputation Estimation Method for Complex Missing Covariates in Additive Partially Linear Models
缺失数据是临床数据收集中常见的问题,给临床数据的统计分析带来困难。在这篇文章中,我们考虑的问题的框架下的半参数部分线性模型时,观测值的缺失与复杂的模式。如果可加部分线性模型的模型结构是正确的,我们提出了一种新的插补方法称为部分替换插补估计(PRIME),它可以克服部分线性模型中的不完整数据所带来的问题。此外,我们使用PRIME结合模型平均(PRME-MA)来解决部分线性模型中模型结构未知的问题。在模拟研究中,我们使用各种误差分布,样本量,缺失数据率,协变量相关性和噪声水平,PRIME在几乎所有情况下都优于其他方法。在正确模型结构未知的情况下,PRIME-MA具有令人满意的预测性能,但略差于PRIME。此外,我们对Pima印第安人糖尿病数据的影响因素进行了研究,结果表明,我们的方法比其他模型表现得更好。
2022-06-10 stat.ME
Multiple imputation for propensity score analysis with covariates missing at random: some clarity on within and across methods
Johns Hopkins Bloomberg School of Public Health(约翰斯·霍普金斯大学布隆伯格公共卫生学院)
本文澄清了倾向评分分析中处理随机缺失协变量的多重插补方法的适用性,指出内方法在全数据设定下一致,而现有跨方法不一致,提出改进的跨方法并推荐使用标准内方法。
2023-08-28 stat.ME
Remiod: Reference-based Controlled Multiple Imputation of Longitudinal Binary and Ordinal Outcomes with non-ignorable missingness
在临床研究中,反应变量的缺失数据很常见。与缺失机制的不确定性相对应,控制性插补的理论框架已经形成。在实践中,建议在主要假设下对缺失数据进行统计学有效性分析,然后在替代假设下进行敏感性分析,以评估结果的稳健性。由于软件的可用性,受控多重插补(MI)程序,包括基于增量和基于参考的方法,已成为流行的分析连续变量下的缺失非随机假设。然而,类似的工具仍然限制了这些方法对分类数据的应用。在本文中,我们介绍了R包\textbf{remiod},它利用贝叶斯框架进行插补的回归模型的二进制和有序的结果。在概述理论背景之后,描述了\textbf{remiod}的用法和特征,并使用示例进行了说明。
2022-03-05 stat.AP stat.CO stat.ME
Estimating Average Treatment Effects Utilizing Fractional Imputation when Confounders are Subject to Missingness
观测数据的缺失问题是普遍存在的。当混杂因素随机缺失时,通常使用多重插补;然而,该方法要求有效推断的一致性条件,在估计平均因果处理效应时可能无法满足。或者,Kim 2011年提出的分数插补已被用于处理回归背景下的缺失值。在这篇文章中,我们开发了部分插补方法来估计混杂因素随机随机缺失的平均处理效应。我们证明了平均处理效应的分数插补估计是渐近正态的,这使得方差估计是一致的。通过仿真研究,比较了分数填补和多重插补的准确度和精确度。
2020-07-08 stat.ME stat.OT
Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback
Gary and Mary West Health Institute(加里与玛丽·韦斯特健康研究所)
虽然数据可能很丰富,但由于缺少列或行,完整的数据就不那么丰富了。这种缺失破坏了下游数据产品的性能,这些产品要么省略不完整的案例,要么创建派生的完整数据以供后续处理。为了充分利用和正确使用数据,需要适当管理缺失数据。我们提出了一个多重插补模型,使用去噪自动编码器来学习数据的内部表示。此外,我们使用新的机制变形真理和归责反馈,以保持统计的完整性的属性和消除偏见的学习过程中。我们的方法探讨了插补对各种缺失机制和缺失数据模式的影响,在许多标准测试用例中优于其他方法。
2020-06-25 cs.LG stat.ME stat.ML
Real-time imputation of missing predictor values in clinical practice
临床指南广泛推荐使用预测模型,但通常需要所有预测因子的完整信息,而这些信息在日常实践中并不总是可用的。我们描述了两种方法,用于在实践中使用预测模型时实时处理丢失的预测值。我们比较了广泛使用的方法,平均插补(M-IMP)的方法,个性化的插补,利用观察到的患者特征。这些特征可以包括预测模型变量和其他特征(辅助变量)两者。该方法使用患者特征的联合多变量正态模型(联合建模插补; JMI)进行插补。来自两个不同心血管队列的数据,以及心血管预测因子和结局,用于评价实时插补方法。我们量化了预测模型的整体性能(线性预测器的均方误差(MSE))、区分度(c指数)、校准(截距和斜率)和净效益(决策曲线分析)。与平均值插补相比,JMI显著改善了MSE(0.10 vs. 0.13)、c指数(0.70 vs. 0.68)和校准(大规模校准:0.04 vs. 0.06;校准斜率:1.01 vs. 0.92),尤其是在纳入辅助变量时。当插补方法基于外部队列时,校准恶化,但区分度仍然相似。我们建议使用具有辅助变量的JMI对缺失值进行实时插补,并在新设置或(子)人群中实施插补模型时更新插补模型。
2020-12-02 stat.AP stat.ME
Multiple imputation with missing data indicators
多重插补是分析缺失值数据的公认通用技术。实现多重插补的一种方便方法是序贯回归多重插补(SRMI),也称为链式方程多重插补。在这种方法中,我们使用每个变量的回归模型来估算缺失值,条件是数据中的其他变量。然而,这种方法假设缺失机制是随机缺失的,并且在没有额外修改的情况下,在非随机缺失下,这种方法是不合理的。在本文中,我们描述了我们如何可以推广SRMI插补程序来处理非随机缺失(MNAR)的设置中,缺失可能取决于其他变量也失踪。我们提供了代数理由的几个概括的标准SRMI使用泰勒级数和其他近似的MNAR下的目标插补分布。所得回归模型近似包括MNAR缺失模型和观测数据的缺失、相互作用或其他函数的指标。在一项模拟研究中,我们证明,拟议的SRMI修改导致在最终分析中的偏差减少相比,标准SRMI,与近似策略,包括在插补模型中的偏移执行最好的整体。该方法在乳腺癌研究中得到了说明,其目标是估计特定遗传致病变异的患病率。
2021-03-02 stat.ME
Variational Bayesian Multiple Imputation in High-Dimensional Regression Models With Missing Responses
针对高维聚类数据多重插补的计算负担,基于线性混合效应模型与变分贝叶斯推断,结合spike-and-slab先验开发逐变量插补算法,并扩展至分类变量,有效提升了不完整数据的插补与推断性能。
2025-04-06 stat.AP stat.ME
Design-Based Causal Inference with Missing Outcomes: Missingness Mechanisms, Imputation-Assisted Randomization Tests, and Covariate Adjustment
针对基于设计因果推断中的结果缺失问题,提出灵活缺失机制与“插补与再插补”框架,实现精确随机化检验、协变量调整及置信区间构建,并经模拟和大规模实验验证。
2025-05-24 stat.ME
Fairness in Missing Data Imputation
University of Pennsylvania(宾夕法尼亚大学)
在大数据时代,缺失数据无处不在,如果处理不当,已知会导致有偏见的结果,并对数据驱动的决策产生有害影响。为了减轻其影响,许多缺失值估算方法已经开发出来。然而,这些估算方法在敏感群体中的公平性尚未得到研究。在本文中,我们进行了已知的第一个缺失数据填补的公平性研究。通过对三种常用数据集的插补方法的性能研究,证明了缺失值插补的不公平性普遍存在,且可能与多种因素有关。我们的研究结果表明,在实践中,对相关因素的仔细调查可以为减轻与缺失数据插补相关的不公平提供有价值的见解。
2021-10-22 cs.AI cs.LG stat.ME
gcimpute: A Package for Missing Data Imputation
本文介绍了用于缺失数据填补的Python包gcimpute。gcimpute可以通过将数据建模为高斯copula模型中的样本,用许多不同的变量类型(包括连续、二进制、有序、计数和截断值)来插补缺失数据。该半参数模型学习每个变量的边缘分布以匹配经验分布,但用联合高斯描述变量之间的相互作用,从而实现快速推断、置信区间插补和多重插补。该软件包还提供了专门的扩展来处理大型数据集(复杂性与观测数量成线性关系)和流数据集(具有在线插补)。本文描述了基本的方法,并演示了如何使用该软件包。
2022-03-09 stat.ME
Semiparametric fractional imputation using Gaussian mixture models for handling multivariate missing data
在实践中经常遇到项目无应答。忽略缺失数据会降低效率并导致误导性推断。分数插补是一种处理缺失数据的频率主义插补方法。然而,\cite{kim2011parametric}的参数部分插补可能会在模型误设下出现偏倚。在本文中,我们提出了一种新的半参数分数填补方法使用高斯混合模型。所提出的方法是计算效率,并导致稳健估计。所提出的方法进一步扩展到将分类辅助信息。并证明了半参数分式插补估计的渐近模型相合性和$\sqrt{n}$ -相合性。一些仿真研究,以检查所提出的方法的有限样本性能。
2018-09-16 stat.ME
Correcting Conditional Mean Imputation for Censored Covariates and Improving Usability
本文指出了现有删失协变量条件均值插补公式的错误,推导了正确的条件均值形式,并提供了R软件包imputeCensoRd以提升可用性。
2021-09-24 stat.ME
Markov Missing Graph: A Graphical Approach for Missing Data Imputation
该研究提出基于无向图的马尔可夫缺失图(MMG)缺失数据插补框架,结合可用信息原则确立可识别性,构建PAI下的插补风险最小化学习范式,建立相关理论并通过模拟与真实阿尔茨海默病数据验证有效性。
2025-09-03 math.ST stat.ME stat.ML
Return-to-baseline multiple imputation for missing values in clinical trials
当使用某些假设策略来处理临床试验中的并发事件时,返回基线是插补缺失值或未观察到的潜在结果的重要方法。在文献和实践中看到的当前返回基线方法在插补后夸大了“完整”数据集的变异性,并导致偏倚的平均估计值{当缺失概率取决于观察到的基线和/或基线后中间结局时}。在这篇文章中,我们首先提供了一组标准的回归基线插补方法应该满足。在此框架下,我们提出了一种新的回归基线插补方法。仿真结果表明,当缺失率依赖于观测值时,新插补方法所得到的估计量具有较好的分布性,其估计量的偏差和方差均优于传统方法.新方法可以很容易地实现与现有的多重插补程序在常用的统计软件包。
2021-11-17 stat.ME
Imputation of missing values in multi-view data
Leiden University(莱顿大学);Leiden Institute for Brain and Cognition(莱顿大脑与认知研究所);Medical University of Graz(格拉茨医科大学)
针对多视图数据缺失值多、高维导致传统条件插补计算不可行的问题,提出基于StaPLR算法的降维空间插补方法,在模拟和真实数据上以更低成本取得有竞争力的结果,拓展了高级插补算法的适用场景。
2024-06-20 cs.LG stat.ME stat.ML
Missing Data Imputation and Corrected Statistics for Large-Scale Behavioral Databases
针对大规模项目表现行为数据库中的缺失数据问题,提出了一种新的解决方法。本文介绍了缺失数据校正的有用统计量,并提出了一种新的缺失数据插补方法。将该方法应用于Keuleers等人(2010)最近发表的DLP数据库,这使我们能够得出结论,该数据库满足Courrieu等人(2011)最近提出的方法的使用条件,以测试项目性能模型。提供了两个Matlab应用程序,用于数据库中缺失数据的填补,以及用于计算校正统计量以检验模型。
2011-02-18 stat.ME
Imputation for High-Dimensional Linear Regression
我们研究了协变量中含有缺失项的高维回归。实践中的一个常见策略是用适当的替代品对缺失的条目进行\emph{impute},然后执行标准统计程序,就好像协变量被完全观察到一样。最近关于这个问题的文献提出,而不是设计一个特定的,往往是复杂的或非凸的,算法的情况下,失踪的协变量。我们研究了一种更简单的方法,在这种方法中,我们用给定观测协变量的条件均值填充缺失项。我们表明,这种插补方案加上标准的现成程序,如LASSO和平方根LASSO保留了随机设计设置中的最小最大估计率,其中协变量是i.i.d.。亚高斯我们进一步表明,平方根LASSO保持\emph{pivotal}在此设置。通常情况下,条件期望不能精确计算,必须从数据中近似计算。我们研究了两种情况下,协变量要么遵循自回归(AR)过程,或联合高斯稀疏精度矩阵。我们提出了易于处理的估计的条件期望,然后通过LASSO进行线性回归,并显示在两种情况下相似的估计率。我们补充我们的理论结果与模拟合成和半合成的例子,不仅说明了我们的界限的清晰度,而且这种策略超出了我们的理论假设的更广泛的实用性。
2020-01-24 math.ST stat.ME stat.ML
Large-sample properties of multiple imputation estimators for parameters of logistic regression with covariates missing at random separately or simultaneously
研究两组分类协变量分别或同时 MAR 时 logistic 回归 MI 估计量的渐近性质,提出修正方差估计,并通过模拟和逢甲夜市调查数据验证其优势。
2023-12-18 stat.ME
Imputation estimators for unnormalized models with missing data
Harvard University(哈佛大学);The University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心);Iowa State University(爱荷华州立大学)
几种统计模型都是以非归一化密度的形式给出的,归一化常数的计算比较困难。我们提出的估计方法,这种未规范化的模型与缺失数据。其关键概念是将插补技术与非标准化模型的估计量(包括噪声对比估计和分数匹配)相结合。此外,我们推导出所提出的估计量的渐近分布和构造置信区间。截断高斯图模型的模拟结果和应用于实际数据的风向表明,所提出的方法有效地使统计推断与非归一化模型的缺失数据。
2020-06-08 cs.LG stat.ME stat.ML
kNNSampler: Stochastic Imputations for Recovering Missing Value Distributions
SAP Labs France(SAP法国实验室);EURECOM
kNNSampler通过随机采样最相似单元的观测响应来填补缺失值,能够估计缺失值的条件分布并用于多重填补。
2025-12-02 cs.LG math.ST stat.ME
Imputation and Missing Indicators for handling missing data in the development and implementation of clinical prediction models: a simulation study
背景资料:处理缺失数据的现有准则通常与预测建模的目标不一致,其中缺失数据可能发生在模型流程的任何阶段。多重插补(MI)通常被誉为金标准方法,但在临床应用中可能具有挑战性。显然,结果不能用于在预测时间插补数据。回归插补(RI)可以提供一个务实的替代预测的背景下,更简单地应用于临床。此外,使用缺失指标可以处理信息缺失,但目前尚不清楚它们在CPM中的表现如何。研究方法:我们进行了一项模拟研究,其中在各种缺失数据机制下生成数据,以比较使用两种插补方法开发的CPM的预测性能。我们考虑了允许/禁止缺失数据的部署场景,并开发了在插补期间使用/省略结果并包括/省略缺失指标的模型。结果如下:当部署时必须提供完整的数据时,我们的研究结果与广泛使用的建议一致;结果应用于估算MI下的发育数据,但在RI下省略。当在展开时进行插补时,最好在开发时省略插补的结果。缺失指标在某些特定情况下改善了模型性能,但当缺失取决于结果时可能是有害的。结论:我们提供的证据表明,通常教导的通过MI处理缺失数据的原则可能不适用于CPM,特别是当部署时数据可能缺失时。在这种情况下,RI和缺失指标方法可以(略微)优于MI。如图所示,缺失数据处理方法的性能必须在逐个研究的基础上进行评价,并应基于展开时是否允许缺失数据。
2022-06-24 stat.ME
UAFS: Uncertainty-Aware Feature Selection for Problems with Missing Data
缺失数据是许多现实世界数据集中的一个问题,通常需要插补方法来估计缺失数据的值,但是具有过度缺失和高维的数据集挑战大多数插补方法。在这里,我们表明,适当的特征选择可以是一个有效的预处理步骤填补,允许更准确的填补和后续的模型预测。这种预处理的关键特征是它包含了不确定性:通过在选择特征时考虑由于缺失而导致的不确定性,我们可以降低缺失的程度,同时限制用于构建预测模型的无信息特征的数量。我们介绍了一种方法来执行不确定性感知特征选择(UAFS),提供了一个理论的动机,并测试UAFS的真实和合成的问题,表明在各种数据集和缺失水平,我们可以提高插补的准确性。由于UAFS而改进的插补也导致在使用这些插补数据集执行监督学习时提高了预测准确性。我们的UAFS方法是通用的,可以卓有成效地耦合到各种插补方法。
2021-04-20 cs.LG physics.data-an stat.ME
Mediation analysis with missing data through multiple imputation and bootstrap
介绍了中介分析中利用多重插补和Bootstrap处理缺失数据的方法,并在SAS软件中实现。通过仿真研究,表明该方法对MCAR和MAR数据在无辅助变量和有辅助变量的情况下都有很好的效果。它还表明,该方法同样适用于MNAR数据,如果辅助变量相关的缺失。通过对全国青年纵向调查数据的一个子集的分析,证明了该方法的应用。
2014-01-09 stat.ME
Imputation of Missing Data Using Linear Gaussian Cluster-Weighted Modeling
缺失数据理论研究的是缺失数据发生时的统计方法。当未存储或未观察到感兴趣变量的某些值时,会发生缺失数据。然而,大多数统计理论都假设数据是完全观察到的。处理不完整数据库的另一种方法是根据一定的准则来填充与缺失信息相对应的空间,这种技术称为插补。我们介绍了一种新的插补方法的数据库与单变量缺失模式的基础上充分观察辅助变量的额外信息。我们假设未观测变量是连续的,辅助变量有助于提高模型的插补能力。在一个完整的贝叶斯框架中,我们的方法使用灵活的混合多元正态分布的响应和辅助变量联合建模。在此框架下,我们利用高斯加权模型的性质来构建一个预测模型,利用协变量的信息来填补缺失值。模拟研究和真实数据的说明,以显示在各种情况下的方法插补能力,并与其他文献方法相比。
2021-10-24 stat.ME
Implementing multiple imputation for missing data in longitudinal studies when models are not feasible: A tutorial on the random hot deck approach
目的:研究人员经常使用基于模型的多重插补来处理随机缺失数据,以最大限度地减少偏倚,同时充分利用所有可用数据。然而,有时数据中存在限制因素,使得基于模型的插补变得困难,并可能导致不可信的值。在这些情况下,我们描述了如何使用随机热甲板插补,以允许合理的多重插补在纵向研究。研究设计和设置:我们说明随机热甲板多重插补使用儿童健康,活动,运动表现学校研究丹麦(CHAMPS-DK),一个前瞻性队列研究,测量每周的体育参与1700丹麦学童。我们将具有缺失数据的记录与多个观察到的记录进行匹配,使用观察到的数据生成匹配记录的概率,并根据每个发生的概率从这些记录中进行采样。由于插补值是随机生成的,因此可以创建多个完整的数据集并进行分析,类似于基于模型的多重插补。结论:当基于模型的方法不可行时,特别是协变量内部和之间存在约束时,使用随机热甲板插补的多重插补是一种替代方法。
2020-10-30 stat.ME
Accounting for not-at-random missingness through imputation stacking
在许多健康研究应用中,非随机缺失在解决缺失数据方面提出了挑战。在本文中,我们提出了一种新的方法来考虑非随机缺失多重插补后,通过加权分析堆叠多重插补。权重很容易计算为插补数据和关于非随机缺失的假设的函数。我们通过仿真证明,该方法具有良好的性能时,正确指定的缺失模型。在实践中,缺失机制将是未知的。我们展示了如何使用我们的方法在一个敏感性分析框架来评估模型推理的鲁棒性,以不同的假设缺失机制,我们提供R包StackImpute,以方便实现的一部分,例行敏感性分析。我们应用所提出的方法来解释在一项诊断为口咽癌患者的生存研究中人乳头瘤病毒检测结果的非随机缺失。
2021-01-20 stat.ME
Multiple imputation of missing covariates when using the Fine-Gray model
本文针对 Fine-Gray 模型中缺失协变量问题,提出结合潜在删失时间插补与 Cox 模型插补方法的实质模型兼容多重插补框架,并通过模拟和实例验证其效率与稳健性。
2024-05-26 stat.ME
Choosing Imputation Models
填补缺失值是数据分析中重要的预处理步骤,但文献对如何在不同填补模型之间进行选择提供的指导很少。这封信建议采用插补模型,该模型在平衡所有其他协变量后,生成与不完整变量的观察值最相似的插补值密度。我们建议稳定的平衡权重作为一种实用的方法来平衡协变量,如果值不是完全随机缺失,则其分布预计会有所不同。平衡后,差异统计可用于比较插补值和观测值的密度。我们使用模拟和真实世界的调查数据,从美国全国选举研究,比较流行的插补方法,包括随机森林,热甲板,预测均值匹配,和多元正态插补的建议方法的应用。一个实现了建议方法的R包随信附上。
2021-07-12 stat.ME
missForestPredict -- Missing data imputation for prediction settings
KU Leuven(KU Leuven(荷语天主教鲁汶大学));Leuven Unit for Health Technology Assessment Research (LUHTAR)(鲁汶卫生技术评估研究单元(LUHTAR));School for Public Health and Primary Care, Maastricht University(马斯特里赫特大学公共卫生与基层保健学院);Leiden University Medical Center(莱顿大学医学中心)
missForestPredict R包针对预测场景改进missForest算法,通过随机森林迭代填补并保存填补模型,在模拟和公开数据集上相比多种填补方法取得有竞争力的结果且计算时间短。
2024-07-02 cs.LG stat.ME stat.ML
Multiple Imputation of Missing Values in Household Data with Structural Zeros
本文提出了一种在家庭内嵌套的多变量分类数据中对缺失项进行插补的方法。该方法依赖于一个潜在的类模型,(i)允许家庭层面和个人层面的变量,(ii)确保不可能的家庭配置在模型中的概率为零,(iii)可以保持家庭内部和家庭之间的多变量分布。我们提出了一个吉布斯抽样估计模型和生成插补。我们还描述了用于提高模型估计的计算效率的策略。我们用模拟典型人口普查中收集的变量的数据来说明该方法的性能。
2018-07-04 stat.ME
Improving RCT-Based CATE Estimation Under Covariate Mismatch via Double Calibration
Vanderbilt University Medical Center(范德堡大学医学中心);University of Minnesota(明尼苏达大学)
本文提出MR-OSCAR方法,通过双重校准提升RCT与观察性研究间协变量不匹配时的CATE估计精度,理论保证有限样本性能,通过模拟验证了数据补充和借力策略的有效性。
2026-03-17 stat.ME