Imputation of Missing Data Using Linear Gaussian Cluster-Weighted Modeling
缺失数据理论研究的是缺失数据发生时的统计方法。当未存储或未观察到感兴趣变量的某些值时,会发生缺失数据。然而,大多数统计理论都假设数据是完全观察到的。处理不完整数据库的另一种方法是根据一定的准则来填充与缺失信息相对应的空间,这种技术称为插补。我们介绍了一种新的插补方法的数据库与单变量缺失模式的基础上充分观察辅助变量的额外信息。我们假设未观测变量是连续的,辅助变量有助于提高模型的插补能力。在一个完整的贝叶斯框架中,我们的方法使用灵活的混合多元正态分布的响应和辅助变量联合建模。在此框架下,我们利用高斯加权模型的性质来构建一个预测模型,利用协变量的信息来填补缺失值。模拟研究和真实数据的说明,以显示在各种情况下的方法插补能力,并与其他文献方法相比。
2021-10-24 stat.ME
Implementing multiple imputation for missing data in longitudinal studies when models are not feasible: A tutorial on the random hot deck approach
目的:研究人员经常使用基于模型的多重插补来处理随机缺失数据,以最大限度地减少偏倚,同时充分利用所有可用数据。然而,有时数据中存在限制因素,使得基于模型的插补变得困难,并可能导致不可信的值。在这些情况下,我们描述了如何使用随机热甲板插补,以允许合理的多重插补在纵向研究。研究设计和设置:我们说明随机热甲板多重插补使用儿童健康,活动,运动表现学校研究丹麦(CHAMPS-DK),一个前瞻性队列研究,测量每周的体育参与1700丹麦学童。我们将具有缺失数据的记录与多个观察到的记录进行匹配,使用观察到的数据生成匹配记录的概率,并根据每个发生的概率从这些记录中进行采样。由于插补值是随机生成的,因此可以创建多个完整的数据集并进行分析,类似于基于模型的多重插补。结论:当基于模型的方法不可行时,特别是协变量内部和之间存在约束时,使用随机热甲板插补的多重插补是一种替代方法。
2020-10-30 stat.ME
Accounting for not-at-random missingness through imputation stacking
在许多健康研究应用中,非随机缺失在解决缺失数据方面提出了挑战。在本文中,我们提出了一种新的方法来考虑非随机缺失多重插补后,通过加权分析堆叠多重插补。权重很容易计算为插补数据和关于非随机缺失的假设的函数。我们通过仿真证明,该方法具有良好的性能时,正确指定的缺失模型。在实践中,缺失机制将是未知的。我们展示了如何使用我们的方法在一个敏感性分析框架来评估模型推理的鲁棒性,以不同的假设缺失机制,我们提供R包StackImpute,以方便实现的一部分,例行敏感性分析。我们应用所提出的方法来解释在一项诊断为口咽癌患者的生存研究中人乳头瘤病毒检测结果的非随机缺失。
2021-01-20 stat.ME
Projective Resampling Imputation Mean Estimation Method for Missing Covariates Problem
缺失数据是临床数据收集中常见的问题,给临床数据的统计分析带来困难。为了克服不完全数据所带来的问题,提出了一种新的估算方法-投影恢复估算均值估计(PRIME),该方法能够以较少的信息损失解决估算中的“维数灾难”问题。我们使用不同的样本量,缺失数据率,协变量相关性,和噪声水平的模拟研究,所有的结果表明,PRIME优于其他方法,如迭代最小二乘估计(ILSE),极大似然(ML),和完整的情况下分析(CC)。此外,我们进行了心脏手术相关的急性肾损伤(CSA-AKI)的影响因素的研究,这表明我们的方法比其他模型表现得更好。最后,我们证明了PRIME在某些正则条件下具有相容性。
2021-06-16 stat.ME
Multiple Imputation of Missing Values in Household Data with Structural Zeros
本文提出了一种在家庭内嵌套的多变量分类数据中对缺失项进行插补的方法。该方法依赖于一个潜在的类模型,(i)允许家庭层面和个人层面的变量,(ii)确保不可能的家庭配置在模型中的概率为零,(iii)可以保持家庭内部和家庭之间的多变量分布。我们提出了一个吉布斯抽样估计模型和生成插补。我们还描述了用于提高模型估计的计算效率的策略。我们用模拟典型人口普查中收集的变量的数据来说明该方法的性能。
2018-07-04 stat.ME
Probabilistic Missing Value Imputation for Mixed Categorical and Ordered Data
许多真实世界的数据集包含缺失条目和混合数据类型,包括分类和有序(例如连续和有序)变量。由于许多数据分析管道需要完整的数据,因此有必要对缺失的条目进行插补,但这对于混合数据来说尤其具有挑战性。提出了一种基于扩展高斯Copula模型的概率填补方法,该模型支持单重填补和多重插补。该方法使用潜在高斯分布对混合分类和有序数据进行建模。分类变量的无序特征显式建模使用argmax算子。该方法对数据边缘没有任何假设,也不需要调整任何超参数。在合成数据集和真实数据集上的实验结果表明,对于混合数据中的分类变量和有序变量,扩展高斯Copula的插补性能优于当前最先进的插补方法。
2022-10-13 stat.ME
Missing Value Imputation for Mixed Data via Gaussian Copula
缺失数据插补是许多数据分析流程的第一个关键步骤。对于混合数据集,包括真实、布尔和有序数据,挑战最大,其中用于插补的标准技术无法进行基本的健全性检查:例如,插补值可能不遵循与数据相同的分布。本文提出了一种新的半参数算法来填补缺失值,没有调整参数。该算法将混合数据建模为高斯copula。该模型可以拟合连续变量的任意边缘,并且可以处理具有许多水平的有序变量,包括布尔变量作为特殊情况。本文提出了一种有效的近似期望最大化算法,用于估计不完全混合数据的copula参数。由此产生的模型揭示了变量之间的统计关联。几个合成和真实数据集上的实验结果表明,我们提出的算法的优越性国家的最先进的混合数据的插补算法。
2020-06-16 stat.ME
Sensitivity analysis for multivariable missing data using multiple imputation: a tutorial
本文以教程形式介绍如何利用NARFCS程序在多变量多重插补中开展非随机缺失敏感性分析,并通过澳大利亚儿童纵向研究案例演示从模型设定到R和Stata实现的完整流程。
2025-02-05 stat.ME
Bayesian Profiling Multiple Imputation for Missing Electronic Health Records
电子健康记录(EHR)越来越多地用于临床和比较有效性研究,但遭受缺失数据。出于对糖尿病护理的卫生服务研究的动机,我们寻求通过关注纵向糖化血红蛋白(A1c)的缺失值来提高EHR的质量,糖化血红蛋白是糖尿病并发症和不良事件的关键风险因素。在多重插补(MI)框架下,我们提出了一个个性化的贝叶斯潜在轮廓的方法来捕捉A1 c测量轨迹的缺失。所提出的方法适用于2003年至2013年期间中西部大型学术卫生系统中成年糖尿病患者的EHR,并且具有Medicare A和B覆盖范围。我们结合MI推断来评估A1c水平与急性不良健康事件发生率的相关性,并检查已确定患者资料的患者异质性。我们调查不同的缺失机制,并进行插补诊断。我们的方法计算效率高,适合灵活的模型,提供有用的临床见解。
2020-07-10 stat.ME
Missing Data in Discrete Time State-Space Modeling of Ecological Momentary Assessment Data: A Monte-Carlo Study of Imputation Methods
针对EMA离散时间连续测量状态空间建模,本文通过蒙特卡洛研究比较不同缺失机制下的缺失数据处理方法,发现Kalman filter总体表现最佳,而多重插补难以准确恢复参数。
2025-02-11 stat.ME
A comparison of multiple imputation methods for bivariate hierarchical outcomes
在整群随机试验中,缺失观察值很常见。处理此类缺失数据的方法包括:完整病例分析、忽略聚类的单水平多重插补、每个聚类具有固定效应的多重插补和多水平多重插补。我们进行了一项模拟研究,以评估这些方法的性能,在置信区间覆盖率和经验偏差的估计处理效应。采用全因子设计模拟随机缺失聚类数据情景。进行了方差分析,以研究模拟因素对每个性能指标的影响。当随机化治疗组与缺失相关时,完整病例分析导致处理效应估计值存在偏倚。在考虑的所有缺失数据机制中,多重插补方法提供的估计值偏倚可忽略不计。固定效应多重插补后置信区间覆盖率通常超过标称水平(高达99.8%),单水平多重插补后置信区间覆盖率过低。多水平多重插补导致整个覆盖水平约为95%。处理缺失数据的方法是对偏倚和覆盖率影响最大的因素。在每种方法中,最重要的因素是聚类的数量和大小,以及组内相关系数。
2014-07-17 stat.ME
Distributed nonparametric regression imputation for missing response problems with large-scale data
针对大规模数据缺失响应问题,本文提出基于核平滑和筛方法的两种分布式非参数回归插补方法,并证明所得响应均值估计量渐近正态且达到半参数效率界。
2023-01-08 stat.ME
Design-Based Causal Inference with Missing Outcomes: Missingness Mechanisms, Imputation-Assisted Randomization Tests, and Covariate Adjustment
针对基于设计因果推断中的结果缺失问题,提出灵活缺失机制与“插补与再插补”框架,实现精确随机化检验、协变量调整及置信区间构建,并经模拟和大规模实验验证。
2025-05-24 stat.ME
A Copula-based Imputation Model for Missing Data of Mixed Type in Multilevel Data Sets
本文提出了一种基于Copula函数的多变量混合数据缺失值处理方法。基于\cite{hoff2007extending}的扩展秩似然和多项概率模型,我们的模型是一个潜变量模型,它能够捕捉不同类型的变量之间的关系,以及占聚类结构。我们通过吉布斯抽样方案近似参数和缺失值的后验分布来拟合模型。我们使用多重插补程序,以纳入数据分析中的缺失值的不确定性。我们提出的方法进行评估,通过模拟比较它与几个传统的方法处理缺失数据。我们还将我们的方法应用于急性卒中单元多学科干预的整群随机对照试验的数据集。我们的结论是,我们提出的基于copula的混合型变量的插补模型在一些感兴趣的模型中实现了相当好的插补精度和参数恢复,并且当聚类效应较强时,添加随机效应可以提高性能。
2017-02-27 stat.ME
Cox regression analysis with missing covariates via multiple imputation
我们考虑估计Cox回归的情况,其中一些协变量可能缺失,并且存在可能预测缺失协变量的额外信息(包括观察到的事件时间、删失指标和完全观察到的协变量)。我们建议使用两个工作回归模型:一个用于预测缺失协变量,另一个用于预测缺失概率。对于每个缺失协变量观察值,这两个工作模型用于定义最近邻插补集。然后使用该数据集对缺失观测值的协变量值进行非参数插补。插补完成后,对多重插补数据集进行Cox回归,以估计回归系数。在一个模拟研究中,我们比较了非参数多重插补方法与增广逆概率加权(AIPW)方法,它直接将两个工作模型的Cox回归估计。我们表明,所有的方法都可以减少偏见,由于不可验证的缺失机制。所提出的非参数插补方法对两个工作模型中的任何一个的错误设定具有鲁棒性,并且对两个工作模型的链接函数的错误设定具有鲁棒性。相比之下,AIPW方法对两个工作模型的链接函数的错误指定不具有鲁棒性,并且对选择概率敏感。我们将这些方法应用于监测,流行病学和最终结果(SEER)计划的乳腺癌数据集。
2017-10-12 stat.ME
Imputations for High Missing Rate Data in Covariates via Semi-supervised Learning Approach
数据收集技术的进步和数据资源的异质性可能会产生很高比例的变量观测值缺失,例如块级缺失数据。在缺失数据的情况下,传统的方法,如简单平均值,$k$ -最近邻,多重和回归插补可能会导致结果不稳定或无法计算。受半监督学习概念的启发(参见,例如,Zhu和Goldberg,2009年以及Chapelle等人,2010),我们提出了一种新的方法来填补缺失率高的协变量中的缺失值。具体而言,我们将任何协变量中的缺失和非缺失受试者分别视为未标记和标记的目标输出,并将其相应的响应视为未标记和标记的输入。这种创新的设置使我们能够估算大量的缺失数据,而无需强加任何模型假设。此外,所得插补对于连续协变量具有封闭形式,并且可以有效地计算。一个类似的程序适用于离散协变量。我们进一步采用非参数技术来显示插补协变量的理论性质。仿真研究和在线消费金融的例子来说明所提出的方法的实用性。
2022-05-15 stat.ME
Imputing Missing Values with External Data
本文提出Stata新命令mi impute from,利用外部研究估计的线性预测因子和协方差矩阵填补缺失值,无需共享个体数据,并给出方法、语法及合作研究实例。
2024-10-03 stat.ME
Imputation of missing data using multivariate Gaussian Linear Cluster-Weighted Modeling
本文提出一种基于多元高斯聚类加权建模的完全贝叶斯填补方法,利用完全观测的辅助变量联合建模响应变量,以提升缺失数据填补能力,并通过模拟和真实数据验证其优于现有方法。
2023-08-13 stat.ME
Multiple imputation of incomplete multilevel data using Heckman selection models
缺失数据是医学研究中常见的问题,通常使用多重插补来解决。虽然传统的插补方法允许有效的统计推断时,数据随机缺失(MAR),其实施是有问题的,当缺失的存在取决于未观察到的变量,即数据是非随机缺失(MNAR)。不幸的是,这种MNAR情况在观察性研究、登记和其他真实世界数据来源中相当常见。虽然已经提出了几种插补方法来解决个别研究时,数据是MNAR,其应用程序和多层次结构的大型数据集的有效性仍然不清楚。因此,我们深入探讨了MNAR数据在分层数据中的后果,并提出了一种新的聚类数据集常见缺失模式的多级插补方法。该方法基于Heckman选择模型的原理,采用两阶段荟萃分析方法来插补可能是结局或预测因子的二元和连续变量,以及系统性或偶发性缺失。在模拟场景中评估了所提出的插补模型后,我们说明了它在横断面社区调查中的使用,以估计乌干达5个次区域2 - 10岁儿童疟疾寄生虫血症的患病率。
2023-01-12 stat.ME
A Latent Variable Framework for Multiple Imputation with Non-ignorable Missingness: Analyzing Perceptions of Social Justice in Europe
East China Normal University(华东师范大学);London School of Economics and Political Science(伦敦政治经济学院)
本文提出一种基于潜变量模型的多重插补框架,处理非可忽略缺失数据,并提供渐近理论保证,应用于欧洲社会调查数据,证明忽略非可忽略缺失会夸大收入与公平感知的相关性。
2025-09-25 stat.ME
Leveraging Random Assignment to Impute Missing Covariates in Causal Studies
针对随机实验中协变量缺失影响治疗效应估计的问题,研究对比了均值填补、回归单一填补、多重填补三类方法在遵循/忽略随机化原则下的表现,发现考虑随机化仅能小幅提升填补准确性,为异质性治疗效应估计中的协变量填补提供参考。
2020-11-08 stat.ME
Sensitivity analysis methods for outcome missingness using substantive-model-compatible multiple imputation and their application in causal inference
本文针对结果变量自致缺失情形下的因果推断敏感性分析,提出NAR-SMCFCS和NAR-SMC-stack两种兼容delta调整方法,解决了朴素NARFCS易产生偏倚的问题,并通过模拟研究验证其近似无偏性。
2024-11-21 stat.ME
Estimating Average Treatment Effects Utilizing Fractional Imputation when Confounders are Subject to Missingness
观测数据的缺失问题是普遍存在的。当混杂因素随机缺失时,通常使用多重插补;然而,该方法要求有效推断的一致性条件,在估计平均因果处理效应时可能无法满足。或者,Kim 2011年提出的分数插补已被用于处理回归背景下的缺失值。在这篇文章中,我们开发了部分插补方法来估计混杂因素随机随机缺失的平均处理效应。我们证明了平均处理效应的分数插补估计是渐近正态的,这使得方差估计是一致的。通过仿真研究,比较了分数填补和多重插补的准确度和精确度。
2020-07-08 stat.ME stat.OT
Estimation and imputation of missing data in longitudinal models with Zero-Inflated Poisson response variable
本研究针对带零膨胀泊松响应变量的纵向模型缺失数据问题,提出基于极大似然与EM算法的估计插补方法,经仿真与玉米生长真实数据验证性能良好。
2024-09-17 stat.ME
Missing data imputation using a truncated Gaussian infinite factor model with application to metabolomics data
本文提出截断高斯无限因子分析(TGIFA)模型,在尊重物理约束的同时捕捉高维依赖,通过贝叶斯推断和高效MCMC算法实现代谢组学缺失数据的填补及不确定性量化。
2025-08-21 stat.ME
A Unified Inference Framework for Multiple Imputation Using Martingales
多重插补是处理缺失数据的常用方法。虽然Rubin的合并规则很简单,但标准的多重插补推断与常用的全样本估计量结合时是否一致还不清楚。本文对一类渐近线性全样本估计量建立了多重插补的统一鞅表示。这种表示调用了野生自助推断,以在插补模型的正确规范下提供一致的方差估计。作为一个激励性的应用,我们说明了所提出的方法来估计平均因果效应(ACE)与部分观察到的混杂因素在因果推断。我们的框架适用于渐近线性ACE估计,包括回归插补,加权和匹配估计。我们扩展到结果和混杂因素均受缺失影响的情况,以及数据非随机缺失的情况。
2023-01-02 stat.ME
Multiple imputation of missing covariate values in multilevel models with random slopes: A cautionary note
多重插补(MI)已成为处理缺失数据的主要方法之一,但方法学文献中的指导原则不容易转移到多水平研究中。对于包含随机斜率的模型,适当的MI可能很困难,特别是当协变量值部分缺失时。在本文中,我们讨论了MI在多水平随机系数模型中的应用、斜率变化带来的理论挑战以及标准MI软件当前的局限性。我们从三个模拟研究中的发现表明:(a)MI能够恢复大多数参数,但目前不适合完全捕获协变量值缺失时的斜率变化;(b)MI为大多数参数提供了合理的估计,即使在较小的样本中或当其假设不满足时;以及(c)当保持斜率方差特别重要时,列表式删除可以是值得考虑的替代方案。
2016-06-16 stat.ME
An Imputation-Consistency Algorithm for High-Dimensional Missing Data Problems and Beyond
缺失数据是高维问题中经常遇到的问题,但它们通常很难使用标准算法来处理,例如期望最大化(EM)算法及其变体。为了解决这个困难,一些特定问题的算法已经在文献中开发,但仍然缺乏一个通用的算法。这项工作是为了填补空白:我们提出了一个通用的算法高维缺失数据问题。所提出的算法的工作原理是通过迭代之间的插补步骤和一致性步骤。在插补步骤,缺失数据以观测数据和参数的当前估计值为条件进行插补;在一致性步骤,找到伪完全数据上定义的库尔贝克-莱布勒散度最小值的相合估计。对于高维问题,在稀疏约束下,可以得到相合估计。在相当一般的条件下,真参数的平均估计的相合性可以成立。所提出的算法说明使用高维高斯图形模型,高维变量的选择,和一个随机系数模型。
2018-02-06 stat.ME
Partial Replacement Imputation Estimation Method for Complex Missing Covariates in Additive Partially Linear Models
缺失数据是临床数据收集中常见的问题,给临床数据的统计分析带来困难。在这篇文章中,我们考虑的问题的框架下的半参数部分线性模型时,观测值的缺失与复杂的模式。如果可加部分线性模型的模型结构是正确的,我们提出了一种新的插补方法称为部分替换插补估计(PRIME),它可以克服部分线性模型中的不完整数据所带来的问题。此外,我们使用PRIME结合模型平均(PRME-MA)来解决部分线性模型中模型结构未知的问题。在模拟研究中,我们使用各种误差分布,样本量,缺失数据率,协变量相关性和噪声水平,PRIME在几乎所有情况下都优于其他方法。在正确模型结构未知的情况下,PRIME-MA具有令人满意的预测性能,但略差于PRIME。此外,我们对Pima印第安人糖尿病数据的影响因素进行了研究,结果表明,我们的方法比其他模型表现得更好。
2022-06-10 stat.ME
Evaluating the Impact of Missing Data Imputation through the use of the Random Forest Algorithm
本文提出了一种对缺失数据进行插补的影响评估方法。使用的数据集是2001年进行的产前诊所研究调查的艾滋病毒血清阳性率数据。数据填补是通过五种方法:随机森林,自联想神经网络与遗传算法,自联想神经模糊配置,和两个随机森林和神经网络为基础的混合。结果表明,随机森林是优越的,在填补缺失数据的准确性和计算时间方面,与自联想网络相比,某些变量的准确性平均增加高达32%。虽然混合系统有很大的前景,但它们受到神经网络组件的阻碍。使用插补数据以三种方式检验影响:通过统计分析、HIV状态分类和通过逻辑斯谛回归的概率预测。结果表明,这些方法是相当免疫的插补数据,影响并不十分显着,与96%的线性相关性之间的HIV概率预测和一组两个插补变量使用逻辑斯谛回归分析。
2008-12-12 stat.ME
Multiple imputation in data that grow over time: A comparison of three strategies
Tilburg University(蒂尔堡大学);TNO Quality of Life(TNO生活质量研究所);Leiden University(莱顿大学)
本文比较了处理时间推移数据的三种多重填补策略,发现单调缺失模式下所有方法有效,而非单调缺失模式下嵌套和附加填补会因数据相关性导致回归系数偏差。
2019-04-08 stat.ME
An ensemble learning method for variable selection: application to high dimensional data and missing values
在线性模型中选择变量的标准方法并不适合于正确处理高维和不完整的数据。目前,专门用于高维数据的方法处理缺失值的ad-hoc策略,如完整的情况下分析或单插补,而专门用于缺失值的方法,主要是基于多重插补,不讨论插补方法使用高维数据。因此,这两种方法对于许多现代应用来说似乎都是有限的。受集成方法的启发,提出了一种新的变量选择方法。它扩展了经典的变量选择方法的情况下,高维数据有或没有缺失数据。理论特性进行了研究,并通过模拟研究,以及通过应用程序的模型规格顺序多重插补的实际利益。在低维情况下,该程序改善了对误差风险的控制,尤其是第一类错误,即使逐步、套索或敲除方法没有缺失值。在缺失值的情况下,该方法的性能优于基于多重插补的参考选择方法。相似的性能得到在高维的情况下,有或没有缺失值。
2021-06-08 stat.ME
Fairness in Missing Data Imputation
University of Pennsylvania(宾夕法尼亚大学)
在大数据时代,缺失数据无处不在,如果处理不当,已知会导致有偏见的结果,并对数据驱动的决策产生有害影响。为了减轻其影响,许多缺失值估算方法已经开发出来。然而,这些估算方法在敏感群体中的公平性尚未得到研究。在本文中,我们进行了已知的第一个缺失数据填补的公平性研究。通过对三种常用数据集的插补方法的性能研究,证明了缺失值插补的不公平性普遍存在,且可能与多种因素有关。我们的研究结果表明,在实践中,对相关因素的仔细调查可以为减轻与缺失数据插补相关的不公平提供有价值的见解。
2021-10-22 cs.AI cs.LG stat.ME
Combining missing data imputation and internal validation in clinical risk prediction models
本文提供了一个教程,展示如何通过自助法结合确定性缺失数据填补来构建并内部验证临床风险预测模型,并通过大量模拟研究结果为实际应用提供决策指导。
2024-11-21 stat.AP stat.ME
Imputation techniques on missing values in breast cancer treatment and fertility data
University of Melbourne(墨尔本大学)
近几年来,利用数据采掘技术的临床决策支持为减少决策错误提供了更智能的方法。然而,临床数据集通常存在高缺失,如果处理不当,会对建模质量产生不利影响。插补缺失值提供了解决问题的机会。传统的填补方法采用简单的统计分析,如平均值填补或丢弃缺失的情况下,有很多局限性,从而降低学习的性能。本研究检查了一系列基于机器学习的插补方法,并提出了一种有效的方法来准备一个高质量的乳腺癌(BC)数据集,以找到BC治疗和化疗相关的闭经之间的关系,其中的性能与预测的准确性进行评估。
2020-11-16 cs.LG stat.ME
Evaluation of imputation techniques with varying percentage of missing data
缺失数据一直是困扰统计学家和应用分析研究人员的一个常见问题。虽然替代方法,如平均值为基础的或热甲板插补已经得到了很好的研究,新兴的插补技术,通过改进的计算资源有限的正式评估。本研究正式考虑了五种最近开发的插补方法:Amelia,Mice,mi,Hmisc和missForest -使用RMSE对实际值和基于均值的替代方法比较其性能。RMSE测量是通过使用排名方法的方法进行合并的。我们的研究结果表明,missForest算法表现最好,mi算法表现最差。
2021-09-09 stat.ME stat.OT
Model-based estimation and imputation with torus missing values
University Giustino Fortunato(朱斯蒂诺·富尔纳托大学);Department of Mathematics, University of Trento(特伦托大学数学系)
针对p维环面多元圆形数据缺失问题,提出基于包裹椭圆对称分布族的EM算法进行参数估计与填补,通过蒙特卡洛模拟验证性能。
2026-11-05 stat.CO stat.ME
Missing Data Imputation for Classification Problems
University of North Carolina(北卡罗来纳大学)
缺失数据的填补是特征训练矩阵具有缺失性的各种分类问题中的常见应用。一个广泛使用的解决方案,这个插补问题是基于懒惰的学习技术,$k$ -最近邻(kNN)的方法。然而,大多数以前的工作缺失数据没有考虑到分类问题中的类标签的存在。此外,现有的kNN插补方法使用Minkowski距离的变体作为距离的度量,这对于异构数据不起作用。本文提出了一种新的基于类加权灰色距离的迭代kNN填补技术。灰距离在具有缺失实例的异构数据中工作良好。距离由互信息(MI)加权,互信息是特征和类标签之间的特征相关性的度量。这确保了训练数据的插补是针对提高分类性能。这类加权灰色kNN插补算法相比,其他kNN插补算法,以及标准的插补算法,如MICE和missForest,在插补和分类问题的表现有所改善。这些问题是基于模拟场景和UCI数据集与各种率的缺失。
2020-02-25 cs.LG stat.AP stat.ME
Imputation of Nonignorable Missing Data in Surveys Using Auxiliary Margins Via Hot Deck and Sequential Imputation
本文针对调查数据中不可忽略的单元和项目无应答问题,提出两种对MD-AM框架的改进:用随机热卡插补替代联合模型设定,并用链式方程多重插补处理项目无应答,模拟和实证表明该方法比不利用辅助边际信息的模型估计更准确。
2024-06-07 stat.AP stat.ME
Outcome-Assisted Multiple Imputation of Missing Treatments
本研究提出结果辅助的多重插补方法,通过结合结果回归与倾向得分模型来插补缺失治疗,以减小逆概率加权估计量的偏差,提升观察性研究中平均治疗效应的推断性能。
2025-01-21 stat.AP stat.CO stat.ME
A Bayesian two-step multiple imputation approach based on mixed models for the missing in EMA data
本文提出一种基于混合模型的两步贝叶斯多重插补框架,以解决EMA数据缺失问题,通过模拟与实际应用验证了其优于单一插补,并指出选择最佳混合模型的两个关键因素。
2023-11-20 stat.AP stat.ME
Multiple Imputation Methods for Missing Multilevel Ordinal Outcomes
多重插补(MI)是一种处理观察性研究中缺失数据的既定技术。联合建模(JM)和完全条件规范(FCS)是常用的方法填补多级聚类数据。然而,顺序聚类结果变量的MI方法还没有得到很好的研究,特别是当有信息聚类大小(ICS)。本研究的目的是描述不同的插补和分析策略的多级顺序结果时,ICS存在。我们进行了全面的蒙特卡罗模拟研究,比较五种不同的方法:完全案例分析(CCA),FCS,FCS+CS(包括集群大小(CS)时,执行插补),JM,JM+CS在不同的场景。我们评估他们的表现,使用比例优势逻辑斯谛回归模型估计聚类加权广义估计方程(CWGEE)。仿真结果表明,在ICS存在的情况下,在插补中加入聚类大小可以显著提高插补精度。FCS比JM提供更准确和稳健估计,其次是CCA用于多水平有序结果。我们进一步将这些方法应用于实际的牙科研究。
2022-09-26 stat.AP stat.ME
Recursive Equations For Imputation Of Missing Not At Random Data With Sparse Pattern Support
Johns Hopkins University(约翰斯·霍普金斯大学);Williams College(威廉姆斯学院)
本文针对缺失数据图模型提出一种新的完整数据律构造性刻画,并据此开发了基于支撑模式递归的多元插补算法 MISPR,可在 MAR 和 MNAR 设定下一致地处理无支撑缺失模式,模拟中在 MNAR 情形下优于 MICE。
2025-07-21 cs.LG stat.ME
Multiple Imputation for Non-Monotone Missing Not at Random Binary Data using the No Self-Censoring Model
虽然当缺失模式是单调的时,处理纵向研究中缺失数据的方法已经发展得很好,但对于非单调缺失的方法却很少。此外,传统的随机随机缺失(MAR)假设--单调缺失的自然基准--没有模拟关于非单调缺失过程的现实信念(Robins和Gill,1997)。这为替代非单调非随机缺失(MNAR)机制提供了动力。“无自截尾”(NSC)模型就是这样一种机制,它假设当以所有其他可能缺失的结果变量及其缺失指标为条件时,结果变量缺失的概率与其值无关。作为一种替代“加权”的方法,成为计算要求越来越多的结果变量,我们提出了NSC下的多重插补方法。我们专注于二元结果的情况下,目前的模拟和渐近研究的结果,调查所提出的插补方法的性能。我们描述了一个相关的方法,敏感性分析偏离NSC。最后,我们讨论了MAR和NSC之间的关系,并证明了一个不是另一个的特殊情况。所提出的方法说明与应用程序的物质使用障碍的临床试验。
2023-02-24 stat.AP stat.ME
Multiple Imputation with Neural Network Gaussian Process for High-dimensional Incomplete Data
University of Pennsylvania(宾夕法尼亚大学)
缺失数据在实际应用中普遍存在,如果处理不当,可能会导致下游分析中的信息丢失和偏差结果。特别是,具有中等样本大小的高维不完整数据,如多组学数据的分析,提出了艰巨的挑战。插补可以说是处理缺失数据最流行的方法,尽管现有的插补方法有许多局限性。单一插补方法(如矩阵补全方法)不能充分考虑插补不确定性,因此会产生不适当的统计推断。相比之下,多重插补(MI)方法允许适当的推断,但现有的方法在高维设置中表现不佳。我们的工作旨在解决这些重大的方法差距,利用神经网络高斯过程(NNGP)的最新进展,从贝叶斯的观点。我们提出了两种基于NNGP的MI方法,即MI-NNGP,可以对联合(后验预测)分布的缺失值进行多重插补。MI-NNGP方法显着优于现有的最先进的方法在合成和真实的数据集,在插补误差,统计推断,对缺失率的鲁棒性和计算成本,在三个缺失数据机制,MCAR,MAR和MNAR。
2022-12-21 cs.LG stat.ME
variable selection and missing data imputation in categorical genomic data analysis by integrated ridge regression and random forest
全基因组关联研究(GWAS)所获得的基因组数据往往是大规模的,而且是不完整的。其不完备性的一种特殊形式是具有不可解释的缺失机制的缺失值。基因组数据的内在复杂性提出了显着的挑战,在开发一个公正的和翔实的程序表型-基因型关联分析的统计变量选择方法。在本文中,我们开发了一个连贯的分类表型-基因型关联分析的程序,在GWAS数据中的缺失值与不可解释的缺失机制的存在下,通过整合最先进的方法,随机森林的变量选择,加权岭回归与期望最大化算法的缺失数据填补,和线性统计假设检验确定缺失机制。两个模拟的GWAS被用来验证所提出的程序的性能。该程序,然后应用于分析一个真实的数据集,从乳腺癌GWAS。
2021-11-10 stat.AP stat.ME
Remiod: Reference-based Controlled Multiple Imputation of Longitudinal Binary and Ordinal Outcomes with non-ignorable missingness
在临床研究中,反应变量的缺失数据很常见。与缺失机制的不确定性相对应,控制性插补的理论框架已经形成。在实践中,建议在主要假设下对缺失数据进行统计学有效性分析,然后在替代假设下进行敏感性分析,以评估结果的稳健性。由于软件的可用性,受控多重插补(MI)程序,包括基于增量和基于参考的方法,已成为流行的分析连续变量下的缺失非随机假设。然而,类似的工具仍然限制了这些方法对分类数据的应用。在本文中,我们介绍了R包\textbf{remiod},它利用贝叶斯框架进行插补的回归模型的二进制和有序的结果。在概述理论背景之后,描述了\textbf{remiod}的用法和特征,并使用示例进行了说明。
2022-03-05 stat.AP stat.CO stat.ME
Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback
Gary and Mary West Health Institute(加里与玛丽·韦斯特健康研究所)
虽然数据可能很丰富,但由于缺少列或行,完整的数据就不那么丰富了。这种缺失破坏了下游数据产品的性能,这些产品要么省略不完整的案例,要么创建派生的完整数据以供后续处理。为了充分利用和正确使用数据,需要适当管理缺失数据。我们提出了一个多重插补模型,使用去噪自动编码器来学习数据的内部表示。此外,我们使用新的机制变形真理和归责反馈,以保持统计的完整性的属性和消除偏见的学习过程中。我们的方法探讨了插补对各种缺失机制和缺失数据模式的影响,在许多标准测试用例中优于其他方法。
2020-06-25 cs.LG stat.ME stat.ML
Real-time imputation of missing predictor values in clinical practice
临床指南广泛推荐使用预测模型,但通常需要所有预测因子的完整信息,而这些信息在日常实践中并不总是可用的。我们描述了两种方法,用于在实践中使用预测模型时实时处理丢失的预测值。我们比较了广泛使用的方法,平均插补(M-IMP)的方法,个性化的插补,利用观察到的患者特征。这些特征可以包括预测模型变量和其他特征(辅助变量)两者。该方法使用患者特征的联合多变量正态模型(联合建模插补; JMI)进行插补。来自两个不同心血管队列的数据,以及心血管预测因子和结局,用于评价实时插补方法。我们量化了预测模型的整体性能(线性预测器的均方误差(MSE))、区分度(c指数)、校准(截距和斜率)和净效益(决策曲线分析)。与平均值插补相比,JMI显著改善了MSE(0.10 vs. 0.13)、c指数(0.70 vs. 0.68)和校准(大规模校准:0.04 vs. 0.06;校准斜率:1.01 vs. 0.92),尤其是在纳入辅助变量时。当插补方法基于外部队列时,校准恶化,但区分度仍然相似。我们建议使用具有辅助变量的JMI对缺失值进行实时插补,并在新设置或(子)人群中实施插补模型时更新插补模型。
2020-12-02 stat.AP stat.ME
Markov Missing Graph: A Graphical Approach for Missing Data Imputation
该研究提出基于无向图的马尔可夫缺失图(MMG)缺失数据插补框架,结合可用信息原则确立可识别性,构建PAI下的插补风险最小化学习范式,建立相关理论并通过模拟与真实阿尔茨海默病数据验证有效性。
2025-09-03 math.ST stat.ME stat.ML
Variational Bayesian Multiple Imputation in High-Dimensional Regression Models With Missing Responses
针对高维聚类数据多重插补的计算负担,基于线性混合效应模型与变分贝叶斯推断,结合spike-and-slab先验开发逐变量插补算法,并扩展至分类变量,有效提升了不完整数据的插补与推断性能。
2025-04-06 stat.AP stat.ME
On the Relation between Prediction and Imputation Accuracy under Missing Covariates
Technical University of Dortmund(多特蒙德工业大学)
在回归或分类问题中缺少协变量可能会禁止直接使用高级工具进行进一步分析。最近的研究已经意识到使用现代机器学习算法进行插补的趋势越来越大。这源于它们在不同的学习问题中表现出良好的预测精度的能力。在这项工作中,我们通过模拟分析之间的相互作用的插补精度和预测精度的回归学习问题与缺失的协变量时,机器学习为基础的方法,插补和预测使用。此外,我们还探讨了在预测环境中使用统计推断程序时的插补性能,例如(有效)预测区间的覆盖率。我们的分析是基于UCI机器学习库提供的经验数据集和广泛的模拟研究。
2021-12-09 cs.LG stat.AP stat.ME
R package imputeTestbench to compare imputations methods for univariate time series
本文介绍了R软件包imputeTestbench,它提供了一个测试平台,用于比较单变量时间序列中缺失数据的插补方法。imputeTestbench软件包可用于模拟完整数据集中缺失数据的数量和类型,并使用不同的插补方法比较填充数据。用户可以选择完全随机或在不同大小的块中删除观测值来模拟缺失数据。该软件包中包含几种默认插补方法,包括历史均值、线性插值和末次观测值结转。测试平台不限于默认功能,用户可以使用简单的两步过程添加或删除其他方法。测试平台将每种方法的实际缺失数据和插补数据与不同的误差指标进行比较,包括RMSE、MAE和MAPE。用户还可以提供替代的错误度量。该软件包的一个显著优点是使用简单,并显著减少了比较单变量时间序列中缺失数据的插补方法的时间。本文概述了核心功能,包括示例演示。
2016-11-04 cs.MS stat.ME
Imputation of missing values in multi-view data
Leiden University(莱顿大学);Leiden Institute for Brain and Cognition(莱顿大脑与认知研究所);Medical University of Graz(格拉茨医科大学)
针对多视图数据缺失值多、高维导致传统条件插补计算不可行的问题,提出基于StaPLR算法的降维空间插补方法,在模拟和真实数据上以更低成本取得有竞争力的结果,拓展了高级插补算法的适用场景。
2024-06-20 cs.LG stat.ME stat.ML