Non-standard conditionally specified models for non-ignorable missing data
数据分析通常依赖于关于缺失机制的假设,这些假设导致观察到的数据与缺失数据。当数据非随机缺失时,关于缺失机制的直接假设以及关于观测数据和缺失数据分布的间接假设通常是不可检验的。我们探索一种方法,其中观测数据和缺失数据的联合分布通过非标准条件分布来指定。在这个公式中,它追溯到联合分布的因子分解,显然是由J.W. Tukey,关于条件因素的建模假设要么是可测试的,要么是为了结合关于手头问题的实质性知识而设计的,从而提供了一个可能真实的数据描述,包括缺失和观察到的数据。我们将Tukey的条件表示应用于指数族模型,并提出了这类模型的计算易处理的推理策略。我们使用高通量生物数据来说明这种方法的实用性,其中缺失数据不是随机随机缺失的。
2016-03-19 stat.ME
Evaluation of missing data mechanisms in two and three dimensional incomplete tables
不完全列联表的分析是一个实际而有趣的问题。在本文中,我们提供了一个变量的响应和不响应的赔率为二维和三维不完整的表的各种缺失机制的表征。对数线性参数化和一些独特的性质的缺失数据模型的上述表进行了讨论。考虑了一个、两个或所有变量数据可能缺失的所有可能情况。我们研究了模型中每个变量的缺失情况,这对于分析交叉分类数据比结果向量的缺失情况更有洞察力。对于不完整表格的敏感性分析,我们提出了易于验证的方法来评估缺失数据模型的随机缺失(MAR)、完全随机缺失(MCAR)和非随机缺失(NMAR)假设。这些方法只依赖于联合和边际赔率计算完全和部分观察计数表中,分别。最后,一些现实生活中的数据集进行了分析,以说明我们的结果,这是基于模拟研究证实。
2018-11-23 stat.ME
Graphical Models for Processing Missing Data
本文综述了利用图形模型表示多元依赖关系的缺失数据研究的最新进展。我们首先从三个不同的角度来研究传统框架的局限性:\textit{transparency, estimability and testability}。然后,我们将展示如何基于图形模型的程序可以克服这些限制,并提供有意义的性能保证,即使数据是非随机缺失(MNAR)。特别是,我们确定的条件,保证一致的估计,在广泛的类别的缺失数据问题,并推导出实施这种估计的程序。最后,我们推导出可检验的影响,缺失数据模型在MAR(随机缺失)和MNAR类别。
2019-11-13 stat.ME
Missing binary outcomes under covariate dependent missingness in cluster randomised trials
结果缺失是整群随机试验中经常出现的问题,如果忽略或处理不当,可能导致偏倚和低效的推断。分析这类试验的两种方法是聚类水平分析和个体水平分析。在这项研究中,我们评估了未调整的聚类水平分析,基线协变量调整的聚类水平分析,随机效应逻辑斯谛回归(RELR)和广义估计方程(GEE)的性能时,在基线协变量依赖的缺失机制下的二元结果缺失。使用完整记录分析(CRA)和多水平多重插补(MMI)处理缺失结局。我们分析表明,使用完整记录估计风险比(RR)的聚类水平分析是有效的,如果真实的数据生成模型具有日志链接和干预组具有相同的缺失机制和相同的协变量效应的结果模型。我们进行了一项模拟研究,考虑了四种不同的情况,这取决于干预组之间的缺失机制是相同还是不同,以及干预组与结局模型中的基线协变量之间是否存在相互作用。基于仿真研究和分析结果,我们给出了指导的条件下,每种方法是有效的。
2016-08-18 stat.ME
Accounting for not-at-random missingness through imputation stacking
在许多健康研究应用中,非随机缺失在解决缺失数据方面提出了挑战。在本文中,我们提出了一种新的方法来考虑非随机缺失多重插补后,通过加权分析堆叠多重插补。权重很容易计算为插补数据和关于非随机缺失的假设的函数。我们通过仿真证明,该方法具有良好的性能时,正确指定的缺失模型。在实践中,缺失机制将是未知的。我们展示了如何使用我们的方法在一个敏感性分析框架来评估模型推理的鲁棒性,以不同的假设缺失机制,我们提供R包StackImpute,以方便实现的一部分,例行敏感性分析。我们应用所提出的方法来解释在一项诊断为口咽癌患者的生存研究中人乳头瘤病毒检测结果的非随机缺失。
2021-01-20 stat.ME
Statistical Inference with Different Missing-data Mechanisms
当数据从某一时刻到下一时刻至多由于一种原因而缺失时,通过对缺失数据机制的正确建模,可以对数据的参数进行抽样分布推断。众所周知,如果其机制是随机缺失(MAR),则可以忽略,但如果其机制不是随机缺失(NMAR),则不能忽略。然而,尽管实践中有许多这样的数据,但由于多种原因,没有方法来分析何时可能发生数据缺失。因此,本文的目的是提出如何推断这样的数据.具体地说,我们将缺失数据指标从通常的二进制随机向量扩展到离散随机向量,定义了每种原因的缺失数据机制,并研究了“MAR & MAR”和“MAR & NMAR”等缺失数据混合机制的可识别性。特别是当机构组合为“MAR & NMAR”时,一般情况下MAR分量不可忽略,但在特殊情况下可以忽略。
2014-07-18 stat.ME
In the Shadow of Silence: Modelling Missing Data in the Dark Networks of Crime and Terrorists
本文针对犯罪与恐怖分子隐蔽网络中的缺失数据问题,提出利用指数随机图模型对非随机缺失机制进行建模,并在六个经验性隐蔽网络中验证了该框架,揭示了潜在推断陷阱并改进了网络生成机制的估计。
2025-01-27 stat.ME
What Is Meant by "Missing at Random"?
随机缺失的概念是缺失数据的统计分析文献的核心。一般而言,使用不完整数据的推断不仅应基于观察到的数据值,还应考虑缺失值的模式。然而,人们常说,如果数据是随机缺失,有效的推断使用似然方法(包括贝叶斯)可以忽略缺失机制。不幸的是,“随机缺失“一词的使用并不一致,而且并不总是明确的;“使用似然性的有效推断”的含义也不明确。这些问题造成了潜在的混乱,在这种情况下,缺失机制可以被忽略的确切条件,并可能围绕“分析忽略缺失机制”的含义造成混乱。本文对“随机缺失“和“完全随机缺失“给出了标准化的精确定义,以促进理论的统一。使用这些定义,我们澄清的条件,足以“有效的推理”下获得各种推理范式。
2013-06-12 stat.ME
Using Missing Types to Improve Partial Identification with Application to a Study of HIV Prevalence in Malawi
经验研究经常受到缺失数据的困扰。当数据非随机缺失时,通常无法识别感兴趣的参数。在没有额外假设的情况下,我们可以推导出感兴趣的参数的范围,不幸的是,这些范围通常太宽而无法提供信息。因此,通过利用额外的信息来锐化这些最坏情况的界限是非常重要的。传统的缺失数据分析只使用二进制缺失数据指标的信息,即某个数据点要么缺失,要么不缺失。然而,真实数据通常比二进制缺失数据指标提供更多的信息,并且它们通常记录不同类型的缺失。在激励性HIV状况调查中,缺失数据可能是由于单位不愿意回答调查项目或在访视期间住院,也可能是由于单位暂时不在或搬迁。显然,某些缺失类型更可能是非随机非随机缺失,但其他缺失类型更可能是随机随机缺失。我们表明,充分利用丢失的类型的结果在更窄的范围内的参数的兴趣。在一个现实生活中的例子中,我们证明了大幅改善的约束宽度减少50%以上,估计艾滋病毒在农村马拉维的流行。正如我们使用HIV研究所说明的那样,我们的策略对于通过逐渐增加或减少随机随机缺失的类型集来进行敏感性分析也是有用的。此外,我们提出了一个易于实现的方法来构造置信区间的部分确定的参数的界限表示为有限参数的最小值和最大值,这是有用的,不仅我们的问题,但也涉及到许多其他问题的界限。
2018-09-11 stat.ME
Imputing Missing Values with External Data
本文提出Stata新命令mi impute from,利用外部研究估计的线性预测因子和协方差矩阵填补缺失值,无需共享个体数据,并给出方法、语法及合作研究实例。
2024-10-03 stat.ME
Semiparametric Inference of the Complier Average Causal Effect with Nonignorable Missing Outcomes
随机试验中经常出现不依从和缺失数据,使因果效应的推断复杂化。当不合规和缺失数据同时存在时,以往的文献提出了二进制和正态分布连续结果的矩和极大似然估计在潜在的可消除的缺失数据机制下.然而,在实践中可能违反潜在的可识别缺失数据机制,因为缺失数据机制可能直接取决于缺失结果本身。在不依从和结果依赖的不可解释的缺失数据机制下,以往的研究表明,对于离散的结果,依从者的平均因果效应是可识别的。本文研究了具有全或无不依从和结果依赖的不可重复缺失连续结果的随机临床试验中依从者平均因果效应的半参数可辨识性和估计,并提出了两步极大似然估计,以消除无穷维干扰参数。我们的方法不需要为缺失数据机制指定参数形式。我们还通过广泛的模拟研究和敏感性分析评估了我们的方法的有限样本属性,并将其应用于双盲精神病临床试验。
2014-09-02 stat.ME
Simulation-based Sensitivity Analysis for Non-ignorable Missing Data
敏感性分析是处理缺失数据问题的常用方法,特别是对于不可重复的缺失数据。它分析了结论可能依赖于关于缺失数据的假设的敏感程度,例如缺失数据机制(MDM)。我们称之为在一定假设下的模型敏感性模型。为了使敏感性分析在实践中有用,我们需要定义一些简单和可解释的统计量来评估敏感性模型。然而,当缺失数据机制是非随机缺失(MNAR)时,评估是困难的。我们提出了一种新的方法,在本文中试图调查这些假设的基础上,最近邻(KNN)的距离模拟数据集从各种MNAR模型。该方法具有通用性,并已成功应用于多个具体模型的分析,包括有发表偏倚的Meta分析模型、不完全纵向数据的分析和有不可解释的缺失协变量的回归分析。
2015-01-23 stat.ME
Score test for missing at random or not
缺失数据在各个学科中经常遇到,可以分为三类:完全随机缺失(MCAR)、随机缺失(MAR)和非随机缺失(MNAR)。缺失数据的有效统计方法关键取决于对潜在缺失机制的正确识别。虽然MCAR和MAR的检验问题已经得到了广泛的研究,但是MAR和MNAR的检验问题还很少,而MNAR下的模型识别问题是检验MAR和MNAR的一个关键问题。本文在Logistic模型下,对回归函数的参数模型和半参数定位模型下的缺失机制是MAR还是MNAR的问题,提出了两个score检验。分数检验只需要在零MAR假设下的参数估计,这完全避免了识别问题。我们对人类免疫缺陷病毒数据的模拟和分析表明,分数检验具有良好的控制第一类错误和理想的权力。
2021-05-27 stat.ME
Missing at random: a stochastic process perspective
我们提供了一个自然的和可扩展的随机缺失的测度论治疗。在标准的缺失数据框架内,我们给出了一个新的特征的观测数据作为一个停止集西格玛代数。我们证明,通常的随机条件下的缺失是相当于需要特定的随机过程,以适应一组索引过滤的完整数据:可测量性条件,足以确保必要的似然因子分解的可测量性。我们对随机缺失条件的严格陈述也澄清了一个常见的混淆:什么是固定的,什么是随机的?
2018-01-20 stat.ME
Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data
在过去的二十年中,对于完全观测的数据集,变量选择的正则化方法得到了很好的发展。在存在缺失值的情况下,这种方法需要针对不同的缺失数据机制进行调整。在本文中,我们专注于一个灵活的和普遍适用的缺失数据机制,其中包含可验证和不可验证的缺失数据机制的假设。我们展示了如何在这种缺失数据机制下调整变量选择的正则化方法。建立了变量选择一致性的计算和理论性质。所提出的方法进一步说明了全面的模拟研究和实际数据分析,低维和高维设置。
2017-07-28 stat.ME
Design-Based Causal Inference with Missing Outcomes: Missingness Mechanisms, Imputation-Assisted Randomization Tests, and Covariate Adjustment
针对基于设计因果推断中的结果缺失问题,提出灵活缺失机制与“插补与再插补”框架,实现精确随机化检验、协变量调整及置信区间构建,并经模拟和大规模实验验证。
2025-05-24 stat.ME
Multiple imputation with missing data indicators
多重插补是分析缺失值数据的公认通用技术。实现多重插补的一种方便方法是序贯回归多重插补(SRMI),也称为链式方程多重插补。在这种方法中,我们使用每个变量的回归模型来估算缺失值,条件是数据中的其他变量。然而,这种方法假设缺失机制是随机缺失的,并且在没有额外修改的情况下,在非随机缺失下,这种方法是不合理的。在本文中,我们描述了我们如何可以推广SRMI插补程序来处理非随机缺失(MNAR)的设置中,缺失可能取决于其他变量也失踪。我们提供了代数理由的几个概括的标准SRMI使用泰勒级数和其他近似的MNAR下的目标插补分布。所得回归模型近似包括MNAR缺失模型和观测数据的缺失、相互作用或其他函数的指标。在一项模拟研究中,我们证明,拟议的SRMI修改导致在最终分析中的偏差减少相比,标准SRMI,与近似策略,包括在插补模型中的偏移执行最好的整体。该方法在乳腺癌研究中得到了说明,其目标是估计特定遗传致病变异的患病率。
2021-03-02 stat.ME
Monotone Missing Data: A Blessing and a Curse
University of Jyvaskyla(于韦斯屈莱大学)
针对单调缺失数据在实际分析中被视为有利但在图形模型中影响全定律可识别性的问题,研究表明其虽能在部分图形结构下实现识别,却也会阻碍某些非单调场景的识别,强调了正确处理单调缺失的重要性。
2025-11-13 stat.ME
Covariate adjustment in randomized experiments with missing outcomes and covariates
针对随机实验中结局和协变量缺失的问题,本文比较回归调整与倾向评分加权,证明二者渐近等价性失效,并提出结合缺失指示变量方法的调整策略。
2024-03-04 stat.ME
Missing continuous outcomes under covariate dependent missingness in cluster randomised trials
在整群随机试验(CRT)中,常发生Atomic,导致结局数据缺失。分析这类试验的两种方法是聚类水平分析和个体水平分析。本文比较了未调整聚类水平分析、基线协变量调整聚类水平分析和线性混合模型(LMM)分析在基线协变量依赖缺失(CDM)下的偏倚、平均估计标准误和覆盖概率。采用完全病例分析(CCA)和多重插补(MI)方法处理缺失的结果数据。根据两个干预组中缺失机制和协变量对结果的影响是否相同或不同,考虑了四种可能的情况。我们发现,未经调整的聚类水平分析和基线协变量调整聚类水平分析,只有当两个干预组有相同的缺失机制和相同的协变量效应,这是可以说是不太可能在实践中举行的干预效果的无偏估计。LMM和MI在所有四种考虑的情景下给出了无偏估计,前提是当两个干预组的协变量效应不同时,模型中包含干预指标和协变量的相互作用。MI略微高估了平均标准误,导致功效降低。
2016-03-14 stat.ME
Causal Inference with Missing Exposures and Missing Outcomes
University of California Berkeley(加州大学伯克利分校);University of California San Francisco(加州大学旧金山分校);Infectious Diseases Research Collaboration(传染病研究协作组织);Makerere University(马凯雷雷大学)
提出一个扩展的反事实框架,同时处理暴露和基线结局缺失,定义反事实分层效应,并通过TMLE和Super Learner在乌干达农村酒精消费对结核病感染风险的研究中验证。
2026-06-17 stat.ME
Comment on: "Model uncertainty and missing data: An Objective Bayesian Perspective"
Sorbonne(索邦大学);LPSM(勒贝格概率与统计实验室)
本文对客观贝叶斯方法处理模型不确定性与缺失数据的论文进行评论,重点从频率学派视角讨论其方法。
2025-11-05 stat.ME
MMD Two-sample Testing in the Presence of Arbitrarily Missing Data
针对数据任意缺失场景,提出基于MMD的双样本检验方法,通过推导统计量精确界限控制第一类错误,在5%-10%缺失率下具有良好功效,尤其适用于非随机缺失数据。
2024-05-24 stat.ME
On a simultaneous parameter inference and missing data imputation for nonstationary autoregressive models
本文研究了时间序列分析中的缺失数据问题,重点研究了存在缺失数据时模型参数的估计和缺失数据的重建。用于解决这些问题的标准方法(如极大似然估计或贝叶斯推断)依赖于先验假设(如缺失数据的高斯或平稳行为),并且在这些假设未得到满足的情况下可能导致偏倚结果。为了更进一步,我们将模型参数有界变差的外生因子向量自回归模型的有限元方法(FEM-VARX)扩展到处理缺失数据问题。该方法在考虑时间序列和所涉及的外生因素的情况下,同时估计模型参数和重建缺失数据。由此产生的计算框架进行了比较,国家的最先进的方法对一组测试案例,并作为开放源码软件。
2019-12-30 stat.ME
A Review of Methods and Practices for Missing Data in Sequential Multiple Assignment Randomized Trials (SMARTs): An Ancillary Study of a Scoping Review
Duke University(杜克大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文综述了SMARTs中缺失数据的统计方法,并总结了已发表SMARTs中缺失数据的报告和处理方式,指出现有方法与实际应用之间存在显著差距。
2026-04-26 stat.ME
Missing Data Imputation and Corrected Statistics for Large-Scale Behavioral Databases
针对大规模项目表现行为数据库中的缺失数据问题,提出了一种新的解决方法。本文介绍了缺失数据校正的有用统计量,并提出了一种新的缺失数据插补方法。将该方法应用于Keuleers等人(2010)最近发表的DLP数据库,这使我们能够得出结论,该数据库满足Courrieu等人(2011)最近提出的方法的使用条件,以测试项目性能模型。提供了两个Matlab应用程序,用于数据库中缺失数据的填补,以及用于计算校正统计量以检验模型。
2011-02-18 stat.ME
Analysis of Longitudinal Data with Missing Values in the Response and Covariates Using the Stochastic EM Algorithm
在纵向数据中,随时间或在不同条件下测量一组个体的响应变量。在许多情况下,所有预期的测量值都不可用,这导致缺失值。如果缺失值之后从未出现观察到的测量值,则会导致丢失模式。缺失值可能存在于响应变量、协变量或两者中。当缺失的概率取决于缺失值并且可能取决于观测值时,缺失机制被称为非随机的。在这种情况下,应在分析中考虑缺失值,以避免任何潜在偏倚。本文的目的是使用多重插补(MI)处理协变量中的缺失值。选择模型用于在存在非随机脱落的情况下对纵向数据进行建模。随机期望最大化算法(SEM)的发展,以获得模型参数估计除了估计的辍学模型。SEM算法不提供估计值的标准误。我们开发了一种蒙特卡罗方法来获得标准误。所提出的方法的性能进行评估,通过仿真研究。此外,所提出的方法被应用到一个真实的数据集。
2022-08-09 stat.ME
Handling incomplete outcomes and covariates in cluster-randomized trials: doubly-robust estimation, efficiency considerations, and sensitivity analysis
University of Michigan(密歇根大学);Yale School of Public Health(耶鲁公共卫生学院);Harvard Pilgrim Health Care Institute(哈佛皮尔格里姆健康护理研究所);Harvard Medical School(哈佛医学院);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
针对整群随机试验中各类缺失数据问题,提出一种双重稳健估计量以处理结局、协变量和整群规模缺失,并给出提升精度的策略与新的敏感性分析框架。
2025-11-05 stat.ME
Imputations for High Missing Rate Data in Covariates via Semi-supervised Learning Approach
数据收集技术的进步和数据资源的异质性可能会产生很高比例的变量观测值缺失,例如块级缺失数据。在缺失数据的情况下,传统的方法,如简单平均值,$k$ -最近邻,多重和回归插补可能会导致结果不稳定或无法计算。受半监督学习概念的启发(参见,例如,Zhu和Goldberg,2009年以及Chapelle等人,2010),我们提出了一种新的方法来填补缺失率高的协变量中的缺失值。具体而言,我们将任何协变量中的缺失和非缺失受试者分别视为未标记和标记的目标输出,并将其相应的响应视为未标记和标记的输入。这种创新的设置使我们能够估算大量的缺失数据,而无需强加任何模型假设。此外,所得插补对于连续协变量具有封闭形式,并且可以有效地计算。一个类似的程序适用于离散协变量。我们进一步采用非参数技术来显示插补协变量的理论性质。仿真研究和在线消费金融的例子来说明所提出的方法的实用性。
2022-05-15 stat.ME
Framework for the Treatment And Reporting of Missing data in Observational Studies: The TARMOS framework
缺失数据在医学研究中普遍存在。尽管关于如何处理缺失数据的指导越来越多,但实践变化缓慢,误解比比皆是,特别是在观察性研究中。我们提出了一个实用的框架来处理和报告观察性研究中不完整数据的分析,我们使用雅芳父母和孩子纵向研究的案例研究来说明。该框架包括三个步骤:1)制定分析计划,指定分析模型以及如何解决缺失数据。一个重要的考虑因素是完整的记录分析是否可能有效,多重插补或替代方法是否可能提供益处,以及是否需要关于缺失机制的敏感性分析。2)探索数据,检查分析计划中概述的方法是否适当,并进行预先计划的分析。3)报告结果,包括缺失数据的描述、如何解决缺失数据的详细信息,以及根据缺失数据和临床相关性解释的所有分析结果。该框架旨在支持研究人员系统地思考缺失数据,并透明地报告对研究结果的潜在影响。
2020-04-29 stat.ME
Missing at Random or Not: A Semiparametric Testing Approach
缺失数据的实际问题是常见的,并且已经开发了关于统计程序的有效性和/或效率的统计方法。作为一个中心焦点,人们对管理数据丢失的机制一直很感兴趣,正确决定适当的机制对于进行适当的实际调查至关重要。传统的概念包括三种常见的潜在类别--完全随机缺失、随机缺失和非随机缺失。本文提出了一种新的假设检验方法,用于判别随机缺失和非随机缺失。由于随机缺失的潜在替代方案是广泛的,我们集中我们的调查与工具变量的数据非随机缺失的一般类模型。我们的设置是广泛适用的,这要归功于关于缺失数据的模型是非参数的,不需要对数据缺失进行明确的模型规范。其基本思想是发展适当的差异措施之间的估计,其性质显着不同,只有当随机缺失不成立。我们表明,我们的新的假设检验方法实现了一个客观的数据导向的选择之间的随机缺失或没有。通过理论分析、仿真研究和实际数据分析,证明了新测试的可行性、有效性和有效性。
2020-03-25 econ.EM stat.ME
Ignorable and non-ignorable missing data in hidden Markov models
我们认为缺失数据的背景下,隐马尔可夫模型的重点是数据的情况下,非随机缺失(MNAR)和缺失依赖于身份的隐藏状态。在模拟中,我们表明,包括一个子模型的状态相关的缺失减少偏见时,数据是MNAR和状态相关的,而不降低准确性时,数据是随机缺失(MAR)。当缺失依赖于时间而不是隐藏状态时,只允许状态依赖的缺失的模型是有偏差的,而允许状态和时间依赖的缺失的模型则不是。总体而言,这些结果表明,建模缺失状态依赖,并包括其他相关的协变量,是一个有用的策略,在应用隐马尔可夫模型的时间序列与缺失数据。我们的结论与应用程序的状态和时间依赖的MNAR隐马尔可夫模型的一个真正的数据集,涉及严重程度的精神分裂症症状的临床试验。
2021-09-06 stat.AP stat.ME
Cumulative Logit Ordinal Regression with Proportional Odds under Nonignorable Missing Response -- Application to Phase III Trial
本文针对临床试验中不可忽略的有序响应缺失问题,提出基于期望最大化的比例优势累积Logit回归拟合算法,并通过模拟研究和III期银屑病试验验证其有效性。
2025-05-07 stat.AP stat.ME
Diagnosing missing always at random in multivariate data
用于分析具有缺失值的多变量数据集的模型需要强有力的、通常是不可评估的假设。其中最常见的是,产生缺失数据的机制是可验证的--这是一个依赖于推理模式的双重假设。第一部分是这里的重点,在贝叶斯和直接似然范式下,要求缺失数据是随机随机缺失的;相反,频率似然范式要求缺失数据机制总是产生随机随机缺失数据,这种情况称为总是随机缺失。在某些正则条件下,假设缺失总是随机的,导致可以单独使用观测数据进行检验的假设,即,缺失数据指标仅取决于完全观测的变量。在这里,我们提出了三种不同的诊断测试,不仅表明这种假设是不正确的,而且还表明哪些变量是最有可能的罪魁祸首。尽管在贝叶斯和直接似然范式下,总是随机缺失不是确保有效性的必要条件,但它已经足够了,违反随机缺失的证据应该鼓励细心的统计学家进行有针对性的敏感性分析。
2018-04-02 stat.AP stat.ME
$k$-POD: A Method for $k$-Means Clustering of Missing Data
$k$ -均值算法常用于聚类应用中,但其使用需要完整的数据矩阵。然而,缺失数据在许多应用中是常见的。聚类缺失数据的主流方法通过删除或插补将缺失数据问题减少到完整的数据公式化,但是这些解决方案可能产生显著的成本。我们的$k$ -POD方法提出了一个简单的扩展$k$ -均值聚类的缺失数据,即使当缺失机制是未知的,当外部信息不可用,当有显着的缺失数据。
2016-01-27 stat.CO stat.ME
An Investigation of Methods for Handling Missing Data with Penalized Regression
我们研究的方法,惩罚回归存在缺失的意见。本文介绍了一种补偿观测值缺失的参数估计方法。我们首先推导出目标函数关于缺失数据的无偏估计量,然后修改准则以确保凸性。最后,我们将我们的方法扩展到一个包含均值插补方法的模型家族。这些方法进行了比较,平均插补方法,最简单的方法之一,用于处理缺失观测问题,通过模拟。我们还研究了当测试集中有缺失值时进行预测的问题。
2013-10-08 stat.AP stat.ME
Multiple Imputation for Non-Monotone Missing Not at Random Binary Data using the No Self-Censoring Model
虽然当缺失模式是单调的时,处理纵向研究中缺失数据的方法已经发展得很好,但对于非单调缺失的方法却很少。此外,传统的随机随机缺失(MAR)假设--单调缺失的自然基准--没有模拟关于非单调缺失过程的现实信念(Robins和Gill,1997)。这为替代非单调非随机缺失(MNAR)机制提供了动力。“无自截尾”(NSC)模型就是这样一种机制,它假设当以所有其他可能缺失的结果变量及其缺失指标为条件时,结果变量缺失的概率与其值无关。作为一种替代“加权”的方法,成为计算要求越来越多的结果变量,我们提出了NSC下的多重插补方法。我们专注于二元结果的情况下,目前的模拟和渐近研究的结果,调查所提出的插补方法的性能。我们描述了一个相关的方法,敏感性分析偏离NSC。最后,我们讨论了MAR和NSC之间的关系,并证明了一个不是另一个的特殊情况。所提出的方法说明与应用程序的物质使用障碍的临床试验。
2023-02-24 stat.AP stat.ME
Review for Handling Missing Data with special missing mechanism
School of Information Technology, Deakin University(迪肯大学信息技术学院)
本文综述了MCAR、MAR和MNAR三种缺失机制下的缺失数据处理方法,重点比较现有方法对不同缺失机制和数据类型的处理能力,并指出研究空白与未来方向。
2024-04-07 cs.AI cs.LG stat.ME
Handling missing data when estimating causal effects with Targeted Maximum Likelihood Estimation
本文通过模拟研究评估了TMLE因果推断中八种缺失数据处理方法,发现包含交互项和非线性项的参数多重填补方法在多数情景下偏倚和方差表现最佳。
2024-05-03 stat.AP stat.ME
Comparing Missing Data Methods for Estimating Average Treatment Effects Under Time-Varying Confounding: A Simulation Study
School of Mathematics and Statistics, University of St Andrews(圣安德鲁斯大学数学与统计学院);School of Genetics and Cancer, University of Edinburgh(爱丁堡大学遗传学与癌症学院)
研究在时变混杂因素下估计平均治疗效果的缺失数据方法,通过模拟比较分层热卡插补、单模插补、MICE和完整病例分析等方法,发现性能受缺失机制等因素影响,多重插补表现较好,为相关研究提供参考。
2026-07-21 stat.AP stat.ME
variable selection and missing data imputation in categorical genomic data analysis by integrated ridge regression and random forest
全基因组关联研究(GWAS)所获得的基因组数据往往是大规模的,而且是不完整的。其不完备性的一种特殊形式是具有不可解释的缺失机制的缺失值。基因组数据的内在复杂性提出了显着的挑战,在开发一个公正的和翔实的程序表型-基因型关联分析的统计变量选择方法。在本文中,我们开发了一个连贯的分类表型-基因型关联分析的程序,在GWAS数据中的缺失值与不可解释的缺失机制的存在下,通过整合最先进的方法,随机森林的变量选择,加权岭回归与期望最大化算法的缺失数据填补,和线性统计假设检验确定缺失机制。两个模拟的GWAS被用来验证所提出的程序的性能。该程序,然后应用于分析一个真实的数据集,从乳腺癌GWAS。
2021-11-10 stat.AP stat.ME
Correcting for non-ignorable missingness in smoking trends
数据非随机缺失(MNAR)是调查抽样中的一个主要挑战。我们提出了一种基于登记数据的方法来处理健康检查调查中的不可识别的缺失。这一方法依赖于调查后几年行政登记册提供的后续数据。为了说明,我们使用芬兰国家FINRISK研究在1972年至1997年进行的吸烟流行率的数据。这些数据由测量的调查信息组成,包括缺失指标、基于登记的背景信息和基于登记的疾病生存时间数据。虽然原始调查数据是MNAR,但利用这些数据可以估计缺失机制的参数。底层数据生成过程由贝叶斯模型建模。结果表明,芬兰的估计吸烟流行率可能会受到缺失数据的显著影响。
2015-02-12 stat.AP stat.ME
Domain Adaptation Under MNAR Missingness
研究MNAR缺失偏移下的域适应问题,将其转化为插补问题并利用传统统计与深度学习方法开发新程序,可同时处理MNAR缺失与协变量偏移,在EHR数据上验证有效。
2025-04-01 stat.ME stat.ML
Weighted Parameter Estimators of the Generalized Extreme Value Distribution in the Presence of Missing Observations
针对极值分析中因极端事件设备故障导致的缺失数据引发估计偏差的问题,提出广义极值分布的加权最大似然与加权矩估计量,经模拟验证后应用于加拿大东海岸潮汐数据。
2025-08-03 stat.AP stat.ME
On missing label patterns in semi-supervised learning
我们研究基于模型的分类与部分标记的训练数据。在许多生物统计应用中,标签由专家手动分配,由于类别的不确定性,他们可能会留下一些未标记的观察结果。我们分析半监督学习作为一个缺失数据的问题,并确定的情况下,缺失的标签模式是不可识别的极大似然估计的目的。特别是,我们发现,分类难度和缺失的标签模式之间的关系意味着一个不可分割的缺失机制。我们检查了一些真实的数据集,并得出结论,丢失标签的模式与分类的难度有关。我们提出了一个联合建模策略,涉及观测数据和缺失标签机制,以解释系统性缺失标签。包含缺失标签机制的全似然推理可以提高参数估计的效率,提高分类精度。
2019-04-05 math.ST stat.ME stat.TH
Estimating Average Treatment Effects Utilizing Fractional Imputation when Confounders are Subject to Missingness
观测数据的缺失问题是普遍存在的。当混杂因素随机缺失时,通常使用多重插补;然而,该方法要求有效推断的一致性条件,在估计平均因果处理效应时可能无法满足。或者,Kim 2011年提出的分数插补已被用于处理回归背景下的缺失值。在这篇文章中,我们开发了部分插补方法来估计混杂因素随机随机缺失的平均处理效应。我们证明了平均处理效应的分数插补估计是渐近正态的,这使得方差估计是一致的。通过仿真研究,比较了分数填补和多重插补的准确度和精确度。
2020-07-08 stat.ME stat.OT
Calculating the Expected Value of Sample Information accounting for missing data
Human Technopole(人类技术枢纽);Department of Statistical Science, University College London(伦敦大学学院统计科学系);The Hospital for Sick Children(多伦多多病儿童医院);University of Toronto(多伦多大学)
研究在收集的额外证据存在缺失数据时计算样本信息期望值(EVSI)的方法,通过模拟数据、引入缺失机制、应用多重插补和非参数回归计算EVSI,应用于健康经济模型,发现校正缺失需更多样本量,或为现实研究样本量计算提供新技术。
2026-07-29 stat.AP stat.ME
not-MIWAE: Deep Generative Modelling with Missing not at Random Data
Technical University of Denmark(丹麦技术大学);Inria(法国国家信息与自动化研究所);Laboratoire J.A. Dieudonné(迪厄多内实验室)
当缺失的过程依赖于缺失值本身时,需要显式建模并在进行基于似然性的推理时将其考虑在内。我们提出了一种方法,用于建立和拟合深度潜变量模型(DLVM)的情况下,缺失的过程是依赖于缺失数据。具体来说,深度神经网络使我们能够灵活地对给定数据的缺失模式的条件分布进行建模。这允许将关于缺失类型的先验信息(例如,自删失)并入模型中。我们的推理技术,基于重要性加权变分推断,涉及最大限度地降低联合可能性。通过在隐空间和数据空间中使用重新参数化技巧,得到了该界的随机梯度。我们在各种数据集和缺失模式上显示,明确地对缺失过程进行建模是非常宝贵的。
2021-03-18 cs.LG stat.ME stat.ML
Joint Models for Handling Non-Ignorable Missing Data using Bayesian Additive Regression Trees: Application to Leaf Photosynthetic Traits Data
针对非随机缺失数据,本文提出两种基于 BART 的联合模型,灵活建模多变量结果与缺失机制,有效处理响应变量及协变量缺失,并在模拟和叶片光合性状数据中验证了其有效性。
2024-12-19 stat.AP stat.ME stat.ML
To adjust or not to adjust? Estimating the average treatment effect in randomized experiments with missing covariates
完全随机化允许基于结局平均值的差异对平均处理效应进行一致的估计,而无需对结局生成过程进行强有力的建模假设。适当使用预处理协变量可以进一步提高估计效率。然而,协变量中的缺失在实验中很常见,并提出了一个重要的问题:我们是否应该调整受缺失影响的协变量,如果是,如何调整?未调整的平均值差异始终是无偏的。如果至少有一个完全观察到的协变量可预测结局,则完全协变量分析调整了所有完全观察到的协变量,并提高了平均值差异的效率。那么,调整缺失协变量的额外收益是什么?一个关键的见解是,只要缺失不受治疗的影响,缺失指标就可以作为完全观察到的治疗前协变量,因此可以用于协变量调整,以提高估计效率。这促使将缺失指标添加到回归调整中,产生缺失指标方法作为缺失数据文献中众所周知但不那么流行的策略。我们推荐它是因为它的许多优点。我们还提出了修改的缺失指标的方法的基础上渐近和有限样本的考虑。为了调和缺失数据文献中相互矛盾的建议,我们分析和比较了基于设计的框架下分析随机实验缺失协变量的各种策略。该框架将随机化视为推断的基础,并且不对结果生成过程和缺失数据机制施加任何建模假设。
2021-07-31 math.ST stat.ME stat.TH
Missing Values Handling for Machine Learning Portfolios
本文研究了159个收益预测变量的缺失结构,发现用横截面均值简单插补优于复杂的期望最大化方法,因为缺失呈时间块状且横截面相关性低,复杂插补反而引入噪声导致机器学习投资组合表现下降。
2024-01-11 q-fin.GN stat.AP stat.ME
Fairness in Missing Data Imputation
University of Pennsylvania(宾夕法尼亚大学)
在大数据时代,缺失数据无处不在,如果处理不当,已知会导致有偏见的结果,并对数据驱动的决策产生有害影响。为了减轻其影响,许多缺失值估算方法已经开发出来。然而,这些估算方法在敏感群体中的公平性尚未得到研究。在本文中,我们进行了已知的第一个缺失数据填补的公平性研究。通过对三种常用数据集的插补方法的性能研究,证明了缺失值插补的不公平性普遍存在,且可能与多种因素有关。我们的研究结果表明,在实践中,对相关因素的仔细调查可以为减轻与缺失数据插补相关的不公平提供有价值的见解。
2021-10-22 cs.AI cs.LG stat.ME
Sequential identification of nonignorable missing data mechanisms
对于不可验证的缺失数据,似然推断应基于研究变量及其缺失指标的联合分布。这些联合模型不能单独从数据中估计,因此需要分析人员施加限制,使模型唯一地从观察数据的分布中获得。我们提出了一种方法,用于构建类的可识别的不可识别的缺失数据模型。主要思想是使用一系列精心设置的识别假设,从而为不同的变量块指定潜在的不同缺失机制。我们表明,该程序的结果在模型中所需的属性是非参数饱和。
2017-01-05 math.ST stat.ME stat.TH
Sparse spectral estimation with missing and corrupted measurements
缺失数据的监督学习方法已经得到了广泛的研究,这不仅仅是因为与低秩矩阵完成相关的技术。同样在无监督学习中,人们经常依赖于估算方法。事实上,缺失值会导致各种估计量(如样本协方差阵)的偏差。本文将稀疏子空间估计的一种凸方法推广到观测值丢失和损坏的情况。这是通过校正偏倚而不是插补缺失值来完成的。然后将估计量用作非凸过程的初始值,以提高整体统计性能。方法和理论框架适用于广泛的统计问题。其中包括稀疏主成分分析与不同类型的随机缺失数据和估计的特征向量的低秩矩阵与缺失值。最后,在合成数据上展示了统计性能。
2018-11-26 math.ST stat.ME stat.TH