Evaluation of multiple imputation to address intended and unintended missing data in case-cohort studies with a binary endpoint
病例-队列研究在队列研究中进行,其中暴露数据的收集仅限于队列的一个子集,导致大部分设计缺失数据。标准分析使用逆概率加权(IPW)来解决这种预期的缺失数据,但很少有研究表明,当存在非预期缺失时,如何最好地进行分析。多重插补(MI)已成为处理非预期缺失的默认标准,但与IPW结合使用时,插补模型需要考虑权重,以确保与分析模型的兼容性。或者,MI可用于处理预期和非预期缺失。虽然在一项具有至事件发生时间结局的病例队列研究中研究了单独MI方法的性能,但尚不清楚该方法如何处理二元结局。我们进行了一项模拟研究,以评估和比较的方法,仅使用MI,只有IPW,MI和IPW的组合,在这种情况下,处理预期和非预期的缺失的性能。我们还应用了一个案例研究的方法。我们的研究结果表明,当样本量较大时,组合方法对暴露效应的估计近似无偏,并且在样本量较小的情况下偏差最小,而仅MI或仅IPW在两种样本量设置中均表现出较大的偏差。这些结果表明,MI是处理二元结局病例队列研究中预期和非预期缺失数据的首选方法。
2022-10-20 stat.ME
Population-calibrated multiple imputation for a binary/categorical covariate in categorical regression models
多重插补(Multiple imputation,MI)是医学研究中常见的缺失数据分析方法。MI的标准实施基于数据随机随机缺失(MAR)的假设。然而,对于由非随机缺失(MNAR)机制生成的缺失数据,假设MAR可能不符合要求,进行MI。对于给定数据集中的不完全变量,其相应的总体边缘分布也可能在外部数据源中可用。我们展示了如何可以很容易地利用这些信息的插补模型来校准推断的人口,通过将适当计算的偏移称为“校准- $δ$调整”。我们描述了这个偏移量的推导不完全变量的总体分布,并展示了如何在应用程序中,它可以被用来密切(往往是完全)匹配后插补分布的人口水平。通过分析和仿真研究,我们证明了我们提出的校正- $δ$调整MI方法在数据为MAR时可以给出与标准MI相同的推断,并且在两种一般MNAR缺失机制下可以产生更准确的推断。该方法用于使用英国初级保健电子健康记录对2型糖尿病患病率病例研究中缺失的种族数据进行插补,与标准MI相比,该方法导致非白人种族群体推断的科学相关变化。经校准的$δ$调整MI代表了一种实用方法,用于在敏感性分析中利用可用的人群水平信息,以探索MAR假设的潜在偏离。
2018-05-04 stat.ME
gcimpute: A Package for Missing Data Imputation
本文介绍了用于缺失数据填补的Python包gcimpute。gcimpute可以通过将数据建模为高斯copula模型中的样本,用许多不同的变量类型(包括连续、二进制、有序、计数和截断值)来插补缺失数据。该半参数模型学习每个变量的边缘分布以匹配经验分布,但用联合高斯描述变量之间的相互作用,从而实现快速推断、置信区间插补和多重插补。该软件包还提供了专门的扩展来处理大型数据集(复杂性与观测数量成线性关系)和流数据集(具有在线插补)。本文描述了基本的方法,并演示了如何使用该软件包。
2022-03-09 stat.ME
Semiparametric imputation using latent sparse conditional Gaussian mixtures for multivariate mixed outcomes
本文提出了一种灵活的贝叶斯方法,多重插补使用条件高斯混合。我们引入了新的收缩先验的协变量依赖的混合比例的混合模型,自动选择合适的数量的组件中使用的插补步骤。我们通过马尔可夫链蒙特卡罗方法开发了一种用于后验计算和多重插补的高效采样算法。所提出的方法可以很容易地扩展到的情况下,数据不仅包含连续变量,但也离散变量,如二进制和计数值。我们还提出了近似贝叶斯推断的损失函数定义的参数的基础上的后验预测分布的缺失观测,通过扩展基于Bootstrap的贝叶斯推断的完整数据。所提出的方法是通过模拟和真实数据的数值研究证明。
2022-08-16 stat.ME
Remiod: Reference-based Controlled Multiple Imputation of Longitudinal Binary and Ordinal Outcomes with non-ignorable missingness
在临床研究中,反应变量的缺失数据很常见。与缺失机制的不确定性相对应,控制性插补的理论框架已经形成。在实践中,建议在主要假设下对缺失数据进行统计学有效性分析,然后在替代假设下进行敏感性分析,以评估结果的稳健性。由于软件的可用性,受控多重插补(MI)程序,包括基于增量和基于参考的方法,已成为流行的分析连续变量下的缺失非随机假设。然而,类似的工具仍然限制了这些方法对分类数据的应用。在本文中,我们介绍了R包\textbf{remiod},它利用贝叶斯框架进行插补的回归模型的二进制和有序的结果。在概述理论背景之后,描述了\textbf{remiod}的用法和特征,并使用示例进行了说明。
2022-03-05 stat.AP stat.CO stat.ME
Handling missing values in cost-effectiveness analyses that use data from cluster randomised trials
公共政策制定者使用成本效益分析(CEA)来决定提供哪些卫生和社会保健干预措施。尚未开发出在复杂环境中处理缺失数据的适当方法,例如使用来自整群随机试验(CRT)的数据的CEA。我们提出了一个多层次的多重插补(MI)的方法,识别时,缺失数据有一个层次结构,是兼容的双变量多层次模型用于报告成本效益。我们将多节段MI方法与单节段MI进行对比,并在CEA和CRT中进行完整的病例分析。本文强调了采用原则性方法处理复杂数据结构设置中的缺失值的重要性。
2012-06-26 stat.AP stat.ME
A monotone data augmentation algorithm for multivariate nonnormal data: with applications to controlled imputations for longitudinal trials
提出了一种有效的单调数据增广(MDA)算法,用于不完全多元非正态数据的缺失数据填补,这些数据可能包含不同类型的变量,并由一系列回归模型建模,包括线性、二项logistic、多项logistic、比例优势、泊松、负二项、偏正态、偏t回归或这些模型的混合。MDA算法应用于纵向试验的敏感性分析,该分析使用受控模式插补,假设在实验组受试者停止治疗后,处理效应降低或消失。我们还描述了一种启发式的方法来实现控制插补,其中完全条件规范方法被用来插补中间的缺失数据,以创建一个单调的缺失模式,和缺失数据后,辍学,然后根据假设的不可插补机制。通过仿真和实际数据分析说明了所提出的方法。
2018-11-20 stat.ME
Multiple Imputation for Non-Monotone Missing Not at Random Binary Data using the No Self-Censoring Model
虽然当缺失模式是单调的时,处理纵向研究中缺失数据的方法已经发展得很好,但对于非单调缺失的方法却很少。此外,传统的随机随机缺失(MAR)假设--单调缺失的自然基准--没有模拟关于非单调缺失过程的现实信念(Robins和Gill,1997)。这为替代非单调非随机缺失(MNAR)机制提供了动力。“无自截尾”(NSC)模型就是这样一种机制,它假设当以所有其他可能缺失的结果变量及其缺失指标为条件时,结果变量缺失的概率与其值无关。作为一种替代“加权”的方法,成为计算要求越来越多的结果变量,我们提出了NSC下的多重插补方法。我们专注于二元结果的情况下,目前的模拟和渐近研究的结果,调查所提出的插补方法的性能。我们描述了一个相关的方法,敏感性分析偏离NSC。最后,我们讨论了MAR和NSC之间的关系,并证明了一个不是另一个的特殊情况。所提出的方法说明与应用程序的物质使用障碍的临床试验。
2023-02-24 stat.AP stat.ME
A flexible and efficient algorithm for joint imputation of general data
用一般结构估算数据(例如,具有连续、二元、无序分类和有序变量的数据)通常使用完全条件规范(FCS)而不是联合建模来执行。FCS的一个关键缺点是它没有调用适当的数据增强机制,因此不能保证所得到的马尔可夫链蒙特卡罗过程的收敛。使用联合建模的方法没有这些缺点,但尚未在一般结构的数据中有效地实现。我们解决这些问题,通过开发一种新的方法,所谓的GERBIL算法,从一个潜在的联合多变量正态模型,支持一般结构化的数据绘制插补。该模型使用一系列灵活的条件线性模型来构建,使得所得到的过程能够在实践中有效地在高维数据集上实现。仿真结果表明,GERBIL表现良好,相比那些利用FCS。此外,新方法是计算效率相对于现有的FCS程序。
2021-08-10 stat.ME
Local average treatment effects estimation via substantive model compatible multiple imputation
不依从分配的治疗在随机对照试验(RCT)中很常见。最近,人们对估计所接受治疗的因果效应,例如所谓的局部平均处理效应(LATE)越来越感兴趣。工具变量(IV)方法可用于识别,通过全参数混合模型或两阶段最小二乘法(TSLS)进行估计。TSLS是流行的,但可能是有问题的二元结果,其中感兴趣的被估量是因果比值比。混合模型在实践中很少使用,也许是因为它们的复杂性和对专业软件的需求。在这里,我们建议使用多重插补(MI)来插补混合模型中出现的潜在顺应类。由于此类模型包括依从性类别和随机化治疗之间的相互作用项,因此在通过极大似然将混合模型拟合到MI数据集并通过Rubin规则组合结果之前,我们使用“实质性模型兼容”MI(SMC MIC),它也可以解决其他缺失数据。我们使用模拟SMC MIC的性能进行比较,现有的方法,并通过重新分析在英国初级卫生RCT的方法。我们表明,SMC MIC可以更有效地比全贝叶斯估计时,辅助变量,并优于两阶段的方法,特别是对二进制的结果。
2018-12-04 stat.ME
On the estimation of the median odds ratio for measuring contextual effects in multilevel binary data from complex survey designs
Institute of Statistical Research and Training(统计研究与培训中心);University of Dhaka(达卡大学)
针对多水平二值数据,提出基于Delta方法的中位数比值比(MOR)区间估计,适用于两水平和三水平模型,模拟显示中到大样本下偏差小且覆盖概率满意。
2026-06-16 stat.ME
Propensity score analysis with partially observed confounders: how should multiple imputation be used?
治疗加权逆概率(IPTW)是一种流行的基于倾向得分(PS)的方法,用于估计存在混杂偏倚风险的观察性研究中的因果效应。估计PS时的一个主要问题是存在部分观察到的协变量。多重插补(MI)是处理协变量缺失数据的自然方法,但其在PS背景下的使用提出了三个重要问题:(i)我们应该将鲁宾规则应用于IPTW处理效应估计还是PS估计本身?(ii)结果是否必须包括在插补模型中?(iii)在MI之后,我们应该如何估计IPTW估计量的方差?我们进行了一项模拟研究,重点是二元治疗对二元结局的影响,有三个混杂因素(其中两个部分观察)。我们使用MI和链式方程创建完整的数据集,并比较了三种组合结果的方法:组合处理效应估计值(MIte);组合插补数据集的PS(MIps);或组合PS参数并估计插补数据集平均协变量的PS(MIpar)。我们还比较了这些方法的性能完整的情况下(CC)分析和缺失模式(MP)的方法,使用不同的PS模型的每种模式的缺失。我们还实证研究了这3个MI估计的一致性。在随机缺失(MAR)机制下,CC和MP分析在估计边际处理效应时在大多数情况下存在偏倚,而MI方法在减少偏倚方面表现良好,只要结局纳入插补模型。然而,只有MIte是无偏的,在所有的研究方案和鲁宾的规则提供了良好的方差估计MIte。
2016-08-19 stat.ME
Variable selection via knockoffs in missing data settings with categorical predictors
University of Florence(佛罗伦萨大学)
本文提出在缺失数据情况下使用敲击法进行变量选择,通过多重插补和敲击过滤器评估方法,应用于意大利学生评估数据,处理无序类别和缺失值问题。
2025-08-08 stat.ME
Joint Multiple Imputation of Node Attributes and Network Ties in R
本文介绍R包netimpute,其通过链式方程例程netmice()联合插补社会网络中缺失的节点属性与网络连边,支持多种网络类型及相关高级功能。
2026-08-07 stat.ME
Using off-treatment sequential multiple imputation for binary outcomes to address intercurrent events handled by a treatment policy strategy
本文针对治疗策略策略下二分类终点的伴发事件与数据缺失问题,提出并比较多种取回脱落多重填补模型,发现含伴发事件指示变量的简单模型最实用,但需至少50%的伴发事件后观测数据支持。
2025-07-18 stat.AP stat.ME
Monotone data augmentation algorithm for longitudinal continuous, binary and ordinal outcomes: a unifying approach
本文提出了一种统一的单调数据增强算法,用于纵向连续、二元和有序结果的缺失数据填补,结合多变量伯努利模型和参数扩展策略,改进了马尔可夫链收敛效率,并评估了不同先验对参数估计的影响。
2026-10-06 stat.ME
Multiple imputation in Cox regression when there are time-varying effects of exposures
在Cox回归中,研究暴露的时变效应(TVE)和检验比例风险假设有时很有意义。TVE可通过将对数风险比建模为时间函数进行研究。缺失暴露数据很常见,多重插补(MI)是处理这一问题的常用方法,以避免“完整病例”分析导致的潜在偏倚和效率损失。当实质性模型是Cox比例风险回归时,已经提出了两种MI方法:近似方法(White和Royston,Statist. 2009;28:1982-98)和实质模型相容方法(Bartlett等人,SMMR 2015;24:462-87)。目前,这两种方法都不适用于暴露的TVE。我们扩展他们这样做的一般形式的TVE,并给出具体的细节TVE建模使用限制三次样条。模拟研究评估的性能的方法下,几个基本的形状TVE。我们提出的方法给出了近似无偏的TVE估计的二进制曝光与缺失数据,但连续曝光的实质模型兼容的方法表现得更好。该方法还给出了近似正确的第一类错误在测试中的比例风险时,没有TVE,并获得功率检测TVE相对于完整的情况下分析。在插补阶段忽略TVE会导致TVE估计值偏倚、不正确的第一类错误和检测TVE的功效大幅损失。我们还提出了一个多变量TVE模型选择算法。该方法说明使用鹿特丹乳腺癌研究的数据。提供了示例R代码。
2017-06-28 stat.ME
Variational Bayesian Multiple Imputation in High-Dimensional Regression Models With Missing Responses
针对高维聚类数据多重插补的计算负担,基于线性混合效应模型与变分贝叶斯推断,结合spike-and-slab先验开发逐变量插补算法,并扩展至分类变量,有效提升了不完整数据的插补与推断性能。
2025-04-06 stat.AP stat.ME
Evaluation of approaches for accommodating interactions and non-linear terms in multiple imputation of incomplete three-level data
在健康研究中,对聚集在较大单位内的个体进行重复测量而产生的三级数据结构是常见的。缺失数据在此类研究中很突出,通常通过多重插补(MI)进行处理。虽然可以使用几种多元智能方法来解释三级结构,包括对单级和二级方法的调整,但当实质性分析模型包括相互作用或二次效应时,这些也需要在估算模型中考虑。在这样的分析中,实质性模型兼容(SMC)MI在单级数据的背景下表现出很大的希望。虽然有最近的事态发展,多层次SMC MI,迄今为止,只有一种方法,明确处理不完整的三级数据。或者,研究人员可以使用务实的适应单和两个层次的MI方法,或两个层次的SMC-MI方法。我们描述了可用的方法,并通过模拟的三个三水平的随机效应分析模型,涉及不完全的随时间变化的曝光和时间之间的相互作用,随时间变化的曝光和不完全的时间固定的混杂因素之间的相互作用,或曝光的二次效应的上下文中评估它们。结果表明,当目标分析涉及与时间的相互作用时,所有考虑的方法在偏倚和精密度方面表现良好,但当目标分析涉及时变暴露与不完全时间固定混杂因素或暴露的二次效应之间的相互作用时,三水平SMC MI方法表现最佳。我们说明的方法使用的数据从童年到青春期的过渡研究。
2020-10-30 stat.AP stat.ME stat.OT
Methods and Software for the Multilevel Social Relations Model: A Tutorial
本教程演示了二元数据的多级社会关系模型的估计和解释。社会关系模型适用于数据结构,其中个人多次出现作为二元结果的来源和接受者。使用Stat-JR统计软件进行估计,模型适合多种结果类型:连续、计数和二元结果。此外,模型演示了从一个单一的组和多个组的二元数据。通过一系列案例研究说明了建模方法,并提供了用于复制这些分析的数据和软件作为补充文件。
2019-07-22 stat.AP stat.ME
Model-based standardization using multiple imputation
提出基于多重插补的模型标准化方法(MIM),通过生成合成数据集并利用贝叶斯框架传播不确定性,在广义线性模型下实现边际治疗效应的无偏估计。
2024-01-06 stat.ME
Generalized Integrative Principal Component Analysis for Multi-Type Data with Block-Wise Missing Structure
高维多源数据在很多领域都是经常遇到的。尽管最近在这种数据的综合降维方面取得了进展,但大多数现有方法不能容易地适应多种类型的数据(例如,二进制或计数值)。此外,多源数据通常具有分块缺失结构,即,对于样本,一个或多个源中的数据可能是完全不可观测的。异构数据类型和块级缺失数据的存在对多源数据的集成和进一步的统计分析提出了重大挑战。在本文中,我们开发了一种低秩的方法,称为广义综合主成分分析(GIPCA),同时降维和填补多源块式缺失数据,其中不同的来源可能有不同的数据类型。我们还设计了一个自适应的BIC标准的秩估计。综合仿真研究表明,所提出的方法在秩估计,信号恢复,和缺失数据填补的有效性。我们将GIPCA应用于死亡率研究。我们实现了准确的块式缺失数据插补,并确定了有趣的潜在死亡率模式与社会学的相关性。
2018-08-07 stat.ME
Calibration of prediction rules for life-time outcomes using prognostic Cox regression survival models and multiple imputations to account for missing predictor data with cross-validatory assessment
Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们扩大了方法,在Mertens等。al(2020,Biometrical Journal)的研究,该研究受删失的影响,并且当插补用于解释缺失值时。我们考虑的问题,缺失值可能会发生在校准数据以及新的预测观测(验证)。我们关注的是考克斯模型。描述了在删失的生存建模中将插补与预测校准相结合的方法。交叉验证的应用进行了讨论。我们展示了结论如何广泛地证实了第一篇仅限于二元结果研究的论文。具体来说,预测平均似乎具有优越的统计特性,特别是较小的预测变化,而不是直接应用鲁宾的规则。当使用鲁宾的基于规则的方法时,讨论了处理基线危险的不同方法。
2021-05-04 cs.LG stat.AP stat.ME
MIWAE: Deep Generative Modelling and Imputation of Incomplete Data
IT University of Copenhagen(哥本哈根信息技术大学)
本文研究了深层潜变量模型处理缺失数据的问题。首先,我们提出了一个简单的技术,训练DLVM时,训练集包含随机丢失的数据。我们的方法,称为MIWAE,是基于重要性加权自动编码器(IWAE),并最大限度地提高了一个潜在的紧密的下限的对数似然观测数据。与原IWAE算法相比,我们的算法不会因缺失数据而引起任何额外的计算开销。我们还开发了蒙特卡罗技术,使用DLVM训练的不完整的数据集上的单重和多重插补。我们通过在包含50%缺失像素的MNIST静态二进制化上训练卷积DLVM来说明我们的方法。利用多重插补,在这些不完整数字上训练的卷积网络具有与在完整数据上训练的卷积网络相似的测试性能。在各种连续和二进制数据集上,我们还表明MIWAE提供了准确的单插补,并且与最先进的方法相比具有很强的竞争力。
2019-02-04 cs.LG stat.ME stat.ML
Generalized Multilevel Functional Principal Component Analysis with Application to NHANES Active Inactive Patterns
本研究提出广义多水平函数主成分分析(GM-FPCA),用于分析NHANES腕戴加速度计数据中的分钟级活跃指标,识别个体内和个体间的变异模式,发现特定活动模式与死亡风险相关,并通过模拟验证其准确性和可扩展性。
2025-03-29 stat.AP stat.ME
Multiple imputation for logistic regression models: incorporating an interaction
背景:当存在缺失数据时,多重插补常用于减少偏倚和提高效率。最合适的插补方法取决于分析师有兴趣拟合的模型。当该模型是具有包含二进制部分观察变量的交互作用项的逻辑斯谛回归模型时,已经提出了几种插补方法;但是,尚不清楚在某些参数设置下哪种方法表现最好。研究方法:使用1000个模拟,每个10,000个观察,在六个数据生成机制(DGM)下,我们研究了四种方法的性能:(i)“被动估算”,(ii)“只是另一个变量”(JAV),(iii)“分层估算附加”(SIA),和(iv)“实质模型兼容的完全条件说明”(SMCFCS)。每种方法的应用程序显示在一个经验的例子,使用基于英格兰的癌症登记数据。结果:SMCFCS和SIA显示了完全和部分观察变量和相互作用项的系数的最小偏倚估计。SMCFCS和SIA显示了良好的覆盖率和较低的相对误差为所有DGMs。SMCFCS有一个很大的偏差时,有一个充分观察到的变量在相互作用的患病率低。SIA表现不佳时,充分观察到的变量的相互作用有一个连续的基础形式。结论:SMCFCS和SIA对含有交互作用项的逻辑斯谛回归模型在数据随机缺失时给出了一致的估计,并且可以用于大多数分析。SMCFCS表现优于SIA时,充分观察到的变量的相互作用有一个潜在的连续形式。研究人员在使用SMCFCS时应谨慎,当相互作用中完全观察到的变量的患病率较低时。
2022-11-26 stat.AP stat.ME stat.OT
Missing binary outcomes under covariate dependent missingness in cluster randomised trials
结果缺失是整群随机试验中经常出现的问题,如果忽略或处理不当,可能导致偏倚和低效的推断。分析这类试验的两种方法是聚类水平分析和个体水平分析。在这项研究中,我们评估了未调整的聚类水平分析,基线协变量调整的聚类水平分析,随机效应逻辑斯谛回归(RELR)和广义估计方程(GEE)的性能时,在基线协变量依赖的缺失机制下的二元结果缺失。使用完整记录分析(CRA)和多水平多重插补(MMI)处理缺失结局。我们分析表明,使用完整记录估计风险比(RR)的聚类水平分析是有效的,如果真实的数据生成模型具有日志链接和干预组具有相同的缺失机制和相同的协变量效应的结果模型。我们进行了一项模拟研究,考虑了四种不同的情况,这取决于干预组之间的缺失机制是相同还是不同,以及干预组与结局模型中的基线协变量之间是否存在相互作用。基于仿真研究和分析结果,我们给出了指导的条件下,每种方法是有效的。
2016-08-18 stat.ME
Statistical Inference for Regression with Imputed Binary Covariates with Application to Emotion Recognition
针对直播情绪研究中完整情绪标注成本高的问题,提出结合辅助特征与小型试点样本的二元协变量插补方法及统计推断流程,经模拟和真实数据验证,该方法比仅用试点数据标准误更小、统计效率更高。
2024-08-19 stat.AP stat.ME
Variance partitioning in multilevel models for count data
将多水平模型拟合到连续响应时的第一步是探索数据中的聚类程度。研究人员拟合方差分量模型,然后报告由于集群之间的系统差异而导致的响应变化的比例。同样,它们报告集群内单元之间的响应相关性。这些统计量通常被称为方差分配系数(VPC)和组内相关系数(ICC)。当将多水平模型拟合到分类(二元、有序或名义型)响应和计数响应时,这些统计量的计算更具挑战性。对于分类反应模型,研究人员呼吁他们的潜在反应配方和报告VPC/ICC的潜在连续反应设想的基础上观察到的分类反应。然而,对于标准计数响应模型,没有相应的潜伏响应公式。更一般地说,缺乏关于如何划分变异的指导。因此,应用研究者可能会避免或不充分的报告和讨论集群和集群效应在他们的研究中的实质性重要性。最近的一篇文章引起了人们对两水平随机截距泊松模型特殊情况下VPC/ICC的一个鲜为人知的精确代数表达式的注意。在这篇文章中,我们做出了重大的新贡献。首先,我们推导出更灵活的负二项模型的精确VPC/ICC表达式,该模型允许过度分散,这种现象在实践中经常发生。然后,我们推导出确切的VPC/ICC表达式的三个级别和随机系数扩展这些模型。我们说明我们的工作与学生缺勤的应用。
2020-02-13 stat.AP stat.ME
A Comparison of Modeling Preprocessing Techniques
本文比较了各种数据处理方法在结构化数据预测性能方面的性能。本文还试图识别和推荐基于树的二进制分类模型的预处理方法,重点是极端梯度提升(XGBoost)模型。构建了三个不同结构,相互作用和复杂性的数据集,并由Lending Club的真实数据集进行补充。我们比较了几种方法的特征选择,分类处理,和空插补。使用所选方法之间的相对比较评估性能,包括模型预测变异性。本文提出了三组预处理方法,每一节由广义观测。每项意见都附有一项或多项首选方法的建议。在特征选择方法中,不推荐基于置换的特征重要性、正则化和XGBoost的权重特征重要性。相关系数降低也显示出较差的性能。相反,XGBoost的重要性增益显示了最高的一致性和最高的性能。分类特征编码方法在数据集结构之间的性能表现出更大的区别。虽然没有通用的“最佳”方法,但频率编码对于最复杂的数据集(Lending Club)表现出最好的性能,但对于所有合成(即,更简单的)数据集。最后,缺失指标插补占主导地位的插补方法之间的性能,而树插补表现出极差和高度可变的模型性能。
2023-02-24 stat.ME stat.ML
Comparing Missing Data Methods for Estimating Average Treatment Effects Under Time-Varying Confounding: A Simulation Study
School of Mathematics and Statistics, University of St Andrews(圣安德鲁斯大学数学与统计学院);School of Genetics and Cancer, University of Edinburgh(爱丁堡大学遗传学与癌症学院)
研究在时变混杂因素下估计平均治疗效果的缺失数据方法,通过模拟比较分层热卡插补、单模插补、MICE和完整病例分析等方法,发现性能受缺失机制等因素影响,多重插补表现较好,为相关研究提供参考。
2026-07-21 stat.AP stat.ME
Assessing treatment effect heterogeneity in the presence of missing effect modifier data in cluster-randomized trials
本文通过模拟和真实数据比较整群随机试验中效应修饰因子缺失时的多种处理方法,发现多水平多重插补和贝叶斯MMI表现更优,且贝叶斯MMI在模型设定或兼容性问题下偏倚更低、覆盖率更接近名义水平。
2023-12-01 stat.ME
A flexible sensitivity analysis approach for unmeasured confounding with multiple treatments and a binary outcome with application to SEER-Medicare lung cancer data
在没有随机化实验的情况下,得出关于处理效应的因果推断的关键假设是可验证的处理分配。违反可验证性假设可能导致处理效应估计值出现偏倚。敏感性分析有助于衡量因果结论将如何改变,以响应偏离可解释性假设的潜在幅度。然而,在多种治疗和二元结果的背景下,针对未测量混杂因素的敏感性分析方法却很少见。我们提出了一个灵活的蒙特卡罗敏感性分析方法的因果推断在这样的设置。我们首先推导出一般形式的偏差引入未测量的混杂,强调理论特性独特的多个治疗相关。然后,我们提出了方法来编码的影响,未测量的混杂因素对潜在的结果和调整估计的因果关系,其中假定的未测量的混杂因素被删除。我们提出的方法嵌入嵌套的多重插补贝叶斯框架内,允许无缝集成的灵敏度参数和采样变异性的值的不确定性,以及使用贝叶斯加性回归树建模的灵活性。扩展模拟验证了我们的方法,并深入了解敏感性分析与多种治疗。我们使用SEER-医疗保险数据来证明敏感性分析,使用三种治疗方法治疗早期非小细胞肺癌。在这项工作中开发的方法在R软件包SAMTx中很容易获得。
2021-08-13 stat.ME
A Total Statistical Error Framework for Comparing Census Data Collection Methods
Tam Data Advisory Pty Ltd(Tam数据咨询有限公司);Methodology and Data Science Division, Australian Bureau of Statistics(澳大利亚统计局方法学与数据科学司)
该研究构建了总统计误差框架,区分两种评估范式,利用2021年澳大利亚普查数据对比k近邻与随机森林插补,发现加入普查无应答指标可大幅校正依赖型无应答导致的偏差,为人口普查数据收集方法比较提供了工具。
2026-08-04 stat.ME
Nonresponse Bias Analysis in Longitudinal Studies: A Comparative Review with an Application to the Early Childhood Longitudinal Study
该研究比较了纵向研究中针对单调缺失模式的多种无应答偏差分析方法,结合ECLS-K:2011数据开展应用与敏感性分析,发现其对结论影响较小,指出成功的关键是纳入强预测变量。
2024-01-29 stat.AP stat.ME
Analysis of an Incomplete Binary Outcome Dichotomized From an Underlying Continuous Variable in Clinical Trials
在许多临床试验中,关注的结局包括二值终点。在临床感兴趣的阈值处,二值结果从连续结果中二分并不罕见。为了达到这一目标,常用的方法包括:(a)将广义线性混合模型(GLMM)拟合到二分的纵向二进制结果;(b)插补方法(MI):将连续结果中的缺失值插补,将其二分为二进制结果,然后将广义线性模型拟合为“完整”数据。我们进行了全面的模拟研究,以比较GLMM与MI在估计研究结束时两个治疗组之间的风险差异和比值比对数方面的性能。在这些模拟研究中,我们考虑了连续结果的一系列多元分布选项(包括多元正态分布、多元t分布、多元对数正态分布和来自真实临床试验数据的经验分布),以评估估计值对各种数据生成模型的稳健性。仿真结果表明,这两种方法都能很好地工作在这些考虑的分布选项,但MI是更有效的小均方误差相比,GLMM。我们进一步将GLMM和MI应用于29项3期糖尿病临床试验,发现MI方法通常导致比GLMM更小的方差估计。
2021-08-04 stat.AP stat.ME
Robust Emax Model Fitting: Addressing Nonignorable Missing Binary Outcome in Dose-Response Analysis
University of California, Davis(加州大学戴维斯分校);Pfizer Inc.(辉瑞公司)
本文提出了一种基于惩罚似然的方法,用于解决剂量反应分析中非忽略缺失二元结局问题,通过整合修改的期望-最大化算法和非信息性先验,减少参数估计偏倚并提升模型性能。
2024-09-30 stat.AP stat.ME
Efficient Estimation and Evaluation of Prediction Rules in Semi-Supervised Settings under Stratified Sampling
University of Toronto(多伦多大学);Harvard University(哈佛大学);Stanford University(斯坦福大学)
在许多当代应用中,大量的未标记的数据是现成的,而标记的例子是有限的。半监督学习(SSL)的目的是利用未标记的数据来改善估计或预测。然而,目前的SSL文献主要集中在标记数据是从感兴趣的人群中随机选择的设置。非随机抽样虽然带来了额外的分析挑战,但非常适用于许多现实世界的问题。此外,目前还没有SSL方法用于估计非随机抽样下拟合模型的预测性能。在本文中,我们提出了一个两步SSL程序来评估的预测规则来自一个工作的二元回归模型的基础上的Brier得分和整体误分类率下分层抽样。在步骤I中,我们通过非线性基函数的加权回归来估算缺失的标签,以考虑非随机采样并提高效率。在第二步中,我们增加初始插补,以确保所得估计量的一致性,无论预测模型或插补模型的规格如何。最后的估计,然后获得增广插补。我们提供的渐近理论和数值研究表明,我们的建议优于他们的监督同行的效率增益。我们的方法的动机是电子健康记录(EHR)的研究和验证的真实数据分析的EHR为基础的研究糖尿病神经病变。
2021-09-25 cs.LG stat.ME stat.ML
Covariate Adjustment in Randomized Clinical Trials with Missing Covariate and Outcome Data
本文针对随机临床试验中的缺失数据问题,回顾并提出了结合逆概率加权与重叠加权的协变量调整方法,强调交互项的重要性,通过模拟和实际试验证明其能提高处理效应估计精度。
2023-05-17 stat.ME
Efficiency gain in association studies based on population surveys by augmenting outcome data from the target population
本研究提出将调查样本与目标人群大样本合并分析,以提升关联研究效率,并评估二元及时间至事件结局下的偏倚与增益,结果显示MI方法在二元结局中有效,而CCA在时间至事件结局中更优。
2024-09-20 stat.ME
Variable selection with multiply-imputed datasets: choosing between stacked and grouped methods
当需要同时进行回归系数估计和变量选择时,在许多生物医学应用中使用惩罚回归方法,例如套索和弹性网。然而,缺失数据使这些方法的实施复杂化,特别是当使用多重插补处理缺失时。在每个估算数据集上应用变量选择算法可能会导致不同的选定预测因子集,从而难以在不诉诸特定组合规则的情况下确定最终的活动集。在本文中,我们考虑了一般类的惩罚目标函数,通过建设,强制选择相同的变量在多重插补数据集。通过合并插补之间的目标函数,然后在所有插补数据集上联合进行优化,而不是单独针对每个数据集进行优化。我们考虑两个目标函数公式,存在于文献中,我们将称为“堆叠”和“分组”的目标函数。在现有工作的基础上,我们(a)推导并实现了连续和二进制结果数据的有效循环坐标下降和优化最小化优化算法,(b)采用自适应收缩惩罚,(c)通过模拟比较这些方法,以及(d)开发一个R包miselect以便于实现。仿真结果表明,“堆叠”的目标函数的方法往往是更有效的计算,并有更好的估计和选择属性。我们将这些方法应用于密歇根大学ALS患者库(UMAPR)的数据,该数据旨在确定持久性有机污染物与ALS风险之间的关联。
2020-03-16 stat.AP stat.CO stat.ME
A new method for clustered survival data]{A new method for clustered survival data: Estimation of treatment effect heterogeneity and variable selection
本文提出利用 riAFT-BART 方法解决成组删失生存数据中的治疗效应异质性估计和变量选择问题,并通过置换法与自助法插值处理变量选择和缺失数据,最终以 COVID-19 案例验证方法有效性。
2023-08-11 stat.AP stat.ME
Regression and Dimension Reduction for Multivariate Mixed-Type Data via Semiparametric Gaussian Copula
Texas A&M University(德克萨斯农工大学);Johns Hopkins Bloomberg School of Public Health(约翰霍普金斯布隆伯格公共卫生学院)
本文提出基于半参数高斯协同体的回归、主成分分析和主成分回归方法,用于处理多元混合类型数据,通过建立新的桥梁结果和高效算法,实现对缺失数据的预测与填补,应用于研究5年死亡率与61项衰弱相关指标的关系。
2026-03-17 stat.AP stat.ME