Multistage Estimators for Missing Covariates and Incomplete Outcomes
我们研究多个缺失的协变量和部分观察到的反应的问题。我们开发了一个新的框架来处理复杂的缺失协变量的情况下,通过逆概率加权,回归调整,和一个乘法稳健的程序。我们将我们的框架应用于三个经典问题:来自生存分析的Cox模型、缺失响应和来自因果推断的二元处理。我们还讨论了如何处理这些情况下缺失的协变量,并开发相关的识别理论和渐近理论。我们将我们的程序应用于模拟和阿尔茨海默病数据集,并获得有意义的结果。
2021-11-03 stat.ME
Missing continuous outcomes under covariate dependent missingness in cluster randomised trials
在整群随机试验(CRT)中,常发生Atomic,导致结局数据缺失。分析这类试验的两种方法是聚类水平分析和个体水平分析。本文比较了未调整聚类水平分析、基线协变量调整聚类水平分析和线性混合模型(LMM)分析在基线协变量依赖缺失(CDM)下的偏倚、平均估计标准误和覆盖概率。采用完全病例分析(CCA)和多重插补(MI)方法处理缺失的结果数据。根据两个干预组中缺失机制和协变量对结果的影响是否相同或不同,考虑了四种可能的情况。我们发现,未经调整的聚类水平分析和基线协变量调整聚类水平分析,只有当两个干预组有相同的缺失机制和相同的协变量效应,这是可以说是不太可能在实践中举行的干预效果的无偏估计。LMM和MI在所有四种考虑的情景下给出了无偏估计,前提是当两个干预组的协变量效应不同时,模型中包含干预指标和协变量的相互作用。MI略微高估了平均标准误,导致功效降低。
2016-03-14 stat.ME
Assumption-lean logistic regression with missing covariates
Georgia Institute of Technology(佐治亚理工学院);University of Southern California(南加州大学);University of Cambridge(剑桥大学)
针对协变量缺失的逻辑回归,提出基于新颖单调算子的随机逼近方法,在协变量分布未知的假设精简设置下实现参数速率信号恢复,并优于完整案例估计器。
2026-10-07 cs.IT cs.LG math.IT
Covariate Adjustment in Randomized Clinical Trials with Missing Covariate and Outcome Data
本文针对随机临床试验中的缺失数据问题,回顾并提出了结合逆概率加权与重叠加权的协变量调整方法,强调交互项的重要性,通过模拟和实际试验证明其能提高处理效应估计精度。
2023-05-17 stat.ME
Misguided Use of Observed Covariates to Impute Missing Covariates in Conditional Prediction: A Shrinkage Problem
研究人员经常使用缺失数据的插补值进行条件预测。然而,估算的应用往往缺乏坚实的统计理论基础。本文起源于当我们无法找到分析证实的索赔,缺失数据的插补具有良好的频率属性时,数据随机缺失(MAR)。当估计E(y)形式的条件均值时,我们重点关注使用观察到的协变量来插补缺失的协变量|x,w)。这里y是一个结果,它的实现总是被观察到的,x是一个协变量,它的实现总是被观察到的,w是一个协变量,它的实现有时是不可观察的。我们研究了E(y)的简单插补估计的概率极限|x,w),因为样本量趋于无穷大。我们发现,这些估计是不一致的协变量数据时,MAR。相反,估计遭受收缩问题。它们收敛于感兴趣的条件平均值E(y)之间的中间点|x,w)和平均值E(y| x)仅以x为条件。我们使用一种类型的基因型插补来说明。
2021-02-22 econ.EM stat.ME
Missing binary outcomes under covariate dependent missingness in cluster randomised trials
结果缺失是整群随机试验中经常出现的问题,如果忽略或处理不当,可能导致偏倚和低效的推断。分析这类试验的两种方法是聚类水平分析和个体水平分析。在这项研究中,我们评估了未调整的聚类水平分析,基线协变量调整的聚类水平分析,随机效应逻辑斯谛回归(RELR)和广义估计方程(GEE)的性能时,在基线协变量依赖的缺失机制下的二元结果缺失。使用完整记录分析(CRA)和多水平多重插补(MMI)处理缺失结局。我们分析表明,使用完整记录估计风险比(RR)的聚类水平分析是有效的,如果真实的数据生成模型具有日志链接和干预组具有相同的缺失机制和相同的协变量效应的结果模型。我们进行了一项模拟研究,考虑了四种不同的情况,这取决于干预组之间的缺失机制是相同还是不同,以及干预组与结局模型中的基线协变量之间是否存在相互作用。基于仿真研究和分析结果,我们给出了指导的条件下,每种方法是有效的。
2016-08-18 stat.ME
Weighted empirical likelihood for quantile regression with nonignorable missing covariates
本文提出了协变量不可分离的分位数回归模型中回归参数的经验似然加权估计。建议的估计是计算简单,实现半参数效率,如果完全观察到的变量的缺失概率被正确指定。理论上量化了所提出的估计器相对于完整案例分析估计器的效率增益,并通过仿真和真实数据应用进行了说明。
2017-10-07 stat.ME
Imputations for High Missing Rate Data in Covariates via Semi-supervised Learning Approach
数据收集技术的进步和数据资源的异质性可能会产生很高比例的变量观测值缺失,例如块级缺失数据。在缺失数据的情况下,传统的方法,如简单平均值,$k$ -最近邻,多重和回归插补可能会导致结果不稳定或无法计算。受半监督学习概念的启发(参见,例如,Zhu和Goldberg,2009年以及Chapelle等人,2010),我们提出了一种新的方法来填补缺失率高的协变量中的缺失值。具体而言,我们将任何协变量中的缺失和非缺失受试者分别视为未标记和标记的目标输出,并将其相应的响应视为未标记和标记的输入。这种创新的设置使我们能够估算大量的缺失数据,而无需强加任何模型假设。此外,所得插补对于连续协变量具有封闭形式,并且可以有效地计算。一个类似的程序适用于离散协变量。我们进一步采用非参数技术来显示插补协变量的理论性质。仿真研究和在线消费金融的例子来说明所提出的方法的实用性。
2022-05-15 stat.ME
kNNSampler: Stochastic Imputations for Recovering Missing Value Distributions
SAP Labs France(SAP法国实验室);EURECOM
kNNSampler通过随机采样最相似单元的观测响应来填补缺失值,能够估计缺失值的条件分布并用于多重填补。
2025-12-02 cs.LG math.ST stat.ME
Cox regression analysis with missing covariates via multiple imputation
我们考虑估计Cox回归的情况,其中一些协变量可能缺失,并且存在可能预测缺失协变量的额外信息(包括观察到的事件时间、删失指标和完全观察到的协变量)。我们建议使用两个工作回归模型:一个用于预测缺失协变量,另一个用于预测缺失概率。对于每个缺失协变量观察值,这两个工作模型用于定义最近邻插补集。然后使用该数据集对缺失观测值的协变量值进行非参数插补。插补完成后,对多重插补数据集进行Cox回归,以估计回归系数。在一个模拟研究中,我们比较了非参数多重插补方法与增广逆概率加权(AIPW)方法,它直接将两个工作模型的Cox回归估计。我们表明,所有的方法都可以减少偏见,由于不可验证的缺失机制。所提出的非参数插补方法对两个工作模型中的任何一个的错误设定具有鲁棒性,并且对两个工作模型的链接函数的错误设定具有鲁棒性。相比之下,AIPW方法对两个工作模型的链接函数的错误指定不具有鲁棒性,并且对选择概率敏感。我们将这些方法应用于监测,流行病学和最终结果(SEER)计划的乳腺癌数据集。
2017-10-12 stat.ME
Imputation for High-Dimensional Linear Regression
我们研究了协变量中含有缺失项的高维回归。实践中的一个常见策略是用适当的替代品对缺失的条目进行\emph{impute},然后执行标准统计程序,就好像协变量被完全观察到一样。最近关于这个问题的文献提出,而不是设计一个特定的,往往是复杂的或非凸的,算法的情况下,失踪的协变量。我们研究了一种更简单的方法,在这种方法中,我们用给定观测协变量的条件均值填充缺失项。我们表明,这种插补方案加上标准的现成程序,如LASSO和平方根LASSO保留了随机设计设置中的最小最大估计率,其中协变量是i.i.d.。亚高斯我们进一步表明,平方根LASSO保持\emph{pivotal}在此设置。通常情况下,条件期望不能精确计算,必须从数据中近似计算。我们研究了两种情况下,协变量要么遵循自回归(AR)过程,或联合高斯稀疏精度矩阵。我们提出了易于处理的估计的条件期望,然后通过LASSO进行线性回归,并显示在两种情况下相似的估计率。我们补充我们的理论结果与模拟合成和半合成的例子,不仅说明了我们的界限的清晰度,而且这种策略超出了我们的理论假设的更广泛的实用性。
2020-01-24 math.ST stat.ME stat.ML
Covariate-assisted Sparse Tensor Completion
Purdue University(普渡大学)
我们的目标是在沿着张量模式存在协变量信息的情况下,可证明地完成稀疏且高度缺失的张量。我们的动机来自在线广告,其中用户在各种设备上对广告的点击率(CTR)形成了一个CTR张量,该张量具有约96%的缺失条目,并且在非缺失条目上具有许多零,这使得独立张量完成方法不能令人满意。除了CTR张量之外,通常还可以使用其他广告功能或用户特征。在本文中,我们提出了协变量辅助稀疏张量完成(COSTCO),将协变量信息的稀疏张量的恢复。关键思想是从张量和协变量矩阵中联合提取潜在分量,以学习合成表示。从理论上讲,我们推导出恢复张量分量的误差界,并明确量化由于协变量的揭示概率条件和张量恢复精度的改进。最后,我们将COSTCO应用于由CTR张量和协变量矩阵组成的广告数据集,导致比基线提高了23%的准确性。一个重要的副产品是,来自COSTCO的广告潜在成分揭示了有趣的广告集群,这对更好的广告定位很有用。
2022-04-07 cs.LG math.ST stat.ME
Robust Lasso-Zero for sparse corruption and model selection with missing covariates
我们提出了鲁棒Lasso零,扩展的Lasso零方法,最初介绍了稀疏线性模型,稀疏腐败问题。我们给出了一个稍微简化的版本的估计,被称为judgeholded正义追求的参数的符号恢复理论保证。稳健Lasso-Zero用于协变量中缺失值的变量选择。除了不需要为协变量指定模型,也不需要估计它们的协方差阵或噪声方差之外,该方法具有处理非随机缺失值而不指定参数模型的巨大优势。数值实验和医学应用强调了鲁棒拉索零在这样的背景下,几乎没有可用的竞争对手的相关性。该方法易于使用,并在R库lass 0中实现。
2022-03-23 stat.AP stat.ME stat.ML
On the Relation between Prediction and Imputation Accuracy under Missing Covariates
Technical University of Dortmund(多特蒙德工业大学)
在回归或分类问题中缺少协变量可能会禁止直接使用高级工具进行进一步分析。最近的研究已经意识到使用现代机器学习算法进行插补的趋势越来越大。这源于它们在不同的学习问题中表现出良好的预测精度的能力。在这项工作中,我们通过模拟分析之间的相互作用的插补精度和预测精度的回归学习问题与缺失的协变量时,机器学习为基础的方法,插补和预测使用。此外,我们还探讨了在预测环境中使用统计推断程序时的插补性能,例如(有效)预测区间的覆盖率。我们的分析是基于UCI机器学习库提供的经验数据集和广泛的模拟研究。
2021-12-09 cs.LG stat.AP stat.ME
Identification and estimation of the conditional average treatment effect with nonignorable missing covariates, treatment, and outcome
University of Michigan(密歇根大学);Tsinghua University(清华大学);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院)
本文提出在非随机缺失机制下非参数识别条件平均处理效应,并开发了非参数和参数估计方法,同时提出敏感性分析框架以评估稳健性。
2026-02-22 stat.ME
Doubly robust estimation with functional outcomes missing at random
Umeå University(于默奥大学)
本文提出双鲁棒估计方法,用于估计功能性结果的均值,在缺失随机假设下,通过半参数估计器和高斯过程极限分布,提供同时置信区间和有限样本性质验证。
2026-02-24 math.ST stat.ME stat.TH
Establishing the Parallels and Differences Between Right-Censored and Missing Covariates
本文建立右删失协变量与缺失协变量在不同删失和缺失假设下的联系,提出并分析六种估计量,并通过模拟和亨廷顿病数据验证。
2024-09-07 stat.AP stat.ME
Estimators for covariate-adjusted ROC curves with missing biomarkers values
在本文中,我们提出了三个估计的ROC曲线时,丢失的观察生物标志物之间出现。其中两个过程假设我们有协变量,允许估计的倾向和估计量获得使用逆概率加权方法或它的平滑版本。另一个假设协变量相关的生物标志物通过回归模型,使我们能够构建基于卷积的分布和分位数函数的估计。在温和的条件下获得一致性结果。通过数值研究,我们评估有限样本性能的不同建议。一个真实的数据集进行了分析。
2022-01-17 stat.ME
Leveraging Random Assignment to Impute Missing Covariates in Causal Studies
针对随机实验中协变量缺失影响治疗效应估计的问题,研究对比了均值填补、回归单一填补、多重填补三类方法在遵循/忽略随机化原则下的表现,发现考虑随机化仅能小幅提升填补准确性,为异质性治疗效应估计中的协变量填补提供参考。
2020-11-08 stat.ME
Causal effect on a target population: a sensitivity analysis to handle missing covariates
随机对照试验(RCT)通常被认为是估计因果效应的金标准,但当符合RCT条件的人群与目标人群存在实质性差异时,RCT可能缺乏外部效度。手头有一个感兴趣的目标人群的样本,使我们能够概括因果效应。识别目标人群中的处理效应需要协变量来捕获在两组之间转移的所有处理效应修饰因子。然后,标准估计使用加权(IPSW),结果建模(G公式),或将两者结合在双重稳健方法(AIPSW)中。然而,这类协变量通常在两组中都不可用。在本文中,证明了这三个估计的L1-一致性后,我们计算的期望偏差引起的缺失协变量,假设高斯分布,连续的结果,和半参数模型。在此设置下,我们对每个缺失协变量模式进行敏感性分析,并计算预期偏倚的符号。我们还表明,在线性插补部分未观察到的协变量没有增益。最后,我们研究了替代缺失的协变量的代理。我们说明了所有这些结果的模拟,以及半合成基准使用的数据从田纳西州的学生/教师的成就比(STAR),和一个现实世界的例子,从重症监护医学。
2023-01-10 stat.ME
A New Look at Gaussian Mixtures in the Presence of Missing-at-Random Responses and Covariates
Rowan University(罗文大学);University of Catania(卡塔尼亚大学);San José State University(圣何塞州立大学)
本文针对响应与协变量均含随机缺失值的情况,提出基于EM算法的多元线性回归混合模型,可实现不完整数据下的软聚类,其有效性经模拟与Automobile数据集验证。
2026-08-05 stat.ME
The competing risks Cox model with and without auxiliary case covariates under weaker or no missing-at-random cause of failure
在使用竞争风险Cox模型分析具有多种原因的至事件发生时间数据时,某些病例的失效原因通常未知。缺失原因的概率通常被假设为与事件发生时间和事件发生前测量的协变量的原因无关。然而,在实践中,基本的随机缺失假设并不一定成立。受结直肠癌亚型分析的启发,我们开发了半参数方法来进行有效的分析,首先是当额外的辅助变量仅适用于病例时。我们考虑一个较弱的随机缺失假设,缺失模式取决于观测量,其中包括辅助协变量。忽略这些协变量可能会导致有偏估计。我们使用一种信息似然方法,即使在错误指定缺失失效原因的基础模型时,该方法也会产生相合估计。然后,我们考虑一种方法,进行有效的统计分析时,没有辅助协变量在非随机缺失的情况下。仿真研究结果证明了我们的方法在有限样本下的优越性。我们举例说明了我们的方法在分析结直肠癌数据从护士健康研究队列,其中,显然,传统的随机缺失的假设不适用于特定的分子亚型。
2016-07-29 stat.AP stat.ME
Bayesian Hierarchical Spatial Regression Models for Spatial Data in the Presence of Missing Covariates with Applications
在许多应用中,勘测数据是从不同地区的不同勘测中心收集的。在某些情况下,响应变量完全被观察到,而协变量有缺失值。在本文中,我们提出了一个联合空间回归模型的响应变量和缺失的协变量通过一系列的一维条件空间回归模型。我们进一步构建了缺失协变量数据机制的联合空间模型。所提出的模型的性质进行了检查和马尔可夫链蒙特卡罗抽样算法是用来从后验分布的样本。此外,贝叶斯模型的比较标准,修改的偏差信息准则(mDIC)和修改的对数的伪边际似然比(mLPML),被开发来评估空间回归模型的空间数据的拟合。进行了广泛的模拟研究,以检查所提出的方法的经验性能。我们进一步应用所提出的方法来分析一个真实的数据集,从中国健康与营养调查(CHNS)在2011年进行。
2020-07-05 stat.ME
Multiple imputation of missing covariate values in multilevel models with random slopes: A cautionary note
多重插补(MI)已成为处理缺失数据的主要方法之一,但方法学文献中的指导原则不容易转移到多水平研究中。对于包含随机斜率的模型,适当的MI可能很困难,特别是当协变量值部分缺失时。在本文中,我们讨论了MI在多水平随机系数模型中的应用、斜率变化带来的理论挑战以及标准MI软件当前的局限性。我们从三个模拟研究中的发现表明:(a)MI能够恢复大多数参数,但目前不适合完全捕获协变量值缺失时的斜率变化;(b)MI为大多数参数提供了合理的估计,即使在较小的样本中或当其假设不满足时;以及(c)当保持斜率方差特别重要时,列表式删除可以是值得考虑的替代方案。
2016-06-16 stat.ME
Analysis of Longitudinal Data with Missing Values in the Response and Covariates Using the Stochastic EM Algorithm
在纵向数据中,随时间或在不同条件下测量一组个体的响应变量。在许多情况下,所有预期的测量值都不可用,这导致缺失值。如果缺失值之后从未出现观察到的测量值,则会导致丢失模式。缺失值可能存在于响应变量、协变量或两者中。当缺失的概率取决于缺失值并且可能取决于观测值时,缺失机制被称为非随机的。在这种情况下,应在分析中考虑缺失值,以避免任何潜在偏倚。本文的目的是使用多重插补(MI)处理协变量中的缺失值。选择模型用于在存在非随机脱落的情况下对纵向数据进行建模。随机期望最大化算法(SEM)的发展,以获得模型参数估计除了估计的辍学模型。SEM算法不提供估计值的标准误。我们开发了一种蒙特卡罗方法来获得标准误。所提出的方法的性能进行评估,通过仿真研究。此外,所提出的方法被应用到一个真实的数据集。
2022-08-09 stat.ME
Handling incomplete outcomes and covariates in cluster-randomized trials: doubly-robust estimation, efficiency considerations, and sensitivity analysis
针对整群随机试验中各类缺失数据问题,提出一种双重稳健估计量以处理结局、协变量和整群规模缺失,并给出提升精度的策略与新的敏感性分析框架。
2025-11-05 stat.ME
Variable selection with missing data in both covariates and outcomes: Imputation and machine learning
缺失数据问题在健康研究中普遍存在。同时存在缺失协变量和结果的变量选择是一个重要的统计研究课题,但研究较少。现有的文献集中在参数回归技术,提供直接的参数估计的回归模型。灵活的非参数机器学习方法大大减轻了对参数假设的依赖,但不提供自然定义的变量重要性度量作为参数模型的协变量效应。当协变量和结果都可以随机缺失并且具有一般的缺失数据模式时,我们研究了一般的变量选择方法。这种方法利用了机器学习建模技术和自举插补的灵活性,这适用于协变量效应不可直接获得的非参数方法。我们进行了广泛的模拟调查的实际操作特性的变量选择方法,当结合四个基于树的机器学习方法,XGBoost,随机森林,贝叶斯加性回归树(BART)和条件随机森林,和两个常用的参数方法,套索和向后逐步选择。数值结果表明,当与bootstrap插补相结合时,XGBoost和BART在各种设置中的$F_1$评分和第一类错误方面具有总体最佳的变量选择性能。一般来说,由于插补方法,变量选择性能没有显著差异。我们利用全国妇女健康研究的数据,通过代谢综合征3年发病率风险因素的案例研究进一步证明了这些方法。
2021-07-07 stat.AP stat.ME stat.ML
Simultaneous confidence bands for nonparametric regression with partially missing covariates
本文考虑了协变量随机缺失的非参数回归的基于逆选择概率的加权局部线性估计。导出了估计量与真实回归函数之间的最大偏差的渐近分布,并构造了渐近精确的同时置信带。回归函数的估计被证明是oracally有效的意义上说,它是一致的不可区分的,当选择概率是已知的。有限样本性能通过模拟研究,支持我们的渐近理论。通过对加拿大2010/2011年青年学生调查数据集的分析,证明了所提出的方法。
2020-02-28 stat.ME
Two-step semiparametric empirical likelihood inference from capture-recapture data with missing covariates
针对捕获-重捕获数据中协变量随机缺失且可为连续或离散变量的问题,基于Binomial和Poisson回归提出两步半参数经验似然方法进行丰度估计,证明了估计量的渐近正态性与高效性,并扩展至1膨胀计数回归模型,模拟与实例分析验证了其优越性。
2025-07-14 stat.ME
Variable Selection for Additive Partial Linear Quantile Regression with Missing Covariates
标准分位数回归模型假设在感兴趣的分位数处存在线性关系,并且观察到所有变量。我们通过考虑部分线性模型来放松这些假设,同时允许缺失线性协变量。为了处理由缺失数据引起的潜在偏差,我们提出了一个加权的目标函数,使用逆概率加权。我们的工作检查估计使用参数和非参数估计的缺失概率。对于存在缺失数据的线性项的变量选择,我们考虑使用非凸惩罚MCP或SCAD的惩罚和加权目标函数。在标准条件下,我们证明了惩罚估计的Oracle属性,包括情况下,$p>>n$。理论上的挑战包括处理缺失数据和部分线性模型,同时使用非光滑损失函数和非凸罚函数。使用蒙特卡罗模拟和我们的方法进行评估的方法的性能被施加到模型的时间量清醒的患者离开康复中心。
2016-06-04 stat.ME
Projective Resampling Imputation Mean Estimation Method for Missing Covariates Problem
缺失数据是临床数据收集中常见的问题,给临床数据的统计分析带来困难。为了克服不完全数据所带来的问题,提出了一种新的估算方法-投影恢复估算均值估计(PRIME),该方法能够以较少的信息损失解决估算中的“维数灾难”问题。我们使用不同的样本量,缺失数据率,协变量相关性,和噪声水平的模拟研究,所有的结果表明,PRIME优于其他方法,如迭代最小二乘估计(ILSE),极大似然(ML),和完整的情况下分析(CC)。此外,我们进行了心脏手术相关的急性肾损伤(CSA-AKI)的影响因素的研究,这表明我们的方法比其他模型表现得更好。最后,我们证明了PRIME在某些正则条件下具有相容性。
2021-06-16 stat.ME
Design-Based Causal Inference with Missing Outcomes: Missingness Mechanisms, Imputation-Assisted Randomization Tests, and Covariate Adjustment
针对基于设计因果推断中的结果缺失问题,提出灵活缺失机制与“插补与再插补”框架,实现精确随机化检验、协变量调整及置信区间构建,并经模拟和大规模实验验证。
2025-05-24 stat.ME
Modeling racial/ethnic differences in COVID-19 incidence with covariates subject to non-random missingness
针对 COVID-19 病例种族/族裔信息的 NMAR 缺失问题,提出融合疾病与缺失过程空间信息的贝叶斯参数模型,并通过模拟和韦恩县数据证明其优于完整病例分析与 MI。
2022-08-16 stat.AP stat.ME
Robust location estimators in regression models with covariates and responses missing at random
本文讨论了一般回归模型中响应变量和部分协变量均存在缺失数据时的稳健边际估计问题。目标是通过$M-$函数给出的边缘位置参数。为了得到稳健的Fisher-相合估计量,考虑适当定义的边缘分布函数估计量.这些估计量通过假设随机缺失条件避免了缺失值引起的偏倚。三种方法被认为是估计的边缘分布函数,它允许获得的$M-$的位置感兴趣:众所周知的逆概率加权,卷积为基础的方法,利用回归模型和增强的逆概率加权程序,防止误指定。在不同的缺失模型下,包括干净样本和污染样本,通过数值研究比较了稳健估计和经典估计。我们说明了非线性模型下的估计行为。一个真实的数据集进行了分析。
2020-05-07 stat.ME
Weighted Q-learning for optimal dynamic treatment regimes with nonignorable missing covariates
针对动态治疗方案估计中因不可忽略缺失协变量导致反向归纳下伪结局缺失、方案次优的问题,提出两种基于逆概率加权的Q学习方法,经理论推导与模拟验证后,用于探究脓毒症患者最优补液策略。
2024-12-10 stat.ME
Predictive Uncertainty Quantification with Missing Covariates
针对缺失协变量下的预测不确定性量化,提出CP-MDA-Nested*框架,构建条件有效的预测集,并证明缺失值越多不确定性越高,实验验证其有效性。
2024-05-24 stat.ME
Accounting for interactions and complex inter-subject dependency in estimating treatment effect in cluster randomized trials with missing outcomes
半参数方法常用于整群随机试验(CRT)中相关结局的干预效果估计。当结局为随机随机缺失(MAR)时,可使用包含基线协变量的逆概率加权(IPW)方法来处理信息缺失。此外,增广广义估计方程(AUG)校正基线协变量的不平衡,但需要扩展MAR结局。然而,在治疗和基线协变量之间存在相互作用的情况下,如果未正确指定相互作用模型,则两种方法均无法单独产生边际处理效应的相合估计。我们提出了一个AUG-IPW估计器,它的权重是一个完整的情况下的概率的倒数,并允许在每个干预臂不同的结果模型。这个估计器是双重鲁棒(DR),它给出正确的估计是否缺失数据过程或结果模型是正确指定的。我们考虑协变量干扰的问题时出现的结果,一个人可能取决于协变量的其他个人。当干扰协变量未建模时,只要协变量干扰不同时存在于结果和缺失中,DR属性就可以防止偏倚。开发了一个R软件包来实现所提出的方法。一个广泛的模拟研究和应用CRT的艾滋病毒风险降低,在南非的干预说明了方法。
2016-01-26 stat.ME
Robust estimation of optimal dynamic treatment regimes with nonignorable missing covariates
针对不可忽略缺失协变量导致的伪结果缺失及Q函数误设误差传播问题,提出基于直接搜索的稳健最优DTR估计器,采用非参数方法和RKHS平衡权重提升估计稳健性,在模型误设下表现更优。
2025-06-28 stat.ME
Measurement error as a missing data problem
这篇文章关注的是回归分析中协变量的测量误差,其目的是估计一个或多个协变量与结果之间的关联,调整混杂因素。如果忽略协变量测量中的误差,则会导致代表相关性的参数的有偏估计。对于部分或全部研究受试者,测量变量存在误差的研究可视为真实变量缺失的研究。我们建立了测量误差和缺失数据之间的联系,并描述了校正由于协变量测量误差引起的偏倚的方法,包括回归校准(条件均值插补),极大似然法和贝叶斯法,以及多重插补。使用第三次全国健康与营养检查调查(NHANES III)的数据来说明这些方法,以调查易出错的协变量收缩压与心血管疾病死亡风险之间的相关性,调整其他几个变量,包括那些受缺失数据的影响。我们使用多重插补和贝叶斯方法,可以同时解决测量误差和缺失数据。示例数据和R代码在补充材料中提供。
2019-10-14 stat.ME
Maximum likelihood abundance estimation from capture-recapture data when covariates are missing at random
针对捕获-再捕获实验中协变量随机缺失问题,本文提出最大经验似然丰度估计方法,证明其渐近正态性与卡方极限分布,并通过模拟和香港黄腹山鹪莺数据验证其均方误差更小、置信区间覆盖率更准确。
2025-07-19 stat.ME
Bayesian Prediction with Covariates Subject to Detection Limits
在工业问题中,由于信号干扰或测量设备缺乏灵敏度而导致的协变量缺失值是常见的。我们提出了一个完整的贝叶斯解决方案的预测问题,一个有效的马尔可夫链蒙特卡罗(MCMC)算法,更新所有的删失协变量值联合在一个随机扫描吉布斯采样。我们发现,缺失协变量值的联合更新可以比单变量更新至少高两个数量级。这种提高的效率被证明是至关重要的快速学习缺失的协变量值和他们的不确定性在实时决策的背景下,特别是当有大量的相关性在后的缺失值。该方法进行了评估模拟数据和电信部门的数据。我们的研究结果表明,所提出的贝叶斯插补提供了更准确的预测比天真的插补,并在插补辅助变量的使用提供了额外的预测能力。
2022-01-19 stat.AP stat.ME
Rate Optimal Estimation and Confidence Intervals for High-dimensional Regression with Missing Covariates
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
虽然大多数高维统计学的理论文献都集中在涉及完全观测数据的设置上,但在实践中,缺失值和腐败的设置是常见的。考虑了稀疏高维线性回归模型中设计矩阵的协变量完全随机缺失完全随机缺失时的估计和构造置信区间的问题。我们分析了Dantzig选择器[9]的一个变体来估计回归模型,并使用去偏参数来构建分量置信区间。我们的第一个主要结果是建立上界的估计误差作为模型参数的函数(稀疏水平s,预期的分数观测协变量$ρ_*$,和测量的信号强度$\|β^*\|_2$)。我们发现,即使在一个理想化的设置,协变量被假定为完全随机缺失,有点令人惊讶的是,在完全观察到的设置相反,有一个二分法的依赖模型参数和更快的速度,如果随机设计的协方差阵是已知的。为了进一步研究这个问题,我们的第二个主要贡献是提供下限的估计误差表明,这种差异率是不可避免的极大极小意义上。然后,我们考虑的问题,高维推理存在缺失数据。我们构造和分析置信区间使用去偏估计。在存在缺失数据的情况下,由于去偏矩阵与导频估计器相关的事实,推断变得复杂,并且这需要设计新的估计器和新的分析。我们还补充了我们的数学研究与广泛的模拟合成和半合成的数据,显示我们的渐近预测有限的样本量的准确性。
2017-11-03 cs.LG stat.ME stat.ML
Bayesian nonparametric generative models for causal inference with missing at random covariates
我们提出了一个一般的贝叶斯非参数(BNP)的方法,因果推断在点处理设置。观察数据(结局、治疗和混杂因素)的联合分布使用富集Dirichlet过程建模。观测数据模型和因果假设的结合使我们能够识别任何类型的因果效应-差异,比率或分位数效应,无论是边缘还是针对感兴趣的亚群。所提出的BNP模型非常适合于因果推断问题,因为它不需要关于混杂因素分布的参数假设,并且自然地导致计算效率高的吉布斯抽样算法。通过对联合分布进行灵活建模,我们还能够在假设可验证的缺失情况下,对算法内的缺失协变量值进行插补(通过数据增强),从而无需创建单独的插补数据集。这种插补缺失协变量的方法具有额外的优势,可以保证插补模型和分析模型之间的一致性,并且由于我们使用BNP方法,因此避免了参数模型进行插补。使用模拟研究的方法的性能进行评估。该方法适用于人类免疫缺陷病毒/丙型肝炎病毒合并感染患者的队列研究数据。
2017-02-27 stat.ME
Semiparametric estimation of GLMs with interval-censored covariates via an augmented Turnbull estimator
本文提出了一种基于似然的方法GELc,用于估计具有区间截断协变量的广义线性模型,并通过模拟研究和实际应用验证了其有效性。
2026-01-13 q-bio.QM stat.ME
Partial Replacement Imputation Estimation Method for Complex Missing Covariates in Additive Partially Linear Models
缺失数据是临床数据收集中常见的问题,给临床数据的统计分析带来困难。在这篇文章中,我们考虑的问题的框架下的半参数部分线性模型时,观测值的缺失与复杂的模式。如果可加部分线性模型的模型结构是正确的,我们提出了一种新的插补方法称为部分替换插补估计(PRIME),它可以克服部分线性模型中的不完整数据所带来的问题。此外,我们使用PRIME结合模型平均(PRME-MA)来解决部分线性模型中模型结构未知的问题。在模拟研究中,我们使用各种误差分布,样本量,缺失数据率,协变量相关性和噪声水平,PRIME在几乎所有情况下都优于其他方法。在正确模型结构未知的情况下,PRIME-MA具有令人满意的预测性能,但略差于PRIME。此外,我们对Pima印第安人糖尿病数据的影响因素进行了研究,结果表明,我们的方法比其他模型表现得更好。
2022-06-10 stat.ME
kNN estimation in semi-functional partial linear regression with missing responses at random
Universidade da Coruña(拉科鲁尼亚大学);Centro de Investigación en Tecnologías de la Información y las Comunicaciones (CITIC)(信息与通信技术研究中心);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
针对响应随机缺失的半函数部分线性回归模型,提出三种基于k近邻的估计量用于向量参数和非参数算子,并得到渐近性质。
2026-06-23 math.ST stat.ME stat.TH
Logistic Regression with Missing Covariates -- Parameter Estimation, Model Selection and Prediction within a Joint-Modeling Framework
逻辑斯谛回归是监督学习中常用的分类方法。令人惊讶的是,很少有解决方案用于在协变量中缺失值的情况下执行逻辑斯谛回归。我们提出了一个完整的方法的基础上随机逼近版本的EM算法做统计推断缺失值,包括估计的参数和方差,置信区间的推导和模型选择程序。我们还解决了缺少协变量数据的新观测(在测试集上)的预测问题。该方法是计算效率高,其良好的覆盖率和变量选择性能的模拟研究中,我们对比其性能与其他方法证明。例如,通过链式方程进行多重插补的流行方法可能导致估计值显示出比所提出的方法更大的有意义的偏差。然后,我们说明了从巴黎医院严重创伤患者的数据集上的方法来预测出血性休克的发生,早期可预防的死亡在严重创伤病例的主要原因。其目的是巩固目前的红旗程序,一个二元警报识别患者的严重出血的高风险。该方法在R包misaem中实现。
2019-08-07 stat.ME
Missing data analysis and imputation via latent Gaussian Markov random fields
在本文中,我们重铸的问题,在协变量的回归模型作为一个潜在的高斯马尔可夫随机场(GMRF)模型在一个完全贝叶斯框架。我们提出的方法是基于定义的协变量插补子模型作为一个潜在的影响与GMRF结构。我们展示了这种提法如何适用于连续协变量,并提供了一些见解如何将其扩展到分类协变量。由此产生的贝叶斯分层模型自然适合集成嵌套拉普拉斯近似(INLA)框架,我们使用模型拟合。因此,我们的工作填补了INLA方法中的一个重要空白,因为它允许处理协变量中有缺失值的模型。与任何其他完全贝叶斯框架一样,通过依赖INLA进行模型拟合,可以为数据、插补协变量及其缺失机制制定联合模型。通过这种方式,我们能够通过对不同的替代方案进行敏感性分析来对未观察到的协变量进行建模,从而解决评估缺失机制的更普遍的问题。最后,我们用两个健康风险因素建模和疾病映射的例子来说明所提出的方法。在这里,我们依赖于两种不同的插补机制的基础上,一个典型的多元线性回归和空间模型,分别。鉴于INLA模型拟合的速度,我们能够在短时间内拟合关节模型,并轻松进行敏感性分析。
2019-12-23 stat.AP stat.CO stat.ME
A joint Bayesian framework for missing data and measurement error using integrated nested Laplace approximations
在处理数据的学科中,协变量中的测量误差(ME)和缺失值通常是不可避免的,在过去的几十年中,这两个问题分别受到了相当大的关注。然而,虽然大多数研究人员都熟悉处理缺失数据的方法,但在回归模型的协变量中考虑ME并不常见。此外,ME和缺失数据通常被视为两个独立的问题,尽管实际和理论上的相似之处。在这里,我们利用这样一个事实,即在一个连续的协变量中的缺失数据是一个极端的情况下,经典ME,使我们能够使用现有的方法,通过贝叶斯框架,采用集成嵌套拉普拉斯近似(INLA)的ME帐户,从而同时考虑ME和缺失数据在同一协变量。作为一个有用的副产品,我们提出了一种方法来处理缺失数据在INLA,因为这对应于特殊情况下,当没有ME存在。此外,我们将展示如何在同一框架中解释Berkson ME。因此,在其最广泛的一般性中,所提出的联合贝叶斯框架可以解释Berkson ME、经典ME和缺失数据,或者解释INLA可行的回归模型家族的相同或不同连续协变量中这些数据的任何组合。该方法的例子使用模拟和真实的数据。我们提供了广泛的和完全可复制的补充材料与充分记录的例子使用{R-INLA}和{inlabru}。
2023-03-27 stat.ME
Accounting for Missing Covariates in Heterogeneous Treatment Estimation
Carnegie Mellon University(卡内基梅隆大学)
本文针对目标人群存在研究人群中缺失协变量的异质性治疗效应估计问题,提出基于生态推断的部分识别策略和偏差校正估计量,以获得更紧的效应界限并具备快速收敛和渐近正态性保证。
2024-10-21 cs.LG stat.ME
High-Dimensional Covariate-Augmented Overdispersed Multi-Study Poisson Factor Model
针对跨多研究的高维计数响应数据缺乏适配因子模型的问题,本文提出带增强协变量的多研究泊松因子模型,配套高效变分估计与因子选择准则,理论上证明估计量性质,实验验证其有效性。
2024-08-20 stat.ME
Doubly Robust Machine Learning for Population Size Estimation with Missing Covariates: Application to Gaza Conflict Mortality
Center for Data Science New York University(纽约大学数据科学中心);Department of Statistics & Data Science Carnegie Mellon University(卡内基梅隆大学统计与数据科学系);Department of Medical Statistics London School of Hygiene and Tropical Medicine(伦敦卫生与热带医学院医学统计学系)
本文提出了一种基于双重稳健机器学习的方法,用于在存在缺失协变量时估计群体规模,应用于加沙冲突死亡率的重新估计,结果显示比传统方法更保守且精确。
2026-02-10 stat.ME
Power Enhancement of Permutation-Augmented Partial-Correlation Tests via Fixed-Row Permutations
本文提出通过贪心算法固定部分设计行、仅置换其余行来降低协变量与置换的共线性,从而在保持第一类错误控制的同时显著提升偏相关检验的功效,尤其适用于高共线性场景。
2025-06-03 math.ST stat.ME stat.TH
Understanding Geopolitical Alignments Through Covariate Augmented Spectral Clustering of Heterogeneous UNGA Voting Data
Indian Statistical Institute(印度统计研究所);North Carolina State University(北卡罗来纳州立大学)
针对异构网络,提出一种联合利用网络连接和节点协变量的谱聚类框架,理论保证聚类性能,并在联合国投票数据中揭示地缘政治结构。
2026-06-25 stat.AP stat.ME