Inverse Probability Weighting of Count Exposures in the Presence of Missing Data: A Simulation Study
Centre for Longitudinal Studies, UCL Social Research Institute, University College London(长期研究发展中心,UCL社会研究所,伦敦大学学院);Research Department of Behavioural Science and Health, Institute of Epidemiology and Health Care, University College London(行为科学与健康研究系,流行病学与健康护理研究所,伦敦大学学院)
本文通过模拟研究评估了五种逆概率加权方法在计数暴露中的表现,探讨了多重插补对IPTW的影响,发现某些方法在完整数据和随机缺失时表现良好,但在部分缺失时存在偏倚问题。
2026-03-24 stat.AP stat.ME
Improving trial generalizability using observational studies
随机对照试验(RCT)和观察性研究(OS)的互补特征可联合用于估计目标人群的平均处理效应。我们提出了一个校准加权估计,加强RCT和OS之间的协变量平衡,从而提高基于试验的估计的泛化能力。利用半参数有效性理论,我们提出了一个双重鲁棒增广校准加权估计,实现了效率界下的识别假设。一个非参数筛选方法提供作为一种替代的参数方法,它使强大的近似的滋扰功能和数据自适应选择的结果预测校准。我们建立了渐近结果,并通过模拟实验和应用于早期非小细胞肺患者术后辅助化疗的处理效应估计,证实了所提出的估计的有限样本性能。
2021-11-29 stat.ME
Causal Inference with Multiple Misclassified Exposures: A Control Variate-Adjusted Calibration Weighting Approach
Colorado School of Public Health(科罗拉多公共卫生学院);Johns Hopkins Bloomberg School of Public Health(约翰斯·霍普金斯大学彭博公共卫生学院);University of Colorado School of Medicine(科罗拉多大学医学院);Colorado State University(科罗拉多州立大学)
针对多重错误分类二元暴露和聚类观测数据,提出校准加权与控制变量调整的因果推断方法,实现一致估计并降低方差,应用于囊性纤维化患者队列发现咽拭子低估铜绿假单胞菌感染效应。
2026-07-28 stat.AP stat.ME
A Calibration Framework for Inference with Partially Observed Data
Iowa State University(爱荷华州立大学);Fujian Normal University(福建师范大学)
本文提出一种统一框架,基于广义熵校准加权估计在MAR机制下由一般估计方程定义的参数,通过数据自适应校准函数平衡约束和偏倚约束,实现双重鲁棒性和半参数效率。
2026-03-27 stat.ME
Soft calibration for selection bias problems under mixed-effects models
本文针对非概率抽样中的选择偏差问题,提出一种基于混合效应模型的软校准方法,对固定效应精确校准、对随机效应近似校准,兼具最佳线性无偏预测和惩罚倾向得分加权的优势,并通过模拟和实证验证了其高效性。
2023-02-23 stat.AP stat.ME
Identification and Estimation of Causal Effects with Confounders Missing Not at Random
本文在混杂因素非随机缺失且缺失性与处理无关的假设下,建立了因果效应的可识别性,并提出加权估计方程方法及三种平均因果效应估计量,通过模拟和实际数据验证其有效性。
2023-10-30 stat.ME
Joint calibrated estimation of inverse probability of treatment and censoring weights for marginal structural models
具有逆概率加权的边缘结构模型(MSM)提供了一种在存在时变混杂和依赖删失的情况下估计治疗序列对重复结局指标的因果效应的方法。然而,当权重估计的极大似然,逆概率加权估计(IPWE)可能是低效和不稳定的,在实践中。我们提出了一种联合校准方法,用于治疗和审查权重的逆概率,以提高具有任意时变治疗的MSM的IPWE的效率和鲁棒性(即,二进制和非二进制)分布。具体地,通过在对当前样本进行加权之后明确地消除与治疗分配过程和删失过程两者的协变量关联(即,在有限样本中优化协变量平衡)。一个凸最小化过程的开发来实现校准。仿真结果表明,IPWE与校准的权重表现优于IPWE与极大似然的权重。我们将我们的方法应用于HIV的自然史研究,以估计高效抗逆转录病毒治疗对CD4细胞计数随时间的累积效应。
2018-06-29 stat.ME
Outcome-Informed Weighting for Robust ATE Estimation
针对高维场景下重叠不足削弱IPW类估计量稳健性的问题,提出结果信息加权的AMR估计量与无需强先验的事后校准框架,在多场景实验中验证了其效率与稳健性优势。
2025-03-20 stat.ME
Propensity score weighting for causal inference with clustered data
倾向得分加权是因果推断的一种工具,用于调整观察性研究中测量的混杂因素。在实践中,数据往往呈现复杂的结构,如聚类,这使得倾向得分建模和估计具有挑战性。此外,对于聚类数据,可能存在与治疗分配和结局均相关的未测量的聚类特异性变量。当存在此类未测量的集群特异性混杂因素,并且在倾向得分模型中被省略时,随后的倾向得分调整可能会有偏倚。在这篇文章中,我们提出了一个校准技术的倾向得分估计下的潜在可重复的治疗分配机制,即,考虑到观察到的协变量和潜在的集群效应,治疗-结果关系是无混杂的。当倾向得分和结果遵循广义线性混合效应模型时,我们提供了平均处理效应的一致倾向分数加权估计。建议的倾向得分加权估计是有吸引力的,因为它不需要规范的倾向得分和结果模型的功能形式,因此是强大的模型误指定。建议的加权方法可以结合抽样权重的综合解决方案,以处理混杂和抽样设计的因果推断与聚类调查数据。在模拟研究中,我们表明,所提出的估计是优于其他竞争对手。我们评估了学校体重指数筛查对宾夕法尼亚州小学超重和肥胖患病率的影响。
2017-03-17 stat.ME
Doubly robust treatment effect estimation with missing attributes
缺失属性在因果推断中是普遍存在的,就像在大多数应用统计工作中一样。在本文中,我们考虑各种假设下,因果推断是可能的,尽管缺失的属性和讨论相应的方法,平均处理效应估计,包括广义倾向得分法和多重插补。在广泛的模拟研究中,我们表明,没有一种方法系统地优于其他方法。然而,我们发现,双稳健的修改标准方法的平均处理效应估计与缺失数据反复执行优于其非双稳健的基线,例如,双稳健的广义倾向得分方法击败逆加权与广义倾向得分。这一发现在一项关于在重症监护管理背景下给予氨甲环酸对创伤性脑损伤患者死亡率影响的观察研究分析中得到了加强。在这里,双稳健估计恢复置信区间是一致的随机试验的证据,而非双稳健估计不。
2020-05-22 stat.ME
Propensity score weighting for causal inference with multi-stage clustered data
倾向得分加权是因果推断调整测量混杂因素的工具。调查数据通常是在复杂的抽样设计下收集的,如多级整群抽样,这给倾向得分建模和估计带来了挑战。此外,对于聚类数据,也可能存在与治疗和结局相关的未观察到的聚类效应。当这种未测量的混杂因素存在并且在倾向得分模型中被省略时,随后的倾向得分调整将是有偏倚的。我们提出了在存在不可测量的集群级混杂因素的情况下对多阶段集群数据进行校准的倾向得分加权调整。校准倾向得分,以平衡治疗组之间的设计加权协变量分布和聚类效应。特别是,我们考虑了越来越多的校准约束的集群,这是必要的,以消除渐近偏差,与未观察到的集群级混杂因素的数量增加。我们表明,我们的估计是强大的意义上,估计是一致的,没有正确的规范的倾向得分模型。我们将结果推广到多个治疗的情况。在模拟研究中,我们表明,所提出的估计是优于其他竞争对手。我们评估了学校体重指数筛查对宾夕法尼亚州小学超重和肥胖患病率的影响。
2016-07-26 stat.ME
Information projection approach to propensity score estimation for handling selection bias under missing at random
倾向得分加权被广泛用于提高自愿样本的代表性和纠正选择偏差。倾向得分通常使用抽样概率模型来开发,这可能会受到模型错误指定的影响。在本文中,我们考虑了另一种方法,估计逆的倾向得分使用的密度比函数满足自效率条件。通过求解信息在满足平衡分数矩条件的空间上的投影,得到平滑密度比函数。通过仅在密度比模型中包括结果回归模型的协变量,我们可以实现有效的倾向得分估计。惩罚回归用于识别重要的协变量。我们进一步扩展所提出的方法,多变量缺失的情况下。一些有限的模拟研究与现有的方法进行比较。
2022-07-19 stat.ME
Balancing Weights for Causal Inference in Observational Factorial Studies
本文提出了一种针对多因素观察性研究的加权方法,用于实现因子效应的无偏估计,同时处理缺失治疗组合和协变量平衡问题。
2025-12-02 stat.ME
Causal Inference: A Missing Data Perspective
推断治疗的因果效应是许多学科的中心目标。潜在结果框架是因果推断的主要统计方法,其中因果效应被定义为在不同治疗条件下相同单位的潜在结果的比较。因为对于每个单元,最多观察到一个潜在结果,而其余结果缺失,所以因果推断本质上是一个缺失数据问题。事实上,因果推断和缺失数据之间在术语和推理框架上有着密切的相似之处。尽管这两个学科之间存在着内在的联系,但因果推断和缺失数据的统计分析在目的、设置和方法上也存在着明显的差异。本文从缺失数据的角度对因果推断进行了系统的综述。针对可验证的治疗分配机制,我们讨论了广泛的因果推断方法,这些方法在缺失数据分析中具有类似性,例如插补,逆概率加权和双稳健方法。在每一个三种模式的推理-频率,贝叶斯和Fisherian随机化-我们提出了一般结构的推理有限样本和超人口估计,并通过具体的例子说明。我们确定了开放的问题,以激励更多的研究,以弥合这两个领域。
2018-01-03 stat.ME
A stochastic second-order generalized estimating equations approach for estimating intraclass correlation coefficient in the presence of informative missing data
整群随机试验的设计和分析必须考虑同一群试验结果之间的相关性。当应用标准广义估计方程(GEE)时,即使在错误指定相关性结构的情况下,也可以一致地估计一阶(例如治疗)效应。在相关性感兴趣的设置中,可以通过二阶广义估计方程(GEE2)估计该量。我们建立在GEE2的设置缺失数据,我们将“二阶”逆概率加权(IPW)计划和“二阶”双鲁棒(DR)估计方程,防止部分模型误设定。我们强调,需要在这种情况下的缺失指标之间的相关性模型。此外,求解这些二阶方程的计算困难促使我们开发计算效率更高的算法来求解GEE 2,这减轻了对参数起始值的依赖,并提供比更广泛使用的确定性根更快、更高的收敛率求解方法。
2018-04-16 stat.ME
Causal Inference on Missing Exposure via Robust Estimation
针对暴露随机缺失下的因果推断问题,提出基于加权估计方程的IPW与三重稳健估计量,降低极端权重影响并防范模型误设。
2024-06-12 stat.ME
Estimating Marginal Treatment Effect in Cluster Randomized Trials with Multi-level Missing Outcomes
本文针对整群随机试验中多水平信息性缺失结局问题,提出基于加权广义估计方程的多水平多重稳健估计量,用于估计边际治疗效应,并通过模拟和疟疾干预试验验证其有效性。
2023-04-12 stat.ME
A Unified Inference Framework for Multiple Imputation Using Martingales
多重插补是处理缺失数据的常用方法。虽然Rubin的合并规则很简单,但标准的多重插补推断与常用的全样本估计量结合时是否一致还不清楚。本文对一类渐近线性全样本估计量建立了多重插补的统一鞅表示。这种表示调用了野生自助推断,以在插补模型的正确规范下提供一致的方差估计。作为一个激励性的应用,我们说明了所提出的方法来估计平均因果效应(ACE)与部分观察到的混杂因素在因果推断。我们的框架适用于渐近线性ACE估计,包括回归插补,加权和匹配估计。我们扩展到结果和混杂因素均受缺失影响的情况,以及数据非随机缺失的情况。
2023-01-02 stat.ME
Comparing Causal Inference Methods for Point Exposures with Missing Confounders: A Simulation Study
本研究通过受EHR减重手术研究启发的模拟,评估Levis等人的ATE估计量与先插补后回归或IPW等方法,发现没有单一估计量一致最优,并给出缺失混杂下的实践建议。
2025-07-25 stat.ME
Doubly Robust Weighted Regression for Causal Inference under Confounder Missingness
University of Calgary(卡尔加里大学)
本文提出一种双重稳健的加权普通最小二乘估计方法,用于处理观测研究中缺失混杂变量的问题,通过引入倾向分数模型提升估计的稳健性与准确性。
2026-07-22 stat.ME
Causal effect on a target population: a sensitivity analysis to handle missing covariates
随机对照试验(RCT)通常被认为是估计因果效应的金标准,但当符合RCT条件的人群与目标人群存在实质性差异时,RCT可能缺乏外部效度。手头有一个感兴趣的目标人群的样本,使我们能够概括因果效应。识别目标人群中的处理效应需要协变量来捕获在两组之间转移的所有处理效应修饰因子。然后,标准估计使用加权(IPSW),结果建模(G公式),或将两者结合在双重稳健方法(AIPSW)中。然而,这类协变量通常在两组中都不可用。在本文中,证明了这三个估计的L1-一致性后,我们计算的期望偏差引起的缺失协变量,假设高斯分布,连续的结果,和半参数模型。在此设置下,我们对每个缺失协变量模式进行敏感性分析,并计算预期偏倚的符号。我们还表明,在线性插补部分未观察到的协变量没有增益。最后,我们研究了替代缺失的协变量的代理。我们说明了所有这些结果的模拟,以及半合成基准使用的数据从田纳西州的学生/教师的成就比(STAR),和一个现实世界的例子,从重症监护医学。
2023-01-10 stat.ME
Improving RCT-Based CATE Estimation Under Covariate Mismatch via Double Calibration
Vanderbilt University Medical Center(范德堡大学医学中心);University of Minnesota(明尼苏达大学)
本文提出MR-OSCAR方法,通过双重校准提升RCT与观察性研究间协变量不匹配时的CATE估计精度,理论保证有限样本性能,通过模拟验证了数据补充和借力策略的有效性。
2026-03-17 stat.ME
MatchThem:: Matching and Weighting after Multiple Imputation
通过匹配或加权来平衡观察性研究中暴露水平间混杂因素的分布是一种公认的方法,可在估计暴露与结局之间的相关性时控制这些变量引起的混杂,并降低对某些建模假设的依赖程度。尽管在实践中越来越受欢迎,但这些程序不能立即应用于具有缺失值的数据集。缺失数据的多重插补是一种流行的方法,用于解释缺失值,同时保留数据集中的单位数并解释缺失值的不确定性。然而,据我们所知,没有一个全面的匹配和加权软件可以很容易地实现多重插补数据集。在本文中,我们回顾了这个问题,并提出了一个框架,以映射出匹配和加权多重插补数据集的5个动作,以及最佳实践,以评估这些数据集匹配和加权后的平衡。我们还使用R的配套包MatchThem来说明这些方法。
2020-09-24 stat.ME
Generalized entropy calibration for analyzing voluntary survey data
在抽样机制可忽略假设下,提出广义熵校准方法作为校准加权的统一工具以控制自愿调查数据的选择偏差,建立其对偶关系以识别隐含回归模型并支持模型选择,结合两步校准平滑权重以提升统计效率,理论分析与模拟验证了方法的有效性。
2025-06-01 stat.ME
Comparing Missing Data Methods for Estimating Average Treatment Effects Under Time-Varying Confounding: A Simulation Study
School of Mathematics and Statistics, University of St Andrews(圣安德鲁斯大学数学与统计学院);School of Genetics and Cancer, University of Edinburgh(爱丁堡大学遗传学与癌症学院)
研究在时变混杂因素下估计平均治疗效果的缺失数据方法,通过模拟比较分层热卡插补、单模插补、MICE和完整病例分析等方法,发现性能受缺失机制等因素影响,多重插补表现较好,为相关研究提供参考。
2026-07-21 stat.AP stat.ME
Instability of inverse probability weighting methods and a remedy for non-ignorable missing data
本文揭示逆概率加权方法因需估计不稳定的矩母函数而存在不收敛和有偏问题,提出基于半参数结果模型和最大条件似然的替代方法,并通过理论、模拟及真实数据验证其优越性。
2025-07-23 stat.ME
Multilevel calibration weighting for survey data
在2016年11月的美国总统选举中,许多州一级的民意调查,特别是在中西部地区,错误地预测了获胜的候选人。对这种民意调查失误的一个主要解释是,传统民意调查响应率的急剧下降导致人们更加依赖统计方法来调整相应的偏见,而这些方法未能调整教育,种族和地理区域等关键变量之间的重要相互作用。寻找校准权重,占重要的相互作用仍然具有挑战性的传统调查方法:耙通常平衡的利润率单独,而后分层,准确地平衡所有的相互作用,是只可行的一小部分变量。在本文中,我们提出了多层次的校准加权,它执行严格的平衡约束的边际平衡和宽松的约束高阶相互作用。这包含了后分层的一些好处,同时保留了耙的保证。然后,我们通过一个灵活的结果模型来纠正由于放松约束而导致的偏差;我们称这种方法为后分层双回归(DRP)。我们描述了这些估计的渐近性质,并表明,所提出的校准方法具有双重表示作为一个多层次模型的调查响应。然后,我们使用这些工具来重新评估2016年美国总统大选中选民意向的大规模调查,从所提出的方法中发现有意义的收益。该方法在multical R包中可用。
2021-11-12 stat.ME
Difference-in-differences Design with Outcomes Missing Not at Random
本文针对DID设计中面板数据缺失问题,指出完整案例分析等方法的不足,提出基于主层的识别策略,利用缺失模式组内平行趋势和缺失率估计组比例,调整Lee界实现因果效应部分识别,且无需处理与缺失模式独立及效应同质假设。
2024-11-27 econ.EM stat.AP stat.ME
Estimating hypothetical estimands with causal inference and missing data estimators in a diabetes trial
本文在2型糖尿病试验中应用假设性策略处理补救治疗与治疗中断,比较混合模型、多重填补、逆概率加权、G公式和G估计等方法,发现估计结果相似,并总结了方法选择的关键考虑因素。
2023-09-22 stat.AP stat.ME
Asymmetric Tri-training for Debiasing Missing-Not-At-Random Explicit Feedback
Tokyo Institute of Technology(东京工业大学)
在大多数真实世界的推荐系统中,观察到的评级数据受到选择偏差的影响,因此数据是非随机丢失的。开发一种方法,以促进学习的推荐与偏见的反馈是最具挑战性的问题之一,因为它是众所周知的,天真的方法下选择偏见往往会导致次优的结果。这个问题的一个行之有效的解决方案是使用倾向评分技术。倾向得分是每个数据被观察到的概率,并且通过用其倾向的倒数对每个数据进行加权,可以进行无偏的性能估计。然而,基于倾向的无偏估计方法的性能往往受到倾向估计模型的选择或高方差问题的影响。为了克服这些局限性,我们提出了一个模型无关的元学习方法的启发非对称三训练框架的无监督领域自适应。该方法利用两个预测器生成具有可靠伪评级的数据,另一个预测器进行最终预测。在理论分析中,一个倾向独立的上界的真实性能指标的推导,它表明,所提出的方法可以最小化这个界限。我们使用公开的真实世界数据集进行全面的实验。研究结果表明,以往的基于倾向的方法在很大程度上受到倾向模型的选择和反向倾向加权引起的方差问题的影响。此外,我们表明,所提出的元学习方法对这些问题是鲁棒的,可以促进从有偏见的显式反馈中制定有效的建议。
2020-06-02 cs.IR cs.LG cs.SI
Nearest Neighbor Imputation for Categorical Data by Weighting of Attributes
缺失值是应用研究各个领域中普遍存在的现象。虽然各种插补方法可用于度量尺度变量,分类数据的方法是稀缺的。最近邻法是一种适用于高维度量尺度变量的插补方法。本文将加权最近邻方法推广到填补分类变量中的缺失值。所提出的方法,称为$\mathtt{wNNSel_{cat}}$,显式地使用属性之间的关联信息。不同插补方法的性能进行了比较的比例错误插补值。仿真结果表明,加权属性产生较小的插补误差比现有的方法。各种真实的数据集被用来支持模拟得到的结果。
2017-10-03 stat.ME
Identification and Estimation of Long-Term Treatment Effects with Monotone Missing
Beijing Technology and Business University(北京技术与商业大学);ByteDance Research(字节跳动研究院);Chinese Academy of Medical Sciences(中国医学科学院)
针对长期处理效应估计中普遍存在但鲜有探讨的单调缺失问题,提出序贯缺失假设进行识别,并开发了逆概率加权、序贯回归插补、SeqMSM及平衡增强方法BalanceNet,有效提升了估计的稳定性和准确性。
2025-04-28 cs.LG stat.ML
On $L_2$-consistency of nearest neighbor matching
有偏抽样和缺失数据使从因果推理到强化学习的统计问题变得复杂。我们经常使用匹配方法和重要性加权来校正汇总统计量的有偏抽样。本文研究了最近邻匹配(NNM),它通过用有偏样本中的最近邻变量代替未观测变量来估计有偏样本的总体数量。我们表明,NNM是$L_2$ -一致的光滑性和有限维有界性假设的情况下。我们讨论了NNM的应用,概述了将这项工作推广到可分度量空间的障碍,并将这一结果与逆概率加权进行了比较。
2022-05-31 math.ST stat.ML stat.TH
Robust location estimators in regression models with covariates and responses missing at random
本文讨论了一般回归模型中响应变量和部分协变量均存在缺失数据时的稳健边际估计问题。目标是通过$M-$函数给出的边缘位置参数。为了得到稳健的Fisher-相合估计量,考虑适当定义的边缘分布函数估计量.这些估计量通过假设随机缺失条件避免了缺失值引起的偏倚。三种方法被认为是估计的边缘分布函数,它允许获得的$M-$的位置感兴趣:众所周知的逆概率加权,卷积为基础的方法,利用回归模型和增强的逆概率加权程序,防止误指定。在不同的缺失模型下,包括干净样本和污染样本,通过数值研究比较了稳健估计和经典估计。我们说明了非线性模型下的估计行为。一个真实的数据集进行了分析。
2020-05-07 stat.ME
Oracle, Multiple Robust and Multipurpose Calibration in a Missing Response Problem
在存在缺失响应的情况下,通过非缺失概率的倒数来重新加权完整案例子样本既直观又易于实现。当某些辅助变量的总体总数已知且包含概率已知时,调查统计学家们已经发展了一些校正方法来提高逆概率加权估计的效率,这些方法可以应用于缺失数据分析。基于模型的校准已在调查抽样文献中提出,其中多维辅助变量首先从工作回归模型总结为预测函数。通常,为每个感兴趣的参数提出一个工作模型,并产生用于估计不同参数的不同校准权重集。本文考虑使用多个工作回归模型估计单个或多个参数的校准。与过度拟合会损害效率的普遍看法相反,我们提出了三个意想不到的结果。首先,当缺失概率被正确地指定,并且假设条件均值的多个工作回归模型时,校准享有预言属性:获得相同的半参数效率界,就好像预先知道真实的结果模型一样。其次,当缺失数据机制被错误指定时,当任何一个结果回归模型被正确指定时,校准仍然可以是相合估计量。第三,可以使用一组公共的校准权重来提高估计多个感兴趣参数的效率,并且可以同时获得所有感兴趣参数的半参数效率界限。我们提供了广泛的一类校准估计,广义经验似然的基础上构建的,许多现有的估计在生物统计学,计量经济学和调查抽样和模拟研究表明,有限样本性质的校准估计符合良好的理论研究结果。
2014-10-15 stat.ME
On Inverse Probability Weighting for Nonmonotone Missing at Random Data
通过逆概率加权(IPW)来解释非单调随机缺失(MAR)数据的相干缺失数据模型的发展至今仍在很大程度上未得到解决。因此,IPW基本上仅限于在单调缺失数据设置中使用。我们提出了一类模型的非单调缺失数据机制,跨越MAR模型,同时允许底层的完整的数据法保持不受限制。对于建议的类内的参数规格,我们引入了一个无约束的极大似然估计的缺失数据的概率,可以很容易地实现使用现有的软件。为了避免潜在的收敛问题与此过程中,我们还引入了贝叶斯约束的方法来估计的缺失数据的过程,这是保证产生的推论,尊重所有模型的限制。标准的IPW估计的效率提高,通过将信息从不完整的情况下,通过一个增广的估计方程,这是最佳的一大类估计方程。我们调查有限样本特性的模拟研究中提出的估计,并说明了新的方法在应用程序中评估早产的婴儿出生的艾滋病毒感染的母亲在博茨瓦纳,非洲的关键相关。
2015-10-17 math.ST stat.AP stat.ME
Non-compliance and missing data in health economic evaluation
卫生经济学评价面临着不合规和数据缺失数据的问题。在这里,不依从定义为不依从特定治疗,并且发生在随机对照试验(RCT)中,当参与者偏离其随机分配时。例如,如果失访、调查无应答或常规数据来源提供的信息不完整,则会出现缺失数据。已经开发了处理不依从和缺失数据的适当统计方法,但它们很少应用于卫生经济学研究。在这里,我们说明了这些问题,并概述了一些适当的方法来处理这些应用程序的卫生经济学评价,使用数据从随机对照试验。在随机对照试验中,随机分配可用作治疗接受的工具,以获得符合基本假设的复杂平均因果效应的相合估计。工具变量方法可以适应卫生经济背景的基本特征,例如成本效益研究中个人成本与结果之间的相关性。处理缺失数据的方法指南鼓励采用多重插补或逆概率加权等方法,这些方法假设数据为随机缺失,但也鼓励进行敏感性分析,根据真实的未观察值(即非随机缺失)识别数据可能缺失。未来的研究应将处理不依从性和缺失数据的方法背后的假设进行彻底的敏感性分析。现代机器学习方法可以帮助减少对正确模型规范的依赖。需要进一步研究,以制定灵活的方法,处理更复杂形式的不遵守和缺失数据。
2019-02-24 stat.AP
Stochastic Doubly Robust Gradient
T-Brain AI Center(T-Brain人工智能中心);SK telecom(SK电信);Carnegie Mellon University(卡内基梅隆大学);Superb AI(卓越人工智能)
当用观测数据训练机器学习模型时,经常会遇到一些值系统性缺失的情况。不完全数据的缺失度依赖于某些协变量,从这些数据中学习可能导致参数估计有偏,甚至损害决策结果的公平性。提出了在使用随机梯度下降(SGD)训练模型时,如何调整协变量对缺失的因果效应。受双重稳健估计的设计及其双重稳健性的理论性质的启发,我们引入了随机双重稳健梯度(SDRG),它由两个模型组成:用于逆倾向评分加权的权重校正梯度和用于回归调整的每协变量控制变量。此外,我们确定了双鲁棒性和方差减少SGD之间的连接,通过展示SDRG算法与方差减少SGD的统一框架。我们的方法的性能进行了实证测试,显示在训练图像分类器的收敛与丢失数据的几个例子。
2018-12-21 cs.LG stat.ML
Unbiasing and robustifying implied volatility calibration in a cryptocurrency market with large bid-ask spreads and missing quotes
我们设计了一种新的校准程序,旨在处理加密货币市场上期权的特定特征,即大的买卖价差和所考虑的数据集中缺失或不一致价格的可能性。我们表明,这种校准过程是显着更强大和准确的比标准的贸易和中间价格的基础上。
2022-07-06 q-fin.PR stat.ME
Two-Sample Testing with Missing Data via Energy Distance: Weighting and Imputation Approaches
本文针对含缺失数据的双样本检验问题,提出基于能量距离的加权检验统计量及相应重抽样方法,并设计适用于插补样本的自助法,通过模拟给出不同场景下的使用建议。
2025-08-15 math.ST stat.CO stat.ME
Debiased calibration estimation using generalized entropy in survey sampling
本文提出以广义熵为目标函数、将设计权重置于约束中的新型校准加权框架,并确定最优广义熵选择以实现最小方差,从而改进调查抽样中的辅助信息利用效率。
2025-05-11 stat.ME
Conformal Inference For Missing Data under Multiple Robust Learning
针对 MAR 缺失数据,本文提出结合分割保形校准与多重稳健 EL 重加权的 CM--MRL,实现可靠边际与条件覆盖及区间长度占优。
2025-10-20 stat.ME
Kpop: A kernel balancing approach for reducing specification assumptions in survey weighting
针对调查加权中校准权重依赖线性函数设定的问题,本文提出 kpop 核平衡方法,用核矩阵匹配目标总体以实现对多种平滑函数的稳健校准,并在2016年美国大选民调数据中验证。
2024-03-02 stat.ME
Survey data integration for regression analysis using model calibration
我们在数据集成的背景下考虑回归分析。为了结合来自外部来源的部分信息,我们采用了模型校准的思想,该思想引入了基于观测协变量的“工作”简化模型。工作简化模型不一定是正确指定的,但可以是一个有用的设备,以纳入部分信息从外部数据。实际的实施是基于一个新的应用程序的信息投影和模型校准加权。所提出的方法是特别有吸引力的组合信息从几个来源与不同的缺失模式。该方法应用于一个真实的数据实例,结合韩国国民健康和营养检查调查的调查数据和韩国国民健康保险共享服务的大数据。
2022-10-12 stat.ME
Matrix Completion under Low-Rank Missing Mechanism
Fudan University(复旦大学);Texas A&M University(德州农工大学);Peking University(北京大学)
矩阵完备化是一个现代的缺失数据问题,其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分,现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中,我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵,并进一步通过逆概率加权来完成目标矩阵。由于高维和极端(即,非常小)的真实概率矩阵的性质,需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Locally Equivalent Weights for Multilevel Regression and Poststratification
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校)
提出多层回归与事后分层(MrP)的局部等价权重(MrPlew),将MrP表示为与校准权重局部等价的加权估计量,从而支持方差估计、协变量平衡和子组贡献等诊断,并证明其渐近性质。
2026-06-02 stat.ME
Calibration of prediction rules for life-time outcomes using prognostic Cox regression survival models and multiple imputations to account for missing predictor data with cross-validatory assessment
Leiden University Medical Center(莱顿大学医学中心)
在本文中,我们扩大了方法,在Mertens等。al(2020,Biometrical Journal)的研究,该研究受删失的影响,并且当插补用于解释缺失值时。我们考虑的问题,缺失值可能会发生在校准数据以及新的预测观测(验证)。我们关注的是考克斯模型。描述了在删失的生存建模中将插补与预测校准相结合的方法。交叉验证的应用进行了讨论。我们展示了结论如何广泛地证实了第一篇仅限于二元结果研究的论文。具体来说,预测平均似乎具有优越的统计特性,特别是较小的预测变化,而不是直接应用鲁宾的规则。当使用鲁宾的基于规则的方法时,讨论了处理基线危险的不同方法。
2021-05-04 cs.LG stat.AP stat.ME
Variable Selection for Additive Partial Linear Quantile Regression with Missing Covariates
标准分位数回归模型假设在感兴趣的分位数处存在线性关系,并且观察到所有变量。我们通过考虑部分线性模型来放松这些假设,同时允许缺失线性协变量。为了处理由缺失数据引起的潜在偏差,我们提出了一个加权的目标函数,使用逆概率加权。我们的工作检查估计使用参数和非参数估计的缺失概率。对于存在缺失数据的线性项的变量选择,我们考虑使用非凸惩罚MCP或SCAD的惩罚和加权目标函数。在标准条件下,我们证明了惩罚估计的Oracle属性,包括情况下,$p>>n$。理论上的挑战包括处理缺失数据和部分线性模型,同时使用非光滑损失函数和非凸罚函数。使用蒙特卡罗模拟和我们的方法进行评估的方法的性能被施加到模型的时间量清醒的患者离开康复中心。
2016-06-04 stat.ME
Investigating an Alternative for Estimation from a Nonprobability Sample: Matching plus Calibration
将非概率样本与概率样本相匹配是选择非概率单位和对它们进行加权的一种策略。过去曾采用这一方法从一大批志愿者中挑选子样本。这里介绍的一种加权方法是,在非概率样本中为一个单元分配概率样本中与之匹配的权重。所得估计量的性质取决于概率样本权重是否为选择概率的逆或是否经过校准。此外,不完全匹配可能导致匹配样本的估计值存在偏差,因此需要调整其权重,特别是当志愿者小组规模较小时。与匹配相结合的校准加权是校正偏差和减少方差的一种方法。我们探索的理论性质的匹配和匹配,校准估计相对于一个quasirandomization分布,假设描述如何在nonprobability样本中的单位观察,一个superpopulation模型的分析变量收集在nonprobability样本,和随机化分布的概率样本。使用2015年美国行为风险因素监测调查的模拟和真实数据进行数值研究,以检查替代估计的性能。
2021-12-01 math.ST stat.ME stat.TH
Matrix Completion with Model-free Weighting
Texas A&M University(德州农工大学);Fudan University(复旦大学);University of Washington(华盛顿大学)
本文提出了一种在一般非一致缺失结构下的矩阵补元方法。通过控制一个新的平衡误差的上界,我们构造的权重,可以主动调整的非均匀性的经验风险,而不明确建模的观察概率,并可以通过凸优化有效地计算。恢复矩阵的基础上提出的加权经验风险享有吸引人的理论保证。特别是,所提出的方法实现了更强的保证比现有的工作方面的缩放相对于观测概率,渐近异构缺失设置(其中条目明智的观测概率可以是不同的顺序)。这些设置可以被认为是一个更好的理论模型的丢失模式与高度变化的概率。我们还提供了一个新的极大极小下界下的一类异构设置。数值实验也证明了所提出的方法的有效性。
2021-06-09 cs.LG math.ST stat.ME
Construction and assessment of prediction rules for binary outcome in the presence of missing predictor data using multiple imputation: theoretical perspective and data-based evaluation
我们调查的问题,校准和评估的预测规则在预后设计时,缺失值存在于预测。我们的论文有两个关键目标,这是概括的。第一个是研究如何将预测规则的校准与使用多重插补相结合,以解释缺失的预测值。第二个目标是提出这样的方法,可以实现与当前的多重插补软件,同时允许无偏的预测评估,通过验证新的观察结果还没有。为了告知方法的定义,我们首先回顾了多重插补作为模型估计方法的理论背景,而不是纯粹的算法描述。我们特别对比应用多重插补进行参数(效应)估计和预测校准。基于这一审查,制定了两种方法,其中第二个利用经典的鲁宾规则的应用程序的参数估计,而第一种方法的平均概率从模型拟合单插补直接近似的预测密度为未来的观察。我们目前的实现使用当前的软件,允许验证或交叉验证的性能指标的估计,以及插补的缺失数据预测未来的数据,结果是根据定义,尚未观察到的。尽管所讨论的原则是普遍适用的,但我们始终将讨论限制在二元结果和逻辑斯谛回归上。我们提出了两个数据集作为我们的定期咨询实践的例子。结果表明,方法之间的准确性差异不大,但使用第一种方法时,校准概率的变化大幅减少。
2018-10-11 stat.ME
Doubly Robust-Based Generalized Estimating Equations for the Analysis of Longitudinal Ordinal Missing Data
广义估计方程(GEE)是一种用于分析非高斯纵向数据的众所周知的方法。该方法具有计算简单和边缘参数解释。但是,在存在缺失数据的情况下,仅在完全随机缺失(MCAR)的强假设下有效。当缺失数据机制为随机缺失(MAR)时,可以进行一些校正:逆概率加权(WGEE)和多重插补(MIGEE)。为了获得相合估计,有必要对WGEE的权重模型或MIGEE的插补模型进行正确说明。最近的一种方法结合了这两种方法的思想,具有双重鲁棒性。为了保持一致性,它只要求权重或插补模型正确。本文假设比例优势模型,在MAR机制下,对具有间歇缺失响应和协变量的有序纵向数据提出了一个双稳健估计。仿真结果表明,所提出的方法相比WGEE和MIGEE的性能更好。该方法适用于分娩镇痛研究相关的数据集。
2015-06-15 stat.ME
Sensitivity analysis for inverse probability weighting estimators via the percentile bootstrap
为了确定缺失数据问题和观察性研究中的被估量,通常将统计估计建立在“随机缺失“和“无未测量混杂因素”假设的基础上。然而,这些假设是无法验证的经验数据,并构成严重威胁的有效性定性结论的统计推断。敏感性分析询问如果无法验证的假设在一定程度上被违反,结论可能如何改变。在本文中,我们考虑了一个边际敏感性模型,这是一个自然的延伸Rosenbaum的敏感性模型,被广泛用于匹配的观察性研究。我们的目标是构建基于逆概率加权估计的置信区间,使得当数据生成分布在边际敏感性模型的集合中时,该区间渐近地至少具有被估量的名义覆盖。我们使用一个百分位自助和广义极大极小/极大极小不等式,将这个棘手的问题转化为一个线性分式规划问题,可以非常有效地解决。我们说明了我们的方法,使用一个真实的数据集来估计的因果关系的影响,鱼类消费对血液中的汞水平。
2018-10-08 math.ST stat.ME stat.TH
weightflow: declarative, recipe-aware survey weighting in R
Instituto Nacional de Estadística (INE), Uruguay(乌拉圭国家统计研究所)
研究为复杂调查生成权重的方法,提出 Weightflow 包,通过声明式 API 构建权重,将定义与应用分离,可重现可审计,能传播各阶段不确定性,实现多种校准及调整,经验证在实际数据中能恢复已知贫困率。
2026-07-10 stat.CO stat.ME