Random nonlinear model with missing responses
研究了一类响应变量随机缺失的非线性模型。为了提高覆盖精度,考虑了经验似然比(EL)方法。如果在完全数据上使用最小二乘(LS)或最小绝对偏差(LAD)方法估计参数,则EL统计量及其近似值的渐近分布为$χ^2$。当使用半参数方法重建响应时,插补数据相关的经验对数似然也渐近为$χ^2$。对于响应变量上的参数,EL的Wilk定理也得到了满足。通过蒙特卡罗模拟表明,EL方法在覆盖概率方面优于基于正态近似的方法,并包括在重构数据上。所提出的方法的优点是例证的实际数据。
2010-05-18 stat.ME
Handling Missing Responses under Cluster Dependence with Applications to Language Model Evaluation
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文针对语言模型评估中人类标注缺失和集群依赖问题,分析双重稳健估计器并建立新理论性质,通过模拟和真实数据验证,强调集群依赖对有效推断的重要性。
2025-10-23 stat.ME
Multistage Estimators for Missing Covariates and Incomplete Outcomes
我们研究多个缺失的协变量和部分观察到的反应的问题。我们开发了一个新的框架来处理复杂的缺失协变量的情况下,通过逆概率加权,回归调整,和一个乘法稳健的程序。我们将我们的框架应用于三个经典问题:来自生存分析的Cox模型、缺失响应和来自因果推断的二元处理。我们还讨论了如何处理这些情况下缺失的协变量,并开发相关的识别理论和渐近理论。我们将我们的程序应用于模拟和阿尔茨海默病数据集,并获得有意义的结果。
2021-11-03 stat.ME
Change-Point Detection in Dynamic Networks with Missing Links
本文针对具有缺失连边的动态网络,提出基于矩阵CUSUM统计量的变点检测方法,证明其极小极大最优性和对缺失连边的稳健性,并通过模拟与真实数据验证其有效性。
2025-03-13 math.ST stat.TH
Efficiently estimating the error distribution in nonparametric regression with responses missing at random
本文考虑了具有多元协变量和响应随机随机缺失的非参数回归模型。我们估计的回归函数与局部多项式平滑。残差为基础的经验分布函数,只使用完整的情况下,即残差,实际上可以从数据中构建,被证明是有效的意义上的Hájek和Le Cam。在证明中,我们得出,更一般地说,有效的影响函数估计任意线性泛函的误差分布,这涵盖了分布函数作为一种特殊情况。我们还表明,完整的情况下基于残差的经验分布函数承认一个功能中心极限定理。最后,本文进行了一个小型模拟研究,调查了完整案例基于残差的经验分布函数的性能。
2016-10-26 stat.ME
IRTCI: Item Response Theory for Categorical Imputation
Northwestern University(西北大学)
大多数数据集都存在部分或完整的缺失值,这对测试数据的可用模型以及可以从数据中进行的任何统计推断具有下游限制。已设计了几种插补技术,用替代值替换缺失数据。各种方法对计算临床评分、模型构建和模型检验具有影响。这里展示的工作提供了一种基于项目反应理论(IRT)的分类插补的新方法,并将其与机器学习领域目前使用的几种方法进行了比较,包括k-最近邻(kNN),多重插补链式方程(MICE)和Amazon Web Services(AWS)深度学习方法Datawig。比较这些技术的分析进行了三个不同的数据集,代表序数,名义和二进制类别。对数据进行了修改,使其在数据缺失比例和缺失数据的系统化方面也有所不同。进行了两种不同的性能评估:重现缺失值的准确性和使用插补数据的预测性能。结果表明,新的方法,项目反应理论分类插补(IRTCI),表现相当不错,目前使用的方法相比,在许多情况下,优于他们中的几个。鉴于新方法的理论基础,以及用于确定缺失细胞类别归属的概率项的独特生成,IRTCI为当前方法提供了一种可行的替代方案。
2023-02-08 cs.LG stat.ML
Generalized Method of Moments Estimator Based On Semiparametric Quantile Regression Imputation
在这篇文章中,我们考虑一种插补方法来处理基于半参数分位数回归估计的缺失响应值。在所提出的方法中,缺失的响应值生成使用估计的条件分位数回归函数在给定的协变量值。我们采用广义矩量法估计的参数定义通过一个一般的估计方程。我们证明了所提出的估计,它结合了半参数分位数回归插补和广义矩方法,具有竞争优势,对一些最广泛使用的参数和非参数插补估计。证明了估计量的相合性和渐近正态性,并给出了方差估计。有限的模拟研究和实证研究的结果,显示所提出的方法的充分性。
2014-04-11 math.ST stat.TH
Evaluation of missing data mechanisms in two and three dimensional incomplete tables
不完全列联表的分析是一个实际而有趣的问题。在本文中,我们提供了一个变量的响应和不响应的赔率为二维和三维不完整的表的各种缺失机制的表征。对数线性参数化和一些独特的性质的缺失数据模型的上述表进行了讨论。考虑了一个、两个或所有变量数据可能缺失的所有可能情况。我们研究了模型中每个变量的缺失情况,这对于分析交叉分类数据比结果向量的缺失情况更有洞察力。对于不完整表格的敏感性分析,我们提出了易于验证的方法来评估缺失数据模型的随机缺失(MAR)、完全随机缺失(MCAR)和非随机缺失(NMAR)假设。这些方法只依赖于联合和边际赔率计算完全和部分观察计数表中,分别。最后,一些现实生活中的数据集进行了分析,以说明我们的结果,这是基于模拟研究证实。
2018-11-23 stat.ME
Semiparametric response model with nonignorable nonresponse
在缺失数据的统计分析中,如何处理不可解释的响应是一个具有挑战性的问题。响应机制的参数模型假设经常被做出,并且没有办法用缺失数据来验证模型假设。我们考虑一个半参数响应模型,放松了响应机制中的参数模型假设。本文提出了两类有效的估计量:剖面极大似然估计量和剖面校正估计量,并研究了它们的渐近性质。两个广泛的模拟研究与现有的一些方法进行比较。我们提出了一个应用程序,我们的方法使用韩国劳动和收入面板调查数据。
2018-10-30 stat.ME
A Unified Framework for Heterogeneity, Contamination, and Missing Data in Multivariate Regression
Rowan University(罗文大学);San José State University(圣何塞州立大学);University of Catania(卡塔尼亚大学)
本文提出统一框架,扩展CG-CWM模型以处理多元回归中的异质性、缺失与污染问题,通过ECM算法完成估计,经数值研究与实际数据验证性能。
2026-08-27 stat.ME
Semi-supervised linear regression with missing covariates
Department of Statistics, University of Warwick(华威大学统计系)
本文提出半监督线性回归方法,处理缺失协变量问题,通过填补和加权步骤提供估计器,并在稀疏和非稀疏情况下证明了最优性。
2026-02-14 math.ST stat.ME stat.TH
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型,提出基于无偏估计方程和块状插补的高效估计器,并利用创新的投影估计方程技术构建渐近正态的去偏估计器,从而实现有效的置信区间和统计检验,在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Imputation of Public Opinion Data with Large Language Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Mannheim(曼海姆大学);Institute for Employment Research (IAB)(就业研究所(IAB));University of Maryland, College Park(马里兰大学帕克分校)
提出通过上下文学习(ICL)插补调查缺失数据,在150个意见变量上评估,相比MICE PMM方法,在所有缺失机制下绝对误差更低,尤其非随机缺失时优势显著。
2026-11-02 cs.CL stat.ME
Likelihood-based Missing Data Analysis in Crossover Trials
针对交叉试验基因表达数据中的缺失问题,采用基于 Monte Carlo EM 的技术进行参数估计,并开发 MCEM 似然比检验来检验固定效应,通过模拟研究验证了方法的有效性。
2023-04-08 stat.AP stat.ME
Group Efficient Randomized-Adaptive Designs with Delayed and Missing Responses
School of Statistics and Data Science, Zhejiang Gongshang University(浙江工商大学统计与数据科学学院)
提出一种基于ERADE的群组响应自适应设计,通过固定时间间隔招募和动态更新分配概率,处理延迟和缺失响应,保留原设计的渐近性质。
2026-06-18 math.ST stat.TH
Quantile regression for longitudinal data: unobserved heterogeneity and informative missingness
线性分位数回归模型旨在提供(条件)响应分布作为一组观察到的协变量的函数的详细且稳健的图像。纵向数据代表了这类模型的一个有趣的应用领域;由于其特有的特征,它们代表了一个实质性的挑战,因为需要扩展标准的横截面模型表示来处理这类数据。事实上,来自同一个统计单位的重复观察会带来依赖性问题;从条件的角度来看,这种依赖性可以归因于未观察到的个体特异性异质性来源。沿着这些路线,分位数回归模型最近已扩展到纵向,连续,响应的分析,通过时间常数或随时间变化的随机效应的依赖性建模。在这篇手稿中,我们介绍了一个一般的分位数回归模型的纵向,连续的,响应时变和时间常数的随机参数共同考虑。纵向设计的另一个特征是存在部分不完整的序列,这是由于一些个体在设计结束前离开研究。缺失数据处理可以产生可以关于纵向数据模型的参数提供信息的单元的选择。为了处理不可挽回的辍学的情况下,我们引入了一个模式混合版本的线性分位数隐马尔可夫模型,在那里我们占随时间变化的异质性和固定效应向量的变化,由于差分倾向留在研究。所提出的模型说明使用一个众所周知的基准数据集的纵向动态的CD 4细胞,并通过一个大规模的模拟研究,需要不同的分位数和完整的和部分完整的(即受辍学)的个人序列。
2015-07-29 stat.ME
Full Law Identification under Missing Data with Categorical Variables
本文研究含分类变量的图形缺失数据模型中colluder导致全法则不可识别的问题,给出任意分类变量下全法则可识别的充要条件,并用模拟与真实数据验证最大似然估计。
2024-07-03 stat.ME
Estimation with missing not at random binary outcomes via exponential tilts
本文针对二元结果的非随机缺失问题,提出基于指数倾斜的估计方法,无需无应答工具变量或影子变量,并给出可识别性条件、估计算法及重要性加权与双重稳健估计量,在Waterbirds数据集上验证了无监督迁移学习性能接近金标准。
2025-02-09 stat.ME
Boosting prediction with data missing not at random
University of Western Ontario(韦仕敦大学)
本文提出基于半参数估计的 boosting 预测方法,通过调整损失函数以应对数据缺失问题,提升预测性能。
2026-02-16 stat.ME
Empirical likelihood confidence regions for the parameters of a two phases nonlinear model with and without missing response data
本文利用经验似然法构造随机设计的两相非线性模型参数间差异的置信区域。我们表明,经验的似然比有一个渐近卡方分布。其结果是威尔克定理的非参数版本。经验似然法也被用来构造响应变量随机缺失的两阶段非线性模型的参数之差的置信区域。为了构造参数的置信区域,我们提出了三种经验似然统计量:基于完全数据的经验似然、加权经验似然和带插补值的经验似然。我们证明,所有三个经验似然比有渐近卡方分布。通过Monte-Carlo仿真验证了所提方法在覆盖概率和区间长度方面的有效性。
2015-02-17 math.ST stat.TH
Estimating linear functionals in nonlinear regression with responses missing at random
我们考虑具有参数(线性或非线性)回归函数的回归模型,并允许响应随机缺失。我们假设误差的均值为零,并且与协变量无关。为了估计协变量和响应函数的期望,我们使用完全插补估计量,即基于给定协变量的条件期望估计量的经验估计量。我们利用协变量和误差的独立性,将条件期望写成无条件期望,现在可以由经验插件估计器估计。通过添加适当的基于残差的权重,利用对误差分布的平均零约束。我们证明,估计是有效的(在意义上的Hájek和Le Cam),如果使用一个有效的估计参数。我们的研究结果产生了新的有效的估计平滑变换的期望。估计的平均响应作为一个特殊的(退化)的情况下进行了讨论。
2009-08-21 math.ST stat.TH
Balancing Weights for Non-monotone Missing Data
针对非随机缺失下的非单调缺失数据问题,提出基于模式间矩平衡与函数基展开的平衡权重估计方法,通过惩罚项控制平滑度与不平衡性,证明其渐近性质并通过仿真验证了优越性能。
2024-12-12 stat.ME
Efficient nonparametric estimation of the covariate-adjusted threshold-response function, a support-restricted stochastic intervention
确定标志特定风险水平的生物标志物或治疗剂量阈值是一个重要问题,特别是在临床试验中。这种风险被视为阈值的函数,并可能对协变量进行调整,我们称之为阈值响应函数。扩展Donovan,Hudgens和Gilbert(2019)的工作,我们提出了协变量调整阈值响应函数的非参数有效估计器,该估计器利用机器学习和目标最小损失估计(TMLE)。我们还提出了一个更一般的估计,序贯回归的基础上,也适用于当有结果缺失。我们表明,对于给定的阈值的阈值响应可以被视为随机干预下的预期结果,其中所有参与者都被给予高于阈值的治疗剂量。我们证明了估计量是有效的,并刻画了它的渐近分布。给出了同时构造阈值响应函数及其逆函数的95%置信带的方法。此外,我们讨论了如何调整我们的估计时,治疗或生物标志物是随机缺失,是在临床试验中的情况下,有偏抽样设计,使用逆概率加权。这些方法在一组不同的模拟环境中进行评估,这些模拟环境具有罕见的结果和累积的病例对照抽样。该方法用于估计CYD14和CYD15登革热疫苗试验中病毒学确认的登革热风险的中和抗体阈值。
2023-03-03 stat.ME
Deeply-Learned Generalized Linear Models with Missing Data
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出深度学习广义线性模型架构dlglm,可灵活处理训练时输入特征和响应中的可忽略与不可忽略缺失模式,并通过模拟和Bank Marketing案例验证其在MNAR缺失下优于现有方法。
2023-10-26 cs.LG stat.CO stat.ME
Conformal Prediction with Missing Values
Electricité De France R&D(法国电力公司研发部);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);École polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Technion - Israel Institute of Technology(以色列理工学院)
针对协变量缺失导致保形预测条件覆盖失效的问题,提出缺失数据增强的广义保形分位数回归框架,实现按缺失模式和逐点有效覆盖,并通过理论、线性模型及合成与重症监护数据验证。
2023-06-05 cs.LG stat.ML
A Note on Ising Network Analysis with Missing Data
针对缺失数据妨碍 Ising 模型伪似然推断、成列删除易致偏差的问题,提出结合迭代插补的条件贝叶斯框架,并辅以 Pólya-Gamma 增广与渐近理论,经模拟和 NESARC 数据验证有效。
2024-03-27 stat.ME
Missing at random, likelihood ignorability and model completeness
本文对不完全数据分析中随机缺失(MAR)的关键概念作了进一步的探讨。按照通常的选择建模方法,我们设想两个模型的参数可分离:一个模型的响应的兴趣和模型的缺失数据机制(MDM)。如果响应模型是由一个完整的密度族给出的,那么忽略MDM的似然函数的频率论推断是有效的,当且仅当MDM是MAR。这个充要条件也更普遍地适用于粗糙数据的模型,如删失。给出的例子来显示的必要性的基本模型的完整性,这种等价举行。
2004-06-23 math.ST stat.TH
kNNSampler: Stochastic Imputations for Recovering Missing Value Distributions
SAP Labs France(SAP法国实验室);EURECOM
kNNSampler通过随机采样最相似单元的观测响应来填补缺失值,能够估计缺失值的条件分布并用于多重填补。
2025-12-02 cs.LG math.ST stat.ME
On regression and classification with possibly missing response variables in the data
本文考虑了核回归和分类的问题,可能无法观察到的响应变量的数据,其中的机制,导致信息的缺失是未知的,可以依赖于预测和响应变量。我们所提出的方法包括两个步骤:在第一步中,我们构建了一个家庭的模型(可能是无限维的)索引的未知参数的缺失概率机制。在第二步中,执行搜索以在最小化均方预测误差的意义上找到基础家族的适当覆盖(或子类)的经验最优成员。本文的主要重点是研究这些估计的理论性质。可识别性的问题也得到了解决。我们的方法使用了一个数据分割的方法,这是很容易实现的。我们还得到指数界的性能估计的偏差,从真正的回归曲线一般Lp规范,我们也允许的覆盖或子类的大小发散的样本量n的增加。这些界限立即产生各种强收敛的结果所提出的估计。作为我们的研究结果的应用,我们考虑的问题,统计分类的基础上提出的回归估计,并期待在不同的设置下,他们的收敛速度。虽然这项工作主要是核型估计,他们也可以扩展到其他流行的本地平均方法,如最近邻估计,直方图估计。
2022-12-06 math.ST stat.TH
Correcting for Selection Bias and Missing Response in Regression using Privileged Information
针对不可忽略的响应缺失与选择偏差,本文提出利用训练期特权信息形成 PMAR 条件,并给出重复回归、重要性加权及双重稳健方法,实验表明其校正偏差效果显著。
2023-06-12 math.ST stat.ML stat.TH
Identification enhanced generalised linear model estimation with nonignorable missing outcomes
针对不可忽略缺失数据导致的偏差问题,本研究提出基于观测部分分布建模并推导无需工具变量的模型可识别性充分条件,结合实用指南与敏感性分析,在广义线性模型框架下实现了稳健估计,并通过数值研究与真实数据验证了方法的有效性。
2024-12-26 math.ST stat.ME stat.TH
A General Family of Estimators for Estimating Population Mean in Systematic Sampling Using Auxiliary Information in the Presence of Missing Observations
本文在Khoshnevisan等人(2007)提出的估计族的基础上,提出了一个一般的估计族,用于在存在无响应的情况下估计系统抽样中的总体均值。在本文中,我们讨论了建议的家庭,包括最佳性的一般性质。结果已经说明了数值上采取的经验人口在文献中考虑。
2013-05-08 math.ST stat.TH
Extreme-PLS with missing data under weak dependence
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、拉让数学实验室);Modal’X, Université Paris Nanterre(模态X实验室、巴黎楠泰尔大学)
本文针对含缺失数据和弱时间相依性的场景扩展Extreme-PLS方法,构建理论框架并确立估计量渐近一致性,实验验证其在重尾、相依及缺失数据下的稳健性,真实应用证实其恢复尾部方向的能力。
2025-11-14 math.ST stat.ME stat.TH
Envelope Methods with Ignorable Missing Data
包络方法是近年来提出的一种降低多元回归响应维数的方法。然而,当存在缺失数据时,使用完整情况观测值的包络方法可能导致有偏和低效的结果。本文推广了预测变量和响应变量随机缺失时的包络估计。具体来说,我们将包络结构的期望最大化(EM)算法。由于包络法下的参数不是逐点可识别的,因此包络法的期望最大化算法不是直接的,并且需要特殊的分解。我们的方法保证是更有效的,或至少一样有效,标准的期望最大化算法。此外,我们的方法有可能优于全数据MLE。我们给出了我们的方法在正常和非正常情况下的渐近性质。在模拟研究和慢性肾功能不全队列(CRIC)研究的应用中证实了标准EM的效率增益。
2021-03-24 math.ST stat.CO stat.ME
Scalable Interpretable Learning for Multi-Response Error-in-Variables Regression
包含噪声或缺失观测值的损坏数据集在各种当代应用中普遍存在,例如经济学,金融学和生物信息学。尽管最近在高维多响应回归的方法和算法方面取得了进展,但如何在污染协变量下实现可扩展和可解释的估计尚不清楚。在本文中,我们提出了一种新的方法称为凸条件序贯稀疏学习(COSS)的误差在变量的多响应回归下添加测量误差和随机缺失数据。它结合了最近发展的序贯稀疏因子回归和最近的半正定矩阵投影的优势,从而在大规模关联分析中享有逐步凸性和可扩展性。提供了全面的理论保证,我们通过数值研究证明了所提出的方法的有效性。
2020-05-11 math.ST stat.AP stat.ME
Pattern graphs: a graphical approach to nonmonotone missing data
我们引入了模式图的概念--有向无环图表示响应模式是如何关联的。模式图表示非参数识别/饱和的识别限制,并且通常是非随机缺失限制。我们介绍了选择模型和模式混合模型配方使用的模式图,并表明它们是等价的。模式图导致逆概率加权估计以及基于估算的估计。我们还研究了半参数有效性理论,并利用模式图得到了一个多重稳健估计。
2020-12-03 math.ST stat.ME stat.TH
Full-semiparametric-likelihood-based inference for non-ignorable missing data
在过去的几十年里,缺失数据问题得到了广泛的研究,重点是可验证的缺失情况,其中缺失概率仅取决于可观测量。相比之下,对不可解释的缺失数据问题的研究相当有限。解决这类问题的主要困难在于,在似然表示中,缺失概率和回归似然函数纠缠在一起,并且即使在强参数模型假设下,模型参数也可能无法识别。本文讨论了一类不可估计缺失数据的半参数模型,提出了一种极大全半参数似然估计方法,它是参数条件似然和边际非参数有偏抽样似然的有效组合。额外的边际似然贡献不仅可以产生效率增益,而且可以识别潜在的模型参数,而无需额外的假设。我们进一步表明,所提出的估计的基本参数和响应均值是半参数有效的。大量的模拟和实际数据分析表明,该方法的优势,竞争的方法。
2019-08-04 math.ST stat.ME stat.TH
Estimation beyond Missing (Completely) at Random
Statistical Laboratory, University of Cambridge(剑桥大学统计实验室)
本文研究了缺失对总体参数估计的影响,提出了一种扩展的Huber任意ε污染模型,展示了在平方欧几里得误差损失下,最小最大分位数的分解形式,并改进了非参数和参数类别的最小最大性能。
2026-04-27 math.ST stat.ME stat.TH
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT(麻省理工学院)
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中,分析师有机会获得一个选定的样本,而不是一个随机样本,只有选择观察,观察的结果。我假设选择与随机一样好,条件是治疗和一组足够丰富的观察到的协变量,其中允许协变量引起治疗或由治疗引起-随机缺失(MAR)的扩展。我提出了估计的手段,增量和分布的反事实的结果与封闭形式的解决方案,在核矩阵运算,允许治疗和协变量是离散的或连续的,低,高,或无限维。对于连续治疗的情况下,我证明了一致的一致性与有限的采样率。对于离散处理的情况下,我证明根-n的一致性,高斯近似,和半参数效率。
2021-11-09 cs.LG econ.EM math.ST