On the role of parametrization in models with a misspecified nuisance component
本文研究模型冗余部分任意误设时,感兴趣参数最大似然估计保持一致所需的模型结构,并通过对称参数化统一和拓展配对比较与两分组问题的条件。
2024-08-04 math.ST stat.TH
Orthogonal Causal Calibration
Stanford University(斯坦福大学);Meta Research(Meta研究院);Carnegie Mellon University(卡内基梅隆大学)
针对因果参数估计量缺乏校准方法的问题,提出通用算法将因果校准转化为标准预测模型校准,基于正交性条件设计算法并证明其收敛性,适用于任意现有校准算法。
2025-04-30 cs.LG math.ST stat.ME
Quantifying nuisance parameter effects via decompositions of asymptotic refinements for likelihood-based statistics
在存在冗余参数的情况下对标量兴趣参数的准确推断可使用经调整版本的带符号根似然比统计(具体来说,Barndorff-Nielsen的$R^*$统计)来获得。由该统计量进行的调整可以分解为两项的和,解释为分别校正冗余参数的可能影响和与带符号根似然比统计量本身的标准正态性的偏差。我们表明,调整项被确定为二阶的样本量由他们的手段。得到了这些平均值的渐近展开中首项的显式表达式。这些是容易计算的,从而允许量化和解释两个调整的相应效果,特别是高维冗余参数的效果的简单方式。插图给出了一些例子,这提供了理论上的洞察力参数推断的冗余参数的效果。该分析提供了涉及两个项的有符号根统计量的平均值的分解:第一项具有无论是否有滋扰参数或是否有正交冗余参数都取相同值的属性,而第二项在没有冗余参数时为零。类似的分解讨论的Bartlett校正因子的似然比统计量,并为其他渐近标准的正常枢轴。
2015-03-19 math.ST stat.TH
Projected likelihood contrasts for testing homogeneity in finite mixture models with nuisance parameters
本文研究了有限混合模型的齐性检验问题,其中混合比例是先验已知的(取为0.5),并且存在一个公共的冗余参数。基于投影似然对比(PLC)的概念的统计检验被认为是。PLC是对通常的似然比统计量或Wilk的$Λ$的轻微修改,并且在精神上类似于Rao的得分检验。已经进行了理论研究,以了解这些测试的大样本统计特性。已经进行了模拟研究,以了解在具有未知均值(共同方差作为冗余参数)和未知方差(共同均值作为冗余参数)的高斯混合物的情况下PLC统计的零分布的行为。计算结果与理论结果一致。这些测试的幂函数已被评估的基础上从高斯混合物的模拟。
2008-05-16 math.ST stat.ME stat.TH
Reference priors of nuisance parameters in Bayesian sequential population analysis
为模拟贝叶斯渔业种群模型的自然波动或参数的不确定性而引出的先验分布,可以在大量的统计规律中选择。由于统计框架是由观测过程确定的,因此观测参数进入估计,必须被视为随机的,类似于种群水平或实际渔获量等参数或感兴趣的状态。因此,前者被认为是冗余参数,其值与所考虑的实验有内在联系,这也需要无信息的先验。在渔业研究中,Millar(2002年)提出Jeffreys的方法是一种引出这种先验的实用方法。然而,它们可能在多参数上下文中呈现错误的属性。因此,我们建议使用Berger和Bernardo提出的启发式方法,以避免Jeffreys先验提出的悖论结果。这些基准先验是在序贯总体分析的框架中得出的。
2010-10-11 math.ST stat.TH
Nuisance parameters and elliptically symmetric distributions: a geometric approach to parametric and semiparametric efficiency
本文研究了在存在有限维和无限维干扰参数的情况下,参数估计的统计效率之间的深刻且反直觉的联系,通过几何方法提出了一种新的计算投影算子的方法,适用于椭圆分布模型,并扩展到圆和非圆复椭圆对称分布。
2026-07-02 eess.SP math.ST stat.TH
GMM with Many Weak Moment Conditions and Nuisance Parameters: General Theory and Applications to Causal Inference
Department of Biostatistics, University of Washington(华盛顿大学生物统计系)
本文针对弱识别且滋扰参数随样本量增长的一般矩模型,提出一种基于Neyman正交性的两步去偏GMM估计框架,建立其一致性与渐近正态性,并应用于弱工具变量和弱代理变量的因果推断。
2025-11-10 math.ST stat.ME stat.TH
A Researcher's Guide to Empirical Risk Minimization
本指南提供经验风险最小化中高概率遗憾界的方法与工具,探讨了噪声成分和正交统计学习框架下的相关问题,推导了样本内情形的遗憾界。
2026-03-03 cs.LG math.ST stat.ML
Towards a unified theory for testing statistical hypothesis: Multinormal mean with nuisance covariance matrix
本文研究含未知协方差矩阵的多元正态均值受限备择检验,提出调和贝叶斯、Fisher、Neyman-Pearson 与 Wald 理论的框架,并揭示 LRT/UIT 的 α-不容许性。
2024-12-07 math.ST stat.TH
Sharp Structure-Agnostic Lower Bounds for General Linear Functional Estimation
Stanford University(斯坦福大学)
本文提出了一般线性函数估计的锐利结构无关下界,证明了双重鲁棒估计器的统计最优性,并区分了双重鲁棒性和一阶去偏在不同情形下的最优性。
2026-01-05 cs.LG econ.EM math.ST
Neighborhoods as Nuisance Parameters? Robustness vs. Semiparametrics
在参数模型分布的鲁棒邻域内偏离中心可以自然地被认为是无限维的冗余参数。因此,可以尝试半参数方法,即计算主参数的得分函数减去其在冗余参数的闭合线性切空间上的正交投影,然后重新调整Fisher一致性。本文通过稳健统计中切球上的非线性投影,导出了这样一条半参数影响曲线。这个半参数的影响曲线,然后与最佳的鲁棒影响曲线,最大限度地减少相应的渐近线性估计在无穷小的邻域的最大加权均方误差。对于海灵格球,两者重合(与经典球重合)。在全变差模型中,半参数IC解决了特定偏置权重的鲁棒MSE问题。在污染邻域的情况下,半参数IC仅从上有界。由于截断和线性组合的互换,差异随着维数的增加而增加。虽然Hellinger球有重合性,但至少对全变差和污染邻域实现了削波,但半参数方法一般不足以解决疏失误差模型的极小极大均方误差估计问题。半参数的方法进行进一步检验污染的假设。在单侧情况下,对于由任意两个闭凸切线集定义的假设检验,通过在这些集的差集上的投影提供鞍点。因此,对于全变差和污染邻域,我们恢复鲁棒渐近测试的基础上最不利的对。因此,这两种方法在测试环境中是一致的。
2014-12-04 math.ST stat.TH
Optimal Nuisance Function Tuning for Estimating a Doubly Robust Functional under Proportional Asymptotics
Yale University(耶鲁大学);Boston University(波士顿大学);Harvard University(哈佛大学)
本文在比例渐近下研究岭回归扰动函数调参对双重稳健ECC估计的影响,提出去偏策略实现√n一致性,并揭示预测最优调参未必使ECC渐近方差最小。
2025-10-24 math.ST stat.ME stat.ML
CAD: Debiasing the Lasso with inaccurate covariate model
考虑高维线性回归中低维参数的估计问题。构造感兴趣的参数的近似无偏估计是执行统计推断的关键步骤。几位作者建议将感兴趣的变量和结果相对于讨厌的变量进行正交化,然后将剩余结果相对于剩余变量进行回归。如果回归量的协方差结构是完全已知的,或者是充分结构化的,可以从数据中准确估计,这是可能的(例如,精度矩阵足够稀疏)。在这里,我们考虑一种制度,其中协变量模型只能估计不准确,因此现有的去偏方法不能保证工作。当估计协变量模型的误差与估计线性模型参数的误差相关时,会发生偏倚的不完全消除。我们提出了相关调整的去偏套索(CAD),它几乎消除了这种偏见在某些情况下,包括估计误差既不能忽略也不能正交的情况下。我们考虑一种设置,其中一些未标记的样本可能与标记的样本一起提供给统计学家(半监督学习),并且我们的保证在联合高斯协变量的假设下成立。新的去偏估计器保证在两种情况下消除偏差:(1)当样本(标记和未标记)的总样本个数大于参数个数时,或(2)当干扰的协方差(但不是干扰对感兴趣变量的影响)已知时。这两种情况都不是用最先进的方法治疗的。
2021-07-29 math.ST stat.ME stat.TH
Optimally taming biases in black-box models for efficient semiparametric estimation
Harvard University(哈佛大学);Princeton University(普林斯顿大学)
针对半参数估计中黑箱模型估计干扰函数时误差传播问题,提出新估计器达到更优收敛速率并证明最优性,扩展至平均处理效应等线性泛函估计。
2026-06-04 math.ST stat.ME stat.ML
Sharp Structure-Agnostic Minimax Risk for Partial Linear Models
Center for Computational Science and Engineering, MIT(麻省理工学院计算科学与工程中心);Department of Civil and Environmental Engineering, MIT(麻省理工学院土木与环境工程系);Institute for Data, Systems, and Society, MIT(麻省理工学院数据、系统与社会研究所)
本文刻画了部分线性模型中系数估计的尖锐结构无关极小极大风险,通过新颖下界证明标准双重机器学习可能高估估计难度,并提出联合平衡两个干扰学习器的近似与随机误差原则。
2026-09-09 cs.LG math.ST stat.TH
Quantifying deviations from separability in space-time functional processes
时空数据的协方差算子的估计在许多应用中只有在简化的假设下才是计算上可行的,例如协方差可分离为严格的时间和空间因子,文献中已经提出了对这种假设的强有力的检验。然而,由于现实世界的系统,如气候数据是众所周知的不可分割的,通过统计测试来验证这一假设,似乎本质上是有问题的。在本文中,我们提出了一种替代方法:凭借可分性措施,我们量化如何强烈的数据的协方差算子偏离一个可分离的近似。置信区间用统计保证将这些度量局部化。该方法为用户提供了一个灵活的工具,以权衡可分离模型的计算增益与相关的偏差增加。作为可分离的逼近,我们考虑了部分迹和部分乘积的已有方法,并发展了相应估计量的弱收敛原理。此外,我们还证明了这样的结果,估计的最佳,可分离的近似,这可以说是最感兴趣的应用。特别是,我们第一次提出了统计推断这个对象,这一直局限于估计以前。除了置信区间,我们的结果包括近似可分性的测试。本文提出的所有方法都是免费的冗余参数,既不需要计算昂贵的恢复程序,也不需要估计的冗余参数。模拟研究强调了我们的方法的优点,其适用性证明了德国年度温度数据的调查。
2020-03-26 math.ST stat.TH
PLS: a new statistical insight through the prism of orthogonal polynomials
偏最小二乘(PLS)是一种用于消除回归模型中多重共线性的降维方法。然而,与主成分分析(PCA)相反,PLS成分也被选择为用于预测响应$Y$的最佳。在本文中,我们提供了一个新的和明确的公式的残差。我们表明,残差完全由设计矩阵的频谱和噪声的意见。因为很少有人知道PLS组件的行为,我们也调查他们的统计特性在回归的上下文中。在低噪声方差的假设下,给出了PLS回归和预测误差的新结果。
2014-05-22 math.ST stat.TH
Selective inference for effect modification via the lasso
当治疗对结果的影响根据其他协变量的水平而变化时,发生效应修正,并且通常对决策具有重要影响。当存在数十或数百个协变量时,有必要使用观察到的数据来选择更简单的模型进行效应修正,然后进行有效的统计推断。我们提出了一个两阶段的程序来解决这个问题。首先,我们使用Robinson变换将干扰参数与感兴趣的处理效应解耦,并使用机器学习算法来估计干扰参数。接下来,在插入讨厌参数的估计值后,我们使用Lasso选择一个低复杂度的模型进行效果修改。与由所有协变量组成的完整模型相比,所选模型更具可解释性。与单变量亚组分析相比,所选模型大大减少了错误发现的数量。我们证明了在经典半参数回归的速率假设下,所选模型的条件选择性推断是渐近有效的。进行了大量的模拟研究,以验证渐近结果和流行病学的应用程序来证明该方法。
2021-11-19 math.ST stat.ME stat.TH
Uniform Post Selection Inference for LAD Regression and Other Z-estimation problems
在具有同方差误差的高维稀疏中位数回归模型中,我们给出了回归系数的一致有效置信区域。我们的方法是基于一个时刻方程,免疫对非正规估计的滋扰部分的中位数回归函数,通过使用奈曼的正交化。我们建立了目标回归系数的工具中位数回归估计是渐近正态分布均匀相对于底层稀疏模型,是半参数有效的。我们还将我们的方法推广到一般的非光滑Z-估计框架,目标参数$p_1$的数量可能远大于样本量$n$。我们扩展胡贝尔的结果渐近正态性的设置,证明一致的渐近正态性的估计超过$p_1$维矩形,同时构建置信带的所有$p_1$的目标参数,并建立渐近有效性的乐队一致的基本近似稀疏模型。关键词:工具;后选择推理;稀疏性;奈曼正交评分检验;一致有效推理; Z-估计。
2020-10-18 econ.EM math.ST stat.ME
Continuous-time targeted minimum loss-based estimation of intervention-specific mean outcomes
本文研究了有针对性的最小损失估计(TMLE)框架的推广,以估计时变干预措施的效果,在设置中,干预措施,协变量和结果可以发生在受试者特定的时间点上任意精细的时间尺度。TMLE是构造无穷维模型中光滑低维参数的渐近线性替代估计的通用模板。现有的纵向TMLE方法是针对在离散时间网格上进行观测的数据开发的。我们考虑了一个连续时间计数过程模型,其中强度测量跟踪受试者的监测,并专注于低维目标参数定义为随访结束时的干预特异性平均结果。为了构建我们的TMLE算法,我们推导出的有效影响曲线的表达式,并表示为强度和条件期望的函数的目标参数。我们的模型的高维冗余参数估计和更新迭代的方式,根据单独的目标步骤所涉及的强度和条件期望。由此产生的估计解决了有效的影响曲线方程。我们国家的一般效率定理,并描述了一个高度自适应的套索估计冗余参数,使我们能够建立渐近线性和效率的估计在最低条件下的基本统计模型。
2021-05-05 math.ST stat.ME stat.TH
Statistical inference for high dimensional regression via Constrained Lasso
在本文中,我们提出了一种新的方法来估计和构造置信区间的低维组件在一个高维模型。建议的估计,约束拉索(CLasso)估计,是通过同时求解两个估计方程-一个施加零偏约束的低维参数和其他形成一个$\ell_1$惩罚过程的高维滋扰参数。通过仔细选择零偏约束,得到的估计的低维参数,承认一个渐近正常的限制,达到Cramér-Rao下界在半参数意义下。我们提出了一个无调谐的迭代算法实现的CLasso。我们证明,当该算法在Lasso估计器处初始化时,van de Geer等人提出的去稀疏估计器[ \emph{Ann. Statist.} { \bf 42}(2014)1166--1202]渐进等效于该算法的第一次迭代。我们分析了CLasso估计的渐近性质,并证明了算法的全局线性收敛性。我们还通过数值研究证明了令人鼓舞的经验表现的CLAasso。
2017-04-17 math.ST stat.CO stat.ME
Bootstrap consistency for general semiparametric $M$-estimation
考虑半参数模型中的$M$ -估计,该模型的特征在于一个欧几里德参数和一个无限维冗余参数。作为一种通用的统计推断方法,Bootstrap方法在半参数$M$ -估计中得到了广泛的应用,并且由于其简单性,它为基于渐近分布理论的推断方法提供了一种有吸引力的替代方法。本文的目的是提供理论上的理由使用自助作为半参数推理工具。我们表明,在一般条件下,自助是渐近一致的分布估计的$M$ -估计欧几里德参数,即自助分布渐近模仿分布的$M$ -估计。我们还证明了自举置信集具有渐近正确的覆盖概率。这些一般性的结论,特别是,当冗余参数是不可估计的根$n$率,并适用于广泛的一类可交换的引导权重的引导方法。本文首次对半参数模型中的自助法进行了一般性的理论研究。
2011-02-03 math.ST stat.TH