Optimally taming biases in black-box models for efficient semiparametric estimation
Harvard University(哈佛大学);Princeton University(普林斯顿大学)
针对半参数估计中黑箱模型估计干扰函数时误差传播问题,提出新估计器达到更优收敛速率并证明最优性,扩展至平均处理效应等线性泛函估计。
2026-06-04 math.ST stat.ME stat.ML
Inference on Strongly Identified Functionals of Weakly Identified Functions
本文提出了一种在干扰函数弱识别时仍能对连续线性泛函进行强识别推断的新条件,构建了基于惩罚极小极大估计的去偏估计量,证明了其渐近正态性,并在近端因果推断和工具变量回归中验证了有效性。
2023-07-01 econ.EM math.ST stat.ME
CAD: Debiasing the Lasso with inaccurate covariate model
考虑高维线性回归中低维参数的估计问题。构造感兴趣的参数的近似无偏估计是执行统计推断的关键步骤。几位作者建议将感兴趣的变量和结果相对于讨厌的变量进行正交化,然后将剩余结果相对于剩余变量进行回归。如果回归量的协方差结构是完全已知的,或者是充分结构化的,可以从数据中准确估计,这是可能的(例如,精度矩阵足够稀疏)。在这里,我们考虑一种制度,其中协变量模型只能估计不准确,因此现有的去偏方法不能保证工作。当估计协变量模型的误差与估计线性模型参数的误差相关时,会发生偏倚的不完全消除。我们提出了相关调整的去偏套索(CAD),它几乎消除了这种偏见在某些情况下,包括估计误差既不能忽略也不能正交的情况下。我们考虑一种设置,其中一些未标记的样本可能与标记的样本一起提供给统计学家(半监督学习),并且我们的保证在联合高斯协变量的假设下成立。新的去偏估计器保证在两种情况下消除偏差:(1)当样本(标记和未标记)的总样本个数大于参数个数时,或(2)当干扰的协方差(但不是干扰对感兴趣变量的影响)已知时。这两种情况都不是用最先进的方法治疗的。
2021-07-29 math.ST stat.ME stat.TH
Collaborative targeted inference from continuously indexed nuisance parameter estimators
我们希望从一个定律中推断出一个参数的值,并从中抽取独立的观测值。该参数是光滑的,我们可以定义两个变分无关的法律,其$Q$ -和$G$ -组件的功能,使他们一致地估计在一个足够快的产品率允许建立一个置信区间(CI)与给定的渐近水平从一个普通的目标最小损失估计(TMLE)。假设上述乘积不够快,并且用于$G$分量的算法由实值$h$微调。具有通过交叉验证选择的$h$的普通TMLE通常不会产生CI。我们构建了一个合作的TMLE(C-TMLE),并在温和的条件下,如果存在一个甲骨文$h$,使一个庞大的剩余项渐近高斯,那么C-TMLE产生CI。我们用平均处理效应的推论来说明我们的发现。我们进行了一个模拟研究,其中的$G$ -组件估计的LASSO和$h$是上界的系数的范数。它揭示了小样本属性,面对低到高维的基线协变量,并可能违反积极性。
2018-04-05 math.ST stat.ME stat.ML
Orthogonal Machine Learning: Power and Limitations
Microsoft Research New England(微软新英格兰研究院);Operations Research Center, MIT(麻省理工学院运筹学研究中心)
双机器学习提供了感兴趣参数的$\sqrt{n}$一致估计,即使在以$n^{-1/4}$速率估计高维或非参数干扰参数时也是如此。关键是采用奈曼正交矩方程,这是一阶不敏感的干扰参数的扰动。我们表明,$n^{-1/4}$的要求可以提高到$n^{-1/(2k+2)}$通过采用$k$阶的正交性,授予更复杂或更高维的滋扰参数的鲁棒性的概念。在部分线性回归设置流行的因果推理,我们表明,我们可以构建二阶正交矩当且仅当治疗残差不呈正态分布。我们的证明依赖于斯坦引理,可能是独立的利益。最后,我们展示了一个显式的双正交估计程序的治疗效果的鲁棒性的好处。
2018-08-01 cs.LG econ.EM math.ST
A Researcher's Guide to Empirical Risk Minimization
本指南提供经验风险最小化中高概率遗憾界的方法与工具,探讨了噪声成分和正交统计学习框架下的相关问题,推导了样本内情形的遗憾界。
2026-03-03 cs.LG math.ST stat.ML
Bounds smaller than the Fisher information for generalized linear models
在本文中,我们提出了一个参数空间增强方法,是基于"故意"引入一个伪滋扰参数到广义线性模型的方差减少的目的。我们首先考虑范数等于1的参数。通过在待估计模型中引入伪冗余参数,使得额外的估计是渐近正态的,更重要的是,它与渐近达到Fisher/拟Fisher信息的估计是非正相关的。因此,所得到的估计是渐近的,具有比Fisher/准Fisher信息更小的方差-协方差阵。对于一般情况下,参数的范数不一定等于1,两阶段拟似然程序分别估计的标量和方向的参数。极限方差-协方差矩阵的迹一般小于或等于Fisher/拟Fisher信息的迹。我们还讨论了新方法的优点和缺点,以及可能的扩展。由于这种参数空间扩充的方法是通用的,因此可以容易地扩展以处理例如聚类数据和相关数据以及其他模型。
2010-07-21 math.ST stat.ME stat.TH
Selective machine learning of doubly robust functionals
本文提出一种选择性机器学习框架,基于双重稳健性质定义伪风险并选择最优学习器对,用于半参数模型中有限维泛函的推断,并应用于平均处理效应的估计,理论证明其oracle性质,模拟和实证验证了有效性。
2023-09-03 math.ST stat.ME stat.ML
Asymptotic approximation of nonparametric regression experiments with unknown variances
非参数回归实验的渐近等价性结果总是假设观测值的方差是已知的。然而,在实践中,每个观测的方差通常被认为是未知的冗余参数。我们建立了一个渐近逼近的非参数回归实验时的方差值是一个额外的参数估计或测试。这个渐近等价的实验有两个组成部分:第一个包含关于方差的所有信息,第二个包含关于均值的所有信息。结果可以扩展到方差从观察到观察缓慢变化的回归问题。
2007-10-19 math.ST stat.TH
Sharp Structure-Agnostic Lower Bounds for General Linear Functional Estimation
Stanford University(斯坦福大学)
本文提出了一般线性函数估计的锐利结构无关下界,证明了双重鲁棒估计器的统计最优性,并区分了双重鲁棒性和一阶去偏在不同情形下的最优性。
2026-01-05 cs.LG econ.EM math.ST
On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning
Harvard T. H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院)
对于许多感兴趣的因果效应参数,双稳健机器学习(DRML)估计器$\hatψ_{1}$是最先进的,它结合了机器学习的良好预测性能;双稳健估计器的偏差降低;以及交叉拟合样本分裂的分析易处理性和偏差降低。尽管如此,即使在不存在未测量因素的混杂的情况下,标称$(1 - α)$ Wald置信区间$\hatψ_{1} \pm z_{α/ 2} \widehat{\mathsf{se}} [\hatψ_{1}]$即使在大样本中也可能仍然是隐蔽的,因为$\hatψ_{1}$的偏倚可能与其$n^{-1/2}$阶标准误差具有相同或甚至更大的阶数。在本文中,我们介绍了基本上无干扰的测试,(i)可以伪造的零假设,即$\hatψ_{1}$的偏差是小于其标准误差的顺序,(ii)可以提供一个上界的真实覆盖率的Wald间隔的置信度,(iii)是有效的零下没有光滑/稀疏假设的滋扰参数。这些检验(我们称之为\underline{A}消耗\underline{F}无\underline{E}有效期\underline{C}过量\underline{T}测试(AFECT)基于估计$\hatψ_{1}$部分偏倚的U统计量。
2020-07-12 cs.LG math.ST stat.ME
Empirical partially Bayes multiple testing and compound $χ^2$ decisions
本文提出“经验部分贝叶斯多重检验”框架,通过非参数极大似然估计方差先验并结合 Benjamini-Hochberg 程序,在多重检验中实现错误发现率的渐近控制。
2024-09-30 math.ST stat.ME stat.TH
A GMM approach to estimate the roughness of stochastic volatility
Aarhus University(奥胡斯大学);Imperial College London(伦敦帝国学院)
本文提出了一种基于GMM的随机波动粗糙度估计方法,通过控制测量误差影响,展示了在高频数据中估计Hurst指数的稳健性。
2026-01-15 math.ST q-fin.ST stat.TH
Valid Post-Selection and Post-Regularization Inference: An Elementary, General Approach
在这里,我们提出了一个短暂的,一般的分析有效的后选择或后正则化推理的低维目标参数,$α$,在一个非常高维的冗余参数,$η$,这是估计使用现代选择或正则化方法的存在。我们的分析依赖于高层次的,易于解释的条件,使人们能够清楚地看到实现有效的后正则化推理所需的结构。给出了一类仿射二次模型的简单、易于验证的充分条件。我们集中我们的讨论估计和推理程序的基础上使用的经验模拟的理论方程$$M(α, η)=0$$,其中确定$α$。在这种结构中,我们表明,建立这样的方程的方式,使正交/免疫条件$$\partial_ηM(α, η) = 0$$在真实的参数值是满意的,加上合理的条件上的平滑$M$和质量的估计$\hat η$,保证基于下面讨论的测试或点估计方法的主参数$α$的推断将是规则的,而不管选择或正则化估计$η$时出现偏倚。特别地,$α$的估计量通常在根$n$速率处一致,并且一致渐近正态,即使估计量$\hat η$通常不是渐近线性和正则的。这种一致性适用于大类模型,这些模型不施加非常难以置信的“最小β”条件。我们还表明,推理可以进行倒置测试形成内曼的$C(α)$(正交得分)统计。
2015-08-18 econ.EM math.ST stat.TH