Debiasing the Debiased Lasso with Bootstrap
研究了高维线性模型中回归系数的单坐标统计推断问题。近年来,去偏估计被广泛地用于构造高维模型的置信区间和假设检验。然而,一些有代表性的数值实验表明,他们往往是偏大系数,特别是当大系数的数量占主导地位的小系数的数量。本文提出了一种改进的基于自助法的去偏Lasso估计。让我们将所提出的估计量简称为BS-DB。我们证明了,在不可表示的条件和其他温和的技术条件下,在存在大比例强信号的情况下,BS-DB比去偏Lasso具有更小的偏置阶数。如果不可表示条件不成立,则保证BS-DB的性能不会比去偏Lasso渐近地更差。提出了基于BS-DB的置信区间,并在较弱的条件下证明了其渐近有效性。我们对推理问题的研究新颖地结合了Lasso关于变量选择和估计的性质。通过广泛的数值研究证明了BS-DB在去偏Lasso上的优越性能。
2020-10-17 math.ST stat.TH
Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择,即,将不显著的回归系数归零。相比之下,经典的岭回归不能揭示潜在的稀疏性的参数,也可能会引入一个大的偏差下的高维设置。然而,最近的工作Lasso涉及去偏置和阈值,后者是为了进一步提高模型的选择。因此,岭回归可能值得再看一看,因为在去偏置和阈值化之后,它可能比Lasso提供一些优势,例如,它可以很容易地使用封闭形式的表达式来计算。%,并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法,证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计,我们考虑的问题,预测,并提出了一种新的,混合自举算法的预测区间。大量的数值模拟进一步表明,去偏和阈值岭回归具有良好的有限样本性能,在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Sparse Group Lasso: Optimal Sample Complexity, Convergence Rate, and Statistical Inference
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了高维双稀疏线性回归的稀疏群Lasso,其中感兴趣的参数同时是元素和群稀疏的。这个问题是同时结构化模型的一个重要实例,同时结构化模型是统计学和机器学习中一个积极研究的课题。在无噪声的情况下,匹配的上界和下界的样本复杂度分别建立了稀疏向量的精确恢复和近似稀疏向量的稳定估计。在有噪声的情况下,估计误差的上限和匹配的极大极小下界。我们还考虑了去偏稀疏群Lasso,并研究了它的渐近性质,以便进行统计推断。最后,数值研究提供了支持的理论结果。
2022-05-07 cs.LG math.ST stat.ML
A New Perspective on High Dimensional Confidence Intervals
本文提出以平均覆盖率替代个体覆盖率的新视角,基于Relaxed Lasso构建高维置信区间,更贴合原始估计,并指出bootstrap在此定义下仍不一致。
2025-08-05 stat.ME
Adaptive debiased SGD in high-dimensional GLMs with streaming data
The Hong Kong Polytechnic University(香港理工大学);Rutgers School of Public Health(罗格斯公共卫生学院);The Chinese University of Hong Kong(香港中文大学)
本文提出一种用于高维广义线性模型流式数据的自适应去偏随机梯度下降方法,通过单遍模式降低复杂度,并建立ADL估计量的渐近正态性,实验验证其统计有效性与计算效率。
2025-02-26 cs.LG stat.ML
Bias-Aware External-Model-Assisted Inference in High-Dimensional Regression
University of Pennsylvania(宾夕法尼亚大学)
提出DEAL方法,通过偏差感知交叉拟合收缩步骤自适应调整外部估计器,在高维半监督线性回归中实现比去偏Lasso、PPI等更短的置信区间。
2026-10-30 stat.ME
Doubly Debiased Lasso: High-Dimensional Inference under Hidden Confounding
从观察数据中推断因果关系或相关关联可能因隐藏混杂因素的存在而无效。我们专注于一个高维线性回归设置,其中测得的协变量受到隐藏混杂的影响,并提出了{ \em Doubly Debiased Lasso}估计的回归系数向量的各个组成部分。我们所提倡的方法同时纠正由于估计高维参数以及隐藏的混杂所造成的偏差。我们建立了它的渐近正态性,也证明了它是有效的高斯-马尔可夫意义。我们的方法的有效性依赖于一个密集的混杂假设,即每个混杂变量影响许多协变量。有限样本的性能说明了广泛的模拟研究和基因组的应用。
2021-07-20 math.ST stat.ME stat.TH
High-Dimensional Granger Causality Tests with an Application to VIX and News
本文研究了高维时间序列的Granger因果检验问题。为了进行正确的推断,我们依赖于异方差和自相关一致(HAC)估计的渐近方差和发展的推论理论在高维设置。为了识别时间序列的数据结构,我们专注于稀疏组LASSO估计,其中包括LASSO和组LASSO作为特殊情况。建立了回归系数低维组的去偏中心极限定理,研究了基于稀疏组LASSO残差的长期方差的HAC估计。这导致了有效的时间序列推断个人回归系数以及组,包括格兰杰因果关系检验。该处理依赖于一个新的N-Nagaev不等式的一类$τ$混合过程的重比高斯尾巴,这是独立的兴趣。在实证应用中,我们研究了波动率指数与金融新闻之间的格兰杰因果关系。
2021-02-01 econ.EM math.ST stat.ME
Debiased LASSO under Poisson-Gauss Model
本文针对带加性高斯噪声的 Poisson 逆问题提出去偏 LASSO 算法,在仅需 $n \gg s\log^2p$ 样本的条件下实现最优不确定性量化。
2024-02-26 cs.IT eess.SP math.IT
Triple/Double-Debiased Lasso
University of California, Los Angeles(加州大学洛杉矶分校);University of Copenhagen(哥本哈根大学);Aarhus Center for Econometrics (ACE)(奥胡斯计量经济学中心);Yale University(耶鲁大学)
本文提出一种三重(或双重去偏)Lasso估计器,用于高维线性回归模型中低维参数的推断。该估计器基于满足一阶和二阶Neyman正交条件的矩函数,消除正则化引起的偏倚。通过渐近线性表示证明其余项更小,从而提升小样本推断和置信区间的准确性。
2026-03-20 econ.EM math.ST stat.TH
Statistical Inference for Smoothed Support Vector Machines in High Dimensions: From Offline to Online Data
Center for Applied Statistics, Renmin University of China(中国人民大学应用统计中心);School of Statistics, Renmin University of China(中国人民大学统计学院)
本文提出一种统一的推断框架,通过离线和在线设置中的平滑技术消除偏差,实现有效的统计推断和计算效率提升。
2026-05-15 stat.ME
Testing for Differences in Gaussian Graphical Models: Applications to Brain Connectivity
功能性大脑网络是很好地描述和估计的数据与高斯图形模型(GGM),例如使用稀疏逆协方差估计。比较两个人群中受试者的功能连接需要比较这些估计的GGM。我们的目标是确定已知具有相似结构的GGM的差异。我们用稀疏估计参数的参数分布得到的置信区间来表征差异的不确定性。稀疏罚分使得即使在高维和低样本设置中也能够实现统计保证和可解释的模型。描述稀疏模型的分布本质上是具有挑战性的,因为惩罚会产生有偏估计。最近的工作调用稀疏性假设,有效地消除了稀疏估计,如套索的偏见。这些分布可用于给出GGM中边缘的置信区间,并通过扩展给出它们的差异。然而,在比较GGM的情况下,这些估计器不使用GGM之间的任何假定的联合结构。从大脑功能连接的先验知识的启发,我们得出的联合惩罚下的参数差异的分布时,已知是稀疏的差异。这导致我们引入去偏置多任务融合套索,其分布可以以有效的方式表征。然后,我们展示了如何去偏套索和多任务融合套索可以用来获得GGM的边缘差异的置信区间。我们验证了一组合成的例子,以及为自闭症的研究创建的神经成像数据集提出的技术。
2016-11-18 stat.ML
Online Debiasing for Adaptively Collected High-dimensional Data with Applications to Time Series Analysis
Massachusetts Institute of Technology(麻省理工学院);University of Southern California(南加州大学)
数据的自适应收集在整个科学和工程应用中是常见的。然而,从统计推断的角度来看,自适应数据收集在样本中引入记忆和相关性,并提出了重大挑战。我们考虑高维线性回归,其中样本是自适应收集的,样本量$n$可以小于协变量的数量$p$。在这种情况下,有两个不同的偏差来源:第一个是由于一致估计所施加的正则化,例如使用LASSO,第二个是由于收集样本的自适应性。我们提出了“在线去偏”,如LASSO,它解决了两个来源的偏见估计的一般程序。在两个具体的$(i)$时间序列分析和$(ii)$批量数据收集的情况下,我们证明了在线去偏最佳去偏LASSO估计时的基本参数$θ_0$具有稀疏的顺序$o(\sqrt{n}/\log p)$。在这种情况下,可以使用去偏估计量来计算最佳大小的$p$值和置信区间。
2020-05-05 cs.LG math.ST stat.ME
The Lasso with general Gaussian designs with applications to hypothesis testing
University of California at Berkeley(加州大学伯克利分校)
本文将 Lasso 估计量的精确刻画从独立同分布高斯设计推广到具有非奇异协方差结构的高斯相关设计,建立非渐近分布界,并应用于去偏 Lasso,证明自由度修正对有效置信区间是必要的。
2023-09-19 cs.IT cs.LG math.IT
With or Without Replacement? Improving Confidence in Fourier Imaging
RWTH Aachen University(亚琛工业大学);Harvard University(哈佛大学);Technical University Munich(慕尼黑工业大学);TH Ingolstadt(英戈尔施塔特应用科学大学);GE HealthCare(GE医疗);LMU Munich(慕尼黑大学)
本文提出一种基于无放回采样的重加权方法,以改进去偏估计器,从而提升傅里叶成像中不确定性量化的置信度,尤其在中等维度及MRI等结构化场景下优于标准LASSO。
2024-07-18 cs.IT cs.LG eess.IV
Debiasing the Lasso under Weaker Tail Assumptions
IMPA(巴西纯数学与应用数学研究所)
该研究针对高维Lasso推断,提出通过标准化数据集的方法,在更弱假设下实现去偏Lasso类方法的有效推断,降低了对数据尾分布等强假设的要求。
2026-08-10 math.ST stat.TH
Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection
Department of Statistics, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校统计系);Department of Electrical and Computer Engineering, the Grainger College of Engineering(格拉inger工程学院电子与计算机工程系)
提出基于稳定性原理的广义去偏Lasso估计量,通过设计矩阵单列扰动下的简单更新公式,在比例增长机制下实现渐近精确近似,显著降低重抽样变量选择的计算成本。
2026-06-15 cs.IT cs.LG math.IT
Inference on High-dimensional Single-index Models with Streaming Data
流数据的出现使传统的统计方法面临新的挑战。主要的挑战是快速增长的数据量和速度,这使得在内存中存储如此庞大的数据集变得不可能。本文提出了一个在线推理框架,在高维半参数单指标模型的回归参数未知的链接功能。拟议的在线程序仅更新当前数据批次和历史数据的汇总统计,而不是重新访问整个原始数据集。同时,我们不需要估计未知的链接函数,这是一个极具挑战性的任务。此外,一个广义凸损失函数中使用的建议的推理过程。为了说明所提出的方法,我们使用Huber损失函数和逻辑斯谛回归模型的负对数似然。在这项研究中,所提出的在线去偏Lasso估计的渐近正态性和所提出的在线Lasso估计的界进行了研究。为了评估所提出的方法的性能,已经进行了广泛的模拟研究。我们提供纳斯达克股票价格和财务困境数据集的应用程序。
2022-10-03 stat.ME
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University(斯坦福大学)
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下,成功的方法使用$\ell_1$惩罚最小二乘估计量,称为Lasso。不幸的是,与线性估计器不同(例如,普通最小二乘法),没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近,一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题,通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法,假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进,因为如果样本量$n$渐近优于$s_0 (\log p)^2$,则其建立了接近最佳的\emph{average}检验功效,其中$s_0$为稀疏水平(非零系数的数量)。早期的工作获得可证明的保证,只有更大的样本量,即它需要$n$渐近支配$(s_0 \log p)^2$。特别是,对于随机设计的稀疏精度矩阵,我们表明,其具有所需的属性的估计可以有效地计算。最后,我们评估这种方法的合成数据,并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
Inference In High-dimensional Single-Index Models Under Symmetric Designs
研究了高维单指标模型中回归系数的统计推断问题。在椭圆对称条件下,单指数模型可以转化为回归参数可识别的代理线性模型。我们构造了感兴趣的回归系数的估计,这些估计类似于标准线性模型中的去偏套索估计,并表现出类似的性质:根-n-一致性和渐近正态性。该过程完全绕过了对未知链接函数的估计,根据问题的底层结构,这可能是非常具有挑战性的。此外,在高斯性下,我们通过在Hermite多项式基上扩展连接函数,提出了系数的更有效的有效估计。最后,我们通过精心设计的模拟实验来说明我们的方法。
2021-02-27 math.ST stat.OT stat.TH
Renewable high-dimensional expected shortfall regression
School of Statistics, Beijing Normal University(北京师范大学统计学院);Department of Statistics, Pennsylvania State University(宾夕法尼亚州立大学统计学系)
针对流数据场景下高维ES回归的离线方法依赖完整数据的缺陷,本文提出可再生估计与推断框架,模拟及保险数据集应用验证了其良好性能。
2026-08-04 stat.ME
Omitted variable bias of Lasso-based inference methods: A finite sample analysis
我们研究了基于Lasso的推理方法的有限样本行为,如post double Lasso和debiased Lasso。我们发现,这些方法可以表现出大量的遗漏变量偏差(OVBs)由于拉索不选择相关的控制。即使系数稀疏且样本量较大且大于对照数量时,也会发生这种现象。因此,依赖于现有的渐近推理理论在经验应用中可能是有问题的。我们比较了基于Lasso的推理方法和现代高维基于OLS的方法,并提供了实用的指导。
2021-09-12 econ.EM math.ST stat.TH
Double-estimation-friendly inference for high-dimensional misspecified models
所有的模型都可能是错误的,但这不一定是推理的问题。考虑随机设计线性模型中变量$X$显著性的标准$t$检验,用于预测缓解$Y$,同时控制$p$和其他协变量$Z$。这产生了正确的渐近I型误差控制的零假设,$X$是有条件的$Y$独立于$Z$给定$Z$下的\emph{arbitrary}回归模型的$Y$对$(X, Z)$,提供了一个线性回归模型的$X$对$Z$持有。一个类似的鲁棒性误设定,我们称之为“双估计友好”(DEF)的属性,也适用于广义线性模型的沃尔德测试,有一些小的修改。在这篇简要的论文中,我们探讨了这一现象,并提出了尊重DEF属性的高维回归设置的方法。我们主张指定(稀疏)广义线性回归模型的$Y$和利益的协变量$X$,我们的框架给出了有效的推理条件独立空,如果这些举行。在两个规格都是线性的特殊情况下,我们的建议相当于一个小的修改流行的debiased Lasso测试。我们还研究通过反转我们的测试构建$X$回归系数的置信区间;即使在$Z$对$Y$的贡献可以是任意的部分线性模型中,这些也具有覆盖保证。数值实验证明了该方法的有效性。
2022-05-19 math.ST stat.TH
Statistical Inference for Genetic Relatedness Based on High-Dimensional Logistic Regression
研究了基于个体水平全基因组关联数据的二元性状间遗传相关性的统计推断问题。具体而言,在高维逻辑斯谛回归模型下,我们定义了表征性状间遗传相关、遗传协方差和性状特异性遗传方差的参数。提出了一种新的加权去偏方法,并给出了计算效率较高的去偏估计。研究了这些估计的收敛速度,并在较弱的条件下证明了它们的渐近正态性。此外,我们构造了这些参数的置信区间和统计检验,并提供了理论依据的方法,包括覆盖概率和预期长度的置信区间,以及拟议的测试的大小和功效。在模型生成数据和模拟遗传数据下进行了数值研究,以显示所提出的方法的优越性。通过分析自身免疫性疾病的真实数据集,我们证明了它能够获得关于10种儿科自身免疫性疾病之间共享遗传结构的新见解。
2022-10-05 math.ST stat.AP stat.ME
Hypothesis Testing in High-Dimensional Regression under the Gaussian Random Design Model: Asymptotic Theory
我们考虑线性回归在高维制度的观察数$n$小于参数数$p$。在这种情况下,一种非常成功的方法是使用$\ell_1$ -惩罚最小二乘法(也称为Lasso)搜索最能解释数据的$s_0< n$参数子集,同时将其他参数设置为零。大量的工作已被用于描述这种方法中的估计和模型选择问题。在本文中,我们考虑的是基本的,但远不了解,问题的\emph{statistical significance}。更确切地说,我们解决了计算单个回归系数的p值的问题。一方面,我们在给定的显著性水平下,给出了极大极小检验功效的一般上界。另一方面,我们证明了这个上界是(几乎)通过一个实际的过程中的情况下,随机设计矩阵的独立项目是可以实现的。我们的方法是基于一个去偏的Lasso估计。分析建立在严格表征的渐近分布的Lasso估计及其去偏版本。我们的结果适用于最佳样本量,即,当$n$至少为$s_0 \log(p/s_0)$的量级时。我们推广我们的方法随机设计矩阵独立同分布。高斯行$x_i\sim N(0,Σ)$。在这种情况下,我们证明了一个类似的分布特性(称为“标准分布限制”)持有$n$远大于$s_0(\log p)^2$。最后,我们表明,对于最佳的样本量,$n$是至少为$s_0 \log(p/s_0)$阶,一般高斯设计的标准分布极限可以从统计物理学中的副本几何学推导出来。
2014-02-04 cs.IT math.IT math.ST
Distributed Sparse Linear Regression under Communication Constraints
Department of Statistics, Federal University of Bahia, Salvador-BA, Brazil(统计系,巴伊亚联邦大学,巴西);Department of Computer Science(计算机科学系);Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel(应用数学,魏茨曼科学研究院,以色列)
本文提出了一种在通信限制下实现稀疏线性回归的分布式算法,通过亚线性通信量实现精确支持恢复。
2026-01-02 cs.LG math.ST stat.TH
Statistical inference in sparse high-dimensional additive models
本文讨论了非参数可加模型$Y=f_1(X_1) + ...+ f_q(X_q) + ε$的非参数分量$f_1$的估计。我们允许添加剂成分的数量$q$增长到无穷大,我们对非零添加剂成分的数量进行稀疏性假设。我们比较了这个估计问题的估计$f_1$在Oracle模型$Z= f_1(X_1) + ε$,其中添加剂成分$f_2,\dots,f_q$是已知的。我们构造了$f_1$的两步预光滑和再光滑估计,并给出了我们的估计与Oracle模型中的一些光滑估计$\hat f_1^{\text{(oracle)}}$之间的差异的有限样本界。在渐近设置这些界限可以用来显示渐近等价的估计和Oracle估计,从而表明,渐近,在足够强的稀疏性条件下,知识$f_2,\dots,f_q$估计精度没有影响。我们的第一步是估计$f_1$与欠平滑估计的基础上,近正交投影组拉索偏差校正。然后,我们构建伪响应$\hat Y$通过评估我们的欠平滑估计$f_1$在设计点的去偏修改。在第二步中,将Oracle估计量$\hat f_1^{\text{(oracle)}}$的平滑方法应用于具有响应$\hat Y$和协变量$X_1$的非参数回归问题。我们的数学阐述主要集中在建立premoothing估计的属性。我们目前的模拟结果表明,我们的估计在实际应用中接近预言机的性能。
2019-10-18 math.ST stat.TH
False Discovery Rate Control via Debiased Lasso
University of Southern California(南加州大学);Rice University(莱斯大学)
我们考虑高维统计模型中的变量选择问题,其目标是从许多预测因子$X_1, \dotsc, X_p$中报告一组与感兴趣的响应相关的变量。对于线性高维模型,当参数个数超过样本个数$(p>n)$时,我们提出了一种变量选择方法,并证明了它能将"定向"错误发现率(FDR)控制在预先指定的显著性水平$q\in [0,1]$以下.我们进一步分析了我们的框架的统计能力,并表明,对于亚高斯行和一个共同的精度矩阵$Ω\in\mathbb{R}^{p\times p}$的设计,如果最小非零参数$θ_{\min}$满足$$\sqrt{n} θ_{\min} - σ\sqrt{2(\max_{i\in [p]}Ω_{ii})\log\left(\frac{2p}{qs_0}\right)} \to \infty\,,$$,那么这个过程达到渐近功率1。我们的框架是建立在去偏置的方法,并假设标准条件$s_0 = o(\sqrt{n}/(\log p)^2)$,其中$s_0$表示真阳性的数量之间的$p$功能。值得注意的是,该框架实现了精确的方向FDR控制,而无需对未知回归参数的幅度进行任何假设,并且不需要任何协变量分布或噪声水平的知识。我们在合成和真实数据实验中测试我们的方法,以评估其性能并证实我们的理论结果。
2019-03-19 cs.IT cs.LG math.IT
Inference for High-Dimensional Sparse Spectral Precision Matrices
Cornell University(康奈尔大学);University of Alabama(阿拉巴马大学)
针对平稳高维时间序列,提出基于相邻离散傅里叶变换全似然的稀疏谱精度矩阵推断框架,通过去偏复图形套索估计器实现频率特定条件依赖的检验,并控制正则化、截断和平滑偏差。
2026-08-14 stat.ME stat.ML
Doubly Robust Semiparametric Inference Using Regularized Calibrated Estimation with High-dimensional Data
考虑半参数估计,其中低维参数的双稳健估计函数可用,取决于两个工作模型。对于高维数据,我们开发了正则化校准估计作为估计两个工作模型中的参数的一般方法,使得如果两个工作模型中的任一个被正确指定,则可以在适当的稀疏条件下获得感兴趣的参数的有效Wald置信区间。我们提出了一个计算上易于处理的两步算法,并提供了严格的理论分析,证明了足够快的收敛速度的正则化校准估计,尽管顺序建设,并建立了所需的渐近扩展的双重鲁棒估计。作为具体的例子,我们讨论了部分线性,对数线性和逻辑模型和估计的平均处理效应的应用。在前三个例子的数值研究表明,我们的方法优越的性能相比,去偏Lasso。
2020-09-25 stat.ME
Statistical Inference for Cox Proportional Hazards Models with a Diverging Number of Covariates
对于协变量个数不同的回归模型的统计推断,现有文献通常对费舍尔信息矩阵的逆矩阵作稀疏性假设。然而,在Cox比例风险模型下,这些假设经常被违反,导致覆盖范围不足的置信区间的有偏估计。我们提出了一种改进的去偏套索方法,它解决了一系列的二次规划问题来近似逆信息矩阵,而不构成稀疏矩阵的假设。当协变量的维数随样本量而异时,我们建立了估计回归系数的渐近结果。大量的模拟表明,我们提出的方法提供了相合估计和置信区间与标称覆盖概率。该方法的实用性通过评估遗传标记对波士顿肺癌生存队列患者总生存率的影响进一步证明,波士顿肺癌生存队列是一项调查肺癌潜在机制的大规模流行病学研究。
2021-06-06 stat.ME
High Dimensional Generalised Penalised Least Squares
针对序列相关误差的高维线性模型,提出GLS Lasso估计并拓展其渐近性质,结合去偏Lasso实现一致推断,模拟验证了该方法较传统方法的效率优势。
2023-10-04 econ.EM math.ST stat.TH
High Dimensional Inference in Partially Linear Models
我们提出了两个半参数版本的去偏Lasso程序的模型$Y_i = X_iβ_0 + g_0(Z_i) + ε_i$,其中$β_0$是高维的,但稀疏(精确或近似)。这两个版本被证明具有相同的渐近正态分布,并不需要最小信号条件的统计推断中的任何组件$β_0$。当$Z_i$是高维的时,我们的方法也有效,只要函数类$E(X_{ij} |Z_i)$ s和$E(Y_i|Z_i)$属于表现出某些稀疏特征,例如,稀疏加法分解结构。我们进一步发展了一个同步假设检验过程的基础上乘数自助。我们的测试方法自动考虑到的依赖结构内的去偏估计,并允许测试组件的数量是指数高。
2017-08-08 math.ST stat.TH
De-biasing the Lasso: Optimal Sample Size for Gaussian Designs
在高维空间中进行统计推断是一个突出的挑战。困难的一个主要来源是没有精确的信息分布的高维估计。在这里,我们考虑线性回归的高维制度$p\gg n$。在此上下文中,我们想要对高维参数向量$θ^*\in{\mathbb R}^p$执行推断。在计算单一坐标$θ^*_i$的置信区间方面取得了重要进展。在这些新的方法中,一个关键的作用是发挥一定的去偏估计$\hatθ^{\rm d}$,是从拉索构造。早期的工作建立,在适当的假设下的设计矩阵,$\hatθ^{\rm d}$的坐标是渐近高斯提供$θ^*$是$s_0$ -稀疏与$s_0 = o(\sqrt{n}/\log p )$。条件$s_0 = o(\sqrt{n}/ \log p )$比一致估计的条件$s_0 = o(n/ \log p)$强。我们研究具有已知或未知总体协方差的高斯设计。在协方差已知的情况下,在近似最优条件$s_0 = o(n/ (\log p)^2)$下,证明了去偏估计是渐近高斯的。请注意,即使对于完全已知的协方差,早期的工作也仅限于$s_0 = o(\sqrt{n}/\log p)$。如果总体协方差是未知的,但可以足够好地估计,例如,在与早期工作假设的逆协方差相同的稀疏条件下,同样的结论也成立。对于中间政权,我们描述的稀疏系数和设计的逆协方差之间的权衡。我们进一步讨论了我们的结果高维推理的几个应用。特别是,我们提出了一个新的估…
2016-06-13 math.ST stat.ML stat.TH
Selective Inference for Survey-Weighted Generalized Linear Models: Growing Dimension and Average Marginal Effects
本文将三种Lasso推断方法扩展到调查数据环境,建立了带调查权重和异方差性的广义线性模型中的渐近有效性,并推广至非线性参数函数推断,通过模拟和加拿大互联网使用调查数据验证了方法的有效性。
2026-11-17 econ.EM math.ST stat.ML
Estimation and inference of high-dimensional partially linear regression models with latent factors
本研究提出高维因子调整稀疏部分线性回归模型FAPLM,结合B样条与因子分析实现惩罚估计,推导了误差界与显著性检验方法,经数值实验与出生体重数据集验证兼具理论价值与实用性。
2025-01-11 stat.ME
Debiased and Simultaneous Inference for Heterogeneous Factorial Effect Modifiers via Residualized Walsh-Hadamard Scores
Juntendo University(顺天堂大学);Kyoto University(京都大学)
针对因子随机化实验,提出基于残差化Walsh-Hadamard得分的去偏推断方法,实现对所有效应修饰单元的同时置信带与选择,无需效应遗传假设。
2026-09-30 math.ST stat.ME stat.TH
Adaptive debiased machine learning using data-driven model selection techniques
本文提出ADML框架,通过结合数据驱动模型选择与去偏机器学习,构建自适应估计器,实现对数据生成分布结构的适应性估计,提升估计效率。
2026-03-18 math.ST stat.ME stat.ML
The Statistics of Streaming Sparse Regression
Stanford University(斯坦福大学)
我们提出了一个稀疏模拟随机梯度下降,保证在类似的条件下表现良好的套索。在具有不可表示的噪声特征的线性回归设置中,我们的算法以高概率恢复最优参数向量的支撑集,并实现统计上准最优的收敛速率Op(k log(d)/T),其中k是解的稀疏性,d是特征的数量,T是训练样本的数量。同时,我们的算法不需要任何更多的计算资源比随机梯度下降。在我们的实验中,我们发现,我们的方法大大优于现有的流算法的真实和模拟数据。
2014-12-13 cs.LG math.ST stat.ML
A generalization of regularized dual averaging and its dynamics
University of Missouri--Columbia(密苏里大学哥伦比亚分校);Purdue University(普渡大学)
学习大数据和流数据的过度计算成本可以通过使用随机算法来减轻,例如随机梯度下降及其变体。最近的进展改进了随机算法的收敛速度,自适应性和结构意识。然而,这些新算法的分布方面知之甚少,特别是结构化参数。为了在这种情况下开发统计推断,我们提出了一类具有恒定步长的广义正则化对偶平均(gRDA)算法,它改进了RDA(Xiao,2010; Flammarion和Bach,2017)。gRDA轨迹的弱收敛进行了研究,因此,在文献中的第一次,在线l1惩罚问题的渐近分布变得可用。这些一般结果适用于凸和非凸可微损失函数,特别是,恢复了凸损失的现有遗憾界(Nemirovski等人,2009年)。作为重要的应用,在线稀疏线性回归和在线稀疏主成分分析的统计推断理论得到了发展,并得到了广泛的数值分析的支持。有趣的是,当gRDA被适当调整时,支持恢复和中心限制分布(均值为零)在在线设置中同时保持,这与批次Lasso的有偏中心限制分布形成对比(Knight和Fu,2000)。技术设备,包括随机镜像下降的弱收敛,作为具有独立兴趣的副产品开发。对现代图像数据的初步实证分析表明,通过gRDA学习非常稀疏的深度神经网络并不一定会牺牲测试精度。
2019-09-22 cs.LG stat.ML