Online Debiased Lasso for Streaming Data
提出了一种在线去偏套索（ODL）方法，用于流数据高维线性模型的统计推断。建议的ODL包括一个有效的计算算法的流数据和近似正常的估计的回归系数。它的实现只需要数据流中当前数据批次的可用性和在分析的每个阶段对历史数据的充分统计量。一个动态的过程中，选择和更新的调整参数的到来时，每个新的数据批次，使我们可以调整的正则化量自适应地沿数据流。在与离线条件相似的条件下以及数据流中数据批次大小的温和条件下，建立了ODL估计的渐近正态性，为所提出的在线统计推断方法提供了理论依据.我们进行了大量的数值实验，以评估ODL的性能。这些实验证明了我们的算法的有效性和支持的理论结果。以香港交易所的空气质量数据集和指数基金数据集为例说明了该方法的应用。
2021-08-18 math.ST stat.TH
Statistical Inference for Smoothed Support Vector Machines in High Dimensions: From Offline to Online Data
Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）；School of Statistics, Renmin University of China（中国人民大学统计学院）
本文提出一种统一的推断框架，通过离线和在线设置中的平滑技术消除偏差，实现有效的统计推断和计算效率提升。
2026-05-15 stat.ME
Debiased Machine Learning without Sample-Splitting for Stable Estimators
Stanford University（斯坦福大学）；Harvard University（哈佛大学）
对因果参数的估计和推断通常被简化为广义矩估计问题，其涉及对应于回归或分类问题的解决方案的辅助函数。去偏机器学习的最新工作路线显示了如何使用通用机器学习估计器来解决这些辅助问题，同时保持目标参数的渐近正态性和根$n$一致性，同时仅需要辅助估计算法的均方误差保证。文献通常要求将这些辅助问题拟合在单独的样本上或以交叉拟合的方式拟合。我们表明，当这些辅助估计算法满足自然留一稳定性，则样本分裂是不需要的。这允许样品重复使用，这在中等大小的样品方案中可能是有益的。例如，我们表明，我们提出的稳定性是满意的集成袋装估计，建立通过子采样没有替换，在机器学习实践中的一种流行的技术。
2022-11-14 cs.LG econ.EM math.ST
Statistical Inference in High-dimensional Generalized Linear Models with Streaming Data
在本文中，我们开发了一个在线的统计推断方法的高维广义线性模型与流数据的实时估计和推理。我们提出了一种在线去偏套索（ODL）方法，以适应特殊的流数据结构。ODL在两个重要方面不同于离线去偏套索。首先，在计算现阶段的估计时，它只使用历史数据的汇总统计。第二，除了去偏在线套索估计，ODL校正的近似误差项所产生的非线性在线更新与流数据。我们证明了所提出的GLM的在线去偏估计是一致的和渐近正态的。这一结果为利用流数据进行实时中间统计推断提供了理论依据。大量的数值实验进行了评估所提出的ODL方法的性能。这些实验证明了我们的算法的有效性和支持的理论结果。通过对美国国家汽车抽样系统-耐撞性数据系统的数据流进行分析，说明了该方法的应用。
2021-08-10 math.ST stat.TH
Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择，即，将不显著的回归系数归零。相比之下，经典的岭回归不能揭示潜在的稀疏性的参数，也可能会引入一个大的偏差下的高维设置。然而，最近的工作Lasso涉及去偏置和阈值，后者是为了进一步提高模型的选择。因此，岭回归可能值得再看一看，因为在去偏置和阈值化之后，它可能比Lasso提供一些优势，例如，它可以很容易地使用封闭形式的表达式来计算。%，并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法，证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计，我们考虑的问题，预测，并提出了一种新的，混合自举算法的预测区间。大量的数值模拟进一步表明，去偏和阈值岭回归具有良好的有限样本性能，在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Sparse Group Lasso: Optimal Sample Complexity, Convergence Rate, and Statistical Inference
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了高维双稀疏线性回归的稀疏群Lasso，其中感兴趣的参数同时是元素和群稀疏的。这个问题是同时结构化模型的一个重要实例，同时结构化模型是统计学和机器学习中一个积极研究的课题。在无噪声的情况下，匹配的上界和下界的样本复杂度分别建立了稀疏向量的精确恢复和近似稀疏向量的稳定估计。在有噪声的情况下，估计误差的上限和匹配的极大极小下界。我们还考虑了去偏稀疏群Lasso，并研究了它的渐近性质，以便进行统计推断。最后，数值研究提供了支持的理论结果。
2022-05-07 cs.LG math.ST stat.ML
Wild Bootstrap and Efron's Bootstrap for Debiased Cox Regression
University of Augsburg（奥格斯堡大学）
该研究针对Cox Lasso选择后去偏Cox估计量的系数推断问题，提出Wild Bootstrap与Efron Bootstrap两种方法，经模拟验证其渐近有效性与有限样本表现，可提升区间覆盖准确性，并通过SUPPORT2数据集示例说明应用。
2026-08-26 stat.ME
Inference on High-dimensional Single-index Models with Streaming Data
流数据的出现使传统的统计方法面临新的挑战。主要的挑战是快速增长的数据量和速度，这使得在内存中存储如此庞大的数据集变得不可能。本文提出了一个在线推理框架，在高维半参数单指标模型的回归参数未知的链接功能。拟议的在线程序仅更新当前数据批次和历史数据的汇总统计，而不是重新访问整个原始数据集。同时，我们不需要估计未知的链接函数，这是一个极具挑战性的任务。此外，一个广义凸损失函数中使用的建议的推理过程。为了说明所提出的方法，我们使用Huber损失函数和逻辑斯谛回归模型的负对数似然。在这项研究中，所提出的在线去偏Lasso估计的渐近正态性和所提出的在线Lasso估计的界进行了研究。为了评估所提出的方法的性能，已经进行了广泛的模拟研究。我们提供纳斯达克股票价格和财务困境数据集的应用程序。
2022-10-03 stat.ME
High-Dimensional Granger Causality Tests with an Application to VIX and News
本文研究了高维时间序列的Granger因果检验问题。为了进行正确的推断，我们依赖于异方差和自相关一致（HAC）估计的渐近方差和发展的推论理论在高维设置。为了识别时间序列的数据结构，我们专注于稀疏组LASSO估计，其中包括LASSO和组LASSO作为特殊情况。建立了回归系数低维组的去偏中心极限定理，研究了基于稀疏组LASSO残差的长期方差的HAC估计。这导致了有效的时间序列推断个人回归系数以及组，包括格兰杰因果关系检验。该处理依赖于一个新的N-Nagaev不等式的一类$τ$混合过程的重比高斯尾巴，这是独立的兴趣。在实证应用中，我们研究了波动率指数与金融新闻之间的格兰杰因果关系。
2021-02-01 econ.EM math.ST stat.ME
Doubly Debiased Lasso: High-Dimensional Inference under Hidden Confounding
从观察数据中推断因果关系或相关关联可能因隐藏混杂因素的存在而无效。我们专注于一个高维线性回归设置，其中测得的协变量受到隐藏混杂的影响，并提出了{ \em Doubly Debiased Lasso}估计的回归系数向量的各个组成部分。我们所提倡的方法同时纠正由于估计高维参数以及隐藏的混杂所造成的偏差。我们建立了它的渐近正态性，也证明了它是有效的高斯-马尔可夫意义。我们的方法的有效性依赖于一个密集的混杂假设，即每个混杂变量影响许多协变量。有限样本的性能说明了广泛的模拟研究和基因组的应用。
2021-07-20 math.ST stat.ME stat.TH
Testing for Differences in Gaussian Graphical Models: Applications to Brain Connectivity
功能性大脑网络是很好地描述和估计的数据与高斯图形模型（GGM），例如使用稀疏逆协方差估计。比较两个人群中受试者的功能连接需要比较这些估计的GGM。我们的目标是确定已知具有相似结构的GGM的差异。我们用稀疏估计参数的参数分布得到的置信区间来表征差异的不确定性。稀疏罚分使得即使在高维和低样本设置中也能够实现统计保证和可解释的模型。描述稀疏模型的分布本质上是具有挑战性的，因为惩罚会产生有偏估计。最近的工作调用稀疏性假设，有效地消除了稀疏估计，如套索的偏见。这些分布可用于给出GGM中边缘的置信区间，并通过扩展给出它们的差异。然而，在比较GGM的情况下，这些估计器不使用GGM之间的任何假定的联合结构。从大脑功能连接的先验知识的启发，我们得出的联合惩罚下的参数差异的分布时，已知是稀疏的差异。这导致我们引入去偏置多任务融合套索，其分布可以以有效的方式表征。然后，我们展示了如何去偏套索和多任务融合套索可以用来获得GGM的边缘差异的置信区间。我们验证了一组合成的例子，以及为自闭症的研究创建的神经成像数据集提出的技术。
2016-11-18 stat.ML
A Simple and General Debiased Machine Learning Theorem with Finite Sample Guarantees
MIT（麻省理工学院）
去偏机器学习是一种基于偏置校正和样本分割的Meta算法，用于计算机器学习算法的泛函（即标量摘要）的置信区间。例如，分析人员可能需要用神经网络估计的处理效应的置信区间。我们提供了一个非渐近去偏机器学习定理，它包含了满足一些简单的、可解释的条件的任何机器学习算法的任何全局或局部泛函。形式上，我们证明了一致性，高斯近似，和半参数的有限样本参数的效率。对于全局泛函，收敛速度为$n^{-1/2}$，对于局部泛函，收敛速度缓慢下降。我们的研究结果在一组简单的条件下达到高潮，分析师可以使用这些条件将现代学习理论转化为传统的统计推断。这些条件揭示了不适定反问题的一般双鲁棒性。
2022-10-21 cs.LG econ.EM math.ST
Doubly Robust Semiparametric Inference Using Regularized Calibrated Estimation with High-dimensional Data
考虑半参数估计，其中低维参数的双稳健估计函数可用，取决于两个工作模型。对于高维数据，我们开发了正则化校准估计作为估计两个工作模型中的参数的一般方法，使得如果两个工作模型中的任一个被正确指定，则可以在适当的稀疏条件下获得感兴趣的参数的有效Wald置信区间。我们提出了一个计算上易于处理的两步算法，并提供了严格的理论分析，证明了足够快的收敛速度的正则化校准估计，尽管顺序建设，并建立了所需的渐近扩展的双重鲁棒估计。作为具体的例子，我们讨论了部分线性，对数线性和逻辑模型和估计的平均处理效应的应用。在前三个例子的数值研究表明，我们的方法优越的性能相比，去偏Lasso。
2020-09-25 stat.ME
Adaptive debiased SGD in high-dimensional GLMs with streaming data
The Hong Kong Polytechnic University（香港理工大学）；Rutgers School of Public Health（罗格斯公共卫生学院）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种用于高维广义线性模型流式数据的自适应去偏随机梯度下降方法，通过单遍模式降低复杂度，并建立ADL估计量的渐近正态性，实验验证其统计有效性与计算效率。
2025-02-26 cs.LG stat.ML
Statistical Inference for Cox Proportional Hazards Models with a Diverging Number of Covariates
对于协变量个数不同的回归模型的统计推断，现有文献通常对费舍尔信息矩阵的逆矩阵作稀疏性假设。然而，在Cox比例风险模型下，这些假设经常被违反，导致覆盖范围不足的置信区间的有偏估计。我们提出了一种改进的去偏套索方法，它解决了一系列的二次规划问题来近似逆信息矩阵，而不构成稀疏矩阵的假设。当协变量的维数随样本量而异时，我们建立了估计回归系数的渐近结果。大量的模拟表明，我们提出的方法提供了相合估计和置信区间与标称覆盖概率。该方法的实用性通过评估遗传标记对波士顿肺癌生存队列患者总生存率的影响进一步证明，波士顿肺癌生存队列是一项调查肺癌潜在机制的大规模流行病学研究。
2021-06-06 stat.ME
With or Without Replacement? Improving Confidence in Fourier Imaging
RWTH Aachen University（亚琛工业大学）；Harvard University（哈佛大学）；Technical University Munich（慕尼黑工业大学）；TH Ingolstadt（英戈尔施塔特应用科学大学）；GE HealthCare（GE医疗）；LMU Munich（慕尼黑大学）
本文提出一种基于无放回采样的重加权方法，以改进去偏估计器，从而提升傅里叶成像中不确定性量化的置信度，尤其在中等维度及MRI等结构化场景下优于标准LASSO。
2024-07-18 cs.IT cs.LG eess.IV
The Lasso with general Gaussian designs with applications to hypothesis testing
University of California at Berkeley（加州大学伯克利分校）
本文将 Lasso 估计量的精确刻画从独立同分布高斯设计推广到具有非奇异协方差结构的高斯相关设计，建立非渐近分布界，并应用于去偏 Lasso，证明自由度修正对有效置信区间是必要的。
2023-09-19 cs.IT cs.LG math.IT
Stability of a Generalized Debiased Lasso with Applications to Resampling-Based Variable Selection
Department of Statistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计系）；Department of Electrical and Computer Engineering, the Grainger College of Engineering（格拉inger工程学院电子与计算机工程系）
提出基于稳定性原理的广义去偏Lasso估计量，通过设计矩阵单列扰动下的简单更新公式，在比例增长机制下实现渐近精确近似，显著降低重抽样变量选择的计算成本。
2026-06-15 cs.IT cs.LG math.IT
Online Debiasing for Adaptively Collected High-dimensional Data with Applications to Time Series Analysis
Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加州大学）
数据的自适应收集在整个科学和工程应用中是常见的。然而，从统计推断的角度来看，自适应数据收集在样本中引入记忆和相关性，并提出了重大挑战。我们考虑高维线性回归，其中样本是自适应收集的，样本量$n$可以小于协变量的数量$p$。在这种情况下，有两个不同的偏差来源：第一个是由于一致估计所施加的正则化，例如使用LASSO，第二个是由于收集样本的自适应性。我们提出了“在线去偏”，如LASSO，它解决了两个来源的偏见估计的一般程序。在两个具体的$(i)$时间序列分析和$(ii)$批量数据收集的情况下，我们证明了在线去偏最佳去偏LASSO估计时的基本参数$θ_0$具有稀疏的顺序$o(\sqrt{n}/\log p)$。在这种情况下，可以使用去偏估计量来计算最佳大小的$p$值和置信区间。
2020-05-05 cs.LG math.ST stat.ME
Cross-Fitting-Free Debiased Machine Learning with Multiway Dependence
Shanghai University of Finance and Economics（上海财经大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文发展了在一般矩方法模型中一般多维聚类依赖下的两阶段去偏机器学习估计的渐近理论，无需依赖交叉验证。通过结合奈曼-正交矩条件与基于局部化的经验过程方法，实现了无需样本分割的有效推断，且允许任意数量的聚类维度。
2026-09-30 econ.EM stat.ML
High-Dimensional Expected Shortfall Regression
本文针对高维稀疏模型提出lasso惩罚的期望损失回归方法，建立非渐近误差界，并构造去偏估计量以实现协变量的渐近有效统计推断。
2024-12-30 stat.ME
Estimation and inference of high-dimensional partially linear regression models with latent factors
本研究提出高维因子调整稀疏部分线性回归模型FAPLM，结合B样条与因子分析实现惩罚估计，推导了误差界与显著性检验方法，经数值实验与出生体重数据集验证兼具理论价值与实用性。
2025-01-11 stat.ME
Nonconvex High-Dimensional Time-Varying Coefficient Estimation for Noisy High-Frequency Observations with a Factor Structure
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of California, Riverside（加州大学河滨分校）
本文提出一种非凸惩罚回归方法，用于处理具有因子结构的噪声高频观测中的高维时间变化系数估计，通过去偏和阈值化方案提升估计精度。
2026-05-09 stat.ME
Inference for High-Dimensional Sparse Spectral Precision Matrices
Cornell University（康奈尔大学）；University of Alabama（阿拉巴马大学）
针对平稳高维时间序列，提出基于相邻离散傅里叶变换全似然的稀疏谱精度矩阵推断框架，通过去偏复图形套索估计器实现频率特定条件依赖的检验，并控制正则化、截断和平滑偏差。
2026-08-14 stat.ME stat.ML
Directional FDR Control for Sub-Gaussian Sparse GLMs
高维稀疏广义线性模型（GLM）是在样本个数和变量维数都很大，甚至变量维数增长速度快于样本个数的情况下产生的。错误发现率（FDR）控制的目的是在得到GLM的稀疏惩罚估计后，识别出少量统计上显著非零的结果。利用精确矩阵估计的CLIME方法，构造了稀疏GLM的无偏Lasso估计，并利用极小极大率预言不等式证明了其渐近正态性。在实际应用中，往往需要准确判断各回归系数的正负性，这决定了预测变量与响应变量在其余变量的条件下是正相关还是负相关。使用去偏估计，我们建立了多重检验程序。在温和的条件下，我们表明，建议的去偏统计量可以渐近控制方向（符号）FDR和方向错误发现变量在一个预先指定的显着性水平。此外，可以表明，我们的多重检验程序可以近似达到1的统计功效。我们还将方法推广到两样本问题，提出了两样本检验统计量。在适当的条件下，对于两样本问题，我们可以在指定的显着性水平上渐近地实现方向FDR控制和方向FDV控制。一些数值模拟成功地验证了我们提出的测试程序的FDR控制效果，有时优于经典的敲除方法。
2021-05-02 math.ST stat.ML stat.TH
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University（斯坦福大学）
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下，成功的方法使用$\ell_1$惩罚最小二乘估计量，称为Lasso。不幸的是，与线性估计器不同（例如，普通最小二乘法），没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近，一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题，通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法，假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进，因为如果样本量$n$渐近优于$s_0 (\log p)^2$，则其建立了接近最佳的\emph{average}检验功效，其中$s_0$为稀疏水平（非零系数的数量）。早期的工作获得可证明的保证，只有更大的样本量，即它需要$n$渐近支配$(s_0 \log p)^2$。特别是，对于随机设计的稀疏精度矩阵，我们表明，其具有所需的属性的估计可以有效地计算。最后，我们评估这种方法的合成数据，并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
Covariate Selection for Doubly Robust Double/debiased Machine Learning Estimators for Causal Inference
Department of Human Development and Quantitative Methodology, University of Maryland（马里兰大学人类发展与定量方法系）
针对高维数据下因果推断中协变量选择问题，提出使用倾向得分与结果模型所选协变量的并集重新估计双稳健模型，模拟显示该方法能更有效减少混杂偏差，并揭示ML估计并非总是优于传统方法。
2026-09-16 stat.ME stat.ML
A Scale-free Approach for False Discovery Rate Control in Generalized Linear Models
广义线性模型（GLM）已被广泛应用于非高斯响应变量的建模。当解释性特征的数量相对较大时，科学研究人员感兴趣的是执行受控特征选择以简化下游分析。本文介绍了一种新的框架，GLM的特征选择，可以实现错误发现率（FDR）控制在两个渐近制度。关键的一步是构建一个镜像统计来衡量每个功能的重要性，这是基于两个（渐近）独立的估计相应的真实系数通过数据分裂方法或高斯镜像方法获得。FDR控制是通过利用镜像统计的特性来实现的，对于任何空特征，其采样分布关于0（渐近）对称。在中维环境下，特征维数p与样本量n之比收敛于一个固定值，我们基于极大似然估计构造镜像统计量。在p远大于n的高维设置中，我们使用去偏Lasso来构建镜像统计。与Benjamini-Hochberg方法相比，该方法主要依赖于Z统计量的渐近正态性，所提出的方法是无标度的，因为它只取决于对称性，因此预计在有限样本情况下更具鲁棒性。仿真结果和实际数据的应用表明，所提出的方法是能够控制FDR，往往比现有的方法，包括Benjamini-Hochberg程序和敲除滤波器更强大。
2020-07-02 stat.ME
Hypothesis Testing in High-Dimensional Regression under the Gaussian Random Design Model: Asymptotic Theory
我们考虑线性回归在高维制度的观察数$n$小于参数数$p$。在这种情况下，一种非常成功的方法是使用$\ell_1$ -惩罚最小二乘法（也称为Lasso）搜索最能解释数据的$s_0< n$参数子集，同时将其他参数设置为零。大量的工作已被用于描述这种方法中的估计和模型选择问题。在本文中，我们考虑的是基本的，但远不了解，问题的\emph{statistical significance}。更确切地说，我们解决了计算单个回归系数的p值的问题。一方面，我们在给定的显著性水平下，给出了极大极小检验功效的一般上界。另一方面，我们证明了这个上界是（几乎）通过一个实际的过程中的情况下，随机设计矩阵的独立项目是可以实现的。我们的方法是基于一个去偏的Lasso估计。分析建立在严格表征的渐近分布的Lasso估计及其去偏版本。我们的结果适用于最佳样本量，即，当$n$至少为$s_0 \log(p/s_0)$的量级时。我们推广我们的方法随机设计矩阵独立同分布。高斯行$x_i\sim N(0,Σ)$。在这种情况下，我们证明了一个类似的分布特性（称为“标准分布限制”）持有$n$远大于$s_0(\log p)^2$。最后，我们表明，对于最佳的样本量，$n$是至少为$s_0 \log(p/s_0)$阶，一般高斯设计的标准分布极限可以从统计物理学中的副本几何学推导出来。
2014-02-04 cs.IT math.IT math.ST
False Discovery Rate Control via Debiased Lasso
University of Southern California（南加州大学）；Rice University（莱斯大学）
我们考虑高维统计模型中的变量选择问题，其目标是从许多预测因子$X_1, \dotsc, X_p$中报告一组与感兴趣的响应相关的变量。对于线性高维模型，当参数个数超过样本个数$(p>n)$时，我们提出了一种变量选择方法，并证明了它能将"定向"错误发现率（FDR）控制在预先指定的显著性水平$q\in [0,1]$以下.我们进一步分析了我们的框架的统计能力，并表明，对于亚高斯行和一个共同的精度矩阵$Ω\in\mathbb{R}^{p\times p}$的设计，如果最小非零参数$θ_{\min}$满足$$\sqrt{n} θ_{\min} - σ\sqrt{2(\max_{i\in [p]}Ω_{ii})\log\left(\frac{2p}{qs_0}\right)} \to \infty\,,$$，那么这个过程达到渐近功率1。我们的框架是建立在去偏置的方法，并假设标准条件$s_0 = o(\sqrt{n}/(\log p)^2)$，其中$s_0$表示真阳性的数量之间的$p$功能。值得注意的是，该框架实现了精确的方向FDR控制，而无需对未知回归参数的幅度进行任何假设，并且不需要任何协变量分布或噪声水平的知识。我们在合成和真实数据实验中测试我们的方法，以评估其性能并证实我们的理论结果。
2019-03-19 cs.IT cs.LG math.IT
On Selecting and Conditioning in Multiple Testing and Selective Inference
本文统一考察选择、条件化与误差控制，证明直接在完整假设全域上的多重检验方法功效不低于选择性推断方法，并给出理论框架与案例。
2023-12-05 stat.ME
A Note on Debiased/Double Machine Learning Logistic Partially Linear Model
Logistic部分线性模型的双鲁棒推理在许多应用领域中具有特殊的意义。最近，Tan（2019）为此提出了一种简单灵活的双稳健估计器。他们引入了两个滋扰模型，即logistic模型中的非参数分量和暴露协变量的条件平均值（给定其他协变量和固定响应），并将其指定为固定维参数模型。他们的框架可能会扩展到机器学习或最近开发的高维滋扰建模，例如，在Zhuzhukovet al.（2018 a，b）和Smucler et al.（2019）; Tan（2020）。基于此，本文提出了去偏/双机器学习logistic部分线性模型。对于滋扰模型的构建，我们分别考虑使用高维稀疏参数模型和一般的机器学习方法。通过推导一定的矩方程来校正滋扰模型的一阶偏差，我们保持了高维超稀疏滋扰模型的模型双重鲁棒性。我们还讨论并比较了我们的方法与去偏LASSO（Van deGeer等人，2014年）。为了实现机器学习的建议，我们设计了一个完整的模型改装程序，允许使用任何黑盒条件均值估计方法在我们的框架。在机器学习设置下，我们的方法在类似意义上具有双倍的鲁棒性，如Zerichzhukov et al.（2018 a）。
2020-08-28 stat.ME
Statistical Inference for Genetic Relatedness Based on High-Dimensional Logistic Regression
研究了基于个体水平全基因组关联数据的二元性状间遗传相关性的统计推断问题。具体而言，在高维逻辑斯谛回归模型下，我们定义了表征性状间遗传相关、遗传协方差和性状特异性遗传方差的参数。提出了一种新的加权去偏方法，并给出了计算效率较高的去偏估计。研究了这些估计的收敛速度，并在较弱的条件下证明了它们的渐近正态性。此外，我们构造了这些参数的置信区间和统计检验，并提供了理论依据的方法，包括覆盖概率和预期长度的置信区间，以及拟议的测试的大小和功效。在模型生成数据和模拟遗传数据下进行了数值研究，以显示所提出的方法的优越性。通过分析自身免疫性疾病的真实数据集，我们证明了它能够获得关于10种儿科自身免疫性疾病之间共享遗传结构的新见解。
2022-10-05 math.ST stat.AP stat.ME
Selective Inference in Graphical Models via Maximum Likelihood
KU Leuven（鲁汶大学）；University of Michigan（密歇根大学）
该研究针对图套索推断边值函数时缺乏统计保证的问题，提出带随机化的选择性推断方法，通过条件最大似然实现有效区间估计与假设检验，效果优于数据拆分。
2026-08-26 stat.AP stat.CO stat.ME
Split Knockoffs for Multiple Comparisons: Controlling the Directional False Discovery Rate
针对多重比较中线性变换约束下方向性错误发现率难以控制的问题，提出结合变量分裂与样本分裂的扩展Split Knockoff方法，可有效控制该错误率，且在仿真和阿尔茨海默病分析、年龄比较场景中验证了有效性。
2023-10-11 stat.ME
Robust High-Dimensional Time-Varying Coefficient Estimation
提出RED-LASSO方法，结合Huber损失、截断、ℓ1正则化、去偏与阈值，利用高频数据稳健估计高维时变积分系数，并达到近最优收敛速率。
2025-09-24 stat.ME
Inference In High-dimensional Single-Index Models Under Symmetric Designs
研究了高维单指标模型中回归系数的统计推断问题。在椭圆对称条件下，单指数模型可以转化为回归参数可识别的代理线性模型。我们构造了感兴趣的回归系数的估计，这些估计类似于标准线性模型中的去偏套索估计，并表现出类似的性质：根-n-一致性和渐近正态性。该过程完全绕过了对未知链接函数的估计，根据问题的底层结构，这可能是非常具有挑战性的。此外，在高斯性下，我们通过在Hermite多项式基上扩展连接函数，提出了系数的更有效的有效估计。最后，我们通过精心设计的模拟实验来说明我们的方法。
2021-02-27 math.ST stat.OT stat.TH
Model-based bootstrap inference for Cox models after Lasso selection
University of Augsburg（奥格斯堡大学）；TU Dortmund University（多特蒙德工业大学）
本文针对Cox-Lasso变量选择后的推断难题，提出基于模型的自助推断方法，证明其一阶有效性，模拟和实例显示该方法能改善小样本条件覆盖率，为生存分析提供可解释的不确定性量化。
2026-08-20 stat.ME
Double/Debiased CoCoLASSO of Treatment Effects with Mismeasured High-Dimensional Control Variables
针对高维加性测量误差下的处理效应估计问题，提出Double/Debiased CoCoLASSO方法，通过构建Neyman-orthogonal得分函数、矩估计误差方差并证明$\sqrt{N}$-一致性，实现了无需已知误差结构的稳健高效估计。
2024-08-26 econ.EM stat.ME
Sharp Oracle Inequalities for Low-complexity Priors
本文考虑了一类参数个数与样本量相当或大于样本量的高维统计估计问题。我们提出了一个统一的分析指数加权聚合和惩罚估计的性能保证与一般类的数据丢失和先验，鼓励对象符合一些简单/复杂的概念。更准确地说，我们证明了这两个估计满足尖锐的预言不等式的预测，确保其良好的理论性能。我们还强调了它们之间的差异。当噪声为随机噪声时，利用浓度不等式给出了概率不等式。然后将这些结果应用到几个实例中，包括Lasso，Lasso组，它们的分析型对应物，$\ell_\infty$和核范数惩罚。我们所有的估计可以有效地实现使用邻近分裂算法。
2017-10-03 math.ST stat.TH
Hierarchical False Discovery Rate Control for High-dimensional Survival Analysis with Interactions
针对带交互作用的高维生存分析，本文采用AFT模型和去偏Lasso方法进行估计选择，并开发分层FDR控制方法以尊重主效应与交互作用的层级结构，有效填补了该领域推断研究的空白。
2023-11-23 stat.ME
Generalized Linear Models with Structured Sparsity Estimators
North Carolina State University（北卡罗来纳州立大学）
本文在广义线性模型中引入结构稀疏估计。Stucky和van de Geer（2018）最近针对固定设计和正态误差引入了最小二乘损失中的结构稀疏估计。我们扩展他们的结果去偏结构稀疏估计与广义线性模型为基础的损失。结构化稀疏估计是指在所选范数中使用可能的稀疏结构的惩罚损失函数。这些包括加权群套索，套索和规范产生的凸锥。最大的困难是不清楚如何证明两个预言不等式。第一个是初始惩罚广义线性模型估计。由于不清楚特定的可行加权逐点回归如何适合惩罚广义线性模型的预言不等式，我们需要第二个预言不等式来获得广义线性模型的二阶偏导数的样本估计的近似逆的预言界。我们的贡献有五个方面：1。通过证明隐含条件而不是假设隐含条件，将已有的预言不等式结果推广到惩罚广义线性模型中。其中一个关键问题是一个样本单点边界条件的证明及其在预言不等式中的应用。2.我们的研究结果甚至覆盖非次高斯误差和回归。3.我们提供了一个可行的加权nodewise回归证明，推广了文献中的结果，从一个简单的l_1范数的使用，从凸锥产生的规范。4.我们认识到，在可行的逐节点回归证明中使用的范数应该弱于或等于惩罚广义线性模型损失中的范数。5.通过求广义线性模型损失的奇异样本二阶偏导数的近似逆，可以消除第一步估计的偏差。
2021-04-29 cs.LG econ.EM stat.ML
Distributed Sparse Linear Regression under Communication Constraints
Department of Statistics, Federal University of Bahia, Salvador-BA, Brazil（统计系，巴伊亚联邦大学，巴西）；Department of Computer Science（计算机科学系）；Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel（应用数学，魏茨曼科学研究院，以色列）
本文提出了一种在通信限制下实现稀疏线性回归的分布式算法，通过亚线性通信量实现精确支持恢复。
2026-01-02 cs.LG math.ST stat.TH
Estimating Multiple Weighted Networks with Node-Sparse Differences and Shared Low-Rank Structure
针对共同节点上的多个加权网络，提出共享低秩加节点稀疏差异的模型，开发结合谱初始化、半定规划和去偏细化的多阶段估计，实现低秩成分的极小极大最优恢复与节点扰动的检测，并证明多网络可提升精度。
2025-06-18 math.ST stat.TH
Double-estimation-friendly inference for high-dimensional misspecified models
所有的模型都可能是错误的，但这不一定是推理的问题。考虑随机设计线性模型中变量$X$显著性的标准$t$检验，用于预测缓解$Y$，同时控制$p$和其他协变量$Z$。这产生了正确的渐近I型误差控制的零假设，$X$是有条件的$Y$独立于$Z$给定$Z$下的\emph{arbitrary}回归模型的$Y$对$(X, Z)$，提供了一个线性回归模型的$X$对$Z$持有。一个类似的鲁棒性误设定，我们称之为“双估计友好”（DEF）的属性，也适用于广义线性模型的沃尔德测试，有一些小的修改。在这篇简要的论文中，我们探讨了这一现象，并提出了尊重DEF属性的高维回归设置的方法。我们主张指定（稀疏）广义线性回归模型的$Y$和利益的协变量$X$，我们的框架给出了有效的推理条件独立空，如果这些举行。在两个规格都是线性的特殊情况下，我们的建议相当于一个小的修改流行的debiased Lasso测试。我们还研究通过反转我们的测试构建$X$回归系数的置信区间;即使在$Z$对$Y$的贡献可以是任意的部分线性模型中，这些也具有覆盖保证。数值实验证明了该方法的有效性。
2022-05-19 math.ST stat.TH
Bayesian High-dimensional Grouped-regression using Sparse Projection-posterior
North Carolina State University（北卡罗来纳州立大学）
提出一种基于稀疏投影后验的贝叶斯高维分组回归方法，通过三种投影映射实现组变量选择和估计，并证明模型选择一致性和最优后验收缩率。
2026-05-22 stat.ME
Cluster-induced target shift and synthetic approximation for high-dimensional clustered data
Florida International University（佛罗里达国际大学）；University of Nottingham Ningbo China（诺丁汉大学宁波校区）；University of Pennsylvania（宾夕法尼亚大学）；Dartmouth College（达特茅斯学院）；Oklahoma State University（俄克拉荷马州立大学）
针对高维聚类数据，提出合成异质效应LASSO（SHEL）方法，通过纳入聚类级合成近似来解决边际模型LASSO因协变量异质分布导致的虚假选择问题，并建立理论性质与后选择推断程序。
2026-09-18 stat.ME
HEDE: Heritability estimation in high dimensions by Ensembling Debiased Estimators
本文提出 HEDE 集成方法，通过组合去偏 lasso 和去偏 ridge 估计器并采用数据驱动超参数选择，在高维线性模型中一致地估计遗传力，模拟和 UK Biobank 数据均验证其优于现有方法。
2024-06-17 math.ST stat.ME stat.TH
Augmented balancing weights as linear regression
UC Berkeley（加州大学伯克利分校）；Ghent Univ.（根特大学）；Johns Hopkins Univ.（约翰斯·霍普金斯大学）
本文证明增强平衡权重估计器在线性基条件下等价于单一线性回归，并推广到岭回归和 lasso 情形，揭示其退化、欠平滑及双重选择性质，为理解该类估计器性能提供新框架。
2024-06-05 cs.LG econ.EM stat.ME
Statistical inference in sparse high-dimensional additive models
本文讨论了非参数可加模型$Y=f_1(X_1) + ...+ f_q(X_q) + ε$的非参数分量$f_1$的估计。我们允许添加剂成分的数量$q$增长到无穷大，我们对非零添加剂成分的数量进行稀疏性假设。我们比较了这个估计问题的估计$f_1$在Oracle模型$Z= f_1(X_1) + ε$，其中添加剂成分$f_2,\dots,f_q$是已知的。我们构造了$f_1$的两步预光滑和再光滑估计，并给出了我们的估计与Oracle模型中的一些光滑估计$\hat f_1^{\text{(oracle)}}$之间的差异的有限样本界。在渐近设置这些界限可以用来显示渐近等价的估计和Oracle估计，从而表明，渐近，在足够强的稀疏性条件下，知识$f_2,\dots,f_q$估计精度没有影响。我们的第一步是估计$f_1$与欠平滑估计的基础上，近正交投影组拉索偏差校正。然后，我们构建伪响应$\hat Y$通过评估我们的欠平滑估计$f_1$在设计点的去偏修改。在第二步中，将Oracle估计量$\hat f_1^{\text{(oracle)}}$的平滑方法应用于具有响应$\hat Y$和协变量$X_1$的非参数回归问题。我们的数学阐述主要集中在建立premoothing估计的属性。我们目前的模拟结果表明，我们的估计在实际应用中接近预言机的性能。
2019-10-18 math.ST stat.TH
Modeling Educational Performance Using School Demographics and Teacher Characteristics
University of South Alabama（南阿拉巴马大学）
提出自适应加权组融合LASSO估计器，在统一惩罚回归框架中联合进行变量选择、组正则化和系数融合，通过ADMM算法求解，并证明渐近性质，在教育数据中提升模型可解释性和预测精度。
2026-06-29 stat.ME
Debiased and Simultaneous Inference for Heterogeneous Factorial Effect Modifiers via Residualized Walsh-Hadamard Scores
Juntendo University（顺天堂大学）；Kyoto University（京都大学）
针对因子随机化实验，提出基于残差化Walsh-Hadamard得分的去偏推断方法，实现对所有效应修饰单元的同时置信带与选择，无需效应遗传假设。
2026-09-30 math.ST stat.ME stat.TH
Cross-Fitting and Averaging for Machine Learning Estimation of Heterogeneous Treatment Effects
我们研究了有限样本的样本分裂，交叉拟合和平均估计的条件平均处理效应的性能。最近提出的方法，所谓的元学习者，利用机器学习来估计不同的滋扰函数，因此允许对数据的底层结构的限制较少。为了限制在使用机器学习方法时可能导致的潜在过拟合偏差，已经提出了交叉拟合估计器。这包括将数据拆分为不同的折叠以减少偏差，并对折叠进行平均以恢复效率。据我们所知，目前尚不清楚如何准确地分割和平均数据。我们采用了蒙特卡罗研究与不同的数据生成过程，并考虑12个不同的估计，不同的样本分裂，交叉拟合和平均程序。我们独立地调查每个估计器在四个不同的元学习器上的性能：双重鲁棒学习器，R-学习器，T-学习器和X-学习器。我们发现，所有元学习者的性能在很大程度上取决于分裂和平均的过程。当应用交叉拟合加上在多个不同的样本分裂迭代中取中值时，可以实现样本分裂估计量之间的均方误差（MSE）方面的最佳性能。一些元学习器在ML方法中包含套索时表现出很高的方差。排除套索减少了方差，并导致稳健的和至少有竞争力的结果。
2020-08-26 stat.ME
Statistical Inference for Linear Functions of Eigenvectors with Small Eigengaps
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了在特征间隙极小的情况下，线性函数的统计推断，提出了一种无需样本分割即可计算的置信区间，并证明其最优性。
2026-05-07 math.ST stat.TH
