Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择，即，将不显著的回归系数归零。相比之下，经典的岭回归不能揭示潜在的稀疏性的参数，也可能会引入一个大的偏差下的高维设置。然而，最近的工作Lasso涉及去偏置和阈值，后者是为了进一步提高模型的选择。因此，岭回归可能值得再看一看，因为在去偏置和阈值化之后，它可能比Lasso提供一些优势，例如，它可以很容易地使用封闭形式的表达式来计算。%，并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法，证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计，我们考虑的问题，预测，并提出了一种新的，混合自举算法的预测区间。大量的数值模拟进一步表明，去偏和阈值岭回归具有良好的有限样本性能，在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Automatic Doubly Robust Forests
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出自动双重稳健随机森林DRRF，将基于Riesz表示子的自动去偏扩展到条件矩泛函估计，证明其一致性与渐近正态性，并在HTE模拟中展现更优精度、稳健性和计算效率。
2025-06-08 cs.LG econ.EM math.ST
Debiasing Sample Loadings and Scores in Exponential Family PCA for Sparse Count Data
针对稀疏计数数据指数族PCA中得分估计的极端偏差问题，本文识别载荷估计误差与MLE偏差两大来源，提出迭代自助法与测量误差模型结合的去偏方法，并经模拟与真实数据验证其有效性。
2023-12-20 stat.AP stat.ME
Debiasing Kernel-Based Generative Models
Lehigh University（里海大学）
提出去偏核基生成模型（DKGM），结合核密度估计与随机逼近，通过两阶段框架生成高质量图像，在CIFAR10等基准上达到与扩散模型和GAN相当的性能。
2025-03-26 cs.AI stat.ML
Sharp Structure-Agnostic Lower Bounds for General Linear Functional Estimation
Stanford University（斯坦福大学）
本文提出了一般线性函数估计的锐利结构无关下界，证明了双重鲁棒估计器的统计最优性，并区分了双重鲁棒性和一阶去偏在不同情形下的最优性。
2026-01-05 cs.LG econ.EM math.ST
Debiased Regression for Root-N-Consistent Conditional Mean Estimation
针对非参数回归估计器缺乏√n一致性和渐近正态性保证的问题，提出一种去偏技术，通过添加偏差校正项扩展一步估计器，理论证明其满足√n一致性和渐近正态性，且保持无模型特性，能提高估计精度并简化置信区间构建。
2024-11-25 cs.LG econ.EM math.ST
Sharp Debiasing for Smooth Functional Estimation in Banach Spaces
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于单次样本分割的交叉拟合估计器，研究Banach空间中均值参数θ的光滑函数f(θ)的估计问题，建立有限矩假设下的非渐近矩界和Berry-Esséen界，应用于高维回归中的精度矩阵估计与投影参数推断。
2026-04-01 math.ST stat.ME stat.TH
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo（东京大学）
本文提出一种无模型的非参数回归去偏方法，通过加入估计条件期望残差的校正项，使估计量在温和条件下具备风险收敛与渐近正态性，从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Fisher Random Walk: Automatic Debiasing Contextual Preference Inference for Large Language Model Evaluation
Department of Statistics, Indiana University Bloomington（印第安纳大学布卢明顿分校统计学系）；Fuqua School of Business, Duke University（杜克大学福克商学院）；Department of Biostatistics & Bioinformatics, Duke University（杜克大学生物统计学与生物信息学系）；Department of Biostatistics, Harvard T.H. Chan School of Public Health（哈佛大学T.H. Chan公共卫生学院生物统计学系）
本研究提出基于Fisher随机游走的半参数有效估计器，实现上下文偏好推断的自动去偏，适用于大语言模型评估，并通过实验验证其准确性与实用性。
2025-09-06 cs.LG math.ST stat.ML
Near-optimal inference in adaptive linear regression
Rutgers University（罗格斯大学）；Voleon Group（Voleon集团）；DeepMind（深度思维）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
当以自适应方式收集数据时，即使是像普通最小二乘法这样的简单方法也会表现出非正态渐近行为。作为不良后果，基于渐近正态性的假设检验和置信区间可能导致错误结果。我们提出了一个家庭的在线去偏估计，以纠正这些分布异常的最小二乘估计。我们提出的方法利用了数据集中的协方差结构，并在积累了更多信息的方向上提供了更清晰的估计。我们建立了一个渐近正态性，我们提出的在线去偏估计在温和的条件下的数据收集过程中，并提供渐近精确的置信区间。此外，我们证明了一个极大极小的自适应线性回归问题的下界，从而提供了一个基线比较估计。有各种条件下，我们提出的估计达到极大极小下界。我们证明了我们的理论的实用性，通过应用程序多臂强盗，自回归时间序列估计，主动学习与探索。
2023-03-21 cs.LG math.ST stat.ML
Automatic Debiased Machine Learning via Riesz Regression
本文提出自动去偏机器学习方法，通过Riesz回归估计Riesz表示器，适用于任意机器学习器，实现端到端去偏，并给出理论保证与实证验证。
2024-03-14 econ.EM math.ST stat.TH
Deeply-Debiased Off-Policy Interval Estimation
London School of Economics and Political Science（伦敦政治经济学院）；North Carolina State University（北卡罗来纳州立大学）；Massachusetts Institute of Technology（麻省理工学院）
非策略评估通过由不同行为策略生成的历史数据集来学习目标策略的值。除了点估计之外，许多应用将显著受益于具有量化点估计的不确定性的置信区间（CI）。在本文中，我们提出了一种新的deeetrans-debiasing过程来构建一个有效的，强大的，灵活的CI目标政策的价值。我们的方法是合理的理论结果和数值实验。建议过程的Python实现可在https://github.com/RunzheStat/D2OPE上获得。
2021-06-07 cs.AI cs.LG stat.ML
Cross-Dataset Propensity Estimation for Debiasing Recommender Systems
Cornell University（康奈尔大学）
用于推荐系统训练的数据集往往会受到用户和商家选择偏差引起的分布偏移的影响。本文研究了选择偏差对不同量化数据集的影响。然后，我们利用来自不同源分布的两个不同量化的数据集，通过应用来自因果推理的逆概率评分方法来减轻分布偏移。从经验上讲，我们的方法比单数据集方法和组合两个数据集的替代方法获得了显着的性能改进。
2022-12-22 cs.IR cs.LG stat.ME
Inference with Mondrian Random Forests
本文为蒙德里安随机森林回归估计量建立了偏差、方差刻画及中心极限定理，提出去偏推断方法并证明其达到极小极大最优收敛速率，同时给出批处理与在线算法及模拟验证。
2025-11-07 math.ST stat.ME stat.ML
Low-rank Panel Quantile Regression: Estimation and Inference
在本文中，我们提出了一类低秩面板分位数回归模型，允许不可观察的斜率异质性的个人和时间。我们估计的异质截距和斜率矩阵通过核范数正则化，然后通过样本分裂，行和列的分位数回归和去偏。我们证明了与截距和斜率矩阵相关的因子和因子载荷的估计量是渐近正态分布的。此外，我们开发了两个规格测试：一个零假设的斜率系数是一个常数随着时间和/或个人的情况下，真实的秩的斜率矩阵等于1，和其他的零假设的斜率系数的情况下，真实的秩的斜率矩阵等于2的情况下，表现出一个加性结构。我们通过蒙特卡罗模拟和真实数据集说明了估计和推断的有限样本性能。
2022-10-20 econ.EM stat.ME
Joint Estimation and Inference for Data Integration Problems based on Multiple Multi-layered Gaussian Graphical Models
高通量技术的快速发展已经使得能够从生物或疾病过程生成跨越多个层的数据，如基因组学、蛋白质组学或代谢组学数据，并且进一步涉及多个来源，如疾病亚型或实验条件。在这项工作中，我们提出了一个通用的统计框架的基础上高斯图形模型的水平（即跨条件或亚型）和垂直（即跨不同的层包含数据的分子室）整合信息在这样的数据集。我们首先将多层问题分解为一系列两层问题。对于每个两层问题，我们将下层节点的结果建模为依赖于该层中其他节点以及上层中所有节点的结果。我们使用邻域选择和组惩罚回归的组合来获得所有模型参数的稀疏估计。在此之后，我们开发了一个去偏置技术和渐近分布的层间有向边权重，利用已经计算的邻域选择系数的节点在上层。随后，我们建立全球和同时测试这些边的权重的程序。所提出的方法的性能进行评估的合成和真实的数据。
2022-01-21 math.ST stat.ME stat.ML
Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores
对于维数远大于样本量的模型，假设检验只有在成功地消除初始估计偏差后，才能像经典的学生化检验那样进行公式化。去偏估计量的理论可以在固定分位值的分位数回归模型的背景下发展。然而，通常需要基于分位数回归过程来制定测试，因为这会导致更稳健的测试和更稳定的置信集。此外，分位数回归中的推断需要估计所谓的稀疏函数，其取决于误差的未知密度。在本文中，我们考虑一个去偏的一致测试问题的方法。我们开发了高维回归秩分数，并展示了如何使用它们来估计稀疏函数，以及如何使它们适应涉及分位数回归过程的推断。此外，我们开发了一个Kolmogorov-Smirnov测试的位置移动的高维模型和置信集，是一致有效的许多分位数值。主要的技术成果是发展的Bahadur表示的去偏估计，是均匀的分位数和均匀收敛的分位数过程的布朗桥过程，这是独立的利益。模拟研究表明，我们的程序的有限样本特性。
2017-02-20 stat.ML
A Sparse Beta Regression Model for Network Analysis
本文提出稀疏β-回归模型（SβRM），通过差分异质性仅对重要节点赋权并结合ℓ1惩罚似然估计，统一了同质性与稀疏性建模，且其同质性参数推断无需去偏，适用于实际稀疏网络分析。
2024-09-28 math.ST stat.AP stat.ME
Kernel Debiased Plug-in Estimation: Simultaneous, Automated Debiasing without Influence Functions for Many Target Parameters
本文提出核去偏插入估计（KDPE）方法，基于TMLE框架和再生核希尔伯特空间，无需影响函数即可同时对多个目标参数进行自动化去偏，解决了传统方法在计算和分析上的挑战。
2024-06-02 stat.ME stat.ML
From Good Starts to Optimal Inference: Generalized Latent Factor Models with Missingness and Implicit Regularization
Department of Statistics, Columbia University（哥伦比亚大学统计系）
本文提出一种结合链接感知双SVD初始化、单侧细化和梯度下降的非凸估计方法，实现广义潜因子模型在缺失数据下的最优推断与不确定性量化，无需显式正则化或去偏。
2026-09-11 math.ST stat.TH
Statistical inference using debiased group graphical lasso for multiple sparse precision matrices
针对共享稀疏模式的多高斯图模型，该研究分析组图拉索的估计性质，构建渐近高斯的去偏估计量以实现跨总体精度矩阵的统计推断，并验证了中等高维下的一致性及实用价值。
2025-10-06 math.ST stat.AP stat.TH
Semi-Supervised Quantile Estimation: Robust and Efficient Inference in High Dimensional Settings
针对半监督高维分位数估计场景，提出结合灵活插补策略与去偏步骤的半监督估计量，兼具鲁棒性与效率提升，理论与实验均验证其性能优势。
2024-08-14 math.ST stat.ME stat.ML
Debiased parametric inference for regime-switching jump diffusions with infinite variation jumps
Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）
针对机制转换跳跃扩散模型，提出两阶段半参数方法：第一阶段用截断高斯拟似然估计参数，第二阶段用核平滑估计Lévy密度，并建立渐近性质。
2026-10-21 math.PR math.ST stat.TH
Efficient Volatility Estimation for Lévy Processes with Jumps of Unbounded Variation
基于高频观测的随机过程的统计推断是一个活跃的研究领域已经有十多年了。最著名和广泛研究的问题之一是估计连续分量的二次变差的伊藤半鞅跳跃。当跳变分量为有界变差时，已有文献提出了几种速率有效和方差有效的估计。然而，到目前为止，很少有方法可以处理跳跃的无界变化。通过发展Lévy过程截断矩的新的高阶展开式，构造了一类无界变差Lévy过程的新的速率和方差有效估计，其小跳的行为类似于Blumenthal-Getoor指标小于$8/5$的稳定Lévy过程的小跳.所提出的方法是基于一个两步去偏过程的截断实现的二次变差。我们的蒙特卡罗实验表明，该方法优于其他有效的替代品在文献中的设置覆盖我们的理论框架。
2022-02-02 econ.EM q-fin.ST stat.OT
Parametric Rates for Nonparametric Conditional-Moment Bilevel Optimization
Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室）；Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院（UCL）的Gatsby计算神经科学单位）；Cornell University（康奈尔大学）；Netflix Research（Netflix研究）
本文提出一种半参数去偏理论，用于消除双层梯度估计中的一阶偏差，通过交叉拟合的正交超梯度估计器实现了渐近正态性，并在二次损失下简化为基于条件均值 nuisances 的双重鲁棒分数。
2026-10-28 cs.LG stat.ML
Optimal use of a black-box learner in semiparametric estimation
Harvard University（哈佛大学）
研究半参数估计中黑箱学习器的最优使用，提出新估计器及TAME方法，新估计器有特定误差率且建立了匹配下界，TAME可与初始估计结合，在干扰不平衡时改进DML保证，还讨论了其优势。
2026-07-24 math.ST stat.ME stat.ML
Debiased Prediction Inference with Non-sparse Loadings in Misspecified High-dimensional Regression Models
针对可能误设的高维回归模型中具有非稀疏载荷的预测推断问题，提出了去偏估计和 Wald 置信区间，并首次在稀疏条件下建立根号 n 渐近展开，证明了方法的有效性。
2025-07-15 math.ST stat.TH
Efficient Integrated Volatility Estimation in the Presence of Infinite Variation Jumps via Debiased Truncated Realized Variations
针对无界变差跳跃的伊藤半鞅，提出基于两步去偏截断已实现变差的速率与方差高效波动率估计量，适用于Blumenthal-Getoor指数在(1,8/5)及更小情形，蒙特卡洛实验验证其优于现有方法。
2024-04-20 econ.EM math.ST q-fin.ST
Local polynomial density ratio estimation
Philipps-Universität Marburg（马尔堡菲利普斯大学）；Universität Rostock（罗斯托克大学）
本文提出一种局部多项式密度比估计器，在仅假设比值光滑时达到极小极大最优速率，支持边界点，并提供浓度不等式、导数估计、渐近正态性及KL信息估计。
2026-10-01 math.ST stat.ML stat.TH
Improving Sensitivity in A/B Tests: Integrating CUPED with Trimmed Mean Techniques
本文提出融合 CUPED 方差缩减与 Yuen t 检验截尾均值的方法，以提升重尾、偏态在线 A/B 指标的检验敏感性，并在更小样本下保持统计功效。
2025-10-03 stat.ME
Bridging the Usability Gap: Theoretical and Methodological Advances for Spectral Learning of Hidden Markov Models
University of Virginia（弗吉尼亚大学）
针对隐马尔可夫模型谱学习（SHMM）的误差传播与渐近理论缺失问题，提出了投影SHMM（PSHMM）算法及在线学习变体，有效提升了估计与预测的稳健性。
2024-08-26 cs.LG stat.ML
Distributed Semi-Supervised Sparse Statistical Inference
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
针对分布式场景下高维去偏估计量计算成本高的问题，提出融合有标记与无标记数据的多轮分布式去偏估计量，适配多种损失函数，仅需一次高维逆协方差估计，提升了统计速率与计算效率。
2023-12-15 cs.LG stat.ML
Debiased Inference for High-Dimensional Regression Models Based on Profile M-Estimation
提出去偏剖面M估计（DPME）框架，通过牛顿-拉夫森一步校正实现高维回归模型的正则化估计的渐近正态推断，无需显式投影，计算成本低。
2026-06-16 math.ST stat.ME stat.TH
High-Dimensional Time-Varying Coefficient Estimation in Diffusion Models
University of California, Riverside（加州大学河滨分校）；Sogang University（西江大学）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
本文提出TED方法，通过去偏和阈值化技术实现高维时间变化系数的估计，实验证明其在资产回报解释中具有更高的R²值。
2026-01-04 stat.ME
Debiasing Functions of Private Statistics in Postprocessing
本文提出通过后处理获得私有统计量函数无偏估计的方法，利用反卷积方法推导出无偏估计器，并在不同隐私机制中展示其优越性。
2025-04-29 cs.CR stat.ME
Post Selection Estimation of Sharpe Ratios
针对从众多资产中选择具有最高样本内夏普比率的资产，研究基于多面体引理、James-Stein收缩、期望最大夏普比率去偏、阈值法和经验贝叶斯的估计器，并通过模拟评估其偏差、均方根误差和秩相关性。
2026-06-11 q-fin.PM q-fin.TR stat.AP
Nonconvex High-Dimensional Time-Varying Coefficient Estimation for Noisy High-Frequency Observations with a Factor Structure
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of California, Riverside（加州大学河滨分校）
本文提出一种非凸惩罚回归方法，用于处理具有因子结构的噪声高频观测中的高维时间变化系数估计，通过去偏和阈值化方案提升估计精度。
2026-05-09 stat.ME
A Bayesian approach to uncertainty in word embedding bias estimation
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Basis Research Institute（基础研究院）；The University of Gdansk（格但斯克大学）
针对现有词嵌入偏差单一数值度量方法易产生虚假置信度的问题，提出分层贝叶斯建模方法，可在不同粒度下更敏感地考察偏差不确定性，经多词表多嵌入验证及去偏差技术评估，揭示了更复杂的偏差图景。
2023-06-15 cs.CL cs.HC cs.LG
Joint-Sparse Transfer Learning for High-Dimensional Multi-Output Regression
Marshall School of Business, University of Southern California（南加州大学马歇尔商学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对高维多输出回归，提出联合稀疏迁移学习框架，结合融合与去偏估计器，平衡源域信息与偏差，理论误差界及实验验证其有效性。
2026-09-28 stat.ME
On regression with estimated covariates and conditional effects given the propensity score
Rutgers, The State University of New Jersey（新泽西州立罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Princeton University（普林斯顿大学）
该研究针对协变量需先估计的非参数回归问题，提出两种去偏方法并验证其收敛优势，应用于1997年全国青年纵向调查数据，发现低大学入学概率者完成大学后失业减少更显著。
2026-07-31 stat.ME
