Valid Post-selection Inference in Assumption-lean Linear Regression
基于数据驱动选择的估计量有效统计推断的构造近年来受到了广泛关注。Berk等人（2013）可能是第一个在任意协变量/变量选择下为具有固定协变量的高斯同方差线性回归提供有效推断的工作。该设置是不现实的，Bachoc et al.（2016）通过放松分布假设进行了扩展。上述工作的一个主要缺点是有效置信区域的构造是计算密集的。本文首先证明了后选择推理等价于同时推理，然后构造了计算简单的有效后选择置信区域。我们的构造是基于确定性不等式和适用于独立以及相关的随机变量，而不需要正确的分布假设。最后，我们比较了我们的置信区域与现有的体积，并表明在非随机协变量，我们的区域要小得多。
2018-06-11 math.ST stat.ME stat.TH
On Various Confidence Intervals Post-Model-Selection
我们比较了几个置信区间后，模型选择的设置最近研究的伯克等人。41（2013）802-837]，其中目标是不覆盖真实参数，而是覆盖取决于所选模型的感兴趣的特定非标准量。特别是，我们将该参考文献中提出的PoSI区间与“朴素”置信区间进行了比较，该置信区间的构造就好像所选模型是正确的并且是先验固定的（因此忽略了模型选择的存在）。总体而言，我们发现，所有这些区间的实际覆盖概率偏离所需的名义覆盖概率只有适度。这一发现与现有文献中的几篇论文形成鲜明对比，这些论文的目标是覆盖真实参数。
2015-07-29 math.ST stat.TH
Can one estimate the conditional distribution of post-model-selection estimators?
本文考虑了模型选择后估计的条件分布的估计问题，其中条件是在所选择的模型上。模型选择后估计器的概念在这里指的是从首先选择模型（例如，通过诸如AIC的模型选择标准或通过假设检验过程），然后估计所选模型中的参数（例如，通过最小二乘或最大似然），所有这些都基于相同的数据集。我们表明，这是不可能的，甚至渐近估计这个分布具有合理的精度。特别是，我们证明了这个分布的估计量不可能是一致的（甚至不是局部的）。这如下作为一个推论（本地）极大极小下界的性能估计，这个分布。对于线性函数的条件分布也得到了类似的不可能性结果（例如，模型选择后的估计量。
2007-02-23 math.ST stat.ME stat.TH
On the length of post-model-selection confidence intervals conditional on polyhedral constraints
模型选择后的有效推理是当前一个非常活跃的研究领域。由Lee等人（2016）开创的多面体方法，如果模型选择事件可以通过多面体约束描述，则允许在模型选择后进行有效推理。在该参考文献中，当使用Lasso估计量选择模型时，通过构造两个有效的置信区间来举例说明该方法。我们在这里研究这些间隔的长度。对于其中一个比较容易计算的置信区间，我们发现它的期望长度总是无穷大。对于另一个计算量较大的置信区间，给出了其期望长度为无穷大的充要条件。在模拟中，我们发现这个充分条件通常是满足的，除非所选的模型包括几乎所有或几乎没有可用的回归。对于置信区间长度的分布，我们发现当$κ$接近$1$时，$κ$ -分位数的行为类似于$1/(1-κ)$.我们的结果也可用于分析其他基于多面体方法的置信区间。
2019-05-24 math.ST stat.TH
Exact Post Model Selection Inference for Marginal Screening
我们开发了一个框架后模型选择推理，通过边缘筛选，在线性回归。在这个框架的核心是一个结果，其特征在于响应$y$的线性函数的精确分布，条件是选择模型（"选择条件”框架）。这使我们能够为解释选择过程的回归系数构建有效的置信区间和假设检验。在最近的工作在高维统计，我们的结果是准确的（非渐近），不需要特征值的假设上的设计矩阵$X$。此外，与线性回归的成本相比，边缘回归、构造置信区间和假设检验的计算成本可以忽略不计，从而使得我们的方法特别适合于极大的数据集。虽然我们专注于边缘筛选来说明选择框架的条件的适用性，这个框架是更广泛的适用。我们将展示如何将所提出的框架应用于其他几个选择程序，包括正交匹配追求，非负最小二乘，边缘筛选+套索。
2014-02-28 cs.LG math.ST stat.ME
Valid post-selection inference in Robust Q-learning
本文将通用选择后推断（UPoSI）程序适应于半参数Robust Q-learning方法，解决了在多阶段决策方法中使用UPoSI的独特挑战，并通过理论和模拟验证了所提出置信区域的有效性。
2025-10-11 math.ST stat.ME stat.TH
Valid Post-Selection Inference in High-Dimensional Approximately Sparse Quantile Regression Models
本文提出了一种新的（异质）分位数回归模型中回归系数的推断方法。我们考虑一个高维模型，其中回归变量的数量可能超过样本量，但其中的一个子集足以构建一个合理的近似条件分位数函数。所提出的方法是（显式或隐式）基于正交得分函数，防止适度的模型选择错误，这往往是不可避免的，在本文中考虑的近似稀疏模型。我们建立了所提出的分位数回归系数的置信区域的一致有效性。重要的是，这些方法直接适用于一个以上的变量和连续的分位数指数。此外，所提出的方法的性能说明通过蒙特卡洛实验和实证的例子，处理儿童营养不良的危险因素。
2016-06-23 econ.EM math.ST stat.TH
Post-selection inference for L1-penalized likelihood models
本文提出了一种新的L1（lasso）惩罚似然模型（包括广义回归模型）的后选择推断方法。我们的方法概括了Lee et al（2014）提出的选择后框架。该方法提供了渐进有效的p值和置信区间，条件是套索完成的固有选择。我们目前的应用这项工作（正规化）逻辑斯谛回归，Cox的比例风险模型和图形套索。
2016-10-13 stat.ME
Post-selection inference in generalized linear models via parametric programming
University of South Carolina（南卡罗来纳大学）
本文提出一种统一框架，用于在广义线性模型中基于Lasso变量选择进行回归系数推断，通过将最大似然估计与最小二乘估计类比，提出基于线性化伪响应和协变量数据的后选择推断方法，并通过仿真实验验证其有效性。
2026-03-25 stat.ME
Statistically Valid Post-Training Hyperparameter Selection: From Tuning to Guarantees
Institute for Intelligent Networked Systems (INSI)（智能网络系统研究所）
提出基于学习-测试（LTT）范式的统一统计框架，将超参数选择转化为多重假设检验问题，实现满足可靠性要求（如平均风险、分位数风险等）的超参数选择，并提供有限样本误差概率控制。
2026-09-28 cs.IT cs.LG math.IT
On Post-Selection Inference in A/B Tests
在解释A/B测试时，我们通常只关注统计上显著的结果，并从表面上看待它们。这种做法，在统计学文献中称为后选择推理，可能会对点估计和不确定性量化产生负面影响，从而阻碍A/B测试中的可信决策。为了解决这个问题，在本文中，我们探索两个看似无关的路径，一个基于监督机器学习和经验贝叶斯的其他，并提出后选择推理方法，结合两者的优势。通过大规模的模拟和实证的例子，我们表明，我们提出的方法脱颖而出，在其他现有的既减少后选择偏差和提高置信区间覆盖率，并讨论他们如何可以方便地调整到现实生活中的场景。
2021-05-30 stat.AP
Tractable Post-Selection Maximum Likelihood Inference for the Lasso
在模型选择后应用标准统计方法可能会产生效率低下的估计量和假设检验，无法达到标称I类错误率。主要问题是数据的选择后分布与原始分布不同。特别地，所观察到的数据被约束为位于由所选择的模型确定的原始样本空间的子集中。这通常使得观测数据的后选择似然难以处理，并且极大似然推断困难。在这项工作中，我们得到周围的棘手的可能性，通过产生噪声无偏估计的后选择得分函数，并使用它们在随机上升算法，产生正确的后选择最大似然估计。我们将所提出的技术估计的问题选择的套索线性模型。在渐近分析中，所得到的估计是一致的所选参数，并有一个有限的截断正态分布。构造的置信区间的基础上的渐近分布获得接近标称覆盖率在所有的模拟设置考虑，和点估计被证明是优于套索估计时，真正的模型是稀疏的。
2019-05-22 stat.ME
Post-selection inference for linear mixed model parameters using the conditional Akaike information criterion
我们研究了线性混合模型中固定参数和混合参数的后选择推断问题，使用条件赤池信息准则作为模型选择过程.在线性混合模型的框架内，我们发展了完整的理论来构建置信区间的回归和混合参数在三个框架：嵌套和一般模型集以及误指定的模型。我们的理论分析是伴随着一个模拟实验和后选择检查平均收入在加利西亚的县。我们的数值研究证实了我们的新程序的良好性能。此外，他们揭示了一个惊人的鲁棒性的模型错误指定的一个天真的方法来构建的置信区间的混合参数，这是在对比我们的研究结果的固定参数。
2021-09-22 stat.AP stat.CO stat.ME
Post-selection estimation and testing following aggregated association tests
在许多统计应用中，将多个单独的检验统计量合并以形成聚集检验的做法是常见的，其中单独的检验可能效力不足。虽然通过聚合测试进行选择可以提高功效，但选择过程会使单个测试统计数据无效，从而难以识别在后续推理中驱动信号的测试统计数据。在这里，我们开发了一个通用的方法，有效的推理选择后，通过聚合测试。我们提出了新的强大的后选择检验的个人零假设，这是准确的正态模型和渐近证明，否则。我们的方法依赖于在选择事件条件化之后表征个体检验统计量的分布的能力。我们提供了有效的算法估计后选择最大似然估计，并建议置信区间依赖于一个新的切换制度，良好的覆盖保证。我们通过全面的模拟研究验证了我们的方法，并将其应用于达拉斯心脏研究的数据，证明了通过聚合测试选择后的单变异关联发现在实践中确实是可能的。
2017-11-01 stat.ME
Forward selection and post-selection inference in factorial designs
本文为因子设计中的前向选择建立基于设计随机化的统计理论，证明选择一致性并量化效率增益，提出不一致选择下的推断策略。
2024-03-19 stat.ME
Splitting strategies for post-selection inference
我们考虑在稀疏回归设置中为所选参数提供有效推断的问题。众所周知，由于选择步骤中产生的偏差，经典回归工具在这种情况下可能不可靠。近年来，人们提出了许多方法来确保推理的有效性。在这里，我们考虑一个简单的替代数据分裂的基础上随机化的响应向量，它允许更高的选择和推理能力比前者，并适用于任意的选择规则。我们提供了一个理论和实证比较这两种方法，并推导出一个中心极限定理的随机化方法。我们的调查显示，权力的增加可能是巨大的。
2022-12-06 stat.ME
Possibilistic Inferential Models for Post-Selection Inference in High-Dimensional Linear Regression
South China Normal University（华南师范大学）
本文提出了一种基于正则化分割可能性构造的后选择推断方法，通过样本分割和正交化扩展，实现了高维线性回归中精确的不确定性量化和稳健的推断。
2025-12-22 stat.ME
PSI-SINDy: Post-Selection Inference for Sparse Identification of Nonlinear Dynamics
本研究针对SINDy存在的选择偏差、测量误差及共享噪声问题，提出定制化后选择推断方法PSI-SINDy，通过数据细分分解轨迹，经理论验证和数值实验证实其有效性。
2026-10-09 cs.LG stat.ML
Exact Post-Selection Inference for Sequential Regression Procedures
我们提出了新的推理工具，向前逐步回归，最小角度回归，和套索。假设一个高斯模型的观察向量y，我们首先描述了一个一般的计划，以执行有效的推理后，任何选择事件，可以被描述为y落入一个多面体集。这个框架允许我们在前向逐步回归或最小角度回归的任何一步，或者沿着套索正则化路径的任何一步推导出条件（后选择）假设检验，因为事实证明，这些过程的选择事件可以表示为y上的多面体约束。在有限样本中，与这些检验相关的p值在零分布下完全均匀，得到精确的第一类错误控制。检验也可以反向以产生适当的潜在回归参数的置信区间。R包“selectiveInference”在CRAN库中免费提供，实现了本文中描述的新推理工具。
2015-10-11 stat.ME
Selecting the Best in GANs Family: a Post Selection Inference Framework
Carnegie Mellon University（卡内基梅隆大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Nagoya Institute of Technology（名古屋工业大学）；Institute of Statistical Mathematics（统计数学研究所）
“哪种生成对抗网络（GANs）生成最合理的图像？“一直是研究人员经常问的问题。为了解决这个问题，我们首先提出了一个\emph{incomplete} U-统计估计的最大平均差异$\mathrm{MMD}_{inc}$来衡量生成的图像和真实图像之间的分布差异。$\mathrm{MMD}_{inc}$具有渐近正态性、计算效率和模型不可知性等优点。然后，我们提出了一个GANs分析框架，选择和测试“最好的”成员在GANs家庭使用后选择推理（PSI）与$\mathrm{MMD}_{inc}$。在实验中，我们采用所提出的框架对7个GANs变体，并比较它们的$\mathrm{MMD}_{inc}$分数。
2018-06-23 cs.LG stat.ML
Post Selection Inference with Incomplete Maximum Mean Discrepancy Estimator
测量两个分布之间的差异在机器学习和统计学中是必不可少的，并且具有各种应用，包括二进制分类，变点检测和双样本测试。此外，在大数据时代，设计可解释的、能够处理高维复杂数据的分歧度量变得非常重要。在本文中，我们提出了一个后选择推理（PSI）框架的分歧措施，它可以选择一组统计上显着的特征，区分两个分布。具体来说，我们采用了添加剂的最大均值差异（MMD）的功能，并介绍了一个一般的假设检验PSI。提出了一种新的基于不完全U-统计量的MMD估计器，该估计器具有渐近正态分布（在较弱的假设下），在PSI中具有较高的检测能力。通过合成和真实世界的特征选择实验，我们表明，该框架可以成功地检测统计上显着的功能。最后，我们提出了一个样本选择框架，用于分析生成对抗网络（GANs）家族中的不同成员。
2018-02-17 stat.ML
Post-model-selection prediction for GLM's
为广义线性模型提出了两种考虑模型选择不确定性的预测区间，并与其他三种方法比较，发现渐近正态性或优化渐近正态性PI效果最佳，且结果可扩展至广义线性混合模型。
2023-05-24 stat.ME
Post-Selection Inference for Multiverse Analysis in Mixed-Effects Models (PIMAX)
University of Bologna（博洛尼亚大学）
结合两种方法开发PIMAX框架，用于聚类观测的多宇宙推断，将选择后推断扩展到聚类数据设置，能处理异方差等情况，提供全局p值等多种推断结果。
2026-07-07 stat.ME
Exact Post-Selection Inference for Changepoint Detection and Other Generalized Lasso Problems
我们研究了基于广义Lasso正则化路径定义的模型选择事件的推理工具，广义Lasso估计由惩罚最小二乘回归问题的解给出，其中惩罚是矩阵D的l1范数乘以系数向量。广义套索路径收集了一系列惩罚参数（λ）值的这些估计值。利用Tibshirani & Taylor（2011）对该路径的顺序表征，以及Lee et al.（2016），Tibshirani et al.（2016）在选择后推断方面的最新进展，我们为潜在平均向量的线性对比开发了精确的假设检验和置信区间，以沿广义套索路径的任何模型选择事件为条件（假设观测值中存在高斯误差）。通过检查D的特定选择，我们获得了广义套索估计的特定情况下的后选择检验和置信区间，如融合套索，趋势滤波和图形融合套索。在融合套索的情况下，平均值的基本坐标被分配一个线性排序，我们的框架允许我们选择性地测试这些平均值坐标中的断点或变点。这是一个有趣的和研究广泛的应用问题，我们的框架应用于趋势过滤和图形融合套索服务以及几个应用程序。除了选择性推理工具的发展，我们描述了我们的方法的几个实际方面，如有效的后处理的广义估计进行推理之前，以提高功率，和特定问题的可视化援助，可以给数据分析师，他/她选择线性对比进行测试。许多例子，无论是从模拟和真实的数据源，我们的推理方法的经验性质进行检查。
2016-06-11 stat.ME
Post-selection inference on high-dimensional varying-coefficient quantile regression model
分位数回归已成功地用于研究异质性和重尾数据。变系数模型经常用于捕捉输入变量对响应的影响随指数或时间的变化。在这项工作中，我们研究了高维变系数分位数回归模型，并开发了新的统计推断工具。我们专注于开发有效的置信区间和诚实的测试，在一个固定的时间点和分位数的非参数系数，同时允许输入变量的数量超过样本量的高维设置。由于在估计中使用了模型选择技术，因此在该方案中进行统计推断具有挑战性。然而，我们可以开发有效的推理工具，适用于广泛的数据生成过程，并不遭受由模型选择引入的偏见。我们进行了数值模拟，以证明我们的方法的有限样本性能，我们也说明了一个实际数据的例子的应用。
2021-10-14 stat.ME
Consistent covariate selection and post model selection inference in semiparametric regression
本文给出了一类半参数回归模型Y_i=β^{ \prime } \underbarX_i +f（T_i）+W_i，i=1，.，n.参数和非参数分量的估计，同时通过这个程序。估计是基于有限维模型的集合，使用惩罚最小二乘标准进行选择。我们表明，通过定制的惩罚项开发的非参数回归半参数模型，我们可以一致地估计的线性部分的非零系数的子集。此外，线性分量的所选估计量是渐近正态的。
2004-06-23 math.ST stat.TH
Testing in the Presence of Nuisance Parameters: Some Comments on Tests Post-Model-Selection and Random Critical Values
我们指出，在计量经济学文献中最近提出的一些检验后模型选择（以及其他一些检验问题）的检验程序的基本思想在统计学文献中已经存在了相当长的一段时间。我们还锐化了统计文献中的一些结果。此外，我们表明，一些直观的吸引力的测试程序，已经发现自己的方式进入计量经济学文献，导致测试不具有理想的大小属性，甚至不是渐近的。
2014-05-28 math.ST stat.TH
Reproducible Model Selection Using Bagged Posteriors
贝叶斯模型选择是在假设数据是从其中一个假设模型生成的基础上进行的。然而，在许多应用程序中，所有这些模型都是不正确的（即存在错误指定）。当模型被错误指定时，两个或多个模型可以为数据提供几乎同样好的拟合，在这种情况下，贝叶斯模型选择可能非常不稳定，可能导致自相矛盾的结果。为了纠正这种不稳定性，我们建议对后验分布（“BayesBag”）使用装袋-也就是说，在许多自举数据集上平均后验模型概率。我们提供的理论结果表征的渐近行为的后，袋后（误指定）模型选择设置。我们经验性地评估了贝叶斯袋方法在合成和真实世界的数据（i）线性回归的特征选择和（ii）系统发育树重建。我们的理论和实验表明，当所有模型都被错误指定时，与通常的贝叶斯后验相比，BayesBag（a）提供了更大的再现性，（b）将后验质量更可靠地放置在最佳模型上;另一方面，在正确的规范下，Bayes Bag比通常的后验概率略保守，从某种意义上说，BayesBag的后验概率往往稍微远离零和一的极端。总的来说，我们的研究结果表明，BayesBag提供了一个易于使用和广泛适用的方法，提高了贝叶斯模型选择，使其更稳定和可重复性。
2021-12-09 math.ST stat.ME stat.TH
Exact post-selection inference, with application to the lasso
我们开发了一个通用的方法，有效的推理模型选择后。在我们的框架的核心是一个结果，其特征在于后选择估计的选择事件的条件下的分布。我们专门的方法来选择模型的套索，形成有效的置信区间为选定的系数和测试是否所有相关的变量已被包括在模型中。
2016-05-03 math.ST stat.ME stat.ML
On overfitting and post-selection uncertainty assessments
在回归环境中，当解释变量的相关子集不确定时，通常使用数据驱动的模型选择程序。经典的线性模型理论，天真地应用于所选择的子模型，可能是无效的，因为它忽略了所选择的子模型对数据的依赖性。我们提供了一个解释这种现象，在过拟合，一类模型选择标准。
2017-12-06 math.ST stat.AP stat.ME
Post-selection inference for high-dimensional mediation analysis with survival outcomes
针对高维中介场景下生存结局的边际中介效应缺乏有效后选择推断方法的问题，提出基于半参数有效影响函数的最大选择自然间接效应后选择推断流程，验证了其渐近正态性与良好实证表现，并在肺癌数据中识别出相关甲基化位点。
2024-08-12 math.ST stat.ME stat.TH
Post-selection inference with HSIC-Lasso
在非线性和/或高维数据中检测有影响力的特征是机器学习中一项具有挑战性且日益重要的任务。因此，变量选择方法和选择后推理一样受到了广泛的关注。事实上，如果不考虑选择程序，所选特征可能存在重大缺陷。我们提出了一个选择性的推理过程，使用所谓的无模型的“HSIC-Lasso”的基础上的框架截断高斯结合多面体引理。然后，我们开发了一种算法，它允许低计算成本，并提供了一个选择的正则化参数。我们的方法的性能说明了人工和现实世界的数据为基础的实验，强调严格控制的I型错误，即使是小样本量。
2021-06-17 math.ST stat.ML stat.TH
Valid Post-Selection and Post-Regularization Inference: An Elementary, General Approach
在这里，我们提出了一个短暂的，一般的分析有效的后选择或后正则化推理的低维目标参数，$α$，在一个非常高维的冗余参数，$η$，这是估计使用现代选择或正则化方法的存在。我们的分析依赖于高层次的，易于解释的条件，使人们能够清楚地看到实现有效的后正则化推理所需的结构。给出了一类仿射二次模型的简单、易于验证的充分条件。我们集中我们的讨论估计和推理程序的基础上使用的经验模拟的理论方程$$M(α, η)=0$$，其中确定$α$。在这种结构中，我们表明，建立这样的方程的方式，使正交/免疫条件$$\partial_ηM(α, η) = 0$$在真实的参数值是满意的，加上合理的条件上的平滑$M$和质量的估计$\hat η$，保证基于下面讨论的测试或点估计方法的主参数$α$的推断将是规则的，而不管选择或正则化估计$η$时出现偏倚。特别地，$α$的估计量通常在根$n$速率处一致，并且一致渐近正态，即使估计量$\hat η$通常不是渐近线性和正则的。这种一致性适用于大类模型，这些模型不施加非常难以置信的“最小β”条件。我们还表明，推理可以进行倒置测试形成内曼的$C(α)$（正交得分）统计。
2015-08-18 econ.EM math.ST stat.TH
Post-Selection Inference for Sparse Estimation
本文综述了稀疏估计中模型选择后的选择性推断，涵盖Lasso、前向逐步法和LARS的多面体与截断分布，并介绍Lasso显著性检验和LARS间距检验。
2023-10-10 math.ST stat.ME stat.TH
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Non-Bayesian Post-Model-Selection Estimation as Estimation Under Model Misspecification
针对模型选择后估计问题，提出三种非贝叶斯解释，并开发误设最大似然估计器与Cramér-Rao型下界，仿真显示选择性推断解释具有最低均方误差。
2023-08-22 cs.IT eess.SP math.IT
