PSI-SINDy: Post-Selection Inference for Sparse Identification of Nonlinear Dynamics
本研究针对SINDy存在的选择偏差、测量误差及共享噪声问题，提出定制化后选择推断方法PSI-SINDy，通过数据细分分解轨迹，经理论验证和数值实验证实其有效性。
2026-10-09 cs.LG stat.ML
Projective Integral Updates for High-Dimensional Variational Inference
Sandia National Laboratories（桑迪亚国家实验室）
提出一种基于投影积分更新的变分推断不动点优化方法，利用准随机求积序列实现高维积分，生成拟牛顿变分贝叶斯（QNVB），在多种问题和架构上展现出更优的泛化能力与不确定性控制。
2023-09-08 cs.AI cs.LG stat.ML
Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models
Tokyo Institute of Technology（东京工业大学）；CyberAgent, Inc（CyAgent公司）
研究条件平均处理效应（CATE）预测中的模型选择问题。与以前的作品在这个主题上，我们专注于保持候选CATE预测的性能的排名顺序，使准确和稳定的模型选择。为此，我们分析了模型性能排名问题，并制定准则，以获得更好的评价指标。然后，我们提出了一种新的度量，可以识别CATE预测器的性能具有高置信度的排名。实证评估表明，我们的度量优于现有的度量在模型选择和超参数调整任务。
2020-07-16 cs.LG stat.ML
Program Synthesis for Simulation-Based Inference: Joint Model Selection and Parameter Estimation
Anthropic
研究提出结合大语言模型与神经仿真推理的框架，用于联合模型选择与参数估计。给定自然语言描述，大语言模型提出候选程序，经反馈驱动变异和神经密度估计评估，能在一组模型上推理，在多基准测试中可从提示识别合理模型族。
2026-07-21 cs.LG stat.ML
Selecting the Best in GANs Family: a Post Selection Inference Framework
Carnegie Mellon University（卡内基梅隆大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Nagoya Institute of Technology（名古屋工业大学）；Institute of Statistical Mathematics（统计数学研究所）
“哪种生成对抗网络（GANs）生成最合理的图像？“一直是研究人员经常问的问题。为了解决这个问题，我们首先提出了一个\emph{incomplete} U-统计估计的最大平均差异$\mathrm{MMD}_{inc}$来衡量生成的图像和真实图像之间的分布差异。$\mathrm{MMD}_{inc}$具有渐近正态性、计算效率和模型不可知性等优点。然后，我们提出了一个GANs分析框架，选择和测试“最好的”成员在GANs家庭使用后选择推理（PSI）与$\mathrm{MMD}_{inc}$。在实验中，我们采用所提出的框架对7个GANs变体，并比较它们的$\mathrm{MMD}_{inc}$分数。
2018-06-23 cs.LG stat.ML
Input Selection for Bandwidth-Limited Neural Network Inference
University of Copenhagen（哥本哈根大学）；University of Münster（明斯特大学）
数据通常容纳在集中式存储服务器上。例如，在遥感和天文学领域，项目每年产生数PB的数据。虽然机器学习模型通常是在相对较小的数据子集上训练的，但推理阶段通常需要在服务器和客户端之间传输大量数据。在许多情况下，每个用户可用的带宽是有限的，这使得数据传输成为主要瓶颈之一。在这项工作中，我们提出了一个框架，自动选择一个给定的神经网络的输入数据的相关部分。同时训练模型以及相关联的选择掩码，使得在仅选择最少量的数据的同时实现良好的模型性能。在推理阶段，只有这些部分的数据必须在服务器和客户端之间传输。我们提出了独立于实例和依赖于实例的选择掩码。前一种方法对于所有要传输的实例都是相同的，而后一种方法允许每个实例的传输大小可变。我们的实验表明，通常可以显着减少需要传输的数据量，而不会对模型质量产生太大影响。
2022-01-19 cs.LG stat.ML
Black-box Selective Inference via Bootstrapping
本文提出利用 bootstrap 反复运行黑箱选择算法以估计选择概率和条件数据分布，从而在无精确选择事件刻画时实现条件选择性推断，并给出理论保证。
2023-08-20 stat.ME stat.ML
Overcoming Selection Bias in Statistical Studies With Amortized Bayesian Inference
University of Bonn（波恩大学）；Institut Pasteur（巴斯德研究所）；University of Freiburg（弗赖堡大学）；LMU University Hospital（慕尼黑大学附属医院）；German Center for Infection Research（德国感染研究中心）；Fraunhofer Institute ITMP（弗劳恩霍夫ITMP研究所）；Max von Pettenkofer Institute（马克斯·冯·佩滕科弗研究所）；LMU Munich（慕尼黑大学）；German Research Center for Environmental Health（德国环境健康研究中心）；Institut Necker-Enfants Malades（内克-儿童疾病研究所）
本文提出一种基于模拟的贝叶斯推断框架，通过将选择机制嵌入生成模拟器，实现无须可 tractable 似然的去偏推断，适用于复杂模型和高维数据。
2026-04-20 cs.LG stat.ME stat.ML
Selective Inference Approach for Statistically Sound Predictive Pattern Mining
从数据库中发现统计上显著的模式是一个重要的挑战性问题。这个问题的主要障碍是难以考虑选择偏差，即，偏见是从数据库中大量的候选模式中选择出来的。在本文中，我们介绍了一种新的预测模式挖掘问题，可以解决选择偏差的问题。我们的方法是建立在最近流行的统计推断框架称为选择性推理。在选择性推断中，基于选择事件条件下的抽样分布进行统计推断（例如统计假设检验）。如果选择事件以易于处理的方式表征，则可以进行统计推断而无需考虑选择偏倚问题。然而，在模式挖掘问题中，很难刻画挖掘算法的整个选择过程。本文的主要贡献是通过引入一种新的算法框架来解决一类预测模式挖掘问题的这一具有挑战性的问题。我们证明，我们的方法是有用的，从数据库中找到统计上显着的模式。
2016-03-09 stat.ML
Free Energy Projective Simulation (FEPS): Active inference with interpretability
University of Innsbruck（因斯布鲁克大学）；Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；University of Konstanz（康斯坦茨大学）
本文提出自由能投影模拟（FEPS），在不使用深度神经网络的情况下构建可解释的主动推理智能体，通过最小化期望自由能推导策略，并在两个部分可观测RL任务中验证其能消除环境歧义并灵活推断最优策略。
2024-11-22 cs.AI cs.LG q-bio.NC
TIGRESS: Trustful Inference of Gene REgulation using Stability Selection
从基因表达数据推断基因调控网络（GRN）的结构具有许多应用，从阐明复杂的生物过程到识别潜在的药物靶点。然而，这是一个非常困难的问题，许多现有的方法达到有限的精度。在本文中，我们制定GRN推理稀疏回归问题，并研究了一个流行的特征选择方法，最小角度回归（LARS）结合稳定性选择的性能。我们引入了一种新的，强大的和准确的评分技术的稳定性选择，提高了性能的特征选择与LARS。由此产生的方法，我们称之为TIGRESS（使用稳定性选择的基因调节的可信推理），在DREAM5基因网络重建挑战中名列榜首。我们深入研究的方法的各种参数的影响，并表明，一个精细的参数调整可以导致显着的改善和国家的最先进的性能GRN推理。TIGRESS在基准数据上达到最先进的性能。这项研究证实了GRN推理的特征选择技术的潜力。代码和数据可在http://cbio.ensmp.fr/~ahaury上获得。可以在GenePattern上在线运行TIGRESS：http://www.broadinstitute.org/cancer/software/genepattern/。
2012-05-06 q-bio.QM stat.ML
Statistical inference after variable selection in Cox models: A simulation study
Mathematical Statistics and Artificial Intelligence in Medicine, University of Augsburg（医学中的数学统计与人工智能，乌尔姆大学）；Center for Advanced Analytics and Predictive Sciences (CAAPS), University of Augsburg（高级分析与预测科学中心（CAAPS），乌尔姆大学）
本文通过模拟研究探讨了Cox模型中变量选择后Lasso和适应性Lasso的推断方法，分析了样本分割、精确后选择推断和去偏Lasso的性能，并通过实际数据验证其应用效果。
2026-02-07 cs.LG stat.AP stat.CO
A parametric distribution for exact post-selection inference with data carving
本文提出基于已知参数分布（正态与截断正态之和）构建枢轴量，解决数据切分选择后推断依赖昂贵MCMC方法的问题，实现计算简便的精确推断并发布Python包。
2023-05-21 cs.LG stat.ME stat.ML
Exact Post Model Selection Inference for Marginal Screening
我们开发了一个框架后模型选择推理，通过边缘筛选，在线性回归。在这个框架的核心是一个结果，其特征在于响应$y$的线性函数的精确分布，条件是选择模型（"选择条件”框架）。这使我们能够为解释选择过程的回归系数构建有效的置信区间和假设检验。在最近的工作在高维统计，我们的结果是准确的（非渐近），不需要特征值的假设上的设计矩阵$X$。此外，与线性回归的成本相比，边缘回归、构造置信区间和假设检验的计算成本可以忽略不计，从而使得我们的方法特别适合于极大的数据集。虽然我们专注于边缘筛选来说明选择框架的条件的适用性，这个框架是更广泛的适用。我们将展示如何将所提出的框架应用于其他几个选择程序，包括正交匹配追求，非负最小二乘，边缘筛选+套索。
2014-02-28 cs.LG math.ST stat.ME
Exact post-selection inference, with application to the lasso
我们开发了一个通用的方法，有效的推理模型选择后。在我们的框架的核心是一个结果，其特征在于后选择估计的选择事件的条件下的分布。我们专门的方法来选择模型的套索，形成有效的置信区间为选定的系数和测试是否所有相关的变量已被包括在模型中。
2016-05-03 math.ST stat.ME stat.ML
Post Selection Inference with Incomplete Maximum Mean Discrepancy Estimator
测量两个分布之间的差异在机器学习和统计学中是必不可少的，并且具有各种应用，包括二进制分类，变点检测和双样本测试。此外，在大数据时代，设计可解释的、能够处理高维复杂数据的分歧度量变得非常重要。在本文中，我们提出了一个后选择推理（PSI）框架的分歧措施，它可以选择一组统计上显着的特征，区分两个分布。具体来说，我们采用了添加剂的最大均值差异（MMD）的功能，并介绍了一个一般的假设检验PSI。提出了一种新的基于不完全U-统计量的MMD估计器，该估计器具有渐近正态分布（在较弱的假设下），在PSI中具有较高的检测能力。通过合成和真实世界的特征选择实验，我们表明，该框架可以成功地检测统计上显着的功能。最后，我们提出了一个样本选择框架，用于分析生成对抗网络（GANs）家族中的不同成员。
2018-02-17 stat.ML
Post-selection inference with HSIC-Lasso
在非线性和/或高维数据中检测有影响力的特征是机器学习中一项具有挑战性且日益重要的任务。因此，变量选择方法和选择后推理一样受到了广泛的关注。事实上，如果不考虑选择程序，所选特征可能存在重大缺陷。我们提出了一个选择性的推理过程，使用所谓的无模型的“HSIC-Lasso”的基础上的框架截断高斯结合多面体引理。然后，我们开发了一种算法，它允许低计算成本，并提供了一个选择的正则化参数。我们的方法的性能说明了人工和现实世界的数据为基础的实验，强调严格控制的I型错误，即使是小样本量。
2021-06-17 math.ST stat.ML stat.TH
Robust and Parallel Bayesian Model Selection
有效而准确的模型选择是现代数据分析中的一个重要问题。主要挑战之一是处理无法在一台机器上存储或处理的大型数据集所需的计算负担。人们可能遇到的另一个挑战是存在异常值和污染，这会损害推理质量。并行的“分而治之”模型选择策略将完整数据集的观测值划分为大致相等的子集，并在每个子集上独立地执行推理和模型选择。在局部子集推断之后，该方法通过使用几何中值的概念来聚集后验模型概率或其他模型/变量选择标准以获得最终模型。这种方法导致在找到“正确”模型和模型参数方面的改进的集中，并且也可证明对离群值和数据污染是鲁棒的。
2018-03-22 stat.ML
Flexible Selective Inference with Flow-based Transport Maps
本文提出一种利用归一化流学习传输映射的方法，用于在缺乏解析描述的选择事件下近似条件分布，从而实现灵活的选择性推断，提供有效 p 值、置信集及闭式条件密度函数。
2025-06-01 stat.ME stat.ML
Post Selection Inference with Kernels
提出了一种新的基于核的后选择推理（PSI）算法，该算法不仅可以处理数据中的非线性，而且可以处理多维和多标签输出等结构化输出。具体来说，我们开发了一个PSI算法的独立性措施，并提出了希尔伯特施密特独立准则（HSIC）的PSI算法（hsicInf）。该算法的新颖之处在于它可以通过内核处理非线性和/或结构化数据。也就是说，该算法可以用于更广泛的应用，包括非线性多类分类和多变量回归，而现有的PSI算法不能处理它们。通过合成实验，我们表明，该方法可以找到一组统计上显着的回归和分类问题的功能。此外，我们将hsicInf算法应用于真实世界的数据，并表明hsicInf可以成功地识别重要特征。
2016-10-14 stat.ME stat.ML
Post-selection Inference for Conformal Prediction: Trading off Coverage for Precision
本文提出同时共形推断方法，解决数据相关误覆盖率下的选择后推断问题，允许在保持有限样本保证的同时灵活权衡覆盖概率与预测集质量。
2023-06-30 stat.ME stat.ML
Covariate Selection for Doubly Robust Double/debiased Machine Learning Estimators for Causal Inference
Department of Human Development and Quantitative Methodology, University of Maryland（马里兰大学人类发展与定量方法系）
针对高维数据下因果推断中协变量选择问题，提出使用倾向得分与结果模型所选协变量的并集重新估计双稳健模型，模拟显示该方法能更有效减少混杂偏差，并揭示ML估计并非总是优于传统方法。
2026-09-16 stat.ME stat.ML
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组（或广义变体，如重叠、稀疏或标准化LASSO组）进行选择后，在没有对选择偏倚进行调整的情况下，对所选参数的推断是不可靠的。在惩罚高斯回归设置，现有的方法提供了选择事件，可以表示为线性不等式的数据变量的调整。然而，这样的表示，未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如，推理的影响，选定的变量的结果-仍然没有答案。在本文中，我们开发了一个一致的，后选择，贝叶斯方法来解决现有的差距，通过推导出一个似然调整因子和近似值，消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明，我们的方法可以恢复所选组内参数的影响，同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Median Selection Subset Aggregation for Parallel Inference
对于海量数据集，高效计算通常依赖于分布式算法，这些算法在不同的机器上存储和处理数据子集，从而最大限度地降低通信成本。我们的重点是回归和分类问题，涉及许多功能。在这种情况下，已经提出了各种分布式算法，但在定义一个算法的低通信，理论上的保证和良好的实际性能，在一般情况下出现的挑战。我们提出了一个MEDIAN选择子集聚集估计（消息）算法，试图解决这些问题。该算法使用Lasso或其他方法对每个子集并行应用特征选择，计算“中值”特征包含指数，对每个子集并行估计所选特征的系数，然后对这些估计值取平均值。该算法是简单的，涉及非常少的通信，规模有效的样本和特征大小，并具有理论保证。特别地，我们展示了模型选择的一致性和系数估计的效率。大量的实验表明，相对于通常的竞争对手，在变量选择，估计，预测和计算时间方面表现出色。
2014-10-24 cs.DC stat.CO stat.ME
Winners with Confidence: Discrete Argmin Inference with an Application to Model Selection
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种在高维和存在平局情况下，通过整合交叉验证和差分隐私技术，实现渐近正态检验统计量的离散argmin推断方法，并在模型选择中展示其优良的偏差-方差权衡性能。
2026-01-16 math.ST stat.ME stat.ML
