Selective inference after likelihood- or test-based model selection in linear models
模型选择后的统计推断需要考虑选择的推断框架才有效。根据最近的工作选择性推理,我们推导出解析表达式的推理后,似然或基于测试的模型选择线性模型。
2017-09-23 stat.AP stat.ME
Valid and Exact Statistical Inference for Multi-dimensional Multiple Change-Points by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(日本理化学研究所)
本文研究了多维序列中变点的统计推断。在从多维序列的CP检测中,通常期望不仅检测位置,而且识别其中发生变化的分量的子集。已经提出了几种算法,这样的问题,但没有有效的精确推理方法已被建立,以评估检测到的位置和组件的统计可靠性。在这项研究中,我们提出了一种方法,可以保证检测到的变化的位置和组件的统计可靠性。我们证明了所提出的方法的有效性,将其应用到基因组异常识别和人类行为分析的问题。
2021-10-18 cs.LG stat.ML
Selective inference with a randomized response
受样本分裂和差分隐私领域中引入的可重用的holdout的启发,我们考虑了随机响应的选择性推理。我们讨论了两个主要的优势,使用随机响应模型选择。首先,选择性有效性检验在随机选择后更有效。其次,它允许一致的估计和弱收敛的选择性推理过程。在独立抽样下,我们证明了一个选择性(或私有化)的中心极限定理,转移程序有效的渐近正态性下,没有选择到相应的选择对应。这允许在非参数设置中进行选择性推断。最后,我们提出了一个框架的推理后,结合多个随机选择过程。我们专注于经典的渐近设置,留下有趣的高维渐近问题,为今后的工作。
2016-11-30 math.ST stat.TH
Selective Inference via Marginal Screening for High Dimensional Classification
选择后推断是一种统计技术,用于在模型或变量选择后确定显着变量。近年来,选择性推理作为一种后选择推理框架,受到了统计学和机器学习界的广泛关注。通过以特定的变量选择过程为条件,选择性推理可以适当地控制所谓的选择性第一类错误,其是以变量选择过程为条件的第一类错误,而不施加过多的额外计算成本。虽然选择性推理可以提供有效的假设检验过程,但迄今为止主要关注的是高斯线性回归模型。在本文中,我们开发了一个选择性推理框架的二元分类问题。考虑了一个基于边缘筛选的变量选择后的逻辑斯谛回归模型,得到了选择后估计量的高维统计性质。这使我们能够渐近控制选择性第一类错误的目的假设检验后,变量选择。我们进行了几个模拟研究,以确认测试的统计功效,并比较我们提出的方法与数据分裂和其他方法。
2019-06-26 stat.ME
More Powerful and General Selective Inference for Stepwise Feature Selection using the Homotopy Continuation Approach
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
条件选择性推理作为一种新的数据驱动假设的统计推断框架,已经得到了广泛的研究。条件SI的基本思想是使推理以一组线性和/或二次不等式为特征的选择事件为条件。条件SI主要在特征选择的背景下进行研究,例如逐步特征选择(SFS)。现有的条件SI方法的主要限制是由于过度调节而导致的功率损失,这是计算易处理性所必需的。在这项研究中,我们开发了一个更强大的和一般的条件SI方法SFS使用同伦方法,使我们能够克服这一限制。基于同伦的SI对于更复杂的特征选择算法特别有效。作为一个例子,我们开发了一个有条件的SI方法与AIC为基础的停止标准的前向-后向SFS,并表明它不会受到算法复杂性增加的不利影响。我们进行了几个实验来证明所提出的方法的有效性和效率。
2021-04-22 cs.LG stat.ML
Statistical Inference in Reinforcement Learning: A Selective Survey
London School of Economics and Political Science(伦敦政治经济学院)
本文选择性综述强化学习(RL)中的统计推断工具,涵盖假设检验与置信区间构建,强调其对统计学和机器学习社区的价值,推动经典统计推断工具在RL领域的应用。
2025-04-17 cs.LG stat.ML
Selective Inference for Sparse Multitask Regression with Applications in Neuroimaging
本文针对神经影像中多任务稀疏回归问题提出选择性推断框架,通过细化选择事件构造可解的选择调整似然,实现有效置信区间,并在ABCD数据上验证其优于数据拆分方法。
2023-08-10 stat.AP stat.ME stat.ML
Selective Inference for Group-Sparse Linear Models
我们开发的工具,选择性推理组稀疏的设置,包括建设的置信区间和p值测试选定的变量组。我们的主要技术结果给出了精确的分布的数据到一个给定的子空间的投影的幅度,并使我们能够开发推理程序的广泛的一类组稀疏的选择方法,包括组套索,迭代硬阈值,向前逐步回归。我们给出数值结果来说明这些工具的模拟数据和健康记录数据。
2016-07-27 stat.ME
Approximate selective inference via maximum likelihood
最近已经开发了几种策略,以确保有效的推理后,模型选择,其中一些是很容易计算,而其他票价更好的推理能力。在本文中,我们考虑了高斯数据的选择性推理框架。提出了一种新的近似极大似然估计推理方法。我们的目标是:(i)在随机化的帮助下实现更好的推理能力,(ii)从难以以封闭形式评估的精确条件分布绕过昂贵的MCMC采样。我们构造近似推理,例如,p值、置信区间等,通过解决一个相当简单的凸优化问题我们说明了我们的方法的潜力,在模拟信号噪声比的大范围的值。在癌症基因表达数据集上,我们发现我们的方法改进了一些常用的选择性推理策略的推理能力。
2022-07-11 stat.ME
Selective and marginal selective inference for exceptional groups
针对多群体研究中选择性推断导致置信区间期望宽度无穷大的问题,提出选择调整的经验贝叶斯方法,在保证有限期望宽度的同时实现近似选择性覆盖控制。
2025-09-16 math.ST stat.ME stat.TH
Distributed Selective Inference for Quantile Regression
School of Mathematics and Statistics, Changchun University of Technology(长春工业大学数学与统计学院)
针对高维分位数回归的后选择推断难题,提出仅需三轮通信的分布式选择性推断框架,通过响应替代策略处理非光滑分位数损失,经模拟与实际数据验证其有限样本性能良好。
2026-09-15 stat.AP stat.ME
Computing Valid p-value for Optimal Changepoint by Selective Inference using Dynamic Programming
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
有大量的文献涉及检测变点(CP)的方法。然而,较少注意已支付的检测CP的统计可靠性评估。在本文中,我们介绍了一种新的方法来执行统计推断的重要性的CP,估计的动态规划(DP)为基础的最佳CP检测算法。基于选择性推理(SI)框架,我们提出了一种精确(非渐近)的方法来计算有效的p值,用于检验CP的显著性。虽然众所周知,SI具有低的统计功效,因为过度调节,我们解决这个缺点,通过引入参数编程技术。然后,我们提出了一种有效的方法进行SI与最小量的条件,导致高统计功效。我们在合成数据集和真实数据集上进行了实验,通过这些实验,我们证明了我们提出的方法比现有方法更强大,在计算效率方面具有良好的性能,并在许多实际应用中提供了良好的结果。
2021-02-22 cs.LG stat.ME stat.ML
Selective Inference with Distributed Data
随着数据集越来越大,它们通常分布在多台并行计算的机器上,并通过短消息与中央机器进行通信。在本文中,我们专注于稀疏回归,并提出了一个新的程序进行选择性推理与分布式数据。虽然在稀疏设置中存在许多用于点估计的分布式过程,但是很少有选项可用于估计不确定性或基于估计的稀疏度进行假设检验。我们在每台机器上解决一个广义线性回归,然后将一组选定的预测值传递给中央机器。中央机器使用这些选择的预测器来形成广义线性模型(GLM)。为了在选定的GLM中进行推理,我们提出的方法基于渐近似然近似有效的选择性推理。该建议只寻求聚合的信息,在相对较少的维度,从每个机器合并在中央机器的选择性推理。通过重用本地机器的低维汇总统计数据,我们的程序实现了更高的功率,同时保持通信成本低。这种方法也适用于解决臭名昭著的p值彩票问题,当模型选择重复随机分割的数据。
2023-03-10 stat.ME
Selective inference for the problem of regions via multiscale bootstrap
对多元正态模型的参数空间中表示为任意形状区域的原假设,给出了一种选择性推断的一般假设检验方法.这种方法对于层次聚类是有用的,其中聚类的置信水平仅针对出现在树状图中的聚类来计算,因此受到严重的选择偏差。我们的计算是基于一个原始的置信度,称为自举概率,这是很容易通过计算有多少次相同的集群出现在自举复制的树状图。我们利用抽象参数空间中区域的几何量,即符号距离和中曲率的标度律来调整自举概率的偏差。虽然这一思想已被用于非选择性推理的层次聚类,其选择性推理版本还没有在文献中讨论。我们的偏差校正后的$p$值在区域光滑边界表面的大样本理论中具有渐进二阶精度,并且它们对于非光滑表面(例如多面体圆锥)也是合理的。的$p$ -值是渐近等价的迭代引导,但具有更少的计算。
2018-03-27 math.ST stat.ME stat.TH
Bounded P-values in Parametric Programming-based Selective Inference
Nagoya University(名古屋大学);Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
本研究针对参数规划选择性推断的高计算成本问题,提出计算p值上下界的方法及三种搜索策略,在保证精度的同时降低计算成本,并在特征选择和注意力区域识别中验证有效性。
2023-12-28 cs.LG stat.ML
Partial Causal Structure Learning for Valid Selective Conformal Inference under Interventions
Department of Biostatistics, Vanderbilt University Medical Center(生物统计学系,范德比尔特大学医学中心);Department of Informatics, King’s College London(信息学系,伦敦国王学院);Department of Biostatistics, MD Anderson Cancer Center(生物统计学系,MD安德森癌症中心)
该研究提出部分因果学习方法,用于在干预下有效选择性符合推断,通过学习部分因果结构来提高覆盖精度。
2026-07-10 cs.LG stat.ML
Selective Randomization Inference for Adaptive Experiments
École polytechnique fédérale de Lausanne(洛桑联邦理工学院);University of Cambridge(剑桥大学);University of Southern California(南加州大学)
针对自适应实验的统计推断难题,提出选择性随机化推断框架,通过条件后选择推断与随机化检验结合,控制选择性第一类错误,无需模型假设。
2026-05-22 stat.ME
On Selecting and Conditioning in Multiple Testing and Selective Inference
本文统一考察选择、条件化与误差控制,证明直接在完整假设全域上的多重检验方法功效不低于选择性推断方法,并给出理论框架与案例。
2023-12-05 stat.ME
Asymptotically-exact selective inference for quantile regression
针对模型选择后的可靠推断问题,本文提出基于平滑分位数回归与外部随机化的渐近精确选择性推断枢轴量,无需分布假设与数据拆分,模拟和真实数据实验均验证其覆盖率达标且区间更短。
2025-02-20 math.ST stat.ME stat.TH
Selective inference after feature selection via multiscale bootstrap
在回归中显示所选特征或预测变量的置信区间或$p$值是很常见的,但它们通常涉及选择偏倚。选择性推理方法通过对选择事件进行条件化来解决这种偏差。大多数现有的选择性推理研究考虑一个特定的算法,如Lasso,用于特征选择,因此他们在处理更复杂的算法时有困难。此外,现有的研究经常考虑不必要的限制性事件,导致过度调节和较低的统计功效。我们的新的和广泛适用的restaurant方法,通过多尺度引导解决这些问题,计算一个近似无偏的选择$p$值为选定的功能。作为所提出的方法的简化,我们还开发了一个更简单的方法,通过经典的自助。我们证明了我们的多尺度bootstrap方法计算的$p$值比经典bootstrap方法更准确。此外,数值实验表明,我们的算法,即使是更复杂的特征选择方法,如非凸正则化。
2022-06-01 stat.ME
Optimal Inference After Model Selection
为了在模型选择之后执行推理,我们提出控制选择性I类错误;即,测试的差错率。通过这样做,我们恢复长期运行的频率特性之间选定的假设类似于那些适用于经典(非自适应)的上下文中。我们的建议与数据分割密切相关,并且具有类似的直观理由,但更强大。利用Lehmann和Scheffé(1955)的经典理论,我们得到了指数族模型在任意选择过程后的最有效的无偏选择检验和推断的置信区间。对于线性回归,我们推导出新的选择性z-检验,概括了最近的建议,推断模型选择后,提高他们的权力,和新的选择性t-检验,不需要知识的误差方差。
2017-04-18 math.ST stat.ME stat.TH
Selective Inference in Graphical Models via Maximum Likelihood
KU Leuven(鲁汶大学);University of Michigan(密歇根大学)
该研究针对图套索推断边值函数时缺乏统计保证的问题,提出带随机化的选择性推断方法,通过条件最大似然实现有效区间估计与假设检验,效果优于数据拆分。
2026-08-26 stat.AP stat.CO stat.ME
Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);Nagoya University(名古屋大学)
尽管大量文献涉及使用深度神经网络(DNN)的图像分割方法,但较少关注评估分割结果的统计可靠性。在这项研究中,我们将分割结果解释为DNN驱动的假设(称为DNN驱动的假设),并提出了一种方法,通过该方法在统计假设测试框架内量化这些假设的可靠性。具体地说,我们考虑一个统计假设测试对象和背景区域之间的差异。这个问题是具有挑战性的,因为由于DNN对数据的适应性,差异会虚假地大。为了克服这一困难,我们引入了一个条件选择性推理(SI)框架-一个新的统计推断框架的数据驱动的假设,最近受到了相当大的关注-计算精确的(非渐近)有效的p值的分割结果。为了将条件SI框架用于基于DNN的分割,我们开发了一种基于同伦方法的新SI算法,该算法使我们能够推导出DNN驱动假设的精确(非渐近)采样分布。我们在合成和真实世界的数据集上进行了实验,通过这些实验,我们提供了证据,证明我们提出的方法可以成功地控制假阳性率,在计算效率方面具有良好的性能,并且在应用于医学图像数据时提供了良好的结果。
2022-12-14 cs.CV cs.LG stat.ML
Functional Post-Clustering Selective Inference with Applications to EHR Data Analysis
University of Pennsylvania(宾夕法尼亚大学);Vanderbilt University(范德堡大学);Duke University(杜克大学)
本文针对聚类后数据的选择偏差问题,提出适用于纵向数据的选择性推断方法,经模拟及AKI的EHR数据验证可调整偏差、控制错误率,具应用优势。
2026-08-18 stat.AP stat.CO stat.ME
Statistical Testing for Multiple Instance Learning via Selective Inference with Applications to Computational Pathology
本文提出基于选择性推断的统计检验框架,用于评估注意力MIL中高注意力实例的显著性,在合成、MNIST及病理WSI数据上实现I型错误控制并提升统计功效。
2026-09-29 cs.CV cs.LG stat.ML
Online Selective Conformal Prediction: Errors and Solutions
Carnegie Mellon University(卡内基梅隆大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对在线选择性共形推断中现有校准选择策略存在的理论错误,本文提出可保持数据可交换性的新策略,证明其能同时保证选择条件覆盖率与FCR控制,并通过实验验证了有效方法间的权衡关系。
2025-03-21 cs.LG stat.ML
Computing Valid p-values for Image Segmentation by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);National Institute for Material Science(国立材料科学研究所)
图像分割是计算机视觉最基本的任务之一。在许多实际应用中,正确评估单个分割结果的可靠性是至关重要的。在本研究中,我们提出了一个新的框架,以p值的形式提供分割结果的统计显着性。具体来说,我们考虑一个统计假设检验,用于确定对象和背景区域之间的差异。这个问题具有挑战性,因为由于分割算法对数据的适应性,差异可能会很大(称为分割偏差)。为了克服这一困难,我们引入了一种称为选择性推理的统计方法,并开发了一个框架来计算有效的p值,其中分割偏差得到了适当的考虑。虽然所提出的框架是潜在的适用于各种分割算法,我们专注于本文的基于图切割和基于阈值的分割算法,并开发了两种具体的方法来计算有效的p值的分割结果,这些算法。我们证明了这两种方法的理论有效性,并通过将其应用于医学图像分割问题来展示其实用性。
2019-12-09 cs.CV cs.LG math.ST
Conformalized Large-Scale Selective Inference with Informative and Trustworthy Prediction Sets
School of Statistics, Beijing Normal University(北京师范大学统计学院);Center for Data Science, Zhejiang University(浙江大学数据科学中心)
提出SCIP方法,通过信息性集构造器、信任评分和广义共形p值,在控制错误覆盖率的同时选择信息性预测集,适用于回归和分类任务。
2026-05-26 math.ST stat.ME stat.TH
Online selective conformal inference: adaptive scores, convergence rates and optimality
本文提出 OnlineSCI 算法,通过自适应更新实现在线选择性推断,提供收敛速率和最优性保证。
2026-09-01 math.ST stat.ML stat.TH
Locally Simultaneous Inference
本文提出局部同时推断方法,通过只回答观测数据下可能被提出的问题,在保持严格第I类错误保证的同时降低保守性,并严格优于基础同时推断方法。
2024-05-02 math.ST stat.ME stat.TH
Enhancing Statistical Validity and Power in Hybrid Controlled Trials: A Randomization Inference Approach with Conformal Selective Borrowing
本文提出随机化推断框架结合共形选择性借用方法,在混合对照试验中实现有限样本精确的第I类错误率控制并提高检验效能,通过理论分析、模拟和肺癌试验应用验证其有效性。
2025-05-07 stat.ME
Selective conformal inference with false coverage-statement rate control
针对仅对测试集中被选个体报告预测区间的问题,本文提出 SCOP 选择性条件保形预测框架,在可交换性及更一般条件下提供 FCR 控制和非渐近覆盖保证,并生成更窄区间。
2024-03-12 stat.ME
Bootstrap inference after using multiple queries for model selection
在这项工作中,我们提供了Tian和Taylor(2015)的选择性CLT结果的改进,它允许通过调整选择的渐近高斯极限来在非参数设置中进行选择性推断。在一些规则性假设的随机化的密度,包括较重的尾巴比高斯满足例如逻辑斯谛分布,我们证明了选择性CLT持有没有任何假设的基础参数,允许罕见的选择事件。我们还显示了一个选择性的CLT结果为高斯随机化,虽然定量结果是定性不同的高斯随机化相比,较重的尾部的结果。此外,我们提出了这个检验统计量的自助版本,这是可证明的非参数分布族的渐近枢轴一致。这个结果可以解释为解决Leeb和Potscher(2006)的不可能性结果。我们描述了几种抽样方法,包括投影朗之万蒙特卡罗计算自举检验统计量和相应的置信区间有效后选择。我们的工作的应用程序包括有效的推理和采样工具后,运行各种模型选择算法,包括它们的组合成多个视图/查询框架。我们还提出了一种方法来做数据雕刻,通过重用第一阶段的数据中的信息,提供比经典的数据分裂更强大的测试。
2017-09-27 stat.ME
Inferactive data analysis
我们描述了推理数据分析,所谓的表示一种交互式的方法来进行数据分析,强调推理后的数据分析。我们的方法是Tukey的探索性(粗略地说“无模型”)和验证性数据分析(粗略地说经典和“基于模型”)之间的妥协,也允许贝叶斯数据分析。我们认为这种方法在精神上接近应用统计学家和数据科学家的当前实践,同时允许在科学文献中报告结果的频率论保证,或者数据科学家可以在一些初步探索性分析后选择统计模型(以及先验)的贝叶斯结果。虽然这种数据分析方法并不涵盖所有场景,也不涵盖数据科学家可能使用的所有算法,但我们认为这是为当前的数据科学家提供具体工具(具有频率统计保证)的有用步骤。我们使用的推理基础是选择性推理[Lee et al.,2016年,Fithian等人,2014],特别是其随机化形式[Tian和Taylor,2015 a]。除了提供额外的把握度和较短的置信区间外,随机化框架还通过Tian et al. [2016]的{ \em选择性采样器}提供了相关参考分布的明确形式(直至归一化)。参考分布是从一个特定的条件分布构造的,该分布由我们称为DAG-DAG的数据分析生成DAG形成。由于在DAG中对条件分布进行采样通常是复杂的,因此选择性采样器对于推断数据分析的任何实际实现都是至关重要的。我们的主要目标是回顾选择性推理的最新发展,以及描述选择性推理的一般哲学。
2017-07-20 math.ST stat.TH
Selective inference for multiple pairs of clusters after K-means clustering
本文扩展 K-means 聚类后的成对选择性推断至多对聚类检验,并处理方差未知情形,提出控制第一类错误的方法,理论及实证验证有效。
2024-05-25 stat.ME
Inference conditional on selection: a review
Williams College(威廉姆斯学院);University of Washington(华盛顿大学)
本文综述了选择推断,用于数据函数的统计问题推断,讨论了三种需选择推断的案例,并通过模拟和单细胞RNA测序数据应用展示方法。
2026-04-10 stat.ME
Carving model-free inference
针对现有Carving选择性推断方法仅依赖高斯等参数模型的局限,本文建立渐近理论拓展其无模型应用场景,并通过模拟与真实数据实验验证该方法可生成有效紧致的置信区间。
2023-07-24 math.PR math.ST stat.TH
Selective Inference and Learning Mixed Graphical Models
Stanford University(斯坦福大学)
本文研究了现代统计学中的两个问题。首先,我们研究选择性推理,或在查看数据后选择的假设推理。激励应用是对套索选择的回归系数的推断。我们提出的条件选择方法,允许有效的选择性推理,并研究其应用的套索,和其他几个选择算法。在第二部分中,我们考虑了连续变量和离散变量上的成对图模型的结构学习问题。我们提出了一个新的成对模型的图形模型,连续和离散变量,是服从结构学习。在以前的工作中,作者考虑了高斯图模型的结构学习和离散模型的结构学习。我们的方法是这两条线的工作的混合情况下的一个自然的概括。惩罚计划涉及一种新的对称使用组套索规范,并遵循自然从一个特定的参数化模型。我们提供的条件下,我们的估计是模型选择一致的高维制度。
2015-06-30 cs.LG stat.ML
Selective Inference for Hierarchical Clustering
当组被先验定义时,平均值差异的经典检验控制第一类错误率。然而,当通过聚类来定义组时,则应用经典测试会产生极度膨胀的第一类错误率。值得注意的是,即使使用两个单独和独立的数据集来定义组并测试其均值的差异,这个问题仍然存在。为了解决这个问题,在本文中,我们提出了一个选择性的推理方法来测试两个集群之间的差异。我们的程序通过考虑原假设的选择是基于数据的事实来控制选择性第一类错误率。我们描述了如何有效地计算精确的p值的聚类使用凝聚层次聚类与许多常用的链接。我们将我们的方法应用于模拟数据和单细胞RNA测序数据。
2022-10-31 stat.ME stat.ML
si4onnx: A Python package for Selective Inference in Deep Learning Models
Nagoya University(名古屋大学);Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
本文提出 si4onnx,一个兼容 PyTorch 和 TensorFlow 的 Python 包,通过控制 I 类错误率的选择性推断评估深度学习模型中输入图像显著区域的统计显著性,以增强 AI 系统的可靠性。
2025-01-29 cs.LG stat.ML
Conditional Selective Inference for Robust Regression and Outlier Detection using Piecewise-Linear Homotopy Continuation
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
在噪声环境下的实际数据分析中,通常首先使用鲁棒方法来识别异常值,然后在去除异常值后进行进一步的分析。本文考虑剔除离群值后模型估计的统计推断问题,这可解释为一个选择推断问题。为了使用条件SI框架,有必要描述稳健方法如何识别离群值的事件。不幸的是,现有的方法不能直接使用这里,因为它们适用于选择事件可以由线性/二次约束表示的情况。本文利用同伦方法,提出了一种求解稳健回归的条件SI方法。我们表明,建议的条件SI方法是适用于广泛的一类强大的回归和离群值检测方法,并具有良好的经验表现在合成数据和真实数据的实验。
2022-01-02 cs.LG stat.ML
Selective Inference for Latent Block Models
The University of Tokyo(东京大学);RIKEN(理化学研究所)
潜在块模型中的模型选择一直是统计学领域中一个具有挑战性的重要课题。具体来说,一个主要的挑战是遇到了构建测试块结构时,通过应用特定的聚类算法,以有限大小的矩阵。在这种情况下,它变得至关重要的是要考虑在块结构的选择性偏差,即,块结构是从所有可能的集群成员基于一些标准的聚类算法。针对这一问题,本文提出了一种隐块模型的选择性推理方法。具体来说,我们构建了一个潜在的块模型,这是由平方残差最小化算法给出的一组行和列集群成员的统计测试。所提出的测试,就其性质而言,包括,因此也可以被用作行和列簇编号的集合上的测试。我们还提出了一个近似版本的测试的基础上模拟退火,以避免组合爆炸搜索最佳的块结构。结果表明,所提出的精确和近似的测试工作有效,相比,天真的测试,没有考虑到选择性偏差。
2021-06-06 cs.LG stat.ML
Selective inference using randomized group lasso estimators for general models
本文针对一般分布与损失函数下的组 lasso 估计量开发了基于随机化的选择性推断方法,通过构建选择后似然进行参数估计与置信区域推断,并在真实数据与模拟中验证了其有效性。
2024-03-26 math.ST stat.ME stat.ML
Fast and More Powerful Selective Inference for Sparse High-order Interaction Model
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);University of Tokyo(东京大学)
自动化的高风险决策,如医疗诊断,需要具有高度可解释性和可靠性的模型。稀疏高阶相互作用模型(SHIM)是一种可解释的、可靠的、具有良好预测能力的模型。然而,由于组合效应的固有高维性,找到统计上显著的高阶相互作用是具有挑战性的。数据驱动建模中的另一个问题是“挑选樱桃”的效果。选择偏差我们的主要贡献是扩展最近开发的参数规划方法选择性推理高阶相互作用模型。对樱桃树(所有可能的相互作用)进行彻底搜索可能是令人生畏的,即使对于小规模的问题也是不切实际的。我们引入了一个有效的修剪策略,并证明了所提出的方法使用合成和真实数据的计算效率和统计功效。
2021-06-09 cs.LG stat.ML
Flexible Selective Inference with Flow-based Transport Maps
本文提出一种利用归一化流学习传输映射的方法,用于在缺乏解析描述的选择事件下近似条件分布,从而实现灵活的选择性推断,提供有效 p 值、置信集及闭式条件密度函数。
2025-06-01 stat.ME stat.ML
Approximate Post-Selective Inference for Regression with the Group LASSO
在使用LASSO组(或广义变体,如重叠、稀疏或标准化LASSO组)进行选择后,在没有对选择偏倚进行调整的情况下,对所选参数的推断是不可靠的。在惩罚高斯回归设置,现有的方法提供了选择事件,可以表示为线性不等式的数据变量的调整。然而,这样的表示,未能举行选择与集团LASSO和实质上阻碍了范围内的后续后选择推理。关键问题的推理兴趣-例如,推理的影响,选定的变量的结果-仍然没有答案。在本文中,我们开发了一个一致的,后选择,贝叶斯方法来解决现有的差距,通过推导出一个似然调整因子和近似值,消除偏见的选择组。在模拟数据和Human Connectome Project数据上的实验表明,我们的方法可以恢复所选组内参数的影响,同时只需付出很小的代价进行偏差调整。
2022-08-13 math.ST stat.ME stat.ML
Neural Networks beyond explainability: Selective inference for sequence motifs
Université de Lyon(里昂大学);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);VetAgro Sup(国立兽医、农学与食品学院);École Centrale de Lyon(里昂中央理工学院)
在过去的十年里,神经网络已经成功地从生物序列中进行预测,特别是在调控基因组学的背景下。与深度学习的其他领域一样,已经设计了一些工具来提取特征,例如可以解释训练网络所做预测的序列基序。在这里,我们打算超越可解释的机器学习,并引入SEISM,这是一种选择性推理程序,用于测试这些提取的特征与预测表型之间的关联。特别是,我们讨论了如何训练一层卷积网络在形式上等同于选择最大化某个关联得分的基序。我们适应现有的采样为基础的选择性推理程序,通过量化这个选择在一个无限的集合到一个大的,但有限的网格。最后,我们表明,在一个特定的参数选择下的采样是足够的特征复合零假设通常用于选择性推理的结果,远远超出了我们的特定框架。我们说明了我们的方法在校准,功率和速度方面的行为,并讨论了它的功率/速度权衡与一个更简单的数据分割策略。SEISM为调控基因组学中使用的神经网络的更简单分析以及全基因组关联研究(GWAS)的更强大方法铺平了道路。
2022-12-23 cs.LG q-bio.GN stat.ML
More Powerful Conditional Selective Inference for Generalized Lasso by Parametric Programming
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
条件选择性推理作为一种新的数据驱动假设的统计推断框架,已经得到了广泛的研究。条件SI的基本概念是使推理以选择事件为条件,这使得即使在基于数据选择假设时也能够进行准确和有效的统计推断。条件SI主要是在模型选择的背景下研究的,如香草套索或广义套索。现有方法的主要限制是由于过度调节而导致的低统计功效,这是计算易处理性所需的。在这项研究中,我们提出了一个更强大的和一般的条件SI方法的一类问题,可以转化为二次参数规划,其中包括广义套索。该方法的核心思想是计算最优解在所选检验统计量方向上的连续路径,并根据该路径识别出与模型选择事件相对应的数据空间子集,从而避免了上述过度条件化的主要缺点,同时在多个方面提高了SI的性能和实用性.我们进行了几个实验来证明我们所提出的方法的有效性和效率。
2021-05-11 cs.LG stat.ML
Quantifying Statistical Significance of Deep Nearest Neighbor Anomaly Detection via Selective Inference
Nagoya University(名古屋大学);RIKEN(理化学研究所)
本文提出通过选择性推断量化深度kNN异常检测的统计显著性,以p值形式控制假阳性率,提升工业应用中的可靠性。
2025-11-28 cs.LG stat.ML
Selective Inference for Changepoint detection by Recurrent Neural Network
RIKEN(理化学研究所);Nagoya University(名古屋大学);Nagoya Institute of Technology(名古屋工业大学)
本研究针对RNN检测时间序列变点时易将噪声误判的问题,提出基于选择性推断(SI)框架的新方法,通过为检测到的变点提供理论上有效的p值来严格控制错误检测风险,并经实验验证了方法的有效性。
2023-11-25 cs.LG stat.ML
Statistical Testing Framework for Clustering Pipelines by Selective Inference
Nagoya University(名古屋大学);RIKEN(理化学研究所)
本文提出基于选择推断的统计检验框架,用于评估数据分析流程中聚类结果的显著性,通过合成和真实数据集实验验证了其有效性与准确性。
2026-05-01 cs.LG stat.ML
Parametric Programming Approach for More Powerful and General Lasso Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
在过去的几年中,选择性推理(SI)已经被积极地研究,用于对通过诸如Lasso的特征选择方法自适应地选择的线性模型的特征进行推理。同传的基本思想是使推理以选择事件为条件。不幸的是,Lasso的原始SI方法的主要限制是,推理不仅是在所选特征的条件下进行的,而且也是在它们的符号上进行的--这会导致由于过度条件化而导致功率损失。虽然可以通过考虑针对所有可能的符号组合的这种选择事件的并集来规避这种限制,但是这仅在所选择的特征的数量足够小时才是可行的。为了解决这个计算瓶颈,我们提出了一种基于参数编程的方法,即使我们有数千个活动特征,也可以在不依赖符号的情况下进行SI。其主要思想是在检验统计量的方向上计算Lasso解的连续路径,并根据该路径识别出与特征选择事件对应的数据空间子集,该方法不仅避免了上述计算瓶颈,而且从多个方面提高了SI for Lasso的性能和实用性.我们进行了几个实验来证明我们所提出的方法的有效性和效率。
2021-02-22 cs.LG stat.ML
Statistical Test for Feature Selection Pipelines by Selective Inference
RIKEN(理化学研究所);Nagoya University(名古屋大学)
本文提出基于选择性推断的统计检验方法,用于评估特征选择流水线的显著性,理论上可控制错误选择概率,并在合成与真实数据上验证了有效性。
2024-10-13 cs.LG stat.ML
Statistical Test for Saliency Maps of Graph Neural Networks via Selective Inference
Nagoya University(名古屋大学);RIKEN(日本研究机构)
针对图神经网络显著性图可靠性存疑的问题,提出基于选择性推断的统计检验框架,解决数据双重使用导致的第一类错误膨胀,提供有效p值,适用于多种分段线性显著性方法,经多数据集验证可评估GNN解释的可靠性。
2025-09-03 cs.LG stat.ML