How to Tell When a Result Will Replicate: Significance and Replication in Distributional Null Hypothesis Tests
本文提出分布零假设检验方法,通过同时考虑实验内和实验间变异来修正标准显著性检验对随机变异的低估,并利用Many Labs复现数据验证其能有效预测结果的可复现概率。
2025-02-05 math.ST stat.ME stat.TH
Dimension reduction-based significance testing in nonparametric regression
针对非参数回归模型,提出了一种基于降维的自适应模型检验方法。与现有的局部平滑显著性检验不同,新的检验表现得像一个局部平滑检验,就好像协变量的数量只是原假设下的协变量的数量,并且它可以以仅与原假设下的协变量的数量相关的速率检测不同于原假设的局部替代品。因此,当不可避免地需要非参数估计时,维数灾难在很大程度上得到缓解。在有许多不显著的协变量的情况下,新的测试的改进是非常显着的显着性水平的维持和功率增强现有的局部平滑测试。仿真研究和实际数据分析进行了有限样本的性能测试。
2015-10-13 stat.ME
When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing
科学家经常在原假设显著性检验过程中调整他们的显著性阈值(α水平),以考虑多重检验和多重比较。在科学复制危机的背景下,这种阿尔法调整变得特别重要。本文考虑的条件下,这种阿尔法调整是适当的,在哪些条件下,它是不适当的。区分三种类型的多重检验:分离检验、连接检验和单独检验。有人认为,α调整是唯一适当的情况下,分离测试,其中至少有一个测试结果必须是显着的,以拒绝相关的联合原假设。在联合检验的情况下,α调整是不合适的,其中所有相关结果必须是显著的,以便拒绝联合原假设。在个体检验的情况下,α调整也是不合适的,其中每个个体结果必须是显著的,以便拒绝每个相关的个体原假设。检查了这三种类型的多重检验中每一种的保证条件。结论是研究人员不应该自动(无意识地)假设α调整是必要的,在多重检验。提供了关于联合研究假设和联合多因素方差分析假设的说明。
2021-07-06 math.ST stat.ME stat.TH
Selecting a significance level in sequential testing procedures for community detection
虽然已经开发了许多顺序算法来估计网络中的社区结构,但很少有可用的指导和研究在这些顺序测试程序中使用什么显著性水平或停止参数。大多数算法依赖于预先指定社区的数量或使用任意的停止规则。我们提供了一个原则性的方法来选择一个名义上的显着性水平的顺序社区检测程序通过控制的公差比,定义为欠拟合和过拟合的概率估计的聚类数拟合网络的比率。我们介绍了一种算法,用于指定这个显着性水平从用户指定的公差比,并证明其效用与顺序模块化最大化方法在随机块模型框架。我们评估所提出的算法的性能,通过广泛的模拟和展示其效用在控制单细胞RNA测序聚类细胞类型和聚类国会投票网络的容忍率。
2022-09-15 stat.CO stat.ME
Predictive Data Calibration for Linear Correlation Significance Testing
Forschungszentrum Jülich(于利希研究中心);Heinrich Heine University(海因里希·海涅大学)
推断线性关系是许多实证研究的核心。线性相关性的度量应该正确地评估关系的强度,并限定它是否对总体有意义。Pearson相关系数(PCC),二元关系的\textit{de-facto}测量,在这两个方面都缺乏。由于样本量有限和数据的非正态性,估计的强度$r$可能错误。在统计显著性检验的背景下,将$p$值错误解释为后验概率会导致第一类错误--这是延伸到PCC的显著性检验的一个普遍问题。当同时测试多个假设时,这种错误会加剧。为了解决这些问题,我们提出了一种基于机器学习的预测数据校准方法,该方法本质上是将数据样本置于预期的线性关系上。使用校准的数据计算PCC产生校准的$p$值,其可以与校准的$r$估计一起被解释为后验概率,这是其他方法无法提供的期望结果。此外,随后对每个测试的独立解释可能消除对多重检验校正的需要。我们提供的经验证据有利于所提出的方法,使用几个模拟和应用到现实世界的数据。
2022-08-15 cs.LG stat.ME stat.ML
Do I Even Need a Multilevel Model? Negligible Effect Significance Testing for Intraclass Correlation Coefficients
University of Maryland(马里兰大学)
本研究针对应用研究中多层模型选择的决策问题,提出基于F统计量的组内相关系数可忽略效应显著性检验框架,还提供利用设计效应定义可忽略值的指导及对应R代码。
2026-08-04 stat.AP stat.ME
The Projected Covariance Measure for assumption-lean variable significance testing
本文针对模型错误设定下变量显著性检验功效差的问题,提出一种基于投影协方差测度的无模型条件均值独立性检验框架,可结合非参数或机器学习方法,并证明样条回归版本达到极小极大最优速率。
2024-05-07 math.ST stat.ME stat.ML
Adaptative significance levels in normal mean hypothesis testing
Pereira和Stern(1999)提出了精确假设的完全贝叶斯显著性检验(FBST),作为贝叶斯替代方法,而不是基于p值的传统显著性检验。FBST使用支持原假设($H_0$)的证据,计算为最高后验密度区域的后验概率的补充,该后验密度区域与$H_0$定义的集合相切。实施《联邦调查法》的一个重要的实际问题是确定证据必须有多大才能决定是否予以驳回。在经典显著性检验中,最常用的拒绝假设的度量是p值。众所周知,p值随着样本量的增加而减小,因此通过设置单个显著性水平,通常会导致$H_0$拒绝。在FBST程序中,当样本量增加时,支持$H_0$的证据表现出与p值相同的行为。这表明定义FBST中$H_0$拒收的临界点应为样本量函数。在这项工作中,我们专注于双边正态均值假设检验的情况下,并提出了一种方法来找到一个截止值的证据在FBST通过最小化的线性组合的第一类错误概率和预期的第二类错误概率为给定的样本量。
2018-08-29 stat.ME
Genome-Wide Significance Levels and Weighted Hypothesis Testing
遗传学研究常常涉及同时检验大量相关的假说。为了控制总体错误率,需要相当大的惩罚,使得难以检测中等强度的信号。为了提高这种情况下的功效,许多作者考虑使用加权$p$值,其动机通常基于假设的科学可验证性。我们回顾这篇文献,得出最佳的权重,并表明,这些权重的错误指定的权力是非常强大的。我们考虑在实践中选择权重的两种方法。第一,外部加权,是基于先验信息。第二种是估计权重,使用数据选择权重。
2010-10-22 stat.ME
Significance Testing and Group Variable Selection
设X; Z分别为r维和s维协变量,用于将响应变量Y建模为Y = m(X;Z)+ σ(X;Z)ε。基于零模型局部多项式拟合得到的残差,我们开发了原假设Z对回归函数没有影响的ANOVA型检验。利用该检验的p值,提出了一种基于多重检验思想的组变量选择方法。仿真研究表明,当备选项为非加性或存在异方差时,该检验方法优于广义似然比检验。额外的模拟研究,从线性,非线性和逻辑斯谛回归产生的数据,揭示了拟议的组变量选择程序执行竞争力对组套索,并优于它在选择组具有非线性效应。建议的组变量选择过程中示出了一个真实的数据集。
2012-05-30 stat.ME
Adaptive testing for the graphical lasso
我们考虑在逆协方差阵估计的图形套索设置的显着性检验。我们提出了一个简单的检验统计量,基于图套索路径中节点的一个子序列,我们证明了这个统计量具有指数渐近零分布,在原假设下,该模型包含真正的连接组件。虽然零分布是渐近的,我们通过模拟表明,它提供了一个接近真实的分布在合理的样本量。因此,测试提供了一个简单的,易于处理的测试的意义,新的边缘,因为他们被引入到模型。最后,我们展示了我们的结果和其他正则化回归结果之间的联系,以及我们的结果扩展到其他基于相关阵的方法,如单链聚类。
2013-07-22 math.ST stat.ME stat.TH
Significance and Replication in simple counting experiments: Distributional Null Hypothesis Testing
原假设显著性检验(NHST)长期以来一直是心理学作为一门科学的核心重要性,指导理论的发展,并为基于证据的干预和决策的应用奠定基础。然而,近年来,人们越来越意识到NHST的严重问题,因为它通常被使用;这种意识导致建议限制使用NHST技术,放弃这些技术,转向替代统计方法,甚至完全禁止使用NHST。这些建议是不成熟的,因为观察到的问题与NHST出现作为一个历史偶然的结果,基本上没有动机,从根本上是不正确的,选择:NHST测试对点形式的零假设。使用简单的计数实验,我们给出了一个详细介绍的替代方案,更一般的方法:对分布空测试。我们表明,这种分布的方法是动机良好的数学,实践和实验,并使用分布空值解决各种问题的标准点形式的NHST方法,避免与样本量的问题,并允许一个连贯的估计的概率复制一个给定的实验结果。我们不应该放弃NHST,而应该使用NHST方法的最一般形式,使用分布而不是点形式的零假设。
2020-10-16 stat.ME
Non-Parametric Cluster Significance Testing with Reference to a Unimodal Null Distribution
聚类分析是一种无监督的学习策略,可以用来识别未知结构数据集中的观测子集。这种策略对于分析诸如微阵列基因表达数据的高维数据特别有用。许多聚类方法是可用的,但它是具有挑战性的,以确定所确定的集群代表不同的子组。我们提出了一种新的策略,通过比较原始数据的簇内平方和与聚类一个适当的单峰零分布产生的簇内平方和,来研究识别出的簇的意义。我们为这个问题提出的零分布使用核密度估计,因此不需要数据遵循任何特定的分布。我们发现,我们的方法可以准确地测试聚类的存在,即使当特征的数量很高。
2016-10-06 stat.ME stat.ML
Matrix-Aware Proper Scoring Rules and Significance Testing for Correlation and Covariance Forecasts in Python
针对相关与协方差矩阵预测的评估难题,研发Python包corrscore,提供矩阵感知的真评分规则、几何感知变异函数评分、零重叠回测工具及配套显著性检验套件,并完成示例演示。
2026-09-03 cs.MS stat.ME
Significance testing for canonical correlation analysis in high dimensions
我们考虑的问题,大型随机变量集之间的线性关系的存在下,典型相关分析的后选择推理方法的基础上的测试。挑战在于调整具有最大样本相关性的线性组合的变量子集的选择。为此,我们构建了一个稳定的一步估计的欧氏范数的典型相关最大化的变量子集的预先指定的基数。这个估计量是一致的,其目标参数和渐近正态提供的维度的变量不增长太快,样本量。我们还开发了一个贪婪的搜索算法,以准确地计算估计,导致一个计算上易于处理的综合测试的全球原假设,有没有任何子集的变量之间的线性关系具有预先指定的基数。此外,我们开发了一个置信区间的目标参数,考虑到变量的选择。
2020-10-17 stat.ME
The Full Bayesian Significance Test and the e-value -- Foundations, theory and application in the cognitive sciences
假设检验是心理学研究和认知科学中的一种重要统计方法。虽然原假设显著性检验(NHST)的问题已被广泛讨论,很少有有吸引力的替代品存在。在本文中,我们提供了关于全贝叶斯显著性检验(FBST)和e值的教程,e值是依赖于p值的传统显著性检验的全贝叶斯替代品。FBST是一种先进的方法程序,可应用于多个领域。在本教程中,我们展示了在心理学研究中广泛使用的统计方法的两个例子如何在实践中使用FBST,为研究人员提供了如何进行它的明确指导方针,并提供R代码来重现所有结果。FBST是一种创新的方法,它已经清楚地证明比频率显著性检验更好。然而,据我们所知,到目前为止,它还没有在心理科学中使用,应该引起心理学和认知科学研究人员的广泛兴趣。
2020-06-05 stat.ME
Testing the significance of assuming homogeneity in contingency-tables/cross-tabulations
双向列联表/交叉表中比例同质性的模型与独立性模型相同,只是产生数据的概率过程被视为固定列总数(而不是行总数)。当用独立性假设来衡量观测数据的一致性时,最近的研究表明,欧几里得/弗罗贝纽斯/希尔伯特-施密特距离在统计学上往往比卡方、对数似然比(G)、弗里曼-图基/海林格距离和克雷西-里德幂散度家族的其他成员更强大。本文指出,在均匀性假设下,Euclidean/Frobenius/Hilbert-Schmidt距离可以更有效地度量观测数据的一致性。
2012-01-06 stat.CO stat.ME
Powerful Significance Testing for Unbalanced Clusters
针对传统SigClust在不平衡簇场景下检验效力不足的问题,提出一种基于k-means聚类新颖推广的显著性检验方法,在平衡与不平衡场景下均有效,并用肾癌基因表达数据集验证了价值。
2023-08-24 stat.ME
Statistical significance in high-dimensional linear models
我们提出了一种在高维线性模型中为一般假设构造p值的方法。假设可以是局部的,用于测试单个回归参数,或者它们可以是更全局的,涉及几个甚至所有参数。此外,当考虑许多假设,我们展示了如何调整多重检验考虑p值之间的依赖性。我们的技术是基于岭估计与一个额外的校正项,由于大量的投影偏置在高维。我们证明了我们的p值的强误差控制,并提供了检测的充分条件:对于前者,我们不对真正的底层回归系数的大小做任何假设,而对于后者,我们的程序可能不是最佳的功率。我们证明了模拟的例子和一个真实的数据应用程序的方法。
2013-10-11 math.ST stat.ME stat.TH
Test of Significance for High-dimensional Thresholds with Application to Individualized Minimal Clinically Important Difference
这项工作的动机是学习个体化的最小临床重要差异,这是评估各种生物医学研究中临床重要性的重要概念。我们制定的科学问题成一个高维的统计问题,感兴趣的参数在于一个个性化的线性阈值。我们的目标是开发一个假设检验程序的重要性,一个单一的元素在这个参数,以及这个参数的线性组合。困难是由于在开发这样的测试过程中的高维滋扰,也源于这样的事实,即这种高维阈值模型是不规则的,相应的估计量的极限分布是非标准的。为了应对这些挑战,我们通过一种新的偏差校正平滑去相关得分方法构建了一个检验统计量,并建立了零和局部备择假设下的渐近分布。我们提出了一种双平滑的方法来选择我们的检验统计量的最佳带宽,并提供了理论保证,选择的带宽。我们进行模拟研究,以证明我们提出的程序可以应用于实证研究。我们将所提出的方法应用于临床试验,其科学目标是评估外科手术的临床重要性。
2023-03-26 math.ST stat.ME stat.TH
fbst: An R package for the Full Bayesian Significance Test for testing a sharp null hypothesis against its alternative via the e-value
假设检验是心理学和认知科学中的一种重要统计方法。然而,原假设显著性检验(NHST)和p值的问题已经被广泛讨论,但很少有有吸引力的替代品存在。本文介绍了fbst R包,它实现了完整的贝叶斯显著性检验(FBST),通过e值来检验一个尖锐的原假设与其替代假设。二十多年前,Pereira等人(1999)引入了FBST的统计理论,从那时起,FBST已被证明是NHST和p值的贝叶斯替代品,具有理论和实践上非常吸引人的特性。fbst包中提供的算法适用于任何贝叶斯模型,只要至少可以在数值上获得后验分布。该软件包的核心功能是提供针对原假设的贝叶斯证据,即e值。此外,可以计算基于渐近参数的p值,并可以生成用于交流和解释结果的丰富可视化。本文给出了认知科学中常用的三个统计过程的例子,演示了如何使用fbst软件包在实践中应用FBST。基于FBST在统计科学中的成功,FBST软件包应该引起心理学和认知科学研究人员的广泛兴趣,并希望鼓励研究人员在对尖锐的原假设进行假设检验时将FBST视为一种可能的替代方案。
2020-06-05 stat.CO stat.ME
How to choose between different Bayesian posterior indices for hypothesis testing in practice
假设检验是心理学和认知科学中一种重要的统计方法。传统的原假设显著性检验(NHST)的问题已被广泛讨论,并提出的解决方案中的不适当使用的显着性检验和$p$ -值所造成的重复问题是转向贝叶斯数据分析。然而,贝叶斯假设检验关注的是显著性和效应大小的各种后验指标。这使得贝叶斯假设检验在实践中变得复杂,因为传统$p$值的多个贝叶斯替代方案的可用性导致了选择哪一个以及为什么选择的混乱。在本文中,我们比较了各种贝叶斯后验指数已提出的文献中,并讨论其优点和局限性。我们的比较表明,在概念上并不是所有提出的贝叶斯替代NHST和$p$值是有益的,一些指标的有用性强烈依赖于研究设计和研究目标。然而,我们的比较也表明,存在至少两个候选人之间的可用贝叶斯后验指数有吸引力的理论属性,据我们所知,心理学家之间广泛使用。
2020-05-27 stat.ME
A novel finite-sample testing procedure for composite null hypotheses via pointwise rejection
University of Kansas(堪萨斯大学)
本文提出了一种针对复合零假设的新型有限样本检验方法,通过点拒绝和膨胀显著性水平实现更准确的推断。
2026-10-09 math.ST stat.ME stat.TH
Anytime Validity is Free: Inducing Sequential Tests
Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学)
该研究证明传统检验可自然实现任何时刻有效性,无需显式使用e值,通过诱导顺序检验方法,展示了z检验和t检验的顺序化版本,并表征SPRT的不变性。
2025-12-21 math.ST stat.ME stat.TH
On admissibility in post-hoc hypothesis testing
Carnegie Mellon University(卡内基梅隆大学);Leiden University(莱顿大学);Centrum Wiskunde & Informatica(数学与计算机科学中心)
本文提出了一种事后假设检验理论,允许在数据分析后选择显著性水平,并引入Γ-可接受性概念来评估检验规则的可靠性。
2026-01-19 math.ST stat.ME stat.TH
Significance testing in non-sparse high-dimensional linear models
在高维线性模型中,通常会进行稀疏性假设,即大多数参数等于零。在稀疏性假设下,估计和最近的推断已经得到了很好的研究。然而,在实践中,稀疏性假设是不可检查的,更重要的是经常被违反;大量的协变量可能被期望与响应相关联,这表明可能所有的,而不仅仅是几个,参数是非零的。一个自然的例子是全基因组基因表达谱,其中所有基因都被认为会影响一个共同的疾病标志物。我们发现,现有的推理方法是敏感的稀疏性假设,并可能反过来,导致严重缺乏控制的第一类错误。在这篇文章中,我们提出了一个新的推理方法,命名为CorrT,这是强大的模型误指定,如异方差和缺乏稀疏性。CorrT被证明有第一类错误接近标称水平的\textit{any}模型和第二类错误接近零的稀疏和许多密集的模型。事实上,CorrT在各种框架中也被证明是最佳的:稀疏,非稀疏和混合模型,其中稀疏和密集信号混合。数值实验表明,一个良好的性能的CorrT测试相比,国家的最先进的方法。
2018-05-28 math.SP math.ST stat.ME
Testing for unobserved heterogeneous treatment effects
未观察到的异质性处理效应在最近的政策评估文献中得到了强调。在本文中,我们扩展了Lu和White(2014)的未观察到的异质性处理效应的检验方法,在标准外生工具变量假设下开发了非参数检验,并允许进行内源性处理。具体来说,我们提出了Kolmogorov-Smirnov-型统计,是一致的,简单的实现。为了说明这一点,我们采用了两个实证应用的检验方法:就业培训计划对收入的处理效应以及生育率对家庭收入的影响。零假设,即,缺乏未观察到的异质性处理效应,在前一种情况下不能在10%的显著性水平下被拒绝,但在后一种情况下应该在所有通常的显著性水平下被拒绝。
2016-11-19 stat.ME
Markov Chain Monte Carlo Significance Tests
本文回顾了Besag和Clifford提出的两种马尔可夫链蒙特卡洛(MCMC)显著性检验方法,提出一种统一现有流程的新方法,通过示例对比其与标准蒙特卡洛检验的差异,并调研了相关当代应用。
2024-06-19 math.ST stat.ME stat.TH
A significance test for the lasso
在稀疏线性回归设置中,我们考虑测试进入当前lasso模型的预测变量的显著性,在沿着lasso解决方案路径访问的模型序列中,我们提出了一个简单的基于lasso拟合值的检验统计量,称为协方差检验统计量,并表明当真实模型是线性的时,该统计量在原假设(原假设是所有真正有效的变量都包含在当前套索模型中)下具有$\operatorname {Exp}(1)$渐近分布。我们对第一个进入模型的预测变量的特殊情况(即,针对全局空值检验单个显著预测变量)仅需要对预测矩阵$X$的弱假设。另一方面,我们对套索路径中的一般步骤的证明对$X$和生成模型进行了进一步的技术假设,但仍然允许重要的高维情况$p>n$,并且不一定要求当前套索模型实现真正活跃变量的完美恢复。当然,为了检验两个嵌套线性模型之间附加变量的显著性,通常使用卡方检验,将残差平方和(RSS)的下降与$χ^2_1$分布进行比较。但是,当这个附加变量不是固定的,并且已经被自适应地或绿色地选择时,这个测试就不再合适了:自适应性使得RSS随机数的下降比原假设下的$χ^2_1$大得多。我们的分析明确说明了自适应性,因为它必须,因为套索建立一个自适应序列的线性模型作为调整参数$λ$减少。在该分析中,收缩起着关键作用:尽管自适应地选择了附加变量,但是由于$\ell_1$惩罚,套索活动变量的系数被收缩。因此,检验统计量(基于套索拟合值)在某种意义上被这两个相反的…
2014-05-26 math.ST stat.ME stat.TH
Sequential Test for Practical Significance: Truncated Mixture Sequential Probability Ratio Test
提出截断混合序贯概率比检验方法,用于区分足够大值得采取行动的实际显著效应与虽非零但太小的效应,并验证I类错误控制。
2026-06-25 stat.ME
Testing Multiple Inequality Hypotheses : A Smoothed Indicator Approach
本文提出了一类检验多重不等式的负部和统计量指标的原点光滑逼近器。从而避免了对模拟或自举以获得测试临界值的需要。一个简单的过程是启用使用固定的临界值。检验结果表明,具有正确的渐近大小的一致意义上的上确界有限样本拒绝概率零限制的数据分布趋于渐近名义显著性水平。这适用于弱假设,允许估计协方差奇异性。该测试是无偏的一个广泛的类的本地替代品。一个新的定理建立了测试是局部最强大的方向。所提出的程序进行了比较,占主导地位的现有测试的结构,理论和模拟。
2012-06-26 math.ST stat.ME stat.TH
Changing the paradigm of fixed significance levels: Testing Hypothesis by Minimizing Sum of Errors Type I and Type II
我们的目的是通过推广Morris DeGroot(1975)揭示的一个非常自然的想法来改变测试范式,旨在以一种更适合科学需求的程序,对所有统计学派都有吸引力的方法。DeGroot的开创性思想是将测试统计假设建立在最小化I类错误加上第二类错误的加权和的基础上,而不是固定第一类错误并最小化第二类错误的流行范式。DeGroot的结果是,在简单与简单假设的最佳标准是拒绝,根据似然比作为证据(排序)统计使用一个固定的阈值,而不是一个固定的尾部概率。通过定义预期的I类错误和第二类错误,我们推广了DeGroot的方法,发现最佳区域由证据比定义,即平均似然(相对于先验测量)和固定阈值。这种方法产生了一个最优的理论在完整的一般性,而经典理论的测试没有。这可以被看作是贝叶斯-非贝叶斯的折衷:标准(I类和第二类错误的加权和)是频率论的,但检验标准是边缘化似然比,这是贝叶斯的。我们给出的参数,推动理论更进一步,使加权措施(先验)的可能性不一定是正确的和高信息量,但只是预测匹配,即预测匹配的先验,产生相同的证据(边际似然)使用最小(最小)的训练样本。出现的理论,类似于基于客观贝叶斯方法的理论,是对流行的假设检验方法的批评的有力回应,例如,参见Ioanneland(2005)和Siegfried(2010)等。
2013-09-30 stat.ME
B-Value and Empirical Equivalence Bound: A New Procedure of Hypothesis Testing
在这项研究中,我们提出了一个两阶段的程序假设检验,其中第一阶段是传统的假设检验,第二阶段是一个等价性检验过程中引入的经验等价界。2016年,美国统计协会发布了一份关于P值的政策声明,以澄清正确的使用和解释,以回应对科学发现中可重复性和可复制性的批评。在统计假设检验中提高再现性和透明度的最新解决方案是将具有实际或科学意义的P值(或置信区间)整合。类似的想法已经通过等价性检验提出,其目标是在参数不平等的假设(空)下推断相等。然而,在这些测试程序中,科学显著性/等效性的定义可能是主观的。为了克服这个缺点,我们引入了一个B值和经验等价界,这两个都是从数据中估计的。执行第二阶段等效性检验,我们的程序提供了一个机会,以纠正假阳性发现,并提高跨研究结果的重现性。
2019-12-30 stat.ME
Distributional Null Hypothesis Testing with the T distribution
原假设显著性检验(NHST)长期以来一直是科学项目的核心,指导理论发展,支持循证干预和决策。然而,近年来,人们越来越意识到NHST的严重问题,因为它通常被使用,因此建议限制使用NHST技术,放弃这些技术,转向替代统计方法,甚至完全禁止使用NHST。这些建议是不成熟的,因为观察到的问题与NHST都出现作为一个偶然的,在许多情况下不正确的选择的结果:NHST测试对点形式的空。我们表明,测试对分布,而不是点形式,空值是更好的数学和实验的动机,并使用分布空值解决了许多问题的标准点形式NHST方法。我们还表明,使用分布零点允许一种形式的原假设检验,考虑到一个给定的结果的统计意义和复制的概率,该结果在一个新的实验。我们不应该放弃NHST,而应该使用更一般形式的NHST方法,使用分布空值而不是点形式空值。
2020-10-15 stat.ME
Hypotheses Testing from Complex Survey Data Using Bootstrap Weights: A Unified Approach
标准的统计方法,没有考虑到调查设计的复杂性,可能会导致错误的推论时,应用于调查数据,由于不平等的选择概率,聚类,和其他设计功能。特别是,使用标准方法进行假设检验的实际第一类错误率可能远大于标称显著性水平。在检验假设时考虑调查设计特征的方法已经被提出,包括Wald检验和涉及参数估计的估计协方差阵的准得分检验。本文通过构造加权似然比似然比统计量的Bootstrap近似,给出了一种不需要计算协方差阵的统一的假设检验方法,并建立了Bootstrap检验的渐近有效性.此外,我们还考虑了分类数据的假设检验,并提出了一个bootstrap过程来检验双向表中的简单拟合优度和独立性。在仿真研究中,与朴素似然比检验和拟得分检验相比,该方法的第一类错误率更接近其名义显著性水平。一个应用程序,从教育调查的数据下的逻辑斯谛回归模型。
2021-03-03 stat.ME
Efficient Adjusted Joint Significance Test and Sobel-Type Confidence Interval for Mediation Effect
本文提出调整联合显著性检验和调整Sobel型置信区间,用于更高效地检验中介效应,并通过模拟和三类实际数据验证其优于传统方法。
2024-09-05 stat.AP stat.ME
Nonparametric Hypothesis Testing of High-dimensional Clustering With Application to Single-cell RNA Data
University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
针对高维聚类显著性检验中高斯假设不可靠的问题,提出基于对数凹分布的非参数方法SigClust-LCP,结合分数匹配估计器,在控制第一类错误和保持功效的同时,避免单细胞数据中的虚假亚聚类。
2026-09-09 stat.AP stat.CO stat.ME
SAT-sampling for statistical significance testing in sparse contingency tables
University of Applied Sciences Kempten(凯姆森应用科学大学)
本文提出基于SAT的列联表条件检验抽样方法,将纤维编码为布尔电路,并结合混合MCMC方案,在稀疏及结构零场景下提供可靠的条件p值,优于传统马尔可夫基方法。
2026-10-12 math.CO stat.CO stat.ME
A Sequential Significance Test for Treatment by Covariate Interactions
由于患者对任何治疗方案的各方面反应的异质性,生物医学和临床研究正逐渐从传统的“一刀切”方法转向个性化医疗的新范式。在这个方向上的一个重要步骤是通过协变量相互作用来识别治疗。我们考虑的设置中,有潜在的大量的协变量的利益。尽管近年来开发了许多新的机器学习方法来帮助在这种情况下进行治疗选择,但很少(如果有的话)采用正式的假设检验程序。在这篇文章中,我们提出了一种新的测试程序的基础上m-out-of-n引导,可用于顺序识别与治疗相互作用的变量。我们研究了该方法的理论特性,并通过大量的仿真表明,它是更有效地控制第一类错误率,并取得了令人满意的权力相比,竞争的方法。此外,所提出的方法的实用性说明使用真实数据的例子,无论是从随机试验和观察性研究。
2019-11-19 stat.ME
Periodicity significance testing with null-signal templates: reassessment of PTF's SMBH binary candidates
本文提出零信号模板(NST)方法以解决复杂数据中周期信号显著性量化难题,重新评估PTF的SMBHB候选体发现无统计显著周期信号,并引入基于高斯求积的贝叶斯因子算法提升灵敏度超一个数量级。
2024-07-24 astro-ph.GA astro-ph.HE astro-ph.IM
Leave-one-out testing for node-level differences in Gaussian graphical models
University of Padova(帕多瓦大学)
本文提出了一种基于留一验证和巴特利特调整的检验方法,用于高斯图模型中节点级差异的相等性检验,通过模拟和案例研究验证了方法的有效性和实用性。
2026-01-22 stat.ME
Robust Nonparametric Testing Approaches for Spatial Regression
Yonsei University(延世大学);University of South Bohemia(南波希米亚大学);University Jaume I(海梅一世大学)
本文提出基于随机位移的稳健非参数蒙特卡洛检验框架,用于空间回归中的稳健推断,无需参数假设,通过残差间依赖性测量评估协变量显著性。
2026-05-10 stat.ME
Permutation-based Hypothesis Testing for Neural Networks
神经网络是功能强大的预测模型,但它们对预测因子和结果之间关系的本质几乎没有提供任何见解。尽管已经提出了许多方法来量化输入特征的相对贡献,但特征关联的统计推断和假设检验仍在很大程度上未被探索。我们提出了一种基于置换的测试方法,该方法使用网络输出相对于特定输入的偏导数来评估输入特征的重要性以及重要特征是否与网络输出线性相关。这些测试可以灵活地应用于各种网络架构,增强了神经网络的解释能力,并与强大的预测能力相结合,扩展了这些模型的适用性。
2023-01-26 stat.ME
Efficient Multiple Testing Adjustment for Hierarchical Inference
(广义)回归问题中的分层推理对于发现显著组甚至单个协变量是强大的,特别是在整个回归参数向量的可识别性可能是不适定的高维设置中。一般方法以完全数据驱动和自适应的方式从协变量的大到小的组或单例进行,这取决于信号强度和设计矩阵的相关结构。我们提出了一种新的分层多重检验调整,可用于与任何显着性检验的协变量组进行分层推理。我们的调整传递了某些假设的显著性水平,这些假设不能被拒绝,并被证明可以保证对家族错误率的强有力控制。我们的方法至少是强大的所谓的深度层次Bonferroni调整。它提供了一个相当大的增益,在权力比其他先前提出的继承层次的程序,如果基本的替代假设发生稀疏沿几个分支的树状结构的层次。
2021-10-21 stat.AP stat.ME
A Graphical Framework for Testing Hierarchically Structured Hypothesis Families
Insmed;Syndax Pharmaceuticals;New Jersey Institute of Technology(新泽西理工学院)
本文提出一种图形化方法,统一了分层假设家族的检验策略,通过图表示实现显著性水平的分配与传播,有效控制FWER并提升可解释性。
2026-04-13 stat.AP stat.ME
All networks look the same to me: Testing for homogeneity in networks
研究人员如何测试网络局部结构的异质性?在本文中,我们提出了一个框架,利用随机抽样给子图,然后用在拟合优度检验异质性测试。我们说明了如何使用拟合优度检验的分析推导的分布以及经验分布。为了证明我们的框架,我们考虑边缘概率异质性测试的简单情况。我们研究的显着性水平,功率和计算时间,这种情况下,适当的例子。最后,我们概述了如何将我们的框架应用到其他异构性问题。
2015-12-02 cs.SI stat.ME
Sparse regression and marginal testing using cluster prototypes
我们提出了一种新的方法,稀疏回归和边际测试,相关功能的数据。我们的程序首先聚类的功能,然后选择集群原型中最丰富的功能。然后我们对这些原型应用稀疏回归(lasso)或边际显著性检验。虽然这种策略并不完全是新的,但我们建议的一个关键特征是使用Taylor et al.(2014)和Lee et al.(2014)的后选择推理理论来计算精确的p值和置信区间,以正确解释原型的选择。我们还应用最近的“山寨”的想法巴伯和坎迪斯提供确切的有限样本控制的FDR我们的回归过程。我们说明我们的建议,真实和模拟数据。
2015-03-13 stat.ME
Empirical phi-divergence test statistics for testing simple null hypotheses based on exponentially tilted empirical likelihood estimators
在计量经济学中,在不假设潜在分布的情况下施加限制来模拟复杂的现实是一种有价值的方法论工具。然而,如果一个子集的限制是不正确的指定,通常的测试统计量正确指定的模型往往拒绝一个简单的原假设。在这种情况下,我们可以说模型存在误设定。我们研究了Balakrishnan et al.(2015)中引入的经验φ-发散检验统计量的行为,通过使用Schennach(2007)的指数倾斜经验似然估计量,作为小样本量的显著性水平的效率和错误指定下的鲁棒性之间的良好折衷。
2015-10-27 stat.ME
Testing One Hypothesis Multiple times
在应用环境中,假设检验(其中滋扰参数仅在备选方案下可识别)通常简化为一个假设多次检验(TOHM)。具体而言,指定不可识别参数的空间的精细离散化,并且针对一组子备择假设来测试原假设,每个子备择假设用于离散化的每个点。然后将得到的子检验统计量组合以获得全局p值。在本文中,我们讨论了一个计算效率高的推理工具,以执行TOHM在严格的意义要求,如那些通常需要在物理科学,(例如,p值$<10^{-7}$)。由此产生的程序导致一个通用的方法来执行推断非标准条件下,包括非嵌套模型的比较。
2019-05-18 stat.ME
Permutation tests of non-exchangeable null models
推广到排列测试,以允许在这种情况下,空模型是不可交换的。证明了广义置换检验是精确的,并建立了一个部分逆命题:任何在所有概率密度上都是精确的检验函数都与在特定区域上的广义置换检验重合.一个最强大的广义置换测试的封闭形式。最强大的广义排列测试的近似提出,以减少计算所需的计算负担,计算完整的测试。特别是,一个显式形式的近似测试中派生的多项式伯恩斯坦多项式逼近,并证明其收敛到最强大的广义置换测试。在p值的确定比假设检验更重要的情况下,分析了两种估计显著性的方法。根据样本量给出了精确最有效检验的显著性偏差的界限。对于这两个估计量,当样本量趋于无穷大时,估计量在较弱的条件下收敛于最强广义置换检验的显著性。给出了广义置换检验在线性混合模型中的应用。
2018-08-30 stat.ME
Significance tests of feature relevance for a black-box learner
The Chinese University of Hong Kong(香港中文大学);University of Minnesota(明尼苏达大学)
最近一个令人兴奋的发展是在许多科学领域中采用深度神经网络,其主要目标是具有黑箱性质的结果预测。显著性检验有望解决黑盒问题,并基于深度学习模型探索新的科学见解和决策过程的解释。然而,测试的神经网络提出了一个挑战,因为它的黑箱性质和未知的限制分布的参数估计,而现有的方法需要强假设或过多的计算。在这篇文章中,我们得到一个分裂和两个分裂测试放松现有的黑盒测试的假设和计算复杂性,并扩展到检查可能是一个复杂的类型,如图像的数据集的感兴趣的功能的集合的意义。一次分裂检验通过样本分裂和数据扰动来估计和评估基于估计和推断子集的黑盒模型。两个分裂测试进一步将推理子集分裂成两个,但不需要扰动。此外,我们通过基于重复样本分裂聚合p值来开发它们的组合版本。通过收缩偏差-标准差比,我们建立了检验统计量的渐近零分布和关于第二类错误的相合性。在数值上,我们证明了七个模拟的例子和六个真实的数据集上的实用程序的建议的测试。本文附带了我们的Python库dnn-inference(https://dnn-inference.readthedocs.io/en/latest/),它实现了所提出的测试。
2022-06-21 cs.LG stat.ME stat.ML
Choosing alpha post hoc: the danger of multiple standard significance thresholds
本文指出将显著性阈值α从0.05降至0.005可能导致同一领域出现多重标准阈值,使研究者事后根据p值选择α,从而严重破坏假设检验有效性,并讨论了可能的解决方案。
2025-03-10 stat.AP stat.ME
Adaptive Group Testing with Mismatched Models
准确检测受感染者是阻止任何流行病的关键步骤之一。当疾病的潜在感染率较低时,对人群进行检测,而不是对人群中的每个人进行检测,可能更有效。在这项工作中,我们考虑噪声自适应组测试设计与特定的测试灵敏度和特异性,选择最佳的组给定以前的测试结果的基础上预先选择的效用函数。在以前的研究中,组测试,我们模拟这个问题作为一个连续的贝叶斯最优试验设计(BOED),以适应性地设计每个测试的组。我们分析所需的组测试的数量时,使用更新后的感染状态和相应的互信息(MI)作为我们的效用函数选择新的组。更重要的是,我们研究了群体测试的地面真实噪声的潜在偏见可能会影响群体测试样本的复杂性。
2021-10-05 eess.SP stat.ME
Testing normality of spatially indexed functional data
我们开发了一个空间索引函数的正态性检验。正态性假设在空间统计学中很常见,但对于功能数据,还没有显著性检验或其他评估方法。本文的目的是填补这一空白的情况下,功能的观察空间网格。我们的测试将空间(频域)主成分分数的矩与合适的高斯分布的矩进行比较。临界值可以很容易地从卡方分布中获得。我们为一类广泛的弱平稳泛函随机场提供了严格的理论证明。我们进行模拟研究,以评估对各种替代品的测试的力量。通过对地表入射短波辐射的应用,说明了该方法的实用价值。
2021-06-30 stat.ME