Significance and Replication in simple counting experiments: Distributional Null Hypothesis Testing
原假设显著性检验（NHST）长期以来一直是心理学作为一门科学的核心重要性，指导理论的发展，并为基于证据的干预和决策的应用奠定基础。然而，近年来，人们越来越意识到NHST的严重问题，因为它通常被使用;这种意识导致建议限制使用NHST技术，放弃这些技术，转向替代统计方法，甚至完全禁止使用NHST。这些建议是不成熟的，因为观察到的问题与NHST出现作为一个历史偶然的结果，基本上没有动机，从根本上是不正确的，选择：NHST测试对点形式的零假设。使用简单的计数实验，我们给出了一个详细介绍的替代方案，更一般的方法：对分布空测试。我们表明，这种分布的方法是动机良好的数学，实践和实验，并使用分布空值解决各种问题的标准点形式的NHST方法，避免与样本量的问题，并允许一个连贯的估计的概率复制一个给定的实验结果。我们不应该放弃NHST，而应该使用NHST方法的最一般形式，使用分布而不是点形式的零假设。
2020-10-16 stat.ME
Predictive Data Calibration for Linear Correlation Significance Testing
Forschungszentrum Jülich（于利希研究中心）；Heinrich Heine University（海因里希·海涅大学）
推断线性关系是许多实证研究的核心。线性相关性的度量应该正确地评估关系的强度，并限定它是否对总体有意义。Pearson相关系数（PCC），二元关系的\textit{de-facto}测量，在这两个方面都缺乏。由于样本量有限和数据的非正态性，估计的强度$r$可能错误。在统计显著性检验的背景下，将$p$值错误解释为后验概率会导致第一类错误--这是延伸到PCC的显著性检验的一个普遍问题。当同时测试多个假设时，这种错误会加剧。为了解决这些问题，我们提出了一种基于机器学习的预测数据校准方法，该方法本质上是将数据样本置于预期的线性关系上。使用校准的数据计算PCC产生校准的$p$值，其可以与校准的$r$估计一起被解释为后验概率，这是其他方法无法提供的期望结果。此外，随后对每个测试的独立解释可能消除对多重检验校正的需要。我们提供的经验证据有利于所提出的方法，使用几个模拟和应用到现实世界的数据。
2022-08-15 cs.LG stat.ME stat.ML
Changing the paradigm of fixed significance levels: Testing Hypothesis by Minimizing Sum of Errors Type I and Type II
我们的目的是通过推广Morris DeGroot（1975）揭示的一个非常自然的想法来改变测试范式，旨在以一种更适合科学需求的程序，对所有统计学派都有吸引力的方法。DeGroot的开创性思想是将测试统计假设建立在最小化I类错误加上第二类错误的加权和的基础上，而不是固定第一类错误并最小化第二类错误的流行范式。DeGroot的结果是，在简单与简单假设的最佳标准是拒绝，根据似然比作为证据（排序）统计使用一个固定的阈值，而不是一个固定的尾部概率。通过定义预期的I类错误和第二类错误，我们推广了DeGroot的方法，发现最佳区域由证据比定义，即平均似然（相对于先验测量）和固定阈值。这种方法产生了一个最优的理论在完整的一般性，而经典理论的测试没有。这可以被看作是贝叶斯-非贝叶斯的折衷：标准（I类和第二类错误的加权和）是频率论的，但检验标准是边缘化似然比，这是贝叶斯的。我们给出的参数，推动理论更进一步，使加权措施（先验）的可能性不一定是正确的和高信息量，但只是预测匹配，即预测匹配的先验，产生相同的证据（边际似然）使用最小（最小）的训练样本。出现的理论，类似于基于客观贝叶斯方法的理论，是对流行的假设检验方法的批评的有力回应，例如，参见Ioanneland（2005）和Siegfried（2010）等。
2013-09-30 stat.ME
Significance testing in quantile regression
本文考虑多元非参数分位数回归中预测变量的显著性检验问题。提出了一个随机过程，它是基于一个比较的响应与非参数分位数回归估计下的原假设。证明了在原假设下，该过程弱收敛于中心高斯过程，并讨论了在固定和局部替换下检验的渐近性质.特别是，我们表明，-在非参数方法的基础上估计$L^2$ -距离-新的测试是能够检测本地的替代品收敛到原假设与任何速率$a_n \to 0$，使$a_n \sqrt{n} \to \infty$（这里$n$表示的样本量）。我们还提出了一个小的模拟研究，说明了有限样本性质的自举版本的相应的Kolmogorov-Smirnov测试。
2012-06-14 math.ST stat.ME stat.TH
Testing the significance of assuming homogeneity in contingency-tables/cross-tabulations
双向列联表/交叉表中比例同质性的模型与独立性模型相同，只是产生数据的概率过程被视为固定列总数（而不是行总数）。当用独立性假设来衡量观测数据的一致性时，最近的研究表明，欧几里得/弗罗贝纽斯/希尔伯特-施密特距离在统计学上往往比卡方、对数似然比（G）、弗里曼-图基/海林格距离和克雷西-里德幂散度家族的其他成员更强大。本文指出，在均匀性假设下，Euclidean/Frobenius/Hilbert-Schmidt距离可以更有效地度量观测数据的一致性。
2012-01-06 stat.CO stat.ME
B-Value and Empirical Equivalence Bound: A New Procedure of Hypothesis Testing
在这项研究中，我们提出了一个两阶段的程序假设检验，其中第一阶段是传统的假设检验，第二阶段是一个等价性检验过程中引入的经验等价界。2016年，美国统计协会发布了一份关于P值的政策声明，以澄清正确的使用和解释，以回应对科学发现中可重复性和可复制性的批评。在统计假设检验中提高再现性和透明度的最新解决方案是将具有实际或科学意义的P值（或置信区间）整合。类似的想法已经通过等价性检验提出，其目标是在参数不平等的假设（空）下推断相等。然而，在这些测试程序中，科学显著性/等效性的定义可能是主观的。为了克服这个缺点，我们引入了一个B值和经验等价界，这两个都是从数据中估计的。执行第二阶段等效性检验，我们的程序提供了一个机会，以纠正假阳性发现，并提高跨研究结果的重现性。
2019-12-30 stat.ME
A framework for interpretation and testing of sparse canonical correlations
针对高维多数据集整合的稀疏CCA可解释性问题，提出基于软阈值的稀疏CCA方法，无需调参、初始化依赖低，相比PMA可解释性更优且信号发现能力不弱甚至更强。
2023-10-04 stat.ME
Distributional Null Hypothesis Testing with the T distribution
原假设显著性检验（NHST）长期以来一直是科学项目的核心，指导理论发展，支持循证干预和决策。然而，近年来，人们越来越意识到NHST的严重问题，因为它通常被使用，因此建议限制使用NHST技术，放弃这些技术，转向替代统计方法，甚至完全禁止使用NHST。这些建议是不成熟的，因为观察到的问题与NHST都出现作为一个偶然的，在许多情况下不正确的选择的结果：NHST测试对点形式的空。我们表明，测试对分布，而不是点形式，空值是更好的数学和实验的动机，并使用分布空值解决了许多问题的标准点形式NHST方法。我们还表明，使用分布零点允许一种形式的原假设检验，考虑到一个给定的结果的统计意义和复制的概率，该结果在一个新的实验。我们不应该放弃NHST，而应该使用更一般形式的NHST方法，使用分布空值而不是点形式空值。
2020-10-15 stat.ME
Hypotheses Testing from Complex Survey Data Using Bootstrap Weights: A Unified Approach
标准的统计方法，没有考虑到调查设计的复杂性，可能会导致错误的推论时，应用于调查数据，由于不平等的选择概率，聚类，和其他设计功能。特别是，使用标准方法进行假设检验的实际第一类错误率可能远大于标称显著性水平。在检验假设时考虑调查设计特征的方法已经被提出，包括Wald检验和涉及参数估计的估计协方差阵的准得分检验。本文通过构造加权似然比似然比统计量的Bootstrap近似，给出了一种不需要计算协方差阵的统一的假设检验方法，并建立了Bootstrap检验的渐近有效性.此外，我们还考虑了分类数据的假设检验，并提出了一个bootstrap过程来检验双向表中的简单拟合优度和独立性。在仿真研究中，与朴素似然比检验和拟得分检验相比，该方法的第一类错误率更接近其名义显著性水平。一个应用程序，从教育调查的数据下的逻辑斯谛回归模型。
2021-03-03 stat.ME
A Sequential Significance Test for Treatment by Covariate Interactions
由于患者对任何治疗方案的各方面反应的异质性，生物医学和临床研究正逐渐从传统的“一刀切”方法转向个性化医疗的新范式。在这个方向上的一个重要步骤是通过协变量相互作用来识别治疗。我们考虑的设置中，有潜在的大量的协变量的利益。尽管近年来开发了许多新的机器学习方法来帮助在这种情况下进行治疗选择，但很少（如果有的话）采用正式的假设检验程序。在这篇文章中，我们提出了一种新的测试程序的基础上m-out-of-n引导，可用于顺序识别与治疗相互作用的变量。我们研究了该方法的理论特性，并通过大量的仿真表明，它是更有效地控制第一类错误率，并取得了令人满意的权力相比，竞争的方法。此外，所提出的方法的实用性说明使用真实数据的例子，无论是从随机试验和观察性研究。
2019-11-19 stat.ME
Leave-one-out testing for node-level differences in Gaussian graphical models
University of Padova（帕多瓦大学）
本文提出了一种基于留一验证和巴特利特调整的检验方法，用于高斯图模型中节点级差异的相等性检验，通过模拟和案例研究验证了方法的有效性和实用性。
2026-01-22 stat.ME
Permutation-based Hypothesis Testing for Neural Networks
神经网络是功能强大的预测模型，但它们对预测因子和结果之间关系的本质几乎没有提供任何见解。尽管已经提出了许多方法来量化输入特征的相对贡献，但特征关联的统计推断和假设检验仍在很大程度上未被探索。我们提出了一种基于置换的测试方法，该方法使用网络输出相对于特定输入的偏导数来评估输入特征的重要性以及重要特征是否与网络输出线性相关。这些测试可以灵活地应用于各种网络架构，增强了神经网络的解释能力，并与强大的预测能力相结合，扩展了这些模型的适用性。
2023-01-26 stat.ME
Algorithm-agnostic significance testing in supervised learning with multimodal data
针对多模态监督学习中黑盒算法阻碍传统变量显著性检验的问题，提出可适配任意高预测性监督算法的COMETs方法，在多场景验证其功效与稳健性，且已开源实现工具与代码。
2024-09-05 stat.AP
An adaptive significance threshold criterion for massive multiple hypotheses testing
本研究涉及大量的多重假设检验。首先将多重检验看作是在适当的总体模型下的估计问题，引入了一个与错误发现率（FDR）相关的误差度量--错误拒绝率（ERR）。ERR是一种在精神上类似于FDR的误差度量，它大大简化了对多个测试过程的误差特性的分析研究。其次，提出了一种改进的真零假设比例估计和数据自适应显著性阈值准则。在最近的应用中广泛满足的分布假设下，建立了显着阈值准则的一些渐近误差性质。模拟研究提供了明确的证据表明，提出的估计的比例真实的零假设优于现有的估计这一重要参数在大规模的多重检验。分析和模拟研究表明，所提出的显着性阈值标准可以提供一个合理的假阳性和假阴性错误之间的平衡，从而补充和扩展各种FDR控制程序。S-plus/R代码可向作者索取。
2006-10-27 math.ST stat.TH
The Projected Covariance Measure for assumption-lean variable significance testing
本文针对模型错误设定下变量显著性检验功效差的问题，提出一种基于投影协方差测度的无模型条件均值独立性检验框架，可结合非参数或机器学习方法，并证明样条回归版本达到极小极大最优速率。
2024-05-07 math.ST stat.ME stat.ML
How to Tell When a Result Will Replicate: Significance and Replication in Distributional Null Hypothesis Tests
本文提出分布零假设检验方法，通过同时考虑实验内和实验间变异来修正标准显著性检验对随机变异的低估，并利用Many Labs复现数据验证其能有效预测结果的可复现概率。
2025-02-05 math.ST stat.ME stat.TH
I can see clearly now: reinterpreting statistical significance
原假设显著性检验仍然很受欢迎，尽管几十年来一直担心误用和误解。我们认为，这个问题很大程度上是由语言造成的：显著性检验与“显著性”一词的其他含义关系不大。尽管零假设检验有其局限性，但我们认为，在许多情况下，它们仍然是有用的，可以作为指导，以确定在这种情况下是否可以清楚地看到某种效果（例如，我们是否可以清楚地看到相关性或组间差异是积极的还是消极的）。因此，我们建议研究人员描述的统计“清晰度”，而不是统计“显着性”的零假设检验的结论。这一简单的语义变化可以大大提高统计沟通的清晰度。
2018-10-15 stat.OT
When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing
科学家经常在原假设显著性检验过程中调整他们的显著性阈值（α水平），以考虑多重检验和多重比较。在科学复制危机的背景下，这种阿尔法调整变得特别重要。本文考虑的条件下，这种阿尔法调整是适当的，在哪些条件下，它是不适当的。区分三种类型的多重检验：分离检验、连接检验和单独检验。有人认为，α调整是唯一适当的情况下，分离测试，其中至少有一个测试结果必须是显着的，以拒绝相关的联合原假设。在联合检验的情况下，α调整是不合适的，其中所有相关结果必须是显著的，以便拒绝联合原假设。在个体检验的情况下，α调整也是不合适的，其中每个个体结果必须是显著的，以便拒绝每个相关的个体原假设。检查了这三种类型的多重检验中每一种的保证条件。结论是研究人员不应该自动（无意识地）假设α调整是必要的，在多重检验。提供了关于联合研究假设和联合多因素方差分析假设的说明。
2021-07-06 math.ST stat.ME stat.TH
Efficient Adjusted Joint Significance Test and Sobel-Type Confidence Interval for Mediation Effect
本文提出调整联合显著性检验和调整Sobel型置信区间，用于更高效地检验中介效应，并通过模拟和三类实际数据验证其优于传统方法。
2024-09-05 stat.AP stat.ME
The Rise of Null Hypothesis Significance Testing (NHST): Institutional Massification and the Emergence of a Procedural Epistemology
University of Macau（澳门大学）
本文探讨了为何在持续改革下，许多应用科学领域仍受显著性检验（NHST）主导，分析其作为社会技术在战后科学网络扩张中的作用。
2026-07-22 stat.OT
False Discovery Rate Adjustments for Average Significance Level Controlling Tests
University of Southern California（南加州大学）
研究在平均显著性水平控制下，Benjamini-Hochberg过程仍能渐近控制FDR，并证明某些依赖调整在有限样本中有效，为高维非参数设置提供FDR控制方法。
2026-06-12 stat.ME
The Likelihood Ratio Test and Full Bayesian Significance Test under small sample sizes for contingency tables
列联表中的假设检验通常基于渐近结果，从而限制了其在大样本中的正确使用。为了在小样本中研究这些检验，我们考虑了似然比检验，并为同质性、独立性和Hardy-Weinberg平衡等著名假设定义了一个精确的指标P值。目的是了解在小样本情况下使用频率论似然比检验和贝叶斯FBST --全贝叶斯显著性检验--的渐近结果。建议的精确P值被用作理解其他指数的基准。我们在不同的场景下进行分析，考虑不同的样本量和不同的表维度。精确的Fisher检验$2 \times 2$表，大大减少了样本空间也进行了讨论。本文的主要信息是，所有的指数有非常相似的行为，因此，基于渐近结果的测试是非常好的，可用于任何情况下，即使是小样本量。
2017-08-10 stat.ME
The $β$-model for Random Graphs --- Regression, Cramér-Rao Bounds, and Hypothesis Testing
我们开发了一种基于最大似然的回归方法，其中因变量是一个随机图，协变量可以在图级上使用。该模型推广了著名的随机图$β$模型，通过用回归函数代替常数模型参数。对无向$β$ -模型、有向$β$ -模型和广义$β$ -模型分别导出了克拉美-拉奥界.相应的极大似然估计的界限进行了比较，通过模拟。此外，给出了如何使用所提出的极大似然估计量来检验方向性和显著性的例子。最后，该模型的适用性证明了使用动态的社会网络数据描述医疗工作者之间的通信。
2016-11-14 stat.ME
SAT-sampling for statistical significance testing in sparse contingency tables
University of Applied Sciences Kempten（凯姆森应用科学大学）
本文提出基于SAT的列联表条件检验抽样方法，将纤维编码为布尔电路，并结合混合MCMC方案，在稀疏及结构零场景下提供可靠的条件p值，优于传统马尔可夫基方法。
2026-10-12 math.CO stat.CO stat.ME
Differentially Private Chi-Squared Hypothesis Testing: Goodness of Fit and Independence Testing
假设检验是一种有用的统计工具，用于根据总体样本确定是否应拒绝给定模型。样本数据可能包含有关个人的敏感信息，例如医疗信息。因此，重要的是要设计统计测试，以保证数据中受试者的隐私。在这项工作中，我们研究了假设检验受差异隐私，特别是卡方检验的拟合优度的多项式数据和两个分类变量之间的独立性。我们提出了新的测试适合的拟合优度和独立性测试，像经典版本可以用来确定是否一个给定的模型应该被拒绝或不，另外可以确保差分隐私。我们给出了基于蒙特卡罗的假设检验以及更严格遵循经典卡方拟合优度检验和皮尔逊卡方独立性检验的假设检验。至关重要的是，我们的测试考虑了注入的噪声的分布，以确保在确定显著性时的隐私。我们表明，这些测试可以用来实现所需的显着性水平，在鲜明的对比，直接应用经典的测试，以不同的私人列联表，这可能会导致广泛变化的显着性水平。此外，我们还研究了这些测试的统计功效。我们的经验表明，为了达到与经典非私人测试相同的功效水平，我们的新测试只需要相对适度地增加样本量。
2016-06-02 cs.CR math.ST stat.TH
Nonparametric Hypothesis Testing of High-dimensional Clustering With Application to Single-cell RNA Data
University of North Carolina（北卡罗来纳大学）；University of Michigan（密歇根大学）
针对高维聚类显著性检验中高斯假设不可靠的问题，提出基于对数凹分布的非参数方法SigClust-LCP，结合分数匹配估计器，在控制第一类错误和保持功效的同时，避免单细胞数据中的虚假亚聚类。
2026-09-09 stat.AP stat.CO stat.ME
A robust and p-hacking-proof significance test under variance uncertainty
针对p值篡改问题，本文提出基于次线性期望、适用于方差未知且时变的序贯数据的单样本显著性检验鲁棒方法，可防样本操纵、控制I类错误并保持检验效能，模拟验证了其有效性。
2025-02-16 math.ST stat.TH
Efficient Multiple Testing Adjustment for Hierarchical Inference
（广义）回归问题中的分层推理对于发现显著组甚至单个协变量是强大的，特别是在整个回归参数向量的可识别性可能是不适定的高维设置中。一般方法以完全数据驱动和自适应的方式从协变量的大到小的组或单例进行，这取决于信号强度和设计矩阵的相关结构。我们提出了一种新的分层多重检验调整，可用于与任何显着性检验的协变量组进行分层推理。我们的调整传递了某些假设的显著性水平，这些假设不能被拒绝，并被证明可以保证对家族错误率的强有力控制。我们的方法至少是强大的所谓的深度层次Bonferroni调整。它提供了一个相当大的增益，在权力比其他先前提出的继承层次的程序，如果基本的替代假设发生稀疏沿几个分支的树状结构的层次。
2021-10-21 stat.AP stat.ME
Fisher, Neyman-Pearson or NHST? A Tutorial for Teaching Data Testing
尽管经常有人呼吁对原假设显著性检验（NHST）进行彻底改革，但这一有争议的程序在行为、社会和生物医学教学和研究中仍然无处不在。一旦程序在研究人员的思想和当前实践中根深蒂固，几乎不可能改变;因此，这种改变的最佳机会是在教授程序的时候，无论是在本科还是研究生阶段。本文介绍了一个教程的教学数据检验程序，通常被称为假设检验理论。第一个程序介绍的是方法，以数据检验其次是费雪（检验的显着性）;第二个是方法其次是内曼和皮尔逊（检验的验收）;最后的程序是不一致的组合前两个理论到目前的方法（NSHT）。对于那些坚持后者的研究人员，关于如何改进NHST的两个折衷解决方案结束了本教程。
2016-03-24 math.ST stat.OT stat.TH
A Graphical Framework for Testing Hierarchically Structured Hypothesis Families
Insmed；Syndax Pharmaceuticals；New Jersey Institute of Technology（新泽西理工学院）
本文提出一种图形化方法，统一了分层假设家族的检验策略，通过图表示实现显著性水平的分配与传播，有效控制FWER并提升可解释性。
2026-04-13 stat.AP stat.ME
Statistical significance in high-dimensional linear models
我们提出了一种在高维线性模型中为一般假设构造p值的方法。假设可以是局部的，用于测试单个回归参数，或者它们可以是更全局的，涉及几个甚至所有参数。此外，当考虑许多假设，我们展示了如何调整多重检验考虑p值之间的依赖性。我们的技术是基于岭估计与一个额外的校正项，由于大量的投影偏置在高维。我们证明了我们的p值的强误差控制，并提供了检测的充分条件：对于前者，我们不对真正的底层回归系数的大小做任何假设，而对于后者，我们的程序可能不是最佳的功率。我们证明了模拟的例子和一个真实的数据应用程序的方法。
2013-10-11 math.ST stat.ME stat.TH
Multiple Hypothesis Testing in Pattern Discovery
多个假设检验的问题出现时，有一个以上的假设要同时测试的统计意义。这是许多数据挖掘应用程序中非常常见的情况。例如，同时评估单个数据集的所有频繁项集的重要性需要一系列假设，每个项集一个。需要多重假设检验方法来控制假阳性（第一类错误）的数量。我们在本文中的贡献是扩展的多假设框架，使用一个通用的数据挖掘算法。我们提供了一种方法，可证明控制的家庭明智的错误率（FWER，至少有一个假阳性的概率）在很强的意义上。我们评估我们的解决方案在真实和生成的数据上的性能。结果表明，我们的方法控制FWER，同时保持测试的功率。
2009-06-29 stat.CO stat.ML
Higher criticism for detecting sparse heterogeneous mixtures
更高的批评，或第二级显著性检验，是Tukey顺便提到的一个多重比较概念。它涉及的情况下，有许多独立的检验的显着性和一个有兴趣拒绝联合原假设。Tukey建议将给定α水平下观察到的显著性分数与联合零值下的预期分数进行比较。事实上，他建议将两个数量的差异标准化，并形成一个z分数;由此产生的z分数测试了显着性检验的显著性。我们考虑一个推广，其中我们在显着性水平0<α \leq α_0的范围内最大化该z分数。我们能够证明，由此产生的更高的批评统计量是有效的，在解决一个非常微妙的测试问题：测试是否n正常的手段都是零与替代，一小部分是非零的。这个"稀疏正态均值“测试问题的微妙之处可以从Ingster和Jin的工作中看出，他们非常详细地研究了这些问题。在他们的研究中，他们发现了一系列有趣的情况，其中非零均值的小部分非常小，以至于备择假设对大部分检验或少数最高显著性检验的p值分布几乎没有明显影响。在这个范围内，当非零均值的幅度用非零均值的分数来校准时，对精确指定的备选方案的似然比检验仍然可以成功地分离两个假设。
2004-10-05 math.ST stat.TH
Test of Significance for High-dimensional Thresholds with Application to Individualized Minimal Clinically Important Difference
这项工作的动机是学习个体化的最小临床重要差异，这是评估各种生物医学研究中临床重要性的重要概念。我们制定的科学问题成一个高维的统计问题，感兴趣的参数在于一个个性化的线性阈值。我们的目标是开发一个假设检验程序的重要性，一个单一的元素在这个参数，以及这个参数的线性组合。困难是由于在开发这样的测试过程中的高维滋扰，也源于这样的事实，即这种高维阈值模型是不规则的，相应的估计量的极限分布是非标准的。为了应对这些挑战，我们通过一种新的偏差校正平滑去相关得分方法构建了一个检验统计量，并建立了零和局部备择假设下的渐近分布。我们提出了一种双平滑的方法来选择我们的检验统计量的最佳带宽，并提供了理论保证，选择的带宽。我们进行模拟研究，以证明我们提出的程序可以应用于实证研究。我们将所提出的方法应用于临床试验，其科学目标是评估外科手术的临床重要性。
2023-03-26 math.ST stat.ME stat.TH
A novel finite-sample testing procedure for composite null hypotheses via pointwise rejection
University of Kansas（堪萨斯大学）
本文提出了一种针对复合零假设的新型有限样本检验方法，通过点拒绝和膨胀显著性水平实现更准确的推断。
2026-10-09 math.ST stat.ME stat.TH
On admissibility in post-hoc hypothesis testing
Carnegie Mellon University（卡内基梅隆大学）；Leiden University（莱顿大学）；Centrum Wiskunde & Informatica（数学与计算机科学中心）
本文提出了一种事后假设检验理论，允许在数据分析后选择显著性水平，并引入Γ-可接受性概念来评估检验规则的可靠性。
2026-01-19 math.ST stat.ME stat.TH
All networks look the same to me: Testing for homogeneity in networks
研究人员如何测试网络局部结构的异质性？在本文中，我们提出了一个框架，利用随机抽样给子图，然后用在拟合优度检验异质性测试。我们说明了如何使用拟合优度检验的分析推导的分布以及经验分布。为了证明我们的框架，我们考虑边缘概率异质性测试的简单情况。我们研究的显着性水平，功率和计算时间，这种情况下，适当的例子。最后，我们概述了如何将我们的框架应用到其他异构性问题。
2015-12-02 cs.SI stat.ME
Testing maximum entropy models with e-values
本文针对最大熵模型的假设检验，提出微正则与正则设置下的最优 e 值及微正则近似，并在 $2 \ imes k$ 列联表中验证其有效性。
2025-09-01 cond-mat.stat-mech physics.data-an stat.ME
Choosing alpha post hoc: the danger of multiple standard significance thresholds
本文指出将显著性阈值α从0.05降至0.005可能导致同一领域出现多重标准阈值，使研究者事后根据p值选择α，从而严重破坏假设检验有效性，并讨论了可能的解决方案。
2025-03-10 stat.AP stat.ME
Pure Significance Tests for Multinomial and Binomial Distributions: the Uniform Alternative
本文研究多项与二项分布的纯显著性检验，将其解释为针对均匀备择假设的似然比检验，并引入新的有序二项分布。
2024-04-20 math.ST stat.TH
The Least Difference in Means: A Statistic for Effect Size Strength and Practical Significance
由于资源有限，科学研究必须根据其实际意义优先进行进一步研究，资助和翻译：效应量是否足够大，在现实世界中有意义。这样做必须评估结果的影响强度，定义为实际意义的保守评估。我们提出最小均值差（$δ_L$）作为双样本统计量，可以量化效应强度，并进行假设检验，以确定结果是否具有有意义的效应量。为了促进共识，$δ_L$允许科学家比较相关结果之间的效应强度，并选择不同的阈值进行假设检验，而无需重新计算。$δ_L$和相对$δ_L$在识别具有更高效应强度的结果方面优于其他候选统计量。我们使用真实数据来证明相对$δ_L$如何在广泛相关的实验中比较效应强度。相对的$δ_L$可以根据其结果的强度来优先考虑研究。
2022-05-24 q-bio.QM stat.ME
Critical Values Robust to P-hacking
University of Colorado–Boulder（科罗拉多大学博尔德分校）；University of California–Santa Cruz（加州大学圣克鲁兹分校）
本文提出了一种对p-hacking鲁棒的临界值方法，通过考虑科学家的p-hacking行为调整，使显著结果频率符合预期，同时临界值比传统方法更大。
2023-12-08 econ.EM stat.ME
Significance improvement by randomized test in random sampling without replacement
研究了无放回不放回抽样下的单侧假设检验问题。也就是说，当$n+1$二进制随机变量$X_1,\ldots, X_{n+1}$服从排列不变分布并且$n$二进制随机变量$X_1,\ldots, X_{n}$被观测时，我们已经提出了在给定显著性水平$δ>0$下，对$(n+1)$ th随机变量$X_{n+1}$的期望的置信上限具有随机化参数的随机化检验。我们提出的随机化检验显着提高了确定性检验不同的随机放回抽样的替代。
2022-11-04 math.ST stat.TH
Nonparametric testing of the covariate significance for spatial point patterns under the presence of nuisance covariates
确定相关的空间协变量是点模式分析中最重要的问题之一。参数化方法可能导致错误的结论，特别是当点之间的相互作用模型是错误的。因此，我们提出了一个完全非参数的方法来检验协变量的显着性，考虑到滋扰协变量的可能影响。我们的检验与名义显著性水平相匹配，并且在强度函数模型和相互作用模型都正确的情况下，它们的功效与参数检验的功效相当。当强度函数的参数模型错误时，我们的测试会获得更高的功效。所提出的方法依赖于蒙特卡罗测试，并利用新引入的协变量加权残差测度。我们还定义了一个点过程和一个协变量之间的相关系数和一个部分相关系数量化的依赖点过程和一个协变量的利益，同时消除滋扰协变量的影响。
2022-10-11 stat.ME
Markov Chain Order estimation with Conditional Mutual Information
我们引入条件互信息（CMI）的马尔可夫链的顺序估计。对于一个马尔可夫链的$K$符号，我们定义CMI的顺序$m$，$I_c(m)$，作为两个变量的互信息链中的$m$时间步长分开，条件链的中间变量。基于CMI的估计偏差，我们找到了近似的解析显著性限，并给出了$I_c(m)$的随机化显著性检验，其中随机化符号序列由原始符号序列的分量随机排列而成.应用显著性检验以增加$m$，并通过拒绝零假设的最后一个阶来估计马尔可夫链阶。我们提出了适当的CMI测试蒙特卡罗模拟和比较赤池和贝叶斯信息准则，最大波动方法（佩雷斯-希尔兹估计）和似然比检验增加订单使用$ϕ$ -发散。CMI检验的顺序准则对于大于1的顺序是优越的，但其对于大顺序的有效性取决于数据的可用性。根据模拟的结果，我们用CMI检验和其他关于基因和DNA链的基因间区的准则解释了估计的阶数。
2013-01-01 cs.IT math.IT physics.data-an
Extreme-value modelling for the significance assessment of periodogram peaks
我提出了一个新的程序来估计虚警概率，周期图的峰值的显着性的措施。新程序的关键要素是使用广义极值分布，最连续分布的变量的最大值的极限分布。这种技术允许可靠地外推到多个假设检验所需的非常高的概率水平，并能够推导出估计水平的置信区间。估计是稳定的，对偏离分布的假设，否则通常是关于观测本身或关于理论的单变量分布的周期图。模拟和两个多模式变星从斯隆数字巡天条纹82的质量和性能的程序证明。
2012-12-04 astro-ph.IM stat.AP
FDR control for multiple hypothesis testing on composite nulls
多重假设检验通常涉及复合空值，即，与两个或多个分布相关联的空值。在许多情况下，假设分布上存在先验分布是合理的，尽管它是未知的。当真空值分布的数量是有限的，我们表明，在上述假设下，错误发现率（FDR）可以控制使用$p$ -值下的经验分布的意见施加的约束下计算。与使用$p$的FDR控制相比，所提出的FDR控制可以具有显著更大的功率，所述$p$值被定义为在所有空分布上的最大显着性水平。
2008-07-30 math.PR math.ST stat.TH
Semantic and Cognitive Tools to Aid Statistical Science: Replace Confidence and Significance by Compatibility and Surprise
研究人员经常曲解和歪曲统计结果。这种滥用导致了大量关于修改或替换测试阈值和$P$ -值与置信区间、贝叶斯因子和其他装置的文献。因为核心问题出现认知，而不是统计，我们审查简单的援助统计解释。这些辅助工具强调逻辑和信息概念，而不是概率，因此可能比传统的描述对常见的误解更强大。我们使用$P$ -值$p$的香农变换，也称为二进制函数或$S$ -值$s=-\log_{2}(p)$，来测量测试过程提供的信息，并帮助校准直觉对简单的物理实验，如抛硬币。我们还使用表格或图表的检验统计量的替代假设，和区间估计不同的百分位数水平，以挫败谬论所产生的任意二分法。最后，我们重新解释$P$ -值和区间估计的无条件条款，这描述了数据的兼容性与整个分析假设。我们说明这些方法与现有的记录为基础的队列研究的数据重新分析。与其他最近的建议，我们建议，教材和研究报告讨论$P$ -值作为措施的兼容性，而不是显着性，计算$P$ -值的备择假设，每当他们计算零假设，并解释区间估计显示值的高兼容性与数据，而不是地区的信心。我们的建议强调认知设备显示的兼容性观察到的数据与各种假设的利益，而不是专注于单一的假设检验或区间估计。我们认为，这些简单的改革是值得的，他们需要的小努力。
2020-10-01 q-bio.QM stat.AP stat.ME
Robust hypothesis testing and distribution estimation in Hellinger distance
Google Research（谷歌研究院）
我们提出了一个简单的鲁棒假设检验，具有相同的样本复杂性的最佳Neyman-Pearson检验常数，但强大的分布扰动下Hellinger距离。我们讨论了这样一个强大的测试估计分布在Hellinger距离的适用性。我们经验证明的权力的典型分布的测试。
2020-11-03 cs.IT cs.LG math.IT
Significance Testing and Group Variable Selection
设X; Z分别为r维和s维协变量，用于将响应变量Y建模为Y = m（X;Z）+ σ（X;Z）ε。基于零模型局部多项式拟合得到的残差，我们开发了原假设Z对回归函数没有影响的ANOVA型检验。利用该检验的p值，提出了一种基于多重检验思想的组变量选择方法。仿真研究表明，当备选项为非加性或存在异方差时，该检验方法优于广义似然比检验。额外的模拟研究，从线性，非线性和逻辑斯谛回归产生的数据，揭示了拟议的组变量选择程序执行竞争力对组套索，并优于它在选择组具有非线性效应。建议的组变量选择过程中示出了一个真实的数据集。
2012-05-30 stat.ME
Advanced Distribution Theory for Significance in Scale Space
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文针对二维尺度空间显著性（SSS）推断无效的问题，提出一种新的概率方法建立高级分布理论，构建了有效的假设检验程序，在控制I型错误的同时保持了高统计功效。
2025-10-30 math.ST stat.TH
Sub-Gaussian Error Bounds for Hypothesis Testing
我们从几何的角度来解释基于似然的测试函数，其中Kullback-Leibler（KL）散度被用来量化从一个分布到另一个分布的距离。这样的测试函数可以被看作是一个亚高斯随机变量，我们提出了一个原则性的方法来计算其相应的亚高斯范数。然后，二元假设检验的误差界可以得到的亚高斯范数和KL的分歧，这是更丰富的信息比Pinsker的界时，规定的显着性水平。对于$M$ -ary假设检验，我们还得到了一个误差界，这是互补的Fano不等式，当假设的数量或样本量不大时，信息量更大。
2021-01-01 cs.IT math.IT math.ST
The Full Bayesian Significance Test and the e-value -- Foundations, theory and application in the cognitive sciences
假设检验是心理学研究和认知科学中的一种重要统计方法。虽然原假设显著性检验（NHST）的问题已被广泛讨论，很少有有吸引力的替代品存在。在本文中，我们提供了关于全贝叶斯显著性检验（FBST）和e值的教程，e值是依赖于p值的传统显著性检验的全贝叶斯替代品。FBST是一种先进的方法程序，可应用于多个领域。在本教程中，我们展示了在心理学研究中广泛使用的统计方法的两个例子如何在实践中使用FBST，为研究人员提供了如何进行它的明确指导方针，并提供R代码来重现所有结果。FBST是一种创新的方法，它已经清楚地证明比频率显著性检验更好。然而，据我们所知，到目前为止，它还没有在心理科学中使用，应该引起心理学和认知科学研究人员的广泛兴趣。
2020-06-05 stat.ME
Skewness-kurtosis adjusted confidence estimators and significance tests
对期望估计的常用置信区间和常用局部替代参数的选择进行了第一类和第二类修正，使得真非覆盖概率和修正局部非真参数假设下的覆盖概率的渐近行为可以渐近精确控制.这两种类型的概率收敛到零的顺序被假定为适当地根据Osipov型条件下有界和样本分布被假定为满足相应的尾部条件，由于Linnik。类似的考虑，提出了一个假设的真实假设下，以及在一个修改后的本地替代品的期望检验时的功率函数。指数族的应用。
2015-04-10 math.ST stat.TH
