The e-value: A Fully Bayesian Significance Measure for Precise Statistical Hypotheses and its Research Program
这篇文章给出了一个调查的e值,一个统计显著性措施a.k.a.由观测数据X提供的支持统计假设H的证据,或者反过来,给定X的H的认识价值。$e$值和随附的FBST(全贝叶斯显著性检验)构成了IME-USP启动的研究项目的核心,该项目由全球20多名研究人员开发,迄今为止已被200多份出版物引用。e值和FBST符合贝叶斯推断的最佳原则,包括似然原理、完全不变性、渐近一致性等。此外,它们在需要比较或组成不同假设的情况下表现出强大的逻辑或代数性质,这些假设可以在相同或不同的统计模型中制定。此外,它们毫不费力地适应尖锐或精确假设的情况,在这种情况下,替代方法往往需要特别和复杂的程序。最后,FBST具有突出的鲁棒性和可靠性的特点,在统计建模和运筹学的许多实际应用中优于传统的假设检验。
2020-04-28 math.ST stat.ME stat.TH
How to choose between different Bayesian posterior indices for hypothesis testing in practice
假设检验是心理学和认知科学中一种重要的统计方法。传统的原假设显著性检验(NHST)的问题已被广泛讨论,并提出的解决方案中的不适当使用的显着性检验和$p$ -值所造成的重复问题是转向贝叶斯数据分析。然而,贝叶斯假设检验关注的是显著性和效应大小的各种后验指标。这使得贝叶斯假设检验在实践中变得复杂,因为传统$p$值的多个贝叶斯替代方案的可用性导致了选择哪一个以及为什么选择的混乱。在本文中,我们比较了各种贝叶斯后验指数已提出的文献中,并讨论其优点和局限性。我们的比较表明,在概念上并不是所有提出的贝叶斯替代NHST和$p$值是有益的,一些指标的有用性强烈依赖于研究设计和研究目标。然而,我们的比较也表明,存在至少两个候选人之间的可用贝叶斯后验指数有吸引力的理论属性,据我们所知,心理学家之间广泛使用。
2020-05-27 stat.ME
The e-value and the Full Bayesian Significance Test: Logical Properties and Philosophical Consequences
本文对用于全贝叶斯显著性检验(FBST)的e值ev(H|X)做概念综述,通过逻辑性质刻画该检验,体现数理统计结果与理论基础逻辑需求的互补性。
2024-06-22 math.ST stat.TH
Consider avoiding the .05 significance level
从贝叶斯统计学的角度来看,原假设显著性检验(NHST)的一些缺点,一旦传统的阈值p值0.05被一个足够小的值所取代,就会变得良性。为了说明,H 0的后验概率表明P=.5,给定的数据恰好使其被NHST拒绝,p值为.05(和均匀的先验),在这里显示对于低于100的大多数N值,(N>=100时甚至超过0.50);相反,当p值为0.001时,N<=100的后验概率不超过0.06(N<9000时也不超过0.25)。更有趣的是,当p值为0.0001时,后验概率变得与N完全无关,因此实际上满足了Cornfield(1966)设定的α公设,即p值本身就是证据的度量。鉴于大多数研究人员将很快转换为以任何形式使用贝叶斯统计的前景较低,因此我们建议鼓励选择保守选择诉诸NHST的研究人员尽可能避免使用p值0.05作为拒绝H 0的阈值。本文的分析可用于重新讨论哪一水平的阈值p值似乎是一个合理的,实际的替代。
2016-06-29 stat.OT
BOP2-DC: Bayesian optimal phase II designs with dual-criterion decision making
传统的II期试验设计范式是基于假设检验框架做出进行/不进行决定。然而,仅凭统计学意义本身可能不足以确定该药物的临床有效性足以保证确证性III期试验。我们提出了贝叶斯最优II期试验设计与双标准决策(BOP 2-DC),它结合了统计学意义和临床相关性的决策。基于处理效应达到较低参考值(统计学显著性)和具有临床意义的值(临床显著性)的后验概率,BOP 2-DC允许进行/考虑/不进行决策,而不是二元进行/不进行决策,并进行了优化,以在治疗有效时最大化进行决策的概率,或在治疗无效时最小化样本量。BOP 2-DC具有高度灵活性,可在单组和随机试验中适应各种类型的终点,包括二元、连续、至事件发生时间、多重和共同主要终点。仿真研究表明,BOP 2-DC设计产生理想的操作特性。可在\url{www.trialdesign.org}上免费获得执行BOP 2-DC的软件。
2021-12-20 stat.AP stat.ME
A few brief notes on the equivalence of two expressions for statistical significance in point source detections
最近的两篇论文[M。Lampton,ApJ 436,784(1994); D. E. Alexandreas等人,核仪器Meth. A 328,570(1993)]。这两篇论文考虑的问题,确定是否有显着更多的计数在一个源区域比预期给定的数量在背景区域中观察到的计数。这两篇论文中的论点截然不同(一篇采用贝叶斯观点,另一篇则没有),并且建议的计算p值的公式似乎也不同。这里表明,这两篇文章的作者提供的表达方式实际上是等同的。
2020-08-12 astro-ph.IM eess.SP stat.ME
Bayesian test of significance for conditional independence: The multinomial model
条件独立性检验(CI test)作为衡量模型变量间关系的重要指标,近年来在机器学习和计算智能领域受到了广泛关注。在概率图形模型(PGM)领域-包括贝叶斯网络(BN)模型-CI测试对于从数据中学习PGM结构的任务尤为重要。在本文中,我们提出了完整的贝叶斯显著性检验(FBST)的离散数据集的条件独立性的测试。FBST是一个功能强大的贝叶斯精确假设检验,作为频率论显著性检验(其特征是计算\emph{p-value})的替代方法。
2013-06-16 stat.CO stat.ML
Which Type of Statistical Uncertainty Helps Evidence-Based Policymaking? An Insight from a Survey Experiment in Ireland
研究通过爱尔兰的公交政策调查实验发现,相比p值显著性框架,Bayesian概率框架更能让参与者清晰认识不确定性的连续本质,从而在不确定性较高时维持较高的政策采纳率。
2024-02-17 stat.OT
P-values: misunderstood and misused
P值在社会科学和自然科学中被广泛用于量化观察结果的统计意义。最近大数据研究的激增使p值成为测试研究意义的更受欢迎的工具。然而,大量的文献已经产生了批评如何使用和理解p值。在本文中,我们回顾了最近的批评文献,其中大部分是路由在生命科学,并考虑其对社会科学研究的影响。我们提供了一个连贯的图片是什么主要的批评,并绘制在一起,消除歧义的共同主题。特别是,我们解释了如何计算错误发现率,以及它与p值的不同之处。我们还明确了贝叶斯性质的许多最近的批评,一个维度,往往被低估或忽视。最后,我们确定了实际步骤,以帮助补救一些确定的问题。我们建议(i)使用显著性水平低得多的方法,如$0.01$或$0.001$,(ii)根据上下文解释p值,并将其置于个体研究结果和更广泛的调查领域(例如,通过荟萃分析)。
2016-03-10 cs.CY physics.data-an stat.AP
Full Bayesian Significance Testing for Neural Networks
Beihang University(北京航空航天大学);Tsinghua University(清华大学)
提出面向神经网络的全贝叶斯显著性检验框架 nFBST,利用贝叶斯神经网络计算证据值,支持全局、局部及逐实例显著性检验,并通过模拟与真实数据实验验证其优势。
2024-01-24 cs.AI cs.LG stat.ML
Random Shifting and Scaling of Insurance Risks
随机移位通常出现在可信度模型中,而随机标度经常出现在反映货币时间价值属性的索赔额随机模型中。在这篇文章中,我们讨论了一些方面的随机移位和随机缩放保险重点特别是可信度模型,依赖结构的索赔规模在集体风险模型,和极值模型的联合依赖的大损失。我们表明,指定某些精算模型使用随机移位或缩放有一定的优势,理论治疗和实际应用。
2014-04-12 math.PR stat.ME
A Likelihood-based Alternative to Null Hypothesis Significance Testing
与使用P值和原假设显著性检验进行研究解释相关的逻辑和实际困难已被广泛记录。本文介绍了一种替代的,基于可能性的方法来解释P值。研究的P值和样本量用于导出具有单个参数的似然函数,估计的群体效应量,并且使用极大似然估计方法来计算最可能的效应量。使用似然比检验比较最有可能的效应量的可能性和最小临床显着效应量的可能性,得出临床显着性支持水平(或S值),这是一个合乎逻辑且易于理解的研究证据指标。这种临床显著性似然方法与原假设显著性检验相比具有明显的优势。作为激励的例子,我们证明了计算和解释的S值应用于最近两个广泛宣传的试验,妇女从柳叶刀和救济从新英格兰医学杂志。
2021-09-17 stat.ME
P values, confidence intervals, or confidence levels for hypotheses?
原假设显著性检验和p值被广泛使用,尽管在许多情况下反对它们的使用有很强的论据。置信区间经常被推荐作为一种替代方法,但这并不能达到评估假设可信度的目的,而且置信度和概率之间的区别是一种不必要的混淆。本文提出了一个更直接的(概率)定义的信心,并建议如何将这个想法可以应用到任何假设是感兴趣的研究人员。不同的方法的相对优点进行了讨论,使用一系列说明性的例子:通常基于置信度的方法似乎更透明和有用,但也有一些情况下,p值可能是适当的。我还建议了一些将结果从一种格式转换为另一种格式的方法。(The置信度概念的吸引力通过以下完全不正确的概念的广泛持续性来证明:在备择假设中,p=5%等同于95%置信度。在本文中,我将展示如何使用p值来导出有意义的置信度声明,以及导出的假设。关键词:置信区间,置信水平,假设检验,原假设显著性检验,P值,用户友好性。
2014-02-11 stat.ME
Adaptative significance levels in normal mean hypothesis testing
Pereira和Stern(1999)提出了精确假设的完全贝叶斯显著性检验(FBST),作为贝叶斯替代方法,而不是基于p值的传统显著性检验。FBST使用支持原假设($H_0$)的证据,计算为最高后验密度区域的后验概率的补充,该后验密度区域与$H_0$定义的集合相切。实施《联邦调查法》的一个重要的实际问题是确定证据必须有多大才能决定是否予以驳回。在经典显著性检验中,最常用的拒绝假设的度量是p值。众所周知,p值随着样本量的增加而减小,因此通过设置单个显著性水平,通常会导致$H_0$拒绝。在FBST程序中,当样本量增加时,支持$H_0$的证据表现出与p值相同的行为。这表明定义FBST中$H_0$拒收的临界点应为样本量函数。在这项工作中,我们专注于双边正态均值假设检验的情况下,并提出了一种方法来找到一个截止值的证据在FBST通过最小化的线性组合的第一类错误概率和预期的第二类错误概率为给定的样本量。
2018-08-29 stat.ME
Adaptative significance levels in linear regression models with known variance
Pereira和Stern [Entropy 1(4)(1999)99-110]提出了精确假设的全贝叶斯显著性检验(FBST),作为贝叶斯替代方法,而不是使用p值的传统显著性检验。FBST基于支持原假设(H)的证据。实施《联邦调查法》的一个重要的实际问题是确定证据必须有多大才能决定是否予以驳回。在经典的显著性检验中,已知p值随样本量的增加而减小,因此设置单一的显著性水平往往会导致H拒识。在FBST程序中,当样本量增加时,有利于H的证据表现出与p值相同的行为。这表明定义FBST中H拒绝的截止点应是样本量函数。在这项工作中,线性回归模型的情况下,已知的方差贝叶斯方法被认为是一种方法来找到一个截止值的证据在FBST最小化的线性组合的平均类型I和第二类错误概率为给定的样本量,也为一个给定的尺寸的参数空间。
2019-06-10 stat.ME
When Evidence and Significance Collide
原假设统计显著性检验(NHST)是评价随机对照试验结果的主要方法。尽管NHST具有长期错误率保证,但它的主要推理工具--$p$值--只是针对原假设的间接证据度量。主要原因是$p$值基于原假设为真的假设,而忽略了任何备择假设下数据的可能性。如果目标是量化数据提供多少支持或反对原假设的证据,则不可避免地要指定一个备择假设(Goodman & Royall,1988)。当研究人员将$p$ -值解释为证据时,出现了Parasites。例如,在空值下令人惊讶的结果在合理的备择假设下可能同样令人惊讶,因此$p=.045$结果(“拒绝空值”)不会使空值比以前更不合理。因此,$p$值被认为高估了反对原假设的证据。相反,可能的情况是统计上不显著的结果(即,然而,$p>.05)$提供了一些支持备择假设的证据。因此,对于研究人员来说,了解统计意义和证据何时发生冲突至关重要,这需要计算证据的直接测量并与传统的$p$值一起呈现。
2022-06-09 stat.ME
Abandon Statistical Significance
我们讨论的问题,原假设显著性检验(NHST)范式复制和更广泛地在生物医学和社会科学,以及如何这些问题仍然没有得到解决的建议,涉及修改后的p值阈值,置信区间,贝叶斯因子。然后,我们讨论我们自己的建议,即放弃统计显著性。我们建议放弃NHST范式-以及它固有的p值阈值-作为生物医学和社会科学研究,出版和发现的默认统计范式。具体而言,我们建议将p值从其阈值筛选角色降级,而是连续处理,与当前从属因素(例如,相关的先前证据、机制的可验证性、研究设计和数据质量、现实世界的成本和收益、发现的新颖性以及因研究领域而异的其他因素)仅作为许多证据之一。我们无意“禁止”p值或其他纯粹的统计指标。相反,我们认为,这些措施不应设定门槛,而且,无论是否设定门槛,它们都不应优先于目前的次要因素。我们还认为,将证据校准为p值或其他纯统计指标的函数很少有意义。我们提供了建议,我们的建议如何可以在科学出版过程中,以及在统计决策更广泛地实施。
2018-09-08 stat.ME
On the nineteenth-century origins of significance testing and p-hacking
Rutgers University(罗格斯大学)
本文追溯显著性检验与p-hacking的19世纪起源,质疑现代改进提议的有效性,主张简化统计教学,强调探索性数据分析和通过下注检验概率的方法。
2026-10-06 stat.ME
Thou Shalt Not Reject the P-value
自18世纪首次出现以来,P值一直是基于假设检验的科学发现的重要组成部分。随着统计引擎的加速,人们开始提出这样的问题,即基于P值的科学发现在多大程度上是可靠的和可重复的,要求调整显著性水平或禁止P值的声音越来越多。受这些问题和讨论的启发,我们在这里探讨P值在科学研究中的有用作用和误用。对于常见的误用和误解,我们为从业者提供适度的建议。此外,我们还比较了统计学显著性与临床相关性。与此同时,我们审查贝叶斯替代寻求证据。最后,我们讨论了使用荟萃分析汇集多项研究的P值来汇总证据的承诺和风险。总的来说,P值支撑了一个有用的概率决策系统,并提供了连续尺度的证据。但它的解释必须是上下文,考虑到科学问题,试验设计(包括模型规格,样本量和显著性水平),统计功效,效应量和再现性。
2022-07-28 stat.ME
Early Stopping Based on Repeated Significance
Yahoo!(雅虎公司)
本文针对多标准分桶测试中早停决策对p值要求过严的问题,提出在多个决策点上要求标准均取得成功的方法,以在保持统计置信度的同时缓解严格的显著性要求。
2024-08-01 cs.LG stat.ME
Pathwise Least Angle Regression and a Significance Test for the Elastic Net
Efron等人(2004)提出的最小角回归(LARS)是一种构造Lasso解的分段线性路径的新方法。几年来,它仍然是事实上的方法计算Lasso解决方案之前,更复杂的优化算法before it. LARS方法最近再次增加了它的普及,由于它能够找到的值的惩罚参数,称为结,在一个新的参数进入非零系数的活动集。例如,Lockhart等人(2014)对Lasso的显著性检验需要通过LARS算法求解结。另一方面,弹性网络(EN)是Lasso的一个非常流行的扩展,它使用Lasso和岭回归惩罚的线性组合。在本文中,我们提出了一种新的算法,称为路径(PW-)LARS-EN,这是能够计算EN调谐参数α值的网格上的EN节点。所开发的PW-LARS-EN算法减少了EN调谐参数,并利用以前找到的结值和原始LARS算法。然后将Lasso的协方差检验统计量推广到EN,以检验预测因子的显著性。我们的模拟研究验证了检验统计量具有渐近Exp(1)分布的事实。
2017-06-22 math.OC stat.ME
Balancing central and marginal rejection when combining independent significance tests
University of Waterloo(滑铁卢大学)
本研究针对组合独立显著性检验时中心与边际拒绝的平衡问题,提出基于卡方分位数变换的合并函数以控制平衡商,并证明其稳健性优于UMP方法。
2023-11-13 cs.AI cs.LG stat.ME
Critical Values Robust to P-hacking
University of Colorado–Boulder(科罗拉多大学博尔德分校);University of California–Santa Cruz(加州大学圣克鲁兹分校)
本文提出了一种对p-hacking鲁棒的临界值方法,通过考虑科学家的p-hacking行为调整,使显著结果频率符合预期,同时临界值比传统方法更大。
2023-12-08 econ.EM stat.ME
Statistical Inference for Modulation Index in Phase-Amplitude Coupling
本研究针对相位-幅度耦合中调制指数(MI)的显著性评估问题,提出基于信号独立零假设的统计框架,推导出缩放beta分布的闭式零模型,无需生成替代数据即可计算p值,经蒙特卡洛模拟和跨研究验证具备可靠性与高效性。
2023-10-09 q-bio.QM stat.ME
A Formal Graphical Inference Framework for Combining Effect Size with Statistical Significance: Application to Multivariate and Functional Linear Models
Faculty of Agriculture and Technology, University of South Bohemia(南波希米亚大学农业与技术学院);Natural Resources Institute Finland (Luke)(芬兰自然资源研究所(Luke));University of Helsinki(赫尔辛基大学)
提出一种结合效应量与统计显著性的形式化图形推断框架,基于重采样和全局包络,实现强FWER控制,并应用于多元和函数线性模型。
2026-10-08 stat.CO stat.ME
Assessing significance in a Markov chain without mixing
我们提出了一个新的统计检验,以检测一个可逆的马尔可夫链的呈现状态不是从平稳分布中选择的。特别是,给定马尔可夫链的状态的值函数,我们要严格地证明,所呈现的状态是一个离群值,通过建立一个$p$ -值的观察,我们对状态下的原假设,它是均匀随机选择。在实践中使用的简单试探法是从马尔可夫链上的长随机轨迹采样状态的秩,并将这些秩与所呈现的状态的秩进行比较;如果所呈现的状态与采样的秩相比是$0.1\%$ -异常值(即,其等级在采样等级的底部$0.1\%$),则这应当对应于$p$值$0.001$。这个测试是不严格的,但是,没有良好的界限上的混合时间的马尔可夫链,因为人们必须认为,观察到的状态的轨迹近似的平稳分布。我们的测试如下:给定马尔可夫链中的当前状态,从当前状态进行任意步数的随机游动。我们证明,观察所呈现的状态是一个$\varepsilon$ -离群值的步行是显着的$p=\sqrt {2\varepsilon}$,根据原假设,该状态是从一个平稳的分布。我们的结果假设没有关于结构的马尔可夫链超越可逆性,我们构造的例子表明,在$p\approx\sqrt \varepsilon$的意义基本上是最好的一般可能。我们说明了使用我们的测试与潜在的应用程序,严格检测在国会选区的选区划分。
2017-01-12 math.PR stat.ME
Semantic and Cognitive Tools to Aid Statistical Science: Replace Confidence and Significance by Compatibility and Surprise
研究人员经常曲解和歪曲统计结果。这种滥用导致了大量关于修改或替换测试阈值和$P$ -值与置信区间、贝叶斯因子和其他装置的文献。因为核心问题出现认知,而不是统计,我们审查简单的援助统计解释。这些辅助工具强调逻辑和信息概念,而不是概率,因此可能比传统的描述对常见的误解更强大。我们使用$P$ -值$p$的香农变换,也称为二进制函数或$S$ -值$s=-\log_{2}(p)$,来测量测试过程提供的信息,并帮助校准直觉对简单的物理实验,如抛硬币。我们还使用表格或图表的检验统计量的替代假设,和区间估计不同的百分位数水平,以挫败谬论所产生的任意二分法。最后,我们重新解释$P$ -值和区间估计的无条件条款,这描述了数据的兼容性与整个分析假设。我们说明这些方法与现有的记录为基础的队列研究的数据重新分析。与其他最近的建议,我们建议,教材和研究报告讨论$P$ -值作为措施的兼容性,而不是显着性,计算$P$ -值的备择假设,每当他们计算零假设,并解释区间估计显示值的高兼容性与数据,而不是地区的信心。我们的建议强调认知设备显示的兼容性观察到的数据与各种假设的利益,而不是专注于单一的假设检验或区间估计。我们认为,这些简单的改革是值得的,他们需要的小努力。
2020-10-01 q-bio.QM stat.AP stat.ME
Statistical significance in high-dimensional linear models
我们提出了一种在高维线性模型中为一般假设构造p值的方法。假设可以是局部的,用于测试单个回归参数,或者它们可以是更全局的,涉及几个甚至所有参数。此外,当考虑许多假设,我们展示了如何调整多重检验考虑p值之间的依赖性。我们的技术是基于岭估计与一个额外的校正项,由于大量的投影偏置在高维。我们证明了我们的p值的强误差控制,并提供了检测的充分条件:对于前者,我们不对真正的底层回归系数的大小做任何假设,而对于后者,我们的程序可能不是最佳的功率。我们证明了模拟的例子和一个真实的数据应用程序的方法。
2013-10-11 math.ST stat.ME stat.TH
Aggregating Dependent Signals with Heavy-Tailed Combination Tests
针对组合依赖p值的统计推断挑战,本文在固定p值数量、显著性水平趋近于零的渐近框架下,理论和实证评估了柯西组合检验等重尾组合检验方法,发现其在成对准渐近依赖下比Bonferroni检验更有效,为依赖场景的信号聚合提供了依据。
2025-04-19 math.ST stat.AP stat.ME
Calibration of P-values for calibration and for deviation of a subpopulation from the full population
Fundamental Artificial Intelligence Research, Meta Platforms, Inc.(Meta平台公司基础人工智能研究院)
本文针对子总体偏差与概率预测校准检验中 P 值缺乏严格校准的问题,综合数十年研究,提出高效易实现的数值校准方法并给出严格证明、开源实现和数值验证。
2023-04-08 cs.LG stat.CO stat.ME