I can see clearly now: reinterpreting statistical significance
原假设显著性检验仍然很受欢迎,尽管几十年来一直担心误用和误解。我们认为,这个问题很大程度上是由语言造成的:显著性检验与“显著性”一词的其他含义关系不大。尽管零假设检验有其局限性,但我们认为,在许多情况下,它们仍然是有用的,可以作为指导,以确定在这种情况下是否可以清楚地看到某种效果(例如,我们是否可以清楚地看到相关性或组间差异是积极的还是消极的)。因此,我们建议研究人员描述的统计“清晰度”,而不是统计“显着性”的零假设检验的结论。这一简单的语义变化可以大大提高统计沟通的清晰度。
2018-10-15 stat.OT
Caveats for using statistical significance tests in research assessments
本文提出了关注的优势,在研究评估中使用统计显著性检验,最近在辩论中提出了适当的规范化程序引用指标。统计显著性检验是极具争议的,许多批评已经针对其使用。基于在研究评估中使用统计显著性检验的支持者的文章中的例子,我们解决了此类检验的许多问题。具体讨论的问题是仪式的做法,这样的测试,他们在决策中的二分法应用,统计和实质意义之间的差异,大多数零假设的难以置信,随机性的关键假设,以及标准误差和置信区间的实用性推理的目的。我们认为,应用统计显著性检验和机械地坚持他们的结果是非常有问题的,不利于批判性思维。我们主张,使用这样的测试不提供任何优势,引文指标,他们的解释,或基于他们的决策过程。相反,它们的使用可能是有害的。像许多其他批评家一样,我们普遍认为统计显著性检验在包括科学计量学在内的社会科学中被过度使用和滥用,我们鼓励对这些问题进行改革。
2012-09-25 cs.DL stat.AP
A Formal Graphical Inference Framework for Combining Effect Size with Statistical Significance: Application to Multivariate and Functional Linear Models
Faculty of Agriculture and Technology, University of South Bohemia(南波希米亚大学农业与技术学院);Natural Resources Institute Finland (Luke)(芬兰自然资源研究所(Luke));University of Helsinki(赫尔辛基大学)
提出一种结合效应量与统计显著性的形式化图形推断框架,基于重采样和全局包络,实现强FWER控制,并应用于多元和函数线性模型。
2026-10-08 stat.CO stat.ME
Statistical significance of communities in networks
现实网络中的节点通常组织在本地模块中。这些组被称为社区,直观地定义为内部连接密度大于外部链接密度的子图。在这项工作中,我们引入了一个新的措施,旨在量化的统计意义的单一社区。极值统计量和顺序统计量用于预测与随机图中的单个聚类相关的统计量。这些分布允许我们将一个社区重要性定义为通用聚类算法在随机图中找到这样一个组的概率。该方法被成功地应用于现实世界的网络的情况下,其社区的意义的评估。
2010-04-20 cond-mat.stat-mech physics.soc-ph stat.AP
Statistical significance in high-dimensional linear mixed models
本文讨论了高维线性混合效应模型的推理框架。例如,当我们对$M$受试者进行$n$重复测量时,这些是合适的模型。我们考虑固定效应$p$的数量很大(可能大于$M$),但随机效应$q$的数量很小的情况。我们的框架受到最近一系列工作的启发,该工作提出了去偏惩罚估计量,以仅对具有固定效应的高维线性模型进行推断。特别是,我们演示了如何在Bühlmann(2013)的工作扩展中校正“朴素”岭估计,以构建混合效应模型的渐近有效置信区间。我们验证了我们的理论结果与数值实验中,我们表明我们的方法优于那些未能考虑相关引起的随机效应。对于一个实际的演示,我们认为核黄素生产数据集,具有组结构,并表明,使用我们的方法得出的结论是一致的,在一个类似的数据集没有组结构。
2019-12-16 stat.ME stat.ML
How to Tell When a Result Will Replicate: Significance and Replication in Distributional Null Hypothesis Tests
本文提出分布零假设检验方法,通过同时考虑实验内和实验间变异来修正标准显著性检验对随机变异的低估,并利用Many Labs复现数据验证其能有效预测结果的可复现概率。
2025-02-05 math.ST stat.ME stat.TH
Statistical Inference for Modulation Index in Phase-Amplitude Coupling
本研究针对相位-幅度耦合中调制指数(MI)的显著性评估问题,提出基于信号独立零假设的统计框架,推导出缩放beta分布的闭式零模型,无需生成替代数据即可计算p值,经蒙特卡洛模拟和跨研究验证具备可靠性与高效性。
2023-10-09 q-bio.QM stat.ME
Statistical significance in high-dimensional linear models
我们提出了一种在高维线性模型中为一般假设构造p值的方法。假设可以是局部的,用于测试单个回归参数,或者它们可以是更全局的,涉及几个甚至所有参数。此外,当考虑许多假设,我们展示了如何调整多重检验考虑p值之间的依赖性。我们的技术是基于岭估计与一个额外的校正项,由于大量的投影偏置在高维。我们证明了我们的p值的强误差控制,并提供了检测的充分条件:对于前者,我们不对真正的底层回归系数的大小做任何假设,而对于后者,我们的程序可能不是最佳的功率。我们证明了模拟的例子和一个真实的数据应用程序的方法。
2013-10-11 math.ST stat.ME stat.TH
Significance-Based Categorical Data Clustering
Dalian University of Technology(大连理工大学);Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province(辽宁省泛在网络与服务软件重点实验室)
虽然已经提出了许多算法来解决分类数据聚类问题,如何访问一组分类聚类的统计意义仍然没有解决。为了满足这一空白,我们采用似然比检验来推导检验统计量,该检验统计量可以作为分类数据聚类中基于显著性的目标函数。因此,提出了一种新的聚类算法,其中的重要性为基础的目标函数通过蒙特卡洛搜索过程进行优化。作为副产品,我们可以进一步计算经验$p$值来评估一组聚类的统计显著性,并开发用于估计聚类数的改进的间隙统计。大量的实验研究表明,我们的方法是能够实现可比的性能,最先进的分类数据聚类算法。此外,这种基于显著性的制定统计聚类验证和聚类数估计的有效性证明通过全面的实证结果。
2022-11-08 cs.LG stat.AP
Semantic and Cognitive Tools to Aid Statistical Science: Replace Confidence and Significance by Compatibility and Surprise
研究人员经常曲解和歪曲统计结果。这种滥用导致了大量关于修改或替换测试阈值和$P$ -值与置信区间、贝叶斯因子和其他装置的文献。因为核心问题出现认知,而不是统计,我们审查简单的援助统计解释。这些辅助工具强调逻辑和信息概念,而不是概率,因此可能比传统的描述对常见的误解更强大。我们使用$P$ -值$p$的香农变换,也称为二进制函数或$S$ -值$s=-\log_{2}(p)$,来测量测试过程提供的信息,并帮助校准直觉对简单的物理实验,如抛硬币。我们还使用表格或图表的检验统计量的替代假设,和区间估计不同的百分位数水平,以挫败谬论所产生的任意二分法。最后,我们重新解释$P$ -值和区间估计的无条件条款,这描述了数据的兼容性与整个分析假设。我们说明这些方法与现有的记录为基础的队列研究的数据重新分析。与其他最近的建议,我们建议,教材和研究报告讨论$P$ -值作为措施的兼容性,而不是显着性,计算$P$ -值的备择假设,每当他们计算零假设,并解释区间估计显示值的高兼容性与数据,而不是地区的信心。我们的建议强调认知设备显示的兼容性观察到的数据与各种假设的利益,而不是专注于单一的假设检验或区间估计。我们认为,这些简单的改革是值得的,他们需要的小努力。
2020-10-01 q-bio.QM stat.AP stat.ME
Efficient Adjusted Joint Significance Test and Sobel-Type Confidence Interval for Mediation Effect
本文提出调整联合显著性检验和调整Sobel型置信区间,用于更高效地检验中介效应,并通过模拟和三类实际数据验证其优于传统方法。
2024-09-05 stat.AP stat.ME
StatTestCalculator: A New General Tool for Statistical Analysis in High Energy Physics
Moscow State University(莫斯科大学);Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(莫斯科国立大学斯科别尔岑核物理研究所)
本文提出了开源统计分析工具StatTestCalculator(STC),用于高能物理实验中计算发现显著性或设定参数上限,支持渐近计算与Monte Carlo模拟,并能灵活处理系统不确定性和自定义模型。
2025-10-13 hep-ph stat.CO
Post-Hoc Large-Sample Statistical Inference
Carnegie Mellon University(卡内基梅隆大学);Inria(法国国家数字科学研究所);École Normale Supérieure(巴黎高等师范学院);University of California, Berkeley(加州大学伯克利分校)
本文提出渐近事后推断理论,开发出更弱假设和更精确的渐近事后置信集与p值,解决传统非渐近推断的局限性。
2026-03-09 math.ST stat.ME stat.TH
Quantifying Statistical Significance of Neural Network-based Image Segmentation by Selective Inference
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所);Nagoya University(名古屋大学)
尽管大量文献涉及使用深度神经网络(DNN)的图像分割方法,但较少关注评估分割结果的统计可靠性。在这项研究中,我们将分割结果解释为DNN驱动的假设(称为DNN驱动的假设),并提出了一种方法,通过该方法在统计假设测试框架内量化这些假设的可靠性。具体地说,我们考虑一个统计假设测试对象和背景区域之间的差异。这个问题是具有挑战性的,因为由于DNN对数据的适应性,差异会虚假地大。为了克服这一困难,我们引入了一个条件选择性推理(SI)框架-一个新的统计推断框架的数据驱动的假设,最近受到了相当大的关注-计算精确的(非渐近)有效的p值的分割结果。为了将条件SI框架用于基于DNN的分割,我们开发了一种基于同伦方法的新SI算法,该算法使我们能够推导出DNN驱动假设的精确(非渐近)采样分布。我们在合成和真实世界的数据集上进行了实验,通过这些实验,我们提供了证据,证明我们提出的方法可以成功地控制假阳性率,在计算效率方面具有良好的性能,并且在应用于医学图像数据时提供了良好的结果。
2022-12-14 cs.CV cs.LG stat.ML
Statistical Significance of Feature Importance Rankings
Department of Statistics University of California, Berkeley(统计学系加州大学伯克利分校);Department of Statistics and Data Science University of Pennsylvania(统计学与数据科学系宾夕法尼亚大学)
本文针对特征重要性排名因随机采样而不稳定的问题,提出基于假设检验的验证方法和两种高效采样算法,能以超过 1-α 的概率正确识别前 K 个重要特征及其顺序,并在 SHAP 和 LIME 上验证了有效性。
2025-07-03 cs.LG stat.ML
Introduction to Random Fields
一般线性模型(GLM)通常被构造并用于脑成像中体素水平的统计推断。在本文中,我们探讨了随机场的基础知识和多重比较的随机场,这是必要的适当阈值的统计地图为整个图像在特定的统计显着性水平。多重比较在确定全脑相关检验统计量的总体统计显著性方面至关重要。在实践中,相邻体素中的t统计或F统计是相关的。因此,存在着多重比较的问题,这是我们迄今为止一直忽视的问题。对于解释空间相关检验统计量的多重比较,提出了各种方法:Bonferroni校正、随机场理论、错误发现率和置换检验。其中,我们将探讨随机场的方法。
2020-07-19 math.ST stat.TH
Conjugate distributions in hierarchical Bayesian ANOVA for computational efficiency and assessments of both practical and statistical significance
根据数据中的不同因素评估变异性是统计学的基本技术。然而,通常被认为是方差分析(ANOVA)的方法通常仅限于数据中存在因子的所有水平(即因子水平的总体已经用尽)的情况。随机和混合效应模型用于更复杂的情况,但需要不同的术语,概念和理论,以及不同的推理程序。分层贝叶斯方法后,一个全面的方差分析框架,它统一了上述统计模型,强调实际而不是统计意义,解决了随机效应的参数可识别性问题,并提供了直接的计算程序的推理步骤。虽然这是以严格的方式完成的,但本文的内容可以被视为支持向方差分析转变的方法的意识形态。
2013-03-14 stat.ME
Statistical Significance for Hierarchical Clustering
聚类分析已被证明是一个宝贵的工具,探索和无监督的高维数据集的分析。在聚类方法中,分层方法在基因组学和其他领域享有相当大的普及,因为它们能够同时发现多层聚类结构。聚类分析中一个关键且具有挑战性的问题是,所识别的聚类是否代表重要的潜在结构,或者是自然采样变化的伪影。已经提出了一些方法来解决这个问题的上下文中的层次聚类,其中的问题是进一步复杂的自然树结构的分区,以及所需的测试来解析嵌套集群的层的多样性。在本文中,我们提出了一个基于蒙特卡罗的方法来测试统计显着性的层次聚类,解决了这些问题。该方法被实现为一个顺序的测试程序,保证控制的家庭明智的错误率。我们的方法提供了理论上的理由,并通过几个模拟研究和应用程序的两个癌症基因表达数据集说明了它的权力,以检测真正的聚类结构。
2014-11-19 stat.ME
The Full Bayesian Significance Test and the e-value -- Foundations, theory and application in the cognitive sciences
假设检验是心理学研究和认知科学中的一种重要统计方法。虽然原假设显著性检验(NHST)的问题已被广泛讨论,很少有有吸引力的替代品存在。在本文中,我们提供了关于全贝叶斯显著性检验(FBST)和e值的教程,e值是依赖于p值的传统显著性检验的全贝叶斯替代品。FBST是一种先进的方法程序,可应用于多个领域。在本教程中,我们展示了在心理学研究中广泛使用的统计方法的两个例子如何在实践中使用FBST,为研究人员提供了如何进行它的明确指导方针,并提供R代码来重现所有结果。FBST是一种创新的方法,它已经清楚地证明比频率显著性检验更好。然而,据我们所知,到目前为止,它还没有在心理科学中使用,应该引起心理学和认知科学研究人员的广泛兴趣。
2020-06-05 stat.ME
On Statistical Non-Significance
显著性检验可能是实证研究中最广泛的推理形式,显著性通常被解释为比非显著性提供更多的信息内容。在这篇文章中,我们表明,然而,拒绝一个点空往往携带很少的信息,而拒绝失败可能是高度的信息。在数据集很大并且很少有理由将大量的先验概率放在零点上的经验背景下,这一点尤其正确。我们的研究结果挑战了通常的做法,赋予点空拒绝比非拒绝更高层次的科学意义。因此,我们主张在实证实践中对非重大结果进行可见的报告和讨论。
2018-03-01 stat.AP stat.ME stat.OT
The statistical significance filter leads to overconfident expectations of replicability
我们发现,使用统计显著性过滤器发布结果-仅在p值小于0.05时发布-导致了对结果可复制性的过度乐观预期的恶性循环。首先,我们分析表明,当真正的统计功效是相对较低的,计算能力的基础上统计上显着的结果将导致高估的权力。然后,我们提出了一个案例研究,使用10个实验比较,从最近发表的心理语言学元分析(Jäger等人,2017年)。我们表明,统计上显著的结果产生了一种错觉的可复制性。即使研究人员不进行任何正式的功效分析,而只是使用统计显著性来非正式地评估鲁棒性(即,结果的可复制性。
2017-05-14 math.ST stat.AP stat.ME
When Evidence and Significance Collide
原假设统计显著性检验(NHST)是评价随机对照试验结果的主要方法。尽管NHST具有长期错误率保证,但它的主要推理工具--$p$值--只是针对原假设的间接证据度量。主要原因是$p$值基于原假设为真的假设,而忽略了任何备择假设下数据的可能性。如果目标是量化数据提供多少支持或反对原假设的证据,则不可避免地要指定一个备择假设(Goodman & Royall,1988)。当研究人员将$p$ -值解释为证据时,出现了Parasites。例如,在空值下令人惊讶的结果在合理的备择假设下可能同样令人惊讶,因此$p=.045$结果(“拒绝空值”)不会使空值比以前更不合理。因此,$p$值被认为高估了反对原假设的证据。相反,可能的情况是统计上不显著的结果(即,然而,$p>.05)$提供了一些支持备择假设的证据。因此,对于研究人员来说,了解统计意义和证据何时发生冲突至关重要,这需要计算证据的直接测量并与传统的$p$值一起呈现。
2022-06-09 stat.ME
Statistical significance revisited
本文研究随机实验达到给定统计显著性所需的重复次数,在药物测试中纳入安慰剂疗效的概率分布,发现所需实验数可能翻倍,并讨论一般分布及肥尾解释中的错误假设。
2024-06-18 q-fin.ST stat.AP stat.ME
Why "Redefining Statistical Significance" Will Not Improve Reproducibility and Could Make the Replication Crisis Worse
最近一项“重新定义统计学显著性”的提议(Benjamin等人,Nature Human Behaviour,2017)声称,假阳性率“将立即改善”大于2的因素,复制率只需将“统计学显著性”的传统截止值从P<0.05改变为P<0.005即可翻倍。我分析了这些说法的真实性,特别关注本杰明等人在评估他们的建议的影响时如何忽视了P黑客的影响。我的分析表明,一旦P-hacking被解释为较低阈值的感知益处几乎消失,提示两个主要结论:(i)Benjamin等人(2017)声称的假阳性率和复制率的改善被夸大和误导。(ii)在一些合理的情况下,较低的截止值将使复制危机变得更糟。
2017-11-21 stat.AP stat.ME stat.OT
Statistical Significance of the Netflix Challenge
受Netflix竞赛遗产的启发,我们概述了我们从自己的努力和其他人的努力中所学到的关于协同过滤和推荐系统问题的知识。该数据集包含约1亿部电影评级(从1星到5星),涉及约48万用户和约1.8万部电影;相关评级矩阵约为99%稀疏。目标是预测用户对电影的评分;能够准确做到这一点的系统具有重要的商业应用,特别是在万维网上。我们讨论,在一些细节,方法“基线”建模,奇异值分解(SVD),以及kNN(最近邻)和神经网络模型;时间效应,交叉验证问题,集成方法和其他考虑进行了讨论。我们比较现有的模型在寻找新的模型,并讨论了惩罚和参数收缩时出现的参数空间的尺寸达到数百万的关键任务的问题。尽管计算机科学和机器学习社区已经对这些问题做了很多工作,但我们的目标是解决统计受众,并提供从这组非凡的数据中吸取的教训的主要统计处理。
2012-07-24 stat.ME
Linear approximation to the statistical significance autocovariance matrix in the asymptotic regime
提出一种基于信号幅度统计涨落线性近似的高效方法,用于估计高能物理显著性扫描中高斯场的协方差矩阵,从而直接计算试验因子及其上限。
2023-09-18 physics.data-an stat.ME
The e-value: A Fully Bayesian Significance Measure for Precise Statistical Hypotheses and its Research Program
这篇文章给出了一个调查的e值,一个统计显著性措施a.k.a.由观测数据X提供的支持统计假设H的证据,或者反过来,给定X的H的认识价值。$e$值和随附的FBST(全贝叶斯显著性检验)构成了IME-USP启动的研究项目的核心,该项目由全球20多名研究人员开发,迄今为止已被200多份出版物引用。e值和FBST符合贝叶斯推断的最佳原则,包括似然原理、完全不变性、渐近一致性等。此外,它们在需要比较或组成不同假设的情况下表现出强大的逻辑或代数性质,这些假设可以在相同或不同的统计模型中制定。此外,它们毫不费力地适应尖锐或精确假设的情况,在这种情况下,替代方法往往需要特别和复杂的程序。最后,FBST具有突出的鲁棒性和可靠性的特点,在统计建模和运筹学的许多实际应用中优于传统的假设检验。
2020-04-28 math.ST stat.ME stat.TH
Computing the statistical significance of optimized communities in networks
在网络数据中发现社区,用于无监督学习,特征发现,异常检测或科学研究通常是令人感兴趣的。绝大多数社区检测方法通过优化质量函数来进行,即使在没有社区的随机网络上也是可能的。因此,通常没有一种简单的方法来判断社区是否“重要”,在这种情况下,这意味着比在没有社区的随机图模型下预期的内部连接更多。本文将现有的空模型推广到二分图,并引入了一种新的重要性评分算法,称为快速优化社区重要性(FOCS),该算法具有高度可扩展性和不可知性。此外,与单部图上的现有方法相比,FOCS在数值上更稳定,并且更好地平衡了检测能力和误报之间的权衡。
2018-11-17 cs.SI physics.soc-ph stat.ME
Powerful Significance Testing for Unbalanced Clusters
针对传统SigClust在不平衡簇场景下检验效力不足的问题,提出一种基于k-means聚类新颖推广的显著性检验方法,在平衡与不平衡场景下均有效,并用肾癌基因表达数据集验证了价值。
2023-08-24 stat.ME
Bayesian analysis for pretest-posttest binary outcomes with adaptive significance levels
针对二分类前测-后测配对样本分析工具匮乏的问题,提出贝叶斯统计方法,构建概率模型并结合FBST与自适应显著性水平,经模拟验证后应用于TVSFP数据集。
2024-07-09 stat.ME
Reexamining Statistical Significance and P-Values in Nursing Research: Historical Context and Guidance for Interpretation, Alternatives, and Reporting
本文探讨了护理研究中p值误用的争议与历史背景,建议结合其他指标准确解释统计显著性、预注册分析计划并采用Bayes factors等替代方法,以提升研究质量。
2023-11-22 stat.AP stat.ME
Statistical significance of variables driving systematic variation
有许多成熟的方法,如主成分分析(PCA),用于自动捕获由于大规模基因组数据中的潜在变量而引起的系统变异。PCA和相关方法可以直接提供复杂生物变量的定量表征,否则难以精确定义或建模。在这种情况下,一个未解决的问题是如何系统地识别基因组变量,这些变量是PCA捕获的系统变异的驱动因素。主成分(和系统变异的其他估计值)直接从基因组变量本身构建,由于过度拟合,使用传统方法时会人为夸大统计学显著性。我们介绍了一种新的方法,称为稻草人,使人们能够准确地识别基因组变量,统计上显着相关的任何子集或线性组合的主成分(PC)。该方法可以大大简化基因组学中复杂的显著性检验问题,并可用于识别与潜在变量显著相关的基因组变量。通过模拟,我们证明了我们的方法在一系列相关场景中获得了准确的统计显著性测量。我们认为酵母细胞周期基因表达数据,并表明,所提出的方法可以用来直接识别统计上显着的基因,细胞周期调节。我们还分析了创伤后患者的基因表达数据,使基因表达数据提供分子驱动的表型。我们发现一个更大的富集炎症相关的基因集相比,使用临床定义的表型。所提出的方法提供了一个有用的桥梁之间的大规模量化的系统变异和基因水平的显着性分析。
2013-08-27 q-bio.QM stat.AP stat.ME
TriSig: Assessing the statistical significance of triclusters
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);LAQV-REQUIMTE(LAQV-REQUIMTE(化学技术研究所-国家化学与生物化学研究所));NOVA School of Science and Technology, Universidade NOVA de Lisboa(新里斯本大学新科学与技术学院)
本研究提出TriSig统计框架,拓展矩阵模式显著性评估原理以检验张量三聚类的统计显著性,经真实案例验证有效,可整合入现有算法减少假阳性、降低计算复杂度。
2023-06-12 cs.LG stat.ME
Statistical Significance of Clustering using Soft Thresholding
聚类方法已经在生物信息学和其他领域带来了许多重要的发现。使用它们的一个主要挑战是确定哪些聚类代表重要的底层结构,而不是虚假的采样伪像。当数据维数非常高时,这一挑战尤其严重,并且可用的方法非常少。聚类的统计显著性(SigClust)是近年来发展起来的一种适用于高维低样本量数据的聚类评价工具。SigClust方法的一个重要组成部分是将单个聚类定义为从多变量高斯分布中采样的数据子集。SigClust的实现需要估计零多元高斯分布的协方差阵的特征值。我们表明,原来的特征值估计可以导致一个测试,遭受严重的通货膨胀的第一类错误,在重要的情况下,有几个非常大的特征值。本文解决了这个关键的挑战,使用一种新的基于似然的软阈值方法来估计这些特征值,这导致了大大改善SigClust。SigClust性能的主要改进是基于理论聚类指数的新概念的数学分析和广泛的模拟研究。一些癌症基因组数据的应用进一步证明了这些改进的有用性。
2021-10-18 stat.CO stat.ME
A few brief notes on the equivalence of two expressions for statistical significance in point source detections
最近的两篇论文[M。Lampton,ApJ 436,784(1994); D. E. Alexandreas等人,核仪器Meth. A 328,570(1993)]。这两篇论文考虑的问题,确定是否有显着更多的计数在一个源区域比预期给定的数量在背景区域中观察到的计数。这两篇论文中的论点截然不同(一篇采用贝叶斯观点,另一篇则没有),并且建议的计算p值的公式似乎也不同。这里表明,这两篇文章的作者提供的表达方式实际上是等同的。
2020-08-12 astro-ph.IM eess.SP stat.ME
fbst: An R package for the Full Bayesian Significance Test for testing a sharp null hypothesis against its alternative via the e-value
假设检验是心理学和认知科学中的一种重要统计方法。然而,原假设显著性检验(NHST)和p值的问题已经被广泛讨论,但很少有有吸引力的替代品存在。本文介绍了fbst R包,它实现了完整的贝叶斯显著性检验(FBST),通过e值来检验一个尖锐的原假设与其替代假设。二十多年前,Pereira等人(1999)引入了FBST的统计理论,从那时起,FBST已被证明是NHST和p值的贝叶斯替代品,具有理论和实践上非常吸引人的特性。fbst包中提供的算法适用于任何贝叶斯模型,只要至少可以在数值上获得后验分布。该软件包的核心功能是提供针对原假设的贝叶斯证据,即e值。此外,可以计算基于渐近参数的p值,并可以生成用于交流和解释结果的丰富可视化。本文给出了认知科学中常用的三个统计过程的例子,演示了如何使用fbst软件包在实践中应用FBST。基于FBST在统计科学中的成功,FBST软件包应该引起心理学和认知科学研究人员的广泛兴趣,并希望鼓励研究人员在对尖锐的原假设进行假设检验时将FBST视为一种可能的替代方案。
2020-06-05 stat.CO stat.ME
Early Stopping Based on Repeated Significance
Yahoo!(雅虎公司)
本文针对多标准分桶测试中早停决策对p值要求过严的问题,提出在多个决策点上要求标准均取得成功的方法,以在保持统计置信度的同时缓解严格的显著性要求。
2024-08-01 cs.LG stat.ME
Clustering Hierarchies via a Semi-Parametric Generalized Linear Mixed Model: a statistical significance-based approach
Politecnico di Milano(米兰理工大学);Human Technopole(人类技术极点研究所)
本文提出一种基于统计显著性的半参数广义线性混合模型方法,通过计算置信区域并合并重叠的支撑点来对层级数据进行聚类,避免了任意阈值参数,并在 PISA 数据和模拟研究中验证了有效性。
2023-02-23 stat.AP stat.CO stat.ME
The elbow statistic: Multiscale clustering statistical significance
ElbowSig是一种用于多尺度聚类分析的统计方法,通过归一化离散曲率统计量评估聚类异质性序列,提供多尺度结构的显著性检测。
2026-03-03 cs.LG stat.ME stat.ML
Efficient algorithms for the sensitivities of the Pearson correlation coefficient and its statistical significance to online data
本文基于Welford在线算法建立理论框架,推导出皮尔逊相关系数及其p值在新增数据下最大变化的闭式解,并给出线性与常数时间的高效算法。
2024-06-09 math.ST stat.ME stat.TH
BOP2-DC: Bayesian optimal phase II designs with dual-criterion decision making
传统的II期试验设计范式是基于假设检验框架做出进行/不进行决定。然而,仅凭统计学意义本身可能不足以确定该药物的临床有效性足以保证确证性III期试验。我们提出了贝叶斯最优II期试验设计与双标准决策(BOP 2-DC),它结合了统计学意义和临床相关性的决策。基于处理效应达到较低参考值(统计学显著性)和具有临床意义的值(临床显著性)的后验概率,BOP 2-DC允许进行/考虑/不进行决策,而不是二元进行/不进行决策,并进行了优化,以在治疗有效时最大化进行决策的概率,或在治疗无效时最小化样本量。BOP 2-DC具有高度灵活性,可在单组和随机试验中适应各种类型的终点,包括二元、连续、至事件发生时间、多重和共同主要终点。仿真研究表明,BOP 2-DC设计产生理想的操作特性。可在\url{www.trialdesign.org}上免费获得执行BOP 2-DC的软件。
2021-12-20 stat.AP stat.ME
Policy Implications of Statistical Estimates: A General Bayesian Decision-Theoretic Model for Binary Outcomes
我们应该如何评估一项政策对发生冲突等不良事件的可能性的影响?显著性检验有三个局限性。首先,依赖统计显著性忽略了不确定性是一个连续尺度的事实。其次,关注标准点估计忽略了合理效应量的变化。第三,实质性意义的标准很少得到解释或证明。一个新的贝叶斯决策理论模型,“因果二元损失函数模型”,克服了这些问题。它比较了在政策干预下的预期损失和在没有干预的情况下的预期损失。这些损失的计算是基于一个特定范围的影响大小的政策,概率质量的影响大小范围内,政策的成本,以及成本的不良事件的政策打算解决。该模型比使用标准损失函数或捕获误报和漏报成本的常见统计决策理论模型更适用。我通过三个应用程序说明了模型的使用,并提供了一个R包。
2022-05-02 stat.AP stat.ME