A Statistical Significance Simulation Study for the General Scientist
当一个科学家进行实验时，他们通常会获得一组测量结果，并被期望证明他们的结果是“统计学上显著的”，从而证实他们正在测试的任何假设。建立统计学显著性的主要方法包括证明观察到的实验结果是随机机会的产物的概率很低。这通常定义为p < 0.05，这表明观察到的结果随机发生的可能性小于5%。这项研究直观地表明，通常使用的“统计显著性”的定义可能错误地意味着一个重要的发现。这通过生成随机高斯噪声数据并使用基于已建立的双样本t检验的统计检验分析该数据来证明。这项研究表明，在现代科学的许多领域中非常常见的适度大的样本量下，可能会有不显著但“统计学显著”的发现。
2011-09-29 physics.data-an stat.AP stat.OT
Signal Significance in the Presence of Systematic and Statistical Uncertainties
在计划的实验中，将不确定性纳入信号重要性的计算是一项实际任务。几种方法来解决这个问题进行了讨论。我们提出了一个程序，考虑到系统的不确定性有关的非精确知识的信号和背景截面。提出了一种处理期望信号和背景速率的统计误差的方法。伽玛分布和泊松分布之间的相互关系被证明。
2002-10-10 hep-ex hep-ph math.PR
On the Combining Significances
我们提出了统计的方法来合并信号的重要性。
2006-12-20 physics.data-an
Optimization of Signal Significance by Bagging Decision Trees
描述了一种用于优化信号显著性或适合于分析高能物理（HEP）数据的任何其他分类优值的算法。该算法在训练数据的许多引导副本上训练决策树，每个树都需要优化信号显著性或任何其他选择的品质因数。然后，新数据通过构建的树的简单多数投票进行分类。该算法的性能已被研究，使用搜索的辐射轻子衰变B-> γ l nu在BaBar和被证明是优于所有其他尝试的分类器，包括这样的强大的方法，如提升决策树。在B->gamma e nu通道中，所描述的算法将预期信号显著性从通过为B->gamma l nu分析设计的原始方法获得的2.4西格玛增加到3.0西格玛。
2005-07-21 physics.data-an
A method for approximating optimal statistical significances with machine-learned likelihoods
机器学习技术已成为高能物理学的基础，对于新的物理学搜索，了解它们在实验灵敏度方面的表现至关重要，即信号加背景假设相对于背景假设的统计显着性。只有一个。我们在这里提出了一种简单的方法，该方法将当前机器学习技术的力量与传统分析中使用的基于似然的推理测试相结合，以面对高维数据，这使我们能够通过单个感兴趣的参数（信号强度）来估计发现和排除限制的灵敏度。基于监督学习技术，它也可以很好地处理高维数据，而传统技术不能。我们首先将该方法应用于玩具模型，因此我们可以探索其潜力，然后应用于LHC研究处于双喷射末态的新物理粒子。考虑到最佳的统计意义，我们会得到一个，如果真正的生成函数是已知的，我们表明，我们的方法提供了一个更好的近似比通常的天真计数实验结果。
2022-11-09 astro-ph.IM hep-ex hep-ph
On the significance in signal search through the sliding window algorithm
寻找未知质量的新粒子的实验问题提出了一个挑战，即探索一个很宽的区间，以寻找由背景以上的过量事件所代表的通常特征。这种大范围搜索的副作用是，当这样的信息丢失时，对已知位置的信号有效的传统显著性计算不再适用。在本说明中，考虑了通过观察窗口在感兴趣的范围内滑动的特定信号搜索方法;在已知背景和固定宽度的探索窗口的假设下，描述了这种搜索方案的统计含义，特别强调了对所声称的发现的正确重要性评估。
2006-04-06 physics.data-an
Linear approximation to the statistical significance autocovariance matrix in the asymptotic regime
提出一种基于信号幅度统计涨落线性近似的高效方法，用于估计高能物理显著性扫描中高斯场的协方差矩阵，从而直接计算试验因子及其上限。
2023-09-18 physics.data-an stat.ME
The Physical Significance of Confidence Intervals
我们定义了一些适当的统计量，表示的物理意义（可靠性）的置信区间的框架中的频率和贝叶斯统计理论。我们考虑在没有信号的情况下上限的期望值（我们建议称之为“排除潜力”，而不是Feldman和Cousins所做的“灵敏度”）及其标准偏差，我们定义了空结果的“拉力”，表达了实验上限的可靠性，以及“上限和下限检测函数”，如果有信号的话，它会给出实验可能结果的信息。我们还给出了一个新的适当的定义的“灵敏度”，量化的能力，一个实验，以揭示在给定的置信水平搜索的信号。
2001-05-02 hep-ex hep-ph physics.data-an
Measures of Significance in HEP and Astrophysics
我比较和讨论的统计意义，在天体物理学和高能物理学中常用的几种措施。我也展示了他们之间的一些关系。
2003-12-12 physics.data-an
Enhancing the physical significance of Frequentist confidence intervals
结果表明，所有的频率论方法是等效的，从统计的角度来看，但物理意义的置信区间取决于该方法。提出了贝叶斯定序方法，并在有背景的泊松过程情形下与统一方法进行了比较。一些批评这两种方法的答案。也有人认为，一般的频率论方法是不需要的。
2000-02-15 hep-ex hep-ph physics.data-an
Self-Calibrating the Look-Elsewhere Effect: Fast Evaluation of the Statistical Significance Using Peak Heights
在实验中，人们搜索一个大的参数空间的异常，人们经常发现许多虚假的噪声引起的峰值的可能性。这就是所谓的“别处看”效应，在进行统计分析时必须加以纠正。本文介绍了一种方法来校准的虚警概率（FAP），或$p$值，为一个给定的数据集，通过考虑的最高峰的高度的可能性。在自校准的最简单形式中，物理峰的别处查找校正的$χ^2$由峰的$χ^2$减去最高噪声引起的峰的$χ^2$来近似。将这一概念推广到考虑较低的峰提供了一种快速量化统计显著性并提高准确性的方法。与其他方法相比，这种方法的计算成本可以忽略不计，因为可能性中的峰值是每个峰值搜索分析的副产品。我们适用于天文学的例子，包括行星探测，周期图和宇宙学。
2021-08-13 astro-ph.CO astro-ph.EP astro-ph.IM
The role of the Look Elsewhere Effect in determining the significance of an oscillation disappearance search for a light sterile neutrino
本文探讨了在轻惰性中微子振荡消失搜索中，如何利用Look Elsewhere Effect现象对最新统计数据处理进展进行解释，以确保对正面线索显著性的正确评估。
2024-03-25 hep-ph physics.data-an
Estimating the significance of a signal in a multi-dimensional search
在旨在探测天体物理学来源的实验中，如中微子望远镜，人们通常在连续的参数空间（例如天空的角坐标，可能还有时间）上进行搜索，寻找与背景假设最显著的偏差。这样的程序固有地涉及“看别处效应”，即在搜索范围内的任何地方出现类似信号的波动的可能性。因此，正确地估计给定观测的$p$值需要对整个搜索进行重复模拟，这是一个在CPU资源方面可能过度膨胀的过程。最近的结果从理论的随机场提供了强大的工具，可用于减轻这一困难，在广泛的应用。我们回顾了这些结果，并讨论了它们的实现，与一个详细的例子应用于中微子点源分析的冰立方实验。
2011-05-22 astro-ph.IM physics.data-an
Improved Inference for the Signal Significance
我们研究了几种基于似然的统计特性，这些特性通常用于在具有已知背景但未知信号分数的混合模型下测试已知信号的存在。在无信号的零假设下，所有统计量在大样本中遵循标准正态分布，但在低样本量下可能会出现实质性偏差。近似为各自的$p$值推导出各种订单的准确性使用的方法埃奇沃思展开。研究了对正态性的遵守，并根据所产生的通货膨胀或通货紧缩量化了偏差的大小。我们发现，近似到三阶精度一般足以保证$p$ -值与标称假阳性错误率在五西格玛范围内（$p$ -值$= 2.87 \times 10^{-7}$）的经典沃尔德，分数，和似然比（LR）统计在相对较低的样本。LR不仅具有更好的正态性，而且在假阴性错误率方面始终优于所有其他统计数据。其原因被证明是与高阶累积量的行为收集从四阶Edgeworth展开。最后，本文提出了一个保守的方法，用于有限样本的调整，同时用随机场理论（也称为“随机场”）来解释“望他处”效应。Gross-Vitells方法）。
2017-06-15 physics.data-an
Statistical significance testing for mixed priors: a combined Bayesian and frequentist analysis
在许多假设检验应用中，我们有混合先验，有动机良好的信息先验的一些参数，但不为其他人。贝叶斯方法使用贝叶斯因子，并有助于提供信息的先验，因为它通过多重性或试验因子将奥卡姆剃刀纳入到其他地方效应中。然而，如果先验不完全已知，则通过假阳性率的频率主义假设检验是更好的方法，因为它对先验选择不太敏感。我们认为，当只有部分先验信息是可用的，它是最好的结合使用贝叶斯因子作为检验统计量的频率分析这两种方法。我们发现，标准的频率似然比检验统计量对应于贝叶斯因子与非信息杰弗里的先验。我们还表明，混合先验增加了似然比检验统计量的频率分析的统计能力。我们开发了一个分析的形式主义，不需要昂贵的模拟使用统计力学的方法来假设检验贝叶斯和频率统计。我们在连续的参数空间中引入状态计数，使用不确定体积作为状态的量子。我们发现，p值和贝叶斯因子都可以表示为能量与熵的竞争。我们提出的解析表达式，推广威尔克斯定理超出其通常的制度的有效性和工作在一个非渐近制度。在特定的限制下，形式主义再现现有的表达式，如线性模型和周期图的p值。我们应用形式主义的一个例子系外行星过境，多重性可以超过$10^7$。我们表明，我们的解析表达式重现数值模拟得出的p值。
2022-07-14 astro-ph.EP physics.data-an
