Frequentist Evaluation of Intervals Estimated for a Binomial Parameter and for the Ratio of Poisson Means
在高能物理(HEP)应用(例如测量检测效率或分支比)中,通常需要二项式参数或泊松平均值比率的置信区间。由于数据的离散性,在这两个问题中,不幸的是,频率覆盖概率取决于未知参数。之间的权衡desiderata导致了众多的区间在统计文献中,而在HEP通常只遇到经典的Clopper-Pearson区间(中央区间没有覆盖不足,但大量的覆盖过度)或一些近似的方法,表现相当差。如果放宽严格覆盖,则需要某种平均来比较间隔。在大多数统计学文献中,这种平均是在未知参数的不同值上进行的,从频率论的角度来看,这在概念上是有问题的,其中未知参数通常是固定的。相比之下,我们在泊松均值比问题中执行(无条件){ \it对观测数据求平均值}。如果需要严格的条件覆盖,我们推荐Clopper-Pearson区间和反转似然比检验的区间(分别用于中心和非中心区间)。Lancaster的中期$P$修改,提供了极好的无条件平均覆盖率的泊松比均值问题。
2009-11-14 physics.data-an
Binomial and ratio-of-Poisson-means frequentist confidence intervals applied to the error evaluation of cut efficiencies
在实验粒子物理实践中,对由切割效率引起的误差的估计是一个常见的问题。具体而言,需要评估的效率削减背景去除,当他们在一个信号-免费-背景-只有能量窗口进行测试,起源于一个统计问题,发现其自然的框架中的两个经典的解决方案的丰富的家庭,密切相关的问题,即确定置信区间的参数的二项式比例和泊松比的手段。在本文中,首先从传统的角度来解决这个问题,然后自然地演变为引入非标准置信区间的二项式和泊松的情况下,特别强调的是通过应用的似然比排序传统的奈曼处方的置信限确定的区间。由于它们在减少的长度和覆盖特性方面的吸引力,新的间隔非常适合作为标准Clopper-Pearson PDG间隔的有趣替代。
2009-01-30 physics.data-an
Computation of confidence intervals for Poisson processes
我们提出了一个算法,它允许一个快速的数值计算的Feldman-Schoins的置信区间的泊松过程,即使当背景事件的数量是相对较大的。该算法采用了一个适当的治疗的奇异性,出现的结果,离散的变量。
1999-11-18 hep-ex hep-ph physics.data-an
Limits, discovery and cut optimization for a Poisson process with uncertainty in background and signal efficiency: TRolke 2.0
编写了一个C++类,用于使用轮廓似然方法计算频率置信区间。实现了二项式、高斯、泊松和二项式不确定性的七种组合。该软件包提供了计算上下限、灵敏度和相关属性的例程。它还支持假设检验,考虑到不确定性。它可以用于编译的C++代码,Python或通过ROOT分析框架交互式使用。
2010-01-13 hep-ex hep-ph physics.data-an
Confidence Intervals for Poisson Distribution Parameter
给出了在背景事件存在的情况下,用已知泊松分布参数值构造信号事件泊松分布参数置信区间的数值方法的结果。结果表明,所使用的程序具有贝叶斯和频率论的解释。本文还讨论了构造泊松分布的连续模拟来寻找泊松分布参数的置信区间界的可能性。
2001-08-09 hep-ex physics.data-an
Frequentist Coverage Properties of Uncertainty Intervals for Weak Poisson Signals in the Presence of Background
我们构造了弱泊松信号在背景存在下的不确定区间。我们考虑的情况下,一个主要的实验产生的信号加背景的实现,和第二个实验产生的背景的实现。选择仅背景实验的数据采集时间T_bg和主实验的数据采集时间T,使得它们的比率从1变化到25。初步实验中背景计数的预期数量在0.2至2之间变化。我们构建90%和95%的置信区间的基础上传播的错误的方法,以及两个实现的内曼程序,其中接受区域的基础上构建的似然比标准,自动确定所得到的置信区间是单侧或双侧。第一个内曼程序(由于费尔德曼和费因斯)忽略了背景中的不确定性。在另一个Neyman过程中,我们考虑到背景中的不确定性与参数自助方法。我们还构造了最小长度的贝叶斯可信区间。对于每种方法,我们根据不确定性区间的下端点值测试信号的存在。当T_bg/T大于等于5,预期背景值小于等于2时,Feldman法优于其他方法。
2009-12-28 physics.data-an
The Power of Confidence Intervals
我们考虑的权力拒绝假值的参数在频率论方法的置信区间的计算。我们将功率与非负参数的置信区间的物理意义(可靠性)联系起来。我们表明,置信区间(上限)与(偏置)的方法,在边界附近有较大的权力,在测试参数对较大的替代品和小功率测试参数对较小的替代品是物理上更显着的。考虑到最近提出的方法与正确的覆盖,我们表明,上限的物理意义是最小的统一方法和最高的极大似然估计方法。我们说明我们的论点在特定情况下的有界高斯分布和泊松分布与已知的背景。
2000-11-21 hep-ex hep-ph physics.data-an
Treatment of the background error in the statistical analysis of Poisson processes
本文给出了在泊松过程的频率统计分析中考虑期望均值背景b的误差σ b的形式化方法。结果表明,当误差σ b不小于sqrt(b)时,它是不可忽略的。所得到的置信带大于sigma_b=0的置信带,导致信号事件的平均mu的置信区间更大。
1999-05-06 hep-ex physics.data-an
The Physical Significance of Confidence Intervals
我们定义了一些适当的统计量,表示的物理意义(可靠性)的置信区间的框架中的频率和贝叶斯统计理论。我们考虑在没有信号的情况下上限的期望值(我们建议称之为“排除潜力”,而不是Feldman和Cousins所做的“灵敏度”)及其标准偏差,我们定义了空结果的“拉力”,表达了实验上限的可靠性,以及“上限和下限检测函数”,如果有信号的话,它会给出实验可能结果的信息。我们还给出了一个新的适当的定义的“灵敏度”,量化的能力,一个实验,以揭示在给定的置信水平搜索的信号。
2001-05-02 hep-ex hep-ph physics.data-an
Confidence intervals for the parameter of Poisson distribution in presence of background
本文给出了在背景为已知参数值的泊松分布的情况下,构造信号的泊松分布参数的置信区间的数值方法的结果。结果表明,所描述的过程具有贝叶斯和频率论的解释。
2000-10-24 math.PR physics.data-an
A new ordering principle for the classical statistical analysis of Poisson processes with background
受Feldman和Kellins最近提出的“小信号经典统计分析的统一方法”的启发,该方法基于Neyman经典置信区间构造中的排序选择,我为具有背景的泊松过程的经典统计分析提出了一个新的排序原则,该原则可以最大限度地减少对观察到的背景事件较少的置信区间的影响。预期本文将新的序原理应用于KARMEN中微子振荡实验的最新零结果所隐含的置信域的计算。
1999-05-06 hep-ex hep-ph physics.data-an
Limits and Confidence Intervals in the Presence of Nuisance Parameters
我们研究的频率属性的置信区间计算的方法被称为统计学家的个人资料Likelihood。可以看出,这些区间的覆盖范围是令人惊讶的好,在很宽的范围内的可能的参数值的重要类别的问题,特别是当有额外的滋扰参数与统计或系统误差。程序可用于计算这些间隔。
2009-01-19 astro-ph hep-ex physics.data-an
A comparison of methods for confidence intervals
以低统计量寿命估计为例,比较了用Neyman频率论方法和ΔL=1/2似然法构造的置信区间。
2004-02-13 physics.data-an
Optimal confidence intervals for bounded parameters (a correct alternative to the recipe of Feldman and Cousins)
要估计的参数的先验界被纳入频率论方法中的置信区间,以一种简单和最佳的方式,确保非边界值的最佳分辨率以及估计器的非物理值的鲁棒性。
2011-04-05 physics.data-an
About the proof of the so called exact classical confidence intervals. Where is the trick?
在这篇笔记中,我将讨论频率论置信区间的“证明”,并说明它在逻辑上意味着什么,即给定一个实验观测(无)的物理量的值。
2010-10-05 math.HO math.PR physics.data-an
On the Confidence Interval for the parameter of Poisson Distribution
讨论了通过寻找Poisson分布参数的置信区间的界来构造Poisson分布连续模拟的可能性。本文还证明了观测值$\hat x$的泊松分布参数的真值具有Gamma分布,其尺度参数等于1,形状参数等于$\hat x$。数值构造的置信区间的结果。
2000-09-12 physics.data-an
A unified perspective on modified Poisson likelihoods for limited Monte Carlo data
计数实验通常依赖于蒙特卡罗模拟来预测泊松期望。从有限的Monte Carlo样本量所伴随的不确定性可以通过修改泊松似然被纳入参数估计。我们首先回顾以前的频率论方法的这种类型的Barlow等人,Bohm等人,和Chirkin,以及最近提出的概率方法的作者和Argüelles等人。我们表明,所有这些方法可以理解在一个统一的方式:他们都近似的潜在概率分布的总和的权重在一个给定的bin,复合泊松分布(CPD)。Probability方法用近似CPD的分布边缘化Poisson平均值,而Frequentist方法则将平均值作为滋扰参数来优化相同的被积函数。有了这个观点,我们可以激发三个新的概率似然广义伽玛泊松混合分布的基础上,我们推导出解析形式。然后,我们测试了新旧公式在不同的参数估计设置组成的“背景”和“信号”数据集。Barlow等人的Ancestrian的概率对应物在各种情况下优于所有其他现有的方法。我们进一步发现了一个令人惊讶的结果:使用确切的CPD实际上对参数估计是不利的。连续近似执行得更好,并且原则上允许在任何水平的模拟生存时间下执行无偏差推断,如果每个数据集的CPD的前两个时刻是确切已知的。最后,我们还讨论了新的蒙特卡罗模拟产生的情况下,对于一个给定的参数选择,导致波动的计算似然值。两个新的公式允许将这种泊松不确定性直接纳入可能性,大大减少了这些波动。
2019-05-08 astro-ph.IM hep-ex physics.data-an
Response to Comment from Robert Cousins on Confidence intervals for the Poisson distribution
本文是对 Robert Cousins 关于泊松分布置信区间评论的回复,作者主张在讨论描述性统计时,在似然中包含非物理参数值是有用的。
2025-11-03 physics.data-an
Coverage Of Confidence Intervals For Poisson Statistics In Presence Of Systematic Uncertainties
在这篇笔记中,我们考虑了在有和没有系统不确定性的情况下计算的置信区间的覆盖范围。这些计算遵循的处方,最初提出了由Killins和高地,但在这里扩展到不同的形状,大小和类型的系统不确定性。还考虑了两种不同的排序方案:Feldman & Wellins排序及其变体,其中Roe & Woodroofe提出的背景期望条件适用。由于泊松分布的离散性,在没有不确定性的情况下,Feldman & Wenkins方法如预期的那样覆盖。对于Roe & Woodroofe的方法,我们发现低信号预期的覆盖不足。当包括不确定性时,定义确定覆盖范围的集合变得重要。我们考虑两个不同的合奏,其中在合奏A所有的滋扰参数是固定的,在合奏B的滋扰参数根据其不确定性而变化。我们还讨论了不同的系统不确定性的合奏实现的微妙之处。
2002-06-14 hep-ex physics.data-an
Including Systematic Uncertainties in Confidence Interval Construction for Poisson Statistics
将系统不确定性纳入置信区间计算的一种方法是对参数化不确定性的概率密度函数进行积分。在本说明中,我们提出了这种方法的发展,它考虑到在预测的背景过程中的不确定性,在信号检测效率和背景效率的不确定性,并允许信号和背景检测效率之间的相关性。我们实现了这个方法与费尔德曼和费廷斯统一的方法,有条件和无条件。我们目前的研究覆盖率的费尔德曼和Neyman订购计划。特别是,我们提出了两种不同类型的覆盖测试的情况下,系统的不确定性。为了说明这种方法,我们显示了包括系统的不确定性的情况下,暗物质搜索现代中微子望远镜执行的相对效果。
2003-02-10 hep-ex physics.data-an
Confidence intervals for the Poisson distribution
California Institute of Technology(加州理工学院)
本文探讨了泊松分布采样结果的描述方法,推荐使用Garwood提出的置信区间,并指出平均区间在非泊松分布下可能存在问题。
2026-04-20 physics.data-an
A Comparison of Limit Setting Methods for the On-Off Problem
研究了开关问题置信区间的频率论性质。这些方法包括了今天所有常用的方法。我们推导出明确的公式的限制,并计算这些方法的真实覆盖率和预期的长度。
2015-10-13 hep-ex physics.data-an stat.AP
A Comment on the Roe-Woodroofe Construction of Poisson Confidence Intervals
我们认为Roe-Woodroofe建设的情况下,泊松分布的变量的置信区间的均值是一个已知的背景和一个未知的非负信号的总和。我们指出,区间没有覆盖在通常意义上,但可以有这样的修改,不影响可信度和其他可取的功能,这个有吸引力的建设。一个类似的修改,可以用来提供覆盖到最近提出的建设由Gaussian-with-boundary问题。
2000-04-21 physics.data-an physics.gen-ph
Statistical unfolding of elementary particle spectra: Empirical Bayes estimation and bias-corrected uncertainty quantification
我们认为,高能物理展开的问题,其目标是估计基本粒子的观察扭曲的粒子探测器的有限分辨率的光谱。在欧洲核子研究中心的大型强子对撞机的数据分析中出现的这一重要的统计逆问题包括估计间接观察到的泊松点过程的强度函数。展开通常分两步进行:首先产生未知强度的正则化点估计,然后使用该估计的可变性来形成量化解的不确定性的频率论置信区间。在本文中,我们建议使用经验贝叶斯估计形成点估计,通过边际极大似然估计实现正则化强度的数据驱动选择。由于正则化点估计的固有偏差,贝叶斯可信区间和标准Bootstrap置信区间都不能很好地覆盖该问题,本文引入了一种迭代偏差校正Bootstrap技术来构造改进的置信区间.我们使用模拟表明,这使我们能够实现几乎标称频率覆盖,只有适度增加间隔长度。所提出的方法被应用到展开的$Z$玻色子不变的质谱在大型强子对撞机的CMS实验中测量。
2015-11-17 hep-ex physics.data-an stat.AP
Comment on Frank Porter, "Confidence intervals for the Poisson distribution"
本文评论 Porter 对泊松分布置信区间的综述,指出其关于 FC 似然比检验区间的讨论存在缺陷,核心分歧在于模型不存在的参数空间部分似然函数是否成立。
2025-09-22 physics.data-an
Objective frequentist uncertainty quantification for atmospheric CO$_2$ retrievals
大气中二氧化碳(CO $_2$)的持续增加正在影响全球气候系统,并威胁着地球生态系统的长期可持续性。为了更好地了解CO $_2$的源和汇,NASA运行轨道碳观测-2和3号卫星从太空监测CO $_2$。这些卫星对地球表面反射的太阳光在不同光谱波段进行被动辐射测量,然后在不适定的逆问题中进行反演,以获得大气CO $_2$浓度的估计值。在这项工作中,我们提出了一个新的CO $_2$检索方法,使用已知的物理约束的状态变量和直接反演的目标功能的利益,构建良好校准的频率置信区间的基础上凸规划。我们比较的方法与目前的业务检索过程中,使用先验知识的形式概率分布,正规化的问题。我们表明,建议的时间间隔一致地实现所需的频率覆盖,而操作的不确定性是很差的校准在频率的意义上,无论是在个人的位置,并在一个现实的模拟实验的空间区域。我们还研究了特定滋扰状态变量对拟议间隔长度的影响,并确定了某些关键变量,这些变量可以在给定额外的确定性或概率约束的情况下大大降低最终的不确定性,并开发了一个原则性框架来将此类信息纳入我们的方法中。
2022-04-10 physics.ao-ph physics.data-an stat.AP
Confidence, Statistical Evidence and Relative Belief with Applications to a Problem in Particle Physics
University of Toronto(多伦多大学)
本文提出相对信念推断方法,在泊松信号加背景模型中构建不确定性量化区间,并与Feldman-Cousins区间对比,满足似然排序和频率学派要求。
2026-06-08 hep-ex physics.data-an stat.AP
A Bayesian approach to evaluate confidence intervals in counting experiments with background
在本文中,我们提出了一个程序来评估贝叶斯置信区间计数实验中的信号和背景波动描述的泊松统计。当该方法应用于上限的计算所获得的结果也将被说明。
2011-05-16 hep-ex physics.data-an
Uncertainty quantification for wide-bin unfolding: one-at-a-time strict bounds and prior-optimized confidence intervals
展开是粒子物理学中的一个不适定反问题,旨在从模糊的探测器级数据中推断出真实的粒子级谱。出于计算和实际原因,这些空间通常使用直方图离散化,并且通过对应于颗粒检测器的离散化拖尾核的响应矩阵对拖尾进行建模。这个响应矩阵取决于未知的形状的真实频谱,导致一个基本的系统的不确定性展开的问题。为了处理问题的不适定性质,常见的方法通过诸如吉洪诺夫正则化之类的方法直接正则化问题,或者通过在真实空间中使用匹配检测器分辨率的宽箱来隐式正则化问题。不幸的是,这两种方法导致非平凡的偏差展开估计,从而妨碍频率覆盖保证置信区间从这些方法构建。我们提出了两种新的方法来解决宽箱设置中的偏差,通过称为一次一个严格界限(OSB)和先验优化(PO)间隔的方法。OSB间隔是对现有的重叠覆盖过程的逐箱修改,而PO间隔是基于问题的决策理论观点。重要的是,这两种方法提供了良好的校准频率论置信区间,即使在约束和秩不足的设置。这些方法是建立在一个更一般的答案宽箱偏置问题,涉及展开与细箱第一,其次是构建置信区间的线性泛函的细箱计数。我们测试和比较这些方法与其他可用的方法在宽箱反卷积的例子和现实的粒子物理模拟展开急剧下降的粒子谱。
2022-04-10 physics.data-an stat.AP stat.ME
On Bayesian Treatment of Systematic Uncertainties in Confidence Interval Calculation
在高能物理学中,一种广泛使用的方法来处理系统的不确定性的置信区间计算是基于相结合的频率构造的置信带与系统的不确定性的贝叶斯处理。在这篇文章中,我们提出了一个研究的覆盖范围,这种方法的标准李克俭比(又名费尔德曼和李克俭)建设的泊松过程与已知的背景和高斯或对数正态分布的不确定性的背景或信号效率。对于高达40%的信号效率的不确定性,我们发现根据不确定性的大小和信号空间中的区域,在2至4%的水平上过度覆盖。背景中的不均匀性通常对覆盖率的影响较小。观察到覆盖曲线相当平滑。一个软件包,它允许快速计算的置信区间的形状和大小的系统不确定性的不同滋扰参数的各种假设。计算速度允许实验人员测试其特定条件的覆盖率。
2004-09-24 astro-ph hep-ex physics.data-an
Sensitivity optimization of multichannel searches for new signals
在arXiv:0308063中提出的搜索新现象的灵敏度的频率论定义已被用于许多已发表的实验搜索。在大多数情况下,泊松计数与背景的共同问题的简单近似公式已被认为是足够的目的。然而,现在有许多问题需要更复杂的分析,涉及多个渠道。本文将arXiv:0308063的相同方法应用于多通道Poisson问题,并以封闭形式推导出一个方便的公式,推广了简单计数实验的已知结果。一个明确的解决方案也来自一个共同的情况下,搜索叠加在一个平坦的背景高斯信号。
2020-11-23 hep-ex physics.data-an stat.ME
Comment on "Including Systematic Uncertainties in Confidence Interval Construction for Poisson Statistics"
Conrad等人最近在一篇论文(Physical Review D 67(2003)012002)中讨论了将系统不确定性纳入置信区间计算的问题。在他们的工作中,探测器效率和背景通量预测的系统不确定性被纳入以下的混合频率-贝叶斯公式的Feldman和Highland,但使用的似然比排序的Feldman和Feldman,以产生“统一”的置信区间。一般来说,所得到的间隔表现得与人们直观预期的一样,即随着不确定性的增加而增加。然而,据指出,对于观测到的事件数量少于预期背景或与预期背景数量相当的情况,间隔有时可能以完全违反直觉的方式表现-在不确定性增加的情况下,最初的间隔会减少,但这仅限于信号效率不确定性增加的情况。在这篇评论中,我们表明,有问题的行为是由于整合的信号效率的不确定性,同时最大限度地提高最佳拟合备择假设的可能性。如果备择假设似然是通过无条件最大化未知信号和信号效率不确定性来确定的,则限值显示正确的直观行为。
2003-02-17 physics.data-an
Generalizations related to hypothesis testing with the Posterior distribution of the Likelihood Ratio
李克比的后验分布是Dempster在1974年提出的,用于简单假设与复合假设情况下的显著性检验。在这个假设检验案例中,经典频率论和贝叶斯假设检验是不可调和的,正如林德利悖论,伯杰和塞尔克在1987年和许多其他人所强调的那样。然而,Dempster表明PLR(内部阈值为1)等于简单高斯情况下的频率p值。1997年,Aitkin通过添加一个讨厌的参数扩展了这个结果,并在更一般的分布下证明了它的渐近有效性。在这里,我们扩展的PLR和频率p值之间的和解有限样本,通过一个框架类似于斯坦的定理框架中,一个可信的(贝叶斯)域等于一个置信度(频率)域。该一般协调结果仅涉及简单与复合假设检验。Aitkin在2010年和Evans在1997年提出的措施具有有趣的性质,并扩展了Dempster的PLR,但只是通过添加一个滋扰参数。在这里,我们提出了两个扩展的PLR概念的一般复合与复合假设检验。一旦后验是正确的,就可以为不正确的先验定义第一扩展。第二个扩展出现从一个新的贝叶斯型奈曼-皮尔逊引理,并强调,从贝叶斯的角度来看,LR作为一个差异变量的假设检验的作用。
2014-06-04 physics.data-an stat.ME
Confidence intervals with a priori parameter bounds
我们回顾了构造置信区间的方法,占先验信息的单侧约束参数估计。我们表明,所谓的方法的灵敏度限制产生一个正确的解决方案的问题。导出了具有非负估计参数的连续分布和离散分布,特别是具有背景的泊松过程的解。对于这两种情况下,最好的上限构造,占先验信息。提供了一个表,其中包含泊松分布参数的置信区间,该表正确地说明了背景已知值的信息,以及用于计算任何置信水平和背景幅度的置信区间的软件(该软件可通过互联网免费下载)。
2015-04-27 physics.data-an
Bayesian credible interval construction for Poisson statistics
给出了一个包含信号和背景的泊松观测量的贝叶斯可信区间的构造方法。引入满足背景不大于观测事件的条件概率来构造贝叶斯可信区间。一个Fortran程序,BPOCI,已开发实现计算。
2008-12-15 physics.data-an