Conditional calibration for false discovery rate control under dependence
我们介绍了一类新的方法有限样本错误发现率(FDR)的控制在多重检验问题的依赖检验统计量的依赖是完全或部分已知。我们的方法分别校准每个假设的数据依赖性p值拒绝阈值,适当放宽或收紧阈值以实现精确的FDR控制。除了我们的一般框架,我们提出了一个具体的算法,依赖调整Benjamini-Hochberg(dBH)的过程,自适应阈值的q值为每个假设。在正回归依赖下,dBH过程一致地优于标准BH过程,并且通常它一致地优于Benjamini-Yekutieli(BY)过程(也称为具有对数校正的BH)。仿真和实际数据的例子说明了竞争的FDR控制方法的依赖下的功率增益。
2020-07-20 math.ST stat.ME stat.TH
A stochastic process approach to false discovery control
本文扩展了Benjamini和Hochberg [J. Roy.中央集权主义者Soc.Ser.B57(1995)289-300]。我们开发了一个框架,其中的错误发现比例(FDP)-错误拒绝的数量除以拒绝的数量-被视为一个随机过程。在获得该过程的极限分布后,我们证明了一类用于控制错误发现率(预期FDP)的程序的有效性。我们构造了一个置信包络的整个FDP过程。从这些信封,我们得到的信心阈值,控制分位数的分布的FDP以及控制的数量的错误发现。我们还研究了估计p值分布的方法。
2004-06-25 math.ST stat.TH
Sequential Tests of Multiple Hypotheses Controlling False Discovery and Nondiscovery Rates
我们提出了一个通用的和灵活的程序来测试多个假设的顺序(或流)的数据,同时控制的错误发现率(FDR)和错误的非发现率(FNR)的最小假设下的数据流,可能会有所不同的分布,尺寸,并依赖。所有需要的是用于控制传统的I型和II型错误概率的每个数据流的检验统计量,并且不需要关于统计量或数据流的联合分布的信息或假设。该程序可与顺序、成组顺序、截断或其他采样方案一起使用。该程序是Benjamini和Hochberg(1995)广泛使用的固定样本量程序到顺序数据领域的自然扩展,具有序贯抽样提供的同时FDR和FNR控制的额外好处。我们证明了程序的错误控制,并给出了一些提示,在常见的测试情况下实施。
2019-01-11 math.ST stat.ME stat.TH
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California(南加州大学);Stanford University(斯坦福大学)
多重假设检验是统计推断中的一个核心问题,几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下,引入了假发现率(FDR),即被拒绝的零假设中假阳性的预期比例,并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中,我们考虑的问题,控制FDR在一个“在线的方式”。具体地说,我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序,并证明,在这个类中的任何规则控制在线FDR,提供$p$ -值对应于真正的空值是独立于其他$p$ -值。(早期的工作仅建立了mFDR控制。接下来,我们得到的条件下,广义α投资控制FDR在一般$p$值的依赖关系的存在。最后,我们开发了一套修改后的程序,也可以控制错误发现的比例(尾部的错误发现)。数值模拟和分析结果表明,在线程序不会招致大量的损失,在统计功率相对于离线的方法,如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP
Post-hoc $α$ Hypothesis Testing and the Post-hoc $p$-value
Econometric Institute, Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹计量经济学研究所)
本文提出事后p值概念,通过保证期望中无大小扭曲,实现更可靠的假设检验,并扩展至最优事后检验,同时将马尔可夫不等式转化为事后α等式。
2025-12-02 math.ST stat.ME stat.TH
The False Discovery Rate (FDR) of Multiple Tests in a Class Room Lecture
多个测试被设计为同时测试整个零假设集合。它们的质量通常由错误发现率(FDR)来判断,即错误拒绝的数量除以所有拒绝的数量的商的期望。被广泛引用的Benjamini和Hochberg(BH)逐步多重检验在各种规律性假设下控制FDR。在这篇文章中,我们提出了一个快速的方法来BH步升和步降测试。此外,尖锐的FDR不等式相关的p值和例子和反例进行了讨论。特别是,Bonferroni界是尖锐的依赖控制的家庭明智的差错率。
2015-11-22 math.ST stat.TH
The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests
Department of Statistics and Data Science, University of Pennsylvania(统计与数据科学系,宾夕法尼亚大学)
研究表明本杰明尼-霍奇伯格程序在相关双边高斯检验中可能无法控制FDR,构建因子模型证明在α = 0.01时FDR > 0.0104,反驳了一个二十年的猜想,蒙特卡罗实验与理论相符,证明由GPT - 5.6 Pro获得并经作者检查。
2026-07-15 cs.AI math.ST stat.ME
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
On admissibility in post-hoc hypothesis testing
Carnegie Mellon University(卡内基梅隆大学);Leiden University(莱顿大学);Centrum Wiskunde & Informatica(数学与计算机科学中心)
本文提出了一种事后假设检验理论,允许在数据分析后选择显著性水平,并引入Γ-可接受性概念来评估检验规则的可靠性。
2026-01-19 math.ST stat.ME stat.TH
On the consistency of adaptive multiple tests
当同时测试$m$假设时,已经做了很多努力来控制“错误发现率”(FDR)。FDR是“错误发现比例”$\text{FDP}=V/R$的期望值,由错误拒绝数$V$和所有拒绝数$R$的比率给出。在本文中,我们有一个更密切的关注FDP自适应线性逐步上升多次测试。这些检验通过估计真实零假设的未知量$m_0$来扩展众所周知的Benjamini和Hochberg检验。我们给出精确的有限样本公式的高阶矩的FDP,特别是,其方差。使用这些使我们能够精确地讨论自适应升压测试的一致性。我们提出了充分和必要条件的一致性估计$\widehat m_0$和潜在的概率制度。我们将我们的结果适用于各种调整参数和(可能)数据驱动的权重的广义Storey型估计的凸组合。相应的升压测试允许灵活调整。此外,这些测试控制有限样本量的FDR。我们比较了这些测试与经典的Benjamini和Hochberg测试,并讨论了它的优点。
2018-01-08 math.ST stat.TH
On Online Control of False Discovery Rate
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
多重假设检验是统计推断的核心问题,几乎在各个科学领域都有出现。给定一系列零假设$\mathcal{H}(n) = (H_1,..., H_n)$,Benjamini和Hochberg \cite{benjamini1995controlling}引入了错误发现率(FDR)标准,这是被拒绝的零假设中假阳性的预期比例,并提出了一个测试程序,控制FDR低于预先指定的显著性水平。他们还提出了一个不同的标准,称为mFDR,它不控制已实现的测试集的属性;相反,它控制预期的错误发现数量与预期的发现数量之比。在本文中,我们提出了两个多假设检验的程序,我们称之为“LOND”和“LORD”。这些程序控制\emph{online manner}中的FDR和mFDR。具体地说,我们考虑一个有序的-可能是无限的-序列的零假设$\mathcal{H} = (H_1,H_2,H_3,...)$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。据我们所知,我们的工作是第一个在这种情况下控制FDR的工作。该模型由Foster和Stine \cite{alpha-investing}引入,其alpha投资规则仅以在线方式控制mFDR。为了比较不同的程序,我们开发了下界的总发现率下的混合模型,并证明了LOND和LORD都有近线性的发现数。我们进一步建议调整LOND以解决$p$值之间的任意相关性…
2015-03-04 cs.LG math.ST stat.AP
Dynamic adaptive multiple tests with finite sample FDR control
本文介绍了新的自适应多重检验,它依赖于真实零假设的数量的估计,并控制在有限的样本量的水平α的错误发现率(FDR)。我们推导出确切的公式FDR为一大类的自适应多重测试,适用于一类新的测试程序。在下文中,引入了广义Storey估计量和加权版本,并且证明了相应的自适应步升和步降测试控制FDR。本研究结果还包括特定的动态自适应逐步测试,使用新的广义Storey估计的数据相关加权。此外,还给出了Benjamini Hochberg(1995)定理的一个逆定理。Benjamini Hochberg(1995)检验是唯一一种FDR独立于假零假设的p值分布的“无分布”递增检验。
2014-10-23 math.ST stat.TH
Post hoc inference via joint family-wise error rate control
本研究提出大规模多重检验框架下的事后推断通用方法,定义联合族错误率(JER)准则,提出多种JER控制程序,可纳入相关性并适配未知信号量,涵盖已有方法为特例,理论结论获数值实验支持。
2018-01-08 math.ST stat.TH
False discovery rate control with compound p-values
University of Chicago(芝加哥大学);University of Cambridge(剑桥大学)
该研究探讨多重检验中复合p值的性质,分析Benjamini–Hochberg程序应用于复合p值时,独立与正相依情形下的错误发现率控制表现,并说明复合p值的实际应用场景。
2026-08-07 math.ST stat.ME stat.TH
On a generalized false discovery rate
$k$-FWER的概念最近受到了很多关注,因为对于某些固定的$k\ge 1$,当人们试图至少控制$k$错误拒绝时,它是用于多次测试的适当差错率。一个不太保守的概念,$k$ -FDR,最近由Sarkar [Ann. Statistist. 34(2006)394--415],概括了Benjamini和Hochberg的错误发现率[J. Roy.中央集权主义者Soc.Ser.B57(1995)289- 300]。在这篇文章中,我们带来了新的见解$k$ -FDR考虑一个混合模型,涉及独立的$p$值之前,激发一些新的程序,控制它的发展。我们证明了$k$ -FDR控制的建议方法在一个稍微弱的条件下比在混合模型。我们提供了数值证据,所提出的方法优于某些$k$ -FWER和$k$ -FDR方法的功率性能。最后,我们将我们的方法应用到一个真实的数据集。
2009-06-17 math.ST stat.TH
Differentially Private False Discovery Rate Control
Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
差分隐私为隐私保护数据分析提供了一个严格的框架。本文提出了第一个差分隐私过程中控制的错误发现率(FDR)的多假设检验。受Benjamini-Hochberg过程(BHq)的启发,我们的方法是首先重复地将噪声添加到$p$ -值的序列中以确保差分隐私,并在每次迭代中选择近似最小的$p$ -值作为有希望的候选;所选择的$p$ -值进一步提供给BHq,并且我们的私有过程仅释放被拒绝的值。此外,我们开发了一种新的技术,这是基于一个后向下鞅证明FDR控制的广泛的一类多个测试程序,包括我们的私人程序,和BHq步升和步降程序。作为一个新的方面,证明工程的任意依赖之间的真空和假空检验统计量,而FDR控制保持到一个小的乘法因子。
2021-07-03 cs.LG math.ST stat.TH
False discovery rate control with e-values
作为不确定性、重要性和证据的度量,E值作为P值的潜在替代品已经受到关注。简而言之,e值是由期望值最多为零下1的随机变量实现的;例子包括投注分数,(点零)贝叶斯因子,似然比和停止上鞅。我们设计了一个自然的模拟Benjamini-Hochberg(BH)程序的错误发现率(FDR)控制,利用e值,称为e-BH程序,并将其与标准程序的p值。我们的主要结果之一是,与通常的BH程序不同,e-BH程序将FDR控制在所需的水平上-没有校正-对于e值之间的任何依赖结构。我们表明,新的程序是方便的,在各种设置复杂的依赖,结构化和后选择的假设,和多臂强盗问题。此外,BH过程是通过p值和e值之间的校准的e-BH过程的特殊情况。总的来说,e-BH程序是一种新颖的,强大的和通用的工具,用于依赖下的多个测试,这是对BH程序的补充,在不同的应用中,每一个都是合适的选择。
2021-12-15 math.ST stat.TH
On stepdown control of the false discovery proportion
考虑检验多个零假设的问题。处理多重性问题的经典方法是将注意力限制在控制族错误率($FWER$)的过程上,即即使是一个错误拒绝的概率。然而,如果$s$很大,则对$FWER$的控制非常严格,以至于控制$FWER$的程序检测错误零假设的能力受到限制。因此,需要考虑其他差错控制措施。我们将考虑基于控制错误发现比例($FDP$)的方法,该错误发现比例由错误拒绝的数量除以拒绝的总数(如果没有拒绝,则定义为0)来定义。Benjamini和Hochberg(1995)提出的错误发现率控制了$E(FDP)$。在这里,我们构造方法,使得对于任何$γ$和$α$,$P\{FDP>γ\}\le α$。基于$p$ -值的个别测试,我们认为逐步下降的程序,控制的$FDP$,而不施加依赖假设的联合分布的$p$ -值。Lehmann和Romano \citer 10中给出的方法的一个大大改进的版本被导出并推广,以提供一种方法,通过该方法,任何非减常数序列都可以被重新标度,以确保对$FDP$的控制。我们还提供了一个降压过程,控制$FDR$的依赖性假设下。
2006-10-27 math.ST stat.TH
On Controlling the False Discovery Rate in Multiple Testing of the Means of Correlated Normals Against Two-Sided Alternatives
本文针对相关正态均值双侧多重检验中 BH 方法能否无条件控制 FDR 的开放猜想,在协方差矩阵已知或为已知矩阵未知标量倍数的两种情形下,证明了基于加权 z 或 t 统计量的 BH 型逐步上升方法能够控制 FDR。
2023-04-11 math.ST stat.TH
False Discovery Rate Control under Archimedean Copula
我们考虑Benjamini和Hochberg(1995)考虑的线性逐步上升检验$φ^{LSU}$的错误发现率(FDR)。众所周知,如果$p$值的联合分布是2阶的多变量全正的,则$φ^{LSU}$在$m_0 q / m$级控制FDR。其中,$m$表示假设总数,$m_0$表示真零假设数,$q$表示标称FDR水平。在阿基米德$p$ -值Copula具有完全单调生成元的假设下,我们得到了$φ^{LSU}$的FDR的一个更精确的上界和一个非平凡的下界。应用阿基米德$p$ -值Copula的参数子类的更清晰的上限允许我们通过预先估计Copula参数和调整$q$来增加$φ^{LSU}$的功率。基于该下界,得到了$φ^{LSU}$的FDR与$m_0 q / m$完全相等的充分条件,与随机无关的$p$ -值的情况相同.最后,通过建立可交换$p$ -值的无穷序列与具有完全单调生成元的阿基米德Copula之间的联系,我们处理了具有可交换检验统计量的高维多重检验问题.我们的理论结果适用于重要的copula家庭,包括克莱顿copulae和Gumbel copulae。
2013-11-29 math.ST stat.TH
Asymptotic Results on Adaptive False Discovery Rate Controlling Procedures Based on Kernel Estimators
错误发现率(FDR)是多测试问题中常用的I类差错率。它被定义为预期的假发现比例(FDP),即被拒绝的假设中假阳性的预期比例。当假设是独立的,Benjamini-Hochberg程序实现FDR控制在任何预先指定的水平。通过构造,FDR控制在功率或II类误差方面不提供保证。已经开发了一些替代程序,包括插件程序,旨在通过纳入真实零假设的比例估计来获得功率。在本文中,我们研究的渐近行为的一类插件程序的基础上的核估计的密度的$p$ -值,作为数量$m$的测试假设增长到无穷大。在一个设置的假设测试是独立的,我们证明,这些程序是渐近更强大的两个方面:(i)一个更严格的渐近FDR控制的任何目标FDR水平和(ii)更广泛的目标水平产生积极的渐近功率。我们还表明,这种增加的渐近功率是以较慢的价格,非参数收敛速度的FDP。这些比率的形式为$m^{-k/(2k+1)}$,其中$k$由$p$值分布的密度的规律性确定,或等效地由检验统计量分布的密度的规律性确定。这些结果适用于单侧和双侧检验统计的高斯和拉普拉斯位置模型,并为学生模型。
2013-04-20 math.ST physics.data-an q-bio.QM
Private False Discovery Rate Control
我们提供了第一个差分隐私算法,用于控制多个假设检验中的错误发现率(FDR),在某些条件下基本上没有功率损失。我们的一般方法是采用Benjamini-Hochberg过程(BHq)的一个众所周知的变体,使每个步骤都具有差异性。这破坏了FDR控制的经典证明。为了证明FDR控制我们的方法,(a)我们开发了一个新的证明原来的(非私人)BHq算法和它的强大的变种-证明只需要假设真空检验统计量是独立的,允许任意的真空值和假空值之间的相关性。这个假设是相当弱的,以前在大量的文献中所示的这一主题相比,并解释了部分经验的鲁棒性BHq。然后(b)我们将差分私有版本的FDR控制属性与非私有版本的控制属性相关联。\end{enumerate}我们还提出了一个低失真的“一次”差分私有原语的“顶部$k$“的问题,例如,“$k$最受欢迎的爱好是什么?(我们将其应用于:“哪些假设具有最显著的$p$ -值?“),并使用它来获得我们的通用方法的更快的隐私保护实例化,而在准确性方面的成本很小。one-shot top~ $k$算法的隐私性证明引入了一种新的独立兴趣技术。
2015-11-12 cs.DS math.ST stat.ML