Online multi-layer FDR control
本文针对流式假设检验中多层级分组的需求,提出在线同时控制多个划分FDR的程序,并给出理论证明与模拟验证。
2025-06-03 stat.ME
Testing composite null hypotheses with high-dimensional dependent data: a computationally scalable FDR-controlling procedure
Duke University(杜克大学);Texas A&M University(德克萨斯农工大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对高维相关数据检验复合零假设的难题,开发四状态隐马尔可夫模型并基于此提出多重检验程序控制错误发现率,引入新e值框架解决扩展性问题,模拟和应用表明该方法功效高,能识别新的可重复信号。
2026-07-20 stat.ME
Multiple testing with discrete data: proportion of true null hypotheses and two adaptive FDR procedures
当p值具有离散和异质零分布时,我们考虑具有错误发现率(FDR)控制的多重检验。我们提出了一个新的估计比例的真实零假设,并证明它是向上偏少比Storey的估计和其他两个估计。新的估计器包括两个自适应过程,即,自适应Benjamini-Hochberg(BH)过程和自适应Benjamini-Hochberg-Heyse(BHH)过程。我们证明了自适应BH过程是保守的非渐近。通过模拟研究,我们表明,这些程序通常是更强大的比他们的非自适应同行和自适应BHH程序通常是更强大的自适应BH程序和基于随机p值的程序。自适应程序应用于HIV疫苗效力的研究,其中它们在相同FDR水平下比BH程序识别更多差异多态性位置。
2017-08-31 stat.ME
Sequential Tests of Multiple Hypotheses Controlling False Discovery and Nondiscovery Rates
我们提出了一个通用的和灵活的程序来测试多个假设的顺序(或流)的数据,同时控制的错误发现率(FDR)和错误的非发现率(FNR)的最小假设下的数据流,可能会有所不同的分布,尺寸,并依赖。所有需要的是用于控制传统的I型和II型错误概率的每个数据流的检验统计量,并且不需要关于统计量或数据流的联合分布的信息或假设。该程序可与顺序、成组顺序、截断或其他采样方案一起使用。该程序是Benjamini和Hochberg(1995)广泛使用的固定样本量程序到顺序数据领域的自然扩展,具有序贯抽样提供的同时FDR和FNR控制的额外好处。我们证明了程序的错误控制,并给出了一些提示,在常见的测试情况下实施。
2019-01-11 math.ST stat.ME stat.TH
Asynchronous Online Testing of Multiple Hypotheses
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
我们考虑的问题,异步在线测试,旨在提供控制的错误发现率(FDR)在一个连续的数据流收集和测试,其中每个测试可能是一个顺序的测试,可以在任意时间开始和停止。这种设置越来越多地体现了科学和工业中的现实应用,大型组织的研究人员团队可以以分散的方式进行假设测试。时间和空间上的重叠也倾向于引起检验统计量之间的依赖性,这是对经典方法的挑战,经典方法要么假设(过于乐观地)检验统计量之间的独立性,要么假设(过于悲观地)任意依赖性。我们提出了一个通用的框架,通过一个统一的计算抽象,我们称之为“冲突集”,解决这两个问题。“我们展示了这个框架如何在一个更中间的、局部的依赖概念下产生具有正式FDR保证的算法。我们说明我们的算法在模拟中比较现有的在线FDR控制算法。
2020-08-21 cs.LG math.ST stat.ME
The Control of the False Discovery Rate in Fixed Sequence Multiple Testing
控制错误发现率(FDR)是多重检验的一种有效方法。在许多应用中,测试的假设有一个固有的层次结构。在本文中,我们专注于固定序列结构的假设的测试顺序已被严格规定提前。我们有动机研究这样的结构,因为它是最基本的层次结构,但它经常出现在实际应用中,如统计过程控制和流数据分析。我们首先考虑一个传统的固定序列的方法,停止测试,一旦接受发生,并开发这样一种方法控制FDR下任意和负的依赖关系。在任意依赖下的方法被证明是不可改进的,而不会失去对FDR的控制,与现有的FDR方法不同,它甚至不能通过限制到通常的正回归依赖子集(PRDS)条件来改进。考虑到任何潜在的错误,在测试的顺序,我们延长了传统的固定序列的方法,允许更多,但一定数量的验收。仿真研究表明,所提出的程序可以强大的替代现有的FDR控制程序。通过一个真实的数据集,从微阵列实验所提出的程序进行说明。
2016-11-10 math.ST stat.ME stat.TH
A Unified View of False Discovery Rate Control: Reconciliation of Bayesian and Frequentist Approaches
本文探讨了贝叶斯错误发现率(FDR)控制过程和频率论控制过程之间的内在联系。我们试图提供一个统一的观点,FDR控制内和外的设置测试可交换的假设。在标准两组模型和Oracle条件下,我们证明了贝叶斯和频率论方法可以在任意水平上实现渐近等价的FDR控制。基于这一结果,我们进一步说明,严格的后拟合模型诊断是必要的和有效的,以确保强大的FDR控制参数贝叶斯方法。此外,我们表明,贝叶斯FDR控制方法是连贯的,自然扩展到设置超越测试交换假设。特别是,我们说明,$p$值不再是自然的统计工具,最佳频率FDR控制在测试不可交换的假设。最后,我们说明了由我们的理论结果激励的简单数值配方可以有效地检查贝叶斯和频率论程序中通常假设的一些关键模型假设(例如,零假设)。
2018-03-14 stat.ME
Accumulation tests for FDR control in ordered hypothesis testing
现代科学应用中出现的多重检验问题可能涉及同时检验数千甚至数百万个假设,而真正的信号相对较少。在本文中,我们考虑了多重检验问题,其中先验信息是可用的(例如,从早期的研究在不同的实验条件下),这可以让我们测试的假设作为一个排名列表,以增加发现的数量。给定n个假设的有序列表,目的是选择数据相关的截止值k,并声明前k个假设在统计学上是显著的,同时限制错误发现率(FDR)。概括了几种现有的方法,我们开发了一系列“累积测试”来选择适合排名列表顶部信号量的截止k。我们介绍了一种新的方法在这个家庭中,HingeExp方法,它提供了更高的功率来检测真实的信号相比,现有的技术。我们的理论结果证明,这些方法控制有限样本上的一个修改的FDR,并在家庭中的方法的功率的特点。我们将测试应用于模拟数据,包括线性回归的高维模型选择问题。我们还比较积累测试现有的方法,多重检验的一个真实的数据问题,确定差异基因表达的剂量梯度。
2016-06-25 stat.ME
Asymptotic Results on Adaptive False Discovery Rate Controlling Procedures Based on Kernel Estimators
错误发现率(FDR)是多测试问题中常用的I类差错率。它被定义为预期的假发现比例(FDP),即被拒绝的假设中假阳性的预期比例。当假设是独立的,Benjamini-Hochberg程序实现FDR控制在任何预先指定的水平。通过构造,FDR控制在功率或II类误差方面不提供保证。已经开发了一些替代程序,包括插件程序,旨在通过纳入真实零假设的比例估计来获得功率。在本文中,我们研究的渐近行为的一类插件程序的基础上的核估计的密度的$p$ -值,作为数量$m$的测试假设增长到无穷大。在一个设置的假设测试是独立的,我们证明,这些程序是渐近更强大的两个方面:(i)一个更严格的渐近FDR控制的任何目标FDR水平和(ii)更广泛的目标水平产生积极的渐近功率。我们还表明,这种增加的渐近功率是以较慢的价格,非参数收敛速度的FDP。这些比率的形式为$m^{-k/(2k+1)}$,其中$k$由$p$值分布的密度的规律性确定,或等效地由检验统计量分布的密度的规律性确定。这些结果适用于单侧和双侧检验统计的高斯和拉普拉斯位置模型,并为学生模型。
2013-04-20 math.ST physics.data-an q-bio.QM
A grouped, selectively weighted false discovery rate procedure
结构化假设检验中的错误发现率控制是同时推理中的一个重要课题。大多数现有的方法,旨在利用组结构之间的假设,要么采用groupwise混合模型或加权所有p值或假设。因此,当分组混合模型不合适或大多数组仅包含真零假设时,可以提高它们的功效。出于这一动机,我们提出了一个分组的,选择性加权的FDR程序,我们称之为“sGBH”。具体而言,在不采用分组混合模型的情况下,sGBH识别感兴趣的假设组,仅对每个这样的组中的p值进行加权,并且仅使用加权的p值来测试所选择的假设。sGBH包含标准分组加权FDR程序,我们将其称为“GBH”。我们提供了简单的条件,以确保sGBH的保守性,连同经验证据,其大大提高了GBH的权力。新的程序应用于基因表达研究。
2019-08-14 stat.ME
Improving online FDR procedures via online analogs of e-closure and compound e-values
Carnegie Mellon University(卡内基梅隆大学);University of Bremen(不来梅大学)
本文提出一种改进在线多重检验方法的框架,通过在线e-closure原理和新型复合e值定义,实现严格功率提升并保持FDR控制,算法在O(log t)时间内完成决策,并在合成和真实数据上表现更优。
2026-07-09 math.ST stat.ME stat.TH
A New Procedure for Controlling False Discovery Rate in Large-Scale t-tests
研究了大规模多重测试问题中的错误发现率控制问题。本文首先提出了一种新的数据驱动检验方法,用于控制单样本均值问题大规模t检验中的FDR。无论检验次数或样本量如何,当总体是对称的时,所提出的方法在有限样本设置中实现了精确的FDR控制。与现有的自举方法FDR控制相比,所提出的方法是计算效率。我们表明,所提出的方法可以控制FDR渐近不对称的人口,即使检验统计量是不独立的。我们进一步表明,所提出的程序与一个简单的校正是准确的自举方法的二阶度,可能是更有效的比现有的正常校准。我们将所提出的方法推广到双样本均值问题.实验结果表明,所提出的程序有更好的FDR控制比现有的真实的替代假设的比例不太低,同时保持合理的良好的检测能力。
2020-02-28 math.ST stat.ME stat.TH
Simultaneous false discovery rate control in location families
University of Southern California(南加州大学);University of Pennsylvania(宾夕法尼亚大学);University of Cambridge(剑桥大学)
本文提出在位置族中同时控制FDR的方法,扩展Benjamini-Hochberg过程以控制FDR曲线,展示标准方法也同时控制整个FDR曲线。
2026-05-10 stat.ME
The Benjamini--Hochberg Procedure Can Fail to Control the FDR for Correlated Two-Sided Gaussian Tests
Department of Statistics and Data Science, University of Pennsylvania(统计与数据科学系,宾夕法尼亚大学)
研究表明本杰明尼-霍奇伯格程序在相关双边高斯检验中可能无法控制FDR,构建因子模型证明在α = 0.01时FDR > 0.0104,反驳了一个二十年的猜想,蒙特卡罗实验与理论相符,证明由GPT - 5.6 Pro获得并经作者检查。
2026-07-15 cs.AI math.ST stat.ME
Adaptive False Discovery Rate Control for Heterogeneous Data
努力开发更有效的多个假设检验程序的错误发现率(FDR)控制的重点是纳入真实的零假设的比例估计(这种程序被称为自适应)或利用异质性通过一些最佳的加权方案测试。本文结合这些方法使用加权自适应多决策函数(WAMDF)的框架。导出了一个灵活随机效应模型的最优权值,并给出了在原假设下,当检验统计量独立时,控制任意加权方案FDR的WAMDF.渐近和数值评估表明,弱相关下,建议WAMDFs提供更有效的FDR控制,即使最佳的权重是错误的。所提出的方法的鲁棒性和灵活性,有利于开发更有效的,但实际的,FDR程序的异构数据。为了说明,两种不同的加权自适应FDR方法的异质样本量的开发和应用数据。
2017-02-10 stat.ME
Online control of the false discovery rate in biomedical research
现代生物医学研究经常涉及测试多个相关假设,同时保持对适当错误率的控制。在许多应用中,错误发现率(FDR),即被拒绝的假设中假阳性的预期比例,已成为标准误标准。控制FDR的程序,例如众所周知的Benjamini-Hochberg程序,假设所有p值均可在单个时间点进行检验。然而,这忽略了许多生物医学实验的连续性,在这些实验中,一系列假设被测试,而无法获得未来的p值甚至假设的数量。最近,Javanmard和Montanari(Ann. Stat. 2018),并由Ramdas等人建立(NIPS 2017,ICML 2018)。在本文中,我们比较和对比这些建议的程序,特别侧重于设置的p值是依赖的。我们还提出了一个简单的修改程序时,有一个上限的假设进行测试的数量。使用全面的模拟场景和案例研究,我们提供了建议,在实践中使用的程序在线FDR控制。
2018-09-26 stat.AP stat.ME
On Online Control of False Discovery Rate
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
多重假设检验是统计推断的核心问题,几乎在各个科学领域都有出现。给定一系列零假设$\mathcal{H}(n) = (H_1,..., H_n)$,Benjamini和Hochberg \cite{benjamini1995controlling}引入了错误发现率(FDR)标准,这是被拒绝的零假设中假阳性的预期比例,并提出了一个测试程序,控制FDR低于预先指定的显著性水平。他们还提出了一个不同的标准,称为mFDR,它不控制已实现的测试集的属性;相反,它控制预期的错误发现数量与预期的发现数量之比。在本文中,我们提出了两个多假设检验的程序,我们称之为“LOND”和“LORD”。这些程序控制\emph{online manner}中的FDR和mFDR。具体地说,我们考虑一个有序的-可能是无限的-序列的零假设$\mathcal{H} = (H_1,H_2,H_3,...)$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。据我们所知,我们的工作是第一个在这种情况下控制FDR的工作。该模型由Foster和Stine \cite{alpha-investing}引入,其alpha投资规则仅以在线方式控制mFDR。为了比较不同的程序,我们开发了下界的总发现率下的混合模型,并证明了LOND和LORD都有近线性的发现数。我们进一步建议调整LOND以解决$p$值之间的任意相关性…
2015-03-04 cs.LG math.ST stat.AP
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California(南加州大学);Stanford University(斯坦福大学)
多重假设检验是统计推断中的一个核心问题,几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下,引入了假发现率(FDR),即被拒绝的零假设中假阳性的预期比例,并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中,我们考虑的问题,控制FDR在一个“在线的方式”。具体地说,我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序,并证明,在这个类中的任何规则控制在线FDR,提供$p$ -值对应于真正的空值是独立于其他$p$ -值。(早期的工作仅建立了mFDR控制。接下来,我们得到的条件下,广义α投资控制FDR在一般$p$值的依赖关系的存在。最后,我们开发了一套修改后的程序,也可以控制错误发现的比例(尾部的错误发现)。数值模拟和分析结果表明,在线程序不会招致大量的损失,在统计功率相对于离线的方法,如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP
FDR control with adaptive procedures and FDR monotonicity
生物学中高通量技术的可用性和使用率的急剧上升带来了对在多个测试中控制错误发现率(FDR)的方法的明确需求。Benjamini和Hochberg(BH)在1995年引入了一个简单的过程,并证明了它提供了期望值$\mathit{FDR}\leq q$的界。从那时起,许多作者试图改善BH界,其中一种方法是设计自适应程序,旨在估计真实原假设的数量,以获得更好的FDR界。我们的两个主要的严格的结果如下:(i)一个定理,提供了一个自适应程序,使用任何估计的真实假设($m_0$)的数量上的FDR的界限,(ii)一个定理,证明了一般BH类程序的单调性,无论是假设是独立的情况下。我们还提出了两个改进的程序,我们证明了FDR控制的独立情况下,并证明了它们的优势,在几个可用的界限,模拟数据和大量的基因表达数据集。这两个应用程序都很简单,涉及的计算量与原始BH程序相似。我们比较了我们提出的程序与BH和其他程序的性能,发现在大多数情况下,我们得到更多的权力相同水平的统计显著性。
2011-08-10 stat.AP stat.ME
Multiple Hypotheses Testing For Variable Selection
已经开发了许多方法来估计稀疏线性模型Y= XB+e中的相关变量集,其中B的维数p可以远大于Y的长度n。在这里,我们提出了两个新的方法,基于多个假设检验,无论是有序或无序的变量。我们的方法受到Baraud等人(2003)提出的测试方法的启发。新的程序被证明是强大的在一定条件下的信号和他们的性质是非渐近的。他们在估计相关变量集方面比错误发现率(FDR)和Lasso都给出了更好的结果,无论是在普通情况下(p<n)还是在高维情况下(p>n)。
2012-06-10 math.ST stat.ME stat.TH
A more practical approach for the Benjamini-Hochberg FDR controlling procedure for huge-scale testing problems
我们解决了大规模数据分析中的一个常见问题,特别是遗传学领域,即大规模测试问题,其中数百万到数十亿个假设一起测试,从而产生了执行多个假设测试程序的计算挑战。作为一种解决方案,我们提出了一种替代算法,以及使用线性逐步上升过程的Benjamini和Hochberg(1995)。我们的算法需要线性时间,不需要任何p值排序。它允许将大规模的测试问题任意地分成计算上可行的集合或块。来自块的结果由我们的算法组合以产生与整个测试集上的控制过程相同的结果,从而即使当p值被任意划分时也控制全局错误发现率。实际的存储器使用也可以由可用存储器的大小任意确定。
2015-01-21 stat.ME
DAGGER: A sequential algorithm for FDR control on DAGs
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个线性时间,单通,自上而下的算法多重检验有向无环图(DAG),其中节点表示假设和边缘指定的偏序,假设必须进行测试。该过程保证以有界错误发现率(FDR)拒绝子DAG,同时满足被拒绝节点的父节点也必须被拒绝的逻辑约束。当DAG结构是先验已知的,但选择性地获得$p$值(例如在一系列实验中)时,该算法被设计用于顺序测试设置,但当所有$p$值可以提前计算(例如变量/模型选择)时,该算法也适用于非顺序设置。我们的DAGGER算法,简写为Greatest进化拒绝DAG,可证明控制下的独立,正相关或任意依赖的$p$ -值的错误发现率。DAGGER过程专门用于树和线图的特殊情况下的已知算法,并且当DAG没有边时简化为经典的Benjamini-Hochberg过程。我们使用模拟以及对应于基因本体的真实数据集来探索DAGGER的经验性能,在时间和功率方面表现出良好的性能。
2018-12-04 cs.LG math.ST stat.ME
PAPRIKA: Private Online False Discovery Rate Control
Georgia Institute of Technology(佐治亚理工学院);University of Waterloo(滑铁卢大学)
在假设检验中,当由于样本中的噪声而错误地拒绝假设时,会发生错误发现。当自适应地测试多个假设时,错误发现的概率随着执行更多的测试而增加。因此,错误发现率(FDR)控制的问题是找到一个程序,用于测试多个假设,考虑这种影响,在确定一组假设拒绝。目标是最小化错误发现的数量(或分数),同时保持高的真阳性率(即,正确的发现)。本文研究了样本差异隐私约束下多假设检验中的错误发现率控制问题。与以前在这个方向上的工作不同,我们专注于在线设置,这意味着必须在执行测试后立即做出关于每个假设的决定,而不是像离线设置那样等待所有测试的输出。我们提供了新的私人算法的基础上,国家的最先进的非私人在线FDR控制的结果。我们的算法对隐私和统计性能具有强有力的可证明保证,这些性能由FDR和功率来衡量。我们还提供了实验结果来证明我们的算法在各种数据环境中的有效性。
2020-10-21 cs.CR cs.DS cs.LG
Dynamic adaptive procedures that control the false discovery rate
在具有独立检验的多重检验问题中,经典线性逐步上升过程将错误发现率(FDR)控制在$π_0α$水平,其中$π_0$是真零假设的比例,$α$是目标FDR水平。自适应过程可以通过合并$π_0$的估计来提高功率,所述估计通常依赖于调谐参数。固定的自适应程序在看到数据之前设置其调谐参数,并且可以显示为在有限样本中控制FDR。我们开发的动态自适应程序,其调整参数的数据确定的理论结果。我们表明,如果调谐参数选择根据从左到右的停止时间规则,相应的动态自适应过程控制有限样本的FDR。例子包括最近提出的右边界程序和广泛使用的最低斜率程序等。仿真结果表明,在独立和弱相关条件下,右边界方法比其他动态自适应方法更有效。
2019-08-28 math.ST stat.ME stat.TH
Multiple testing with the structure adaptive Benjamini-Hochberg algorithm
在同时测试大量假设的多重检验问题中,错误发现率(FDR)控制可以用众所周知的Benjamini-Hochberg过程来实现,该过程适应于数据中存在的信号量。已经提出了对该过程的许多修改,以提高假设被组织成组或层次结构以及其他结构化设置的场景中的功效。在这里,我们介绍SABHA,“结构自适应Benjamini-Hochberg算法”,作为这些自适应测试方法的推广。SABHA结合了关于假设列表内的信号和空值的位置模式中的任何预定类型的结构的先验信息,以数据自适应的方式重新加权p值。这通过在信号似乎更常见的地区进行更多的发现来提高功率。我们的主要理论结果证明,SABHA控制FDR在一个水平,这是最多略高于目标FDR水平,只要自适应权重被充分约束,以便不过拟合太多的数据有趣的是,多余的FDR可以相关的拉德马赫复杂度或高斯宽度的类,我们选择我们的数据自适应权重。我们将这个一般框架应用于各种结构化设置,包括有序,分组和低总变差结构,并获得每个特定设置的FDR上的界限。我们还研究了SABHA对fMRI活动数据和基因/药物反应数据以及模拟数据的经验表现。
2017-09-13 stat.ME
Adaptive Controls of FWER and FDR Under Block Dependence
通常在多重检验中,假设出现在不重叠的块中,相关的$p$值在块内而不是块之间表现出依赖性。我们考虑适应Benjamini-Hochberg方法控制的错误发现率(FDR)和Bonferroni方法控制的familywise错误率(FWER),这样的依赖结构,而不会失去其最终控制的FDR和FWER,分别在一个非渐近设置。我们提出了传统的自适应Benjamini-Hochberg和Bonferroni方法的变种,证明了它们各自的控制FDR和FWER。数值结果表明,这些新的自适应方法可以捕捉到目前的依赖结构比相应的传统的自适应方法更有效。本文提供了一个解决方案的开放性问题,构建自适应FDR和FWER控制方法的依赖下,在非渐近设置,并提供真正的改进,相应的非自适应的。
2016-11-10 stat.ME
Catch me if you can: Signal localization with knockoff e-values
针对多分辨率假设检验中自适应选择精确发现并控制FDR的难题,提出基于e值和线性规划的方法,结合knockoff框架,并在英国生物银行数据上验证了有效性。
2024-04-19 stat.ME
Testing over a continuum of null hypotheses with False Discovery Rate control
我们认为统计假设检验同时在一个相当普遍的,可能是无限的,一组零假设,假设一个合适的单一测试(和相应的$p$值)是已知的每个单独的假设。我们将错误发现率(FDR)的概念扩展到该设置,作为第一类错误的度量。我们的主要结果研究的具体程序的基础上观察的$p$值的过程。在标称水平的FDR的控制下,确保任意依赖的$p$值,或在假设的有限维分布的$p$值过程具有正相关的特定类型(弱PRDS)。这两种情况都推广了有限环境下已有的结果。它的兴趣表现在几个非参数的例子:测试的平均值/信号在高斯白噪声模型,测试强度的泊松过程和测试的c.d. f。关于I.I.D.随机变量。
2014-02-06 stat.ME
Robust Bayesian FDR Control using Bayes Factors, with Applications to Multi-tissue eQTL Discovery
基于基因组学在表达量性状基因座(eQTL)定位中的应用,本文提出了一种新的方法,以贝叶斯因子作为输入检验统计量进行多个假设的同时检验。该方法的一个最显著的特点是它的鲁棒性,即使在参数替代模型的误指定下,也能控制目标错误发现率(FDR)。此外,所提出的程序是高度计算效率,这是理想的处理复杂系统和大数据的基因组应用。我们讨论了新的程序的理论特性,并证明了它的权力和计算效率在单组织和多组织eQTL定位的应用。
2016-06-08 stat.AP stat.ME
Optimal exact tests for composite alternative hypotheses on cross tabulated data
我们提出的方法来构建交叉表列数据的“困难”的复合替代假设,没有自然的检验统计量的确切显着性检验。我们构造了一个发现辛普森悖论的检验和一个发现两个有序变量之间正相关的一般检验。我们的检验是似然比检验的贝叶斯推广,它们对于先验分布是最优的,并且与贝叶斯因子和贝叶斯FDR控制检验过程密切相关。
2013-12-11 stat.ME
Optimal and Maximin Procedures for Multiple Testing Problems
多重检验问题是现代统计分析的主要问题。多重检验程序的基本目标是拒绝尽可能多的虚假零假设(即,最大化某些功效概念),并控制错误发现的总体度量,如族错误率(FWER)或错误发现率(FDR)。在本文中,我们制定多重检验的简单假设作为一个无限维的优化问题,寻求最强大的拒绝政策,保证强有力的控制所选择的措施。从这个意义上说,我们的方法是对单个假设的最优Neyman-Pearson检验的推广。我们表明,可交换的假设,FWER和FDR和相关概念的权力,这些问题可以制定为无限的线性规划,并可以在原则上解决任何数量的假设。我们还描述了复杂的替代品的最大最小规则,并表明,这样的规则可以在实践中找到,从而改善现有的替代品相比,实际的程序。我们得到明确的最佳测试FWER或FDR控制三个独立的正常手段。我们发现,在所有的设置检查的自然竞争对手的权力增益是实质性的。最后,我们将我们的最优最大极小规则应用于Cochrane图书馆系统评价中的亚组分析,从而增加了发现的数量,同时保证了对单侧替代方案的强大FWER控制。
2020-11-25 stat.ME
Controlling the False Discovery Rate in Complex Multi-Way Classified Hypotheses
在这篇文章中,我们提出了一个广义加权版本的著名Benjamini-Hochberg(BH)过程。我们的方法所使用的严格的加权方案,使它能够编码的结构信息,同时多路分类以及分层分区的假设成组,规定,以适应重叠的群体。该方法被证明可以控制错误发现率(FDR)时,涉及的p值是正回归依赖于空p值的子集(PRDS)。提出了一种数据自适应版本的方法。仿真结果表明,我们提出的方法控制FDR在所需的水平,是更强大的比现有的可比多重检验程序,当p值是独立的或满足一定的依赖条件。我们应用这种数据自适应方法来分析神经成像数据集,并了解酒精中毒对人类大脑的影响。神经成像数据通常具有复杂的分类结构,这在先前提出的多重检验过程的后续推断中没有被充分利用。通过灵活的加权方案,我们的方法准备从数据中提取更多信息,并使用它来执行更明智和有效的假设测试。
2021-05-23 stat.ME
Online control of the False Discovery Rate in group-sequential platform trials
当检验多个假设时,即使在探索性试验中,也应该控制适当的错误率。控制错误发现率(FDR)的传统方法假定所有p值在测试决策的时间点都可用。然而,在平台试验中,治疗组在试验进行期间的任何时间进入和离开试验。因此,处理和假设检验的数量不是预先固定的,假设不是立即检验的,而是顺序检验的。最近,对于这样的设置,引入了FDR的在线控制的概念。我们研究了LOND程序,以控制平台试验中的在线FDR,并提出了一个扩展,以允许中期分析,并选择提前停止有效性或无效性的个别假设。功效敏感地取决于效应量的先验分布,例如,真正的替代品是否随时间均匀分布。我们考虑LOND程序的设计参数的选择,以最大限度地提高总体功效,并比较OBrien-Fleming组序贯设计与Pocock方法。最后,我们调查的错误率的影响,包括并发和非并发控制数据。
2021-12-20 stat.ME
Conformalized Multiple Testing under Unknown Null Distribution with Symmetric Errors
针对大规模多重检验中理论零分布偏差影响FDR分析的问题,提出采用自校准经验零样本的共形化经验贝叶斯方法,仅需误差对称弱条件即可实现有限样本FDR控制,兼具更高检验功效与最优性理论支撑。
2025-09-04 math.ST stat.ME stat.TH
Variable Selection with the Knockoffs: Composite Null Hypotheses
本文将固定-X knockoff 滤波器理论扩展至复合零假设检验,提出 S-OLS 和 FRPP 两种方法应对依赖特征下的复合零假设,并证明 S-OLS 启发式变体优于 BH 程序,同时分析了原方法直接用于复合检验时的 FDR 损失。
2023-11-27 eess.SP math.ST stat.ME
The Power of Batching in Multiple Hypothesis Testing
控制多重检验中的错误发现率(FDR)的算法的一个重要划分是离线算法和在线算法。第一种通常实现显着更高的发现能力,而后者允许顺序地做出决策,并根据过去的观察自适应地制定假设。使用现有的方法,目前还不清楚如何权衡这两个广泛的算法家族的好处,同时保留其正式的FDR保证。为此,我们引入$\text{Batch}_{\text{BH}}$和$\text{Batch}_{\text{St-BH}}$,算法用于控制FDR时,可能是无限序列的批次的假设进行测试,反复应用的最广泛使用的离线算法之一,Benjamini-Hochberg(BH)的方法或层的BH方法的改进。我们表明,我们的算法插入现有的在线和离线方法之间,从而权衡了两全其美。
2021-03-04 stat.ME stat.ML
Sequential resetting procedures and false discovery rate
Georgia State University(佐治亚州立大学);University of Waterloo(滑铁卢大学);Massachusetts Institute of Technology(麻省理工学院)
针对序贯数据中的多重检验问题,提出基于e值和检验超鞅的序贯重置程序,在FDR控制下定位失效区间,并给出两种设置下的明确界限,应用于LLM水印检测和金融回测。
2026-10-14 math.ST stat.AP stat.ME
Large-scale Multiple Testing: Fundamental Limits of False Discovery Rate Control and Compound Oracle
本文研究大规模多重检验中 FDR 与 FNR 的根本权衡,证明最优 FDR–FNR 边界需要复合规则,并给出高概率 FDP 控制下的对应最优结果。
2025-08-31 math.ST stat.ME stat.TH
STAR: A general interactive framework for FDR control under structural constraints
我们提出了一个通用框架的基础上选择性遍历累积规则(STAR)的交互式多重检验与通用结构约束的拒绝集。它将有序多重检验的累积检验与后选择推理的数据雕刻思想相结合,允许高度灵活地适应通用结构信息。我们的程序定义了一个交互式协议,逐步修剪候选人拒绝集,开始与所有假设的设置和收缩的每一步。通过限制在每一步的信息通过一种技术,我们称之为屏蔽,我们的协议使互动,同时控制错误发现率(FDR)在有限的样本中的任何数据自适应更新规则,分析师可以选择。我们建议更新规则的各种应用程序具有复杂的结构约束,显示STAR表现良好的问题,从凸区域检测到FDR控制有向无环图,并显示如何将其扩展到回归问题,其中敲除统计是可用的代替$p$ -值。
2020-09-07 stat.ME
A weighted FDR procedure under discrete and heterogeneous null distributions
具有错误发现率(FDR)控制的多重检验已在p值具有离散和异质零分布的"离散范式”中广泛进行。然而,在这种情况下,现有的FDR程序往往会失去一些权力,并可能产生不可靠的推断,并在这种情况下,似乎没有一个FDR程序,分区假设成组,采用数据自适应的权重和非渐近保守。我们提出了一个加权FDR程序的多重检验的离散范式,有效地适应异质性和离散性的p值分布。我们从理论上证明了加权FDR程序在独立性下的非渐近保守性,并通过模拟研究表明,对于基于二项式检验或Fisher精确检验的p值的多重检验,它比其他六种程序更有效。加权FDR程序被应用到药物安全性研究和基于离散数据的差异甲基化研究中,它比现有的两种方法有更多的发现。
2019-07-21 stat.ME
Controlling the false discovery rate in high-dimensional linear models using model-X knockoffs and $p$-values
Southwestern University of Finance and Economics(西南财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Temple University(天普大学);Tongji University(同济大学)
本文提出一种新的多重检验方法,结合模型-X knockoffs技术与去偏惩罚回归估计器,以在高维线性模型中控制假发现率,通过构建自然配对的高维检验统计量和p值,提升检验功效。
2026-10-15 math.ST stat.ME stat.TH
Online control of the false discovery rate with decaying memory
University of California, Berkeley(加州大学伯克利分校)
在在线多重检验问题中,需要逐个观察不同原假设对应的p值,并立即决定是否拒绝当前假设,然后观察下一个p值。由Foster和Stine提出的控制错误发现率(FDR)的阿尔法投资算法已经被推广并应用于许多环境,包括科学中的质量保持数据库和互联网商务的多A/B或多臂强盗测试。本文从四个方面改进了广义阿尔法投资算法(GAI):(a)我们展示了如何通过为每次拒绝授予更多的α财富来统一提高整个单调GAI程序类的功率,为Javanmard和Montanari最近提出的困境提供双赢的解决方案,(b)我们展示了如何结合先验权重来指示哪些假设可能是非空的领域知识,(c)我们允许对错误发现的不同惩罚,以表明某些假设可能比其他假设更重要,(d)我们定义了一个新的量,称为衰减记忆错误发现率(mem-FDR),它可能对真正的时间应用更有意义,这也加剧了我们所描述的问题,并称之为“背负”和“阿尔法死亡”。我们的GAI++算法同时合并了所有四种概括,并在权重和衰减都设置为1时减少到早期算法的更强大的变体。最后,我们还描述了一个简单的方法来获得新的在线FDR规则的基础上估计的错误发现比例。
2017-10-02 cs.LG math.ST stat.ME
Online multiple testing with e-values
针对在线假设检验中未知依赖关系下的FDR控制问题,提出e-LOND算法,基于e值实现任意依赖下的错误发现率控制,并通过模拟证明其功效优于现有方法,同时扩展至随机化与置信区间构建。
2023-11-10 stat.ME stat.ML
Improved null proportion estimators for multiple discrete tests with plug-in FDR control
AgroParisTech(巴黎高等师范学院);European University of Technology(欧洲技术大学)
本文提出了一种改进的空假设比例估计器,用于离散检验中的FDR控制,通过引入信息关于空分布函数来缓解保守性问题,提升效率。
2026-06-27 stat.ME
A unified treatment of multiple testing with prior knowledge using the p-filter
有大量文献介绍了将知识纳入多重检验程序以提高其功效和精度的方法。先验知识的一些常见形式包括(a)关于哪些假设为空的信念,由非均匀先验权重建模;(b)不同的假设重要性,由对错误发现的不同惩罚建模;(c)假设的多个任意划分,(可能重叠)组;和(d)假设或组之间的独立性、正相关性或任意相关性的知识,表明使用更积极或保守的程序。我们提出了一个统一的算法框架,称为p-过滤器的全球零测试和错误发现率(FDR)的控制,允许科学家将所有四种类型的先验知识(a)-(d)同时,恢复各种已知的算法作为特殊情况。
2019-08-06 math.ST stat.ME stat.ML
Large-Scale Multiple Testing of Composite Null Hypotheses Under Heteroskedasticity
针对异方差下复合零假设多重检验的功效损失与第一类错误失控问题,提出整合方差辅助信息、基于改进非参数经验贝叶斯反卷积的HAMT流程,理论证明其FDR控制渐近有效最优,仿真与移动游戏用户检测应用验证其功效更优。
2024-10-23 stat.ME
An online generalization of the (e-)Benjamini-Hochberg procedure
University of Bremen(不来梅大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种在线环境下Benjamini-Hochberg过程的推广方法,该方法在不同依赖条件下保持FDR控制,并恢复传统BH过程为特殊情况。
2026-02-26 stat.ME
Optimal Rates and Tradeoffs in Multiple Testing
多重假设检验是统计学中的一个中心话题,但是尽管对错误发现率(FDR)和相应的被称为错误未发现率(FNR)的第二类错误概念进行了大量的研究,但对多重检验的基本限制的细粒度理解尚未得到发展。我们的主要贡献是推导出一个精确的非渐近FNR和FDR之间的权衡广义高斯序列模型的一个变体。我们的分析是灵活的,足以允许分析的设置,其中的问题参数随假设$n$的数量,包括各种稀疏和密集的制度(与$o(n)$和$\mathcal{O}(n)$信号)。此外,我们证明了Benjamini-Hochberg算法以及Barber-Candès算法都是速率最优的常数在这些制度。
2017-05-15 math.ST stat.AP stat.ME
Discovering findings that replicate from a primary study of high dimension to a follow-up study
我们考虑的问题,确定是否复制的结果从一个研究的高维度到另一个,当主要的研究指导选择的假设进行检查,在后续的研究,以及当没有分工的主要和后续的研究。我们表明,现有的荟萃分析方法是不适合这个问题,并提出新的方法,而不是。我们证明,我们的多重检验程序控制适当的错误率。建议的FWER控制程序是有效的任意依赖之间的检验统计量在每个研究。一个更强大的程序,建议FDR控制。我们证明,如果检验统计量在初步研究中是独立的,并且在后续研究中独立或具有PRDS类型的依赖性,则该程序控制FDR。对于主要研究中的任意依赖性,以及随访研究中的任意依赖性或PRDS类型依赖性,程序的简单保守修改控制FDR。我们证明了这些程序的有用性,通过模拟和真实数据的例子。
2013-05-24 math.ST stat.AP stat.ME
Carefree multiple testing with e-processes
本文指出基于 $e$-value 的多重检验方法对数据收集顺序不具备不变性,提出应使用 $e$-processes 的上确界,并证明 e-BH 等方法在控制 FDR 上的不足,展示了调整器可确保 e-BH 在任意依赖下的 FDR-sup 控制。
2025-07-17 math.ST stat.ME stat.TH
Setwise Hierarchical Variable Selection and the Generalized Linear Step-Up Procedure for False Discovery Rate Control
Department of Mathematics and Statistics, Dalhousie University(达尔豪斯大学数学与统计系)
本文提出了一种基于集的分层变量选择方法,结合广义线性逐步提升程序,有效控制FDR并提升预测性能。
2026-03-02 stat.ME
False Discovery Rate Adjustments for Average Significance Level Controlling Tests
University of Southern California(南加州大学)
研究在平均显著性水平控制下,Benjamini-Hochberg过程仍能渐近控制FDR,并证明某些依赖调整在有限样本中有效,为高维非参数设置提供FDR控制方法。
2026-06-12 stat.ME
Synthetic-Powered Multiple Testing with FDR Control
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania, USA(统计与数据科学系,沃顿商学院,宾夕法尼亚大学);Department of Electrical and Computer Engineering, Technion IIT, Israel(电气工程与计算机科学系,技术学院(IIT),以色列);Department of Computer Science, Technion IIT, Israel(计算机科学系,技术学院(IIT),以色列)
SynthBH通过利用合成数据提高多重检验的样本效率和功效,同时在不依赖真实数据有效性的情况下控制FDR。
2026-02-18 cs.LG stat.ME stat.ML
Distributed Multiple Testing with False Discovery Rate Control in the Presence of Byzantines
本文研究拜占庭攻击下的分布式多重检验FDR控制,刻画两种攻击模型对全局FDR的影响,提出反制策略并通过仿真验证理论结果与设计权衡。
2025-04-25 cs.IT eess.SP math.IT