False discovery and false nondiscovery rates in single-step multiple testing procedures
错误发现率(FDR)和错误的非发现率(FNR)的结果开发的单步多测试程序。除了验证理想的属性FDR和FNR的差错率的措施,这些结果扩展了以前已知的结果,提供进一步的见解,特别是在依赖,到FDR和FNR和相关措施的概念。首先,考虑真和假零假设的固定配置,得到不等式来解释如何FDR或FNR控制单步程序,如Bonferroni或uSidák程序,可以潜在地改进。两个家庭的程序,然后构建,一个修改的FDR控制和其他修改的FNR控制uSidák程序。这些被证明控制FDR或FNR下的独立性不太保守,比相应的家庭修改FDR或FNR控制Bonferroni程序。数值研究结果的性能的修改uSidák FDR程序超过其竞争对手。其次,考虑到混合模型,不同的配置的真和假的零假设被假定为具有一定的概率,结果也来自延伸的一些层的工作的依赖情况。
2006-05-23 math.ST stat.TH
A New Approach for Large Scale Multiple Testing with Application to FDR Control for Graphically Structured Hypotheses
在许多大规模的多重检验应用中,假设通常具有已知的图形结构,例如基因表达数据中的基因本体。在多重检验程序中利用这种图形结构可以提高功效并有助于解释。然而,将该结构结合到大规模测试过程中并证明诸如错误发现率(FDR)的错误率是受控的可能是具有挑战性的。在本文中,我们介绍了一种新的通用方法,大规模的多重检验,它可以帮助开发新的程序,在各种设置与证明控制所需的错误率。这种方法对于开发FDR控制程序特别有用,它被简化为开发每族错误率(PFER)控制程序的问题。具体来说,对于有向无环图(DAG)结构的假设检验问题,利用一般方法,在假设独立的前提下,首先设计了一个特定的PFER控制过程,然后在此基础上设计了一个新的FDR控制过程,该过程能够在被拒绝的假设中保持所需的DAG结构.通过一个小的模拟研究和一个真实的数据分析,我们说明了良好的性能,提出的FDR控制程序的DAG结构的假设。
2018-12-01 math.ST stat.ME stat.TH
False discovery rate control with multivariate $p$-values
多元统计量在假设检验中经常是可用的,也是必要的。我们研究如何使用这样的统计控制不仅假发现率(FDR),但也积极FDR(pFDR)具有良好的权力。我们表明,FDR可以通过嵌套区域的多变量$p$值的检验统计量控制。如果检验统计量的分布是已知的,则可以显式地构造区域以在满足一定条件的过程中实现具有最大功效的FDR控制。另一方面,我们关注的是分布仅部分已知的地方。在一定的条件下,提出了一种类型的嵌套区域,并证明了实现(p)FDR控制与渐近最大功率的pFDR控制水平接近其可达到的限制。嵌套区域的基础上的程序进行了比较与其他嵌套区域的基础上,更容易构建,以及那些基于更直接的组合的检验统计量。
2008-05-21 math.ST stat.TH
Multiple testing via $FDR_L$ for large-scale imaging data
多重检测过程在检测大规模成像数据的空间信号的存在方面起着重要作用。通常,空间信号是稀疏的,但是是群集的。本文提供的经验证据表明,对于一系列常用的控制水平,传统的$\operatorname {FDR}$程序可能缺乏检测统计显著性的能力,即使真正的零假设下的$p$ -值是独立和均匀分布的;更一般地说,忽略空间结构化数据的相邻信息往往会降低$\operatorname {FDR}$程序的检测效果。本文首先引入一个标量来表征$\operatorname {FDR}$过程中“缺乏识别现象”($\operatorname {LIP}$)发生的程度。其次,我们提出了一个新的多重比较过程,称为$\operatorname {FDR}_L$,以适应相邻的$p$-值的空间信息,通过本地聚合的$p$ -值。研究了$\operatorname {FDR}_L$程序在弱$p$值依赖下的理论性质.结果表明,$\operatorname {FDR}_L$程序简化了$\operatorname {FDR}$程序的$\operatorname {LIP}$,从而大大促进了更严格的控制水平的选择。模拟评估表明,$\operatorname {FDR}_L$程序提高了$\operatorname {FDR}$程序的检测灵敏度,而检测特异性几乎没有损失。通过一个真实的脑功能磁共振成像数据集的计算简单性和检测有效性的$\…
2011-03-10 math.ST stat.TH
Stepup procedures controlling generalized FWER and generalized FDR
在可以容忍多于一个错误拒绝的多个假设检验的许多应用中,控制差错率的过程测量针对某些固定的$k\ge 1$的至少$k$错误拒绝而不是至少一个错误拒绝,这可以潜在地增加过程检测错误零假设的能力。$k$ -FWER是通常的族式差错率(FWER)的广义版本,是最近在文献中引入的这样一种差错率,并且已经提出了控制它的过程。本文进一步推广了$k$ -FWER的结果。此外,通过概括通常的错误发现率(FDR),以与$k$-FWER相同的精神引入了另一种不太保守的差错率概念,即$k$-FDR。利用$p$ -值的$k$阶联合零分布,在给定任何一组递增常数的情况下,构造了一个$k$ -FWER过程,而不假定所有$p$-值之间有任何特定形式的依赖关系.控制$k$ -FDR的过程也通过使用$p$ -值的$k$阶联合零分布来开发,首先假设空和非空$p$值的集合是相互独立的,或者它们在二阶多变量全正的意义上是联合正相关的(MTP $_2$),然后丢弃关于$p$值之间的总体依赖性的假设。
2008-03-20 math.ST stat.TH
A New Procedure for Controlling False Discovery Rate in Large-Scale t-tests
研究了大规模多重测试问题中的错误发现率控制问题。本文首先提出了一种新的数据驱动检验方法,用于控制单样本均值问题大规模t检验中的FDR。无论检验次数或样本量如何,当总体是对称的时,所提出的方法在有限样本设置中实现了精确的FDR控制。与现有的自举方法FDR控制相比,所提出的方法是计算效率。我们表明,所提出的方法可以控制FDR渐近不对称的人口,即使检验统计量是不独立的。我们进一步表明,所提出的程序与一个简单的校正是准确的自举方法的二阶度,可能是更有效的比现有的正常校准。我们将所提出的方法推广到双样本均值问题.实验结果表明,所提出的程序有更好的FDR控制比现有的真实的替代假设的比例不太低,同时保持合理的良好的检测能力。
2020-02-28 math.ST stat.ME stat.TH
Directional FDR Control for Sub-Gaussian Sparse GLMs
高维稀疏广义线性模型(GLM)是在样本个数和变量维数都很大,甚至变量维数增长速度快于样本个数的情况下产生的。错误发现率(FDR)控制的目的是在得到GLM的稀疏惩罚估计后,识别出少量统计上显著非零的结果。利用精确矩阵估计的CLIME方法,构造了稀疏GLM的无偏Lasso估计,并利用极小极大率预言不等式证明了其渐近正态性。在实际应用中,往往需要准确判断各回归系数的正负性,这决定了预测变量与响应变量在其余变量的条件下是正相关还是负相关。使用去偏估计,我们建立了多重检验程序。在温和的条件下,我们表明,建议的去偏统计量可以渐近控制方向(符号)FDR和方向错误发现变量在一个预先指定的显着性水平。此外,可以表明,我们的多重检验程序可以近似达到1的统计功效。我们还将方法推广到两样本问题,提出了两样本检验统计量。在适当的条件下,对于两样本问题,我们可以在指定的显着性水平上渐近地实现方向FDR控制和方向FDV控制。一些数值模拟成功地验证了我们提出的测试程序的FDR控制效果,有时优于经典的敲除方法。
2021-05-02 math.ST stat.ML stat.TH
Asymptotically optimal sequential FDR and pFDR control with (or without) prior information on the number of signals
我们调查渐近最优的多重检验程序的顺序数据流的背景下,先验信息的数量假零假设(“信号”)。我们表明,最近提出并由Song和Fellouris(2017,Electron. J. Statist.)对于控制第1类和第2类族误差率(FWE)是渐近最优的,当适当调整它们的临界值时,对于控制FDR/FNR也是渐近最优的。推广这一结果,我们表明,这些程序,再次适当调整的临界值,是渐近最优的控制任何多重检验误差度量,在一定意义上的FWE的倍数之间的界限。这类指标包括FDR/FNR,但也包括pFDR/pFNR、每个比较和每个系列的错误率以及假阳性率。我们的分析包括渐近制度,其中零假设的数量接近$\infty$,因为1型和2型错误度量接近$0$。
2020-05-01 math.ST stat.ME stat.TH
Two-stage Hypothesis Tests for Variable Interactions with FDR Control
在许多情况下,如全基因组关联研究,变量之间的依赖性通常存在,它往往是感兴趣的是推断模型中的相互作用效应。然而,在复杂和高维数据中测试数百万个变量之间的成对相互作用受到低统计功效和巨大计算成本的影响。为了解决这些挑战,我们提出了一个两阶段的测试程序与错误发现率(FDR)的控制,这是一个不太保守的多重测试校正。从理论上讲,FDR控制的困难在于两个阶段的检验统计量之间的数据依赖性,以及第二阶段进行的假设检验的数量取决于第一阶段的筛选结果。通过使用Cramér型中偏差技术,我们证明了在允许模型被错误指定的广义线性模型(GLM)中,我们的方法渐近地将FDR控制在期望的水平.此外,FDR控制程序的渐近功率被严格地建立。我们通过全面的模拟研究表明,我们的两阶段的程序是计算效率比经典的BH程序,具有可比或改进的统计功效。最后,我们将所提出的方法应用于来自dbGaP的膀胱癌数据,其中科学目标是识别膀胱癌的遗传易感性位点。
2022-08-31 math.ST stat.ME stat.ML
NeurT-FDR: Controlling FDR by Incorporating Feature Hierarchy
Penn State University(宾夕法尼亚州立大学);Snap Inc.(Snap公司)
在利用多个假设检验的边信息的同时控制错误发现率(FDR)是现代数据科学中的新兴研究课题。现有的方法依赖于测试水平的协变量,而忽略了可能的层次之间的协变量。对于复杂的大规模问题,这种策略可能不是最佳的,其中层次信息往往存在于这些测试级协变量之间。我们提出了NeurT-FDR,它提高了统计功效,并控制FDR的多个假设检验,同时利用测试级协变量之间的层次结构。我们的方法将测试级协变量参数化为神经网络,并通过回归框架调整特征层次结构,从而能够灵活处理高维特征以及高效的端到端优化。我们表明,NeurT-FDR具有强大的FDR保证,并且与竞争基线相比,在合成和真实数据集中发现了更多的发现。
2021-01-24 cs.LG stat.ML
False Discovery Rate Control Under General Dependence By Symmetrized Data Aggregation
本文提出了一类新的控制一般依赖下错误发现率(FDR)的无分布多重检验规则。在我们的建议中的一个关键因素是一个对称的数据聚合(SDA)的方法,通过样本分割,数据筛选和信息池的依赖结构。SDA滤波器首先构造一个满足全局对称性的排序统计序列,然后沿着排序选择一个数据驱动的阈值来控制FDR。SDA滤波器在中等到强依赖性下在功率方面大大优于敲除方法,并且比基于渐近$p$值的现有方法更鲁棒。我们首先发展有限样本理论,在一般相依性下给出了实际FDR的上界,然后在温和的正则条件下,建立了SDA对FDR和错误发现比例(FDP)控制的渐近有效性。该过程在R包\texttt{SDA}中实现。数值结果证实了SDA在FDR控制中的有效性和鲁棒性,并表明它在许多设置中实现了比现有方法更大的功率增益。
2021-05-26 math.ST stat.ME stat.TH
Empirical Bayes large-scale multiple testing for high-dimensional binary outcome data
针对稀疏高维二分类结果数据的多重检验问题,提出基于尖峰-板条后验的经验贝叶斯新流程,解决了默认共轭先验ℓ值流程FDR估计过于保守的问题,给出严格理论保证与实验验证,首次得到该场景下的一致FDR控制结果。
2025-06-13 math.ST stat.TH
Leveraging the group structure of hypotheses for more powerful multiple testing with FDR control for the filtered rejection set
Technion - Israel Institute of Technology(以色列理工学院);Montana State University(蒙大拿州立大学)
本文提出加权Focused BH方法,利用群组或DAG结构及数据依赖权重提升过滤后FDR控制下的多重检验功效,并通过模拟和真实数据验证其稳健性与实用性。
2025-09-18 math.ST stat.ME stat.TH
The Control of the False Discovery Rate in Fixed Sequence Multiple Testing
控制错误发现率(FDR)是多重检验的一种有效方法。在许多应用中,测试的假设有一个固有的层次结构。在本文中,我们专注于固定序列结构的假设的测试顺序已被严格规定提前。我们有动机研究这样的结构,因为它是最基本的层次结构,但它经常出现在实际应用中,如统计过程控制和流数据分析。我们首先考虑一个传统的固定序列的方法,停止测试,一旦接受发生,并开发这样一种方法控制FDR下任意和负的依赖关系。在任意依赖下的方法被证明是不可改进的,而不会失去对FDR的控制,与现有的FDR方法不同,它甚至不能通过限制到通常的正回归依赖子集(PRDS)条件来改进。考虑到任何潜在的错误,在测试的顺序,我们延长了传统的固定序列的方法,允许更多,但一定数量的验收。仿真研究表明,所提出的程序可以强大的替代现有的FDR控制程序。通过一个真实的数据集,从微阵列实验所提出的程序进行说明。
2016-11-10 math.ST stat.ME stat.TH
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
Bias corrected estimators for proportion of true null hypotheses under exponential model: Application of adaptive FDR-controlling in segmented failure data
针对指数分布的随机观测数据,对多假设检验情形下的真零假设比例($π_0$)的两个基于模型的偏差校正估计进行了重构.基于随机序,给出了$π_0$的一些相关估计公式背后的新动机。减少基于模型的估计的偏差的理论证明和算法计算的估计也提出。估计器也被用来制定一个流行的自适应多重测试程序。广泛的数值研究支持的偏差校正估计的优越性。我们还指出了使用基于模型的偏差校正方法的不利影响,而没有适当的评估的基础分布。一个案例研究是用一个合成数据集与可靠性和保修研究,以证明该程序的适用性,根据非高斯设置。所得到的结果与学科专家的直觉和经验相一致。最后,作者对全文进行了总结,并对今后的研究方向进行了展望。
2020-07-26 math.ST stat.TH
False Discovery Control in Multiple Testing: A Brief Overview of Theories and Methodologies
本文综述了多重检验中错误发现率(FDR)控制方法的最新进展,并提出了一个概念框架以梳理相关文献、阐释核心思想,为研究者在方法应用与开发上提供指导。
2024-11-16 math.ST stat.AP stat.ME
Anytime-valid FDR control with the stopped e-BH procedure
本文指出停止的e-BH程序在序贯多重检验中,因全局停止时间导致信息泄漏而无法普遍控制FDR,并提出一个排除过去未观测混杂的因果条件,在该条件下可保证FDR控制,适用于基因组学等场景。
2025-08-05 math.ST stat.ME stat.TH
Improving online FDR procedures via online analogs of e-closure and compound e-values
Carnegie Mellon University(卡内基梅隆大学);University of Bremen(不来梅大学)
本文提出一种改进在线多重检验方法的框架,通过在线e-closure原理和新型复合e值定义,实现严格功率提升并保持FDR控制,算法在O(log t)时间内完成决策,并在合成和真实数据上表现更优。
2026-07-09 math.ST stat.ME stat.TH
Occam's hammer: a link between randomized learning and multiple testing FDR control
我们建立了一个通用的理论工具来构建概率边界的算法,其中的输出是一个子集的对象从一个初始池的候选人(或更一般地说,一个概率分布说池)。这个通用的设备,被称为“奥卡姆锤”,作为一个Meta层时,概率界限已经知道的池中的对象单独采取,并旨在控制的比例,对象在集合输出不满足他们的个人界限。在这方面,它可以被看作是一个非平凡的推广的“联合约束与先验”(“奥卡姆剃刀”),一个熟悉的工具,在学习理论。我们应用这一原则的随机分类器(提供一个有趣的替代方法,PAC贝叶斯界限)和多重测试(它允许检索准确和扩展所谓的Benjamini-Yekutieli测试程序)。
2006-08-29 cs.LG math.ST stat.TH
Adaptive Controls of FWER and FDR Under Block Dependence
通常在多重检验中,假设出现在不重叠的块中,相关的$p$值在块内而不是块之间表现出依赖性。我们考虑适应Benjamini-Hochberg方法控制的错误发现率(FDR)和Bonferroni方法控制的familywise错误率(FWER),这样的依赖结构,而不会失去其最终控制的FDR和FWER,分别在一个非渐近设置。我们提出了传统的自适应Benjamini-Hochberg和Bonferroni方法的变种,证明了它们各自的控制FDR和FWER。数值结果表明,这些新的自适应方法可以捕捉到目前的依赖结构比相应的传统的自适应方法更有效。本文提供了一个解决方案的开放性问题,构建自适应FDR和FWER控制方法的依赖下,在非渐近设置,并提供真正的改进,相应的非自适应的。
2016-11-10 stat.ME
On a generalized false discovery rate
$k$-FWER的概念最近受到了很多关注,因为对于某些固定的$k\ge 1$,当人们试图至少控制$k$错误拒绝时,它是用于多次测试的适当差错率。一个不太保守的概念,$k$ -FDR,最近由Sarkar [Ann. Statistist. 34(2006)394--415],概括了Benjamini和Hochberg的错误发现率[J. Roy.中央集权主义者Soc.Ser.B57(1995)289- 300]。在这篇文章中,我们带来了新的见解$k$ -FDR考虑一个混合模型,涉及独立的$p$值之前,激发一些新的程序,控制它的发展。我们证明了$k$ -FDR控制的建议方法在一个稍微弱的条件下比在混合模型。我们提供了数值证据,所提出的方法优于某些$k$ -FWER和$k$ -FDR方法的功率性能。最后,我们将我们的方法应用到一个真实的数据集。
2009-06-17 math.ST stat.TH
Dynamic adaptive procedures that control the false discovery rate
在具有独立检验的多重检验问题中,经典线性逐步上升过程将错误发现率(FDR)控制在$π_0α$水平,其中$π_0$是真零假设的比例,$α$是目标FDR水平。自适应过程可以通过合并$π_0$的估计来提高功率,所述估计通常依赖于调谐参数。固定的自适应程序在看到数据之前设置其调谐参数,并且可以显示为在有限样本中控制FDR。我们开发的动态自适应程序,其调整参数的数据确定的理论结果。我们表明,如果调谐参数选择根据从左到右的停止时间规则,相应的动态自适应过程控制有限样本的FDR。例子包括最近提出的右边界程序和广泛使用的最低斜率程序等。仿真结果表明,在独立和弱相关条件下,右边界方法比其他动态自适应方法更有效。
2019-08-28 math.ST stat.ME stat.TH
Online multi-layer FDR control
本文针对流式假设检验中多层级分组的需求,提出在线同时控制多个划分FDR的程序,并给出理论证明与模拟验证。
2025-06-03 stat.ME
On spike and slab empirical Bayes multiple testing
本文探讨了经验贝叶斯后验分布和错误发现率(FDR)控制之间的联系。在高斯序列模型中,这项工作表明,经验贝叶斯校准的尖峰和板后验分布允许一个正确的FDR控制下稀疏。这样做,它提供了一个频率论的理论验证的经验贝叶斯方法的背景下,多重测试。我们的理论结果与数值实验说明。
2019-06-15 math.ST stat.TH
Controlling the False Discovery Rate in Subspace Selection
针对高维低秩模型场景下子空间选择缺乏FDR控制方法的问题,基于随机矩阵理论提出无参数的主成分分析子空间选择方法,可在常见噪声模型下控制FDR,并在多场景验证了有效性。
2024-04-14 math.ST stat.ME stat.TH
A Generalized Knockoff Procedure for FDR Control in Structural Change Detection
控制错误发现率(FDR)对于变量选择、多重检验以及其它信号检测问题是至关重要的。在文献中,在选择个体特征时当然不乏FDR控制策略,但是用于结构变化检测的相关工作,例如分段常系数的轮廓分析和多数据源的集成分析,是有限的。在本文中,我们提出了一个广义敲除过程(GKnockoff)的FDR控制在这样的问题设置。我们证明了GKnockoff具有两两互换性,并且能够在有限样本量下控制精确的FDR。我们进一步探讨了高维下的GKnockoff,首先引入了一种新的筛选方法来过滤高维潜在的结构变化。我们采用了数据分裂技术,首先通过筛选降维,然后对细化的选择集进行GKnockoff。此外,所提出的方法的权力进行了系统的研究。与其他方法的数值比较表明,GKnockoff的优越性能,在FDR控制和功率。我们还实现了所提出的方法来分析宏观经济数据集,以检测经济发展对第二产业的驱动效应的变化。
2022-04-08 stat.ME
Graph inference with clustering and false discovery rate control
在本文中,噪声版本的随机块模型(NSBM)的介绍,我们研究了以下三个统计推断在这个模型中:模型参数的估计,聚类的节点和识别的基础图。虽然前两个推理是通过使用变分期望最大化(VEM)算法来完成的,但是图推理是通过控制错误发现率(FDR)(即,被宣布为重要的边缘中的错误的平均比例)和通过最大化真实发现率(TDR)(即,被宣布为重要的边缘中的边缘的平均比例)来完成的。只要VEM算法提供可靠的参数估计和聚类,我们从理论上表明,我们的程序不控制FDR,同时满足最佳的TDR属性,当图形的大小增长时,剩余项变得很小。数值实验表明,我们的方法优于经典的FDR控制方法,忽略了底层的SBM拓扑结构。此外,这些模拟表明,我们的方法的FDR/TDR属性是强大的模型误指定,也就是说,基本上保持在我们的模型之外。
2019-07-23 math.ST stat.ME stat.TH
Probabilistic Model Incorporating Auxiliary Covariates to Control FDR
The Pennsylvania State University(宾夕法尼亚州立大学);Weber State University(韦伯州立大学);Snap Inc.(色拉布公司);Duke University(杜克大学)
在利用多个假设检验的边信息的同时控制错误发现率(FDR)是现代数据科学中的新兴研究课题。现有的方法依赖于测试级协变量,而忽略了测试级协变量的度量。对于复杂的大规模问题,这种策略可能不是最佳的,其中测试级协变量和辅助度量或协变量之间经常存在间接关系。我们在控制FDR的深黑盒框架(命名为NeurT-FDR)中将测试级协变量之间的辅助协变量合并,从而提高统计功效并控制FDR用于多假设检验。我们的方法将测试级协变量参数化为神经网络,并通过回归框架调整辅助协变量,从而能够灵活处理高维特征以及高效的端到端优化。我们表明,NeurT-FDR在三个真实数据集中的发现比竞争基线多得多。
2022-10-06 cs.LG stat.ML
FDR Control for Online Anomaly Detection
针对在线异常检测中经典多重检验方法无法适用、缺乏FDR控制的问题,提出基于mFDR局部控制的在线多重检验策略,结合校准数据集基数调优实现全序列FDR控制,并通过理论与仿真验证了性能。
2024-12-16 stat.ME
Conditional calibration for false discovery rate control under dependence
我们介绍了一类新的方法有限样本错误发现率(FDR)的控制在多重检验问题的依赖检验统计量的依赖是完全或部分已知。我们的方法分别校准每个假设的数据依赖性p值拒绝阈值,适当放宽或收紧阈值以实现精确的FDR控制。除了我们的一般框架,我们提出了一个具体的算法,依赖调整Benjamini-Hochberg(dBH)的过程,自适应阈值的q值为每个假设。在正回归依赖下,dBH过程一致地优于标准BH过程,并且通常它一致地优于Benjamini-Yekutieli(BY)过程(也称为具有对数校正的BH)。仿真和实际数据的例子说明了竞争的FDR控制方法的依赖下的功率增益。
2020-07-20 math.ST stat.ME stat.TH
FDR Controlled Multiple Testing for Union Null Hypotheses: A Knockoff-based Approach
错误发现率(FDR)控制过程为基于多假设检验的信号识别的可重复性提供了重要的统计保证。在许多研究领域,FDR控制程序用于高维(HD)分析,以发现与结果真正相关的特征。在最近的一些应用中,在多个不同的研究中独立地收集关于同一组候选特征的数据。例如,在不同的设施和不同的队列中收集基因表达数据,以鉴定多种类型癌症的遗传生物标志物。这些研究为我们提供了通过联合考虑来自不同来源(具有潜在异质性)的信息来识别信号的机会。本文研究如何为条件独立性的并零假设检验提供FDR控制保证。我们提出了一种基于敲除的变量选择方法(\textit{Simultaneous knockoffs}),以确定相互信号从多个独立的数据集,有限的样本设置下提供精确的FDR控制保证。此方法可用于非常一般的模型设置和检验统计量。我们证明了这种方法的性能与广泛的数值研究和两个实际数据的例子。
2022-10-03 stat.ME
A Complete Review of Controlling the FDR in a Multiple Comparison Problem Framework -- The Benjamini-Hochberg Algorithm
本文综述了流行的Benjamini Hochberg方法以及其他相关的多假设检验方法。这是写的目的是服务于一个简短但完整的易于理解的审查主要文章与适当的背景。论文题为“控制错误发现率-一个实用和强大的方法多重检验”由benjamini等。al. [1]提出了一种控制多假设检验问题中错误发现率的新框架。有人声称,在该文件中提出的程序的结果在功率的大幅增加,更适用的情况下,要求错误发现率(FDR)的控制,而不是家庭的错误率(FWER)的问题。所提出的方法使用一个简单的Bonferroni型FDR控制程序。
2014-06-27 stat.ME
Dynamic Algorithms for Online Multiple Testing
我们推导出新的算法在线多重检验,可证明控制错误发现的不确定性(FDX),同时实现数量级以上的权力比以前的方法。这种统计学上的进步是通过新算法思想的发展实现的:早期的算法更“静态”,而我们的新算法允许根据算法积累的财富量动态调整测试水平。我们证明了我们的算法在各种合成实验中实现了更高的功率。我们还证明了SupLORD可以为FDR和FDX提供错误控制,并在停止时间控制FDR。停止时间是特别重要的,因为它们允许实验者任意早地结束实验,同时保持对FDR的期望控制。SupLORD是第一个非平凡的算法,据我们所知,可以控制FDR在停止时间在线设置。
2021-06-02 math.ST stat.ME stat.ML
Bounding the FDP in competition-based control of the FDR
基于竞争的方法来控制错误发现率(FDR)最近上升到突出的时候,推广到顺序假设检验,巴伯和坎迪斯使用它作为他们的敲除过滤器的一部分。对FDR的控制意味着,可以说更重要的是,错误发现的比例仅在平均意义上得到控制。我们提出了TDC-SB和TDC-UB,提供上的FDP的发现时,使用竞争控制FDR的列表中的预测界限。使用模拟和真实的数据,我们表明,总体而言,我们的新程序提供显着更严格的上限比使用最近发表的Katsevich和Ramdas的方法,即使后者是进一步改善使用戈曼等人的插值概念。
2023-02-23 stat.ME
Large-scale Multiple Testing: Fundamental Limits of False Discovery Rate Control and Compound Oracle
本文研究大规模多重检验中 FDR 与 FNR 的根本权衡,证明最优 FDR–FNR 边界需要复合规则,并给出高概率 FDP 控制下的对应最优结果。
2025-08-31 math.ST stat.ME stat.TH
Online FDR Controlling procedures for statistical SIS Model and its application to COVID19 data
提出一种基于条件局部FDR的在线FDR控制方法,用于离散且具有复杂依赖性的传染病数据集,在SIS模型下通过动态贝叶斯网络实现高检测功效的FDR控制。
2026-06-16 stat.ME
Boosting e-BH via conditional calibration
University of Pennsylvania(宾夕法尼亚大学)
本文提出通用条件校准框架提升e-BH的多重检验功效,在保持FDR控制的同时,经三类问题验证及观察性研究应用,显著改善了e-BH的性能。
2026-10-30 math.ST stat.ME stat.TH
Sequential FDR and pFDR control under arbitrary dependence, with application to pharmacovigilance database monitoring
本文提出在任意数据流相关性下控制FDR或pFDR的序贯多重检验程序,通过优化逐步下降检验的误差上界实现,模拟显示可节省45-65%样本量,并在英国黄卡药物警戒数据库上验证。
2024-11-26 stat.ME
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California(南加州大学);Stanford University(斯坦福大学)
多重假设检验是统计推断中的一个核心问题,几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下,引入了假发现率(FDR),即被拒绝的零假设中假阳性的预期比例,并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中,我们考虑的问题,控制FDR在一个“在线的方式”。具体地说,我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序,并证明,在这个类中的任何规则控制在线FDR,提供$p$ -值对应于真正的空值是独立于其他$p$ -值。(早期的工作仅建立了mFDR控制。接下来,我们得到的条件下,广义α投资控制FDR在一般$p$值的依赖关系的存在。最后,我们开发了一套修改后的程序,也可以控制错误发现的比例(尾部的错误发现)。数值模拟和分析结果表明,在线程序不会招致大量的损失,在统计功率相对于离线的方法,如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP
Null-free False Discovery Rate Control Using Decoy Permutations
传统的多假设检验中的错误发现率控制方法通常基于检验统计量的零分布。然而,所有类型的零分布,包括理论的、基于置换的和经验的零分布,都有一些固有的缺点。例如,由于对样本分布的不正确假设,理论空值可能会失败。在这里,我们提出了一个零分布自由的方法来FDR控制多个假设检验。这种方法被称为目标-诱饵过程,简单地建立在测试的排序上,通过一些统计量或分数,其空分布不需要已知。竞争性诱饵测试是从原始样本的排列构造的,并用于估计假目标发现。我们证明了这种方法控制FDR时,统计量是独立的不同的测试。仿真表明,它比现有的两种流行方法更稳定、更强大。并在真实数据集上进行了评价。
2021-04-12 math.ST stat.ME stat.TH
High-dimensional Inference and FDR Control for Simulated Markov Random Fields
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Alberta(阿尔伯塔大学);Beihang University(北京航空航天大学);Zhuhai UM Science & Technology Research Institute(珠海澳大科技研究院)
本文针对高维模拟马尔可夫随机场,提出基于MCMC-MLE与Elastic-net正则化的推断方法,并构建去相关得分检验及两种FDR控制程序,数值模拟验证了其理论有效性。
2024-01-20 cs.LG math.ST stat.ML
Adaptive procedures for directional false discovery rate control
本文研究多重检验中方向性错误风险,证明两种自适应FDR方法在增加符号声明且假设独立时可强控制FDR_dir,尤其适用于真实原假设很少的高功效场景。
2024-01-24 stat.ME
Controlling the false discovery rate in high-dimensional linear models using model-X knockoffs and $p$-values
Southwestern University of Finance and Economics(西南财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Temple University(天普大学);Tongji University(同济大学)
本文提出一种新的多重检验方法,结合模型-X knockoffs技术与去偏惩罚回归估计器,以在高维线性模型中控制假发现率,通过构建自然配对的高维检验统计量和p值,提升检验功效。
2026-10-15 math.ST stat.ME stat.TH
Anchored multiple testing: a transparent use of e-closure to improve FDR procedures
该研究提出锚定技术,利用现有FDR证明的松弛性改进多重检验程序,得到的e-闭包透明保留基线发现并控制FDR,且在多种场景下优于对应基线程序。
2026-10-30 math.ST stat.ME stat.TH
STAR: A general interactive framework for FDR control under structural constraints
我们提出了一个通用框架的基础上选择性遍历累积规则(STAR)的交互式多重检验与通用结构约束的拒绝集。它将有序多重检验的累积检验与后选择推理的数据雕刻思想相结合,允许高度灵活地适应通用结构信息。我们的程序定义了一个交互式协议,逐步修剪候选人拒绝集,开始与所有假设的设置和收缩的每一步。通过限制在每一步的信息通过一种技术,我们称之为屏蔽,我们的协议使互动,同时控制错误发现率(FDR)在有限的样本中的任何数据自适应更新规则,分析师可以选择。我们建议更新规则的各种应用程序具有复杂的结构约束,显示STAR表现良好的问题,从凸区域检测到FDR控制有向无环图,并显示如何将其扩展到回归问题,其中敲除统计是可用的代替$p$ -值。
2020-09-07 stat.ME
A General Stability Approach to False Discovery Rate Control
Department of Statistics & Data Science, SOE, Xiamen University(厦门大学经济学院统计与数据科学系);Faculty of Business and Economics, University of Hong Kong(香港大学商学院);MOE Lab of Econometrics and WISE, Xiamen University(厦门大学经济计量学教育部重点实验室和WISE)
本文提出FDR稳定器方法,通过聚合特征重要性统计量和稳定化e值,提升FDR控制的稳定性和可重复性,理论证明其在渐近上控制FDR且无功效损失。
2025-12-19 stat.ME
Adaptive False Discovery Rate Control for Heterogeneous Data
努力开发更有效的多个假设检验程序的错误发现率(FDR)控制的重点是纳入真实的零假设的比例估计(这种程序被称为自适应)或利用异质性通过一些最佳的加权方案测试。本文结合这些方法使用加权自适应多决策函数(WAMDF)的框架。导出了一个灵活随机效应模型的最优权值,并给出了在原假设下,当检验统计量独立时,控制任意加权方案FDR的WAMDF.渐近和数值评估表明,弱相关下,建议WAMDFs提供更有效的FDR控制,即使最佳的权重是错误的。所提出的方法的鲁棒性和灵活性,有利于开发更有效的,但实际的,FDR程序的异构数据。为了说明,两种不同的加权自适应FDR方法的异质样本量的开发和应用数据。
2017-02-10 stat.ME
DAGGER: A sequential algorithm for FDR control on DAGs
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个线性时间,单通,自上而下的算法多重检验有向无环图(DAG),其中节点表示假设和边缘指定的偏序,假设必须进行测试。该过程保证以有界错误发现率(FDR)拒绝子DAG,同时满足被拒绝节点的父节点也必须被拒绝的逻辑约束。当DAG结构是先验已知的,但选择性地获得$p$值(例如在一系列实验中)时,该算法被设计用于顺序测试设置,但当所有$p$值可以提前计算(例如变量/模型选择)时,该算法也适用于非顺序设置。我们的DAGGER算法,简写为Greatest进化拒绝DAG,可证明控制下的独立,正相关或任意依赖的$p$ -值的错误发现率。DAGGER过程专门用于树和线图的特殊情况下的已知算法,并且当DAG没有边时简化为经典的Benjamini-Hochberg过程。我们使用模拟以及对应于基因本体的真实数据集来探索DAGGER的经验性能,在时间和功率方面表现出良好的性能。
2018-12-04 cs.LG math.ST stat.ME
Private False Discovery Rate Control
我们提供了第一个差分隐私算法,用于控制多个假设检验中的错误发现率(FDR),在某些条件下基本上没有功率损失。我们的一般方法是采用Benjamini-Hochberg过程(BHq)的一个众所周知的变体,使每个步骤都具有差异性。这破坏了FDR控制的经典证明。为了证明FDR控制我们的方法,(a)我们开发了一个新的证明原来的(非私人)BHq算法和它的强大的变种-证明只需要假设真空检验统计量是独立的,允许任意的真空值和假空值之间的相关性。这个假设是相当弱的,以前在大量的文献中所示的这一主题相比,并解释了部分经验的鲁棒性BHq。然后(b)我们将差分私有版本的FDR控制属性与非私有版本的控制属性相关联。\end{enumerate}我们还提出了一个低失真的“一次”差分私有原语的“顶部$k$“的问题,例如,“$k$最受欢迎的爱好是什么?(我们将其应用于:“哪些假设具有最显著的$p$ -值?“),并使用它来获得我们的通用方法的更快的隐私保护实例化,而在准确性方面的成本很小。one-shot top~ $k$算法的隐私性证明引入了一种新的独立兴趣技术。
2015-11-12 cs.DS math.ST stat.ML
Mirror and knockoff+ thresholds under dependence
Texas A&M University(德克萨斯农工大学)
研究在缺乏特定性质下使用镜像与仿冒+阈值控制错误发现率(FDR)会出现的问题,通过构造满足特定条件的p值、考虑高斯零分数及不同尺度零分数等情况进行分析,揭示共享计数规则不能单独保证FDR,有效性取决于零符号联合行为。
2026-08-11 math.ST stat.ME stat.TH
The p-filter: multi-layer FDR control for grouped hypotheses
在使用错误发现率(FDR)的多个假设检验的许多实际应用中,给定的假设可以自然地划分成组,并且人们可能不仅想要控制错误发现的数量(错误地拒绝了零假设),而且错误发现的假设组的数量(如果一个组中至少有一个假设被拒绝,我们说这个组被错误地发现,而实际上这个组只包含空值)。本文介绍了p-滤子,它是Benjamini和Hochberg的标准FDR方法和Simes的全局零检验方法的统一和推广。我们首先证明,我们提出的方法可以同时控制整体FDR在最好的水平(个别假设单独处理)和组FDR在粗糙的水平(当这些组是用户指定的)。然后,我们进一步推广p-过滤程序来处理假设的多个分区,因为这在许多应用中可能是自然的。例如,在神经科学实验中,我们可能对大脑中的每个(离散化的)位置和每个(离散化的)时间点都有一个假设:刺激是否与刺激出现后时间t时位置x的活动相关?在这种情况下,人们可能希望按地点和时间对假设进行分组。重要的是,我们的过程可以处理多个非层次的分区(即一个分区可以按体素排列p值,另一个分区按时间点排列p值;两者都不嵌套在另一个分区内)。我们证明,我们的程序控制FDR同时跨越这些多个层,在文献中的标准假设:我们不需要的假设是独立的,但需要一个非负相关的条件称为PRDS。
2016-10-29 stat.ME stat.ML
Estimating and Controlling the False Discovery Rate for the PC Algorithm Using Edge-Specific P-Values
PC算法允许研究人员从有限数据集估计一个完整的部分有向无环图(CPDAG),但很少有研究小组研究用于估计和控制CPDAG中边的错误发现率(FDR)的策略。在本文中,我们介绍了PC与p值(PC-p),一个快速算法,鲁棒地计算边缘特定的p值,然后估计和控制FDR的边缘。PC-p专门使用许多条件独立性检验返回的p值来上限更复杂的边缘特定假设检验的p值。然后,该算法使用有界p值和Benjamini-Yekutieli FDR程序来估计和控制FDR。对原始PC算法的修改也有助于PC-p准确地计算上界,尽管非零第二类错误率。实验表明,与其他方法相比,PC-p在各种CPDAG中产生更准确的FDR估计和边缘控制。
2017-05-10 stat.ME stat.ML
Synthetic-Powered Multiple Testing with FDR Control
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania, USA(统计与数据科学系,沃顿商学院,宾夕法尼亚大学);Department of Electrical and Computer Engineering, Technion IIT, Israel(电气工程与计算机科学系,技术学院(IIT),以色列);Department of Computer Science, Technion IIT, Israel(计算机科学系,技术学院(IIT),以色列)
SynthBH通过利用合成数据提高多重检验的样本效率和功效,同时在不依赖真实数据有效性的情况下控制FDR。
2026-02-18 cs.LG stat.ME stat.ML