Adapting to Unknown Sparsity by controlling the False Discovery Rate
我们试图恢复一个$n$维矢量观察白噪声,其中$n$是大的,矢量是稀疏的,但稀疏的程度是未知的。我们考虑三种不同的方法来定义稀疏的向量:使用非零项的分数;施加幂律衰减边界上的有序条目;和控制$p$小的$\ell_p$规范。我们得到了一个过程,这是渐近极小极大的$\ell^r$损失,同时在整个范围内的这种稀疏类。最佳过程是由{ \it错误发现率}(FDR)的控制驱动的数据自适应阈值化方案。FDR控制是同步测试中相对较新的创新,确保被拒绝的零假设中至多有一定比例对应于错误拒绝。在我们的处理中,FDR控制参数$q_n$在渐近极大极小性中也起着决定性的作用。如果$q = \lim q_n \in [0,1/2]$和$q_n > γ/\log(n)$在很大范围的稀疏参数空间和损失函数上同时得到尖锐的渐近极小极大性。另一方面,$ q = \lim q_n \in (1/2,1]$迫使风险超过极小极大风险,其因子随$q$而增长。据我们所知,同时推理和渐近决策理论中的思想之间的这种关系是新的。我们的工作提供了一个新的视角,一类模型选择规则,最近已经推出了几个作者。这些新规则强制执行$2 \cdot \log({potential model size} / {actual model size})$形式的复杂性惩罚。我们表现出密切的联系与FDR控制程序的严格控制下的错误发现率。
2005-05-18 math.ST stat.TH
Sequential Tests of Multiple Hypotheses Controlling False Discovery and Nondiscovery Rates
我们提出了一个通用的和灵活的程序来测试多个假设的顺序(或流)的数据,同时控制的错误发现率(FDR)和错误的非发现率(FNR)的最小假设下的数据流,可能会有所不同的分布,尺寸,并依赖。所有需要的是用于控制传统的I型和II型错误概率的每个数据流的检验统计量,并且不需要关于统计量或数据流的联合分布的信息或假设。该程序可与顺序、成组顺序、截断或其他采样方案一起使用。该程序是Benjamini和Hochberg(1995)广泛使用的固定样本量程序到顺序数据领域的自然扩展,具有序贯抽样提供的同时FDR和FNR控制的额外好处。我们证明了程序的错误控制,并给出了一些提示,在常见的测试情况下实施。
2019-01-11 math.ST stat.ME stat.TH
Searching for subgroup-specific associations while controlling the false discovery rate
本文提出一种高维数据条件独立性检验方法,扩展 model-X knockoff filter 以在控制错误发现率下自动发现子组关联,避免选择偏差且无需样本拆分。
2023-09-16 math.ST stat.ME stat.TH
On Controlling the False Discovery Rate in Multiple Testing of the Means of Correlated Normals Against Two-Sided Alternatives
本文针对相关正态均值双侧多重检验中 BH 方法能否无条件控制 FDR 的开放猜想,在协方差矩阵已知或为已知矩阵未知标量倍数的两种情形下,证明了基于加权 z 或 t 统计量的 BH 型逐步上升方法能够控制 FDR。
2023-04-11 math.ST stat.TH
Stepup procedures controlling generalized FWER and generalized FDR
在可以容忍多于一个错误拒绝的多个假设检验的许多应用中,控制差错率的过程测量针对某些固定的$k\ge 1$的至少$k$错误拒绝而不是至少一个错误拒绝,这可以潜在地增加过程检测错误零假设的能力。$k$ -FWER是通常的族式差错率(FWER)的广义版本,是最近在文献中引入的这样一种差错率,并且已经提出了控制它的过程。本文进一步推广了$k$ -FWER的结果。此外,通过概括通常的错误发现率(FDR),以与$k$-FWER相同的精神引入了另一种不太保守的差错率概念,即$k$-FDR。利用$p$ -值的$k$阶联合零分布,在给定任何一组递增常数的情况下,构造了一个$k$ -FWER过程,而不假定所有$p$-值之间有任何特定形式的依赖关系.控制$k$ -FDR的过程也通过使用$p$ -值的$k$阶联合零分布来开发,首先假设空和非空$p$值的集合是相互独立的,或者它们在二阶多变量全正的意义上是联合正相关的(MTP $_2$),然后丢弃关于$p$值之间的总体依赖性的假设。
2008-03-20 math.ST stat.TH
A New Procedure for Controlling False Discovery Rate in Large-Scale t-tests
研究了大规模多重测试问题中的错误发现率控制问题。本文首先提出了一种新的数据驱动检验方法,用于控制单样本均值问题大规模t检验中的FDR。无论检验次数或样本量如何,当总体是对称的时,所提出的方法在有限样本设置中实现了精确的FDR控制。与现有的自举方法FDR控制相比,所提出的方法是计算效率。我们表明,所提出的方法可以控制FDR渐近不对称的人口,即使检验统计量是不独立的。我们进一步表明,所提出的程序与一个简单的校正是准确的自举方法的二阶度,可能是更有效的比现有的正常校准。我们将所提出的方法推广到双样本均值问题.实验结果表明,所提出的程序有更好的FDR控制比现有的真实的替代假设的比例不太低,同时保持合理的良好的检测能力。
2020-02-28 math.ST stat.ME stat.TH
The edge of discovery: Controlling the local false discovery rate at the margin
本文提出一种无需先验知识的简单多重检验程序,通过控制所有拒绝中最大局部错误发现率(lfdr)的期望来保证单个拒绝的可靠性,并证明其渐近实现加权分类风险下的 oracle 贝叶斯最优权衡。
2023-09-21 math.ST stat.ME stat.TH
Controlling the False Discovery Rate in Subspace Selection
针对高维低秩模型场景下子空间选择缺乏FDR控制方法的问题,基于随机矩阵理论提出无参数的主成分分析子空间选择方法,可在常见噪声模型下控制FDR,并在多场景验证了有效性。
2024-04-14 math.ST stat.ME stat.TH
Controlling the false discovery rate under a non-parametric graphical dependence model
提出在已知依赖图的非参数模型下控制多重检验错误发现率的高效方法,其拒绝集在无依赖边时与BH程序一致,在边较少时功效接近BH,且计算高效,适用于大规模假设检验。
2025-06-30 math.ST stat.ME stat.TH
On Stepwise Control of the Generalized Familywise Error Rate
处理多重检验问题的经典方法是将注意力限制在控制族差错率(FWER)的程序上,即至少有一个错误拒绝的概率。在许多应用中,人们可能愿意容忍一个以上的错误拒绝,只要这种情况的数量得到控制,从而增加了该过程检测错误零假设的能力。这建议通过控制$k$或更多错误拒绝的概率来取代对FWER的控制,这被称为$k$ -FWER。本文提出了一种推导$k$ -FWER控制程序的统一方法。我们首先概括了众所周知的封闭原则的上下文中的FWER的情况下,控制的$k$ -FWER。然后,我们讨论了如何推导出$k$ -FWER控制逐步(stepdown或stepup)程序的基础上,边际$p$ -值使用这一原则。证明了在一定条件下,广义闭检验过程可归结为逐步检验过程,且任何逐步检验过程都等价于广义闭检验过程。最后,我们将著名的Hommel检验过程在两个方向上进行了推广,并证明了任何推广的Hommel检验过程都等价于一个具有相同临界值的推广的封闭检验过程.
2008-10-28 math.ST stat.TH
Controlling the false discovery rate in high-dimensional linear models using model-X knockoffs and $p$-values
Southwestern University of Finance and Economics(西南财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Temple University(天普大学);Tongji University(同济大学)
本文提出一种新的多重检验方法,结合模型-X knockoffs技术与去偏惩罚回归估计器,以在高维线性模型中控制假发现率,通过构建自然配对的高维检验统计量和p值,提升检验功效。
2026-10-15 math.ST stat.ME stat.TH
Controlling the false discovery rate via knockoffs
在许多科学领域,我们观察一个反应变量和大量潜在的解释变量,并希望能够发现哪些变量与反应真正相关。与此同时,我们需要知道错误发现率(FDR)--所有发现中错误发现的预期比例--不是太高,以便向科学家保证大多数发现确实是真实的和可复制的。本文介绍了敲除滤波器,一种新的变量选择过程控制FDR的统计线性模型中,只要有至少一样多的观测变量。该方法在有限样本设置中实现了精确的FDR控制,无论设计或协变量、模型中的变量数量或未知回归系数的幅度如何,并且不需要任何噪声水平的知识。顾名思义,该方法通过制造廉价的仿制变量来操作-它们的构造不需要任何新数据-并且旨在模仿现有变量中发现的相关结构,以允许精确FDR控制的方式,超越基于置换的方法的可能性。仿制品的方法是非常通用和灵活的,可以与广泛的一类检验统计量。我们测试的方法结合稀疏回归的Lasso的统计数据,并获得实证结果表明,所得到的方法具有远远超过现有的选择规则时,空变量的比例很高的权力。
2015-10-14 math.ST stat.ME stat.TH
Optimal weighting for false discovery rate control
如何衡量Benjamini-Hochberg程序?在多个假设检验的背景下,我们提出了一个新的逐步过程,控制错误发现率(FDR),我们证明它是更强大的比任何加权Benjamini-Hochberg程序。有限样本和渐近结果。此外,我们说明了我们的程序在模拟和基因组学应用程序的良好性能。这项工作在异构$p$值分布的情况下特别有用。
2009-07-13 math.ST stat.TH
Controlling the False Split Rate in Tree-Based Aggregation
University of Southern California(南加州大学)
在许多领域中,数据度量可以自然地与树的叶子相关联,表达这些度量之间的关系。例如,公司属于行业,而行业又属于更粗的部门,如部门;微生物通常按照从物种到王国的分类层次进行排列;街区属于街区,而街区又属于更大规模的区域。基于树的聚合问题,我们认为在本文中问这些树定义的叶子的子组应该真正被视为一个单一的实体,这些实体应该相互区分。我们引入了“假分裂率”,一个错误的措施,描述了在何种程度上子组已经分裂时,他们不应该已经。然后,我们提出了一个多假设检验算法,基于树的聚合,我们证明控制这个错误的措施。我们专注于两个主要的例子,基于树的聚集,其中一个涉及聚集的手段,另一个涉及聚集回归系数。我们应用这种方法来汇总股票的基础上,他们的波动性和纽约市的出租车票价的基础上汇总社区。
2021-08-11 cs.LG math.ST stat.ME
The Control of the False Discovery Rate in Fixed Sequence Multiple Testing
控制错误发现率(FDR)是多重检验的一种有效方法。在许多应用中,测试的假设有一个固有的层次结构。在本文中,我们专注于固定序列结构的假设的测试顺序已被严格规定提前。我们有动机研究这样的结构,因为它是最基本的层次结构,但它经常出现在实际应用中,如统计过程控制和流数据分析。我们首先考虑一个传统的固定序列的方法,停止测试,一旦接受发生,并开发这样一种方法控制FDR下任意和负的依赖关系。在任意依赖下的方法被证明是不可改进的,而不会失去对FDR的控制,与现有的FDR方法不同,它甚至不能通过限制到通常的正回归依赖子集(PRDS)条件来改进。考虑到任何潜在的错误,在测试的顺序,我们延长了传统的固定序列的方法,允许更多,但一定数量的验收。仿真研究表明,所提出的程序可以强大的替代现有的FDR控制程序。通过一个真实的数据集,从微阵列实验所提出的程序进行说明。
2016-11-10 math.ST stat.ME stat.TH
Large-scale adaptive multiple testing for sequential data controlling false discovery and nondiscovery rates
针对高维序列数据,本文提出自适应停止边界的序贯多重检验,利用oracle与局部FDR数据驱动规则渐近同时控制FDR和FNR,并显著降低期望样本量。
2023-06-08 math.ST stat.ME stat.TH
Asymptotic Results on Adaptive False Discovery Rate Controlling Procedures Based on Kernel Estimators
错误发现率(FDR)是多测试问题中常用的I类差错率。它被定义为预期的假发现比例(FDP),即被拒绝的假设中假阳性的预期比例。当假设是独立的,Benjamini-Hochberg程序实现FDR控制在任何预先指定的水平。通过构造,FDR控制在功率或II类误差方面不提供保证。已经开发了一些替代程序,包括插件程序,旨在通过纳入真实零假设的比例估计来获得功率。在本文中,我们研究的渐近行为的一类插件程序的基础上的核估计的密度的$p$ -值,作为数量$m$的测试假设增长到无穷大。在一个设置的假设测试是独立的,我们证明,这些程序是渐近更强大的两个方面:(i)一个更严格的渐近FDR控制的任何目标FDR水平和(ii)更广泛的目标水平产生积极的渐近功率。我们还表明,这种增加的渐近功率是以较慢的价格,非参数收敛速度的FDP。这些比率的形式为$m^{-k/(2k+1)}$,其中$k$由$p$值分布的密度的规律性确定,或等效地由检验统计量分布的密度的规律性确定。这些结果适用于单侧和双侧检验统计的高斯和拉普拉斯位置模型,并为学生模型。
2013-04-20 math.ST physics.data-an q-bio.QM
Classes of Multiple Decision Functions Strongly Controlling FWER and FDR
本文提出了两类一般的多个决策函数,其中第一类的每个成员强烈控制的家庭明智的差错率(FWER),而第二类的每个成员强烈控制的错误发现率(FDR)。这些类提供了一个最佳的多个决策函数相对于一个预先指定的标准,如错过的发现率(MDR),可以在这些类中找到的可能性。这样的多个决策函数可以用于多个测试,具体地,但不限于,高维微阵列数据集的分析。
2010-07-15 math.ST stat.TH
The False Discovery Rate (FDR) of Multiple Tests in a Class Room Lecture
多个测试被设计为同时测试整个零假设集合。它们的质量通常由错误发现率(FDR)来判断,即错误拒绝的数量除以所有拒绝的数量的商的期望。被广泛引用的Benjamini和Hochberg(BH)逐步多重检验在各种规律性假设下控制FDR。在这篇文章中,我们提出了一个快速的方法来BH步升和步降测试。此外,尖锐的FDR不等式相关的p值和例子和反例进行了讨论。特别是,Bonferroni界是尖锐的依赖控制的家庭明智的差错率。
2015-11-22 math.ST stat.TH
Graph inference with clustering and false discovery rate control
在本文中,噪声版本的随机块模型(NSBM)的介绍,我们研究了以下三个统计推断在这个模型中:模型参数的估计,聚类的节点和识别的基础图。虽然前两个推理是通过使用变分期望最大化(VEM)算法来完成的,但是图推理是通过控制错误发现率(FDR)(即,被宣布为重要的边缘中的错误的平均比例)和通过最大化真实发现率(TDR)(即,被宣布为重要的边缘中的边缘的平均比例)来完成的。只要VEM算法提供可靠的参数估计和聚类,我们从理论上表明,我们的程序不控制FDR,同时满足最佳的TDR属性,当图形的大小增长时,剩余项变得很小。数值实验表明,我们的方法优于经典的FDR控制方法,忽略了底层的SBM拓扑结构。此外,这些模拟表明,我们的方法的FDR/TDR属性是强大的模型误指定,也就是说,基本上保持在我们的模型之外。
2019-07-23 math.ST stat.ME stat.TH
Controlling FSR in Selective Classification
针对高风险场景下的不确定性量化与FSR控制需求,本文提出选择性分类的最优性函数,证明其在多场景下的FSR控制能力,并扩展至多分类,完善了相关理论证明。
2023-11-07 math.ST stat.TH
Asymptotic Uniform False Discovery Rate Control for Inference of Time-varying Correlations
Ruhr University Bochum(鲁尔大学波鸿分校);Tsinghua University(清华大学)
本文提出通过时间变化p值控制学习时间变化相关网络的方法,结合高维高斯近似和理论保证的统计程序,用于非平稳时间序列中的虚假发现率控制。
2026-07-31 econ.EM math.ST stat.ME
Further Results on Controlling the False Discovery Rate in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文针对任意依赖下双侧高斯均值检验,推导了BH程序FDR的依赖自适应界,提出了协方差未知时具有限样本FDR保证的置信界移位BH程序,验证了其性能优势。
2026-08-25 math.ST stat.ME stat.TH
Asymptotically optimal sequential FDR and pFDR control with (or without) prior information on the number of signals
我们调查渐近最优的多重检验程序的顺序数据流的背景下,先验信息的数量假零假设(“信号”)。我们表明,最近提出并由Song和Fellouris(2017,Electron. J. Statist.)对于控制第1类和第2类族误差率(FWE)是渐近最优的,当适当调整它们的临界值时,对于控制FDR/FNR也是渐近最优的。推广这一结果,我们表明,这些程序,再次适当调整的临界值,是渐近最优的控制任何多重检验误差度量,在一定意义上的FWE的倍数之间的界限。这类指标包括FDR/FNR,但也包括pFDR/pFNR、每个比较和每个系列的错误率以及假阳性率。我们的分析包括渐近制度,其中零假设的数量接近$\infty$,因为1型和2型错误度量接近$0$。
2020-05-01 math.ST stat.ME stat.TH
ECKO: Ensemble of Clustered Knockoffs for multivariate inference on fMRI data
医学成像技术的不断改进使得能够获取更高分辨率的图像。当这些变量用于预测时,更多的解释变量可能与因变量(响应)相关。与此同时,每次实验的采集数量仍然有限。在这样的高维/小样本量设置中,希望找到与响应真正相关的解释变量,同时控制错误发现率。为了实现这一目标,新的多元推理程序,如敲除推理,最近已经提出。然而,它们要求特征协方差被良好定义,这在高维设置中是不可能的。在本文中,我们提出了一种新的算法,称为Enaminated的Knockoffs,它允许选择解释变量,同时控制错误发现率(FDR),达到规定的空间公差。其核心思想是,基于敲除的推理可以应用于体素组(集群),这大大降低了问题的维度;然后,集成步骤消除了对固定聚类的依赖,并稳定了结果。我们在脑成像数据集上对该算法和其他FDR控制方法进行了基准测试,并观察到灵敏度的经验增益,而错误发现率控制在标称水平。
2019-03-12 math.ST stat.AP stat.TH
An adaptive step-down procedure with proven FDR control under independence
在这项工作中,我们研究了一个自适应步下测试$m$假设的过程。它源于重复使用错误发现率来控制线性升压过程(有时称为BH),并利用临界常数$iq/[(m+1-i(1-q)]$、$i=1,...,m$。出于其成功的模型选择过程,以及其渐近最优性,我们感兴趣的是它的错误发现率(FDR)控制性能的有限数量的假设。我们证明了这种逐步下降的程序控制FDR在$q$水平的独立检验统计量。然后,我们数值比较它与其他两个程序证明FDR控制下的独立性,无论是在独立和FDR控制下的正相关的权力。
2009-03-31 math.ST stat.TH
Generalizing Simes' test and Hochberg's stepup procedure
在一个多测试问题,其中一个是愿意容忍一些错误拒绝,过程控制familywise差错率(FWER),可以潜在地改善其检测错误的零假设的能力,通过推广到控制$k$-FWER,错误地拒绝至少$k$零假设的概率,为一些固定的$k>1$。Simes检验交集原假设的方法被推广到弱控制$k$ -FWER,即在交集原假设下,而Hochberg检验单个零假设的步骤被推广到强控制$k$ -FWER,即在真和假零假设的任何配置下.建议的推广开发利用联合零分布的$k$维子集的$p$值,假设是相同的。通过推广原Simes不等式,证明了在$p$ -值的联合零分布的多元二阶全正(MTP $_2$)条件[J.MultivariateAnalysis10(1980)467- 498]下,广义Simes检验弱控制$k$-FWER.当$p$ -值独立时,它比原始Simes检验更能检测出$k$或更多的假零假设。一个降压程序强烈控制的$k$ -FWER,一个版本的广义霍尔姆的程序,这是不同的,更强大的比[安。33(2005)1138--1154]中所描述的具有独立的$p$值的方法。在广义Simes检验弱控制广义Hochberg过程的$k$-FWER的情况下,建立了广义Hochberg过程的$k$-FWER的强控制.
2008-03-13 math.ST stat.TH
Bringing Closure to False Discovery Rate Control: A General Principle for Multiple Testing
Carnegie Mellon University(卡内基梅隆大学);Ca’ Foscari University of Venice(威尼斯福斯卡里宫大学);University of Bremen(不来梅大学);University of Twente(特温特大学);Centrum Wiskunde & Informatica(荷兰数学与计算机科学研究中心);Leiden University Medical Center(莱顿大学医学中心)
本文提出了一种通用原则,统一了多重检验方法,可控制多种误差率,包括假发现率,并允许事后灵活选择误差度量。
2026-07-31 math.ST stat.ME stat.TH
Simultaneous high-probability bounds on the false discovery proportion in structured, regression, and online settings
虽然传统的多重测试程序禁止用户做出自适应分析选择,但Goeman和Solari(2011)提出了一种同时推理框架,该框架允许用户在保持所选集合的错误发现比例(FDP)的高概率界限的同时具有这种灵活性。在本文中,我们提出了一类新的同时FDP界,专为嵌套序列的拒绝集。虽然大多数现有的同时FDP界限是基于封闭测试,使用全局空测试的基础上排序的p值,我们还考虑设置边信息可以利用提高功率,变量选择设置,其中敲除统计可以用来订购变量,以及在线设置,其中必须作出拒绝的决定,因为数据到达。我们的有限样本,封闭形式的界限是基于重新利用的FDP估计错误发现率(FDR)控制程序设计的上述设置。这些结果建立了一个新的连接之间的并行文献的同时FDP界和FDR控制方法,并使用证明技术,采用鞅和过滤,这是新的这些文献。我们证明了我们的研究结果的效用,通过增加最近的仿制品分析英国生物银行数据集。
2019-12-01 math.ST stat.TH
Asymptotic Uncertainty of False Discovery Proportion
多重检验一直是统计研究中的热门话题。虽然已经做了大量的工作,但当相应的检验统计量相关时,控制错误发现仍然是一项具有挑战性的任务。在任意依赖的检验统计量之间,已经提出了各种方法来估计错误发现比例(FDP)。其主要思想之一是将任意相关性降为弱相关性,然后从理论上证明了弱相关性下FDP和FDR的强相合性。因此,在弱依赖的框架下,FDP具有相同的渐近极限。我们观察到,渐近方差的FDP,然而,可能严重依赖于相应的检验统计量的依赖结构,即使他们只是弱依赖,它是很大的实用价值,以量化这种变异性,因为它可以作为一个指标的质量FDP估计从给定的数据。据我们所知,这方面的研究在文献中仍然有限。在本文中,我们首先推导出FDP在弱正则性条件下的渐近展开,然后从理论上和数值上研究了FDP的渐近方差在不同依赖结构下的变化。根据本研究中的观察结果,我们建议在通过FDP程序进行的多重检验中,我们可以报告FDP的均值和方差估计值,以丰富研究结果。
2022-07-03 math.ST stat.TH
False positive control in time series coincidence detection
University of Chicago(芝加哥大学)
本文提出基于时间偏移的方法,用于时间序列中巧合检测的假阳性控制,并通过理论分析和实验证明其在依赖数据中的有效性。
2026-01-19 math.ST stat.TH
Post hoc inference via joint family-wise error rate control
本研究提出大规模多重检验框架下的事后推断通用方法,定义联合族错误率(JER)准则,提出多种JER控制程序,可纳入相关性并适配未知信号量,涵盖已有方法为特例,理论结论获数值实验支持。
2018-01-08 math.ST stat.TH
Semi-Penalized Inference with Direct False Discovery Rate Control in High-Dimensions
提出了一种新的高维线性回归变量选择和置信区间构造方法--直接错误发现率控制的半惩罚推理(SPIDR). SPIDR首先使用半惩罚方法来构造回归系数的估计量。我们证明了SPIDR估计是理想的,在这个意义上说,它等于一个理想的最小二乘估计具有高概率的稀疏性和其他适当的条件下。因此,SPIDR估计量是渐近正态的。SPIDR在此基础上,通过直接控制错误发现率来确定选择规则。这提供了对选择错误的明确评估。这也自然地导致具有适当置信声明的所选系数的置信区间。我们进行模拟研究,以评估其有限样本的性能,并证明其在乳腺癌基因表达数据集上的应用。我们的模拟研究和数据实例表明,SPIDR是一个有用的方法,在实践中的高维统计推断。
2013-11-29 math.ST stat.ME stat.TH
Group Competition Test: A P-value-free False Discovery Rate Control Framework for Grouped Hypotheses
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院数学科学重点实验室)
本文提出了一种基于竞争检验框架的分组方法,通过校正竞争程序来控制全局FDR,适用于具有强异质性或依赖结构的数据。
2026-10-27 math.ST stat.ME stat.TH
Contextual Online False Discovery Rate Control
多重假设检验是统计推断中的一个核心问题,几乎出现在所有科学领域。在这种情况下,控制错误发现率(FDR),这是第一类错误的预期比例,是一个重要的挑战,使有意义的推论。在本文中,我们考虑的问题,控制FDR在线的方式。具体地说,我们考虑一个有序的,可能是无限的假设序列,在每个时间步到达一个,对于每个假设,我们观察到一个p值以及一组特定于该假设的特征。在观察到下一个假设之前,必须在每个时间步立即做出是否拒绝当前假设的决定。多维特征集模型提供了一种非常通用的方法来利用数据中的辅助信息,这有助于最大限度地提高发现的数量。我们提出了一类新的强大的在线测试程序,其中拒绝阈值(显着性水平)的学习顺序,结合上下文信息和以前的结果。我们证明,在这个类中的任何规则控制在线FDR下一些标准的假设。然后,我们专注于这些程序的一个子类,加权显着性水平的基础上,推导出一个实用的算法,学习参数权函数在网上的方式,以获得更多的发现。我们还从理论上证明,在程式化的环境中,我们提出的程序将导致比Javanmard & Montanari(2018)提出的流行在线测试程序更高的统计功效。最后,我们证明了我们的程序的良好性能,通过比较它的国家的最先进的在线多个测试程序,从不同的应用程序生成的合成数据和真实数据。
2019-03-15 math.ST stat.ML stat.TH
Differentially Private False Discovery Rate Control
Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
差分隐私为隐私保护数据分析提供了一个严格的框架。本文提出了第一个差分隐私过程中控制的错误发现率(FDR)的多假设检验。受Benjamini-Hochberg过程(BHq)的启发,我们的方法是首先重复地将噪声添加到$p$ -值的序列中以确保差分隐私,并在每次迭代中选择近似最小的$p$ -值作为有希望的候选;所选择的$p$ -值进一步提供给BHq,并且我们的私有过程仅释放被拒绝的值。此外,我们开发了一种新的技术,这是基于一个后向下鞅证明FDR控制的广泛的一类多个测试程序,包括我们的私人程序,和BHq步升和步降程序。作为一个新的方面,证明工程的任意依赖之间的真空和假空检验统计量,而FDR控制保持到一个小的乘法因子。
2021-07-03 cs.LG math.ST stat.TH
A theoretical foundation of the target-decoy search strategy for false discovery rate control in proteomics
动机:靶诱饵搜索(TDS)是目前基于质谱的鸟枪法蛋白质组学中用于估计和控制肽鉴定的错误发现率(FDR)的最流行策略。虽然这一战略在实践中非常有用,并得到了深入的实证研究,但其理论基础尚未得到很好的确立。结果:在这项工作中,我们系统地分析了TDS策略在严格的统计意义上。我们证明,常用的级联TDS提供了一个保守的估计FDR为任何给定的分数阈值,但它不能严格控制FDR。我们证明,与常用的FDR估计公式略有修改,肽水平的FDR可以严格控制级联TDS的基础上。我们表明,频谱级FDR控制是困难的。我们用实际质谱数据验证了理论结论。
2015-01-03 math.ST stat.AP stat.TH
On Procedures Controlling the FDR for Testing Hierarchically Ordered Hypotheses
复杂的大规模研究,例如与微阵列数据和功能磁共振成像研究相关的研究,通常涉及测试多个层次有序的假设。然而,大多数现有的错误发现率(FDR)控制程序不利用内在的层次结构之间的测试假设。在本文中,我们首先提出了一个广义的逐步程序,推广通常的逐步程序的情况下,每个假设进行了测试与一组不同的临界常数。这个过程有助于创建一个通用的框架,在这个框架下,我们的分层测试程序被开发出来。然后,我们提出了几个层次的测试程序,控制FDR下的各种形式的依赖,如正相关和块相关。我们的模拟研究表明,这些提出的方法在某些情况下可能比诸如Yekutieli的分层测试程序(Yekutieli,\emph{JASA} \textbf{103}(2008)309-316)的替代方法更强大。最后,我们将我们提出的程序应用到一个真实的数据集,涉及不同生态环境中微生物的丰度。
2016-12-14 math.ST stat.ME stat.TH
Estimating False Discovery Proportion Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,同时进行数万次测试,以确定是否有任何SNP与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去了共同的依赖性和显着削弱的相关性结构,以处理一个任意的依赖结构。本文推导了在大规模多重检验中,当采用公共门限时,错误发现率的近似表达式,并给出了实现错误发现率的相合估计。这一结果在FDR和FDP的控制中有重要的应用。我们对实现的FDP的估计与Efron(2007)的方法相比毫不逊色,如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。我们还提出了一个依赖调整的过程,这是更强大的比固定阈值的过程。
2011-11-15 math.ST stat.ME stat.TH
Optimal control of false discovery criteria in the two-group model
在检验大量统计假设时,影响力很大的两组模型假设检验统计量独立于高概率零分布和低概率替代分布的混合分布。在边际错误发现率(mFDR)提供经受mFDR控制的最大功率(预期的真实发现)的意义上,已知通过对局部错误发现率(locFDR)进行阈值化来实现边际mFDR的最优控制,即,假设为零的概率,给定一组检验统计量,具有固定阈值。我们解决的挑战,最佳控制流行的错误发现率(FDR)或积极的FDR(pFDR),而不是mFDR在一般的两组模型,这也允许之间的依赖性的检验统计量。这些准则比mFDR准则保守性更小,因此它们在预期中产生更多的拒绝。我们得到他们的最佳多重检验(OMT)的政策,原来是阈值的locFDR与阈值是一个函数的整个统计。我们开发了一个有效的算法来找到这些政策,并使用它的问题与数千个假设。我们说明这些程序的基因表达研究。
2020-05-27 math.ST stat.ME stat.TH
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
Phase Transitions in Genome-wide Association Studies and Categorical Variable Screenings
受全基因组关联筛选研究(GWAS)的启发,我们研究了检验统计量具有近似χ 2分布的分类变量的高维边缘筛选。我们在高维卡方模型的特征四个新的相变,并推导出必要的和足够的统计程序,同时控制错误发现(在家庭明智的差错率或错误发现率)和错过检测(在家庭明智的非发现率或错误的非发现率)在大尺寸的信号大小。值得注意的是,自由度的χ 2分布不影响在所有四个相变的边界。几个众所周知的程序,以达到这些界限。在高斯位置模型下,还发现了两个新的相变。然后,我们阐明了关联检验中信号大小的性质,通过描述其与边际频率、比值比和$2\times2$列联表中样本量的关系。这使我们能够说明在全基因组关联研究(GWAS)的相变现象的一个有趣的表现。我们还表明,也许令人惊讶的是,给定的总样本量,平衡设计在这样的关联研究很少提供最佳的功率检测罕见的遗传变异的影响。
2022-06-03 math.ST stat.ME stat.TH
Adaptive novelty detection with false discovery rate guarantee
本文提出AdaDetect方法,通过包装任意概率分类算法实现数据自适应的新颖性检测,在有限样本下保证错误发现率控制,并扩展出适应零假设比例的变体。
2023-10-25 math.ST stat.ME stat.ML
Single-index modulated multiple testing
在大规模多重检验中,假设往往伴随着一定的先验信息。在本文中,我们提出了一个单指数调制(SIM)的多重检验程序,它保持控制的错误发现率,同时将先验信息,通过假设的二元$p$ -值,$(p_1,p_2)$,为每个假设,其中$p_1$是一个初步的$p$ -值从先验信息和$p_2$是主要的$p$ -值的最终分析的可用性。为了找到二元$p$ -值的最佳拒绝区域,我们提出了一个基于真空和非空情况下$(p_1,p_2)$的概率密度函数之比的准则。二元正态设置中的该标准进一步促使我们将二元$p$值投影到单指标$p(θ)$,用于广泛的方向$θ$。通过参数和非参数方法估计$p(θ)$的真零分布,导致两个程序估计和控制错误发现率。为了得到最优投影方向$θ$,我们提出了一种新的方法,基于功率比较,这是进一步证明了在一些温和的条件下是一致的。仿真结果表明,SIM多重检测过程在控制错误发现率的同时,显著提高了检测能力。将说明对真实数据集的分析。
2014-07-01 math.ST stat.ME stat.TH
Simple estimators of false discovery rates given as few as one or two p-values without strong parametric assumptions
控制全族错误率或错误发现率的多重比较程序提供了实现的错误率作为每个检验假设的调整后p值。然而,由于这样的p值不是零假设为真的概率,因此已经设计了经验贝叶斯方法来估计这样的后验概率,称为局部错误发现率(LFDR),以强调其先验的频率解释。LFDR估计的主要方法依赖于最大似然的数值算法或非参数密度估计的平滑参数的选择,缺乏错误率控制方法的自动性质。为了填补这一空白,本文介绍了LFDR估计的自动方法,该方法在p值独立但没有强参数假设的情况下具有已证明的渐近保守性。模拟表明,他们仍然是保守的,即使是非常小数量的假设。所提出的程序之一,使解释的LFDR估计方面的原始FDR控制规则,从而促进实际的解释。最保守的新程序适用于20种蛋白质的丰度水平。
2011-06-22 math.ST q-bio.QM stat.ME
Private False Discovery Rate Control
我们提供了第一个差分隐私算法,用于控制多个假设检验中的错误发现率(FDR),在某些条件下基本上没有功率损失。我们的一般方法是采用Benjamini-Hochberg过程(BHq)的一个众所周知的变体,使每个步骤都具有差异性。这破坏了FDR控制的经典证明。为了证明FDR控制我们的方法,(a)我们开发了一个新的证明原来的(非私人)BHq算法和它的强大的变种-证明只需要假设真空检验统计量是独立的,允许任意的真空值和假空值之间的相关性。这个假设是相当弱的,以前在大量的文献中所示的这一主题相比,并解释了部分经验的鲁棒性BHq。然后(b)我们将差分私有版本的FDR控制属性与非私有版本的控制属性相关联。\end{enumerate}我们还提出了一个低失真的“一次”差分私有原语的“顶部$k$“的问题,例如,“$k$最受欢迎的爱好是什么?(我们将其应用于:“哪些假设具有最显著的$p$ -值?“),并使用它来获得我们的通用方法的更快的隐私保护实例化,而在准确性方面的成本很小。one-shot top~ $k$算法的隐私性证明引入了一种新的独立兴趣技术。
2015-11-12 cs.DS math.ST stat.ML
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California(南加州大学);Stanford University(斯坦福大学)
多重假设检验是统计推断中的一个核心问题,几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下,引入了假发现率(FDR),即被拒绝的零假设中假阳性的预期比例,并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中,我们考虑的问题,控制FDR在一个“在线的方式”。具体地说,我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序,并证明,在这个类中的任何规则控制在线FDR,提供$p$ -值对应于真正的空值是独立于其他$p$ -值。(早期的工作仅建立了mFDR控制。接下来,我们得到的条件下,广义α投资控制FDR在一般$p$值的依赖关系的存在。最后,我们开发了一套修改后的程序,也可以控制错误发现的比例(尾部的错误发现)。数值模拟和分析结果表明,在线程序不会招致大量的损失,在统计功率相对于离线的方法,如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP