Empirical Bayes methods for controlling the false discovery rate with dependent data
错误发现率(FDR)已被广泛用作大规模多重检验问题中的错误度量,但该领域的大多数研究都集中在基于独立检验统计量的FDR控制过程或具有某些类型的随机相关性的检验统计量的FDR控制过程的性质。基于Tang和Zhang(2005)提出的方法,本文进一步发展了经验贝叶斯方法,用于控制具有相关数据的FDR。我们在时间序列模型中实施了我们的方法,并报告了模拟研究的结果,以证明经验贝叶斯方法的优势。
2007-08-07 stat.ME
False Discovery Rate Adjustments for Average Significance Level Controlling Tests
University of Southern California(南加州大学)
研究在平均显著性水平控制下,Benjamini-Hochberg过程仍能渐近控制FDR,并证明某些依赖调整在有限样本中有效,为高维非参数设置提供FDR控制方法。
2026-06-12 stat.ME
Controlling the false discovery rate under a non-parametric graphical dependence model
提出在已知依赖图的非参数模型下控制多重检验错误发现率的高效方法,其拒绝集在无依赖边时与BH程序一致,在边较少时功效接近BH,且计算高效,适用于大规模假设检验。
2025-06-30 math.ST stat.ME stat.TH
False discovery and false nondiscovery rates in single-step multiple testing procedures
错误发现率(FDR)和错误的非发现率(FNR)的结果开发的单步多测试程序。除了验证理想的属性FDR和FNR的差错率的措施,这些结果扩展了以前已知的结果,提供进一步的见解,特别是在依赖,到FDR和FNR和相关措施的概念。首先,考虑真和假零假设的固定配置,得到不等式来解释如何FDR或FNR控制单步程序,如Bonferroni或uSidák程序,可以潜在地改进。两个家庭的程序,然后构建,一个修改的FDR控制和其他修改的FNR控制uSidák程序。这些被证明控制FDR或FNR下的独立性不太保守,比相应的家庭修改FDR或FNR控制Bonferroni程序。数值研究结果的性能的修改uSidák FDR程序超过其竞争对手。其次,考虑到混合模型,不同的配置的真和假的零假设被假定为具有一定的概率,结果也来自延伸的一些层的工作的依赖情况。
2006-05-23 math.ST stat.TH
False discovery rate controlling procedures for discrete tests
Benjamini和Hochberg(1995)提出了错误发现率(FDR)作为多重检验问题中族错误率的替代,并提出了控制FDR的方法。对于离散数据,该过程可能是高度保守的。我们调查替代,更强大的程序,利用离散性的测试,并有FDR水平接近所需的标称水平的幅度。此外,我们开发了一种新的降压过程,占主导地位的降压过程Benjamini和刘(1999)的离散数据。我们考虑应用于药物警戒自发报告系统,用于早期发现上市药物的不良反应。
2014-01-27 stat.ME
Controlling the false discovery rate in high-dimensional linear models using model-X knockoffs and $p$-values
Southwestern University of Finance and Economics(西南财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Temple University(天普大学);Tongji University(同济大学)
本文提出一种新的多重检验方法,结合模型-X knockoffs技术与去偏惩罚回归估计器,以在高维线性模型中控制假发现率,通过构建自然配对的高维检验统计量和p值,提升检验功效。
2026-10-15 math.ST stat.ME stat.TH
Estimating and Controlling the False Discovery Rate for the PC Algorithm Using Edge-Specific P-Values
PC算法允许研究人员从有限数据集估计一个完整的部分有向无环图(CPDAG),但很少有研究小组研究用于估计和控制CPDAG中边的错误发现率(FDR)的策略。在本文中,我们介绍了PC与p值(PC-p),一个快速算法,鲁棒地计算边缘特定的p值,然后估计和控制FDR的边缘。PC-p专门使用许多条件独立性检验返回的p值来上限更复杂的边缘特定假设检验的p值。然后,该算法使用有界p值和Benjamini-Yekutieli FDR程序来估计和控制FDR。对原始PC算法的修改也有助于PC-p准确地计算上界,尽管非零第二类错误率。实验表明,与其他方法相比,PC-p在各种CPDAG中产生更准确的FDR估计和边缘控制。
2017-05-10 stat.ME stat.ML
Further results on controlling the false discovery proportion
错误发现比例(FDP)超过$γ\in[0,1)$的概率(定义为$γ$ -FDP)作为多重测试中错误发现的度量而受到广泛关注。虽然这一措施已被接受,由于其相关性的依赖,还没有取得太大的进展,但推进其理论在这种依赖下,在非渐近设置,这促使我们在这篇文章中的研究。我们提供了一个更大的类的程序包含的stepup模拟,因此更强大的比,在莱曼和罗马诺[安。33(2005)1138-1154]在该论文中假设的类似正相关条件下控制$γ$ -FDP。我们提供了更好的替代品的降压和升压程序在罗马诺和Shaanxi [IMS讲座笔记Monogr。Ser.49(2006a)33-50,Ann. Statistist. 34(2006 b)1850-1873]使用空$p$值的成对联合分布。我们概括了$γ$ -FDP的概念,使其适合于人们愿意容忍一些错误拒绝的情况,或者由于高度依赖性,一些错误拒绝是不可避免的,并提供了在两种不同场景中控制这种广义$γ$ -FDP的方法:(i)只有边际$p$ -值可用,以及(ii)边际$p$ -值以及空$p$值的公共成对联合分布是可用的,并且在每个场景中假设对$p$值的正相关和任意相关条件。我们的理论研究结果得到了数值研究的支持。
2014-06-02 math.ST stat.TH
Asymptotic properties of false discovery rate controlling procedures under independence
我们研究了一个家庭的多个比较程序的性能强控制的错误发现率($\mathsf{FDR}$)。$\mathsf{FDR}$是预期的错误发现比例($\mathsf{FDP}$),即所有被拒绝假设中错误拒绝的预期分数。已经提出了对原始Benjamini-Hochberg程序[1]的许多改进,通过估计真零假设的比例来增加功效,或者隐式地导致一阶段自适应程序[4,7],或者显式地导致两阶段自适应(或插件)程序[2,21]。我们使用Genovese和Wasserman [11]提出的随机过程方法的变体来研究这些程序中的每一个在其期望值周围实现的$\mathsf{FDP}$的波动,对于独立的测试假设。我们引入了一个框架,推导出通用的中心极限定理的$\mathsf{FDP}$这些程序,表征相关的正则性条件,并比较各种程序的渐近功率。我们将最近提出的单阶段自适应过程[4,7]解释为众所周知的两阶段自适应过程[2,21]迭代中的不动点。
2008-11-21 math.ST stat.TH
Simple estimators of false discovery rates given as few as one or two p-values without strong parametric assumptions
控制全族错误率或错误发现率的多重比较程序提供了实现的错误率作为每个检验假设的调整后p值。然而,由于这样的p值不是零假设为真的概率,因此已经设计了经验贝叶斯方法来估计这样的后验概率,称为局部错误发现率(LFDR),以强调其先验的频率解释。LFDR估计的主要方法依赖于最大似然的数值算法或非参数密度估计的平滑参数的选择,缺乏错误率控制方法的自动性质。为了填补这一空白,本文介绍了LFDR估计的自动方法,该方法在p值独立但没有强参数假设的情况下具有已证明的渐近保守性。模拟表明,他们仍然是保守的,即使是非常小数量的假设。所提出的程序之一,使解释的LFDR估计方面的原始FDR控制规则,从而促进实际的解释。最保守的新程序适用于20种蛋白质的丰度水平。
2011-06-22 math.ST q-bio.QM stat.ME
An Optimal False Discovery Rate Controlling Procedure for Changepoint Detection
Stanford University(斯坦福大学)
针对独立观测序列变点检测问题,提出LBD-FDR方法,可控制错误发现率,在高斯序列等场景下达最优检测性能,模拟中与五种现有方法对比验证有效性。
2026-08-04 stat.ME
Split Knockoffs for Multiple Comparisons: Controlling the Directional False Discovery Rate
针对多重比较中线性变换约束下方向性错误发现率难以控制的问题,提出结合变量分裂与样本分裂的扩展Split Knockoff方法,可有效控制该错误率,且在仿真和阿尔茨海默病分析、年龄比较场景中验证了有效性。
2023-10-11 stat.ME
A Complete Review of Controlling the FDR in a Multiple Comparison Problem Framework -- The Benjamini-Hochberg Algorithm
本文综述了流行的Benjamini Hochberg方法以及其他相关的多假设检验方法。这是写的目的是服务于一个简短但完整的易于理解的审查主要文章与适当的背景。论文题为“控制错误发现率-一个实用和强大的方法多重检验”由benjamini等。al. [1]提出了一种控制多假设检验问题中错误发现率的新框架。有人声称,在该文件中提出的程序的结果在功率的大幅增加,更适用的情况下,要求错误发现率(FDR)的控制,而不是家庭的错误率(FWER)的问题。所提出的方法使用一个简单的Bonferroni型FDR控制程序。
2014-06-27 stat.ME
Semi-Penalized Inference with Direct False Discovery Rate Control in High-Dimensions
提出了一种新的高维线性回归变量选择和置信区间构造方法--直接错误发现率控制的半惩罚推理(SPIDR). SPIDR首先使用半惩罚方法来构造回归系数的估计量。我们证明了SPIDR估计是理想的,在这个意义上说,它等于一个理想的最小二乘估计具有高概率的稀疏性和其他适当的条件下。因此,SPIDR估计量是渐近正态的。SPIDR在此基础上,通过直接控制错误发现率来确定选择规则。这提供了对选择错误的明确评估。这也自然地导致具有适当置信声明的所选系数的置信区间。我们进行模拟研究,以评估其有限样本的性能,并证明其在乳腺癌基因表达数据集上的应用。我们的模拟研究和数据实例表明,SPIDR是一个有用的方法,在实践中的高维统计推断。
2013-11-29 math.ST stat.ME stat.TH
Controlling the False Split Rate in Tree-Based Aggregation
University of Southern California(南加州大学)
在许多领域中,数据度量可以自然地与树的叶子相关联,表达这些度量之间的关系。例如,公司属于行业,而行业又属于更粗的部门,如部门;微生物通常按照从物种到王国的分类层次进行排列;街区属于街区,而街区又属于更大规模的区域。基于树的聚合问题,我们认为在本文中问这些树定义的叶子的子组应该真正被视为一个单一的实体,这些实体应该相互区分。我们引入了“假分裂率”,一个错误的措施,描述了在何种程度上子组已经分裂时,他们不应该已经。然后,我们提出了一个多假设检验算法,基于树的聚合,我们证明控制这个错误的措施。我们专注于两个主要的例子,基于树的聚集,其中一个涉及聚集的手段,另一个涉及聚集回归系数。我们应用这种方法来汇总股票的基础上,他们的波动性和纽约市的出租车票价的基础上汇总社区。
2021-08-11 cs.LG math.ST stat.ME
On Controlling the False Discovery Rate in Multiple Testing of the Means of Correlated Normals Against Two-Sided Alternatives
本文针对相关正态均值双侧多重检验中 BH 方法能否无条件控制 FDR 的开放猜想,在协方差矩阵已知或为已知矩阵未知标量倍数的两种情形下,证明了基于加权 z 或 t 统计量的 BH 型逐步上升方法能够控制 FDR。
2023-04-11 math.ST stat.TH
Stepup procedures controlling generalized FWER and generalized FDR
在可以容忍多于一个错误拒绝的多个假设检验的许多应用中,控制差错率的过程测量针对某些固定的$k\ge 1$的至少$k$错误拒绝而不是至少一个错误拒绝,这可以潜在地增加过程检测错误零假设的能力。$k$ -FWER是通常的族式差错率(FWER)的广义版本,是最近在文献中引入的这样一种差错率,并且已经提出了控制它的过程。本文进一步推广了$k$ -FWER的结果。此外,通过概括通常的错误发现率(FDR),以与$k$-FWER相同的精神引入了另一种不太保守的差错率概念,即$k$-FDR。利用$p$ -值的$k$阶联合零分布,在给定任何一组递增常数的情况下,构造了一个$k$ -FWER过程,而不假定所有$p$-值之间有任何特定形式的依赖关系.控制$k$ -FDR的过程也通过使用$p$ -值的$k$阶联合零分布来开发,首先假设空和非空$p$值的集合是相互独立的,或者它们在二阶多变量全正的意义上是联合正相关的(MTP $_2$),然后丢弃关于$p$值之间的总体依赖性的假设。
2008-03-20 math.ST stat.TH
Bias corrected estimators for proportion of true null hypotheses under exponential model: Application of adaptive FDR-controlling in segmented failure data
针对指数分布的随机观测数据,对多假设检验情形下的真零假设比例($π_0$)的两个基于模型的偏差校正估计进行了重构.基于随机序,给出了$π_0$的一些相关估计公式背后的新动机。减少基于模型的估计的偏差的理论证明和算法计算的估计也提出。估计器也被用来制定一个流行的自适应多重测试程序。广泛的数值研究支持的偏差校正估计的优越性。我们还指出了使用基于模型的偏差校正方法的不利影响,而没有适当的评估的基础分布。一个案例研究是用一个合成数据集与可靠性和保修研究,以证明该程序的适用性,根据非高斯设置。所得到的结果与学科专家的直觉和经验相一致。最后,作者对全文进行了总结,并对今后的研究方向进行了展望。
2020-07-26 math.ST stat.TH
Nonparametric methods controlling the median of the false discovery proportion
Econometric Institute, Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹计量经济研究所)
本文提出了一种非参数多重检验方法,用于控制虚假发现比例的中位数,适用于多种参数假设检验场景。
2026-02-27 stat.ME
The Control of the False Discovery Rate in Fixed Sequence Multiple Testing
控制错误发现率(FDR)是多重检验的一种有效方法。在许多应用中,测试的假设有一个固有的层次结构。在本文中,我们专注于固定序列结构的假设的测试顺序已被严格规定提前。我们有动机研究这样的结构,因为它是最基本的层次结构,但它经常出现在实际应用中,如统计过程控制和流数据分析。我们首先考虑一个传统的固定序列的方法,停止测试,一旦接受发生,并开发这样一种方法控制FDR下任意和负的依赖关系。在任意依赖下的方法被证明是不可改进的,而不会失去对FDR的控制,与现有的FDR方法不同,它甚至不能通过限制到通常的正回归依赖子集(PRDS)条件来改进。考虑到任何潜在的错误,在测试的顺序,我们延长了传统的固定序列的方法,允许更多,但一定数量的验收。仿真研究表明,所提出的程序可以强大的替代现有的FDR控制程序。通过一个真实的数据集,从微阵列实验所提出的程序进行说明。
2016-11-10 math.ST stat.ME stat.TH
Controlling the False Discovery Rate in Complex Multi-Way Classified Hypotheses
在这篇文章中,我们提出了一个广义加权版本的著名Benjamini-Hochberg(BH)过程。我们的方法所使用的严格的加权方案,使它能够编码的结构信息,同时多路分类以及分层分区的假设成组,规定,以适应重叠的群体。该方法被证明可以控制错误发现率(FDR)时,涉及的p值是正回归依赖于空p值的子集(PRDS)。提出了一种数据自适应版本的方法。仿真结果表明,我们提出的方法控制FDR在所需的水平,是更强大的比现有的可比多重检验程序,当p值是独立的或满足一定的依赖条件。我们应用这种数据自适应方法来分析神经成像数据集,并了解酒精中毒对人类大脑的影响。神经成像数据通常具有复杂的分类结构,这在先前提出的多重检验过程的后续推断中没有被充分利用。通过灵活的加权方案,我们的方法准备从数据中提取更多信息,并使用它来执行更明智和有效的假设测试。
2021-05-23 stat.ME
Nonparametric estimation of the density of the alternative hypothesis in a multiple testing setup. Application to local false discovery rate estimation
在多重检验的背景下,我们考虑一个半参数混合模型与两个组件,其中一个组件是已知的,并对应于$p$ -值的分布下的原假设和其他组件$f$是非参数的,并代表下的分布备择假设。出于本地错误发现率估计的问题,我们在这里集中在混合物中的非参数未知成分$f$的估计,依赖于真实零假设的未知比例$θ$的初步估计。我们提出并研究了这个未知分量的两个不同的估计的渐近性质。第一估计器是随机加权核估计器。我们建立了它的逐点二次风险的上界,展示了经典的非参数收敛速度在一类Hölder密度。据我们所知,这是第一个结果建立收敛以及相应的速度估计未知成分在这个非参数混合。第二个估计量是最大平滑似然估计量。它是通过一个迭代算法计算的,为此我们建立了一个下降性质。此外,这些估计器用于多重检验过程中,以估计本地错误发现率。他们各自的表现,然后比较合成数据。
2013-04-03 stat.AP
Large-scale adaptive multiple testing for sequential data controlling false discovery and nondiscovery rates
针对高维序列数据,本文提出自适应停止边界的序贯多重检验,利用oracle与局部FDR数据驱动规则渐近同时控制FDR和FNR,并显著降低期望样本量。
2023-06-08 math.ST stat.ME stat.TH
Monotone false discovery rate
本文提出了一种方法来获得大规模多重检验中出现的局部和尾部错误发现率的单调估计。所提出的单调化方法对于控制错误发现率是渐近最优的,并且具有许多有吸引力的有限样本性质。
2013-12-13 stat.ME
Controlling the number of significant effects in multiple testing
针对弱效应下 FDR 控制过于保守的问题,本文提出控制显著效应数量的准则及相应程序,并通过理论、模拟和真实数据验证其性质。
2023-11-01 stat.ME
Controlling false discovery exceedance for heterogeneous tests
对于大规模多重检验问题,存在几种经典的方法来控制错误发现抑制(FDX),其中包括Lehmann-Romano方法(下文[LR])和Guo-Romano方法(下文[GR])。虽然这两个过程是最突出的,但它们最初是为齐次检验统计量设计的,即当$p$值$F_i$,$1\leq i\leq m$的零分布函数都相等时。然而,在许多应用中,数据是异构的,这导致异构的空分布函数。忽略这种异质性通常会导致上述程序的保守性。在本文中,我们开发了三个新的程序,将$F_i$的,同时确保FDX控制。[LR]的异构版本(表示为[R])基于$F_i$的算术平均值,而[GR]的异构版本(表示为[HGR])基于$F_i$的几何平均值.我们还介绍了一个程序[PB],这是基于泊松-二项分布,并一致地提高[HGR]和[HGR],在一个更高的计算复杂性的代价。也许令人惊讶的是,这表明,与异质性下的错误发现率(FDR)控制的已知理论相反,在FDX控制的情况下,引入$F_i$的方式可以特别简单,并且不需要任何进一步的校正项.在两个重要的异质设置中,通过真实和模拟数据说明了新提出的程序的性能:首先,当检验统计量是连续的,但$p$值由一些已知的独立权重向量加权时,例如,来自共同数据集;第二,当检验统计量离散分布时,如表示频率或计数的数据的情况。
2019-12-10 stat.ME
On Stepwise Control of the Generalized Familywise Error Rate
处理多重检验问题的经典方法是将注意力限制在控制族差错率(FWER)的程序上,即至少有一个错误拒绝的概率。在许多应用中,人们可能愿意容忍一个以上的错误拒绝,只要这种情况的数量得到控制,从而增加了该过程检测错误零假设的能力。这建议通过控制$k$或更多错误拒绝的概率来取代对FWER的控制,这被称为$k$ -FWER。本文提出了一种推导$k$ -FWER控制程序的统一方法。我们首先概括了众所周知的封闭原则的上下文中的FWER的情况下,控制的$k$ -FWER。然后,我们讨论了如何推导出$k$ -FWER控制逐步(stepdown或stepup)程序的基础上,边际$p$ -值使用这一原则。证明了在一定条件下,广义闭检验过程可归结为逐步检验过程,且任何逐步检验过程都等价于广义闭检验过程。最后,我们将著名的Hommel检验过程在两个方向上进行了推广,并证明了任何推广的Hommel检验过程都等价于一个具有相同临界值的推广的封闭检验过程.
2008-10-28 math.ST stat.TH
Graph inference with clustering and false discovery rate control
在本文中,噪声版本的随机块模型(NSBM)的介绍,我们研究了以下三个统计推断在这个模型中:模型参数的估计,聚类的节点和识别的基础图。虽然前两个推理是通过使用变分期望最大化(VEM)算法来完成的,但是图推理是通过控制错误发现率(FDR)(即,被宣布为重要的边缘中的错误的平均比例)和通过最大化真实发现率(TDR)(即,被宣布为重要的边缘中的边缘的平均比例)来完成的。只要VEM算法提供可靠的参数估计和聚类,我们从理论上表明,我们的程序不控制FDR,同时满足最佳的TDR属性,当图形的大小增长时,剩余项变得很小。数值实验表明,我们的方法优于经典的FDR控制方法,忽略了底层的SBM拓扑结构。此外,这些模拟表明,我们的方法的FDR/TDR属性是强大的模型误指定,也就是说,基本上保持在我们的模型之外。
2019-07-23 math.ST stat.ME stat.TH
Further Results on Controlling the False Discovery Rate in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文针对任意依赖下双侧高斯均值检验,推导了BH程序FDR的依赖自适应界,提出了协方差未知时具有限样本FDR保证的置信界移位BH程序,验证了其性能优势。
2026-08-25 math.ST stat.ME stat.TH
Type I error rate control for testing many hypotheses: a survey with proofs
本文综述了多重检验方法中第一类错误率控制的一些最新进展。我们考虑控制$k$ -族式错误率(kFWER,使$k$错误发现或更多的概率)和错误发现比例(FDP,错误发现在发现中的比例)的问题。FDP通过其期望值(即所谓的错误发现率(FDR))或通过其上尾分布函数来控制。我们的目标是得到一般和统一的结果,简洁和简单的数学证明。此外,虽然本文主要是一个调查文件,一些新的贡献,控制kFWER和上尾分布函数的FDP。特别是,我们推导出一个新的程序的基础上的分位数的二项分布,控制FDP下的独立性。
2011-03-14 stat.ME
Consistent estimation of the proportion of false nulls and FDR for adaptive multiple testing Normal means under weak dependence
我们考虑许多相依正态随机变量的多重检验均值,这些随机变量不一定服从联合正态分布。在弱相依下,证明了Lebesgue-Stieltjes方程解的比例估计的一致相合性,并通过弱相依指数刻画了这些估计的稀疏比例的一致估计.另一方面,在主相关结构和采用一个合适的定义的p值复合零假设,我们表明,三个关键的经验过程引起的一个单步多重检验程序(MTP)满足强大数定律测试的三种类型的零。此外,在此结构下,并分别为测试一个点空和一个片面的空,我们构造了一个自适应单步MTP,采用比例估计前面提到的,并证明了该过程的错误发现比例满足弱大数定律,因此一致估计的错误发现率的过程。此外,我们报告了一些调查结果的估计金和Meinshausen和水稻的比例的假空值的关键和非常稀疏的制度下弱依赖和模型误设定,分别。
2022-05-05 stat.ME
Asymptotically optimal sequential FDR and pFDR control with (or without) prior information on the number of signals
我们调查渐近最优的多重检验程序的顺序数据流的背景下,先验信息的数量假零假设(“信号”)。我们表明,最近提出并由Song和Fellouris(2017,Electron. J. Statist.)对于控制第1类和第2类族误差率(FWE)是渐近最优的,当适当调整它们的临界值时,对于控制FDR/FNR也是渐近最优的。推广这一结果,我们表明,这些程序,再次适当调整的临界值,是渐近最优的控制任何多重检验误差度量,在一定意义上的FWE的倍数之间的界限。这类指标包括FDR/FNR,但也包括pFDR/pFNR、每个比较和每个系列的错误率以及假阳性率。我们的分析包括渐近制度,其中零假设的数量接近$\infty$,因为1型和2型错误度量接近$0$。
2020-05-01 math.ST stat.ME stat.TH
Flexible control of the median of the false discovery proportion
本研究提出一种仅需p值输入、时间复杂度线性的多重检验程序,通过调整真假设总数估计量得到FDP同时中位数无偏估计,实现观测数据后灵活选alpha且不依赖独立性假设的FDP中位数控制,性能可比Benjamini-Hochberg方法。
2024-03-13 stat.ME
Bringing Closure to False Discovery Rate Control: A General Principle for Multiple Testing
Carnegie Mellon University(卡内基梅隆大学);Ca’ Foscari University of Venice(威尼斯福斯卡里宫大学);University of Bremen(不来梅大学);University of Twente(特温特大学);Centrum Wiskunde & Informatica(荷兰数学与计算机科学研究中心);Leiden University Medical Center(莱顿大学医学中心)
本文提出了一种通用原则,统一了多重检验方法,可控制多种误差率,包括假发现率,并允许事后灵活选择误差度量。
2026-07-31 math.ST stat.ME stat.TH
Classes of Multiple Decision Functions Strongly Controlling FWER and FDR
本文提出了两类一般的多个决策函数,其中第一类的每个成员强烈控制的家庭明智的差错率(FWER),而第二类的每个成员强烈控制的错误发现率(FDR)。这些类提供了一个最佳的多个决策函数相对于一个预先指定的标准,如错过的发现率(MDR),可以在这些类中找到的可能性。这样的多个决策函数可以用于多个测试,具体地,但不限于,高维微阵列数据集的分析。
2010-07-15 math.ST stat.TH
Group Competition Test: A P-value-free False Discovery Rate Control Framework for Grouped Hypotheses
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院数学科学重点实验室)
本文提出了一种基于竞争检验框架的分组方法,通过校正竞争程序来控制全局FDR,适用于具有强异质性或依赖结构的数据。
2026-10-27 math.ST stat.ME stat.TH
Finite Resources False Discovery Rate Control in Structured Hypothesis Spaces
Technion – Israel Institute of Technology(技术学院 – 以色列理工学院);NVIDIA
针对有限空分布样本和结构化假设空间,提出基于再生核的框架,通过两种决策规则在精确FDR控制与统计功效间权衡,并优化资源分配。
2026-06-16 cs.LG stat.ME stat.ML
Local False Sign Rate and the Role of Prior Covariance Rank in Multivariate Empirical Bayes Multiple Testing
本文研究了多元经验贝叶斯多重检验中先验协方差矩阵秩对局部错误符号率的影响,提出使用满秩协方差矩阵的调整方法以缓解低秩导致的错误符号率膨胀,从而提升高维环境下的稳健性。
2025-04-01 stat.AP stat.ME
Adaptive procedures for directional false discovery rate control
本文研究多重检验中方向性错误风险,证明两种自适应FDR方法在增加符号声明且假设独立时可强控制FDR_dir,尤其适用于真实原假设很少的高功效场景。
2024-01-24 stat.ME
Estimating False Discovery Proportion Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,同时进行数万次测试,以确定是否有任何SNP与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去了共同的依赖性和显着削弱的相关性结构,以处理一个任意的依赖结构。本文推导了在大规模多重检验中,当采用公共门限时,错误发现率的近似表达式,并给出了实现错误发现率的相合估计。这一结果在FDR和FDP的控制中有重要的应用。我们对实现的FDP的估计与Efron(2007)的方法相比毫不逊色,如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。我们还提出了一个依赖调整的过程,这是更强大的比固定阈值的过程。
2011-11-15 math.ST stat.ME stat.TH
Optimal control of false discovery criteria in the two-group model
在检验大量统计假设时,影响力很大的两组模型假设检验统计量独立于高概率零分布和低概率替代分布的混合分布。在边际错误发现率(mFDR)提供经受mFDR控制的最大功率(预期的真实发现)的意义上,已知通过对局部错误发现率(locFDR)进行阈值化来实现边际mFDR的最优控制,即,假设为零的概率,给定一组检验统计量,具有固定阈值。我们解决的挑战,最佳控制流行的错误发现率(FDR)或积极的FDR(pFDR),而不是mFDR在一般的两组模型,这也允许之间的依赖性的检验统计量。这些准则比mFDR准则保守性更小,因此它们在预期中产生更多的拒绝。我们得到他们的最佳多重检验(OMT)的政策,原来是阈值的locFDR与阈值是一个函数的整个统计。我们开发了一个有效的算法来找到这些政策,并使用它的问题与数千个假设。我们说明这些程序的基因表达研究。
2020-05-27 math.ST stat.ME stat.TH
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
A Change-Point Approach to Estimating the Proportion of False Null Hypotheses in Multiple Testing
本文提出一种基于变点的 $λ$ 选择方法,通过分段线性逼近 $p$ 值图来估计虚假零假设比例,模拟显示其 RMSE 较小,并扩展至超均匀 $p$ 值情形。
2024-05-05 stat.ME
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California(南加州大学);Stanford University(斯坦福大学)
多重假设检验是统计推断中的一个核心问题,几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下,引入了假发现率(FDR),即被拒绝的零假设中假阳性的预期比例,并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中,我们考虑的问题,控制FDR在一个“在线的方式”。具体地说,我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序,并证明,在这个类中的任何规则控制在线FDR,提供$p$ -值对应于真正的空值是独立于其他$p$ -值。(早期的工作仅建立了mFDR控制。接下来,我们得到的条件下,广义α投资控制FDR在一般$p$值的依赖关系的存在。最后,我们开发了一套修改后的程序,也可以控制错误发现的比例(尾部的错误发现)。数值模拟和分析结果表明,在线程序不会招致大量的损失,在统计功率相对于离线的方法,如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP
Why multiple hypothesis test corrections provide poor control of false positives in the real world
大多数科学学科都使用显著性检验来对实验或观察数据得出结论。这种经典方法为控制一组假设检验中的假阳性数量提供了理论保证,使其成为寻求限制他们声称观察到的假效应或关联数量的科学家的一个有吸引力的框架。不幸的是,这种理论保证适用于很少的实验,并且真假阳性率(FPR)要高得多。科学家们有很大的自由度来选择要控制的错误率、要包括在调整中的测试以及校正方法,这使得很难实现强大的错误控制。此外,在发现意外的关系或模式后,通常会对假设进行测试,数据会以多种方式进行分析,并且随着数据的积累,分析可能会重复运行。因此,调整后的p值太小,经常得出不正确的结论,结果更难重现。在下文中,我将讨论为什么FPR很少被有意义地控制,以及为什么收缩参数估计比p值调整更可取。
2023-03-03 q-bio.QM stat.AP
Adaptive novelty detection with false discovery rate guarantee
本文提出AdaDetect方法,通过包装任意概率分类算法实现数据自适应的新颖性检测,在有限样本下保证错误发现率控制,并扩展出适应零假设比例的变体。
2023-10-25 math.ST stat.ME stat.ML
An adaptive significance threshold criterion for massive multiple hypotheses testing
本研究涉及大量的多重假设检验。首先将多重检验看作是在适当的总体模型下的估计问题,引入了一个与错误发现率(FDR)相关的误差度量--错误拒绝率(ERR)。ERR是一种在精神上类似于FDR的误差度量,它大大简化了对多个测试过程的误差特性的分析研究。其次,提出了一种改进的真零假设比例估计和数据自适应显著性阈值准则。在最近的应用中广泛满足的分布假设下,建立了显着阈值准则的一些渐近误差性质。模拟研究提供了明确的证据表明,提出的估计的比例真实的零假设优于现有的估计这一重要参数在大规模的多重检验。分析和模拟研究表明,所提出的显着性阈值标准可以提供一个合理的假阳性和假阴性错误之间的平衡,从而补充和扩展各种FDR控制程序。S-plus/R代码可向作者索取。
2006-10-27 math.ST stat.TH
Contextual Online False Discovery Rate Control
多重假设检验是统计推断中的一个核心问题,几乎出现在所有科学领域。在这种情况下,控制错误发现率(FDR),这是第一类错误的预期比例,是一个重要的挑战,使有意义的推论。在本文中,我们考虑的问题,控制FDR在线的方式。具体地说,我们考虑一个有序的,可能是无限的假设序列,在每个时间步到达一个,对于每个假设,我们观察到一个p值以及一组特定于该假设的特征。在观察到下一个假设之前,必须在每个时间步立即做出是否拒绝当前假设的决定。多维特征集模型提供了一种非常通用的方法来利用数据中的辅助信息,这有助于最大限度地提高发现的数量。我们提出了一类新的强大的在线测试程序,其中拒绝阈值(显着性水平)的学习顺序,结合上下文信息和以前的结果。我们证明,在这个类中的任何规则控制在线FDR下一些标准的假设。然后,我们专注于这些程序的一个子类,加权显着性水平的基础上,推导出一个实用的算法,学习参数权函数在网上的方式,以获得更多的发现。我们还从理论上证明,在程式化的环境中,我们提出的程序将导致比Javanmard & Montanari(2018)提出的流行在线测试程序更高的统计功效。最后,我们证明了我们的程序的良好性能,通过比较它的国家的最先进的在线多个测试程序,从不同的应用程序生成的合成数据和真实数据。
2019-03-15 math.ST stat.ML stat.TH
Control of the False Discovery Rate Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,成千上万的测试同时进行,以确定是否有任何基因与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去共同的依赖性和显着削弱的相关性结构,以处理任意的依赖结构。本文推导了在大规模多重检验中,当使用公共门限时,错误发现率(FDP)的理论分布,并给出了一致的FDP。这一结果在FDR和FDP的控制中有重要的应用。我们对FDP的估计与Efron(2007)的方法相比毫不逊色,正如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。
2010-12-20 stat.ME
False discovery rate smoothing
我们提出了错误发现率平滑,一个经验贝叶斯方法利用空间结构在大型多测试问题。FDR平滑自动查找显著检验统计量的空间局部区域。然后,它放宽了这些区域内的统计显著性阈值,并在其他地方收紧,以将总体错误发现率控制在给定水平。这导致增加的功率和信号与噪声的更清晰的空间分离。该方法需要解决一个非标准的高维优化问题,其中一个有效的增广拉格朗日算法。在仿真研究中,FDR平滑以适度的计算成本表现出最先进的性能。特别是,它被证明是更强大的比现有的空间相关的多重检验的方法。我们还将该方法应用于空间工作记忆功能磁共振成像实验的数据集,在那里它检测到的模式比标准FDR控制方法检测到的模式更生物学上合理。FDR平滑的所有代码都可以在Python和R中公开获得。
2016-11-14 stat.AP stat.CO stat.ME
Generalizing Simes' test and Hochberg's stepup procedure
在一个多测试问题,其中一个是愿意容忍一些错误拒绝,过程控制familywise差错率(FWER),可以潜在地改善其检测错误的零假设的能力,通过推广到控制$k$-FWER,错误地拒绝至少$k$零假设的概率,为一些固定的$k>1$。Simes检验交集原假设的方法被推广到弱控制$k$ -FWER,即在交集原假设下,而Hochberg检验单个零假设的步骤被推广到强控制$k$ -FWER,即在真和假零假设的任何配置下.建议的推广开发利用联合零分布的$k$维子集的$p$值,假设是相同的。通过推广原Simes不等式,证明了在$p$ -值的联合零分布的多元二阶全正(MTP $_2$)条件[J.MultivariateAnalysis10(1980)467- 498]下,广义Simes检验弱控制$k$-FWER.当$p$ -值独立时,它比原始Simes检验更能检测出$k$或更多的假零假设。一个降压程序强烈控制的$k$ -FWER,一个版本的广义霍尔姆的程序,这是不同的,更强大的比[安。33(2005)1138--1154]中所描述的具有独立的$p$值的方法。在广义Simes检验弱控制广义Hochberg过程的$k$-FWER的情况下,建立了广义Hochberg过程的$k$-FWER的强控制.
2008-03-13 math.ST stat.TH
A class of smooth, possibly data-adaptive nonparametric copula estimators containing the empirical beta copula
研究了一类光滑的,可能是数据自适应的非参数Copula估计,其中包含Sancetta和Saturday引入的经验Bernstein Copula(以及Segers,Sibuya和Tsukahara提出的经验Beta Copula)。在这个类中,一个子类的估计,依赖于一个标量参数确定的边际平滑量和一个功能参数控制的平滑区域的形状被特别考虑。这些参数的影响的实证调查建议集中在两个特定的数据自适应平滑Copula估计,被发现是均匀优于经验β Copula在所有考虑的蒙特卡罗实验。最后,考虑到未来的应用程序的变点检测,相关的顺序经验copula过程弱收敛的条件下提供。
2022-12-19 math.ST stat.TH
Simultaneous high-probability bounds on the false discovery proportion in structured, regression, and online settings
虽然传统的多重测试程序禁止用户做出自适应分析选择,但Goeman和Solari(2011)提出了一种同时推理框架,该框架允许用户在保持所选集合的错误发现比例(FDP)的高概率界限的同时具有这种灵活性。在本文中,我们提出了一类新的同时FDP界,专为嵌套序列的拒绝集。虽然大多数现有的同时FDP界限是基于封闭测试,使用全局空测试的基础上排序的p值,我们还考虑设置边信息可以利用提高功率,变量选择设置,其中敲除统计可以用来订购变量,以及在线设置,其中必须作出拒绝的决定,因为数据到达。我们的有限样本,封闭形式的界限是基于重新利用的FDP估计错误发现率(FDR)控制程序设计的上述设置。这些结果建立了一个新的连接之间的并行文献的同时FDP界和FDR控制方法,并使用证明技术,采用鞅和过滤,这是新的这些文献。我们证明了我们的研究结果的效用,通过增加最近的仿制品分析英国生物银行数据集。
2019-12-01 math.ST stat.TH
Asymptotic Uncertainty of False Discovery Proportion
多重检验一直是统计研究中的热门话题。虽然已经做了大量的工作,但当相应的检验统计量相关时,控制错误发现仍然是一项具有挑战性的任务。在任意依赖的检验统计量之间,已经提出了各种方法来估计错误发现比例(FDP)。其主要思想之一是将任意相关性降为弱相关性,然后从理论上证明了弱相关性下FDP和FDR的强相合性。因此,在弱依赖的框架下,FDP具有相同的渐近极限。我们观察到,渐近方差的FDP,然而,可能严重依赖于相应的检验统计量的依赖结构,即使他们只是弱依赖,它是很大的实用价值,以量化这种变异性,因为它可以作为一个指标的质量FDP估计从给定的数据。据我们所知,这方面的研究在文献中仍然有限。在本文中,我们首先推导出FDP在弱正则性条件下的渐近展开,然后从理论上和数值上研究了FDP的渐近方差在不同依赖结构下的变化。根据本研究中的观察结果,我们建议在通过FDP程序进行的多重检验中,我们可以报告FDP的均值和方差估计值,以丰富研究结果。
2022-07-03 math.ST stat.TH