Controlling False Discoveries During Interactive Data Exploration
最近的交互式数据探索工具大大增加了用户做出错误发现的机会。关键在于,这些工具隐含地允许用户只需点击几下就可以测试大量不同的假设,从而导致统计学中通常称为多假设检验错误的问题。在本文中,我们提出了解决方案,将多个假设检验控制集成到交互式数据探索工具。一个关键的见解是,用于控制错误发现率的现有方法(如FDR)并不直接适用于交互式数据探索。因此,我们讨论了一套新的控制程序,更好地适应和集成在我们的系统称为意识。通过使用真实世界和合成数据集的大量实验,我们展示了Aware如何帮助专家和新手用户有效地控制错误发现。
2016-12-04 cs.DB stat.ME
False Discovery Rate Adjustments for Average Significance Level Controlling Tests
University of Southern California(南加州大学)
研究在平均显著性水平控制下,Benjamini-Hochberg过程仍能渐近控制FDR,并证明某些依赖调整在有限样本中有效,为高维非参数设置提供FDR控制方法。
2026-06-12 stat.ME
Controlling False Discovery Rates under Cross-Sectional Correlations
New York University(纽约大学);Nomura Asset Management Co.(野村资产管理公司);Temple University(天普大学)
我们考虑控制错误发现率来测试许多具有未知横截面相关结构的时间序列。如果有大量的假设,错误和遗漏的发现可能会困扰分析。虽然已经提出了许多程序来控制错误的发现,他们中的大多数要么假设独立的假设或缺乏统计功效。一个特别令人感兴趣的问题是金融资产定价,其目标是确定哪些“因素”导致大量潜在因素的超额回报。我们的贡献是双重的。首先,我们证明了Fama和French的突出方法在多重检验下的一致性。其次,我们提出了一种新的方法,错误发现控制使用双引导。我们实现了优越的统计功效,现有的方法,并证明了错误发现率的控制。仿真和实际数据的应用表明,我们的方法比现有的方法的有效性。
2021-06-09 cs.AI cs.LG stat.ME
False discovery rate controlling procedures for discrete tests
Benjamini和Hochberg(1995)提出了错误发现率(FDR)作为多重检验问题中族错误率的替代,并提出了控制FDR的方法。对于离散数据,该过程可能是高度保守的。我们调查替代,更强大的程序,利用离散性的测试,并有FDR水平接近所需的标称水平的幅度。此外,我们开发了一种新的降压过程,占主导地位的降压过程Benjamini和刘(1999)的离散数据。我们考虑应用于药物警戒自发报告系统,用于早期发现上市药物的不良反应。
2014-01-27 stat.ME
Further results on controlling the false discovery proportion
错误发现比例(FDP)超过$γ\in[0,1)$的概率(定义为$γ$ -FDP)作为多重测试中错误发现的度量而受到广泛关注。虽然这一措施已被接受,由于其相关性的依赖,还没有取得太大的进展,但推进其理论在这种依赖下,在非渐近设置,这促使我们在这篇文章中的研究。我们提供了一个更大的类的程序包含的stepup模拟,因此更强大的比,在莱曼和罗马诺[安。33(2005)1138-1154]在该论文中假设的类似正相关条件下控制$γ$ -FDP。我们提供了更好的替代品的降压和升压程序在罗马诺和Shaanxi [IMS讲座笔记Monogr。Ser.49(2006a)33-50,Ann. Statistist. 34(2006 b)1850-1873]使用空$p$值的成对联合分布。我们概括了$γ$ -FDP的概念,使其适合于人们愿意容忍一些错误拒绝的情况,或者由于高度依赖性,一些错误拒绝是不可避免的,并提供了在两种不同场景中控制这种广义$γ$ -FDP的方法:(i)只有边际$p$ -值可用,以及(ii)边际$p$ -值以及空$p$值的公共成对联合分布是可用的,并且在每个场景中假设对$p$值的正相关和任意相关条件。我们的理论研究结果得到了数值研究的支持。
2014-06-02 math.ST stat.TH
Asymptotic properties of false discovery rate controlling procedures under independence
我们研究了一个家庭的多个比较程序的性能强控制的错误发现率($\mathsf{FDR}$)。$\mathsf{FDR}$是预期的错误发现比例($\mathsf{FDP}$),即所有被拒绝假设中错误拒绝的预期分数。已经提出了对原始Benjamini-Hochberg程序[1]的许多改进,通过估计真零假设的比例来增加功效,或者隐式地导致一阶段自适应程序[4,7],或者显式地导致两阶段自适应(或插件)程序[2,21]。我们使用Genovese和Wasserman [11]提出的随机过程方法的变体来研究这些程序中的每一个在其期望值周围实现的$\mathsf{FDP}$的波动,对于独立的测试假设。我们引入了一个框架,推导出通用的中心极限定理的$\mathsf{FDP}$这些程序,表征相关的正则性条件,并比较各种程序的渐近功率。我们将最近提出的单阶段自适应过程[4,7]解释为众所周知的两阶段自适应过程[2,21]迭代中的不动点。
2008-11-21 math.ST stat.TH
The Control of the False Discovery Rate in Fixed Sequence Multiple Testing
控制错误发现率(FDR)是多重检验的一种有效方法。在许多应用中,测试的假设有一个固有的层次结构。在本文中,我们专注于固定序列结构的假设的测试顺序已被严格规定提前。我们有动机研究这样的结构,因为它是最基本的层次结构,但它经常出现在实际应用中,如统计过程控制和流数据分析。我们首先考虑一个传统的固定序列的方法,停止测试,一旦接受发生,并开发这样一种方法控制FDR下任意和负的依赖关系。在任意依赖下的方法被证明是不可改进的,而不会失去对FDR的控制,与现有的FDR方法不同,它甚至不能通过限制到通常的正回归依赖子集(PRDS)条件来改进。考虑到任何潜在的错误,在测试的顺序,我们延长了传统的固定序列的方法,允许更多,但一定数量的验收。仿真研究表明,所提出的程序可以强大的替代现有的FDR控制程序。通过一个真实的数据集,从微阵列实验所提出的程序进行说明。
2016-11-10 math.ST stat.ME stat.TH
Large-scale adaptive multiple testing for sequential data controlling false discovery and nondiscovery rates
针对高维序列数据,本文提出自适应停止边界的序贯多重检验,利用oracle与局部FDR数据驱动规则渐近同时控制FDR和FNR,并显著降低期望样本量。
2023-06-08 math.ST stat.ME stat.TH
An Empirical Bayes Approach to Controlling the False Discovery Exceedance
针对FDP高度可变时的多重检验问题,提出一种经验贝叶斯FDX控制方法,通过计算捷径模拟最优lfdr先知规则,并在模拟、真实数据及异常股票交易策略识别中验证其性能。
2023-04-20 stat.AP stat.ME
Controlling the False Split Rate in Tree-Based Aggregation
University of Southern California(南加州大学)
在许多领域中,数据度量可以自然地与树的叶子相关联,表达这些度量之间的关系。例如,公司属于行业,而行业又属于更粗的部门,如部门;微生物通常按照从物种到王国的分类层次进行排列;街区属于街区,而街区又属于更大规模的区域。基于树的聚合问题,我们认为在本文中问这些树定义的叶子的子组应该真正被视为一个单一的实体,这些实体应该相互区分。我们引入了“假分裂率”,一个错误的措施,描述了在何种程度上子组已经分裂时,他们不应该已经。然后,我们提出了一个多假设检验算法,基于树的聚合,我们证明控制这个错误的措施。我们专注于两个主要的例子,基于树的聚集,其中一个涉及聚集的手段,另一个涉及聚集回归系数。我们应用这种方法来汇总股票的基础上,他们的波动性和纽约市的出租车票价的基础上汇总社区。
2021-08-11 cs.LG math.ST stat.ME
On Controlling the False Discovery Rate in Multiple Testing of the Means of Correlated Normals Against Two-Sided Alternatives
本文针对相关正态均值双侧多重检验中 BH 方法能否无条件控制 FDR 的开放猜想,在协方差矩阵已知或为已知矩阵未知标量倍数的两种情形下,证明了基于加权 z 或 t 统计量的 BH 型逐步上升方法能够控制 FDR。
2023-04-11 math.ST stat.TH
Stepup procedures controlling generalized FWER and generalized FDR
在可以容忍多于一个错误拒绝的多个假设检验的许多应用中,控制差错率的过程测量针对某些固定的$k\ge 1$的至少$k$错误拒绝而不是至少一个错误拒绝,这可以潜在地增加过程检测错误零假设的能力。$k$ -FWER是通常的族式差错率(FWER)的广义版本,是最近在文献中引入的这样一种差错率,并且已经提出了控制它的过程。本文进一步推广了$k$ -FWER的结果。此外,通过概括通常的错误发现率(FDR),以与$k$-FWER相同的精神引入了另一种不太保守的差错率概念,即$k$-FDR。利用$p$ -值的$k$阶联合零分布,在给定任何一组递增常数的情况下,构造了一个$k$ -FWER过程,而不假定所有$p$-值之间有任何特定形式的依赖关系.控制$k$ -FDR的过程也通过使用$p$ -值的$k$阶联合零分布来开发,首先假设空和非空$p$值的集合是相互独立的,或者它们在二阶多变量全正的意义上是联合正相关的(MTP $_2$),然后丢弃关于$p$值之间的总体依赖性的假设。
2008-03-20 math.ST stat.TH
An Optimal False Discovery Rate Controlling Procedure for Changepoint Detection
Stanford University(斯坦福大学)
针对独立观测序列变点检测问题,提出LBD-FDR方法,可控制错误发现率,在高斯序列等场景下达最优检测性能,模拟中与五种现有方法对比验证有效性。
2026-08-04 stat.ME
Split Knockoffs for Multiple Comparisons: Controlling the Directional False Discovery Rate
针对多重比较中线性变换约束下方向性错误发现率难以控制的问题,提出结合变量分裂与样本分裂的扩展Split Knockoff方法,可有效控制该错误率,且在仿真和阿尔茨海默病分析、年龄比较场景中验证了有效性。
2023-10-11 stat.ME
A Complete Review of Controlling the FDR in a Multiple Comparison Problem Framework -- The Benjamini-Hochberg Algorithm
本文综述了流行的Benjamini Hochberg方法以及其他相关的多假设检验方法。这是写的目的是服务于一个简短但完整的易于理解的审查主要文章与适当的背景。论文题为“控制错误发现率-一个实用和强大的方法多重检验”由benjamini等。al. [1]提出了一种控制多假设检验问题中错误发现率的新框架。有人声称,在该文件中提出的程序的结果在功率的大幅增加,更适用的情况下,要求错误发现率(FDR)的控制,而不是家庭的错误率(FWER)的问题。所提出的方法使用一个简单的Bonferroni型FDR控制程序。
2014-06-27 stat.ME
Estimating and Controlling the False Discovery Rate for the PC Algorithm Using Edge-Specific P-Values
PC算法允许研究人员从有限数据集估计一个完整的部分有向无环图(CPDAG),但很少有研究小组研究用于估计和控制CPDAG中边的错误发现率(FDR)的策略。在本文中,我们介绍了PC与p值(PC-p),一个快速算法,鲁棒地计算边缘特定的p值,然后估计和控制FDR的边缘。PC-p专门使用许多条件独立性检验返回的p值来上限更复杂的边缘特定假设检验的p值。然后,该算法使用有界p值和Benjamini-Yekutieli FDR程序来估计和控制FDR。对原始PC算法的修改也有助于PC-p准确地计算上界,尽管非零第二类错误率。实验表明,与其他方法相比,PC-p在各种CPDAG中产生更准确的FDR估计和边缘控制。
2017-05-10 stat.ME stat.ML
Graph inference with clustering and false discovery rate control
在本文中,噪声版本的随机块模型(NSBM)的介绍,我们研究了以下三个统计推断在这个模型中:模型参数的估计,聚类的节点和识别的基础图。虽然前两个推理是通过使用变分期望最大化(VEM)算法来完成的,但是图推理是通过控制错误发现率(FDR)(即,被宣布为重要的边缘中的错误的平均比例)和通过最大化真实发现率(TDR)(即,被宣布为重要的边缘中的边缘的平均比例)来完成的。只要VEM算法提供可靠的参数估计和聚类,我们从理论上表明,我们的程序不控制FDR,同时满足最佳的TDR属性,当图形的大小增长时,剩余项变得很小。数值实验表明,我们的方法优于经典的FDR控制方法,忽略了底层的SBM拓扑结构。此外,这些模拟表明,我们的方法的FDR/TDR属性是强大的模型误指定,也就是说,基本上保持在我们的模型之外。
2019-07-23 math.ST stat.ME stat.TH
Asymptotic Results on Adaptive False Discovery Rate Controlling Procedures Based on Kernel Estimators
错误发现率(FDR)是多测试问题中常用的I类差错率。它被定义为预期的假发现比例(FDP),即被拒绝的假设中假阳性的预期比例。当假设是独立的,Benjamini-Hochberg程序实现FDR控制在任何预先指定的水平。通过构造,FDR控制在功率或II类误差方面不提供保证。已经开发了一些替代程序,包括插件程序,旨在通过纳入真实零假设的比例估计来获得功率。在本文中,我们研究的渐近行为的一类插件程序的基础上的核估计的密度的$p$ -值,作为数量$m$的测试假设增长到无穷大。在一个设置的假设测试是独立的,我们证明,这些程序是渐近更强大的两个方面:(i)一个更严格的渐近FDR控制的任何目标FDR水平和(ii)更广泛的目标水平产生积极的渐近功率。我们还表明,这种增加的渐近功率是以较慢的价格,非参数收敛速度的FDP。这些比率的形式为$m^{-k/(2k+1)}$,其中$k$由$p$值分布的密度的规律性确定,或等效地由检验统计量分布的密度的规律性确定。这些结果适用于单侧和双侧检验统计的高斯和拉普拉斯位置模型,并为学生模型。
2013-04-20 math.ST physics.data-an q-bio.QM
Further Results on Controlling the False Discovery Rate in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文针对任意依赖下双侧高斯均值检验,推导了BH程序FDR的依赖自适应界,提出了协方差未知时具有限样本FDR保证的置信界移位BH程序,验证了其性能优势。
2026-08-25 math.ST stat.ME stat.TH
Nonparametric methods controlling the median of the false discovery proportion
Econometric Institute, Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹计量经济研究所)
本文提出了一种非参数多重检验方法,用于控制虚假发现比例的中位数,适用于多种参数假设检验场景。
2026-02-27 stat.ME
On Stepwise Control of the Generalized Familywise Error Rate
处理多重检验问题的经典方法是将注意力限制在控制族差错率(FWER)的程序上,即至少有一个错误拒绝的概率。在许多应用中,人们可能愿意容忍一个以上的错误拒绝,只要这种情况的数量得到控制,从而增加了该过程检测错误零假设的能力。这建议通过控制$k$或更多错误拒绝的概率来取代对FWER的控制,这被称为$k$ -FWER。本文提出了一种推导$k$ -FWER控制程序的统一方法。我们首先概括了众所周知的封闭原则的上下文中的FWER的情况下,控制的$k$ -FWER。然后,我们讨论了如何推导出$k$ -FWER控制逐步(stepdown或stepup)程序的基础上,边际$p$ -值使用这一原则。证明了在一定条件下,广义闭检验过程可归结为逐步检验过程,且任何逐步检验过程都等价于广义闭检验过程。最后,我们将著名的Hommel检验过程在两个方向上进行了推广,并证明了任何推广的Hommel检验过程都等价于一个具有相同临界值的推广的封闭检验过程.
2008-10-28 math.ST stat.TH
Controlling the False Discovery Rate in Complex Multi-Way Classified Hypotheses
在这篇文章中,我们提出了一个广义加权版本的著名Benjamini-Hochberg(BH)过程。我们的方法所使用的严格的加权方案,使它能够编码的结构信息,同时多路分类以及分层分区的假设成组,规定,以适应重叠的群体。该方法被证明可以控制错误发现率(FDR)时,涉及的p值是正回归依赖于空p值的子集(PRDS)。提出了一种数据自适应版本的方法。仿真结果表明,我们提出的方法控制FDR在所需的水平,是更强大的比现有的可比多重检验程序,当p值是独立的或满足一定的依赖条件。我们应用这种数据自适应方法来分析神经成像数据集,并了解酒精中毒对人类大脑的影响。神经成像数据通常具有复杂的分类结构,这在先前提出的多重检验过程的后续推断中没有被充分利用。通过灵活的加权方案,我们的方法准备从数据中提取更多信息,并使用它来执行更明智和有效的假设测试。
2021-05-23 stat.ME
Monotone false discovery rate
本文提出了一种方法来获得大规模多重检验中出现的局部和尾部错误发现率的单调估计。所提出的单调化方法对于控制错误发现率是渐近最优的,并且具有许多有吸引力的有限样本性质。
2013-12-13 stat.ME
Controlling the number of significant effects in multiple testing
针对弱效应下 FDR 控制过于保守的问题,本文提出控制显著效应数量的准则及相应程序,并通过理论、模拟和真实数据验证其性质。
2023-11-01 stat.ME
Asymptotically optimal sequential FDR and pFDR control with (or without) prior information on the number of signals
我们调查渐近最优的多重检验程序的顺序数据流的背景下,先验信息的数量假零假设(“信号”)。我们表明,最近提出并由Song和Fellouris(2017,Electron. J. Statist.)对于控制第1类和第2类族误差率(FWE)是渐近最优的,当适当调整它们的临界值时,对于控制FDR/FNR也是渐近最优的。推广这一结果,我们表明,这些程序,再次适当调整的临界值,是渐近最优的控制任何多重检验误差度量,在一定意义上的FWE的倍数之间的界限。这类指标包括FDR/FNR,但也包括pFDR/pFNR、每个比较和每个系列的错误率以及假阳性率。我们的分析包括渐近制度,其中零假设的数量接近$\infty$,因为1型和2型错误度量接近$0$。
2020-05-01 math.ST stat.ME stat.TH
Controlling false discovery exceedance for heterogeneous tests
对于大规模多重检验问题,存在几种经典的方法来控制错误发现抑制(FDX),其中包括Lehmann-Romano方法(下文[LR])和Guo-Romano方法(下文[GR])。虽然这两个过程是最突出的,但它们最初是为齐次检验统计量设计的,即当$p$值$F_i$,$1\leq i\leq m$的零分布函数都相等时。然而,在许多应用中,数据是异构的,这导致异构的空分布函数。忽略这种异质性通常会导致上述程序的保守性。在本文中,我们开发了三个新的程序,将$F_i$的,同时确保FDX控制。[LR]的异构版本(表示为[R])基于$F_i$的算术平均值,而[GR]的异构版本(表示为[HGR])基于$F_i$的几何平均值.我们还介绍了一个程序[PB],这是基于泊松-二项分布,并一致地提高[HGR]和[HGR],在一个更高的计算复杂性的代价。也许令人惊讶的是,这表明,与异质性下的错误发现率(FDR)控制的已知理论相反,在FDX控制的情况下,引入$F_i$的方式可以特别简单,并且不需要任何进一步的校正项.在两个重要的异质设置中,通过真实和模拟数据说明了新提出的程序的性能:首先,当检验统计量是连续的,但$p$值由一些已知的独立权重向量加权时,例如,来自共同数据集;第二,当检验统计量离散分布时,如表示频率或计数的数据的情况。
2019-12-10 stat.ME
Bringing Closure to False Discovery Rate Control: A General Principle for Multiple Testing
Carnegie Mellon University(卡内基梅隆大学);Ca’ Foscari University of Venice(威尼斯福斯卡里宫大学);University of Bremen(不来梅大学);University of Twente(特温特大学);Centrum Wiskunde & Informatica(荷兰数学与计算机科学研究中心);Leiden University Medical Center(莱顿大学医学中心)
本文提出了一种通用原则,统一了多重检验方法,可控制多种误差率,包括假发现率,并允许事后灵活选择误差度量。
2026-07-31 math.ST stat.ME stat.TH
Semi-Penalized Inference with Direct False Discovery Rate Control in High-Dimensions
提出了一种新的高维线性回归变量选择和置信区间构造方法--直接错误发现率控制的半惩罚推理(SPIDR). SPIDR首先使用半惩罚方法来构造回归系数的估计量。我们证明了SPIDR估计是理想的,在这个意义上说,它等于一个理想的最小二乘估计具有高概率的稀疏性和其他适当的条件下。因此,SPIDR估计量是渐近正态的。SPIDR在此基础上,通过直接控制错误发现率来确定选择规则。这提供了对选择错误的明确评估。这也自然地导致具有适当置信声明的所选系数的置信区间。我们进行模拟研究,以评估其有限样本的性能,并证明其在乳腺癌基因表达数据集上的应用。我们的模拟研究和数据实例表明,SPIDR是一个有用的方法,在实践中的高维统计推断。
2013-11-29 math.ST stat.ME stat.TH
Group Competition Test: A P-value-free False Discovery Rate Control Framework for Grouped Hypotheses
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院数学科学重点实验室)
本文提出了一种基于竞争检验框架的分组方法,通过校正竞争程序来控制全局FDR,适用于具有强异质性或依赖结构的数据。
2026-10-27 math.ST stat.ME stat.TH
Type I error rate control for testing many hypotheses: a survey with proofs
本文综述了多重检验方法中第一类错误率控制的一些最新进展。我们考虑控制$k$ -族式错误率(kFWER,使$k$错误发现或更多的概率)和错误发现比例(FDP,错误发现在发现中的比例)的问题。FDP通过其期望值(即所谓的错误发现率(FDR))或通过其上尾分布函数来控制。我们的目标是得到一般和统一的结果,简洁和简单的数学证明。此外,虽然本文主要是一个调查文件,一些新的贡献,控制kFWER和上尾分布函数的FDP。特别是,我们推导出一个新的程序的基础上的分位数的二项分布,控制FDP下的独立性。
2011-03-14 stat.ME
Classes of Multiple Decision Functions Strongly Controlling FWER and FDR
本文提出了两类一般的多个决策函数,其中第一类的每个成员强烈控制的家庭明智的差错率(FWER),而第二类的每个成员强烈控制的错误发现率(FDR)。这些类提供了一个最佳的多个决策函数相对于一个预先指定的标准,如错过的发现率(MDR),可以在这些类中找到的可能性。这样的多个决策函数可以用于多个测试,具体地,但不限于,高维微阵列数据集的分析。
2010-07-15 math.ST stat.TH
Estimating False Discovery Proportion Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,同时进行数万次测试,以确定是否有任何SNP与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去了共同的依赖性和显着削弱的相关性结构,以处理一个任意的依赖结构。本文推导了在大规模多重检验中,当采用公共门限时,错误发现率的近似表达式,并给出了实现错误发现率的相合估计。这一结果在FDR和FDP的控制中有重要的应用。我们对实现的FDP的估计与Efron(2007)的方法相比毫不逊色,如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。我们还提出了一个依赖调整的过程,这是更强大的比固定阈值的过程。
2011-11-15 math.ST stat.ME stat.TH
Optimal control of false discovery criteria in the two-group model
在检验大量统计假设时,影响力很大的两组模型假设检验统计量独立于高概率零分布和低概率替代分布的混合分布。在边际错误发现率(mFDR)提供经受mFDR控制的最大功率(预期的真实发现)的意义上,已知通过对局部错误发现率(locFDR)进行阈值化来实现边际mFDR的最优控制,即,假设为零的概率,给定一组检验统计量,具有固定阈值。我们解决的挑战,最佳控制流行的错误发现率(FDR)或积极的FDR(pFDR),而不是mFDR在一般的两组模型,这也允许之间的依赖性的检验统计量。这些准则比mFDR准则保守性更小,因此它们在预期中产生更多的拒绝。我们得到他们的最佳多重检验(OMT)的政策,原来是阈值的locFDR与阈值是一个函数的整个统计。我们开发了一个有效的算法来找到这些政策,并使用它的问题与数千个假设。我们说明这些程序的基因表达研究。
2020-05-27 math.ST stat.ME stat.TH
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
Single-index modulated multiple testing
在大规模多重检验中,假设往往伴随着一定的先验信息。在本文中,我们提出了一个单指数调制(SIM)的多重检验程序,它保持控制的错误发现率,同时将先验信息,通过假设的二元$p$ -值,$(p_1,p_2)$,为每个假设,其中$p_1$是一个初步的$p$ -值从先验信息和$p_2$是主要的$p$ -值的最终分析的可用性。为了找到二元$p$ -值的最佳拒绝区域,我们提出了一个基于真空和非空情况下$(p_1,p_2)$的概率密度函数之比的准则。二元正态设置中的该标准进一步促使我们将二元$p$值投影到单指标$p(θ)$,用于广泛的方向$θ$。通过参数和非参数方法估计$p(θ)$的真零分布,导致两个程序估计和控制错误发现率。为了得到最优投影方向$θ$,我们提出了一种新的方法,基于功率比较,这是进一步证明了在一些温和的条件下是一致的。仿真结果表明,SIM多重检测过程在控制错误发现率的同时,显著提高了检测能力。将说明对真实数据集的分析。
2014-07-01 math.ST stat.ME stat.TH
A New Approach for Large Scale Multiple Testing with Application to FDR Control for Graphically Structured Hypotheses
在许多大规模的多重检验应用中,假设通常具有已知的图形结构,例如基因表达数据中的基因本体。在多重检验程序中利用这种图形结构可以提高功效并有助于解释。然而,将该结构结合到大规模测试过程中并证明诸如错误发现率(FDR)的错误率是受控的可能是具有挑战性的。在本文中,我们介绍了一种新的通用方法,大规模的多重检验,它可以帮助开发新的程序,在各种设置与证明控制所需的错误率。这种方法对于开发FDR控制程序特别有用,它被简化为开发每族错误率(PFER)控制程序的问题。具体来说,对于有向无环图(DAG)结构的假设检验问题,利用一般方法,在假设独立的前提下,首先设计了一个特定的PFER控制过程,然后在此基础上设计了一个新的FDR控制过程,该过程能够在被拒绝的假设中保持所需的DAG结构.通过一个小的模拟研究和一个真实的数据分析,我们说明了良好的性能,提出的FDR控制程序的DAG结构的假设。
2018-12-01 math.ST stat.ME stat.TH
Adaptive novelty detection with false discovery rate guarantee
本文提出AdaDetect方法,通过包装任意概率分类算法实现数据自适应的新颖性检测,在有限样本下保证错误发现率控制,并扩展出适应零假设比例的变体。
2023-10-25 math.ST stat.ME stat.ML
Adaptive procedures for directional false discovery rate control
本文研究多重检验中方向性错误风险,证明两种自适应FDR方法在增加符号声明且假设独立时可强控制FDR_dir,尤其适用于真实原假设很少的高功效场景。
2024-01-24 stat.ME
Finite Resources False Discovery Rate Control in Structured Hypothesis Spaces
Technion – Israel Institute of Technology(技术学院 – 以色列理工学院);NVIDIA
针对有限空分布样本和结构化假设空间,提出基于再生核的框架,通过两种决策规则在精确FDR控制与统计功效间权衡,并优化资源分配。
2026-06-16 cs.LG stat.ME stat.ML
Generalizing Simes' test and Hochberg's stepup procedure
在一个多测试问题,其中一个是愿意容忍一些错误拒绝,过程控制familywise差错率(FWER),可以潜在地改善其检测错误的零假设的能力,通过推广到控制$k$-FWER,错误地拒绝至少$k$零假设的概率,为一些固定的$k>1$。Simes检验交集原假设的方法被推广到弱控制$k$ -FWER,即在交集原假设下,而Hochberg检验单个零假设的步骤被推广到强控制$k$ -FWER,即在真和假零假设的任何配置下.建议的推广开发利用联合零分布的$k$维子集的$p$值,假设是相同的。通过推广原Simes不等式,证明了在$p$ -值的联合零分布的多元二阶全正(MTP $_2$)条件[J.MultivariateAnalysis10(1980)467- 498]下,广义Simes检验弱控制$k$-FWER.当$p$ -值独立时,它比原始Simes检验更能检测出$k$或更多的假零假设。一个降压程序强烈控制的$k$ -FWER,一个版本的广义霍尔姆的程序,这是不同的,更强大的比[安。33(2005)1138--1154]中所描述的具有独立的$p$值的方法。在广义Simes检验弱控制广义Hochberg过程的$k$-FWER的情况下,建立了广义Hochberg过程的$k$-FWER的强控制.
2008-03-13 math.ST stat.TH
Contextual Online False Discovery Rate Control
多重假设检验是统计推断中的一个核心问题,几乎出现在所有科学领域。在这种情况下,控制错误发现率(FDR),这是第一类错误的预期比例,是一个重要的挑战,使有意义的推论。在本文中,我们考虑的问题,控制FDR在线的方式。具体地说,我们考虑一个有序的,可能是无限的假设序列,在每个时间步到达一个,对于每个假设,我们观察到一个p值以及一组特定于该假设的特征。在观察到下一个假设之前,必须在每个时间步立即做出是否拒绝当前假设的决定。多维特征集模型提供了一种非常通用的方法来利用数据中的辅助信息,这有助于最大限度地提高发现的数量。我们提出了一类新的强大的在线测试程序,其中拒绝阈值(显着性水平)的学习顺序,结合上下文信息和以前的结果。我们证明,在这个类中的任何规则控制在线FDR下一些标准的假设。然后,我们专注于这些程序的一个子类,加权显着性水平的基础上,推导出一个实用的算法,学习参数权函数在网上的方式,以获得更多的发现。我们还从理论上证明,在程式化的环境中,我们提出的程序将导致比Javanmard & Montanari(2018)提出的流行在线测试程序更高的统计功效。最后,我们证明了我们的程序的良好性能,通过比较它的国家的最先进的在线多个测试程序,从不同的应用程序生成的合成数据和真实数据。
2019-03-15 math.ST stat.ML stat.TH
Simultaneous high-probability bounds on the false discovery proportion in structured, regression, and online settings
虽然传统的多重测试程序禁止用户做出自适应分析选择,但Goeman和Solari(2011)提出了一种同时推理框架,该框架允许用户在保持所选集合的错误发现比例(FDP)的高概率界限的同时具有这种灵活性。在本文中,我们提出了一类新的同时FDP界,专为嵌套序列的拒绝集。虽然大多数现有的同时FDP界限是基于封闭测试,使用全局空测试的基础上排序的p值,我们还考虑设置边信息可以利用提高功率,变量选择设置,其中敲除统计可以用来订购变量,以及在线设置,其中必须作出拒绝的决定,因为数据到达。我们的有限样本,封闭形式的界限是基于重新利用的FDP估计错误发现率(FDR)控制程序设计的上述设置。这些结果建立了一个新的连接之间的并行文献的同时FDP界和FDR控制方法,并使用证明技术,采用鞅和过滤,这是新的这些文献。我们证明了我们的研究结果的效用,通过增加最近的仿制品分析英国生物银行数据集。
2019-12-01 math.ST stat.TH
Asymptotic Uncertainty of False Discovery Proportion
多重检验一直是统计研究中的热门话题。虽然已经做了大量的工作,但当相应的检验统计量相关时,控制错误发现仍然是一项具有挑战性的任务。在任意依赖的检验统计量之间,已经提出了各种方法来估计错误发现比例(FDP)。其主要思想之一是将任意相关性降为弱相关性,然后从理论上证明了弱相关性下FDP和FDR的强相合性。因此,在弱依赖的框架下,FDP具有相同的渐近极限。我们观察到,渐近方差的FDP,然而,可能严重依赖于相应的检验统计量的依赖结构,即使他们只是弱依赖,它是很大的实用价值,以量化这种变异性,因为它可以作为一个指标的质量FDP估计从给定的数据。据我们所知,这方面的研究在文献中仍然有限。在本文中,我们首先推导出FDP在弱正则性条件下的渐近展开,然后从理论上和数值上研究了FDP的渐近方差在不同依赖结构下的变化。根据本研究中的观察结果,我们建议在通过FDP程序进行的多重检验中,我们可以报告FDP的均值和方差估计值,以丰富研究结果。
2022-07-03 math.ST stat.TH
Local False Sign Rate and the Role of Prior Covariance Rank in Multivariate Empirical Bayes Multiple Testing
本文研究了多元经验贝叶斯多重检验中先验协方差矩阵秩对局部错误符号率的影响,提出使用满秩协方差矩阵的调整方法以缓解低秩导致的错误符号率膨胀,从而提升高维环境下的稳健性。
2025-04-01 stat.AP stat.ME
Control of the False Discovery Rate Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,成千上万的测试同时进行,以确定是否有任何基因与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去共同的依赖性和显着削弱的相关性结构,以处理任意的依赖结构。本文推导了在大规模多重检验中,当使用公共门限时,错误发现率(FDP)的理论分布,并给出了一致的FDP。这一结果在FDR和FDP的控制中有重要的应用。我们对FDP的估计与Efron(2007)的方法相比毫不逊色,正如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。
2010-12-20 stat.ME
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California(南加州大学);Stanford University(斯坦福大学)
多重假设检验是统计推断中的一个核心问题,几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下,引入了假发现率(FDR),即被拒绝的零假设中假阳性的预期比例,并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中,我们考虑的问题,控制FDR在一个“在线的方式”。具体地说,我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序,并证明,在这个类中的任何规则控制在线FDR,提供$p$ -值对应于真正的空值是独立于其他$p$ -值。(早期的工作仅建立了mFDR控制。接下来,我们得到的条件下,广义α投资控制FDR在一般$p$值的依赖关系的存在。最后,我们开发了一套修改后的程序,也可以控制错误发现的比例(尾部的错误发现)。数值模拟和分析结果表明,在线程序不会招致大量的损失,在统计功率相对于离线的方法,如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP
Sequential Tests of Multiple Hypotheses Controlling False Discovery and Nondiscovery Rates
我们提出了一个通用的和灵活的程序来测试多个假设的顺序(或流)的数据,同时控制的错误发现率(FDR)和错误的非发现率(FNR)的最小假设下的数据流,可能会有所不同的分布,尺寸,并依赖。所有需要的是用于控制传统的I型和II型错误概率的每个数据流的检验统计量,并且不需要关于统计量或数据流的联合分布的信息或假设。该程序可与顺序、成组顺序、截断或其他采样方案一起使用。该程序是Benjamini和Hochberg(1995)广泛使用的固定样本量程序到顺序数据领域的自然扩展,具有序贯抽样提供的同时FDR和FNR控制的额外好处。我们证明了程序的错误控制,并给出了一些提示,在常见的测试情况下实施。
2019-01-11 math.ST stat.ME stat.TH
Searching for subgroup-specific associations while controlling the false discovery rate
本文提出一种高维数据条件独立性检验方法,扩展 model-X knockoff filter 以在控制错误发现率下自动发现子组关联,避免选择偏差且无需样本拆分。
2023-09-16 math.ST stat.ME stat.TH
Optimal False Discovery Rate Control for Large Scale Multiple Testing with Auxiliary Information
大规模多重检验是高维统计推断中的一个基本问题。越来越普遍的是,各种类型的辅助信息,反映假设之间的结构关系,可用。利用这些辅助信息可以提高统计功效。为此,我们提出了一个框架的基础上,两组混合模型与不同的概率为空不同的假设先验,其中形状约束的关系之间施加的辅助信息和先验概率为空。在控制平均错误发现率的情况下,设计了一个最优拒绝规则,以最大化真阳性的期望数量。针对有序结构,我们提出了一种稳健的期望最大化算法,用于同时估计在备择假设下的先验概率为零概率和$p$ -值的分布.我们表明,所提出的方法具有更好的权力比国家的最先进的竞争对手,同时控制错误发现率,经验和理论。大量的仿真实验证明了该方法的优越性。来自全基因组关联研究的数据集被用来说明新的方法。
2021-03-29 stat.ME
Marginal false discovery rate control for likelihood-based penalized regression models
惩罚回归在高维数据分析中的流行导致了对这些模型的新推理工具的需求。错误发现率控制被广泛应用于高维假设检验,但最近才被认为是在惩罚回归的背景下。然而,几乎所有这些工作都集中在lasso惩罚的线性回归上。在本文中,我们得到了一个通用的方法来控制边际错误发现率,可以应用于任何惩罚似然模型,如逻辑斯谛回归和Cox回归。我们的方法是快速的,灵活的,可以使用各种惩罚函数,包括套索,弹性网,MCP和MNet。我们得出的理论结果,所提出的方法是有效的,并使用模拟研究表明,该方法是合理的鲁棒性,虽然略有保守,当这些假设被违反。尽管是保守的,我们表明,我们的方法往往提供更多的权力,选择因果关系的重要功能比现有的方法。最后,该方法的实际效用证明了基因表达数据集与二进制和时间到事件的结果。
2019-01-22 stat.ME
Bounding the FDP in competition-based control of the FDR
基于竞争的方法来控制错误发现率(FDR)最近上升到突出的时候,推广到顺序假设检验,巴伯和坎迪斯使用它作为他们的敲除过滤器的一部分。对FDR的控制意味着,可以说更重要的是,错误发现的比例仅在平均意义上得到控制。我们提出了TDC-SB和TDC-UB,提供上的FDP的发现时,使用竞争控制FDR的列表中的预测界限。使用模拟和真实的数据,我们表明,总体而言,我们的新程序提供显着更严格的上限比使用最近发表的Katsevich和Ramdas的方法,即使后者是进一步改善使用戈曼等人的插值概念。
2023-02-23 stat.ME
The edge of discovery: Controlling the local false discovery rate at the margin
本文提出一种无需先验知识的简单多重检验程序,通过控制所有拒绝中最大局部错误发现率(lfdr)的期望来保证单个拒绝的可靠性,并证明其渐近实现加权分类风险下的 oracle 贝叶斯最优权衡。
2023-09-21 math.ST stat.ME stat.TH
Sequential Control of False Positives in Online Change Point Detection
University of Pennsylvania(宾夕法尼亚大学)
研究在线变点检测中误报控制问题,提出顺序族错误率及基于模拟的校准程序来估计监测阈值,通过模拟研究和实例验证该方法能有效控制误报,优于常用替代方法。
2026-07-20 stat.ME
FarmTest: Factor-Adjusted Robust Multiple Testing with Approximate False Discovery Control
具有相关和重尾数据的大规模多重检验出现在从基因组学、医学成像到金融的广泛研究领域中。传统的估计错误发现率的方法往往忽略了重尾效应和检验统计量之间的依赖结构,导致估计效率低下甚至不一致。此外,通常强加的联合正常假设可以说是过于严格的许多应用。为了解决这些挑战,在本文中,我们提出了一个因素调整的鲁棒多重检验(FarmTest)的大规模同时推理与控制的错误发现比例的过程。我们证明了稳健的因子调整在控制FDP和提高功率方面都是非常重要的。我们确定的一般条件下,所提出的方法产生相合估计的FDP。作为一个副产品,是独立的利益,我们建立了一个指数型偏差不等式的稳健$U$型协方差估计谱范数。大量的数值实验表明,所提出的方法的优势,特别是当数据是从重尾分布产生的一些国家的最先进的方法。建议的程序在R-package FarmTest中实施。
2018-09-18 stat.ME