Controlling False Discovery Rates under Cross-Sectional Correlations
New York University(纽约大学);Nomura Asset Management Co.(野村资产管理公司);Temple University(天普大学)
我们考虑控制错误发现率来测试许多具有未知横截面相关结构的时间序列。如果有大量的假设,错误和遗漏的发现可能会困扰分析。虽然已经提出了许多程序来控制错误的发现,他们中的大多数要么假设独立的假设或缺乏统计功效。一个特别令人感兴趣的问题是金融资产定价,其目标是确定哪些“因素”导致大量潜在因素的超额回报。我们的贡献是双重的。首先,我们证明了Fama和French的突出方法在多重检验下的一致性。其次,我们提出了一种新的方法,错误发现控制使用双引导。我们实现了优越的统计功效,现有的方法,并证明了错误发现率的控制。仿真和实际数据的应用表明,我们的方法比现有的方法的有效性。
2021-06-09 cs.AI cs.LG stat.ME
Optimal control of false discovery criteria in the two-group model
在检验大量统计假设时,影响力很大的两组模型假设检验统计量独立于高概率零分布和低概率替代分布的混合分布。在边际错误发现率(mFDR)提供经受mFDR控制的最大功率(预期的真实发现)的意义上,已知通过对局部错误发现率(locFDR)进行阈值化来实现边际mFDR的最优控制,即,假设为零的概率,给定一组检验统计量,具有固定阈值。我们解决的挑战,最佳控制流行的错误发现率(FDR)或积极的FDR(pFDR),而不是mFDR在一般的两组模型,这也允许之间的依赖性的检验统计量。这些准则比mFDR准则保守性更小,因此它们在预期中产生更多的拒绝。我们得到他们的最佳多重检验(OMT)的政策,原来是阈值的locFDR与阈值是一个函数的整个统计。我们开发了一个有效的算法来找到这些政策,并使用它的问题与数千个假设。我们说明这些程序的基因表达研究。
2020-05-27 math.ST stat.ME stat.TH
Optimal weighting for false discovery rate control
如何衡量Benjamini-Hochberg程序?在多个假设检验的背景下,我们提出了一个新的逐步过程,控制错误发现率(FDR),我们证明它是更强大的比任何加权Benjamini-Hochberg程序。有限样本和渐近结果。此外,我们说明了我们的程序在模拟和基因组学应用程序的良好性能。这项工作在异构$p$值分布的情况下特别有用。
2009-07-13 math.ST stat.TH
Semi-Penalized Inference with Direct False Discovery Rate Control in High-Dimensions
提出了一种新的高维线性回归变量选择和置信区间构造方法--直接错误发现率控制的半惩罚推理(SPIDR). SPIDR首先使用半惩罚方法来构造回归系数的估计量。我们证明了SPIDR估计是理想的,在这个意义上说,它等于一个理想的最小二乘估计具有高概率的稀疏性和其他适当的条件下。因此,SPIDR估计量是渐近正态的。SPIDR在此基础上,通过直接控制错误发现率来确定选择规则。这提供了对选择错误的明确评估。这也自然地导致具有适当置信声明的所选系数的置信区间。我们进行模拟研究,以评估其有限样本的性能,并证明其在乳腺癌基因表达数据集上的应用。我们的模拟研究和数据实例表明,SPIDR是一个有用的方法,在实践中的高维统计推断。
2013-11-29 math.ST stat.ME stat.TH
Conditional calibration for false discovery rate control under dependence
我们介绍了一类新的方法有限样本错误发现率(FDR)的控制在多重检验问题的依赖检验统计量的依赖是完全或部分已知。我们的方法分别校准每个假设的数据依赖性p值拒绝阈值,适当放宽或收紧阈值以实现精确的FDR控制。除了我们的一般框架,我们提出了一个具体的算法,依赖调整Benjamini-Hochberg(dBH)的过程,自适应阈值的q值为每个假设。在正回归依赖下,dBH过程一致地优于标准BH过程,并且通常它一致地优于Benjamini-Yekutieli(BY)过程(也称为具有对数校正的BH)。仿真和实际数据的例子说明了竞争的FDR控制方法的依赖下的功率增益。
2020-07-20 math.ST stat.ME stat.TH
Sequential Selection Procedures and False Discovery Rate Control
我们考虑一个多假设检验设置的假设是有序的,只允许拒绝一个初始的连续块,H_1,\dots,H_k,假设。在此设置中的拒绝规则相当于用于选择停止点k的过程。这种设置受到许多模型选择问题的顺序性质的启发,其中选择停止点或模型相当于拒绝所有假设,直到该点,之后没有。我们提出了两个新的测试程序,并证明了他们控制的错误发现率在有序测试设置。我们还展示了如何使用最近的结果在连续模型选择设置的p值的方法可以应用到模型选择。
2015-03-23 math.ST stat.ME stat.TH
Null-free False Discovery Rate Control Using Decoy Permutations
传统的多假设检验中的错误发现率控制方法通常基于检验统计量的零分布。然而,所有类型的零分布,包括理论的、基于置换的和经验的零分布,都有一些固有的缺点。例如,由于对样本分布的不正确假设,理论空值可能会失败。在这里,我们提出了一个零分布自由的方法来FDR控制多个假设检验。这种方法被称为目标-诱饵过程,简单地建立在测试的排序上,通过一些统计量或分数,其空分布不需要已知。竞争性诱饵测试是从原始样本的排列构造的,并用于估计假目标发现。我们证明了这种方法控制FDR时,统计量是独立的不同的测试。仿真表明,它比现有的两种流行方法更稳定、更强大。并在真实数据集上进行了评价。
2021-04-12 math.ST stat.ME stat.TH
The False Discovery Rate for Statistical Pattern Recognition
错误发现率(FDR)和错误未发现率(FNDR)在多重测试的文献中受到了相当大的关注。这些性能指标也适用于分类,在这项工作中,我们开发了泛化误差分析FDR和FNDR时,从标记的训练数据学习分类。与更常规的分类性能测量不同,经验FDR和FNDR不是二项式随机变量,而是二项式的比率,这引入了常规分析中未解决的挑战。我们开发的分布自由的一致偏差界,并应用这些有限样本界和强的普遍一致性。
2009-01-27 math.ST stat.TH
False Discovery Rate Control Under General Dependence By Symmetrized Data Aggregation
本文提出了一类新的控制一般依赖下错误发现率(FDR)的无分布多重检验规则。在我们的建议中的一个关键因素是一个对称的数据聚合(SDA)的方法,通过样本分割,数据筛选和信息池的依赖结构。SDA滤波器首先构造一个满足全局对称性的排序统计序列,然后沿着排序选择一个数据驱动的阈值来控制FDR。SDA滤波器在中等到强依赖性下在功率方面大大优于敲除方法,并且比基于渐近$p$值的现有方法更鲁棒。我们首先发展有限样本理论,在一般相依性下给出了实际FDR的上界,然后在温和的正则条件下,建立了SDA对FDR和错误发现比例(FDP)控制的渐近有效性。该过程在R包\texttt{SDA}中实现。数值结果证实了SDA在FDR控制中的有效性和鲁棒性,并表明它在许多设置中实现了比现有方法更大的功率增益。
2021-05-26 math.ST stat.ME stat.TH
Estimating False Discovery Proportion Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,同时进行数万次测试,以确定是否有任何SNP与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去了共同的依赖性和显着削弱的相关性结构,以处理一个任意的依赖结构。本文推导了在大规模多重检验中,当采用公共门限时,错误发现率的近似表达式,并给出了实现错误发现率的相合估计。这一结果在FDR和FDP的控制中有重要的应用。我们对实现的FDP的估计与Efron(2007)的方法相比毫不逊色,如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。我们还提出了一个依赖调整的过程,这是更强大的比固定阈值的过程。
2011-11-15 math.ST stat.ME stat.TH
Size, power and false discovery rates
现代科学技术提供了一类新的大规模同时推理问题,同时考虑数千个假设检验。微阵列是这种技术的缩影,但类似的情况也出现在蛋白质组学、光谱学、成像和社会科学调查中。本文使用错误发现率方法对大规模问题进行规模和功耗计算。一个简单的经验贝叶斯方法允许错误发现率(FDR)分析进行最小的频率或贝叶斯建模假设。封闭形式的准确性公式推导出估计的错误发现率,并用于比较不同的方法:本地或尾区FDR的,理论,置换,或经验原假设估计。两个微阵列数据集以及模拟被用来评估的方法,电源诊断显示为什么非空的情况下可能很容易无法出现在“重大”的发现列表。
2007-10-11 math.ST stat.TH
A semiparametric mixture method for local false discovery rate estimation
我们提出了一个半参数混合模型来估计局部错误发现率在多重检验问题。该方法的两个支柱是Efron的经验零原理和对数凹密度估计的替代分布。与现有的方法相比,我们的方法可以很容易地扩展到高维。仿真结果表明,我们的方法优于其他现有的方法,我们说明了它的使用通过天文学和微阵列的案例研究。
2016-04-14 stat.ME
Group Competition Test: A P-value-free False Discovery Rate Control Framework for Grouped Hypotheses
本文提出了一种基于竞争检验框架的分组方法,通过校正竞争程序来控制全局FDR,适用于具有强异质性或依赖结构的数据。
2026-10-27 math.ST stat.ME stat.TH
Large-scale Multiple Testing: Fundamental Limits of False Discovery Rate Control and Compound Oracle
本文研究大规模多重检验中 FDR 与 FNR 的根本权衡,证明最优 FDR–FNR 边界需要复合规则,并给出高概率 FDP 控制下的对应最优结果。
2025-08-31 math.ST stat.ME stat.TH
Graph inference with clustering and false discovery rate control
在本文中,噪声版本的随机块模型(NSBM)的介绍,我们研究了以下三个统计推断在这个模型中:模型参数的估计,聚类的节点和识别的基础图。虽然前两个推理是通过使用变分期望最大化(VEM)算法来完成的,但是图推理是通过控制错误发现率(FDR)(即,被宣布为重要的边缘中的错误的平均比例)和通过最大化真实发现率(TDR)(即,被宣布为重要的边缘中的边缘的平均比例)来完成的。只要VEM算法提供可靠的参数估计和聚类,我们从理论上表明,我们的程序不控制FDR,同时满足最佳的TDR属性,当图形的大小增长时,剩余项变得很小。数值实验表明,我们的方法优于经典的FDR控制方法,忽略了底层的SBM拓扑结构。此外,这些模拟表明,我们的方法的FDR/TDR属性是强大的模型误指定,也就是说,基本上保持在我们的模型之外。
2019-07-23 math.ST stat.ME stat.TH
False discovery and false nondiscovery rates in single-step multiple testing procedures
错误发现率(FDR)和错误的非发现率(FNR)的结果开发的单步多测试程序。除了验证理想的属性FDR和FNR的差错率的措施,这些结果扩展了以前已知的结果,提供进一步的见解,特别是在依赖,到FDR和FNR和相关措施的概念。首先,考虑真和假零假设的固定配置,得到不等式来解释如何FDR或FNR控制单步程序,如Bonferroni或uSidák程序,可以潜在地改进。两个家庭的程序,然后构建,一个修改的FDR控制和其他修改的FNR控制uSidák程序。这些被证明控制FDR或FNR下的独立性不太保守,比相应的家庭修改FDR或FNR控制Bonferroni程序。数值研究结果的性能的修改uSidák FDR程序超过其竞争对手。其次,考虑到混合模型,不同的配置的真和假的零假设被假定为具有一定的概率,结果也来自延伸的一些层的工作的依赖情况。
2006-05-23 math.ST stat.TH
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
Controlling the false discovery rate under a non-parametric graphical dependence model
提出在已知依赖图的非参数模型下控制多重检验错误发现率的高效方法,其拒绝集在无依赖边时与BH程序一致,在边较少时功效接近BH,且计算高效,适用于大规模假设检验。
2025-06-30 math.ST stat.ME stat.TH
Dynamic adaptive procedures that control the false discovery rate
在具有独立检验的多重检验问题中,经典线性逐步上升过程将错误发现率(FDR)控制在$π_0α$水平,其中$π_0$是真零假设的比例,$α$是目标FDR水平。自适应过程可以通过合并$π_0$的估计来提高功率,所述估计通常依赖于调谐参数。固定的自适应程序在看到数据之前设置其调谐参数,并且可以显示为在有限样本中控制FDR。我们开发的动态自适应程序,其调整参数的数据确定的理论结果。我们表明,如果调谐参数选择根据从左到右的停止时间规则,相应的动态自适应过程控制有限样本的FDR。例子包括最近提出的右边界程序和广泛使用的最低斜率程序等。仿真结果表明,在独立和弱相关条件下,右边界方法比其他动态自适应方法更有效。
2019-08-28 math.ST stat.ME stat.TH
Simple estimators of false discovery rates given as few as one or two p-values without strong parametric assumptions
控制全族错误率或错误发现率的多重比较程序提供了实现的错误率作为每个检验假设的调整后p值。然而,由于这样的p值不是零假设为真的概率,因此已经设计了经验贝叶斯方法来估计这样的后验概率,称为局部错误发现率(LFDR),以强调其先验的频率解释。LFDR估计的主要方法依赖于最大似然的数值算法或非参数密度估计的平滑参数的选择,缺乏错误率控制方法的自动性质。为了填补这一空白,本文介绍了LFDR估计的自动方法,该方法在p值独立但没有强参数假设的情况下具有已证明的渐近保守性。模拟表明,他们仍然是保守的,即使是非常小数量的假设。所提出的程序之一,使解释的LFDR估计方面的原始FDR控制规则,从而促进实际的解释。最保守的新程序适用于20种蛋白质的丰度水平。
2011-06-22 math.ST q-bio.QM stat.ME
Gaussian Graphical Model Estimation with False Discovery Rate Control
研究了高维高斯图模型的估计问题。通常,现有的方法依赖于正则化技术。因此,有必要选择正则化参数。然而,在GGM估计中正则化参数和伪边缘数目之间的精确关系并不清楚。因此,不可能严格地评价它们的业绩。在本文中,我们提出了一种替代方法的多重检验程序。基于我们新的条件相关检验统计量,我们提出了GGM中条件相关的一种同时检验方法。我们的方法可以控制错误发现率(FDR)渐近。所提出的方法的数值性能表明,我们的方法工作得很好。
2013-06-05 stat.ME
False discovery rate regression: an application to neural synchrony detection in primary visual cortex
多重检验的许多方法都是从假设一个给定研究中的所有检验都应该组合成一个全局错误发现率分析开始的。但这可能不适合今天的许多大规模筛选问题,其中每个测试的辅助信息通常是可用的,并且组合分析可能导致实验的不同子集内校准不良的错误率。为了解决这个问题,我们引入了一种称为错误发现率回归的方法,该方法直接使用此辅助信息来通知每个测试的结果。该方法可以通过两组模型来激励,其中允许协变量影响局部错误发现率,或者等效地,影响给定观测是信号的后验概率。这在推理和计算之间的接口上提出了许多微妙的问题,我们研究了整体方法的几种变化。模拟证据表明:(1)当存在协变量效应时,FDR回归提高了固定错误发现率的功效;(2)当不存在协变量效应时,该方法是稳健的,因为它不会导致错误率膨胀。我们将该方法应用于初级视觉皮层的神经记录。我们的目标是检测表现出精细时间尺度相互作用的神经元对,从某种意义上说,由于偶然性,它们一起激发的频率比预期的要高。我们的方法检测到大约50%以上的同步对与标准的FDR控制分析。配套的R包FDRreg实现了本文中描述的所有方法。
2014-06-08 stat.AP stat.ME
A New Procedure for Controlling False Discovery Rate in Large-Scale t-tests
研究了大规模多重测试问题中的错误发现率控制问题。本文首先提出了一种新的数据驱动检验方法,用于控制单样本均值问题大规模t检验中的FDR。无论检验次数或样本量如何,当总体是对称的时,所提出的方法在有限样本设置中实现了精确的FDR控制。与现有的自举方法FDR控制相比,所提出的方法是计算效率。我们表明,所提出的方法可以控制FDR渐近不对称的人口,即使检验统计量是不独立的。我们进一步表明,所提出的程序与一个简单的校正是准确的自举方法的二阶度,可能是更有效的比现有的正常校准。我们将所提出的方法推广到双样本均值问题.实验结果表明,所提出的程序有更好的FDR控制比现有的真实的替代假设的比例不太低,同时保持合理的良好的检测能力。
2020-02-28 math.ST stat.ME stat.TH
Adaptive procedures for directional false discovery rate control
本文研究多重检验中方向性错误风险,证明两种自适应FDR方法在增加符号声明且假设独立时可强控制FDR_dir,尤其适用于真实原假设很少的高功效场景。
2024-01-24 stat.ME
A central limit theorem for the Benjamini-Hochberg false discovery proportion under a factor model
本文研究BH程序在相关测试统计量下的突发性行为,提出FDP的中心极限定理,发现强长程相关导致严重突发性,否则表现良好。
2023-04-24 math.ST stat.ME stat.TH
Sample size and positive false discovery rate control for multiple testing
正假发现率(positive false discovery rate,pFDR)是多个假设检验的一个有用的总体误差度量,特别是当潜在目标是获得一个或多个发现时。pFDR的控制关键取决于从数据中获得多少证据来区分假空值和真空值。通常,由于数据分布的许多方面是未知的,因此可能无法从数据中获得足够强的证据用于pFDR控制。这就提出了一个问题,即需要多少数据才能达到目标pFDR水平。我们研究了与多个学生化检验和$F$检验相关的pFDR控制的每个空值的最小观测数的渐近性,特别是当假空值和真空值之间的差异很小时。对于学生化检验,我们考虑与正态分布和一般分布相关的偏移或其他参数的检验。对于$F$检验,我们还考虑了线性回归中协变量数量的影响。结果表明,在确定pFDR质控品的每个空值的最小样本量时,数据的高阶统计特性很重要,协变量的数量在检测回归效应的检验中也很重要。
2007-05-09 math.ST stat.ME stat.TH
Controlling the False Discovery Rate in Subspace Selection
针对高维低秩模型场景下子空间选择缺乏FDR控制方法的问题,基于随机矩阵理论提出无参数的主成分分析子空间选择方法,可在常见噪声模型下控制FDR,并在多场景验证了有效性。
2024-04-14 math.ST stat.ME stat.TH
Asymptotic Results on Adaptive False Discovery Rate Controlling Procedures Based on Kernel Estimators
错误发现率(FDR)是多测试问题中常用的I类差错率。它被定义为预期的假发现比例(FDP),即被拒绝的假设中假阳性的预期比例。当假设是独立的,Benjamini-Hochberg程序实现FDR控制在任何预先指定的水平。通过构造,FDR控制在功率或II类误差方面不提供保证。已经开发了一些替代程序,包括插件程序,旨在通过纳入真实零假设的比例估计来获得功率。在本文中,我们研究的渐近行为的一类插件程序的基础上的核估计的密度的$p$ -值,作为数量$m$的测试假设增长到无穷大。在一个设置的假设测试是独立的,我们证明,这些程序是渐近更强大的两个方面:(i)一个更严格的渐近FDR控制的任何目标FDR水平和(ii)更广泛的目标水平产生积极的渐近功率。我们还表明,这种增加的渐近功率是以较慢的价格,非参数收敛速度的FDP。这些比率的形式为$m^{-k/(2k+1)}$,其中$k$由$p$值分布的密度的规律性确定,或等效地由检验统计量分布的密度的规律性确定。这些结果适用于单侧和双侧检验统计的高斯和拉普拉斯位置模型,并为学生模型。
2013-04-20 math.ST physics.data-an q-bio.QM
Exact calculations for false discovery proportion with application to least favorable configurations
在多重假设检验的背景下,我们提供了几个新的精确计算的错误发现比例(FDP)的步升和步降程序。对于逐步上升的程序,我们表明,有条件的拒绝数的错误拒绝数只是一个二项式变量,这导致明确的计算c.d.f.,FDP的{ $s$ -th}矩和平均值,后者对应于错误发现率(FDR)。对于逐步下降的程序,我们得出什么是我们所知的第一个明确的公式的FDR有效的任何替代c.d. f。$p$ -值。我们还得到明确的计算的功率升压和降压程序。这些公式是“显式”的,因为它们只涉及模型的参数和c.d. f。的顺序统计量。均匀变量假设$p$值独立或来自等相关多元正态模型,并使用真/假假设的附加混合模型。这种新的方法是用来调查新的结果,这是在自己的权利感兴趣的,有关的最少/最有利的配置FDR和FDP的方差。
2010-05-26 math.ST stat.TH
Asymptotic properties of false discovery rate controlling procedures under independence
我们研究了一个家庭的多个比较程序的性能强控制的错误发现率($\mathsf{FDR}$)。$\mathsf{FDR}$是预期的错误发现比例($\mathsf{FDP}$),即所有被拒绝假设中错误拒绝的预期分数。已经提出了对原始Benjamini-Hochberg程序[1]的许多改进,通过估计真零假设的比例来增加功效,或者隐式地导致一阶段自适应程序[4,7],或者显式地导致两阶段自适应(或插件)程序[2,21]。我们使用Genovese和Wasserman [11]提出的随机过程方法的变体来研究这些程序中的每一个在其期望值周围实现的$\mathsf{FDP}$的波动,对于独立的测试假设。我们引入了一个框架,推导出通用的中心极限定理的$\mathsf{FDP}$这些程序,表征相关的正则性条件,并比较各种程序的渐近功率。我们将最近提出的单阶段自适应过程[4,7]解释为众所周知的两阶段自适应过程[2,21]迭代中的不动点。
2008-11-21 math.ST stat.TH
Adaptive novelty detection with false discovery rate guarantee
本文提出AdaDetect方法,通过包装任意概率分类算法实现数据自适应的新颖性检测,在有限样本下保证错误发现率控制,并扩展出适应零假设比例的变体。
2023-10-25 math.ST stat.ME stat.ML
A powerful procedure that controls the false discovery rate with directional information
本文提出signed-knockoff程序,利用检验统计量的符号方向信息在有限样本中控制FDR,并通过模拟和实际应用证明其功效优势。
2025-07-21 stat.ME
False discovery rate smoothing
我们提出了错误发现率平滑,一个经验贝叶斯方法利用空间结构在大型多测试问题。FDR平滑自动查找显著检验统计量的空间局部区域。然后,它放宽了这些区域内的统计显著性阈值,并在其他地方收紧,以将总体错误发现率控制在给定水平。这导致增加的功率和信号与噪声的更清晰的空间分离。该方法需要解决一个非标准的高维优化问题,其中一个有效的增广拉格朗日算法。在仿真研究中,FDR平滑以适度的计算成本表现出最先进的性能。特别是,它被证明是更强大的比现有的空间相关的多重检验的方法。我们还将该方法应用于空间工作记忆功能磁共振成像实验的数据集,在那里它检测到的模式比标准FDR控制方法检测到的模式更生物学上合理。FDR平滑的所有代码都可以在Python和R中公开获得。
2016-11-14 stat.AP stat.CO stat.ME
False discovery rate controlling procedures for discrete tests
Benjamini和Hochberg(1995)提出了错误发现率(FDR)作为多重检验问题中族错误率的替代,并提出了控制FDR的方法。对于离散数据,该过程可能是高度保守的。我们调查替代,更强大的程序,利用离散性的测试,并有FDR水平接近所需的标称水平的幅度。此外,我们开发了一种新的降压过程,占主导地位的降压过程Benjamini和刘(1999)的离散数据。我们考虑应用于药物警戒自发报告系统,用于早期发现上市药物的不良反应。
2014-01-27 stat.ME
Skilled Mutual Fund Selection: False Discovery Control under Dependence
通过多重检验框架选择有技能的共同基金越来越受到金融研究人员和统计学家的关注。Carhart四因素模型中的截距$α$通常被用来衡量基金的真实业绩,正的$α$被认为是熟练的。我们观察到各基金间$α$的标准化OLS估计具有较强的相关性和非正态性结构,表明传统的多重检验方法不足以筛选出有技能的基金。我们从决策理论的角度出发,提出了一个最佳的测试过程,以最小化的组合错误发现率和错误的非发现率。我们提出的测试程序是基于每个基金的概率不熟练的条件下,在我们的研究中的所有基金的信息。为了模拟用于测试过程的信息的分布,我们考虑了依赖下的混合模型,并提出了一种新的方法称为“近似经验贝叶斯”来拟合参数。实证研究表明,我们选择的技能型基金具有优越的长期和短期业绩,例如,我们的选择在同一时期强烈优于标准普尔500指数。
2022-02-25 stat.AP stat.ME
A Bandit Approach to Multiple Testing with False Discovery Control
University of Washington(华盛顿大学);Optimizely
我们提出了一个自适应抽样方法的多重检验,其目的是最大限度地提高统计功效,同时确保随时错误发现控制。我们考虑$n$分布,其均值根据它们是否低于或等于基线(空值)与高于基线(实际阳性)进行划分。此外,每个分布可以顺序地和重复地采样。受多臂强盗文献的启发,我们提供了一种算法,该算法采用尽可能少的样本来超过目标真阳性比例(即发现的实际阳性比例),同时随时控制假发现比例(预测为空值)实际阳性)。我们的样本复杂度结果匹配已知的信息理论的下限,并通过模拟,我们表现出实质性的性能改善均匀采样和自适应消除风格的算法。鉴于该方法的简单性及其样品效率,该方法有望在生物科学,药物发现的临床测试和在线A/B/n测试问题中广泛采用。
2019-07-16 cs.LG stat.ML
Asymptotic Uncertainty of False Discovery Proportion
多重检验一直是统计研究中的热门话题。虽然已经做了大量的工作,但当相应的检验统计量相关时,控制错误发现仍然是一项具有挑战性的任务。在任意依赖的检验统计量之间,已经提出了各种方法来估计错误发现比例(FDP)。其主要思想之一是将任意相关性降为弱相关性,然后从理论上证明了弱相关性下FDP和FDR的强相合性。因此,在弱依赖的框架下,FDP具有相同的渐近极限。我们观察到,渐近方差的FDP,然而,可能严重依赖于相应的检验统计量的依赖结构,即使他们只是弱依赖,它是很大的实用价值,以量化这种变异性,因为它可以作为一个指标的质量FDP估计从给定的数据。据我们所知,这方面的研究在文献中仍然有限。在本文中,我们首先推导出FDP在弱正则性条件下的渐近展开,然后从理论上和数值上研究了FDP的渐近方差在不同依赖结构下的变化。根据本研究中的观察结果,我们建议在通过FDP程序进行的多重检验中,我们可以报告FDP的均值和方差估计值,以丰富研究结果。
2022-07-03 math.ST stat.TH
On a generalized false discovery rate
$k$-FWER的概念最近受到了很多关注,因为对于某些固定的$k\ge 1$,当人们试图至少控制$k$错误拒绝时,它是用于多次测试的适当差错率。一个不太保守的概念,$k$ -FDR,最近由Sarkar [Ann. Statistist. 34(2006)394--415],概括了Benjamini和Hochberg的错误发现率[J. Roy.中央集权主义者Soc.Ser.B57(1995)289- 300]。在这篇文章中,我们带来了新的见解$k$ -FDR考虑一个混合模型,涉及独立的$p$值之前,激发一些新的程序,控制它的发展。我们证明了$k$ -FDR控制的建议方法在一个稍微弱的条件下比在混合模型。我们提供了数值证据,所提出的方法优于某些$k$ -FWER和$k$ -FDR方法的功率性能。最后,我们将我们的方法应用到一个真实的数据集。
2009-06-17 math.ST stat.TH
Control of the False Discovery Rate Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,成千上万的测试同时进行,以确定是否有任何基因与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去共同的依赖性和显着削弱的相关性结构,以处理任意的依赖结构。本文推导了在大规模多重检验中,当使用公共门限时,错误发现率(FDP)的理论分布,并给出了一致的FDP。这一结果在FDR和FDP的控制中有重要的应用。我们对FDP的估计与Efron(2007)的方法相比毫不逊色,正如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。
2010-12-20 stat.ME
Simultaneous high-probability bounds on the false discovery proportion in structured, regression, and online settings
虽然传统的多重测试程序禁止用户做出自适应分析选择,但Goeman和Solari(2011)提出了一种同时推理框架,该框架允许用户在保持所选集合的错误发现比例(FDP)的高概率界限的同时具有这种灵活性。在本文中,我们提出了一类新的同时FDP界,专为嵌套序列的拒绝集。虽然大多数现有的同时FDP界限是基于封闭测试,使用全局空测试的基础上排序的p值,我们还考虑设置边信息可以利用提高功率,变量选择设置,其中敲除统计可以用来订购变量,以及在线设置,其中必须作出拒绝的决定,因为数据到达。我们的有限样本,封闭形式的界限是基于重新利用的FDP估计错误发现率(FDR)控制程序设计的上述设置。这些结果建立了一个新的连接之间的并行文献的同时FDP界和FDR控制方法,并使用证明技术,采用鞅和过滤,这是新的这些文献。我们证明了我们的研究结果的效用,通过增加最近的仿制品分析英国生物银行数据集。
2019-12-01 math.ST stat.TH
Online Control of the False Coverage Rate and False Sign Rate
错误覆盖率(FCR)是未覆盖其相应参数的构建置信区间(CI)数量与构建CI总数的预期比值。FCR控制程序存在于离线设置中,但迄今为止还没有考虑在线设置的设计。在在线设置中,存在按时间排序的固定未知参数$θ_t$的无限序列。在每一步,我们都可以看到有关$θ_t$的独立数据,并且必须立即决定是否报告$θ_t$的CI。如果$θ_t$被选择用于覆盖,则任务是确定如何构造用于$θ_t$的CI,使得对于任何$T\in \mathbb{N}$都有$\text{FCR} \leq α$。一个简单的解决方案是在每一步都构造一个$(1-α)$级别的条件CI。在本文中,我们提出了一种新的解决方案,在线错误发现率(FDR)算法,它只需要统计学家能够构建一个边际CI在任何给定的水平启发的问题。除了边际CI通常比条件CI更容易构造之外,边际过程相对于条件解具有重要的定性优势,即它允许由候选CI本身来确定选择。我们利用这一点,为一些以前没有解决的在线问题提供解决方案。例如,我们表明,我们的一般CI程序可以用来设计在线签名分类程序,控制假签名率(FSR)。在构造的CI的功率和长度方面,我们证明了这两种方法具有互补的优势和劣势,使用模拟。最后,我们所有的方法同样适用于预测区间的在线FCR控制,具有特殊的意义,无约束选择性共形推理。
2019-05-03 stat.ME
Split Knockoffs for Multiple Comparisons: Controlling the Directional False Discovery Rate
针对多重比较中线性变换约束下方向性错误发现率难以控制的问题,提出结合变量分裂与样本分裂的扩展Split Knockoff方法,可有效控制该错误率,且在仿真和阿尔茨海默病分析、年龄比较场景中验证了有效性。
2023-10-11 stat.ME
Weighted False Discovery Rate Control in Large-Scale Multiple Testing
权重的使用提供了一种有效的策略,将先验领域知识的大规模推理。本文在决策理论框架下研究了加权多重检验。我们开发的甲骨文和数据驱动的程序,旨在最大限度地提高预期数量的真阳性加权错误发现率的约束。所提出的方法的渐近有效性和最优性的建立。结果表明,将信息丰富的领域知识,提高了结果的可解释性和推理的精度。仿真研究表明,所提出的方法将错误率控制在名义水平,并且在许多设置中比现有方法的功率增益很大。全基因组关联研究的应用进行了讨论。
2017-05-09 stat.ME
Asymptotic Uncertainty of False Discovery Proportion for Dependent $t$-Tests
多重检验是高维统计推断中的一个基本问题。虽然已经提出了许多方法来控制错误的发现,它仍然是一个具有挑战性的任务时,测试相互关联。为了克服这一挑战,已经提出了各种方法来估计在检验统计量之间的任意协方差下的错误发现率(FDR)和/或错误发现比例(FDP)。这些工作的一个有趣的发现是,在弱相关下的FDP和FDR的估计是相同的独立。然而,Mei et al.(2021)指出,与FDR不同,FDP的渐近方差仍然可以与独立情况下的渐近方差有很大差异,并且差异取决于检验统计量之间的协方差结构。在本文中,我们进一步推广这个结果从$z$ -测试$t$ -测试时,边际方差是未知的,需要估计。通过弱依赖$t$检验,我们证明了FDP仍然收敛到与依赖结构无关的固定量,并进一步推导出FDP的渐近展开和不确定性,得到了与Mei et al.(2021)相似的结果。此外,我们开发了一种近似方法,以有效地评估渐近方差的依赖$t$ -测试的FDP。我们研究如何渐近方差的FDP的变化,以及在不同的依赖结构下,通过模拟和真实数据的研究,其估计的性能。
2022-07-03 math.ST stat.TH
Simultaneous Control of All False Discovery Proportions in Large-Scale Multiple Hypothesis Testing
封闭检验程序通常用于族错误率(FWER)控制,但它们也可以用于获得所有假设子集中错误发现比例(FDP)的同时置信界限。在本文中,我们研究了封闭测试的特殊情况下,Simes本地测试。我们构建了一个新的快速和准确的捷径,我们用它来研究这种方法的权力时,假设的数量趋于无穷大。我们表明,如果存在最少量的信号,在任何期望的FDP水平检测假假设的平均功率不会消失。此外,我们证明了FDP的置信界是真实的FDP的相合估计量的每个非零子集。对于有限数量的假设的情况下,我们之间的连接Simes为基础的封闭测试和Benjamini和Hochberg的程序。
2017-10-23 stat.ME
False Discovery Rate Computation: Illustrations and Modifications
错误发现率(FDR)是统计推断的重要组成部分,代表观察结果出错的倾向。FDR估计值应伴随观察结果,以帮助用户了解调查结果的相关性和潜在影响。本文介绍了一种新的用户友好的R软件包,用于计算FDR和调整FDR控制的p值。这些工具考虑了特定发现的调整后p值和估计FDR之间的关键差异,这有时在数值上相同,但在实践中经常混淆。新增加的方法估计零的调查结果的比例-FDR估计过程的一个重要组成部分-提出和评估。该软件包范围广泛,包括各种FDR估计和FDR控制方法,并包括绘图功能,便于显示结果。通过大量的例证,我们强烈鼓励更广泛地报告观察到的发现的错误发现率。
2020-10-09 stat.CO stat.ME
Finite Resources False Discovery Rate Control in Structured Hypothesis Spaces
Technion – Israel Institute of Technology(技术学院 – 以色列理工学院);NVIDIA
针对有限空分布样本和结构化假设空间,提出基于再生核的框架,通过两种决策规则在精确FDR控制与统计功效间权衡,并优化资源分配。
2026-06-16 cs.LG stat.ME stat.ML
Optimal False Discovery Rate Control for Large Scale Multiple Testing with Auxiliary Information
大规模多重检验是高维统计推断中的一个基本问题。越来越普遍的是,各种类型的辅助信息,反映假设之间的结构关系,可用。利用这些辅助信息可以提高统计功效。为此,我们提出了一个框架的基础上,两组混合模型与不同的概率为空不同的假设先验,其中形状约束的关系之间施加的辅助信息和先验概率为空。在控制平均错误发现率的情况下,设计了一个最优拒绝规则,以最大化真阳性的期望数量。针对有序结构,我们提出了一种稳健的期望最大化算法,用于同时估计在备择假设下的先验概率为零概率和$p$ -值的分布.我们表明,所提出的方法具有更好的权力比国家的最先进的竞争对手,同时控制错误发现率,经验和理论。大量的仿真实验证明了该方法的优越性。来自全基因组关联研究的数据集被用来说明新的方法。
2021-03-29 stat.ME
Marginal false discovery rate control for likelihood-based penalized regression models
惩罚回归在高维数据分析中的流行导致了对这些模型的新推理工具的需求。错误发现率控制被广泛应用于高维假设检验,但最近才被认为是在惩罚回归的背景下。然而,几乎所有这些工作都集中在lasso惩罚的线性回归上。在本文中,我们得到了一个通用的方法来控制边际错误发现率,可以应用于任何惩罚似然模型,如逻辑斯谛回归和Cox回归。我们的方法是快速的,灵活的,可以使用各种惩罚函数,包括套索,弹性网,MCP和MNet。我们得出的理论结果,所提出的方法是有效的,并使用模拟研究表明,该方法是合理的鲁棒性,虽然略有保守,当这些假设被违反。尽管是保守的,我们表明,我们的方法往往提供更多的权力,选择因果关系的重要功能比现有的方法。最后,该方法的实际效用证明了基因表达数据集与二进制和时间到事件的结果。
2019-01-22 stat.ME
Adaptive False Discovery Rate Control for Heterogeneous Data
努力开发更有效的多个假设检验程序的错误发现率(FDR)控制的重点是纳入真实的零假设的比例估计(这种程序被称为自适应)或利用异质性通过一些最佳的加权方案测试。本文结合这些方法使用加权自适应多决策函数(WAMDF)的框架。导出了一个灵活随机效应模型的最优权值,并给出了在原假设下,当检验统计量独立时,控制任意加权方案FDR的WAMDF.渐近和数值评估表明,弱相关下,建议WAMDFs提供更有效的FDR控制,即使最佳的权重是错误的。所提出的方法的鲁棒性和灵活性,有利于开发更有效的,但实际的,FDR程序的异构数据。为了说明,两种不同的加权自适应FDR方法的异质样本量的开发和应用数据。
2017-02-10 stat.ME
Online Individualized Treatment Selection under Partial Feedback: False Discovery Control and Minimax Optimality
Center for Data Science, Zhejiang University(浙江大学数据科学中心);Department of Statistics, University of Michigan(密歇根大学统计系)
本研究针对部分反馈下的在线个体化治疗选择问题,提出PAITS方法,实现错误发现率控制与极小极大最优性,经模拟和Jester数据集验证其有限样本性能。
2026-10-14 cs.LG stat.ME stat.ML
Online Control of the False Discovery Rate under "Decision Deadlines"
在线测试程序旨在控制一系列假设测试中错误发现的程度,允许早期测试结果影响后期测试假设的选择。通常,在线方法假设在进行下一个测试之前,必须做出关于当前测试的永久决定(拒绝或不拒绝)。相反,我们假设每个假设都需要立即做出初步决定,但也允许我们在预设的最后期限之前更新该决定。粗略地说,这让我们可以在假设的移动窗口上应用Benjamini-Hochberg类型的过程,其中即将到来的测试的阈值参数可以基于初步结果来确定。我们的方法控制的错误发现率(FDR)在每个阶段的测试,以及在自适应选择的停止时间。这些结果甚至适用于任意p值依赖结构。
2021-10-15 stat.ME stat.ML
False discovery rate control with multivariate $p$-values
多元统计量在假设检验中经常是可用的,也是必要的。我们研究如何使用这样的统计控制不仅假发现率(FDR),但也积极FDR(pFDR)具有良好的权力。我们表明,FDR可以通过嵌套区域的多变量$p$值的检验统计量控制。如果检验统计量的分布是已知的,则可以显式地构造区域以在满足一定条件的过程中实现具有最大功效的FDR控制。另一方面,我们关注的是分布仅部分已知的地方。在一定的条件下,提出了一种类型的嵌套区域,并证明了实现(p)FDR控制与渐近最大功率的pFDR控制水平接近其可达到的限制。嵌套区域的基础上的程序进行了比较与其他嵌套区域的基础上,更容易构建,以及那些基于更直接的组合的检验统计量。
2008-05-21 math.ST stat.TH
Empirical Bayes methods for controlling the false discovery rate with dependent data
错误发现率(FDR)已被广泛用作大规模多重检验问题中的错误度量,但该领域的大多数研究都集中在基于独立检验统计量的FDR控制过程或具有某些类型的随机相关性的检验统计量的FDR控制过程的性质。基于Tang和Zhang(2005)提出的方法,本文进一步发展了经验贝叶斯方法,用于控制具有相关数据的FDR。我们在时间序列模型中实施了我们的方法,并报告了模拟研究的结果,以证明经验贝叶斯方法的优势。
2007-08-07 stat.ME