False Discovery and Its Control in Low Rank Estimation
由低秩矩阵指定的模型在当代应用中是普遍存在的。在许多这些问题域中,低秩矩阵的行/列空间结构携带关于一些基本现象的信息,并且在推理设置中评估估计的低秩矩阵的行/列空间在多大程度上表示关于该现象的发现是有意义的。然而,与变量选择相反,我们缺乏一个正式的框架来评估低秩估计中的真/假发现;特别是,困难的关键来源是发现的标准概念是离散的,不适合低秩矩阵的平滑结构。我们解决这个挑战,通过几何重新表述的概念的发现,然后使一个自然的定义在低秩的情况下。我们描述和分析了一个推广的稳定性选择方法的Meinshausen和Bühlmann控制错误的发现,在低秩估计,我们证明了它的效用相比,以前的方法通过数值实验。
2020-06-19 stat.ME
The knockoff filter for FDR control in group-sparse and multitask regression
我们提出了组敲除过滤器,错误发现率控制的方法在线性回归设置的功能进行分组,我们想选择一组相关的群体有一个非零的影响的响应。通过在组级别上考虑真和假发现的集合,该方法相对于稀疏回归方法获得了能力。我们还将我们的方法应用于多任务回归问题,其中多个响应变量在一组可能的特征中共享类似的稀疏模式。从经验上讲,在这两种设置中,组假冒过滤器成功地控制了组级别的错误发现,通过利用组结构进行了更多的发现。
2016-02-11 stat.ME
Type I error rate control for testing many hypotheses: a survey with proofs
本文综述了多重检验方法中第一类错误率控制的一些最新进展。我们考虑控制$k$ -族式错误率(kFWER,使$k$错误发现或更多的概率)和错误发现比例(FDP,错误发现在发现中的比例)的问题。FDP通过其期望值(即所谓的错误发现率(FDR))或通过其上尾分布函数来控制。我们的目标是得到一般和统一的结果,简洁和简单的数学证明。此外,虽然本文主要是一个调查文件,一些新的贡献,控制kFWER和上尾分布函数的FDP。特别是,我们推导出一个新的程序的基础上的分位数的二项分布,控制FDP下的独立性。
2011-03-14 stat.ME
Aggregating Knockoffs for False Discovery Rate Control with an Application to Gut Microbiome Data
最近的发现表明,我们的肠道微生物组在我们的健康和福祉中起着重要作用。然而,肠道微生物组数据是复杂的;例如,肠道中的微生物多样性使数据高维。虽然有专门的高维方法,如套索估计,但它们总是有错误发现的风险。仿制品是控制错误发现数量的最新方法。在本文中,我们表明,仿冒品可以聚集起来,以增加权力,同时保持对错误发现的尖锐控制。我们在理论和模拟方面都支持我们的方法,并且我们表明它可以导致美国肠道项目微生物组数据的新发现。特别是,我们的研究结果表明,迄今为止被忽视的几个门与肥胖有关。
2021-03-01 q-bio.QM stat.AP stat.ME
A New Perspective on Pool-Based Active Classification and False-Discovery Control
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington, Seattle, WA(华盛顿大学)
在许多科学环境中,需要自适应试验设计来指导识别搜索空间的区域的过程,这些区域包含尽可能多的真阳性,但错误发现(即错误警报)的比率很低。搜索空间的这些区域可能与最小化0/1误差的预测集有很大不同,并且准确识别可能需要非常不同的采样策略。像二进制分类的主动学习一样,这种试验设计不能先验地选择最佳,而是必须顺序地和自适应地获取数据。然而,与具有0/1错误的分类不同,自适应地收集数据以找到具有高真阳性率和低错误发现率(FDR)的集合还没有被很好地理解。在本文中,我们提供了第一个可证明的样本有效的自适应算法,这个问题。一路上,我们强调分类,组合土匪,和FDR控制之间的联系,使每个贡献。
2020-08-14 cs.LG stat.ML
Adjusting the Benjamini-Hochberg method for controlling the false discovery rate in knockoff assisted variable selection
考虑Barber & Candes(2015)的基于敲除的多重检验设置,用于多元回归中的变量选择,其中样本量与解释变量的数量一样大。Benjamini & Hochberg(1995)基于回归系数的普通最小二乘估计的方法被调整为设置,将其转换为基于有效p值的错误发现率控制方法,而不依赖于解释变量的任何特定相关结构。模拟和实际数据应用表明,我们提出的方法对π0不可知,不重要的解释变量的比例,以及使用π0估计的数据自适应版本是Barber & Candes(2015)中错误发现率控制方法的有力竞争者。
2021-08-18 stat.ME
Confidence envelopes for the false discoveries with heterogeneous data
Université Paris-Saclay, CNRS(巴黎萨克雷大学,法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Hochschule Darmstadt, University of Applied Sciences(达姆施塔特应用技术大学);Sorbonne Université, CNRS(索邦大学,法国国家科学研究中心)
本文提出基于异质数据的置信包络方法,利用Bretagnolle不等式和改进的Simes不等式,改进了传统方法在异质数据下的效能。
2026-04-21 math.ST stat.ME stat.TH
False Discovery Proportion control for aggregated Knockoffs
针对高维变量选择中Knockoffs仅控制期望假发现率的问题,提出KOPI方法控制实际假发现比例,并通过新型聚合降低随机性,在模拟和真实数据上取得更优功效与权衡。
2023-10-16 stat.ME
Empirical Bayes methods for controlling the false discovery rate with dependent data
错误发现率(FDR)已被广泛用作大规模多重检验问题中的错误度量,但该领域的大多数研究都集中在基于独立检验统计量的FDR控制过程或具有某些类型的随机相关性的检验统计量的FDR控制过程的性质。基于Tang和Zhang(2005)提出的方法,本文进一步发展了经验贝叶斯方法,用于控制具有相关数据的FDR。我们在时间序列模型中实施了我们的方法,并报告了模拟研究的结果,以证明经验贝叶斯方法的优势。
2007-08-07 stat.ME
Controlling False Discovery Rate Using Gaussian Mirrors
同时发现多个影响变量并控制线性回归模型的错误发现率是一个基本问题。我们在这里提出了高斯镜像(GM)方法,它通过添加和减去随机生成的高斯扰动为每个预测变量创建一对镜像变量,并继续使用某种回归方法,例如普通最小二乘法或Lasso(镜像变量也可以在选择后创建)。镜像变量自然导致有效控制FDR的检验统计量。在一个温和的假设下,协变量之间的依赖关系,我们表明,FDR可以控制在任何指定的水平渐近。我们还证明,通过广泛的数值研究,GM方法是更强大的比许多现有的方法选择相关变量的FDR控制,特别是当协变量高度相关的情况下,有影响力的变量并不过于稀疏。
2021-03-19 stat.ME
False Discovery Rate Adjustments for Average Significance Level Controlling Tests
University of Southern California(南加州大学)
研究在平均显著性水平控制下,Benjamini-Hochberg过程仍能渐近控制FDR,并证明某些依赖调整在有限样本中有效,为高维非参数设置提供FDR控制方法。
2026-06-12 stat.ME
False discovery rate controlling procedures for discrete tests
Benjamini和Hochberg(1995)提出了错误发现率(FDR)作为多重检验问题中族错误率的替代,并提出了控制FDR的方法。对于离散数据,该过程可能是高度保守的。我们调查替代,更强大的程序,利用离散性的测试,并有FDR水平接近所需的标称水平的幅度。此外,我们开发了一种新的降压过程,占主导地位的降压过程Benjamini和刘(1999)的离散数据。我们考虑应用于药物警戒自发报告系统,用于早期发现上市药物的不良反应。
2014-01-27 stat.ME
Searching for local associations while controlling the false discovery rate
Stanford University(斯坦福大学);University of Southern California(南加州大学);Cheung Kong Graduate School of Business(长江商学院)
该研究提出了一种在控制假发现率的同时发现局部关联的方法,通过扩展模型-X敲击过滤器,利用现代机器学习模型揭示样本异质性和相互作用。
2026-01-09 stat.ME
Controlling the EWMA $S^2$ control chart false alarm behavior when the in-control variance level must be estimated
在参数不确定的情况下,研究控制限的设置问题在监控方差时更容易,因为只有一个参数需要估计。简单地忽略诱导的不确定性往往会导致控制图的虚警性能差。调整无条件受控(IC)平均游程长度(ARL)会使情况变得更糟。保证最小条件IC ARL与一些给定的概率是另一个非常流行的方法来解决这些困难。然而,它是非常保守的,也更复杂,更难以沟通。我们利用在控制图上绘制的计划点数内的虚警概率。事实证明,与控制无条件IC ARL相比,调整此概率产生显著不同的限制调整。然后,我们开发数值算法,以确定相应的修改的上限和双侧指数加权移动平均(EWMA)图表的基础上,正态分布数据的样本方差。这些算法在R包中可用。最后,研究了EWMA平滑常数和初始样本大小对控制图设计及其性能的影响。
2021-01-11 stat.ME
An Optimal False Discovery Rate Controlling Procedure for Changepoint Detection
Stanford University(斯坦福大学)
针对独立观测序列变点检测问题,提出LBD-FDR方法,可控制错误发现率,在高斯序列等场景下达最优检测性能,模拟中与五种现有方法对比验证有效性。
2026-08-04 stat.ME
Split Knockoffs for Multiple Comparisons: Controlling the Directional False Discovery Rate
针对多重比较中线性变换约束下方向性错误发现率难以控制的问题,提出结合变量分裂与样本分裂的扩展Split Knockoff方法,可有效控制该错误率,且在仿真和阿尔茨海默病分析、年龄比较场景中验证了有效性。
2023-10-11 stat.ME
A Complete Review of Controlling the FDR in a Multiple Comparison Problem Framework -- The Benjamini-Hochberg Algorithm
本文综述了流行的Benjamini Hochberg方法以及其他相关的多假设检验方法。这是写的目的是服务于一个简短但完整的易于理解的审查主要文章与适当的背景。论文题为“控制错误发现率-一个实用和强大的方法多重检验”由benjamini等。al. [1]提出了一种控制多假设检验问题中错误发现率的新框架。有人声称,在该文件中提出的程序的结果在功率的大幅增加,更适用的情况下,要求错误发现率(FDR)的控制,而不是家庭的错误率(FWER)的问题。所提出的方法使用一个简单的Bonferroni型FDR控制程序。
2014-06-27 stat.ME
Design of Bayesian A/B Tests Controlling False Discovery Rates and Power
The University of Queensland(昆士兰大学);University of Waterloo(滑铁卢大学)
本文提出了一种经济高效的贝叶斯A/B测试设计框架,用于同时控制假发现率和功效。
2025-09-27 stat.ME
Controlling false discoveries in Bayesian gene networks with lasso regression p-values
贝叶斯网络可以代表定向基因调控,因此比共表达网络更受青睐。然而,几乎没有任何贝叶斯网络的研究关注的网络边缘的错误发现控制(FDC),导致低准确性,由于在同一研究中不一致的错误发现水平的系统性偏差。我们设计了四个实证测试来检验贝叶斯网络的FDC,从三个基于p值的套索回归变量选择-两个现有的和一个我们起源。我们的方法lassopv计算临界正则化强度的p值,在该强度下预测器开始对lasso回归做出贡献。使用null和Geuvadis数据集,我们发现lassopv在贝叶斯基因网络中获得了最优FDC,而现有方法的p值有缺陷。FDC概念和测试扩展到大多数网络推理场景,并将指导新方法和现有方法的设计和改进。我们使用套索回归的新变量选择方法也允许在其他数据集和问题上进行FDC,甚至超出了网络推理和计算生物学。Lassopv是用R语言实现的,可以在https://github.com/lingfeiwang/lassopv和https://cran.r-project.org/package=lassopv上免费获得
2018-03-27 q-bio.MN q-bio.QM stat.AP
Controlling the False Discovery Rate via Competition: is the +1 needed?
针对Barber和Candès(2015)提出的通过伪特征与原始特征竞争估计FDR时使用的+1项,研究其在一般情况下的必要性,为特征选择中FDR控制方法的优化提供理论参考。
2022-10-29 stat.AP stat.ME
False Discovery Rate Controlling Procedures with BLOSUM62 substitution matrix and their application to HIV Data
针对 HIV 稀疏计数数据检验功效低的问题,提出两种结合 BLOSUM62 矩阵的错误发现率控制模型,成功识别出传统 Fisher 检验无法发现的显著位点。
2023-11-25 stat.ME
Nonparametric methods controlling the median of the false discovery proportion
Econometric Institute, Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹计量经济研究所)
本文提出了一种非参数多重检验方法,用于控制虚假发现比例的中位数,适用于多种参数假设检验场景。
2026-02-27 stat.ME
Controlling the False Discovery Rate in Complex Multi-Way Classified Hypotheses
在这篇文章中,我们提出了一个广义加权版本的著名Benjamini-Hochberg(BH)过程。我们的方法所使用的严格的加权方案,使它能够编码的结构信息,同时多路分类以及分层分区的假设成组,规定,以适应重叠的群体。该方法被证明可以控制错误发现率(FDR)时,涉及的p值是正回归依赖于空p值的子集(PRDS)。提出了一种数据自适应版本的方法。仿真结果表明,我们提出的方法控制FDR在所需的水平,是更强大的比现有的可比多重检验程序,当p值是独立的或满足一定的依赖条件。我们应用这种数据自适应方法来分析神经成像数据集,并了解酒精中毒对人类大脑的影响。神经成像数据通常具有复杂的分类结构,这在先前提出的多重检验过程的后续推断中没有被充分利用。通过灵活的加权方案,我们的方法准备从数据中提取更多信息,并使用它来执行更明智和有效的假设测试。
2021-05-23 stat.ME
Two-Stage Multiple Test Procedures Controlling False Discovery Rate with auxiliary variable and their Application to Set4Delta Mutant Data
Seoul National University(首尔大学);The Pennsylvania State University(宾夕法尼亚州立大学);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
本文提出利用辅助变量的两阶段多重检验方法,有效控制假发现率并提升统计功效,应用于Set4Δ突变数据集以展示其优势。
2026-02-20 stat.ME
Only Closed Testing Procedures are Admissible for Controlling False Discovery Proportions
我们认为所有的多个测试方法控制的错误发现比例的尾部概率的类,无论是一个随机集或同时为许多这样的集。这类方法包括控制全家族差错率、广义全家族差错率、错误发现排除、联合差错率、同时控制所有错误发现比例等方法,以及看似无关的方法,如基因组学中的基因集测试和神经成像中的聚类推断方法。我们表明,所有这样的方法是等价于一个封闭的测试方法,或统一改进。此外,我们证明了一个封闭的测试方法是容许的方法控制尾部概率的错误发现的比例,当且仅当其所有的本地测试是容许的。这意味着,当设计这样的方法时,仅将注意力限制在封闭测试方法上就足够了。我们证明了这种设计原则的实际用途,通过构建一个统一的改进,最近提出的方法。
2022-04-29 math.ST stat.ME stat.TH
Controlling the False Discovery Rate in Transformational Sparsity: Split Knockoffs
本文提出分裂Knockoff方法,用于在变换稀疏性设置中控制错误发现率,通过变量与数据分裂及逆超鞅结构实现可证明的FDR控制,并在模拟和ADNI数据上验证了效果。
2023-10-16 stat.ME
Controlling the number of significant effects in multiple testing
针对弱效应下 FDR 控制过于保守的问题,本文提出控制显著效应数量的准则及相应程序,并通过理论、模拟和真实数据验证其性质。
2023-11-01 stat.ME
Controlling false discovery exceedance for heterogeneous tests
对于大规模多重检验问题,存在几种经典的方法来控制错误发现抑制(FDX),其中包括Lehmann-Romano方法(下文[LR])和Guo-Romano方法(下文[GR])。虽然这两个过程是最突出的,但它们最初是为齐次检验统计量设计的,即当$p$值$F_i$,$1\leq i\leq m$的零分布函数都相等时。然而,在许多应用中,数据是异构的,这导致异构的空分布函数。忽略这种异质性通常会导致上述程序的保守性。在本文中,我们开发了三个新的程序,将$F_i$的,同时确保FDX控制。[LR]的异构版本(表示为[R])基于$F_i$的算术平均值,而[GR]的异构版本(表示为[HGR])基于$F_i$的几何平均值.我们还介绍了一个程序[PB],这是基于泊松-二项分布,并一致地提高[HGR]和[HGR],在一个更高的计算复杂性的代价。也许令人惊讶的是,这表明,与异质性下的错误发现率(FDR)控制的已知理论相反,在FDX控制的情况下,引入$F_i$的方式可以特别简单,并且不需要任何进一步的校正项.在两个重要的异质设置中,通过真实和模拟数据说明了新提出的程序的性能:首先,当检验统计量是连续的,但$p$值由一些已知的独立权重向量加权时,例如,来自共同数据集;第二,当检验统计量离散分布时,如表示频率或计数的数据的情况。
2019-12-10 stat.ME
On the error control of invariant causal prediction
本文研究如何通过更宽松的误差保证改进不变因果预测方法,提出使用虚假发现率控制和同时真实发现界作为核心方法,以提高因果信息的提取能力。
2026-05-20 stat.ME
Controlling the False Discovery Rate for Binary Feature Selection via Knockoff
在过去的几十年里,变量选择已经被广泛用于数据分析,在大数据时代,它变得越来越重要,因为数据集中通常有数百个变量。为了增强模型的可解释性,识别潜在的相关特征通常是将所有特征拟合到回归模型中之前的一个步骤。一个好的变量选择方法应该有效地控制错误发现的比例,并确保其选择集足够大的权力。在许多当代数据应用中,很大一部分特征被编码为二进制变量。二进制特征广泛存在于许多领域,从在线控制实验到基因组科学再到物理统计。虽然最近有少数文献可证明的错误发现率(FDR)控制变量选择,大多数的理论分析是基于一些强依赖性假设或高斯假设的功能。在本文中,我们提出了一个回归框架中的变量选择方法来选择二进制特征。在温和的条件下,我们表明,FDR是完全控制在一个目标水平下,在有限的样本,如果底层的二进制功能的分布是已知的。我们在模拟中表明,FDR控制仍然达到时,从数据中估计的特征分布。我们还提供了我们的变量选择方法在线性回归模型或逻辑斯谛回归模型的功率的理论结果。在竞争对手存在的限制设置中,我们在HIV抗逆转录病毒治疗数据集上的模拟和真实数据应用中表明,我们的方法具有比竞争对手更高的功效。
2020-08-13 stat.ME
An Empirical Bayes Approach to Controlling the False Discovery Exceedance
针对FDP高度可变时的多重检验问题,提出一种经验贝叶斯FDX控制方法,通过计算捷径模拟最优lfdr先知规则,并在模拟、真实数据及异常股票交易策略识别中验证其性能。
2023-04-20 stat.AP stat.ME
Controlling False Discovery Rates under Cross-Sectional Correlations
New York University(纽约大学);Nomura Asset Management Co.(野村资产管理公司);Temple University(天普大学)
我们考虑控制错误发现率来测试许多具有未知横截面相关结构的时间序列。如果有大量的假设,错误和遗漏的发现可能会困扰分析。虽然已经提出了许多程序来控制错误的发现,他们中的大多数要么假设独立的假设或缺乏统计功效。一个特别令人感兴趣的问题是金融资产定价,其目标是确定哪些“因素”导致大量潜在因素的超额回报。我们的贡献是双重的。首先,我们证明了Fama和French的突出方法在多重检验下的一致性。其次,我们提出了一种新的方法,错误发现控制使用双引导。我们实现了优越的统计功效,现有的方法,并证明了错误发现率的控制。仿真和实际数据的应用表明,我们的方法比现有的方法的有效性。
2021-06-09 cs.AI cs.LG stat.ME
Generalized Alpha Investing: Definitions, Optimality Results, and Application to Public Databases
大型公共数据库的日益普及和实用性需要开发适当的方法来控制错误发现。出于这一挑战,我们讨论了测试一个可能无限流的零假设的一般问题。在这种情况下,Foster和Stine(2008)提出了一种名为Alpha Investing的新方法,用于控制称为mFDR的错误发现措施。我们开发了一个更一般的程序来控制mFDR,其中阿尔法投资是一个特例。我们表明,在常见的实际情况下,一般的程序可以优化,以产生一个预期回报最优(ERO)的版本,这是更强大的比阿尔法投资。然后,我们提出了质量保持数据库(QPD)的概念,最初在Aharoni等人(2011)中引入,它形式化了有效的公共数据库管理,同时节省成本和控制错误发现。我们展示了如何使用广义alpha投资的一个变体来控制QPD中的mFDR,并与Aharoni等人(2011)中实现的用于控制Family-Wise Error Rate的朴素方法相比,显着降低成本。
2013-07-01 stat.ME
Estimating and Controlling the False Discovery Rate for the PC Algorithm Using Edge-Specific P-Values
PC算法允许研究人员从有限数据集估计一个完整的部分有向无环图(CPDAG),但很少有研究小组研究用于估计和控制CPDAG中边的错误发现率(FDR)的策略。在本文中,我们介绍了PC与p值(PC-p),一个快速算法,鲁棒地计算边缘特定的p值,然后估计和控制FDR的边缘。PC-p专门使用许多条件独立性检验返回的p值来上限更复杂的边缘特定假设检验的p值。然后,该算法使用有界p值和Benjamini-Yekutieli FDR程序来估计和控制FDR。对原始PC算法的修改也有助于PC-p准确地计算上界,尽管非零第二类错误率。实验表明,与其他方法相比,PC-p在各种CPDAG中产生更准确的FDR估计和边缘控制。
2017-05-10 stat.ME stat.ML
Communication-Efficient False Discovery Rate Control via Knockoff Aggregation
错误发现率(FDR)--所有发现中虚假发现的预期比例--提供了一种流行的统计评估,用于评估各学科科学研究的可重复性。在这项工作中,我们介绍了一种新的方法来控制FDR在元分析的许多分散的线性模型。我们的方法针对的情况下,许多研究小组-可能是随机的-独立地测试一组共同的假设,然后发送汇总统计数据的协调中心在网上的方式。基于Barber和Candes(2015)引入的敲除框架,我们的过程首先将敲除过滤器应用于每个线性模型,然后以一种新颖的方式通过一次性通信聚合汇总统计量。该方法给出了精确的FDR控制的非渐近没有任何知识的噪声方差或作出任何假设的稀疏信号。在某些设置中,它具有最佳对数因子的通信复杂度。
2015-11-09 stat.ME stat.ML
False discovery rate control for multiple testing based on p-values with càdlàg distribution functions
对于基于càdlàg分布函数的p值的多重检验,我们提出了一个具有证明保守性的FDR程序“BH+”。BH+在应用于超一致p值时至少与BH过程一样强大。此外,当应用于中间p值时,BH+比应用于常规p值更强大。这是一个容易验证的必要和充分条件。BH+可能是第一个适用于中间p值的保守FDR程序。BH+应用于甲基化研究、HIV研究和临床安全性研究中基于离散p值的多重检验,在这些研究中,BH+比BH程序有更多的发现。
2018-03-16 stat.ME
Estimation and false discovery control for the analysis of environmental mixtures
环境混合物的分析在环境流行病学中越来越重要,这种分析的关键目标之一是确定与不利健康结果相关的暴露及其相互作用。典型的方法利用灵活的回归模型结合变量选择,以确定重要的风险敞口,并估计与感兴趣的结果的潜在非线性关系。尽管这种兴趣激增,但迄今为止还没有任何方法可以在识别暴露和相互作用的同时控制暴露选择方面的任何形式的错误率。我们提出了两种新的方法来估计环境混合物的健康影响,同时1)估计和提供有效的推断的整体混合物的效果,2)确定重要的暴露和相互作用,同时控制错误发现率。我们表明,这可以导致大量的功率增益,以检测环境暴露的微弱影响。我们将我们的方法应用于持久性有机污染物的研究,发现我们的方法能够识别比现有方法更多的相互作用。
2021-03-18 stat.ME
Sequential Tests of Multiple Hypotheses Controlling False Discovery and Nondiscovery Rates
我们提出了一个通用的和灵活的程序来测试多个假设的顺序(或流)的数据,同时控制的错误发现率(FDR)和错误的非发现率(FNR)的最小假设下的数据流,可能会有所不同的分布,尺寸,并依赖。所有需要的是用于控制传统的I型和II型错误概率的每个数据流的检验统计量,并且不需要关于统计量或数据流的联合分布的信息或假设。该程序可与顺序、成组顺序、截断或其他采样方案一起使用。该程序是Benjamini和Hochberg(1995)广泛使用的固定样本量程序到顺序数据领域的自然扩展,具有序贯抽样提供的同时FDR和FNR控制的额外好处。我们证明了程序的错误控制,并给出了一些提示,在常见的测试情况下实施。
2019-01-11 math.ST stat.ME stat.TH
Controlling the joint local false discovery rate is more powerful than meta-analysis methods in joint analysis of summary statistics from multiple genome-wide association studies
The Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种基于控制联合局部假发现率的新型汇总统计信息联合分析方法,该方法在处理异质数据集时比传统元分析方法更具统计效力。
2016-05-28 q-bio.GN stat.AP stat.ME
Network knockoffs: controlling false discovery in dyadic space
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Montana(蒙大拿大学);Trout Unlimited(鳟鱼无国界)
提出一种直接在拓扑网络上模拟合成特征的knockoff变量选择方法,以在高维二元回归中控制错误发现率。
2026-05-29 stat.AP stat.ME
Multilayer Knockoff Filter: Controlled variable selection at multiple resolutions
我们解决的问题是从大量的变量中选择那些对结果“重要”的变量。我们考虑的情况下,变量组也有兴趣在自己的权利。例如,每个变量可能是一个遗传多态性,我们可能想研究一个性状如何取决于基因的变异性,基因通常包含多个这样的多态性的DNA片段。或者,变量可以量化公司拥有的各个互联网服务器的功能的各个方面,我们可能有兴趣评估每个服务器作为一个整体对公司客户的平均下载速度的重要性。在这种情况下,发现变量与结果相关意味着发现它所代表的更大实体也很重要。为了保证有意义的和可重复的结果,我们建议在个体变量和群体水平上控制错误发现率。在Barber和Candes(2015)的敲除构造和Barber和Ramdas(2016)的多层测试框架的基础上,我们引入了多层敲除滤波器(MKF)。我们证明,MKF同时控制在每个分辨率的FDR,并使用模拟表明,它会产生很小的功率损失相比,只为个别变量的发现提供保证的方法。我们应用MKF分析遗传数据集,发现它成功地减少了错误基因发现的数量,而没有显着降低功率。
2018-08-09 stat.ME
A New Procedure for Controlling False Discovery Rate in Large-Scale t-tests
研究了大规模多重测试问题中的错误发现率控制问题。本文首先提出了一种新的数据驱动检验方法,用于控制单样本均值问题大规模t检验中的FDR。无论检验次数或样本量如何,当总体是对称的时,所提出的方法在有限样本设置中实现了精确的FDR控制。与现有的自举方法FDR控制相比,所提出的方法是计算效率。我们表明,所提出的方法可以控制FDR渐近不对称的人口,即使检验统计量是不独立的。我们进一步表明,所提出的程序与一个简单的校正是准确的自举方法的二阶度,可能是更有效的比现有的正常校准。我们将所提出的方法推广到双样本均值问题.实验结果表明,所提出的程序有更好的FDR控制比现有的真实的替代假设的比例不太低,同时保持合理的良好的检测能力。
2020-02-28 math.ST stat.ME stat.TH
Controlling the False Discovery Rate via Model-Agnostic Importance Measures
Nankai University(南开大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出了一种名为MAS的模型不可知选择方法,通过样本拆分策略和新颖的agent-X重要性度量,在规避协变量分布假设的同时控制错误发现率,经模拟和真实数据验证其性能具有竞争力。
2026-10-16 stat.ME stat.ML
The edge of discovery: Controlling the local false discovery rate at the margin
本文提出一种无需先验知识的简单多重检验程序,通过控制所有拒绝中最大局部错误发现率(lfdr)的期望来保证单个拒绝的可靠性,并证明其渐近实现加权分类风险下的 oracle 贝叶斯最优权衡。
2023-09-21 math.ST stat.ME stat.TH
Controlling the False Discovery Rate in Subspace Selection
针对高维低秩模型场景下子空间选择缺乏FDR控制方法的问题,基于随机矩阵理论提出无参数的主成分分析子空间选择方法,可在常见噪声模型下控制FDR,并在多场景验证了有效性。
2024-04-14 math.ST stat.ME stat.TH
Generalized Boundary FDR Control under Arbitrary Dependence: An Approach on Closure Principle
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);School of Statistics and Data Sciences, LPMC, KLMDASR and LEBPS, Nankai University(南开大学统计与数据科学学院)
本文提出k-bFDR,用于控制k个最显著发现的误差概率,并基于闭包原理开发Domino框架,在任意依赖条件下保证k-bFDR控制,通过实验证明其有效性。
2026-05-11 stat.ME
False Discovery Rate Control for Fast Screening of Large-Scale Genomics Biobanks
针对大规模基因组学生物样本库筛选中假阳性高、现有方法计算慢的问题,提出无需额外调参的快速FDR控制方法Screen-T-Rex,性能更优且计算时间远低于基准方法。
2024-10-07 stat.ME
The Generic Holdout: Preventing False-Discoveries in Adaptive Data Science
Harvard University(哈佛大学)
自适应数据分析对科学提出了挑战,因为它能够在中等规模的数据集上产生错误的假设。通常,对于非自适应数据分析(其中生成对数据的查询而不受对先前查询的回答的影响),包含$n$样本的数据集可以支持$n$中的指数级的许多查询。这个数字在天真的自适应数据分析下线性减少到许多,甚至复杂的补救措施,如可重用的保持(Dwork et. al 2015)仅允许在$n$中进行二次多个查询。在这项工作中,我们提出了一个适应性科学的新框架,它在有限但科学相关的设置下以指数方式提高了查询的数量,其中科学家的目标是根据样本找到关于宇宙的单个(或几个)真实假设。这样的设置可以描述一些疾病的预测因素的基础上的医疗数据,分析师可能希望尝试一些预测模型,直到一个令人满意的是found. We的解决方案,通用的保持,包括两个简单的成分:(1)的数据划分成一个探索集和一个保持集和(2)一个有限的曝光策略的保持集。分析师可以随意使用探索集,但是当针对坚持集检验假设时,分析师只知道这个问题的答案:“给定的假设在坚持集上是真的吗?--而且没有更多的信息,比如假设与坚持者集合的拟合程度。由此产生的方案是立即分析,但尽管它的简单性,我们不相信我们的方法是显而易见的,在实践中的许多违规行为证明。我们的建议可以被视为预注册的替代方案,并允许研究人员获得自适应数据分析的好处,而没有自适应性的问题。
2018-09-14 cs.LG math.ST stat.ME
Controlling the false discovery rate via knockoffs
在许多科学领域,我们观察一个反应变量和大量潜在的解释变量,并希望能够发现哪些变量与反应真正相关。与此同时,我们需要知道错误发现率(FDR)--所有发现中错误发现的预期比例--不是太高,以便向科学家保证大多数发现确实是真实的和可复制的。本文介绍了敲除滤波器,一种新的变量选择过程控制FDR的统计线性模型中,只要有至少一样多的观测变量。该方法在有限样本设置中实现了精确的FDR控制,无论设计或协变量、模型中的变量数量或未知回归系数的幅度如何,并且不需要任何噪声水平的知识。顾名思义,该方法通过制造廉价的仿制变量来操作-它们的构造不需要任何新数据-并且旨在模仿现有变量中发现的相关结构,以允许精确FDR控制的方式,超越基于置换的方法的可能性。仿制品的方法是非常通用和灵活的,可以与广泛的一类检验统计量。我们测试的方法结合稀疏回归的Lasso的统计数据,并获得实证结果表明,所得到的方法具有远远超过现有的选择规则时,空变量的比例很高的权力。
2015-10-14 math.ST stat.ME stat.TH
Flexible control of the median of the false discovery proportion
本研究提出一种仅需p值输入、时间复杂度线性的多重检验程序,通过调整真假设总数估计量得到FDP同时中位数无偏估计,实现观测数据后灵活选alpha且不依赖独立性假设的FDP中位数控制,性能可比Benjamini-Hochberg方法。
2024-03-13 stat.ME
Controlling the false discovery rate under a non-parametric graphical dependence model
提出在已知依赖图的非参数模型下控制多重检验错误发现率的高效方法,其拒绝集在无依赖边时与BH程序一致,在边较少时功效接近BH,且计算高效,适用于大规模假设检验。
2025-06-30 math.ST stat.ME stat.TH
On Online Control of False Discovery Rate
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
多重假设检验是统计推断的核心问题,几乎在各个科学领域都有出现。给定一系列零假设$\mathcal{H}(n) = (H_1,..., H_n)$,Benjamini和Hochberg \cite{benjamini1995controlling}引入了错误发现率(FDR)标准,这是被拒绝的零假设中假阳性的预期比例,并提出了一个测试程序,控制FDR低于预先指定的显著性水平。他们还提出了一个不同的标准,称为mFDR,它不控制已实现的测试集的属性;相反,它控制预期的错误发现数量与预期的发现数量之比。在本文中,我们提出了两个多假设检验的程序,我们称之为“LOND”和“LORD”。这些程序控制\emph{online manner}中的FDR和mFDR。具体地说,我们考虑一个有序的-可能是无限的-序列的零假设$\mathcal{H} = (H_1,H_2,H_3,...)$,在每一步$i$,统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。据我们所知,我们的工作是第一个在这种情况下控制FDR的工作。该模型由Foster和Stine \cite{alpha-investing}引入,其alpha投资规则仅以在线方式控制mFDR。为了比较不同的程序,我们开发了下界的总发现率下的混合模型,并证明了LOND和LORD都有近线性的发现数。我们进一步建议调整LOND以解决$p$值之间的任意相关性…
2015-03-04 cs.LG math.ST stat.AP
PAPRIKA: Private Online False Discovery Rate Control
Georgia Institute of Technology(佐治亚理工学院);University of Waterloo(滑铁卢大学)
在假设检验中,当由于样本中的噪声而错误地拒绝假设时,会发生错误发现。当自适应地测试多个假设时,错误发现的概率随着执行更多的测试而增加。因此,错误发现率(FDR)控制的问题是找到一个程序,用于测试多个假设,考虑这种影响,在确定一组假设拒绝。目标是最小化错误发现的数量(或分数),同时保持高的真阳性率(即,正确的发现)。本文研究了样本差异隐私约束下多假设检验中的错误发现率控制问题。与以前在这个方向上的工作不同,我们专注于在线设置,这意味着必须在执行测试后立即做出关于每个假设的决定,而不是像离线设置那样等待所有测试的输出。我们提供了新的私人算法的基础上,国家的最先进的非私人在线FDR控制的结果。我们的算法对隐私和统计性能具有强有力的可证明保证,这些性能由FDR和功率来衡量。我们还提供了实验结果来证明我们的算法在各种数据环境中的有效性。
2020-10-21 cs.CR cs.DS cs.LG
Controlled Discovery and Localization of Signals via Bayesian Linear Programming
科学家往往必须同时定位和发现信号。例如,在基因精细定位中,附近遗传变异之间的高度相关性使得难以确定因果变异的确切位置。因此,统计任务是输出尽可能多的包含信号的不相交区域,每个区域尽可能小,同时控制误报。类似的问题出现在任何应用中,信号不能完美地定位,如定位恒星在天文调查和变化点检测序列数据。这些问题的常见贝叶斯方法涉及计算信号位置的后验分布。然而,现有的将这些后验转换为信号的实际可信区域的程序无法捕获后验中的所有信息,导致较低的功率和(有时)膨胀的错误发现。基于这种动机,我们引入贝叶斯线性规划(BLiP)。给定信号上的后验分布,BLiP输出信号的可信区域,其可验证地接近最大化期望功率,同时控制误报。BLiP克服了一个非常高维和非凸的问题,可验证的几乎最大化预期的权力,同时控制误报。与计算后验的成本相比,BLiP在计算上非常高效,几乎可以包裹任何贝叶斯模型和算法。将BLiP应用于现有的英国生物银行数据(用于遗传精细映射)和斯隆数字巡天(用于天文点源探测)的最先进分析,只需几分钟的额外计算,就可以将功率提高30-120%。BLiP是在pyblip(Python)和blipr(R)中实现的。
2023-01-28 stat.ME