FarmTest: Factor-Adjusted Robust Multiple Testing with Approximate False Discovery Control
具有相关和重尾数据的大规模多重检验出现在从基因组学、医学成像到金融的广泛研究领域中。传统的估计错误发现率的方法往往忽略了重尾效应和检验统计量之间的依赖结构,导致估计效率低下甚至不一致。此外,通常强加的联合正常假设可以说是过于严格的许多应用。为了解决这些挑战,在本文中,我们提出了一个因素调整的鲁棒多重检验(FarmTest)的大规模同时推理与控制的错误发现比例的过程。我们证明了稳健的因子调整在控制FDP和提高功率方面都是非常重要的。我们确定的一般条件下,所提出的方法产生相合估计的FDP。作为一个副产品,是独立的利益,我们建立了一个指数型偏差不等式的稳健$U$型协方差估计谱范数。大量的数值实验表明,所提出的方法的优势,特别是当数据是从重尾分布产生的一些国家的最先进的方法。建议的程序在R-package FarmTest中实施。
2018-09-18 stat.ME
Estimating False Discovery Proportion Under Arbitrary Covariance Dependence
多重假设检验是高维推理中的一个基本问题,在许多科学领域有着广泛的应用。在全基因组关联研究中,同时进行数万次测试,以确定是否有任何SNP与某些性状相关,并且这些测试是相关的。当检验统计量相关时,在任意依赖下的错误发现控制变得非常具有挑战性。在本文中,我们提出了一种新的方法的基础上,主因子近似,成功地减去了共同的依赖性和显着削弱的相关性结构,以处理一个任意的依赖结构。本文推导了在大规模多重检验中,当采用公共门限时,错误发现率的近似表达式,并给出了实现错误发现率的相合估计。这一结果在FDR和FDP的控制中有重要的应用。我们对实现的FDP的估计与Efron(2007)的方法相比毫不逊色,如模拟示例所示。我们的方法进一步说明了一些实际数据的应用。我们还提出了一个依赖调整的过程,这是更强大的比固定阈值的过程。
2011-11-15 math.ST stat.ME stat.TH
On Controlling the False Discovery Rate in Multiple Testing of the Means of Correlated Normals Against Two-Sided Alternatives
本文针对相关正态均值双侧多重检验中 BH 方法能否无条件控制 FDR 的开放猜想,在协方差矩阵已知或为已知矩阵未知标量倍数的两种情形下,证明了基于加权 z 或 t 统计量的 BH 型逐步上升方法能够控制 FDR。
2023-04-11 math.ST stat.TH
Nonparametric estimation of genewise variance for microarray data
基因方差的估计源于微阵列数据分析中的两个重要应用:选择显著差异表达的基因和微阵列数据归一化的验证测试。我们通过引入一个双向非参数模型来解决这个问题,该模型是著名的Neyman-Scott模型的扩展,并且适用于微阵列数据之外。问题本身提出了有趣的挑战,因为冗余参数的数量与样本量成正比,并且当测量值相关时,如何估计方差函数并不明显。在这样一个高维非参数问题中,我们通过求解一个非线性方程组,提出了两个新的genewise方差函数的非参数估计和测量相关性的半参数估计。建立了它们的渐近正态性。有限样本性质证明了模拟研究。估计器还提高了用于检测统计差异表达基因的测试的能力。该方法是说明从微阵列质量控制(MAQC)项目的数据。
2010-11-10 math.ST stat.TH
Dependence-Aware False Discovery Rate Control in Two-Sided Gaussian Mean Testing
Temple University(天普大学)
本文提出了一种基于正左尾依赖性的改进方法,用于在双向高斯均值检验中更有效地控制虚假发现率。
2025-11-25 math.ST stat.ME stat.TH
CURATE: Scaling-up Differentially Private Causal Graph Discovery
University of Arizona(亚利桑那大学)
本文提出CURATE框架,通过自适应隐私预算改进差分隐私因果图发现,在控制累积隐私泄露的同时提升基于约束和基于评分算法的效用。
2024-09-27 cs.CR cs.IT cs.LG
Introduction to Random Fields
一般线性模型(GLM)通常被构造并用于脑成像中体素水平的统计推断。在本文中,我们探讨了随机场的基础知识和多重比较的随机场,这是必要的适当阈值的统计地图为整个图像在特定的统计显着性水平。多重比较在确定全脑相关检验统计量的总体统计显著性方面至关重要。在实践中,相邻体素中的t统计或F统计是相关的。因此,存在着多重比较的问题,这是我们迄今为止一直忽视的问题。对于解释空间相关检验统计量的多重比较,提出了各种方法:Bonferroni校正、随机场理论、错误发现率和置换检验。其中,我们将探讨随机场的方法。
2020-07-19 math.ST stat.TH
A factor-adjusted multiple testing of general alternatives
因子调整多重检验用于处理强相关检验。由于大多数以前的作品控制稀疏的替代品下的错误发现率,我们开发了一个两步的方法,即AdaFAT,对于任何真实的错误比例。在本文中,所提出的程序进行调整的潜在因素负荷。在解释变量存在的条件下,给出了因子载荷估计的一致收敛性。我们还表明,AdaFAT的力量与控制错误发现率一起达到1。通过对中国A股市场的模拟,检验了所提出的方法的性能。
2020-11-02 math.ST stat.TH
Causal Discovery Under Local Privacy
INRIA(法国国家信息与自动化研究所)
本文比较多种本地差分隐私机制在因果发现任务中的隐私与因果结构准确性权衡,为选择合适的本地私有协议提供依据。
2024-05-03 cs.AI cs.CR cs.LG
Time-dependent spatially varying graphical models, with application to brain fMRI data analysis
在这项工作中,我们提出了一个添加剂模型的时空数据,将数据分成时间相关的组件和空间相关的组件。我们使用随时间变化的高斯图形模型的空间相关部分建模。在协方差阵的变化的平滑性的假设下,我们得到强的单样本收敛结果,确认我们的能力,估计有意义的图形结构,因为它们随着时间的推移而演变。我们应用我们的方法来发现人脑功能磁共振成像信号的时变空间结构。
2017-11-10 stat.ME
Setwise Hierarchical Variable Selection and the Generalized Linear Step-Up Procedure for False Discovery Rate Control
Department of Mathematics and Statistics, Dalhousie University(达尔豪斯大学数学与统计系)
本文提出了一种基于集的分层变量选择方法,结合广义线性逐步提升程序,有效控制FDR并提升预测性能。
2026-03-02 stat.ME
Controlling False Discovery Rate Using Gaussian Mirrors
同时发现多个影响变量并控制线性回归模型的错误发现率是一个基本问题。我们在这里提出了高斯镜像(GM)方法,它通过添加和减去随机生成的高斯扰动为每个预测变量创建一对镜像变量,并继续使用某种回归方法,例如普通最小二乘法或Lasso(镜像变量也可以在选择后创建)。镜像变量自然导致有效控制FDR的检验统计量。在一个温和的假设下,协变量之间的依赖关系,我们表明,FDR可以控制在任何指定的水平渐近。我们还证明,通过广泛的数值研究,GM方法是更强大的比许多现有的方法选择相关变量的FDR控制,特别是当协变量高度相关的情况下,有影响力的变量并不过于稀疏。
2021-03-19 stat.ME
Nonlinear Causal Discovery with Confounders
本文提出DeFuSE方法,通过去混淆调整和顺序过程学习存在混淆因素的有向无环图中的非线性因果关系,并证明了其一致性,在模拟和基因调控网络分析中表现优异。
2025-04-30 stat.ME
Differentially Private Nonparametric Modal Learning with Applications to Regression and Clustering
The Ohio State University(俄亥俄州立大学)
该研究提出差分隐私非参数模态学习方法DP-GRAMS,实现多峰分布密度模态的高概率恢复,扩展出DP-PMS回归与DP-GRAMS-C聚类方法,在合成及真实数据上展现良好隐私-效用权衡。
2026-08-03 cs.LG math.ST stat.ME
Causal Discovery from Temporal Data: An Overview and New Perspectives
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Mathematical Sciences, Fudan University(复旦大学数学科学学院)
本文系统综述了从时间数据中发现因果关系的方法,涵盖多变量时间序列与事件序列因果发现两类,并提供了公开数据集、评估指标及未来新视角。
2023-08-03 cs.LG stat.ME
Observation on F.W.E.R. and F.D.R. for correlated normal
本文研究了具有等相关正态观测值的同时检验问题的Bonferroni方法的族误差率(FWER)和Benjamini-Hodgeberg方法的错误发现率(FDR)的性质.通过模拟研究,我们证明了F.W.E.R.是一个凹函数的小数目的假设和渐近成为凸函数的相关性。F.W.E.R.和罗斯福确认如果存在非负相关,则这些过程将第一类错误率控制在比期望的显著性水平小得多的比率。这证实了当存在相关性时这些流行方法的保守性质,并通过适当调整相关性提供了提高功效的范围。
2020-08-19 stat.AP stat.ME
Causal SHAP: Feature Attribution with Dependency Awareness through Causal Discovery
College of Computing and Data Science(计算与数据科学学院);Lee Kong Chian School of Medicine(李科钦医学院);Nanyang Technological University(南洋理工大学)
针对SHAP无法区分因果与相关、高相关特征下归因错误的问题,提出融合PC因果发现与IDA因果强度量化的Causal SHAP框架,保留SHAP优良属性并降低纯相关特征的归因分数,为XAI提供实用因果感知解释方案。
2025-08-31 cs.AI cs.LG stat.ME
Solving the Empirical Bayes Normal Means Problem with Correlated Noise
正态均值问题在现代高维统计的许多领域中起着重要的作用,无论是在理论上还是在实践中。经验贝叶斯(EB)方法解决这个问题已被证明是非常有效的,再次在理论和实践中。然而,几乎所有的EB处理正态均值问题都假设观测是独立的。在实践中,相关性在现实世界的应用中无处不在,这些相关性可以严重扭曲EB估计。在这里,利用Schwartzman(2010)的理论,我们开发了新的EB方法来解决正态均值问题,该方法考虑了观测值之间的未知相关性。我们提供了这些方法的实际软件实现,并说明他们在大规模的多重检验问题和错误发现率(FDR)控制的背景下。在现实的数值实验中,我们的方法与其他常用的多重检验方法相比毫不逊色。
2018-12-24 stat.ME stat.ML