Testing the Deviation of a High-dimensional Mean
Shandong University(山东大学);The University of Hong Kong(香港大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
本文提出基于双臂老虎机过程的高维均值偏差检验方法,解决了传统单样本检验无法处理的偏离检测问题,并通过仿真实验验证了方法的有效性。
2026-10-08 stat.ME
Large-Scale Multiple Testing of Composite Null Hypotheses Under Heteroskedasticity
针对异方差下复合零假设多重检验的功效损失与第一类错误失控问题,提出整合方差辅助信息、基于改进非参数经验贝叶斯反卷积的HAMT流程,理论证明其FDR控制渐近有效最优,仿真与移动游戏用户检测应用验证其功效更优。
2024-10-23 stat.ME
Testing the Graph of a Gaussian Graphical Model
高斯图形模型通常用于模拟多个随机变量的联合分布。它所导出的图不仅对描述随机变量之间的关系很有用,而且对提高统计估计精度也很重要。在高维数据分析中,尽管有大量的文献来估计这种图结构,但在全球范围内对其规范的充分性进行测试还远远不够。为了取得进展,本文提出了一种新的拟合优度检验,计算简单,理论上易于处理。在原假设下,证明了所提出的检验统计量的渐近分布服从Gumbel分布。有趣的是,这种极限Gumbel分布的位置参数取决于空值下的依赖结构。我们进一步发展了一种新的一致性授权的检验统计量时,真实的结构嵌套在假设的结构,通过放大估计中产生的噪声。大量的仿真结果表明,所提出的测试程序在空值下具有正确的大小,并且在替代方案下是强大的。作为应用,我们将该测试应用于COVID-19数据集的分析,表明我们的测试可以作为选择图结构以提高估计效率的有价值的工具。
2022-12-13 stat.ME
Small sample methods for cluster-robust variance estimation and hypothesis testing in fixed effects models
在纵向面板和其他具有未观测效应的回归模型中,固定效应估计通常与集群稳健方差估计(CRVE)配对,以考虑误差之间的异方差性和未建模相关性。CRVE是渐近一致的独立集群的数量增加,但可以向下偏置的样本量经常在应用工作中发现,导致假设检验过于宽松的拒绝率。一种解决方案是使用偏置减少线性化(BRL),它校正CRVE,使其在工作模型下无偏,并使用Satterthwaite自由度进行t检验。我们提出了一个泛化的BRL,可以应用于模型中的任意组的固定效应,原始的BRL方法是未定义的,并描述如何应用的方法时,估计吸收后的固定效应的回归。我们还提出了多参数假设的小样本检验,它推广了t检验的Satterthwaite近似。在涵盖各种研究设计的模拟中,我们发现,传统的集群鲁棒Wald测试可以严重拒绝,而建议的小样本测试保持第一类错误非常接近标称水平。
2022-11-06 stat.ME
Detecting Multiple Replicating Signals using Adaptive Filtering Procedures
可复制性是科学发现的一个基本特征:我们感兴趣的是那些在不同实验室、研究人群、不同时间等中可检测到的信号。与元分析不同,元分析解释了实验变异性,但不保证可复制性,测试部分连接(PC)null的目的是专门识别在多项研究中发现的信号。在许多当代应用中,例如,为了比较多个高通量遗传实验,需要同时测试大量的$M$ PC空值,这需要多重比较校正。但是,对$M$ PC $p$-值进行标准多次测试调整可能非常保守,尤其是当$M$较大且信号稀疏时。我们介绍AdaFilter,一个新的多重检验程序,通过自适应地过滤掉不太可能的候选PC空值来增加功率。我们证明了AdaFilter可以控制FWER和FDR,只要研究之间的数据是独立的,并具有更高的权力比其他现有的方法。我们用三个例子说明AdaFilter的应用:杜氏肌营养不良症的微阵列研究,肺癌肿瘤中T细胞的单细胞RNA测序和GWAS的代谢组学。
2021-11-18 stat.ME
Scalable and Efficient Hypothesis Testing with Random Forests
在过去的十年中,随机森林已经成为最准确和最流行的监督学习方法之一。虽然它们的黑箱性质使它们的数学分析变得困难,但最近的工作已经通过考虑子采样代替自举建立了重要的统计特性,如一致性和渐近正态性。虽然这样的结果打开了传统的推理程序的大门,所有正式的方法,迄今为止提出的地方严格限制的测试框架和他们的计算开销排除其实际的科学用途。在这里,我们提出了一个置换式的测试方法,正式评估功能的重要性。我们建立了渐近有效性的测试,通过交换参数,并表明该测试保持高功率的数量级较少的计算。同样重要的是,该过程很容易扩展到大数据设置,其中可以使用大型训练和测试集,而无需构建额外的模型。随机森林最近表现出希望的生态数据的模拟和应用。
2019-12-06 stat.ME stat.ML
Quick Anomaly Detection by the Newcomb--Benford Law, with Applications to Electoral Processes Data from the USA, Puerto Rico and Venezuela
本文提出了一种简便、快速的数值异常通用检验方法。例如,它可以应用于电子和手工选举进程。它使用官方公布的投票单位中的投票计数,这些投票单位通常广泛使用并得到机构的支持。该测试检查了投票计数数字的频率,并依赖于第一位数(NBL 1)和第二位数纽科姆-本福德定律(NBL 2),以及在每单位最大投票人数限制下的新概括(RNBL 2)。我们将测试应用于2004年美国总统选举,波多黎各(1996年,2000年和2004年)州长选举,2004年委内瑞拉总统罢免公投(RRP)和以前的2000年委内瑞拉总统选举。NBL 2仅在委内瑞拉公投中被强制拒绝,并且仅适用于电子投票单位。我们最初关于RRP的建议(Pericchi和Torres,2004)受到卡特中心报告(2005)的批评。认识到这一点,Mebane(2006)和The Economist(US)(2007)提出了支持NBL 2的投票模型和案例研究。进一步的证据在这里。此外,在RNBL 2下,Mebane的投票模型在更广泛的条件下有效。通过贝叶斯因子(和$p$值的校正)而不是显著性检验评估该定律的充分性,因为对于大样本量和固定$α$水平,原假设被过度拒绝。我们的测试非常简单,可以成为一个公平的选举过程应该通过的标准筛选。
2012-05-15 physics.data-an stat.ME
Calibration without labels in multiple testing
Department of Statistics, University of Michigan(密歇根大学统计学系)
针对多重检验中无法观测真实标签的难题,利用有序p值间距构造伪标签,实现局部错误发现率的校准,并揭示q值在心理学和神经科学文献中可能严重失准。
2026-06-19 stat.ME stat.ML
Adaptive LAD-Based Bootstrap Unit Root Tests under Unconditional Heteroskedasticity
本文针对无条件异方差和序列依赖下的单位根检验,提出一种自适应块自举LAD方法,解决了经典检验的尺寸扭曲问题并在重尾分布下展现出更优的检验功效。
2024-10-17 stat.ME
Analysis of error control in large scale two-stage multiple hypothesis testing
当处理同时检验大量原假设的问题时,一种自然的检验策略是首先通过某种选择(筛选或过滤)过程减少被检验的假设的数量,然后同时检验所选择的假设。这种策略的主要优点是大大降低了高维的严重影响。然而,为了保持某种类型的错误控制,必须适当地考虑第一筛选或选择阶段。在本文中,我们将介绍一个选择规则的基础上的选择统计量是独立的检验统计量时,测试的假设是真的。结合这个选择规则和传统的Bonferroni程序,我们可以开发一个强大的和有效的两阶段程序。引入的过程有几个很好的属性:(i)它完全消除了选择效应;(ii)它减少了多重性效应;(iii)它不会“浪费”数据,同时进行选择和测试。渐近功率分析和仿真研究表明,该方法可以提供更高的功率相比,通常的多重检验方法,同时控制类型1的错误率。最佳选择阈值也来自基于我们的渐近分析。
2017-03-18 math.ST stat.ME stat.TH
New testing procedures for Structural Equation Modeling
我们介绍和评估一类新的假设检验程序的时刻结构。该方法在弱假设下是有效的,包括著名的Satorra-Bentler平差作为特例。建议的程序也适用于嵌套模型之间的差异检验。我们证明了我们方法的一致性。我们引入了一个自举选择机制,为给定的样本最佳地选择一个p值近似。此外,我们提出了自举程序评估的渐近稳健性(AR)的正常理论的最大似然检验,并为关键假设的Satorra-Bentler调整(Satorra-Bentler一致性)。模拟研究表明,我们的新的p值近似执行良好,即使在严重的非正态性和现实的样本量,但我们的测试AR和Satorra-Bentler一致性需要非常大的样本量工作良好。
2016-10-07 math.ST stat.TH
Minimax Goodness-of-Fit Testing in Ill-Posed Inverse Problems with Partially Unknown Operators
我们考虑一个高斯序列模型,其中包含不适定的反问题作为特殊情况。我们假设相关算子的奇异函数是已知的,相应的奇异值是未知的,但与高斯噪声的意义上是部分未知的。对于所考虑的模型,我们研究了极大极小拟合优度检验问题。在平方可和实数序列空间中的某些椭球上,去掉一个正半径的球,我们得到了非渐近框架中极大极小分离半径的上界,即,对于所涉及的噪声水平的固定值。温和和严重不适定的反问题的例子与椭球的普通光滑和超光滑序列的详细检查和极小极大率的拟合优度测试得到说明的目的。
2015-06-19 math.ST stat.TH
Two-Stage Testing in a high dimensional setting
针对高维回归下二阶交互作用逐一检验计算不可行、多重检验校正代价高的问题,提出含筛选与评估阶段的两阶段检验法,利用两阶段统计量渐近独立性提升功效、降低计算量,模拟验证其能控制一类错误且功效更优。
2024-06-25 math.ST stat.ME stat.TH
Confounder Adjustment in Multiple Hypothesis Testing
我们考虑同时进行数千个显著性检验的大规模研究。在其中一些研究中,潜在的混杂因素(例如批次效应和与感兴趣的主要变量(例如治疗变量、表型)和结果相关的未测量协变量)可能会导致多重检验程序出现严重偏差。在过去的十年中,许多统计方法被提出来调整假设检验中的混杂因素。我们统一这些方法在同一个框架,推广到包括多个主变量和多个讨厌的变量,并分析其统计特性。特别是,我们提供了理论保证RUV-4和LEAPP,这对应于两个不同的识别条件的框架:第一个需要一组“阴性对照”,是已知的先验遵循空分布;第二个需要真正的非空值是稀疏的。两种不同的估计,这是基于RUV-4和LEAPP,然后应用到这两种情况。我们表明,如果混杂因素是强大的,由此产生的估计可以渐近强大的预言估计,观察潜在的混杂因素。对于假设检验,我们证明了基于估计量的渐近z检验可以控制第一类错误。数值实验表明,当样本量较大时,错误发现率也受Benjamini-Hochberg过程的控制。
2016-06-20 math.ST stat.ME stat.TH
Trends in the extremes of environments associated with severe US thunderstorms
强烈的雷暴会造成毁灭性的影响。对流有效位能(CAPE)和风暴相对螺旋度(SRH)的高值同时被认为是有利于恶劣天气的,因此PROD= $\sqrt{\mathrm{CAPE}} \times$ SRH的高值被用来指示严重雷暴的高风险。我们认为这三个变量的极值为大面积的美国连续在1979年至2015年期间,并使用极值理论和多重检验程序,以表明有一个显着的时间趋势,极端的PROD最大值在4月,5月和8月,CAPE最大值在4月,5月和6月,SRH最大值在4月和5月。这些观察到的CAPE的增加也与极端降雨有关,预计在气候变暖的情况下,但以前没有报道过。此外,我们表明,厄尔尼诺-南方涛动解释了2月份PROD和SRH极端的变化。我们的研究结果表明,4月和5月严重雷暴的风险在美国已经很高的部分地区正在增加,而在拉尼娜年期间,2月风暴的风险在该地区的主要部分往往更高。我们的研究结果不同于那些在早期的研究中使用极值技术来分析类似于PROD的数量。
2019-10-30 stat.AP
Conformalized Multiple Testing under Unknown Null Distribution with Symmetric Errors
针对大规模多重检验中理论零分布偏差影响FDR分析的问题,提出采用自校准经验零样本的共形化经验贝叶斯方法,仅需误差对称弱条件即可实现有限样本FDR控制,兼具更高检验功效与最优性理论支撑。
2025-09-04 math.ST stat.ME stat.TH
Integrated conditional moment test and beyond: when the number of covariates is divergent
经典的综合条件矩检验是检验回归模型误设定的一种很有前途的方法。然而,它严重地受到维度灾难的影响。为了将其推广到协变量个数不同的多指标参数模型的检验问题,本文研究了推断中的三个问题。首先,我们研究了非线性模型中参数矩阵的最小二乘估计的相合性和渐近线性表示。其次,我们提出,通过充分的降维技术,自适应模型版本的综合条件矩检验。研究了新检验在原假设和备择假设下的渐近性质,考察了新检验在假设检验中保持显着性水平的能力,以及对全局和局部备择假设的灵敏度.第三,我们得到了新的测试在发散维设置的自助近似的一致性。数值研究表明,新的测试可以很大程度上提高了原来的ICM测试在高维场景的性能。我们还将测试应用到一个真实的数据集进行说明。
2020-05-24 math.ST stat.ME stat.TH
Stress Testing German Industry Sectors: Results from a Vine Copula Based Quantile Regression
衡量一个经济体中不同行业部门的违约概率(PD)之间的相互依赖性在金融压力测试中起着至关重要的作用。因此,可以采用回归方法来模拟压力行业部门作为协变量对其他响应部门的影响。我们确定藤copula为基础的分位数回归作为一个合格的工具进行这种压力测试,因为这种方法具有良好的鲁棒性,考虑到潜在的非线性条件分位数函数,并确保没有分位数交叉效应发生。我们通过一组德国经济部门特定PD的数据来说明其表现。经验结果提供了一个粗略的和细粒度的行业部门分类计划。除其他外,我们确认,压力汽车行业对德国经济作为一个整体在不同的分位数水平,而例如,对于一个压力很大的金融部门来说,影响相当温和。此外,葡萄藤copula为基础的分位数回归方法的基准对经典的线性分位数回归和预期回归,以说明其方法的有效性,在评估的情况下。
2017-04-12 stat.AP
Searching for significant patterns in stratified data
ETH Zürich(苏黎世联邦理工学院)
重要模式挖掘,即发现在一类对象中显著丰富的项集的问题,在统计上是具有挑战性的,因为候选模式的大空间导致巨大的多重检验问题。最近,可测试性的概念被提出作为一种方法来纠正模式挖掘中的多重检验,同时保留统计功效。尽管如此,这些基于可测试性的策略不允许对观察到的协变量进行显著性检验,这严重限制了其在生物医学应用中的实用性。在这里,我们提出了一个策略和一个有效的算法来进行显着的模式挖掘的分类协变量与K状态的存在。
2015-08-24 cs.LG stat.ML
A Regret Perspective on Online Multiple Testing
Southern University of Science and Technology(南方科技大学)
本文从懊悔视角统一评估在线多重检验,提出加权懊悔概念,设计Decoupled-OMT算法,有效缓解阈值耗尽问题,实现非平稳环境下的最优懊悔减少。
2026-05-13 cs.AI cs.LG stat.ML
Network Global Testing by Counting Graphlets
考虑一个可能具有严重程度异质性和混合成员的大型社交网络。我们有兴趣测试网络是否只有一个社区或有一个以上的社区。这个问题被认为是不平凡的,部分原因是存在严重的程度异质性。我们使用短路径和短循环的数量构建了一类检验统计量,我们方法的关键是消除程度异质性影响的通用框架。这些测试与现有的方法相比毫不逊色。我们支持我们的方法与仔细的分析和数值模拟数据和真实数据的例子研究。
2018-07-23 stat.ME
Efficient Robust Constrained Signal Detection via Kolmogorov Width Approximations
Department of Statistics and Data Science Northwestern University(西北大学统计与数据科学系)
本文研究了在强ε污染下高斯序列模型中最小最大信号检测问题,提出了一种多项式时间测试框架,适用于平衡、类型2和精确2凸约束,通过半定规划松弛和改进的椭球方法实现高效近似科莫戈罗夫宽度。
2026-05-11 math.ST stat.CO stat.TH
From Imbalance to Evidence: Deep Nonparametric Testing for Complex Data under Severe Sample Imbalance
University of Notre Dame(圣母大学)
针对严重样本不平衡下复杂数据的分布比较问题,提出EIAD-C2ST框架,将样本不平衡转化为检验证据来源,通过理论保证和实证验证实现了更有效的分布比较。
2026-10-12 cs.LG stat.ME stat.ML
Testing Normality of Data Transformed by Maximum Likelihood Box Cox
本研究扩展了Box-Cox变换后正态性检验的偏差分析,涵盖Shapiro-Wilk统计量和双参数变换,并提出重新校准方法以纠正偏差,应用于生物标志物参考范围和环境标准设定。
2024-09-19 stat.ME
Powerful Significance Testing for Unbalanced Clusters
针对传统SigClust在不平衡簇场景下检验效力不足的问题,提出一种基于k-means聚类新颖推广的显著性检验方法,在平衡与不平衡场景下均有效,并用肾癌基因表达数据集验证了价值。
2023-08-24 stat.ME
Inferring Treatment Effects After Testing Instrument Strength in Linear Models
IV研究中的常见做法是检查仪器强度,即其与治疗的相关性,使用回归的F检验。如果F统计量高于某个阈值(通常为10),则认为该仪器满足三个核心IV假设之一,并用于检验处理效应。然而,在许多情况下,对处理效应的推断没有考虑到先验进行的强度测试。在本文中,我们表明,不考虑这种预检验会严重扭曲分布的检验统计量,并提出了一种方法来纠正这种扭曲,产生有效的推断。在我们的方法中,一个关键的见解是将F-检验作为一个随机凸优化问题,并利用最近的方法进行选择性推理。我们证明,我们的方法提供了条件和边际第一类错误控制。我们还将我们的方法扩展到弱仪器设置。最后,我们重新分析了教育对收入的影响的研究,我们表明,不考虑预测试可以大大改变原来的结论教育的影响。
2020-03-14 stat.ME
Testing instantaneous causality in presence of non constant unconditional variance
研究了具有时变无条件方差的变量间瞬时因果关系的检验问题。结果表明,在我们的非标准框架中,必须避免基于平稳过程假设的经典检验。更确切地说,我们强调,标准测试不控制第一类错误,而测试与白色(1980年)和异方差自相关一致(HAC)校正可以遭受从一个严重的损失的权力时,方差不是常数。因此,提出了一种基于自举过程的改进测试。修改后的测试的相关性强调通过模拟研究。本文考虑的测试也比较通过调查美国宏观经济变量之间的瞬时因果关系。
2014-04-11 stat.AP stat.ME
Overidentification testing with weak instruments and heteroskedasticity
本文比较弱工具变量与异方差下KP秩检验与J检验,证明KP更优,并应用于EIS估计,指出J过度拒绝导致估计差异,推荐使用KP检验。
2025-09-25 econ.EM stat.ME
Optimal Adaptivity of Signed-Polygon Statistics for Network Testing
给定一个对称的社交网络,我们有兴趣测试它是只有一个社区还是多个社区。所需的测试应该(a)适应严重的程度异质性,(b)适应混合成员,(c)有一个易处理的空分布,(d)自动适应不同水平的稀疏性,并实现最佳相图。如何找到这样的测试是一个具有挑战性的问题。我们提出了一个新的测试类的签署多边形。固定$m \geq 3$,对于网络中的每个$m$边形,使用中心邻接矩阵定义分数。这些分数的总和就是$m$阶有符号多边形统计量。符号三角形(SgnT)和符号四边形(SgnQ)是符号多边形的特殊例子。我们证明了SgnT和SgnQ测试都满足(a)-(d),特别是,它们对于非常稀疏和不太稀疏的网络都很有效。我们提出的测试与现有的测试相比,毫不逊色。例如,EZ和GC测试在稀疏度较低的情况下表现得不令人满意,并且没有实现最佳相图。此外,许多现有的测试不允许严重的异质性或混合成员,它们在我们的设置中表现得不令人满意。对SgnT和SgnQ测试的分析是微妙的,并且非常繁琐,主要原因是我们需要一个统一的证明,该证明涵盖了广泛的稀疏性水平和广泛的度异质性。对于下界理论,我们使用一个相变框架,其中包括标准的极大极小参数,但更翔实。证明使用了关于矩阵缩放的经典定理。
2019-05-21 math.ST stat.ME stat.TH
Optimal Adversarial Testing: Extracting Honest Test Results from Dishonest Test Takers
本文针对测试结果被作弊者污染的问题,提出采用动态规划确定的最优测试策略,通过重测选定组并使用不同安全措施,以恢复诚实测试结果。
2026-08-31 cs.AI cs.CR cs.GT
More Powerful Multiple Testing in Randomized Experiments with Non-Compliance
在随机实验分析中提出的两个常见问题是(i)适当处理不合规问题,以及(ii)适当调整多个测试(例如,多个结果或亚组)。虽然简单意向治疗(ITT)和Bonferroni方法在第一类错误方面是有效的,但它们都可能导致功效的大幅损失;当同时使用这两种方法时,总损失可能是严重的。存在解决每个问题的替代方案。在这里,我们提出了一种分析方法的实验,涉及这两个功能,合并后的预测$p$ -值与随机化为基础的多重比较调整复杂的因果效应,结果是有效的familywise测试,是双重有利的:更强大的比那些基于标准的ITT统计和那些使用传统的多重比较调整。我们的方法的操作特性和优势,证明通过一系列的模拟实验和分析的美国就业培训合作法案(JTPA)的研究,我们的方法导致不同的结论,估计JTPA的影响的意义。
2016-05-24 stat.AP stat.ME
Heavy Tails and Predictive Ability Testing
University of Copenhagen(哥本哈根大学);University of Osaka(大阪大学);Danish Finance Institute(丹麦金融研究所)
本文研究了在预测误差具有厚尾时广泛使用的预测准确性评估和比较检验的渐近行为,发现当损失差异具有无限方差时,Diebold-Mariano检验统计量收敛于非标准极限,涉及非高斯稳定随机变量,传统临界值可能导致严重失真推断。为此,作者开发了新的稳定极限定理,并基于此理论提出了一种子采样推断方法,该方法在尾部厚重时仍有效且无需估计长期方差或尾部指数。对新兴市场汇率风险预测的应用表明,考虑厚尾可显著改变预测性能的结论。
2026-06-07 econ.EM stat.ME
Valid Heteroskedasticity Robust Testing
本文针对异方差稳健检验中常规临界值导致水平扭曲的问题,提出使用最小尺寸控制临界值,证明其存在性并给出可检验条件,同时提供数值求解算法和软件实现,以兼顾检验有效性与功效。
2023-07-07 econ.EM math.ST stat.CO