Adaptive Testing for High-dimensional Data
针对高维数据的全局检验问题,提出了一类基于$L_q$ -范数的U-统计量.这包括均值向量及其空间符号的检验、线性模型系数的同时检验以及高维观测值的分量独立性检验等。在原假设下,我们在温和的矩和累积量条件下,得到了几个$q$的基于$L_q$ -范数的U-统计量之间的渐近正态性和独立性.一个简单的组合,两个学生化的$L_q$为基础的检验统计量,通过其$p$值的建议,并实现对不同稀疏性的替代品的巨大权力。我们的工作是He et al.(2021)的实质性扩展,主要集中在均值和协方差检验上,并且我们设法为广泛的一类内核提供了基于$L_q$ -范数的U-统计量的渐近独立性的一般处理。为了减轻计算负担,我们通过在求和中使用单调指数来引入所提出的U-统计量的变体,从而得到具有非对称核的U-统计量。引入了一种动态规划方法,以减少计算成本从$O(n^{qr})$,这是需要计算的完整的U-统计量,$O(n^r)$,其中$r$是核的顺序。数值研究进一步证实了所提出的自适应测试相比,一些现有的竞争对手的优势。
2023-03-14 math.ST stat.ME stat.TH
A strong law of large numbers related to multiple testing Normal means
在相依条件下评估多重检验程序的稳定性是重要的,但也是非常具有挑战性的。即使是多重检验,其中一组正常的随机变量的平均值为零,我们称之为“正常的意思是问题”,到目前为止,缺乏一个分类的依赖类型下,强大数律(SLLN)保持拒绝和假拒绝的数量。我们引入了“主相关结构(PCS)”的概念,它表征了这种SLLN的依赖类型,并建立了法律。此外,我们表明,PCS确保SLLN的假发现比例时,总是有一个积极的零正常的手段。我们还研究了正态均值问题的两个条件多重检验程序的稳定性,并证明了当导致PCS的正态随机变量的协方差阵的分解在一定意义下是齐次时,相关的SLLN成立。我们的研究结果还提供了一个正式的方法来检查,如果“弱依赖”的假设,一个广泛使用的假设在多重测试文献中,持有的正常手段的问题。作为副产品,我们建立了Hermite多项式的一个泛界和检验二元正态随机向量的边际均值的两个p值的指示函数的协方差和向量的两个分量之间的相关性的一个泛比较结果。这些都是他们自己的利益。
2019-10-30 math.ST stat.TH
Asymptotically Optimal Sequential Multiple Testing Procedures for Correlated Normal
本研究针对现有多重检验未覆盖相关数据流序贯框架的空白,在等相关高斯序贯均值检验场景下提出序贯检验程序,证明其在错误概率趋近于0时渐近达到最优期望样本量,且调整临界值后对多种多重检验错误度量均具渐近最优性。
2025-03-20 math.ST stat.ME stat.TH
Inference for Change Points in High Dimensional Data via Self-Normalization
本文考虑高维数据序列的变点检验和估计。在高维独立数据均值漂移检验的情况下,我们提出了一种新的检验方法,该方法基于Chen和Qin(2010)中的$U$ -统计量,并利用自归一化原理[Shao(2010),Shao和Zhang(2010)]。我们的测试目标是高维环境中的密集替代品,并且不涉及调整参数。为了扩展到高维时间序列的变点检验,我们引入了一个修剪参数,并制定了一个自归一化的检验统计量修剪,以适应弱的时间依赖性。在理论方面,我们推导了高维独立和相依数据的自归一化检验统计量在零值和替代值下的极限分布。在我们的渐近理论的核心,我们得到了一个顺序U-统计量为基础的过程的高维独立数据的弱收敛,和顺序修剪U-统计量为基础的过程的高维线性过程的弱收敛,这两个是独立的利益。此外,我们说明了我们的测试如何与野生二进制分割相结合,以估计多个变化点的数量和位置。数值模拟证明了我们提出的测试和估计程序与文献中的几种现有方法相比的竞争力。
2021-08-08 math.ST stat.ME stat.TH
Sparse Graphical Modelling via the Sorted L$_1$-Norm
稀疏图建模在各个学术领域都得到了广泛的关注。我们提出了两种新的图形模型方法,Gslope和Tslope,通过惩罚其排序L1范数,并分别依赖于高斯和T-student数据,提供精度矩阵的稀疏估计。我们提供的调谐参数的选择,可证明控制的概率,包括不相交的图形组件之间的错误边缘和经验控制块对角协方差阵的错误发现率。在广泛的模拟和现实世界的分析,新方法相比,其他国家的最先进的稀疏图形建模方法。研究结果表明,Gslope和Tslope是稀疏网络估计的两个新的有效工具,在处理高斯,t-student和混合数据时。
2023-03-31 stat.ME
Testing for nodal dependence in relational data matrices
关系数据通常表示为方阵,其条目记录了对象对之间的关系。许多分析这些数据的统计方法都假设对象之间在相互关联的方式上存在某种程度的相似性或依赖性。然而,这种依赖性的正式测试尚未开发。我们提供了一个测试这种依赖性使用的框架下的矩阵正态模型,一种类型的多元正态分布参数化的行和列特定的协方差阵。我们发展了一个似然比检验(LRT)的行和列依赖的基础上观察一个单一的关系数据矩阵。我们得到的LRT统计量的参考分布,从而提供了一个确切的测试在一个正方形的关系数据矩阵的行或列的相关性的存在。此外,我们提供了扩展的测试,以适应这些数据的共同特点,如未定义的对角线条目,非零均值,多个观察,并偏离正态性。
2013-06-24 math.ST stat.ME stat.TH
Directional testing for high-dimensional multivariate normal distributions
由于其良好的性质,多元正态分布仍然被广泛用于各种科学领域的现象建模。然而,当分量数$p$与样本量$n$具有相同的渐近阶时,标准推理技术通常不足以对均值向量和/或协方差阵进行假设检验。在几个突出的框架内,我们建议通过方向性测试得出可靠的结论。我们表明,在原假设的方向$p$值是完全均匀分布的,即使当$p$是相同的顺序的$n$,提供了正常模型的最大似然估计的存在条件得到满足。大量的仿真结果证实了理论研究结果在不同的值的$p/n$,并表明,在原假设的方向测试优于不仅是通常的第一和高阶有限$p$的解决方案,但也可供选择的方法为高维设置。仿真结果还表明,不同的测试的功率性能取决于特定的备择假设。
2022-11-16 math.ST stat.TH
Testing equivalence of multinomial distributions -- a constrained bootstrap approach
本文提出一种约束自助法检验,用于判断两个多项分布是否等价,不要求范数可微,适用于最大范数和$L^1$-范数。
2023-05-15 math.ST stat.TH
A hypothesis-testing perspective on the G-normal distribution theory
G-正态分布是Peng [2007]在次线性期望空间的中心极限定理中引入的极限分布。等价地,它可以被解释为一个随机控制问题的解决方案,其中我们有一个随机变量序列,其方差可以根据所有过去的信息来选择。本文通过分析一个非线性热方程,研究了G-正态分布的尾部行为。渐近的结果,使尾部的“概率”可以很容易地评估高精度。这项研究也有显着的异方差数据的假设检验理论的影响,我们表明,即使数据是在原假设下产生的,它是可能的欺骗,并通过顺序操纵观测的误差方差达到统计显著性。
2019-09-08 math.PR math.ST stat.TH
A New Step-down Procedure for Simultaneous Hypothesis Testing Under Dependence
本文考虑了当单个检验统计量不一定独立时的假设的同时检验问题。具体地说,我们考虑的问题,同时测试点零假设对双边的替代品的平均参数的正态分布随机变量。我们假设有条件地给定均值向量,这些随机变量共同遵循具有已知但任意的协方差阵的多元正态分布。我们考虑一个贝叶斯框架,其中每个未知的平均参数是通过两个组件的“尖峰和平板”混合先验建模。这样,无条件地,检验统计量共同具有多元正态分布的混合。利用检验统计量之间的相关性,提出了一种新的检验方法。这个过程足够通用,可以应用于非正态数据。一个决策理论的理由,有利于所提出的测试程序已被证明,不像许多传统的p值为基础的逐步程序,这种新方法具有一定的“凸属性”,这使得它允许相对于一个向量风险函数,捕捉风险的个人测试问题。提出的检验统计量的另一种表示也已建立,从而大大简化了计算复杂性。它表明,通过广泛的模拟,对于各种形式的依赖和广泛的稀疏性水平,所提出的测试程序相比,相当有利的几个现有的多个测试程序在文献中提供的整体误分类概率。
2018-07-15 math.ST stat.TH
Simultaneous high-probability bounds on the false discovery proportion in structured, regression, and online settings
虽然传统的多重测试程序禁止用户做出自适应分析选择,但Goeman和Solari(2011)提出了一种同时推理框架,该框架允许用户在保持所选集合的错误发现比例(FDP)的高概率界限的同时具有这种灵活性。在本文中,我们提出了一类新的同时FDP界,专为嵌套序列的拒绝集。虽然大多数现有的同时FDP界限是基于封闭测试,使用全局空测试的基础上排序的p值,我们还考虑设置边信息可以利用提高功率,变量选择设置,其中敲除统计可以用来订购变量,以及在线设置,其中必须作出拒绝的决定,因为数据到达。我们的有限样本,封闭形式的界限是基于重新利用的FDP估计错误发现率(FDR)控制程序设计的上述设置。这些结果建立了一个新的连接之间的并行文献的同时FDP界和FDR控制方法,并使用证明技术,采用鞅和过滤,这是新的这些文献。我们证明了我们的研究结果的效用,通过增加最近的仿制品分析英国生物银行数据集。
2019-12-01 math.ST stat.TH
Testing Functional Inequalities
该研究针对非参数回归函数的不等式约束构建检验,采用核估计的单边$L_p$型泛函作为统计量,通过泊松化方法证明其渐近分布自由、正态近似有效,且检验具有正确渐近水平、相合性与非平凡局部势,并补充了蒙特卡洛模拟结果。
2012-09-01 math.ST stat.ME stat.TH
Asymptotically optimal test for dependent multiple testing set up
本文研究了多重假设检验的相关检验统计量的性质。为了简单起见,我们考虑了一个具有等相关的混合正态模型。通过简单的线性变换,将检验统计量分解为独立分量,当适当调节时,独立分量生成自变量。这些被用来构建条件检验,这被证明是渐近最优的功率一样大,使用N.P.Lemma。我们进行了广泛的模拟来支持这一说法。
2020-01-07 math.ST stat.ME stat.TH
Rank-adaptive covariance testing with applications to genomics and neuroimaging
University of Toronto(多伦多大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文提出Rank-Adaptive Covariance Testing方法,通过利用两组协方差矩阵的低秩结构差异提升检验效能,适用于基因表达网络和扩散张量成像数据的协方差异质性检验。
2025-07-23 math.ST stat.AP stat.ME
On Asymptotic Behaviors of Stepwise Multiple Testing Procedures
逐步多重检验程序几十年来吸引了许多统计学家,由于其技术简单,也很受统计用户的欢迎。Bonferroni程序是最早和最突出的控制族差错率(FWER)的测试规则之一。最近的一篇文章建立了Bonferroni方法的FWER渐近(即,当假设的数量变得任意大时)在任何正等相关的多元正态框架下接近于零。然而,类似的结果FWER的一般逐步程序的极限行为是不存在的。目前的工作解决了这个差距,在一个统一的方式,通过研究相关的正常设置的几个逐步测试规则的FWER的限制行为。具体来说,我们表明,限制FWER接近零的任何降压规则(例如,Holm方法),前提是相关性的下确界是严格正的。我们还建立了类似的限制零结果对FWER的其他流行的多重测试规则,例如,Hochberg和Hommel手术。然后,我们将这些结果扩展到真和假零假设的任何配置。结果表明,在我们选择的渐近框架内,Benjamini-Hochberg方法可以在等相关正态性下渐近地将FWER保持在严格正的水平。最后,我们讨论各种程序的限制权力。
2023-02-18 math.ST stat.TH
On Controlling the False Discovery Rate in Multiple Testing of the Means of Correlated Normals Against Two-Sided Alternatives
本文针对相关正态均值双侧多重检验中 BH 方法能否无条件控制 FDR 的开放猜想,在协方差矩阵已知或为已知矩阵未知标量倍数的两种情形下,证明了基于加权 z 或 t 统计量的 BH 型逐步上升方法能够控制 FDR。
2023-04-11 math.ST stat.TH
Distribution-free Multiple Testing
我们研究了一个程式化的多重检验问题,其中检验统计量是独立的,并假设在各自的零假设下具有相同的分布。我们首先证明,在正态均值模型中,检验统计量是正态Z分数,著名的方法(Benjamini和Hochberg,1995)是最佳的在某种渐近意义上。然后,我们证明了这也是Foygel-Barber和Candès(2015)最近提出的一种无分布方法的情况。该方法是无分布的,因为它对零分布是不可知的-它只要求零分布是对称的。我们将这些最优性结果扩展到其他位置模型,其基础分布具有快速衰减的尾部。
2016-04-26 math.ST stat.TH
Testing for latent structure via the Wilcoxon--Wigner random matrix of normalized rank statistics
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出基于Wilcoxon-Wigner随机矩阵的统计检验方法,用于大规模数据中潜在结构的检测,具有计算高效和鲁棒性强的特点。
2025-12-21 math.PR math.ST stat.ME
Asymptotically Independent U-Statistics in High-Dimensional Testing
许多高维假设检验的目标是全局地检验高维联合分布的边缘或低维特征,例如均值向量、协方差阵和回归系数的检验。本文构造了一个U-统计量族作为这些特征的$\ell_p$ -范数的无偏估计。证明了在原假设下,不同有穷级的U-统计量是渐近独立的,且服从正态分布。而且它们与极限分布为极值分布的最大型检验统计量也是渐近独立的。基于渐近独立性的性质,我们提出了一个自适应的测试过程,结合$p$值计算的U-统计量的不同的订单。我们进一步建立功率分析结果表明,所提出的自适应程序保持高功率对各种替代品。
2020-02-01 math.ST stat.TH
Note on Mean Vector Testing for High-Dimensional Dependent Observations
对于高维的均值向量检验,Ayyala et al. (2017,153:136-155)提出了一种新的检验统计量.在一定条件下,单样本和双样本情形的检验统计量均渐近正态。虽然检验统计量和渐近结果是有效的,但渐近正态性的某些证明部分需要修正。在这项工作中,我们提供的主要定理的证明更正。我们还注意到出版物中计算的一些微小差异。
2019-04-19 math.ST stat.TH
Testing Heteroskedasticity in High-Dimensional Linear Regression
提出了一种新的高维线性回归异方差检验方法,其中协变量个数可以大于样本量。我们的测试程序是基于Lasso的残差。我们证明了我们的检验统计量具有渐近正态性下的原假设的同性。仿真结果表明,该方法可以获得准确的经验大小和功率。我们还介绍了实际经济数据应用的结果。
2022-10-31 math.ST stat.TH
Multistage Hypothesis Tests for the Mean of a Normal Distribution
在本文中,我们开发了新的多级测试,保证规定的权力水平,比以前的测试更有效的平均抽样数和抽样操作的数量。在不截断的情况下,我们的检验方案的最大抽样数是绝对有界的。基于几何参数,我们推导出了操作特征函数的非常紧的界限。为了降低相关积分的计算复杂性,我们提出了自适应扫描算法,该算法不仅适用于当前的假设检验问题,而且适用于其他问题领域。
2011-06-12 math.PR math.ST stat.ME
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
提出了一种权值相似性度量方法,可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性,我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值,该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法,研究了多层感知器(MLP)、卷积神经网络(CNN)和递归神经网络(RNN)的权值相似性度量,发现用随机梯度下降(SGD)算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Evidential Analysis: An Alternative to Hypothesis Testing in Normal Linear Models
本文提出用证据分析替代统计假设检验,以改善其缺陷,并应用于固定效应正态线性模型,通过双向方差分析实例展示其优势。
2024-08-21 stat.ME
The Broad Optimality of Profile Maximum Likelihood
University of California, San Diego(加州大学圣地亚哥分校)
我们研究了三个基本的学习问题:分布估计,属性估计和属性测试。我们建立的配置文件极大似然(PML)估计作为第一个统一的样本最优的方法,广泛的学习任务。具体地,对于每个字母表大小$k$和期望的精度$\varepsilon$:$\textbf{Distribution estimation}$在$\ell_1$距离下,PML产生用于排序分布估计的最佳$Θ(k/(\varepsilon^2\log k))$样本复杂度,并且基于PML的估计器在实际分布上经验上优于Good-Turing估计器; $\textbf{Additive property estimation}$对于大类的加性性质,PML插件估计器仅使用最佳估计器所需的四倍样本量,以实现大约两倍的误差,具有指数级更高的置信度; $\boldsymbolα\textbf{-Rényi entropy estimation}$对于整数$α>1$,PML插入估计器具有最佳的$k^{1-1/α}$样本复杂度;对于非整数$α>3/4$,PML插入估计器具有低于现有技术的样本复杂度; $\textbf{Identity testing}$在测试未知分布是否等于或至少$\varepsilon$远离给定分布的$\ell_1$距离时,基于PML的测试器实现最佳样本复杂度,直到$k$的对数因子。大多数这些结果也持有近线性时间可计算的PML的变种。更强的…
2019-07-11 cs.LG math.ST stat.ML
Optimal testing of equivalence hypotheses
在本文中,我们考虑建设的最佳测试的等价假设。具体地,假设X_1,...,X_n是i.i.d.分布P_θ,θ \in R^k。设g(θ)是某个感兴趣的实值参数。原假设断言g(θ)\notin(a,b)与备选g(θ)\in(a,b)。例如,这种假设出现在生物等效性研究中,人们可能希望表明两种药物,一种品牌名称和一种拟议的仿制药,具有相同的治疗效果。小的最优理论是这样的测试问题,这是本文的目的是提供一个渐近最优理论。因此,我们提供了什么是可实现的渐近上界,以及渐近一致最大功效检验建设,达到的界限。渐近理论是基于勒卡姆的概念渐近正常的实验。为了用极限正态问题逼近一般问题,得到了检验多元正态均值均值的UMP等价性检验。
2005-07-21 math.ST stat.TH
Testing additivity in nonparametric regression under random censorship
本文研究了右删失数据下多元回归函数的非参数估计。更确切地说,我们提出了一个统计量,被证明是渐近正态分布下的添加剂的假设,并可以用来测试在删失回归设置的可加性。
2008-02-07 math.ST stat.TH
Limit theorem associated with Wishart matrices with application to hypothesis testing for common principal components
本文导出了当Wishart分布的自由度和矩阵参数的大小不同时Wishart分布的一个新性质。特别地,在高维渐近条件下证明了四个独立Wishart矩阵乘积的渐近正态性.作为结果的应用,提出了一个公共主成分假设的统计检验方法。对于这个问题,所提出的检验统计量在原假设下是渐近正态的。此外,在备择假设下,提出的检验统计量在概率上发散到正无穷大。
2020-07-19 math.ST stat.TH
On the asymptotic properties of SLOPE
SLOPE(SortedL-OnePenalizedEstimate)是一种较新的凸优化方法,用于在大规模数据库中选择预测变量。与LASSO相反,在稀疏高维广义线性模型的背景下,SLOPE已被证明是渐近极小极大的。此外,在设计矩阵正交的情况下,具有调节参数序列$λ^{BH}$(对应于Benjamini-Hochberg多重检验校正的衰减阈值序列)的SLOPE可证明控制多重回归模型中的错误发现率。本文给出了当设计矩阵的元素是来自高斯分布的独立随机变量时,SLOPE性质的新的渐近结果。具体地说,我们提供的条件下,渐近FDR的SLOPE的序列$λ^{BH}$的基础上收敛到零,功率收敛到1。我们通过广泛的模拟研究来说明我们的理论渐近结果。我们还提供了精确的公式描述FDR的SLOPE在不同的损失函数,这为未来的结果的模型选择性能的SLOPE及其扩展。
2020-05-08 math.ST stat.TH
Testing for exponentiality for stationary associated random variables
本文研究了当样本由平稳相关随机变量组成时,单变量正老化指数的检验问题。特别地,我们讨论了Deshpande(1983),Hollander and Proschan(1972)和Ahmad(1992)分别在关联条件下对IFRA,NBU和DMRL的指数性检验的渐近行为。模拟研究说明了依赖的检验统计量的渐近正态性和检验的大小和功率的影响。
2018-09-04 math.ST stat.TH
Consistent estimation of the proportion of false nulls and FDR for adaptive multiple testing Normal means under weak dependence
我们考虑许多相依正态随机变量的多重检验均值,这些随机变量不一定服从联合正态分布。在弱相依下,证明了Lebesgue-Stieltjes方程解的比例估计的一致相合性,并通过弱相依指数刻画了这些估计的稀疏比例的一致估计.另一方面,在主相关结构和采用一个合适的定义的p值复合零假设,我们表明,三个关键的经验过程引起的一个单步多重检验程序(MTP)满足强大数定律测试的三种类型的零。此外,在此结构下,并分别为测试一个点空和一个片面的空,我们构造了一个自适应单步MTP,采用比例估计前面提到的,并证明了该过程的错误发现比例满足弱大数定律,因此一致估计的错误发现率的过程。此外,我们报告了一些调查结果的估计金和Meinshausen和水稻的比例的假空值的关键和非常稀疏的制度下弱依赖和模型误设定,分别。
2022-05-05 stat.ME
Large-Scale Multiple Hypothesis Testing with the Normal-Beta Prime Prior
我们重新审视的问题,同时测试的手段,$n$独立的正常观测稀疏。我们采取贝叶斯方法来解决这个问题,通过引入一个规模混合先验称为正常β素数(NBP)先验。当将贝塔素密度用作贝叶斯分层模型中的尺度参数时,我们首先推导出新的浓度性质。为了检测数据中的信号,我们提出了一种基于NBP先验下的后验收缩权重阈值的假设检验。以损失函数的预期数量的误分类测试,我们表明,我们的测试过程渐近达到最佳贝叶斯风险时,信号的比例$p$是已知的。当$p$是未知的,我们引入了一个经验贝叶斯变量的测试,也渐近达到贝叶斯甲骨文的风险在整个范围内的稀疏参数$p \propto n^{-ε}, ε\in (0, 1)$。最后,我们还考虑了限制性边际极大似然(REML)和层次贝叶斯方法估计的NBP先验的关键超参数,并在这些框架下检查多重检验。
2019-04-30 stat.ME
Testing for residual correlation of any order in the autoregressive process
我们感兴趣的是在一个稳定的自回归过程中的线性自相关驱动噪声的影响,通常的最小二乘估计的渐近行为。我们表明,最小二乘估计是不一致的,我们建议一个尖锐的分析,其几乎必然的极限值以及它的渐近正态性。我们还建立了驱动噪声序列相关参数估计的几乎必然收敛性和渐近正态性。然后,我们推导出一个统计过程,使任何顺序的自回归模型的残差的相关性测试,给出明显优于常用的组合测试的Ljung-Box和Box-Pierce的结果,并出现优于小样本的Breusch-Godfrey程序。
2017-03-13 math.ST stat.TH
Asymptotic Properties of Bayes Risk of a General Class of Shrinkage Priors in Multiple Hypothesis Testing Under Sparsity
考虑独立正态观测均值的同时检验问题。在贝叶斯决策理论框架下,研究了一类单组收缩先验诱导的多重检验规则的渐近最优性,其中总损失为误分类假设的个数.我们假设数据为两组正态混合模型,并考虑Bogdan等人(2011)采用的渐近框架,他在多重检验的背景下引入了稀疏下渐近贝叶斯最优性的概念。一般类的一组先验研究是丰富的,包括,除其他外,家庭的三个参数β,广义双帕累托先验,特别是马蹄铁,正常指数伽玛和Strawderman-Berger先验。我们建立,在我们所选择的渐近框架内,研究中的多个测试规则渐近达到贝叶斯甲骨文的风险的乘法因子,与常数的风险接近的甲骨文风险的常数。这与Datta和Ghosh(2013)基于Carvalho等人(2009,2010)引入的马蹄估计量的多重检验规则获得的结果相似。我们进一步证明,在对底层稀疏参数的非常温和的假设下,基于van der Pas et al.(2014)提出的相应全局收缩参数的经验贝叶斯估计的诱导决策规则,在相同的乘法因子下渐近地获得最优贝叶斯风险。我们提供了一个统一的参数适用于一般类的先验研究。在此过程中,我们解决了Datta和Ghosh(2013)关于广义双重Pareto先验最优性的一个猜想。我们的工作还表明,Datta和Ghosh(2013)的结果可以进一步改进。
2015-06-10 math.ST stat.TH
Sub-Gaussian Error Bounds for Hypothesis Testing
我们从几何的角度来解释基于似然的测试函数,其中Kullback-Leibler(KL)散度被用来量化从一个分布到另一个分布的距离。这样的测试函数可以被看作是一个亚高斯随机变量,我们提出了一个原则性的方法来计算其相应的亚高斯范数。然后,二元假设检验的误差界可以得到的亚高斯范数和KL的分歧,这是更丰富的信息比Pinsker的界时,规定的显着性水平。对于$M$ -ary假设检验,我们还得到了一个误差界,这是互补的Fano不等式,当假设的数量或样本量不大时,信息量更大。
2021-01-01 cs.IT math.IT math.ST
Minimax rate of testing in sparse linear regression
研究了线性回归模型的参数为0的假设检验问题,该问题针对在l2-距离上与0分离的s-稀疏选择。本文证明了在p < n的Gauss线性回归模型中,非渐近Minimax检验率的形式为sqrt((s/n)log(1 + sqrt(p)/s)),其中p是参数的维数,n是样本量.我们还表明,这是极小极大率估计的l2-范数的回归参数。
2018-10-09 math.ST stat.TH
Testing equality between several populations covariance operators
在许多情况下,当处理多个总体时,假设协方差算子相等。一个重要的问题是在做出其他推论之前研究这个假设是否成立。在本文中,我们开发了一个测试比较几个功能数据样本的协方差算子。建议的测试是基于估计的协方差算子之间的差异的希尔伯特-施密特范数。特别地,当处理两个总体时,检验统计量只是两个协方差算子估计量之差的平方范数。得到了零值和局部替代下检验统计量的渐近性态。由于统计零渐近分布不允许容易地获得其分位数,考虑了一个bootstrap程序来计算临界值。小样本量的检验统计量的性能说明通过蒙特卡罗研究。
2016-11-18 math.ST stat.TH
Testing independence of functional variables by an Hilbert-Schmidt independence criterion estimator
我们提出了Hilbert-Schmidt独立准则的估计量,该估计量是通过对通常估计量进行适当修改而获得的。在独立性假设和备择假设下,得到了该估计量的渐近正态性。一个新的测试的独立性的随机变量值到度量空间,然后介绍了一个模拟研究,允许比较建议的测试,以现有的一个提供
2022-06-23 math.ST stat.TH
Testing approximate normality of an estimator using the estimated MSE and bias with an application to the shape parameter of the generalized Pareto distribution
通常,根据使用模拟研究估计的MSE和偏倚,在估计量之间进行选择并不容易。小样本的正态性和估计量的方差是正确的,并且易于使用单个样本计算,这提供了额外的优势,即可以在新样本中测试有关参数的假设。提出了一种检查正态性的程序,其中使用先前公布的MSE和偏倚进行正态性检验。通过将结果应用于广义帕累托分布的估计量,找到了标准普尔500指数的指数的置信区间。
2012-11-21 stat.AP
On Universality and Training in Binary Hypothesis Testing
经典的二进制假设检验问题的重新审视。我们注意到,当其中一个假设是复合的,有一个内在的困难,在定义一个最优性标准,是既有信息和合理的。对于简单正态定位问题的检验(即检验多变量高斯分布的均值),我们克服了以下困难。在这个问题中,参数之间存在一个自然的硬度顺序,因为对于不同的参数,错误概率曲线(当参数已知时)要么相同,要么一个支配另一个。因此,我们可以将极小极大性能定义为低于某个硬度水平的参数中的最差情况。幸运的是,存在一个通用的极大极小检验,在这个意义上,它同时对所有硬度水平都是极大极小的。在此准则下,我们还找到了最佳的测试与训练数据的复合假设检验。这个标准扩展到广泛的本地渐近正态模型类,在渐近意义上的近似的错误概率是添加剂。由于我们有渐近最优的测试复合假设检验和没有训练数据,我们量化了这些模型的普适性损失和训练数据的增益。
2021-03-25 cs.IT math.IT math.ST
Adaptative significance levels in normal mean hypothesis testing
Pereira和Stern(1999)提出了精确假设的完全贝叶斯显著性检验(FBST),作为贝叶斯替代方法,而不是基于p值的传统显著性检验。FBST使用支持原假设($H_0$)的证据,计算为最高后验密度区域的后验概率的补充,该后验密度区域与$H_0$定义的集合相切。实施《联邦调查法》的一个重要的实际问题是确定证据必须有多大才能决定是否予以驳回。在经典显著性检验中,最常用的拒绝假设的度量是p值。众所周知,p值随着样本量的增加而减小,因此通过设置单个显著性水平,通常会导致$H_0$拒绝。在FBST程序中,当样本量增加时,支持$H_0$的证据表现出与p值相同的行为。这表明定义FBST中$H_0$拒收的临界点应为样本量函数。在这项工作中,我们专注于双边正态均值假设检验的情况下,并提出了一种方法来找到一个截止值的证据在FBST通过最小化的线性组合的第一类错误概率和预期的第二类错误概率为给定的样本量。
2018-08-29 stat.ME
$t$-Testing the Waters: Empirically Validating Assumptions for Reliable A/B-Testing
Aampe
针对A/B测试中t检验的正态性假设,提出通过重复A/A测试并检验p值均匀性来实证验证假设,以识别I型错误膨胀场景,提高测试可靠性。
2025-02-24 cs.LG stat.ME
Hypothesis Testing for High-Dimensional Multinomials: A Selective Review
离散数据的统计分析一直是广泛的统计研究的主题,可以追溯到皮尔逊的工作。在这篇综述中,我们回顾了一些最近开发的方法来检验关于高维多项式的假设。传统的检验,如$χ^2$检验和似然比检验,在高维环境中的功效较差。这一领域的许多研究都集中在寻找具有渐近正态极限的检验和开发(严格)条件下的检验具有正态极限。我们认为,这种观点有一个显着的不足之处:它可以排除许多高维情况下,尽管有非正常的零分布,精心设计的测试可以有很高的权力。最后,我们说明,采取极大极小的角度来看,并考虑这种角度的改进,自然会导致强大的和实用的测试。
2017-12-17 cs.IT math.IT stat.ME
Testing the boundaries: Normalizing Flows for higher dimensional data sets
University of Genova(热那亚大学);INFN(意大利国家核物理研究所)
规范化流(NF)正在成为一类强大的生成模型,因为它们不仅允许有效的采样,而且还通过构造提供密度估计。它们在高能物理中有着巨大的应用潜力,因为在高能物理中,复杂的高维数据和概率分布是日常生活的一部分。然而,为了充分利用NF的潜力,随着数据维度的增加,探索其鲁棒性至关重要。因此,在这篇文章中,我们讨论了市场上最流行的一些类型的NF的性能,在一些玩具数据集与越来越多的维度。
2022-02-18 cs.LG hep-ph stat.ML
Hypothesis Testing for Network Data with Power Enhancement
比较网络数据的两种人口手段在广泛的科学应用中至关重要。许多现有的网络推理解决方案专注于整个网络的全局测试,而不比较单个网络链路。此外,观测数据往往是向量或矩阵形式的数据,这类问题可归结为在正态分布或矩阵正态分布下比较两个协方差矩阵或精度矩阵。此外,许多检验在小样本量下的功效有限。在这篇文章中,我们解决了网络比较的问题,包括全局和同时推理,当数据以不同的格式出现时,即,以对称矩阵的集合的形式,每个对称矩阵编码个体主体的网络结构。这种数据格式通常出现在诸如大脑连接分析和临床基因组学的应用中。我们不再要求底层数据遵循正态分布,而是施加一些矩条件,这些条件对于许多类型的网络数据都很容易满足。此外,我们提出了一个功率增强过程,并表明它可以控制错误的发现,而它有可能大大提高测试的功率。我们调查的有效性,我们的测试程序,通过渐近分析和模拟研究有限的样本量。我们进一步说明我们的方法与大脑结构连接分析的例子。
2019-10-09 stat.ME
Confidence Intervals on Multivariate Normal Quantiles for Environmental Specification Development in Multi-axis Shock and Vibration Testing
本文针对多轴冲击与振动试验中变量相关性问题,提出两种基于CDF的多元正态分位数置信区间蒙特卡洛方法,用于控制极端响应尾部区域并制定保守的环境试验规范。
2024-04-09 stat.ME
Significance testing for canonical correlation analysis in high dimensions
我们考虑的问题,大型随机变量集之间的线性关系的存在下,典型相关分析的后选择推理方法的基础上的测试。挑战在于调整具有最大样本相关性的线性组合的变量子集的选择。为此,我们构建了一个稳定的一步估计的欧氏范数的典型相关最大化的变量子集的预先指定的基数。这个估计量是一致的,其目标参数和渐近正态提供的维度的变量不增长太快,样本量。我们还开发了一个贪婪的搜索算法,以准确地计算估计,导致一个计算上易于处理的综合测试的全球原假设,有没有任何子集的变量之间的线性关系具有预先指定的基数。此外,我们开发了一个置信区间的目标参数,考虑到变量的选择。
2020-10-17 stat.ME
Empirical Bayes Method for Large-Scale Multiple Testing with Heteroscedastic Errors
Seoul National University(首尔大学);Davidson College(戴维森学院);University of Maryland at Baltimore County(马里兰大学巴尔的摩县分校);Keio University(庆应义塾大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出了一种新的经验贝叶斯方法 gg-Mix,用于处理大规模多重检验中的异方差误差问题,通过无需假设分布结构的方式提升了 FDR 控制和统计效力。
2026-10-05 stat.ME
Hypothesis Testing of Matrix Graph Model with Application to Brain Connectivity Analysis
脑连接分析是神经科学研究的前沿。连通性网络的特征在于图,其中节点表示神经元和大脑区域等神经元素,链接表示通常以偏相关编码的统计依赖性。这样的图是从矩阵值神经成像数据,如脑电图和功能磁共振成像推断出来的。在正态分布或矩阵正态分布下,已经有大量的稀疏精度矩阵估计的成功建议;然而,这类解决方案没有为估计的链路提供统计显著性量化。在这篇文章中,我们采用了矩阵正态分布的框架,并制定了大脑连接分析作为一个精度矩阵假设检验问题。基于可分离的时空依赖结构,我们开发了Oracle和数据驱动的程序来测试全局假设,即所有空间位置都是有条件独立的,这对稀疏的替代方案特别强大。此外,同时测试确定条件相关的空间位置与错误发现率控制提出了在Oracle和数据驱动的设置。理论结果表明,数据驱动程序的性能与Oracle程序一样渐近,并具有一定的最优性。经验有限样本性能的建议的测试进行了研究,通过模拟,和新的测试应用于一个真正的脑电图数据分析。
2015-11-02 stat.ME
Hypothesis Testing for the Covariance Matrix in High-Dimensional Transposable Data with Kronecker Product Dependence Structure
矩阵变量正态分布是高维可转置数据的流行模型,因为它将随机矩阵的相关结构分解为两个协方差阵的克罗内克积:行和列变量各一个。我们开发的测试评估的形式的行(列)协方差阵在高维设置,而治疗的列(行)的依赖结构作为一个滋扰。我们的测试是强大的正态性偏离提供克罗内克产品依赖结构举行。在模拟中,我们观察到,建议的测试保持名义水平,并对测试的替代假设是强大的。我们说明了我们的方法的效用,通过检查是否与一个给定的信号网络相关的基因在不同组织中的表达模式,并通过研究相关模式内的测量使用脑电图收集的大脑活动。
2014-11-08 stat.ME
Adversarial Sample Detection for Deep Neural Network through Model Mutation Testing
Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学)
深度神经网络(DNN)已被证明在广泛的应用中是有用的。然而,它们也容易受到对抗性样本的影响。通过用一些精心设计的人类难以察觉的扰动来转换正常样本,即使是高度准确的DNN也会做出错误的决定。已经提出了多种防御机制,旨在阻止这种对抗性样本的生成。然而,最近的一项研究表明,其中大多数是无效的。在这项工作中,我们提出了一种在运行时检测对抗样本的替代方法。我们的主要观察结果是,如果我们对DNN施加随机突变,对抗样本比正常样本更敏感。因此,我们首先提出了一个衡量的“敏感性”,并显示经验,正常样本和对抗样本具有可区分的敏感性。然后,我们整合统计假设检验和模型突变检验,通过测量其敏感性来检查输入样本在运行时是否可能是正常的或敌对的。我们在MNIST和CIFAR10数据集上评估了我们的方法。实验结果表明,该方法能够有效、准确地检测到由最先进的攻击方法生成的对抗样本。
2019-01-18 cs.LG cs.SE stat.ML
Generalized Multivariate Signs for Nonparametric Hypothesis Testing in High Dimensions
Data Science and AI Research(数据科学与人工智能研究院);AT&T Chief Data Office(美国电话电报公司首席数据办公室);University of Minnesota Twin Cities(明尼苏达大学双城分校)
高维数据,其中特征空间的维度远大于样本量,出现在许多统计应用中。在这种情况下,我们构造了广义多元符号变换,定义为一个向量除以其范数。对于范数函数的不同选择,所得到的变换向量适应于数据分布的某些几何特征。在此基础上,利用这些广义符号向量,得到了高维数据均值向量的单样本和双样本检验方法。这些测试是基于U-统计使用内核内积,不需要禁止的假设,并服从于一个快速的随机化为基础的实现。通过实验,在一些数据设置,我们表明,使用广义符号的测试显示更高的功率比现有的测试,同时保持标称第一类错误率。最后,我们提供了MNIST和明尼苏达双胞胎研究基因组数据的示例应用程序。
2021-07-02 cs.LG stat.ME stat.ML
Stock Price Forecasting and Hypothesis Testing Using Neural Networks
Rice University(莱斯大学);Department of Economics(经济学系)
在这项工作中,我们使用递归神经网络和多层感知器从历史数据中预测纽约证券交易所,纳斯达克和美国证券交易所的股票价格。我们使用不同的架构进行实验,并比较数据规范化技术。然后,我们利用这些发现,通过正式的统计检验来质疑有效市场假说。
2019-08-28 cs.LG econ.EM q-fin.ST
Two-Sample Testing for Inhomogeneous Random Graphs in Non-Integral $L_r$ Norms
针对非齐次随机图双样本检验在非整数 $L_r$ 范数下的样本复杂度缺口,提出基于 Hölder 插值组合两个统计量的检验方法,达到推测最优速率,并通过模拟验证。
2026-09-29 cs.LG stat.ML