A consistent multivariate test of association based on ranks of distances
我们关心的是检测任意维度的随机向量之间的关联。很少有独立性的测试存在,是一致的对所有依赖的替代品。我们提出了一个强大的测试,适用于所有方面,是一致的对所有的替代品。该测试形式简单,易于实现。我们在模拟和例子中展示了它良好的功率特性。
2012-05-31 stat.ME
A Statistically and Numerically Efficient Independence Test based on Random Projections and Distance Covariance
独立性检验在许多统计技术中起着基础性的作用。在非参数方法中,基于距离的方法(如基于距离相关的假设独立性检验)与许多其他方法相比具有许多优点。基于距离的方法的已知限制是其计算复杂度可能很高。通常,当样本量为$n$时,基于距离的方法(通常需要计算所有成对距离)的计算复杂度顺序可以为$O(n^2)$。最近的进展已经发现,在{ \it单变量}情况下,存在具有$O(n \log n)$计算复杂度和$O(n)$存储器要求的快速方法。在本文中,我们介绍了一种基于随机投影和距离相关的独立性测试方法,它实现了几乎相同的功率的最先进的基于距离的方法,在{ \it多元}的情况下,并享有$O(n K \log n)$的计算复杂度和$O(\max\{n,K\})$的内存需求,其中$K$是随机投影的数量。请注意,当执行$K < n/\log n$时,将实现保存。我们将我们的方法命名为随机投影距离协方差(RPDC)。统计理论分析利用了当代机器学习中的一些随机投影技术。数值实验表明,所提出的方法的效率,相对于几个竞争对手。
2017-01-21 stat.ME
Testing mutual independence in high dimension via distance covariance
本文介绍了一种${\mathcal L}_2$类型测试方法,用于测试高维数据的相互独立性和带状依赖结构。该检验是基于成对距离协方差构建的,它考虑了数据之间的非线性和非单调依赖性,这些依赖性不能被现有的基于皮尔逊相关性或秩相关性的检验完全捕获。由于检验统计量的极限零分布为标准正态分布,因此我们的检验可以方便地在实践中实施。它表现出良好的有限样本性能,在我们的模拟研究中,即使当样本量是小的,虽然维度是高的,并成功地识别非线性依赖的经验数据分析。在理论方面,我们的检验统计量的渐近正态性是在相当温和的矩假设下显示的,并且对作为样本量的函数的维数的增长率几乎没有限制。作为我们的距离协方差为基础的测试的良好的权力性质的演示,我们进一步表明,我们的检验统计量的不可行的版本具有率最优类的高斯分布等相关。
2017-09-18 stat.ME
Network Dependence Testing via Diffusion Maps and Distance-Based Correlations
针对网络连通性与节点属性关联检验中高维和依赖结构的挑战,提出基于扩散映射和距离相关性的检验方法,在温和假设下证明检验统计量的一致性,并能高效识别最具信息量的图嵌入,在模拟与真实数据上验证有效。
2019-02-14 stat.ME
On independence testing using the (partial) distance correlation
本文比较了距离相关性与偏距离相关性在(条件)独立性检验中的置换法和渐近法,并与皮尔逊相关性对比,发现条件独立情形下结果出人意料。
2025-06-18 stat.ME
Multivariate goodness-of-Fit tests based on Wasserstein distance
基于经验瓦瑟斯坦距离的拟合优度检验提出了简单和复合零假设涉及一般的多元分布。对于组族,该程序将在通过不变性对数据进行初步约简后实施。该属性允许在有限的样本量下计算精确的临界值和p值。应用程序包括测试的位置-规模的家庭和测试家庭所产生的仿射变换,如椭圆分布与给定的标准径向密度和未指定的位置向量和散布矩阵。一种新的检验多元正态性与未指定的均值向量和协方差阵作为一种特殊情况。对于更一般的参数族,我们提出了一个参数引导程序来计算临界值。经验瓦瑟斯坦距离缺乏渐近分布理论,这意味着在原假设下参数自举的有效性仍然是一个猜想。然而,我们表明,测试是一致的固定的替代品。为此,我们证明了经验分布在瓦瑟斯坦距离,其中的均匀性是在任何一类的基本分布满足一致的可积性条件,但没有额外的时刻假设的一致大数定律。检验统计量的计算归结为求解半离散最优运输问题。大量的数值实验表明,实际的可行性和优良的性能,所提出的测试的瓦瑟斯坦距离的顺序p = 1和p = 2和尺寸至少达d = 5。模拟结果也支持了参数自举法的渐近有效性的猜想。
2021-01-27 stat.ME
Two-sample Testing on Latent Distance Graphs With Unknown Link Functions
我们提出了一个有效的和一致的测试的假设,两个潜在的距离随机图在同一顶点集上有相同的生成潜在的位置,一些不可识别的相似性变换。我们的检验统计量是基于第一次估计的边缘概率矩阵截断的奇异值分解的平均邻接矩阵在每个人口,然后计算斯皮尔曼秩之间的相关系数这些估计。模拟数据的实验结果表明,即使每个总体只有一个样本,只要顶点的数量不是太少,测试程序也有功效。在神经连接图数据集上的应用表明,我们可以区分来自不同年龄组的扫描,而在致癫痫记录数据集上的应用表明,我们可以区分癫痫发作和非癫痫发作事件。
2020-08-03 stat.ME
Testing for the Equality of two Distributions on High Dimensional Object Spaces
能量统计量是能量距离的估计量,它依赖于观测值之间的距离。能量统计背后的思想是考虑一种与牛顿引力势能相类似的统计势能。这个统计势能为零当且仅当与两个分布相关的某个原假设成立。在Szekely和Rizzo(2004)中,基于观测值之间的欧氏距离,给出了两个多元分布相等的非参数检验。该检验对高维多变量数据是有效的,并通过适当的分布自由排列检验来实现。作为Szekely和Rizzo(2013)的扩展,这里我们考虑对象空间M上独立随机对象X和Y之间的能量距离,允许嵌入到欧几里得空间中。在Kendall形状空间的情况下,我们可以使用其VW嵌入到矩阵的欧几里得空间中,并将两个形状之间的外部距离定义为它们的VW关联距离。Kendall形状的两个分布之间的对应能量距离将被称为VW-能量距离。我们测试我们的方法,以比较正常与ADHD诊断个体中胼胝体中矢状面轮廓的Kendall形状的分布。在这里,我们使用两个子CC中间部分的形状之间的VW距离。使用最初来自http://fcon 1000.projects.nitrc.org/indi/adhd200/的CC数据,似乎两个肯德尔形状分布没有显著差异。
2017-03-22 stat.ME
Transcripts and Algebraic Distances in Time Series: Stochastic Properties and Nonparametric Dependence Tests
Helmut Schmidt University(赫尔穆特·施密特大学);Universidad Miguel Hernández(米格尔·埃尔南德斯大学)
本文通过定义时间序列中连续序模式之间的转录本和代数距离(Cayley和Kendall编辑距离),推导其随机性质,并基于这些统计量构造非参数序列依赖性检验,模拟显示新检验具有优越的检验功效。
2026-05-25 stat.ME
DiPMInd: Distance Profile based Mutual Independence testing for random objects
Rutgers University(罗格斯大学);University of Southern California(南加州大学)
本文提出基于距离剖面的互独立性检验框架DiPMInd,推广现有方法,引入新的独立性度量与检验,经理论推导和模拟、实际数据验证,其功效优于现有流行方法。
2026-08-04 stat.ME
On the properties of distance covariance for categorical data: Robustness, sure screening, and approximate null distributions
针对卡方检验在大型稀疏列联表中统计功效低的问题,本文研究了分类变量distance covariance的稳健性、筛选强相合性及近似零分布,并通过模拟验证了其优越性。
2024-03-26 stat.ME
Empirical Likelihood Test for Diagonal Symmetry
能量距离是随机变量分布之间的统计距离,它表征了分布的相等性。利用能量距离,我们开发了对角对称性的非参数检验,这是一致的对任何固定的替代品。本文建立的检验统计量是基于两个$U$ -统计量的差异。应用刀切经验似然法,建立了自由度为1的标准极限χ 2分布,并用于确定检验的临界值和$p$ -值。仿真研究表明,我们的方法是有竞争力的经验规模和经验权力。
2019-08-19 stat.ME
On high-dimensional modifications of some graph-based two-sample tests
检验两个高维分布的相等性是一个具有挑战性的问题,当样本量很小时,这变得更具挑战性。在过去的几十年里,文献中提出了几种基于图的双样本检验,它们可以用于任意维数的数据。大多数这些检验统计量是使用观测值之间的成对欧几里得距离计算的。但是,由于集中的两两欧几里德距离,这些测试在许多高维问题的性能较差。当两个分布之间的尺度差异主导位置差异时,其中一些可以具有甚至低于标称水平的功率。为了克服这些限制,我们引入了一类新的相异性指数,并使用它来修改一些流行的基于图的测试。这些改进的测试利用了距离集中现象的优势,因此,它们在各种各样的示例中优于基于欧几里得距离的相应测试。我们在相当一般的条件下建立了这些修改后的测试的高维一致性。分析几个模拟以及真实的数据集,我们证明了他们的有用性,在高维,低样本量的情况下。
2018-06-06 stat.ME
A Distance-Based Test of Association Between Paired Heterogeneous Genomic Data
由于快速的技术进步,可以从给定的生物样品获得广泛的不同测量,包括单核苷酸多态性、拷贝数变异、基因表达水平、DNA甲基化和蛋白质组学谱。这些不同的测量提供了表征生物多样性的某个方面的手段,并且广泛关注的基本问题涉及发现不同数据类型之间的共享变异模式。这种数据类型是异构的,因为它们代表在非常不同的尺度上进行的测量或由非常不同的数据结构描述。我们提出了一个基于距离的统计检验,广义RV(GRV)的测试,以评估是否有一个共同的和非随机的模式之间的变异性配对生物测量从相同的随机样本。测量通过距离测量进入测试,可以选择距离测量来捕获数据的特定方面。提出了一种近似零分布来计算封闭形式的p值,而不需要执行昂贵的蒙特卡罗置换程序。与经典的距离矩阵之间的关联的Mantel测试相比,GRV测试已被发现在许多模拟设置中更强大。我们还报告了应用GRV测试检测生物学途径,其中遗传变异与卵巢癌样本中基因表达水平的变化相关,并提出了从两个独立队列中获得的结果。
2013-03-27 stat.AP stat.ME
Energy distance and kernel mean embedding for two sample survival test
本文对右截尾情形下两样本分布均匀性的比较问题提出了一个新的检验族。该测试是基于能量距离和内核的平均嵌入,校准排列,并对所有的替代品是一致的。新的测试在实际情况下,有限样本的良好性能建立与仿真研究。
2019-01-03 math.ST stat.ME stat.TH
A New Framework for Distance and Kernel-based Metrics in High Dimensions
本文提出了新的度量来量化和测试(i)分布的平等性和(ii)两个高维随机向量之间的独立性。我们发现,通常的欧氏距离的基础上的能量距离不能完全表征的均匀性的两个高维分布的意义上,它只能检测的平均值和协方差阵的痕迹在高维设置的平等。我们提出了一类新的度量,它继承了理想的属性的能量距离和最大平均差异/(广义)距离协方差和希尔伯特施密特独立性准则在低维设置,并能够检测的同质性/完全表征之间的独立性低维边缘分布在高维设置。我们进一步提出了基于新度量的t检验来进行高维两样本检验/独立性检验,并研究了它们在高维低样本量(HDLSS)和高维中样本量(HDMSS)设置下的渐近行为。t检验的计算复杂度仅随维度线性增长,因此可扩展到非常高维的数据。我们通过模拟和真实数据集证明了所提出的分布均匀性和独立性检验的优越性能。
2019-09-30 stat.ME stat.ML
High-Dimensional Independence Testing via Maximum and Average Distance Correlations
Department of Applied Economics and Statistics, University of Delaware(应用经济学与统计学系,德克萨斯大学);Department of Statistics, Operations, and Data Science, Temple University(统计学、运营与数据科学系,泰勒大学)
本文提出基于最大和平均距离相关性的高维多变量独立性非参数检验,给出卡方快速程序,并通过模拟与癌症血浆真实数据验证其性能。
2025-06-10 cs.LG stat.ME stat.ML
Hypothesis testing using pairwise distances and associated kernels (with Appendix)
University College London(伦敦大学学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Institute of Statistical Mathematics(统计数学研究所)
我们提供了一个统一的框架,连接两类统计用于双样本和独立性测试:一方面,从统计文献的能量距离和距离协方差;另一方面,嵌入的分布之间的距离再生核希尔伯特空间(RKHS),建立在机器学习。当能量距离用负型半度量计算时,等价性成立,在这种情况下,可以定义一个核,使得分布之间的RKHS距离恰好对应于能量距离。我们确定类的概率分布的核半度量诱导的特征(即,其中嵌入的分布到RKHS是内射)。最后,我们研究了这个家庭的内核在两个样本和独立性测试的性能:我们特别表明,最常用的统计能量距离只是一个成员的参数家庭的内核,从这个家庭的其他选择可以产生更强大的测试。
2012-05-21 cs.LG stat.ME stat.ML
A unified framework for multivariate two-sample and k-sample kernel-based quadratic distance goodness-of-fit tests
University at Buffalo(布法罗大学);University of Padua(帕多瓦大学)
提出基于矩阵距离的统一框架,整合多元两样本与 k 样本核二次距离拟合优度检验,推导渐近分布并通过模拟和实例验证,且以 QuadratiK 包在 R/Python 中实现。
2025-09-30 math.ST stat.ME stat.TH
Testing Un-Separated Hypotheses by Estimating a Distance
在本文中,我们提出了一个贝叶斯回答测试问题时,假设没有很好地分离。该方法的思想是研究参数与我们想要检验的模型之间的差异度量的后验分布。这被证明是等效的测试损失的修改。这种方法的一个优点是,它可以很容易地适应复杂的假设测试,这是一般难以测试。的渐近性质的测试可以从差异测量的后验分布的渐近行为,并给出了可能的校准洞察。此外,可以得到分离率的测试,这确保了我们的程序的渐近频率最优性。
2017-06-27 math.ST stat.ME stat.TH
Goodness-of-Fit Testing for Time Series Models via Distance Covariance
在许多统计建模框架中,通常对估计残差进行拟合优度检验。在时间序列设置中,使用样本自相关函数评估残差的白度。对于许多时间序列模型,特别是那些用于金融时间序列的模型,关于残差的关键假设是它们实际上是独立的,而不仅仅是不相关的。在本文中,我们应用自距离协方差函数(ADCV)来评估估计残差的序列相关性。距离协方差可以区分两个随机向量的相依性和独立性。对于一般的一类时间序列模型,导出了基于ADCV的检验统计量的极限行为。该理论的一个关键方面是调整由于参数估计而产生的相关性。无论型号规格如何,该调整基本上具有相同的形式。我们在模拟的例子中说明了结果。
2019-03-02 math.ST stat.ME stat.TH
Distance Correlation in Multiple Biased Sampling Models
本文针对多重偏倚抽样数据,提出距离协方差与相关性的估计方法及加权置换检验,理论保证强相合性与渐近分布,模拟验证提升估计精度与检验功效。
2024-08-21 math.ST stat.ME stat.TH
Tests for categorical data beyond Pearson: A distance covariance and energy distance approach
University of Santiago de Compostela(圣地亚哥德孔波斯特拉大学);Santiago Health Research Institute (IDIS)(圣地亚哥健康研究所);German Cancer Research Center (DKFZ)(德国癌症研究中心)
针对分类变量独立性检验,提出基于距离协方差和能量距离的方法,克服Pearson卡方检验和G检验的缺陷,无需重采样即可校准零分布。
2026-06-17 math.ST stat.AP stat.ME
Distance-based and RKHS-based Dependence Metrics in High Dimension
在本文中,我们研究了距离协方差,希尔伯特-施密特协方差(又名希尔伯特-施密特独立性标准[Gretton et al.(2008)])和相关的独立性测试在高维场景下。我们证明了两个随机向量之间的样本距离/Hilbert-Schmidt协方差可以近似为分量方向样本互协方差的平方和,直到一个渐近常数因子,这表明基于距离/Hilbert-Schmidt协方差的检验只能捕获高维线性相关。因此,当两个随机向量非线性相关但分量不相关时,Szekely和Rizzo(2013)开发的基于距离相关的独立性t检验具有平凡的限制能力。这种新的和令人惊讶的现象,这似乎是第一次发现,在我们的模拟研究中得到进一步证实。作为一种补救措施,我们提出了测试的基础上聚集的边际样本距离/希尔伯特-施密特协方差,并显示其优越的权力行为对他们的联合同行在模拟中。我们进一步将基于距离相关的t检验扩展到基于希尔伯特-施密特协方差和边缘距离/希尔伯特-施密特协方差的t检验。提出了一种新的统一的方法来分析零假设和备择假设下的学生化样本距离/Hilbert-Schmidt协方差以及学生化样本边缘距离协方差。我们的理论和模拟结果揭示了距离/希尔伯特-施密特协方差的限制时,联合使用的高维设置,并建议聚合的边缘距离/希尔伯特-施密特协方差作为一个有用的替代。
2019-02-08 math.ST stat.ME stat.TH
Equivalence of distance-based and RKHS-based statistics in hypothesis testing
University College London(伦敦大学学院);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Institute of Statistical Mathematics(统计数学研究所)
我们提供了一个统一的框架,连接两类统计用于双样本和独立性测试:一方面,从统计文献的能量距离和距离协方差;另一方面,最大均值差异(MMD),即嵌入的分布之间的距离再生核希尔伯特空间(RKHS),建立在机器学习。在使用负类型的半度量计算能量距离的情况下,可以定义一个正定核(称为距离核),使得MMD精确对应于能量距离。相反,对于任何正定核,我们可以将MMD解释为关于某个负型半度量的能量距离。这种等价性很容易扩展到使用乘积空间上的核的距离协方差。我们确定一类概率分布的检验统计量是一致的对所有的替代品。最后,我们调查的距离内核在两个样本和独立性测试的家庭的性能:我们特别表明,最常用的统计能量距离只是一个成员的参数家庭的内核,从这个家庭的其他选择可以产生更强大的测试。
2013-11-12 cs.LG math.ST stat.ME
The Chi-Square Test of Distance Correlation
University of Delaware(特拉华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种非参数、快速的卡方检验用于距离相关,无需置换检验即可估计零分布,具有与置换检验相当的检验功效,并理论上证明了其有效性和一致性。
2021-05-14 cs.LG math.ST stat.ME
Multivariate goodness-of-fit on flat and curved spaces via nearest neighbor distances
我们提出了一个统一的方法来拟合优度测试在$\mathbb{R}^d$和嵌入在$\mathbb{R}^d$基于$k$次最近邻球的加权体积的幂和的低维流形。证明了一类检验统计量在原假设和固定备择下的渐近正态性。在这样的替代方案下,检验统计量的缩放版本收敛于概率分布之间的$α$ -熵。模拟研究表明,该程序是严重的竞争对手,建立拟合优度测试。
2016-12-20 math.ST stat.ME stat.TH
Multivariate tests of association based on univariate tests
为了检验两个随机向量的独立性,我们考虑通过单变量检验来检验一个向量到中心点的距离是否独立于另一个向量到中心点的距离。在本文中,我们提供的条件下,它是足够的,有一个一致的单变量测试的独立性的距离,以保证功率检测之间的依赖性的随机向量增加到一个,作为样本量增加。这些条件被证明是最低限度的。如果单变量检验是无分布的,则多变量检验也是无分布的。如果我们考虑多个中心点并汇总中心特定的单变量检验,则功效可能会进一步提高,并且所得的多变量检验对于特定的汇总方法可能是无分布的(如果单变量检验是无分布的)。我们表明,最近在文献中提出的几个多变量测试可以被视为这种一般方法的实例。
2016-03-10 math.ST stat.ME stat.TH
Generalizing Distance Covariance to Measure and Test Multivariate Mutual Dependence
我们提出了三种多个随机向量之间相互依赖的度量。所有测度为零当且仅当随机向量相互独立。第一个度量将距离协方差从成对依赖推广到相互依赖,而另外两个度量是距离协方差的平方和。所有的措施共享类似的性质和渐近分布的距离协方差,并捕捉非线性和非单调的相互依赖的随机向量。受完全和不完全V-统计量的启发,我们定义了经验测度和简化的经验测度,作为检验相互独立性时复杂性和功效之间的权衡。仿真结果和实际数据的例子证明了测试的实施。
2018-02-25 math.ST stat.AP stat.CO
Two-Sample Testing with Missing Data via Energy Distance: Weighting and Imputation Approaches
本文针对含缺失数据的双样本检验问题,提出基于能量距离的加权检验统计量及相应重抽样方法,并设计适用于插补样本的自助法,通过模拟给出不同场景下的使用建议。
2025-08-15 math.ST stat.CO stat.ME
Distance and Kernel-Based Measures for Global and Local Two-Sample Conditional Distribution Testing
针对现有两样本条件分布检验仅关注全局层面的不足,本文基于距离与核方法构建统一框架,提出相应度量及一致估计量,推导其理论性质,开发全局与局部检验,经实验验证性能可靠。
2025-08-31 econ.EM math.ST stat.ME
Leveraging Optimal Transport for Distributed Two-Sample Testing: An Integrated Transportation Distance-based Framework
本文提出基于集成传输距离的分布式双样本检验框架,解决联邦学习中分布变化检测问题,通过置换检验实现高效计算,具有稳健错误控制和高功效。
2025-06-19 math.ST stat.AP stat.CO
On the Decreasing Power of Kernel and Distance based Nonparametric Hypothesis Tests in High Dimensions
Carnegie Mellon University(卡内基梅隆大学)
本文研究了两个相关的决策理论问题:非参数两样本检验和独立性检验。有一个信念,最近提出的两个解决方案,基于内核和点对之间的距离,在高维环境中表现良好。我们确定了导致上述信念的误解的不同来源。具体来说,我们区分硬度的估计检验统计量的硬度测试这些统计量是否为零或没有,并明确讨论了一个概念,这些问题的“公平”的替代假设,作为尺寸的增加。然后,我们证明,这些测试的力量实际上下降多项式增加对公平的替代品的尺寸。最后,我们给出了一些理论上的见解,并阐明了用于内核带宽选择的\textit{median heuristic}。我们的工作推进了当前对现代非参数假设检验在高维中的作用的理解。
2014-11-24 cs.IT cs.LG math.IT