Covariance-based soft clustering of functional data based on the Wasserstein-Procrustes metric
我们考虑的问题,聚类功能数据根据其协方差结构。我们贡献了一个软聚类方法的基础上的Wasserstein-Procrustes距离,在集群之间的变化是由一个长期的分区分割的熵矩阵成比例的惩罚。通过这种方式,每个协方差运算符可以部分地分类到多个组中。这种软分类允许集群重叠,并且在所有或部分集群之间的分离没有明确定义的情况下自然会出现。我们还讨论了如何估计组的数量,并测试任何集群结构的存在。使用模拟和真实数据说明该算法。补充材料中提供了R实现。
2022-12-26 stat.ME
Tests for High-Dimensional Covariance Matrices Using Random Matrix Projection
当数据维数$p$大于样本量$n$时,由于样本协方差阵的奇异性,用于检验两个协方差阵相等性的经典似然比检验失效。在本文中,我们提出了一个概念上简单的方法,使用随机投影的数据投影到一维随机子空间,使传统的方法可以应用。研究了高维协方差阵的单样本和双样本检验问题。渐近结果的建立和数值结果比较我们的方法与国家的最先进的方法在文献中。
2015-11-05 stat.ME
A Dynamic Structure for High Dimensional Covariance Matrices and its Application in Portfolio Allocation
高维协方差阵的估计是一个有趣而重要的研究课题。在本文中,我们提出了一个动态的结构,并开发了一个估计程序的高维协方差阵。渐近性质推导证明估计过程和模拟研究进行证明其性能时,样本量是有限的。通过探索金融应用,实证研究表明,基于动态高维协方差阵的投资组合配置可以显着优于市场从1995年到2014年。我们提出的方法也优于基于样本协方差阵的投资组合分配和Fan,Fan和Lv(2008)提出的投资组合分配。
2015-06-03 stat.ME
Substitution principle for CLT of linear spectral statistics of high-dimensional sample covariance matrices with applications to hypothesis testing
样本协方差阵在多元统计分析中有着广泛的应用。高维非中心样本协方差阵线性谱统计量的中心极限定理(CLT's)在随机矩阵理论中得到了广泛的关注,并被应用于许多高维统计问题。然而,已知的总体均值向量被假定为非中心样本协方差阵,其中一些甚至假定类高斯矩条件。事实上,还有另外两种最常用的样本协方差阵:MLE(通过从每个样本向量中减去样本均值向量)和无偏样本协方差矩阵(通过将分母$n$更改为MLE中的$N=n-1$),而不依赖于未知的总体均值向量。本文通过建立{ \em替换原理},不仅建立了无类高斯矩条件的非中心样本协方差阵的新的CLT,而且刻画了三类高维样本协方差阵的CLT之间不可忽略的差异:替换{ \em调整后}样本量$N=n-1$,用于新CLT的主中心项中的实际样本量$n$,以获得无偏样本协方差阵的CLT.此外,它被发现之间的CLT的最大似然估计和无偏样本协方差矩阵的差异是不可忽略的主要中心项,虽然这两个样本协方差阵只有差异$n$和$n-1$的支配者。新的结果被应用到两个测试问题的高维数据。
2014-04-26 stat.ME
A Sparse Linear Model for Positive Definite Estimation of Covariance Matrices
Baylor University(贝勒大学);University of Michigan(密歇根大学)
本文提出了一种稀疏线性模型用于估计正定协方差矩阵,通过惩罚回归方法解决样本协方差矩阵中的相关性、正定性和无偏估计问题,并通过实验验证了方法的有效性。
2026-02-28 stat.ME
An Overview on the Estimation of Large Covariance and Precision Matrices
估计大的协方差矩阵和精度矩阵是现代多元分析的基础。这些问题来自于对大型面板经济和金融数据的统计分析。协方差阵显示变量之间的边际相关性,而精度矩阵在给定其余变量的情况下对变量对之间的条件相关性进行编码。在本文中,我们提供了一个选择性的审查最近的几个发展估计大协方差和精度矩阵。我们重点介绍了两种常用的方法:基于秩的方法和基于因素模型的方法。这两种方法的理论和应用。这些方法有望广泛应用于经济和金融数据的分析。
2015-04-15 stat.ME
Estimation When Both Covariance And Precision Matrices Are Sparse
我们提供了一种方法来估计协方差矩阵的特殊情况下,\textit{both}的协方差阵和精度矩阵是稀疏的--一个约束,我们称之为双稀疏。估计方法是极大似然,服从双稀疏约束。在我们的方法中,只允许一类特殊的稀疏模式:矩阵及其逆矩阵必须从属于同一个弦图。与双重稀疏性的天真执行相比,我们的弦图方法利用了一个特殊的代数局部逆公式。该局部逆属性使得通常涉及逆(精度矩阵或协方差阵的逆)的计算快得多。在协方差阵估计的背景下,我们的建议似乎是第一次找到这样的特殊对协方差和精度矩阵。
2021-08-15 math.ST stat.CO stat.ME
Linear pooling of sample covariance matrices
我们考虑的问题估计高维协方差阵的$K$人口或类的设置中的样本量是可比的数据维。我们建议估计每个类的协方差矩阵作为一个不同的线性组合的所有类样本协方差阵。这种方法被证明是减少估计误差时,样本量是有限的,和真正的类协方差阵共享一个有点类似的结构。我们开发了一种有效的方法来估计系数的线性组合,最小化的均方误差的一般假设下,样本是从(未指定的)椭圆对称分布具有有限的四阶矩。为此,我们利用空间符号协方差矩阵,我们显示(在相当一般的条件下)是一个渐近无偏估计量的归一化协方差阵的尺寸增长到无穷大。我们还展示了如何使用所提出的方法在选择正则化参数的多个目标矩阵在一个单一的类协方差阵估计问题。我们评估所提出的方法,通过数值模拟研究,包括在全球最小方差投资组合优化使用真实的股票数据的应用。
2022-02-07 stat.ME
Comparing large covariance matrices under weak conditions on the dependence structure and its application to gene clustering
比较大的协方差阵在现代基因组学中具有重要的应用,在现代基因组学中,科学家通常对理解关系(例如,依赖性或共同调节)在不同的生物状态之间变化。当协方差阵的维数远大于样本量时,我们提出了一个快速的计算过程来检验两个大的协方差阵是否相等。新方法的一个显著特点是对未知的协方差阵不作任何结构性假设。因此,该测试对于基因组学中经常出现的各种复杂的依赖结构是稳健的。我们证明了所提出的方法在弱矩条件下是渐进有效的。作为一个有趣的应用程序,我们得到了一个新的基因聚类算法,该算法具有相同的好属性,避免了高维基因组数据的限制性结构假设。使用哮喘基因表达数据集,我们说明了新的测试如何帮助比较疾病组和对照组之间不同基因集/途径的基因的协方差阵,以及基因聚类算法如何提供关于两组之间基因聚类模式不同的新见解。所提出的方法已在R-包HDtest中实现,并可在CRAN上使用。
2016-04-24 stat.ME
Principal Regression for High Dimensional Covariance Matrices
本文提出了一种以多个高维协方差阵为结果的广义线性回归方法。提出了通过最大化伪似然估计模型参数。当数据为高维时,由于样本协方差阵秩亏,正态似然函数是不适定的。因此,一个良好的条件线性收缩估计的协方差阵的介绍。对于多个协方差阵,提出了收缩系数在矩阵间是公共的。理论研究表明,在单位矩阵和样本协方差阵的所有线性组合中,所提出的协方差矩阵估计量是渐近一致最小二次损失的最优估计量.在正则条件下,所提出的模型参数估计是相合的。所提出的方法比现有的方法的优越性能,通过仿真研究说明。实施从阿尔茨海默病神经影像学倡议获得的静息状态功能磁共振成像研究,提出的方法确定了一个大脑网络,其中功能连接与载脂蛋白E $\varepsilon$ 4显著相关,载脂蛋白E 4是阿尔茨海默病的一个强遗传标记。
2020-07-24 stat.ME
Estimation of covariance matrices based on hierarchical inverse-Wishart priors
研究了协方差阵估计的贝叶斯收缩问题。我们研究后验属性和频率风险的贝叶斯估计的基础上新的分层逆Wishart先验。更精确地说,我们给出了后验分布存在的条件。后验的数值模拟方面的优势。仿真研究说明了三个损失函数的相关样本量和各种协方差结构下的估计程序的性能。
2011-06-16 stat.ME
Visualizing Tests for Equality of Covariance Matrices
本文探讨了与多元线性模型中协方差阵的相等性检验问题相关的各种主题,特别是在MANOVA设置中。主要的重点是图形方法,可以用来解决这个假设的评估。我们介绍了一些扩展的数据椭球,假设误差(HE)图和典型判别图,并演示了如何将它们应用于测试的平等的协方差阵。此外,提出了Box's M检验的分量的简单图,该图显示了组在协方差方面的差异,并且还建议了其他可视化和替代检验统计量。这些方法在R的 **heplots** 和 **candisc** 包中实现并免费提供。补充材料中有该文件中的例子。
2018-05-15 stat.ME
A Canonical Representation of Block Matrices with Applications to Covariance and Correlation Matrices
我们得到了分块矩阵的一个标准表示。该表示便于简单计算行列式、矩阵逆和分块矩阵的其他幂,以及矩阵对数和矩阵指数。这些结果是特别有用的块协方差和块相关矩阵,其中高斯对数似然估计的评估大大简化。我们说明了这一点的实证应用,使用一个大面板的每日资产收益率。此外,表示铺平了新的方法来正则化大型协方差/相关矩阵,矩阵中的测试块结构,并估计回归与许多变量。
2021-11-15 econ.EM q-fin.CP stat.ME
Positive Definite $\ell_1$ Penalized Estimation of Large Covariance Matrices
门限协方差估计对于估计稀疏的大协方差阵具有很好的渐近性质,但在实际数据分析中往往具有负的特征值。为了同时实现稀疏性和正定性,我们提出了一种正定的$\ell_1$ -惩罚协方差估计器来估计稀疏的大协方差阵。提出了一种有效的交替方向法来求解这一具有挑战性的优化问题,并证明了该方法的收敛性。在弱正则条件下,建立了估计量的非渐近统计理论。仿真和实际应用表明,我们的建议的有限样本的竞争力的性能。
2012-08-28 math.OC stat.ME
Localization Estimator for High Dimensional Tensor Covariance Matrices
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学);Peking University(北京大学)
本文提出了一种用于高维张量数据的协方差定位估计器,通过定位函数调节样本协方差矩阵,并在谱范数和弗罗贝尼乌斯范数下推导了最小最大收敛速率,通过实验验证了其在海洋涡旋数据中的有效性。
2026-01-11 stat.ME
A Matrix-Variate Log-Normal Model for Covariance Matrices
Sapienza University of Rome(罗马大学)
本文提出了一种基于矩阵变量对数正态分布的协方差矩阵建模方法,通过简洁的规范和偏差校正,有效处理时间变化协方差矩阵问题。
2026-01-29 stat.ME
Scalable Dirichlet Process Mixture Models with Unknown Concentration and Adaptive Covariance for High-Dimensional Clustering Applied to Leukemia Transcriptomics
本文提出了一种结合Collapsed VI和弱信息先验的狄利克雷过程混合模型,用于高维数据聚类,并在白血病转录组学中实现了亚型恢复和额外基团识别。
2026-09-10 stat.ME
Modifications of Wald's score tests on large dimensional covariance matrices structure
本文研究了在高维环境下基于Wald得分检验的协方差阵结构的检验问题。针对给定矩阵$Σ_0$的假设$H_0: Σ=Σ_0 $,其中涵盖了单位性假设检验和球性假设检验作为特殊情况,通过Jiang(2015)的高维样本协方差阵的线性谱统计量的广义CLT(中心极限定理)进行了审查。所提出的检验方法适用于更大范围的高维非高斯变量。此外,通过仿真研究,将所提出的检验方法与其他高维协方差阵检验方法进行了比较,以评价它们的性能。从模拟结果可以看出,我们提出的测试是可行的,大规模的数据不受总体分布的限制,并提供准确和稳定的经验大小,这是几乎在名义大小。
2016-02-27 stat.ME
Large covariance matrix estimation with factor-assisted variable clustering
针对高维时间序列协方差估计中稀疏误差假设的局限性,提出结合因子模型与潜在聚类结构的估计方法,证明其理论一致性并通过实验验证了更优的有限样本性能。
2025-02-24 stat.ME
Non-Euclidean statistical analysis of covariance matrices and diffusion tensors
协方差阵的统计分析出现在许多重要的应用中,例如在扩散张量成像和纵向数据分析中。我们考虑的情况下,它是感兴趣的估计平均协方差矩阵,描述其各向异性,进行主测地线分析和协方差阵之间的插值。有许多可用的度量选择,每一种都有其优点。什么是最好的具体选择将取决于特定的应用。当协方差阵接近秩不足时,使用Procrustes大小和形状度量特别合适。我们讨论了使用不同的度量扩散张量分析,我们还介绍了某些类型的张量正则化。
2010-10-10 stat.AP stat.ME
Test of Covariance and Correlation Matrices
基于两个对称矩阵之间的广义余弦测度,我们提出了协方差矩阵和相关矩阵的单样本和双样本检验的一般框架。对于一些常见的单样本检验,如球性检验、恒等性检验、复合对称性检验,以及多元协方差矩阵或相关矩阵相等性的$K$样本检验,我们也给出了一套相关的置换算法。所提出的方法是非常灵活的,在这个意义上,它不假设任何潜在的分布和数据生成模型。此外,它允许数据在单样本同一性和$K$样本检验中具有不同的边缘分布。通过真实的数据集和大量的模拟,我们证明了所提出的方法在各种假设检验情况下,使用不同的分布和生成模型生成不同大小和维度的数据,在经验第一类错误和功效方面表现良好。
2018-12-04 stat.ME
Minimax-Optimal Spectral Clustering with Covariance Projection for High-Dimensional Anisotropic Mixtures
Department of Statistics, Columbia University(哥伦比亚大学统计学系)
本文提出了一种基于协方差投影的谱聚类方法,以应对高维各向异性混合物中的复杂噪声结构,通过改进的重新分配步骤和理论分析,实现了最小最大最优的聚类性能。
2026-01-26 math.ST stat.ME stat.ML
Mixture-of-Finite-Mixtures Wishart Model for Clustering Covariance Matrices with an Application to Brain Functional Connectivity
University of Notre Dame(圣母大学)
提出MFM-Wishart贝叶斯模型,结合威沙特混合分量与有限混合先验,实现协方差矩阵数据的聚类与簇数联合推断,并应用于婴儿睡眠功能连接聚类。
2026-11-03 stat.ME
Adaptive Tests for Bandedness of High-dimensional Covariance Matrices
高维带状协方差阵的估计在多元统计分析中有着广泛的应用。为了保证估计的有效性,我们的目标是测试的假设,协方差阵是带状的,在高维框架下的一定的带宽。虽然在文献中已经提出了几种测试方法,现有的测试只对某些具有一定稀疏性水平的替代品是强大的,而他们可能不是强大的替代品与其他稀疏结构。提出了一种新的高维协方差阵的带性检验方法,该方法适用于不同稀疏度的方案。新的检验方法也可用于高维因子模型中误差向量的协方差阵带状结构的检验。基于这些统计量,本文还对带状高维协方差阵引入了一个一致的带宽估计器。广泛的模拟研究和应用程序的前列腺癌数据集的蛋白质质谱进行评估的有效性,建议的自适应测试蓝和带宽估计的带状协方差阵。
2022-04-24 stat.ME
On the theoretic and practical merits of the banding estimator for large covariance matrices
本文考虑Bickel和Levina(2008)提出的用于估计大协方差阵的带估计量。我们证明了对于一类近似带状协方差阵,带状估计在算子范数下达到率最优,改进了Bickel和Levina(2008)的已有结果.此外,我们提出了一个斯坦的无偏风险估计(当然)类型的方法来选择带宽的带状估计。仿真结果表明,Sure-tuned带估计优于竞争估计。
2014-02-04 math.ST stat.ME stat.TH
Efficient Distributed Estimation of Inverse Covariance Matrices
在分布式系统中,由于其脆弱性或效率等问题,通信是一个主要问题。本文研究了样本分布到不同机器上时稀疏逆协方差阵的估计问题。我们提出了一种方法,其中,在单轮的通信,每台机器转移的逆协方差阵的条目的一个小的子集的通信效率。我们表明,这种有效的分布式方法,错误率可以与估计在非分布设置,正确的模型选择仍然是可能的。通过模拟显示了实际性能。
2016-05-03 stat.ME stat.ML
Efficient nonparametric estimation of Toeplitz covariance matrices
本文提出一种基于数据变换的Toeplitz协方差矩阵非参数估计量,将其转化为近似高斯回归的均值估计,该方法正定、数据驱动且计算极快,并在谱范数下达到最小最大最优,同时扩展至逆矩阵估计。
2024-01-05 math.ST stat.ME stat.TH
Spectral clustering of network time series via the sample covariance matrix
University of California, Los Angeles(加州大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Imperial College London(帝国理工学院)
本文针对依赖结构由未观测随机块模型决定的多变量时间序列,提出基于样本协方差矩阵的谱聚类方法,实现了潜在社区的精确恢复,其理论扩展了矩阵扰动理论至依赖数据场景。
2026-08-05 math.ST stat.ME stat.TH
Model-based bi-clustering using multivariate Poisson-lognormal with general block-diagonal covariance matrix and its applications
本文提出基于多元泊松-对数正态模型和块对角协方差矩阵的双聚类方法,支持列簇数跨组固定或变化,通过变分高斯近似估计参数,并在模拟数据和乳腺癌RNA测序数据上验证了准确性与计算效率。
2025-03-11 stat.AP stat.ME
Multi-level Thresholding Test for High Dimensional Covariance Matrices
我们考虑测试的平等的两个高维协方差阵进行多级阈值的程序,这是为了检测稀疏和微弱的差异之间的协方差。一种新的U-统计组合的开发,建立与矩阵分块和耦合技术的阈值统计的渐近分布。我们提出了一个多阈值测试,被证明是强大的,在检测两个协方差阵之间的稀疏和弱的差异。测试结果表明,有吸引力的检测边界,并达到最佳的最小最大速率在不同的制度下的高维和稀疏的信号强度。仿真研究进行了演示所提出的测试的效用。
2019-10-29 math.ST stat.ME stat.TH
Parameter inference with estimated covariance matrices
当通过计算似然从高斯分布数据集推断参数时,需要描述数据误差及其相关性的协方差矩阵。如果协方差矩阵不是先验已知的,则它可以被估计,从而成为本身具有某种内在不确定性的随机对象。我们展示了如何推断参数的存在下,这样一个估计的协方差矩阵,边缘化的真实协方差矩阵,其估计值的条件。这导致似然函数不再是高斯的,而是多变量t分布的适应版本,其具有与多变量高斯相同的数值复杂度。正如预期的那样,与Hartlap等人相比,真实协方差矩阵的边缘化改善了推断。的方法,该方法使用逆协方差矩阵的无偏估计,但仍然假设似然是高斯的。
2016-01-05 astro-ph.CO stat.ME
Simultaneous Inference for Covariance and Precision Matrices of Long-Range Dependent Time Series
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Marshall School of Business, University of Southern California(南加州大学马歇尔商学院);Department of Statistics and Data Science, Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学统计与数据科学系);Department of Statistics, The University of Chicago(芝加哥大学统计学系)
本文提出一种Berry-Esseen型正态近似结果,用于长期依赖时间序列协方差和精度矩阵的有限样本界推断,采用鞅和m依赖近似及三元块构造方法,支持高维设置和自助法验证。
2026-04-17 math.ST stat.ME stat.TH
Estimating a change point in a sequence of very high-dimensional covariance matrices
本文考虑高维向量序列中协方差阵的变点估计问题,其中维数远大于样本量。一个两阶段的方法,提出了有效地估计的位置的变化点。第一步包括降维以识别对应于显著变化的协方差阵的元素。在第二步中,我们使用降维后的组件来确定变化点的位置。理论特性的步骤和数值研究进行支持新的方法。
2018-07-27 math.ST stat.ME stat.TH
CLT for LSS of sample covariance matrices with unbounded dispersions
在数据维数与样本量成比例趋于无穷大的高维情形下,得到了高维样本协方差阵线性谱统计量的中心极限定理.与现有文献不同的是,我们的结果不需要假设总体协方差阵是有界的。此外,本文还允许实数据中的许多常见核函数,如对数函数和多项式函数。在我们的模型中,尖峰特征值的数量可以是固定的或趋于无穷大。我们提出的中心极限定理中的渐近均值和协方差的一个显著特点是它与总体谱范数的发散阶有关。
2021-06-18 math.PR math.ST stat.ME
Sparse Approximate Factor Estimation for High-Dimensional Covariance Matrices
提出了一种基于$l_1$正则化近似因子模型的协方差矩阵估计方法。我们的稀疏近似因子(SAF)协方差估计允许弱因子的存在,因此放松了标准近似因子模型通常采用的普遍性假设。我们证明了协方差矩阵估计在Frobenius范数下的相合性以及因子载荷和因子的相合性。我们的蒙特卡罗模拟表明,SAF协方差估计具有优越的性能,在有限样本的低,高维和不同的协方差矩阵的设计。此外,在样本外的投资组合预测应用的估计一致优于替代的投资组合策略的基础上,替代协方差估计方法和建模策略,包括$1/N$ -战略。
2019-06-13 econ.EM math.ST q-fin.PM