Sparse Approximate Factor Estimation for High-Dimensional Covariance Matrices
提出了一种基于$l_1$正则化近似因子模型的协方差矩阵估计方法。我们的稀疏近似因子(SAF)协方差估计允许弱因子的存在,因此放松了标准近似因子模型通常采用的普遍性假设。我们证明了协方差矩阵估计在Frobenius范数下的相合性以及因子载荷和因子的相合性。我们的蒙特卡罗模拟表明,SAF协方差估计具有优越的性能,在有限样本的低,高维和不同的协方差矩阵的设计。此外,在样本外的投资组合预测应用的估计一致优于替代的投资组合策略的基础上,替代协方差估计方法和建模策略,包括$1/N$ -战略。
2019-06-13 econ.EM math.ST q-fin.PM
Forecasting Large Realized Covariance Matrices: The Benefits of Factor Models and Shrinkage
Duke University(杜克大学);State Farm(州立农业保险公司);The University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Insper(Insper 商学院)
我们提出了一个模型来预测大的已实现的协方差矩阵的回报,将其应用到标准普尔500指数的成分股。为了解决维度灾难,我们使用标准的公司层面因素(例如,规模、价值和盈利能力),并在残差协方差矩阵中使用部门限制。然后使用具有最小绝对收缩和选择算子(LASSO)的向量非均质自回归(VHAR)模型估计该受限模型。相对于标准基准,我们的方法提高了预测精度,并导致更好地估计最小方差投资组合。
2023-03-22 cs.LG econ.EM q-fin.ST
Homogeneity Test of Several High-Dimensional Covariance Matrices for Stationary Processes under Non-normality
本文提出了一种齐性检验方法,用以检验平稳过程的几个高维协方差阵在不考虑正态性假设的情况下是否相等。我们给出了所提出的测试的渐近分布。仿真结果表明,该方法具有较好的性能.而且,检验的功效可以在一组协方差阵上一致地接近任何高概率。
2020-08-21 math.ST stat.TH
Gaussian distributions on Riemannian symmetric spaces: statistical learning with structured covariance matrices
协方差阵的黎曼几何对于计算机视觉、生物医学信号和图像处理以及雷达数据处理中的一些成功应用是必不可少的。对于这些应用,一个重要的持续挑战是开发黎曼几何工具,适用于结构化的协方差阵。本文提出通过引入一类新的概率分布,高斯分布的结构协方差阵,以满足这一挑战。这些是高斯分布的黎曼模拟,仅从具有预分配结构(例如复、Toeplitz或块Toeplitz)的协方差阵中采样。这些分布的有用性源于三个特征:(1)当处理大的协方差阵时,它们是完全易处理的,无论是解析的还是数值的,(2)它们为结构黎曼重心的概念提供了统计基础(即Fréchet或几何平均),(3)它们导致有效的统计学习算法,其中实现,除其他外,结构化协方差阵的密度估计和分类。本文从观察到的几个空间的结构协方差阵,考虑从几何的角度来看,是黎曼对称空间。因此,它发展了一个原来的理论高斯分布的黎曼对称空间,他们的统计推断,以及他们的关系的概念黎曼重心。然后,利用这一理论,详细描述了三种结构协方差阵的高斯分布,复,Toeplitz,块Toeplitz。最后,它描述了基于高斯分布混合模型的结构化协方差阵的密度估计和分类算法。
2017-05-12 math.ST stat.TH
Estimation for the Linear Model with Uncertain Covariance Matrices
在信号和噪声协方差阵均为不确定的线性观测模型下,得到了最大后验估计。不确定性处理概率建模的协方差阵与前逆Wishart分布。联合估计的信号和协方差阵的非凸问题是解决了计算效率的固定点迭代,以及近似变分贝叶斯解决方案。估计的统计性能进行了数值比较,从文献中的国家的最先进的估计,表现良好。
2014-01-28 math.ST stat.TH
CLT for random quadratic forms based on sample means and sample covariance matrices
本文利用降维技术研究了基于样本均值和样本协方差阵的中心极限理论(CLT)随机二次型。具体地,我们使用由$U_{p\times q}$表示的矩阵来将$q$维样本向量映射到$p$维子空间,其中$q\geq p$或$q\gg p$ .在$p/n\rightarrow 0$为$(p,n)\rightarrow \infty$的条件下,得到了样本均值和样本协方差阵的随机二次型的CLT。
2022-10-20 math.ST stat.TH
Spectral analysis of spatial-sign covariance matrices for heavy-tailed data with dependence
针对具有一般协方差结构的α-正则变化重尾相依总体数据,本文研究空间符号协方差矩阵的谱特性,建立其极限谱分布及线性谱统计量的中心极限定理,并给出几乎最弱的条件(α≥2时Marčenko-Pastur方程成立,α>4时中心极限定理有效)。
2025-02-16 math.ST stat.TH
Estimation of Covariance Matrices under Sparsity Constraints
证明了Frobenius范数下协方差阵估计的最优稀疏预言不等式。特别是,我们探索各种稀疏结构的基础矩阵。
2012-05-06 math.ST stat.TH
Two sample tests for high-dimensional covariance matrices
我们提出了两个检验两个高维总体之间的协方差阵的相等性。一个测试是对整个方差-协方差阵,另一个是对非对角子矩阵,它定义了高维随机向量的两个非重叠段之间的协方差。检验适用于(i)当数据维度远大于样本量时,即“大$p$、小$n$“情况和(ii)不假设两个人群的参数分布。这两个方面都超过了传统的似然比检验的能力。所提出的测试可以用于测试与基因本体论术语相关的协方差。
2012-06-05 math.ST stat.TH
Testing High-dimensional Covariance Matrices under the Elliptical Distribution and Beyond
我们在广义椭圆模型下发展了高维协方差阵的检验。我们的测试是基于一个中心极限定理(CLT)的线性谱统计的样本协方差阵的基础上自归一化的意见。对于测试球度,我们的测试既不假设特定的参数分布,也不涉及数据的峰度。更一般地说,我们可以测试任何非负定矩阵,甚至可以是不可逆的。作为一个有趣的应用,我们在实证研究中说明,我们的测试可以用来测试特质回报之间的不相关性。
2019-12-14 math.ST stat.TH
A review of 20 years of naive tests of significance for high-dimensional mean vectors and covariance matrices
本文介绍了朴素检验的概念,并对朴素检验的最新发展作了简要的评述。朴素测试方法易于理解,并且在维数很大的情况下具有很强的鲁棒性。本文主要综述了高维总体均值向量和协方差阵的朴素检验方法,并认为这种朴素检验思想可以广泛应用于其他检验问题。
2016-07-24 math.ST stat.TH
Functional CLT for sample covariance matrices
利用伯恩斯坦多项式逼近,证明了样本协方差阵线性谱统计量的中心极限定理,该协方差阵由一组开区间上具有连续四阶导数的函数表示,其中包括Marucenko-Pastur定律的支撑函数$[(1-\sqrt{y})^2,(1+\sqrt{y})^2]$.我们还导出了渐近均值和协方差函数的显式表达式。
2010-11-26 math.ST stat.TH
Generalized Bayes Estimators with Closed forms for the Normal Mean and Covariance Matrices
在多元正态分布均值矩阵的估计中,给出了具有封闭形式的广义Bayes估计,并给出了关于矩阵损失函数和标量平方损失函数的极大极小的充分条件.给出了协方差阵的广义Bayes估计的封闭形式,并讨论了Stein损失函数的优势性质。
2021-08-13 math.ST stat.TH
Local Correlation and Gap Statistics under Dyson Brownian Motion for Covariance Matrices
本文是作者本科毕业论文的第三章。本文研究了Dyson布朗运动下线性化协方差阵的局部整体统计量的收敛性。我们考虑确定性的初始数据$V$近似Dyson布朗运动的线性协方差阵的Wigner流。利用Wigner流的普适性结果,我们推导出线性化协方差阵的普适性。我们推导出了双正则二部图和诚实协方差阵的平均体相关函数的体普适性。我们还推出了线性化协方差阵的Dyson布朗运动的弱水平排斥估计。
2017-04-29 math.PR math.ST stat.TH
Nonparametric estimate of spectral density functions of sample covariance matrices: A first step
一般样本协方差阵的极限谱分布的密度函数通常是未知的。我们建议使用被证明是一致的核估计。仿真研究也进行了显示的估计性能。
2012-11-14 math.ST stat.TH
On Convergence Rates of Spiked Eigenvalue Estimates: A General Study of Global and Local Laws in Sample Covariance Matrices
Shanghai University of Finance and Economics(上海财经大学);National University of Singapore(新加坡国立大学);Shanghai University(上海大学)
本文研究了具有一般维度增长率的样本协方差矩阵的全局与局部律,允许样本量与总体维度的比值趋于零、常数或无穷,并据此确定了尖刺特征值估计的收敛速度。
2025-11-04 math.ST stat.TH
Asymptotic independence of spiked eigenvalues and linear spectral statistics for large sample covariance matrices
考虑一般的高维加标样本协方差模型,证明了当样本量与维数成正比时,其首样本加标特征值与线性谱统计量是渐近独立的.作为一个副产品,我们还建立了中心极限定理的领先样本尖峰特征值通过删除块对角假设的人口协方差阵,这是通常需要在文献中。此外,我们提出了一致的估计的$L_4$规范的尖峰人口特征向量。基于这些结果,我们发展了一个新的统计量来检验两个加标总体协方差阵的相等性。数值研究表明,新的测试程序是更强大的比一些现有的方法。
2020-09-24 math.ST stat.TH
Joint CLT for eigenvalue statistics from several dependent large dimensional sample covariance matrices with application
令$\mathbf{X}_n=(x_{ij})$是具有满足Lindeberg型矩条件的复值、独立和标准化条目的$k \times n$数据矩阵。我们同时考虑$R$样本协方差阵$\mathbf{B}_{nr}=\frac1n \mathbf{Q}_r \mathbf{X}_n \mathbf{X}_n^*\mathbf{Q}_r^\top,~1\le r\le R$,其中$\mathbf{Q}_{r}$是具有公共维数$p\times k~(k\geq p)$的非随机实矩阵.假设维数$p$和样本量$n$都增长到无穷大,得到了矩阵$\{\mathbf{B}_{nr}\}$特征值的极限分布,并建立了$R$矩阵$\{\mathbf{B}_{nr}\}$线性谱统计量的联合中心极限定理.接下来,这个新的CLT适用于测试高维白噪声的时间序列建模的问题。在实验中,衍生测试有一个控制的大小,是显着快于经典的排列测试,虽然它确实有较低的功率。这个应用程序突出了联合CLT的必要性,在存在几个相关的样本协方差阵。与此相反,所有现有的工作CLT的线性谱统计的大样本协方差阵处理一个单一的样本协方差矩阵($R=1$)。
2018-01-20 math.ST stat.TH
Modified Pillai's trace statistics for two high-dimensional sample covariance matrices
本研究的目的是在一个高维框架下,使用修正的Pillai迹统计量来检验两个协方差阵的相等性,尺寸和样本量成比例地变为无穷大。本文引入了两个修正的Pillai迹统计量,并在原假设下得到了它们的渐近分布。所提出的统计量的好处包括:(1)样本量可以小于维数;(2)所提出的统计量的极限分布是普遍的;(3)我们不限制总体协方差阵的结构。理论结果是建立在温和的和实际的假设下,并通过模拟和实际数据分析证明了它们的性质。
2020-01-02 math.ST stat.TH
Multilevel maximum likelihood estimation with application to covariance matrices
证明了当最大化被限制在包含真参数值的子空间时,最大似然估计的渐近方差减小。极大似然估计允许协方差模型与样本的系统拟合,这在数据同化中是重要的。分层最大似然方法被应用到谱对角协方差模型与不同的参数化的特征值衰减,和稀疏逆协方差模型与指定的参数值上的不同的非零条目。计算表明,使用较小的参数集可以大大降低高维采样噪声。
2018-01-12 math.ST stat.TH
Universality of sample covariance matrices: CLT of the smoothed empirical spectral distribution
建立了样本协方差阵的光滑经验谱分布的中心极限定理。此外,还发展了Marcenko和Pastur定律的光滑分位数的CLT。
2011-11-23 math.PR math.ST stat.TH
Asymptotic properties of the first principal component and equality tests of covariance matrices in high-dimension, low-sample-size context
高维数据的一个共同特点是数据维数高,但样本量相对较低。我们称这种数据为HDLSS数据。本文研究了HDLSS下第一主成分的渐近性质,并将其应用于高维数据集协方差阵的相等性检验。当样本量固定和样本量趋于无穷大时,我们考虑HDLSS渐近理论的维数增长。我们引入了一个特征值估计的降噪方法,并提供渐近分布的HDLSS上下文中的最大特征值。我们构造了第一贡献率的置信区间。我们给出了第一PC方向和PC分数的渐近性质。我们将研究结果应用于HDLSS上下文中两个协方差阵的相等性检验。我们给出了数值结果,并讨论了第一个PC的估计和两个协方差阵的相等性检验的性能。
2015-03-25 math.ST stat.TH
On spectral properties of high-dimensional spatial-sign covariance matrices in elliptical distributions with applications
空间符号协方差矩阵(SSCM)是稳健统计中样本协方差阵(SCM)的重要替代。本文研究了高维椭圆总体下SSCM的渐近谱行为,其中观测维数$p$和样本量$n$均随它们的比值$p/n\to c\in (0, \infty)$趋于无穷大.该非参数散射矩阵的经验谱分布在分布上收敛于广义马琴科-帕斯托尔定律。此外,还建立了SSCM一般线性谱统计量的一个新的中心极限定理(CLT)。对于多项式谱统计量,给出了CLT中极限均值和协方差函数的显式表达式。导出的结果,然后应用于估计程序和检验程序的总体协方差阵的形状分量的频谱。
2017-05-18 math.ST stat.TH
High-dimensional covariance matrices in elliptical distributions with application to spherical test
本文讨论了当基本总体服从椭圆分布时,高维样本协方差阵的线性谱统计量的波动性。这类总体的坐标之间往往具有高阶相关性,这对线性谱统计量的渐近行为有很大影响。考虑到这种依赖性,本文建立了一类椭圆总体线性谱统计量的一个新的中心极限定理。这个一般性的理论结果有广泛的应用,作为一个例子,它被应用于测试椭圆种群的球形。
2018-03-21 math.ST stat.TH
On testing the equality of high dimensional mean vectors with unequal covariance matrices
本文研究了具有不等协方差阵的高维均值向量的相等性检验问题。这是多元统计分析中最重要的问题之一,文献中提出了各种检验方法。受\citet{BaiS96E}和\cite{ChenQ10T}的启发,引入了一个检验统计量,给出了原假设和备择假设下的无症状分布.此外,它是比较与最近提出的\cite{SrivastavaK13Ta}的检验统计量。结果表明,我们的检验统计量表现得更好,特别是在大尺寸的情况下。
2015-04-26 math.ST stat.TH
Central limit theorem of nonparametric estimate of spectral density functions of sample covariance matrices
Jing,Pan,Shao and Zhou(2010)给出了一般样本协方差阵极限谱分布的相容核估计。本文证明了核估计的中心极限定理。
2010-08-24 math.PR math.ST stat.TH
Testing Kronecker Product Covariance Matrices for High-dimensional Matrix-Variate Data
克罗内克积协方差结构为矩阵变量数据的相关性建模提供了一种有效的方法。本文基于重正化样本协方差阵的线性谱统计量,提出了Kronecker乘积协方差阵的检验统计量。证明了线性谱统计量的中心极限定理,给出了均值函数和协方差函数的显式表达式,填补了文献空白。然后,我们从理论上证明,建议的检验统计量具有良好的控制大小和强大的权力。为了便于实际应用,我们进一步提出了一个自举恢复算法来近似相关的线性谱统计量的极限分布。自举过程的一致性在温和的条件下得到保证。还将讨论允许噪声存在的更一般的模型。在模拟中,所提出的测试程序及其自举版本的经验大小接近相应的理论值,而功率收敛到一个快速的尺寸和样本量的增长。
2022-04-29 math.ST stat.TH
Eigenvector distributions and optimal shrinkage estimators for large covariance and precision matrices
本文研究了高维环境下大型样本协方差矩阵和精度矩阵的Stein不变收缩估计量,在近乎任意总体协方差矩阵模型下建立了广泛损失函数的收缩量渐近极限,其关键贡献是推导出非尖峰特征向量的渐近分布。
2024-04-23 math.PR math.ST stat.TH
On the theoretic and practical merits of the banding estimator for large covariance matrices
本文考虑Bickel和Levina(2008)提出的用于估计大协方差阵的带估计量。我们证明了对于一类近似带状协方差阵,带状估计在算子范数下达到率最优,改进了Bickel和Levina(2008)的已有结果.此外,我们提出了一个斯坦的无偏风险估计(当然)类型的方法来选择带宽的带状估计。仿真结果表明,Sure-tuned带估计优于竞争估计。
2014-02-04 math.ST stat.ME stat.TH
Diagonal Nonlinear Transformations Preserve Structure in Covariance and Precision Matrices
对于多元正态分布,协方差矩阵和精度矩阵的稀疏性编码了关于独立性和条件独立性的完整信息。对于一般分布,协方差矩阵和精度矩阵揭示了变量之间的相关性和所谓的偏相关,但这些一般不与独立性相关。在本文中,我们证明了,对于某一类非高斯分布,这些对应关系仍然成立,对于协方差来说是精确的,对于精度来说是近似的。这些分布--有时也被称为“非超常”分布--是由多元正态随机变量的对角变换给出的。我们提供了几个分析和数值例子说明这些结果。
2021-09-20 math.ST stat.ML stat.TH
How close are the eigenvectors and eigenvalues of the sample and actual covariance matrices?
有多少样本足以保证样本协方差阵的特征向量和特征值接近实际协方差阵的特征向量和特征值?对于广泛的分布族,包括分布与有限的二阶矩和分布支持在一个中心的欧氏球,我们证明了样本和实际的协方差阵的特征向量之间的内积成比例地减少各自的特征值距离。我们的研究结果意味着非渐近浓度界的特征向量,特征空间,和特征值。它们还提供了基于恒定数量的样本区分主成分的条件。
2017-02-17 math.ST stat.ML stat.TH
Principal components of spiked covariance matrices in the supercritical regime
本文研究了超临界条件下尖峰协方差阵的极值特征值和特征向量的渐近性态。具体地说,我们推导出在这个政权的极端特征值和广义分量的特征向量的联合分布。
2020-08-28 math.PR math.ST stat.TH
Efficient nonparametric estimation of Toeplitz covariance matrices
本文提出一种基于数据变换的Toeplitz协方差矩阵非参数估计量,将其转化为近似高斯回归的均值估计,该方法正定、数据驱动且计算极快,并在谱范数下达到最小最大最优,同时扩展至逆矩阵估计。
2024-01-05 math.ST stat.ME stat.TH
Recovery of spectrum from estimated covariance matrices and statistical kernels for machine learning and big data
本文提出了两种从经验协方差阵中恢复协方差阵谱的方案,其中矩阵的维数是观测数的次酉倍数。我们测试,比较和分析这些模拟数据和一些数据来自股票市场。
2018-04-25 math.PR math.ST stat.TH
Quantitative Universality for the Largest Eigenvalue of Sample Covariance Matrices
证明了不可积样本协方差阵的最大特征值的波动收敛到Tracy-Widom分布的第一个显式速度。我们的主要重点是矩阵类型$ X^*X $和证明如下的Erdös-Schlein-Yau动力学方法。我们使用最近的方法来分析戴森布朗运动从[5],以获得定量的误差估计的局部弛豫流的边缘。再加上定量版本的格林函数比较定理,这给出了收敛速率。结合Lee-Schnelli [26]的结果,对于一般对角总体$ Σ$的更一般的可分样本协方差阵$ X^* ΣX $,一些定量估计也成立。
2019-12-11 math.PR math.ST stat.TH
About limiting spectral distributions of block-rescaled empirical covariance matrices
我们建立了块重标经验协方差阵的极限谱分布是一个反正弦定律之间的比例的维数和潜在的样本量收敛到1时,对应于每个块的样本是独立的。我们进一步提出了一个猜想的情况下,后者的比例收敛到一个常数的单位区间。
2022-01-19 math.PR math.ST stat.TH
Multi-level Thresholding Test for High Dimensional Covariance Matrices
我们考虑测试的平等的两个高维协方差阵进行多级阈值的程序,这是为了检测稀疏和微弱的差异之间的协方差。一种新的U-统计组合的开发,建立与矩阵分块和耦合技术的阈值统计的渐近分布。我们提出了一个多阈值测试,被证明是强大的,在检测两个协方差阵之间的稀疏和弱的差异。测试结果表明,有吸引力的检测边界,并达到最佳的最小最大速率在不同的制度下的高维和稀疏的信号强度。仿真研究进行了演示所提出的测试的效用。
2019-10-29 math.ST stat.ME stat.TH
Weak convergence of the empirical spectral distribution of ultra-high-dimensional banded sample covariance matrices
本文研究了高维带状样本协方差阵,在样本量$n$,维数$p$和带宽$d$同时趋于无穷大的情况下,使得$$n/p\to 0 \ \ \text{and} \ \ 2d/n\to y>0.$$.结果表明,这些矩阵的经验谱分布几乎必然弱收敛于某个确定性的概率测度,该测度由其矩表征.自然数的某些限制组合在经验谱分布的期望矩的估计中起着至关重要的作用。
2015-08-26 math.PR math.ST stat.TH
Eigenvalues of sample covariance matrices of non-linear processes with infinite variance
我们研究$k$ -重尾样本协方差阵的形式$\bX\bX^\T$在渐近框架中,其中的数据和样本量的维度趋于无穷大的最大特征值。为此,我们假设$\bX$的行是由一些平稳过程的独立副本与定期变化的边缘指数$α\in(0,2)$满足大偏差和混合条件。我们将这些一般结果应用于随机波动率和Gesthem过程。
2013-09-11 math.PR math.ST stat.TH
Simultaneous Inference for Covariance and Precision Matrices of Long-Range Dependent Time Series
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Marshall School of Business, University of Southern California(南加州大学马歇尔商学院);Department of Statistics and Data Science, Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学统计与数据科学系);Department of Statistics, The University of Chicago(芝加哥大学统计学系)
本文提出一种Berry-Esseen型正态近似结果,用于长期依赖时间序列协方差和精度矩阵的有限样本界推断,采用鞅和m依赖近似及三元块构造方法,支持高维设置和自助法验证。
2026-04-17 math.ST stat.ME stat.TH
Compound Wishart Matrices and Noisy Covariance Matrices: Risk Underestimation
本文利用复合Wishart矩阵的正交不变性,得到了复合Wishart矩阵逆的期望的一个性质。利用这一性质以及随机矩阵理论(RMT)的结果,我们推导出估计协方差矩阵对计算最优投资组合风险的噪声的渐近效应。这反过来又使我们能够得到一个渐近无偏估计的最优投资组合的风险,不仅在独立的情况下,而且在相关的观察。这种改进提供了一种新的方法来估计投资组合的风险的基础上估计的协方差矩阵的指数加权移动平均的股票收益。
2013-06-24 math.ST q-fin.PM q-fin.RM
Estimating a change point in a sequence of very high-dimensional covariance matrices
本文考虑高维向量序列中协方差阵的变点估计问题,其中维数远大于样本量。一个两阶段的方法,提出了有效地估计的位置的变化点。第一步包括降维以识别对应于显著变化的协方差阵的元素。在第二步中,我们使用降维后的组件来确定变化点的位置。理论特性的步骤和数值研究进行支持新的方法。
2018-07-27 math.ST stat.ME stat.TH
A CLT for the difference of eigenvalue statistics of sample covariance matrices
该研究在数据维度与样本量同阶增长的情形下,证明了样本协方差矩阵与删去一列及对应行后矩阵的线性谱统计量之差的中心极限定理,放宽了总体协方差矩阵对角性与各阶矩存在的条件,还建立了差分型谱统计量与常规线性谱统计量的渐近独立性。
2023-06-16 math.PR math.ST stat.TH
A note on conditional covariance matrices for elliptical distributions
本文给出了椭圆分布随机向量的条件协方差阵的一个解析公式,条件是基于边缘随机变量的任意线性组合的值。我们表明,可以引入单变量不变量仅取决于条件集,这大大简化了计算。作为一个应用,我们可以定义唯一定义的基于分位数的集合,条件协方差阵必须彼此相等,如果只有向量是多元正态的。对一般椭圆情形的条件相关阵也得到了类似的结果。
2017-03-02 math.PR math.ST q-fin.RM
Estimation When Both Covariance And Precision Matrices Are Sparse
我们提供了一种方法来估计协方差矩阵的特殊情况下,\textit{both}的协方差阵和精度矩阵是稀疏的--一个约束,我们称之为双稀疏。估计方法是极大似然,服从双稀疏约束。在我们的方法中,只允许一类特殊的稀疏模式:矩阵及其逆矩阵必须从属于同一个弦图。与双重稀疏性的天真执行相比,我们的弦图方法利用了一个特殊的代数局部逆公式。该局部逆属性使得通常涉及逆(精度矩阵或协方差阵的逆)的计算快得多。在协方差阵估计的背景下,我们的建议似乎是第一次找到这样的特殊对协方差和精度矩阵。
2021-08-15 math.ST stat.CO stat.ME
Painleve formulas of the limiting distributions for non-null complex sample covariance matrices
在最近对大非零样本协方差阵的研究中,得到了一个新的函数序列,推广了随机矩阵理论中的GUE Tracy-Widom分布。本文导出了这类函数的Painlevé公式,并用它证明了它们确实是分布函数。讨论了这些新的分布函数在最后一段渗流、串联排队和完全不对称简单排它过程中的应用。作为证明的一部分,给出了单位圆上的正交多项式用离散集上的算子表示。
2005-08-08 math.PR math.ST stat.TH
Eigenvalues of Large Sample Covariance Matrices of Spiked Population Models
考虑了Johnstone提出的一类尖峰种群模型,其种群特征值除少数固定特征值外均为单位。问题是当样本量和总体规模都变大时,样本特征值如何依赖于非单位总体特征值。本文完全确定了一般样本的几乎必然极限。
2004-08-12 math.PR math.ST stat.TH
Estimating covariance and precision matrices along subspaces
研究了利用有限样本协方差估计$D$ -变量亚高斯分布沿指定子空间或方向的协方差和精度矩阵的精度。我们的研究结果表明,估计精度几乎完全取决于所需的子空间或方向对应的分布的组件。这对于数据在低维空间中的行为是特别感兴趣的问题是相关的和重要的,例如降维或结构化回归问题。我们还证明了精度矩阵的估计几乎与协方差阵的条件数无关。所提出的应用包括方向敏感的特征空间扰动界,最小特征值的相对界,和单指标模型的估计。对于后者,一个新的估计,来自分析,提出了强有力的理论保证和优越的数值性能。
2020-12-06 math.ST stat.ML stat.TH
CLT for LSS of sample covariance matrices with unbounded dispersions
在数据维数与样本量成比例趋于无穷大的高维情形下,得到了高维样本协方差阵线性谱统计量的中心极限定理.与现有文献不同的是,我们的结果不需要假设总体协方差阵是有界的。此外,本文还允许实数据中的许多常见核函数,如对数函数和多项式函数。在我们的模型中,尖峰特征值的数量可以是固定的或趋于无穷大。我们提出的中心极限定理中的渐近均值和协方差的一个显著特点是它与总体谱范数的发散阶有关。
2021-06-18 math.PR math.ST stat.ME
Distribution of singular values in large sample cross-covariance matrices
本文将 Marchenko-Pastur 结果从样本协方差矩阵特征值推广到高斯大矩阵交叉协方差矩阵的奇异值分布,为数据科学中的交叉相关性显著性检验提供理论工具。
2025-06-27 cond-mat.dis-nn math.ST physics.data-an
Riemannian statistics meets random matrix theory: towards learning from high-dimensional covariance matrices
黎曼高斯分布最初被引入作为学习模型的基本构建块,其目的是捕获正定矩阵(这里称为协方差阵)的统计总体的内在结构。虽然这种模型的潜在应用已经引起了极大的关注,一个主要的障碍仍然站在这些应用的方式:似乎不存在计算与黎曼高斯分布的高维空间的协方差阵的归一化因子的实用方法。本文表明,这种失踪的方法来自一个意想不到的新的连接与随机矩阵理论。其主要贡献是证明了实、复或四元数协方差阵的黎曼高斯分布等价于正交、酉或辛对数正规矩阵系综。这种等价性产生了一个非常有效的近似的归一化因子,在一个相当简单的解析表达式。由于这种近似的误差减少类似于尺寸的平方反比。数值实验表明,这种新的近似可以解锁的困难,阻碍了应用程序的高维协方差阵的真实世界的数据集。然后,本文转向黎曼高斯分布的块Toeplitz协方差阵。这些等价于另一种随机矩阵集合,这里称为“acosh-normal”集合。正交和酉“acosh-normal”系综分别对应于块Toeplitz与Toeplitz块的情况,以及块Toeplitz(与一般块)协方差阵的情况。
2022-12-26 math.PR math.ST stat.CO
Cleaning large-dimensional covariance matrices for correlated samples
我们阐明的问题,估计高维协方差矩阵中存在的样本之间的相关性。为此,我们推广的Marcenko-Pastur方程和Ledoit-Peche收缩估计使用随机矩阵理论和自由概率的方法。我们开发了一个有效的算法,实现相应的解析公式,基于Ledoit-Wolf核估计技术。我们还提供了一个相关的开源Python库,称为“收缩”,具有用户友好的API,以帮助估计大型协方差矩阵的实际任务。我们提出了一个例子,它的使用根据指数衰减的自相关生成的合成数据。
2022-02-01 math-ph math.MP math.ST
Estimation of large covariance matrices via free deconvolution: computational and statistical aspects
本文利用自由概率论中的自由反卷积方法,通过复分析求$S$-变换的逆,解决大协方差矩阵估计的高维偏差问题,并兼顾计算与统计方面。
2023-05-09 math.PR math.ST stat.CO
New Methods for Handling Singular Sample Covariance Matrices
在多元统计学、无线通信、信号处理、生物学、学习理论和金融学等领域中,从不足的数据量估计协方差阵是最常见的问题之一。在Marzetta、Tucci和Simon的联合工作中,提出了一种处理奇异协方差阵的新方法。其主要思想是使用降维结合平均在Stiefel流形。在本文中,我们继续这项研究,我们认为一些新的方法来解决这个问题。其中一种方法被称为Ewens估计器,并使用关于Ewens测量的所有置换矩阵上的样本协方差阵的随机化。用于解决这个问题的技术是广泛的,从随机矩阵理论到组合学。
2018-12-21 cs.IT math.IT math.PR