High Dimensional Covariance Matrix Estimation Using a Factor Model
与样本量相当的高维数在许多统计问题中是常见的。我们研究协方差矩阵估计的渐近框架,$p$倾向于$\infty$作为样本大小$n$增加。受金融学中套利定价理论的启发,采用多因素模型降维并估计协方差阵。因子是可观察的,因子$K$的数量允许随$p$增长。我们研究了$p$和$K$对基于模型的协方差阵估计器性能的影响。在适当的假设下,我们建立了基于模型的估计的收敛速度和渐近正态性。并与样本协方差阵的性能进行了比较。我们确定的情况下,因素的方法大大提高或轻微的性能。研究了协方差阵估计对投资组合配置和风险管理的影响。的渐近结果支持一个彻底的模拟研究。
2007-01-04 math.ST stat.TH
Asymptotic distribution for the proportional covariance model
导出了多元正态分布下比例协方差模型的渐近分布。为此,采用了通过其Cholesky根的公共协方差阵的参数化。推导分三步进行。首先,通过求信息矩阵及其逆矩阵,得到了公共协方差阵的比例系数和Cholesky逆根的极大似然估计的渐近分布。接下来,使用多变量$δ$方法推导出共同协方差阵的Cholesky根的情况下的渐近分布,最后推导出共同协方差阵本身的情况下的渐近分布。作为本文导出的渐近分布的一个应用,考虑了协方差阵的齐性假设。
2021-03-21 math.ST stat.TH
SURE Information Criteria for Large Covariance Matrix Estimation and Their Asymptotic Properties
考虑具有协方差阵$Σ.$的独立同分布的$p$ -维高斯随机向量当$p$远大于$n$时估计$Σ$的问题近年来受到了很多关注.然而,很少有人知道的协方差阵估计的信息准则。如何正确定义这样一个标准,统计特性是什么?本文主要研究$p>n$和$\log(p)=o(n)$同时存在时的可带协方差矩阵的估计问题。基于Stein无偏风险估计(SURE)与回归模型中AIC之间的密切联系,本文提出了一类广义SURE($\text{SURE}_c$)协方差阵估计,其中$c$为常数.当$c$为2时,$\text{SURE}_2$提供协方差阵估计量的Frobenious风险的无偏估计量。此外,我们表明,通过最小化$\text{SURE}_2$在所有可能的带状协方差阵估计,我们达到最小最优收敛速度和所得的估计行为像协方差阵估计获得所谓的Oracle调整。另一方面,我们还表明,$\text{SURE}_2$是选择不一致时,真正的协方差阵是完全带状。为了解决选择的不一致性,我们考虑使用SURE与$c=\log(n)$,并证明通过最小化$\text{SURE}_{\log(n)}$,我们选择的概率趋于一的真实带宽。因此,我们的分析表明,$\text{SURE}_2$和$\text{SURE}_{\log(n)}$可以被视为大协方差阵估计的AIC和BIC。
2016-03-04 cs.IT math.IT math.ST
High-dimensional covariance matrix estimation with missing observations
本文研究了有缺失观测值的高维近似低秩协方差阵估计问题。我们提出了一个简单的程序计算易处理的高维,不需要填补缺失的数据。我们建立了非渐近稀疏预言不等式的协方差阵的估计与Frobenius和谱范数,有效的样本量和尺寸的任何设置的观察。我们进一步建立极大极小下界表明,我们的利率是极大极小最优的对数因子。
2012-05-11 math.ST stat.TH
Central limit theorems for functionals of large sample covariance matrix and mean vector in matrix-variate location mixture of normal distributions
本文在矩阵变量正态位置混合分布下,建立了大维情形中样本协方差矩阵及其逆矩阵与样本均值向量乘积的中心极限定理。
2017-07-13 math.ST stat.TH
Asymptotic testing of covariance separability for matrix elliptical data
University of Turku(图尔库大学);University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心)
本文提出了一种用于检验矩阵椭圆数据协方差分离性的渐近检验方法,适用于宽矩阵椭圆模型,并在重尾分布和正态数据情况下均表现出良好的统计功效。
2026-01-23 math.ST stat.ME stat.TH
Covariance matrix filtering with bootstrapped hierarchies
对象间相关性的统计推断通常依赖于协方差矩阵。除非特征(例如数据点)的数量远大于对象的数量,否则协方差矩阵清理对于减少估计噪声是必要的。我们提出了一种方法,该方法是强大的,但足够灵活的结构协方差矩阵的精细细节。鲁棒性来自于使用层次分析和集群之间的依赖平均;灵活性来自于引导过程。该方法发现了DNA微阵列基因表达数据中几种可能的层次结构,在数据点数量相对较少的情况下,全局最小方差组合的已实现风险比现有的滤波方法要低。
2020-03-12 q-fin.RM q-fin.ST stat.ME
Tests for covariance matrix with fixed or divergent dimension
协方差结构检验在统计分析的许多领域都有重要意义,如微阵列分析和信号处理。传统的有限维协方差检验一般不能应用于高维数据,文献中的高维协方差检验通常依赖于矩阵的某些特殊结构。本文提出了一些经验似然比检验方法,用于检验协方差阵是否等于给定的协方差矩阵或是否具有带状结构。新检验的渐近分布与维数无关。
2013-10-30 math.ST stat.TH
Regularized LRT for Large Scale Covariance Matrices: One Sample Problem
本文的主要目的是对用于检验高维协方差阵的似然比检验(LRT)进行改进。最近,研究者们给出了一个高维情形($p/n$趋近于常数$γ\in (0,1]$的情形)下LRT的正确渐近分布。正确的程序被命名为校正的LRT。尽管其校正,校正的LRT是样本特征值的函数,其遭受来自高维度的冗余可变性,并且随后在区分协方差阵上的假设时仍然不具有全部功效。在本文中,一个线性收缩的协方差矩阵估计(简单收缩估计)在各种应用中的成功的动机,我们提出了一个正则化的LRT,使用,在定义LRT,收缩估计,而不是样本协方差阵。当真实的协方差阵是单位矩阵和尖峰协方差阵时,我们计算正则化LRT的渐近分布。所得到的渐近结果在检验协方差阵的各种假设中有应用。在这里,我们应用它们来测试的真实的协方差阵,这是一个长期存在的问题,在文献中的身份,并表明正则化的LRT优于校正的LRT,这是其非正则化的对应。此外,我们比较的权力,最近的非似然为基础的程序的正规化LRT。
2016-06-10 stat.ME
Existence and uniqueness of the maximum likelihood estimator for models with a Kronecker product covariance structure
本文讨论了多元高斯模型,其中协方差阵是两个矩阵的Kronecker积。我们考虑模型参数的极大似然估计,特别是协方差阵。Kronecker乘积协方差阵的极大似然估计量没有明确的表达式。本文的主要问题是协方差阵的极大似然估计是否存在以及它是否唯一。对于我们考虑的不同模型,答案是不同的。
2014-10-08 math.ST stat.TH
Tests for High-Dimensional Covariance Matrices Using Random Matrix Projection
当数据维数$p$大于样本量$n$时,由于样本协方差阵的奇异性,用于检验两个协方差阵相等性的经典似然比检验失效。在本文中,我们提出了一个概念上简单的方法,使用随机投影的数据投影到一维随机子空间,使传统的方法可以应用。研究了高维协方差阵的单样本和双样本检验问题。渐近结果的建立和数值结果比较我们的方法与国家的最先进的方法在文献中。
2015-11-05 stat.ME
Law of Log Determinant of Sample Covariance Matrix and Optimal Estimation of Differential Entropy for High-Dimensional Gaussian Distributions
多元高斯分布协方差阵的微分熵和对数行列式在编码、通信、信号处理和统计推断中有着广泛的应用。本文考虑高维情形下协方差阵的微分熵和对数行列式的最优估计。我们首先建立了一个中心极限定理的对数行列式的样本协方差阵在高维设置的维度$p(n)$可以增长的样本大小$n$。然后考虑微分熵和对数行列式的估计。得到了最优的收敛速率。证明了在$p(n)/n \rightarrow 0$情形下,估计量是渐近尖锐的极小极大.本文还讨论了$p(n) > n$的超高维情况。
2013-09-02 cs.IT math.IT math.ST
Spectral statistics of high dimensional sample covariance matrix with unbounded population spectral norm
本文在谱范数发散的总体模型下,建立了高维样本协方差阵谱统计量的一些新的中心极限定理。该模型涵盖了作为特殊情况的发散尖峰种群模型。同时,尖峰特征值的数量可以是固定的或增长到无穷大。从我们的定理中可以看出,总体谱范数的发散对线性谱统计量的涨落的影响是变化无常的,取决于发散率。
2021-04-07 math.ST stat.TH
Covariance matrix testing in high dimension using random projections
由于传统的多元渐近理论不再适用,高维协方差阵的估计和假设检验是一个具有挑战性的问题。当维数大于样本大小或随样本大小增加时,协方差阵的基于标准似然的检验具有较差的性能。现有的高维测试要么计算昂贵,要么对第一类错误的控制非常弱。在本文中,我们提出了一个测试程序,CRAMP,用于测试假设,涉及一个或多个协方差阵使用随机投影。将高维数据随机投影到低维子空间消除了维数灾难,允许使用传统的多变量测试。一个广泛的模拟研究进行比较CRAMP对渐近为基础的高维测试程序。所提出的方法的两个基因表达数据集的应用。
2020-11-16 stat.CO stat.ME
Testing Kronecker Product Covariance Matrices for High-dimensional Matrix-Variate Data
克罗内克积协方差结构为矩阵变量数据的相关性建模提供了一种有效的方法。本文基于重正化样本协方差阵的线性谱统计量,提出了Kronecker乘积协方差阵的检验统计量。证明了线性谱统计量的中心极限定理,给出了均值函数和协方差函数的显式表达式,填补了文献空白。然后,我们从理论上证明,建议的检验统计量具有良好的控制大小和强大的权力。为了便于实际应用,我们进一步提出了一个自举恢复算法来近似相关的线性谱统计量的极限分布。自举过程的一致性在温和的条件下得到保证。还将讨论允许噪声存在的更一般的模型。在模拟中,所提出的测试程序及其自举版本的经验大小接近相应的理论值,而功率收敛到一个快速的尺寸和样本量的增长。
2022-04-29 math.ST stat.TH
On eigenvalues of a high-dimensional spatial-sign covariance matrix
本文研究了当变量个数和样本量均为无穷大时,多元样本空间符号协方差阵特征值的极限性质。基本的p变量总体足够一般,包括流行的独立成分模型和椭圆分布族。第一个结果的文件建立的特征值的分布收敛到一个确定性的限制,属于家庭的广义Marcenko-Pastur分布。进一步,对一类线性谱统计量建立了一个新的中心极限定理。我们开发了两个应用程序,这些结果强大的统计高维形状矩阵。首先,提出了两个检验球度的统计量。其次,提出了一种基于样本空间符号协方差阵的谱校正估计器。仿真实验表明,在高维空间,样本空间符号协方差阵提供了一个有效的和强大的工具,以减轻离群值的影响。
2021-01-22 math.ST stat.TH
Random Matrix Improved Covariance Estimation for a Large Class of Metrics
CentraleSupélec(巴黎中央理工-高等电力学院);University ParisSaclay(巴黎萨克雷大学);GIPSA-lab(格勒诺布尔图像、信号、自动化与控制实验室);University Grenoble-Alpes(格勒诺布尔阿尔卑斯大学);LISTIC(信息系统、系统集成与建模实验室);University Savoie Mont-Blanc(萨瓦大学)
基于随机矩阵理论的协方差距离统计估计的最新进展,本文提出了一种改进的协方差和精度矩阵估计的一个广泛的家庭的度量。该方法被证明在很大程度上优于样本协方差阵估计,并与国家的最先进的方法竞争,而在同一时间被计算简单。线性和二次判别分析的应用也表现出显着的收益,因此表明统计机器学习的实际利益。
2019-02-07 cs.LG stat.ML
Estimation of the sample covariance matrix from compressive measurements
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文主要研究从被称为压缩测量的数据的低维随机投影中估计样本协方差阵。特别是,我们提出了一个无偏估计量,以提取协方差结构的压缩测量得到的一般类随机投影矩阵组成的独立同分布。零均值项和有限前四阶矩。与以前的工作相比,我们没有对底层的协方差阵进行结构性假设,例如低秩。事实上,我们的分析是基于非贝叶斯数据设置,不需要对数据样本集进行分布假设。此外,受投影矩阵的一般性的启发,我们提出了一种利用稀疏Rademacher矩阵的协方差估计方法。因此,我们的算法可以用来估计的协方差阵在有限的存储器和计算能力的采集设备的应用。实验结果表明,我们的方法允许精确估计的样本协方差阵在几个现实世界的数据集,包括视频数据。
2017-04-28 cs.LG stat.ML
Differentially Private High Dimensional Sparse Covariance Matrix Estimation
State University of New York at Buffalo(纽约州立大学布法罗分校)
本文研究了在差分隐私下协方差矩阵的估计问题,其中协方差矩阵是稀疏的和高维的。我们提出了一种新的方法,称为DP-保持,实现一个非平凡的$\ell_2$ -范数为基础的误差界,这是显着优于现有的直接添加噪声的经验协方差矩阵。我们还扩展了$\ell_2$ -范数为基础的误差界的一般$\ell_w$ -范数为基础的任何$1\leq w\leq \infty$,并表明他们共享相同的上界渐近。我们的方法可以很容易地扩展到本地差分隐私。在合成数据集上的实验结果与我们的理论主张一致。
2019-04-15 cs.LG stat.ML
Non-asymptotic Estimation of Sparse Partial Correlation via Joint Partial Regression
Division of Decision and Control Systems(决策与控制系统系);KTH Royal Institute of Technology(皇家理工学院);Lynx Asset Management AB(Lynx资产管理部门)
本文利用逆协方差与线性回归的联系,提出带正半定约束的两阶段联合偏回归方法,用于稀疏高维逆协方差和偏相关矩阵估计,并给出非渐近速率、高效算法及实验验证。
2026-10-28 cs.LG stat.ML
Detecting the large entries of a sparse covariance matrix in sub-quadratic time
Weizmann Institute of Science(魏茨曼科学研究所)
$p$维随机变量的协方差阵是数据分析中的一个基本量。给予$n$ i.i.d.对于观测值,它通常由样本协方差阵估计,计算成本为$O(np^{2})$运算。当$n,p$较大时,该计算可能非常慢。此外,在一些当代应用中,总体矩阵近似稀疏,只有少数几个大的条目是感兴趣的。这提出了以下问题,在我们的工作重点:假设近似稀疏的协方差阵,它的大条目可以检测得更快,说在次二次时间,而不显式计算所有的$p^{2}$条目?在本文中,我们提出并理论分析了两个随机算法,检测一个近似稀疏的样本协方差阵的大项目,仅使用$O(np\text{ poly log } p)$操作。此外,假设稀疏的人口矩阵,我们得到充分条件的基础随机变量和样本数$n$,样本协方差阵,以满足我们的近似稀疏性要求。最后,我们说明了我们的算法通过几个模拟的性能。
2015-12-20 cs.LG stat.CO stat.ML
Recover the spectrum of covariance matrix: a non-asymptotic iterative method
Georgia Institute of Technology(佐治亚理工学院);University of Bucharest(布加勒斯特大学);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所)
众所周知,样本协方差在谱中具有一致性偏差,例如Wishart矩阵的谱服从Marchenko-Pastur定律。在这项工作中,我们引入了一个迭代算法“浓度”,积极消除这种偏见,并恢复真正的光谱小,中等尺寸。
2022-01-01 cs.LG stat.CO stat.ML
Covariance Estimation for Matrix-valued Data
矩阵值数据的协方差估计在应用中受到越来越多的关注。不同于以往的工作,严重依赖于矩阵正态分布假设和固定的矩阵大小的要求,我们提出了一类分布无关的正则化的协方差估计方法,用于高维矩阵数据在一个可分离的条件和一个带宽的协方差结构.在这些条件下,原始协方差矩阵被分解成两个可带小协方差阵的克罗内克积,表示行和列方向上的变异性。我们制定了一个统一的框架,估计带协方差,并介绍了一个有效的算法的基础上秩一无约束克罗内克积近似。建立了估计量的收敛速度,导出的Minimax下界表明我们提出的估计量在一定的矩阵大小的发散制度下是速率最优的。我们进一步引入了一类稳健协方差估计,为处理重尾数据提供了理论保证。我们展示了优越的有限样本性能,我们的方法使用模拟和实际应用,从网格化的温度异常数据集和标准普尔500指数的股票数据分析。
2022-04-18 stat.ME stat.ML
Classification of BCI-EEG based on augmented covariance matrix
Université Côte d’Azur (UCA)(蔚蓝海岸大学(UCA));Centre Inria d’Université Côte d’Azur(蔚蓝海岸大学国家信息与自动化研究所中心)
目的:将脑电信号记录为多维数据集。我们提出了一个新的框架的基础上增强协方差提取自回归模型,以提高运动想象分类。研究方法:从自回归模型可以推导出尤尔-沃克方程,它显示了一个对称正定矩阵的出现:增广协方差矩阵。对协方差矩阵进行分类的现有技术是基于黎曼几何。因此,一个相当自然的想法是使用这些增广协方差矩阵来扩展标准方法。创建增广协方差矩阵的方法与Takens为动力系统提出的延迟嵌入定理有着天然的联系。这样的嵌入方法是基于两个参数的知识:延迟和嵌入维数,分别与自回归模型的滞后和阶。这种方法提供了新的方法来计算超参数除了标准的网格搜索。结果:增广协方差矩阵的表现明显优于任何国家的最先进的方法。我们将使用MOABB框架在几个数据集和几个主题上测试我们的方法,使用会话内和跨会话评估。结论:结果的改善是由于这样的事实,即增强的协方差矩阵不仅包含空间信息,而且包含时间信息,通过嵌入过程,这允许利用动态系统算法的信号的非线性分量。意义:这些结果扩展了基于黎曼距离的分类算法的概念和结果。
2023-02-09 cs.HC cs.LG physics.data-an
Sparse Covariance Estimation in Logit Mixture Models
本文介绍了一种新的数据驱动的方法估计稀疏协方差阵的随机系数的Logit混合模型。研究人员通常在两个极端假设之一下指定logit混合模型中的协方差阵:不受限制的完整协方差阵(允许所有随机系数之间的相关性)或限制的对角矩阵(完全不允许相关性)。我们的目标是找到相关系数的最佳子集,我们估计协方差。我们提出了一个新的估计,称为MISC,使用混合整数优化(MIO)程序找到一个最佳的块对角结构规范的协方差矩阵,对应于相关系数的子集,为任何所需的稀疏水平,使用马尔可夫链蒙特卡罗(MCMC)后提请从不受限制的完整的协方差阵。使用样本外验证确定协方差阵的最佳稀疏水平。我们证明了MISC从合成数据中正确恢复真实协方差结构的能力。在一个实证说明中,我们使用MISC来获得一个稀疏的协方差阵,表明属性的偏好是如何相互关联的。
2020-01-14 econ.EM stat.ME stat.ML
Using Empirical Covariance Matrix in Enhancing Prediction Accuracy of Linear Models with Missing Information
缺失信息情形下的推理与估计是统计学习理论和机器学习的重要研究课题。在ML文献中,已经尝试通过精确的特征选择方法来增强预测。在稀疏线性模型中,LASSO在提取信号的期望支持和抵抗噪声系统方面是众所周知的。当稀疏模型也遭受MI时,稀疏恢复和缺失模型的推理同时考虑。在本文中,我们将介绍一种方法,享有稀疏回归协方差阵估计,以提高矩阵完成的准确性,从而提高特征选择的精度,从而导致减少预测均方误差(MSE)。我们将比较采用协方差阵在提高估计精度的情况下,它不用于特征选择的效果。仿真结果表明,与不使用协方差阵估计的情况相比,该方法的性能得到了改善。
2017-07-25 stat.ME stat.ML
Two New Algorithms for Solving Covariance Graphical Lasso Based on Coordinate Descent and ECM
协方差图形套索对协方差阵的元素应用套索惩罚。该方法不仅能产生协方差阵的稀疏估计,而且能通过在协方差阵中生成零点来发现边缘独立结构。我们提出并探索两个新的算法解决协方差图形套索问题。我们的新算法是基于坐标下降和ECM。我们表明,这两个算法比Bien和Tibshirani(2011)的唯一现有的竞争算法在简单性,速度和稳定性方面更有吸引力。我们还讨论了算法的收敛性。
2012-05-18 stat.CO stat.ML
Entropic covariance models
本文提出对协方差矩阵多种变换施加线性约束的通用框架,通过凸优化得到 $M$-估计量,并恢复 $\sqrt{n/d}$ 速率。
2024-05-07 math.ST stat.ML stat.TH