Core Shrinkage Covariance Estimation for Matrix-variate Data
随机矩阵的可分离协方差模型提供了矩阵行与列之间的协方差的简约描述，并允许以非常小的样本量进行基于似然的推断。然而，在许多应用中，精确可分性的假设不太可能得到满足，并且使用可分离模型的数据分析可能会忽略或歪曲数据中的重要依赖模式。在这篇文章中，我们提出了一个折衷的可分离和非结构化的协方差估计。我们展示了如何设置的协方差阵可以唯一参数化的一组可分离的协方差阵和一个互补的“核心”协方差阵，其中的核心可分离的协方差阵的单位矩阵。该参数化定义了协方差阵的克罗内克核分解。通过经验Bayes方法对样本协方差阵的核进行收缩，得到了一个能适应总体协方差阵可分性的估计量.
2022-07-25 stat.ME
Nonparametric Stein-type Shrinkage Covariance Matrix Estimators in High-Dimensional Settings
估计协方差阵在变量数大于观测数的应用中是一项重要任务。估计高维协方差矩阵的收缩方法经常被用来规避样本协方差阵的限制。提出了一类新的非参数Stein型收缩协方差估计，其成员表示为样本协方差阵和预定可逆目标矩阵的凸线性组合.在Frobenius范数准则下，定义最佳凸线性组合的最佳收缩强度取决于不可观测的协方差阵，并且必须从数据中估计。一个简单而有效的估计过程，产生非参数和相合估计量的最佳收缩强度为三个流行的目标矩阵。在模拟中，建议斯坦型收缩协方差阵估计的基础上缩放的单位矩阵似乎是高达80%的效率比现有的极端高维设置。结肠癌数据集进行了分析，以证明所提出的估计的效用。一个经验法则的特设选择三个常用的目标矩阵的建议。
2014-11-03 stat.ME
A Matrix-Variate Log-Normal Model for Covariance Matrices
Sapienza University of Rome（罗马大学）
本文提出了一种基于矩阵变量对数正态分布的协方差矩阵建模方法，通过简洁的规范和偏差校正，有效处理时间变化协方差矩阵问题。
2026-01-29 stat.ME
A cautionary note on robust covariance plug-in methods
许多多元统计方法严重依赖于样本协方差阵。然而，众所周知，样本协方差阵是高度非稳健的。一种流行的“鲁棒”多元方法的替代方法是简单地用一些鲁棒的散布矩阵代替协方差阵的作用。本文的目的是指出，在某些情况下的协方差阵的某些属性是需要相应的强大的“插件”方法是一个有效的方法，并不是所有的散布矩阵一定拥有这些重要的属性。特别是，以下三个多变量的方法进行了讨论，本文：独立成分分析，观测回归和图形建模。对于每种情况下，它示出，使用对称化的强大的分散矩阵的位置的协方差阵的结果在一个适当的强大的多变量方法。
2014-04-03 stat.ME
The Rank of the Covariance Matrix of an Evanescent Field
瞬逝随机场作为均匀随机场的2-D Wold分解的分量而出现。渐逝随机场除了具有重要的理论意义外，还有许多实际应用，例如在机载雷达数据的空时自适应处理（STAP）中对观测信号建模。本文导出了消逝随机场中有限维样本的低秩协方差阵的秩的表达式。结果表明，该协方差阵的秩完全由倏逝场光谱支持参数单独决定。因此，估计秩的问题使其自身适合于避免需要从样本协方差阵估计秩的解决方案。我们表明，这一结果可以立即应用到大大简化的STAP问题中的干扰协方差阵的秩的估计。
2009-10-05 stat.ME
Bayesian Covariance Matrix Estimation using a Mixture of Decomposable Graphical Models
贝叶斯方法用于估计高斯数据的协方差阵。从高斯图形模型和模型选择的想法被用来构建一个先验的协方差阵，是一个混合在所有可分解的图。对于该先验，每个图大小的概率由用户指定，并且相同大小的图被分配相同的概率。大多数以前的方法假设所有的图都是同样可能的。我们的经验表明，分配相等的概率在图形大小的先验优于分配相等的概率在所有图形的先验，无论是在识别正确的可分解图，并在更有效地估计的协方差阵。
2007-06-09 stat.ME
Regularized LRT for Large Scale Covariance Matrices: One Sample Problem
本文的主要目的是对用于检验高维协方差阵的似然比检验（LRT）进行改进。最近，研究者们给出了一个高维情形（$p/n$趋近于常数$γ\in (0,1]$的情形）下LRT的正确渐近分布。正确的程序被命名为校正的LRT。尽管其校正，校正的LRT是样本特征值的函数，其遭受来自高维度的冗余可变性，并且随后在区分协方差阵上的假设时仍然不具有全部功效。在本文中，一个线性收缩的协方差矩阵估计（简单收缩估计）在各种应用中的成功的动机，我们提出了一个正则化的LRT，使用，在定义LRT，收缩估计，而不是样本协方差阵。当真实的协方差阵是单位矩阵和尖峰协方差阵时，我们计算正则化LRT的渐近分布。所得到的渐近结果在检验协方差阵的各种假设中有应用。在这里，我们应用它们来测试的真实的协方差阵，这是一个长期存在的问题，在文献中的身份，并表明正则化的LRT优于校正的LRT，这是其非正则化的对应。此外，我们比较的权力，最近的非似然为基础的程序的正规化LRT。
2016-06-10 stat.ME
Bayesian Covariance Estimation for Multi-group Matrix-variate Data
针对小样本多组矩阵变量数据协方差估计的方法选择难题，提出可同时实现跨组合并收缩与组内Kronecker结构收缩的分层先验，在语音识别等场景验证了效用。
2024-03-07 stat.ME
High-dimensional covariance matrix estimation using a low-rank and diagonal decomposition
在协方差/精度矩阵可分解为低秩分量L和对角分量D的假设下，研究了高维协方差/精度矩阵的估计. L的秩可以选择为小的或由惩罚函数控制。在适当的条件下，人口协方差/精度矩阵本身和惩罚函数，我们证明了一些一致性结果，我们的估计。一个分块坐标下降算法，迭代更新L和D，然后提出在实践中获得的估计。最后，各种数值实验：使用模拟数据，我们表明，我们的估计表现相当不错的Kullback-Leibler损失方面，使用股票收益率数据，我们表明，我们的方法可以应用于获得增强的解决方案的Markowitz投资组合选择问题。
2018-02-16 stat.ME
Limitations on detecting row covariance in the presence of column covariance
多变量数据分析的许多推理技术假设数据矩阵的行是独立且同分布的随机向量的实现。例如，如果数据矩阵的行是一组独立采样单元上的多变量测量，则将满足这样的假设。在缺乏独立随机样本的情况下，一个相关的问题是，假设这种行交换的统计模型是否合理。一种方法来评估这种可解释性是行协变的统计检验。无论列协方差或矩阵均值如何，都可以通过在适当的变换组下不变的检验来实现恒定的I类差错率的维持。在一类椭圆轮廓的矩阵回归模型（如矩阵正常模型）的背景下，我表明，有没有非平凡的不变检验，如果行的数目是不是足够大于列的数目。此外，我表明，即使行数是大的，有没有非平凡的不变检验，有权力检测任意行协方差中存在的任意列协方差。然而，我们可以构造有偏检验，它有能力检测在实践中可能遇到的某些类型的行协方差。
2015-12-30 math.ST stat.ME stat.TH
An Empirical Bayes Jackknife Regression Framework for Covariance Matrix Estimation
本文将协方差矩阵估计构建为复合决策问题，提出结合刀切技术与机器学习回归的算法，在不依赖数据分布假设下逼近最优决策规则，实验表明其性能达到或超越现有最先进方法。
2025-03-03 stat.ME
Gini Covariance Matrix and its Affine Equivariant Version
我们提出了一个新的协方差阵称为基尼协方差阵（GCM），这是一个自然的推广单变量基尼均值差（GMD）的多变量的情况下。该扩展是基于GMD的协方差表示，通过应用多元空间秩函数。我们研究了GCM的性质，特别是在椭圆分布族中。为了得到GCM的仿射等变性质，我们利用变换-再变换（TR）技术得到了一个仿射等变GCM，它是一个对称化的M-泛函。得到了这两种大气环流模式的影响函数，并给出了它们的估计。估计量的渐近结果已经建立。一个密切相关的散射Kotz功能和它的估计也进行了探讨。最后，在不同分布下，比较了TR型GCM与样本协方差阵、Tyler-M估计以及其它散布估计的渐近效率和有限样本效率。
2016-10-25 stat.ME
The spatial sign covariance matrix and its application for robust correlation estimation
我们总结了空间符号协方差阵的性质，特别是看它的特征值和椭圆分布的形状矩阵的特征值之间的关系。在双变量情况下已知的显式关系用于构建空间符号相关系数，这是椭圆模型内相关系数的非参数和稳健估计量。我们考虑一个多元推广，我们称之为多元空间符号相关矩阵。
2016-06-07 stat.ME
Linear shrinkage of sample covariance matrix or matrices under elliptical distributions: a review
本文综述了单总体和多总体椭圆分布下样本协方差矩阵的线性收缩方法，指出最优收缩系数仅取决于椭圆峰度和球形度等少数参数，并展示了其在投资组合优化中的应用。
2023-08-09 stat.ME
Tests for High-Dimensional Covariance Matrices Using Random Matrix Projection
当数据维数$p$大于样本量$n$时，由于样本协方差阵的奇异性，用于检验两个协方差阵相等性的经典似然比检验失效。在本文中，我们提出了一个概念上简单的方法，使用随机投影的数据投影到一维随机子空间，使传统的方法可以应用。研究了高维协方差阵的单样本和双样本检验问题。渐近结果的建立和数值结果比较我们的方法与国家的最先进的方法在文献中。
2015-11-05 stat.ME
Resampling Methods for Detecting Anisotropic Correlation Structure
本文提出了检测随机场中协方差函数的各向异性--旋转方差的参数和非参数假设检验算法。这两种算法都是基于响应机制，这使得避免依赖于渐近假设，这是常见的在以前的算法。该算法的性能在模拟实验和代表各种潜在挑战的真实数据集上进行了数值说明。
2021-06-06 stat.ME
Fixed support positive-definite modification of covariance matrix estimators via linear shrinkage
本文研究了协方差阵估计的正定性问题。对于高维数据，在包含稀疏性的真协方差阵的结构假设下，提出了许多正则化估计。它们被证明是渐近一致的和速率最优的估计真实的协方差阵及其结构。然而，他们中的许多人没有考虑估计量的PD性，并产生非PD估计。为了实现PD性，研究人员考虑对特征值进行额外的正则化（或约束），这使得渐近分析和计算更加困难。在本文中，我们提出了一个简单的修改正则化的协方差阵估计，使其PD，同时保持支持。我们重新审视线性收缩的思想，并建议采取第一阶段估计（正则化的协方差阵没有PD）和给定形式的对角矩阵之间的凸组合。所提出的修改，我们表示为FSPD（固定支持和正相关性）估计，保持第一阶段估计的渐近性质，如果收缩参数是仔细选择的。它有一个封闭的形式表达和它的计算是优化自由，不同于现有的PD稀疏估计。此外，FSPD是通用的，因为它可以应用于任何非PD矩阵，包括精度矩阵。FSPD估计与其他稀疏PD估计进行了数值比较，以了解其有限样本特性以及计算增益。它也适用于两个多变量程序依赖于协方差阵估计-线性极小极大分类问题和Markowitz投资组合优化问题-并显示出大大提高这两个程序的性能。
2017-04-28 stat.ME
Bayesian Quantification of Covariance Matrix Estimation Uncertainty in Optimal Fingerprinting
用于气候变化检测和归因的基于回归的最佳指纹技术需要估计强迫信号以及内部变率协方差阵，以便区分它们对观测记录的影响。虽然以前开发的方法已经考虑到了与强迫信号的估计相关的不确定性，但很少关注描述自然变异性的协方差阵中的不确定性，尽管已知该协方差阵的规格对结果有意义的影响。在这里，我们提出了一个贝叶斯最优指纹框架使用拉普拉斯基函数参数化的协方差阵。与基于主成分的传统方法不同，这种参数化不需要根据气候模型数据估计基向量本身，这允许估计协方差结构的不确定性传播到最佳指纹回归参数。我们通过CMIP6验证研究表明，该方法比基于主成分的方法实现了更好的校准覆盖率的真实回归参数。当应用于HadCRUT观测数据，所提出的方法检测人为变暖具有较高的置信水平，并在气候模型的选择较低的变异性，比基于主成分的方法。
2022-08-04 stat.ME
Longitudinal regression of covariance matrix outcomes
在这项研究中，纵向回归模型的协方差阵的结果。该建议认为，多层次的广义线性模型回归协方差阵（随时间变化）的预测。该模型同时识别协方差矩阵中的协变量相关成分，估计回归系数，并估计协方差阵中的受试者内变异。通过最大化（近似的）分层似然函数，分别给出了低维和高维情形下的最优估计，并证明了该估计是渐近相合的，其中所提出的估计在低维情形下是最有效的，在高维情形下是单位矩阵和样本协方差阵的所有线性组合中的一致最小二次损失.通过大量的仿真研究，所提出的方法取得了良好的性能，识别协变量相关的组件和估计模型参数。应用于阿尔茨海默病神经成像倡议（ADNI）的纵向静息状态fMRI数据集，所提出的方法识别大脑网络，证明男性和女性之间的差异，在不同的疾病阶段。研究结果与AD的现有知识一致，并且该方法提高了横断面数据分析的统计功效。
2022-02-09 stat.ME
Estimation of the population spectral distribution from a large dimensional sample covariance matrix
本文介绍了一种从高维数据中估计总体协方差阵的谱分布的新方法。该方法是建立在一个有意义的推广的种子Marcenko-Pastur方程，最初定义在复杂的计划，真正的线。除了其易于实现和建立的渐近一致性，新的估计优于两个现有的估计，从文献中的几乎所有的情况下，在模拟实验中测试。最后给出了该方法在S&P股票数据相关矩阵分析中的应用。
2013-02-02 stat.ME
Bayesian inference for a covariance matrix
协方差阵估计出现在多元问题中，包括多元正态抽样模型和回归模型，其中随机效应被联合建模，例如随机截距，随机斜率模型。这些问题的贝叶斯分析需要协方差阵的先验知识。在这里，我们评估，通过模拟研究和一个真实的数据集，这种先验选择的影响后推断的协方差阵。逆Wishart分布是协方差阵先验的自然选择，因为它在正态模型上的共轭性和简单性，通常在贝叶斯统计软件中可用。然而，从建模的角度来看，逆Wishart分布呈现出一些不期望的特性。它可能过于严格，因为假设每个方差参数的先验信息量相同，更重要的是，它显示了方差和相关性之间的先验关系。已经提出了一些替代分布。比例逆Wishart分布，它提供了更多的灵活性的方差先验保持共轭性质，但不消除方差和相关性之间的先验关系。其次，可以为个体相关性和标准差拟合单独的先验。该策略消除了协方差阵参数内的任何先验关系，但它不是共轭的，因此计算缓慢。
2016-07-08 stat.ME
A generalized spatial sign covariance matrix
众所周知的空间符号协方差阵（SSCM）执行将所有数据点移动到球体的径向变换，随后计算变换数据的经典协方差阵。它的流行源于它对离群值的鲁棒性，快速计算，以及相关性和主成分分析的应用。本文研究更一般的径向函数。结果表明，广义SSCM的特征向量仍然是一致的，特征值的秩保持不变。导出了散射矩阵的影响函数，结果表明，其击穿值与原SSCM的击穿值一样高。仿真研究表明，当数据点的内半部分不进行变换而将远离数据点的位置移到中心时，可以获得最好的结果。
2018-10-10 stat.ME
Compressed Covariance Estimation With Automated Dimension Learning
我们提出了一种估计协方差阵的方法，该协方差矩阵可以表示为一个低秩矩阵和一个对角矩阵之和。该方法对高维数据进行压缩，在压缩空间中计算样本协方差，并通过解压缩操作将其提升回环境空间。我们的方法相对于现有的文献结合稀疏性和低秩结构的协方差阵估计的一个显着特点是，我们不需要低秩分量是稀疏的。一个原则性的框架，估计压缩尺寸使用斯坦的无偏风险估计理论证明。实验仿真结果表明，我们所提出的方法的有效性和可扩展性。
2017-04-02 stat.ME
Covariance matrix completion via auxiliary information
针对变量对无联合观测导致协方差矩阵估计不完整的问题，提出 AuxCov 方法，利用辅助变量通过回归预测缺失相关性并正则化观测值，实现协方差矩阵的完整估计。
2025-01-30 stat.ME
Adaptive Tests for Bandedness of High-dimensional Covariance Matrices
高维带状协方差阵的估计在多元统计分析中有着广泛的应用。为了保证估计的有效性，我们的目标是测试的假设，协方差阵是带状的，在高维框架下的一定的带宽。虽然在文献中已经提出了几种测试方法，现有的测试只对某些具有一定稀疏性水平的替代品是强大的，而他们可能不是强大的替代品与其他稀疏结构。提出了一种新的高维协方差阵的带性检验方法，该方法适用于不同稀疏度的方案。新的检验方法也可用于高维因子模型中误差向量的协方差阵带状结构的检验。基于这些统计量，本文还对带状高维协方差阵引入了一个一致的带宽估计器。广泛的模拟研究和应用程序的前列腺癌数据集的蛋白质质谱进行评估的有效性，建议的自适应测试蓝和带宽估计的带状协方差阵。
2022-04-24 stat.ME
A local moment estimator of the spectrum of a large dimensional covariance matrix
本文研究了在高维情形下由样本协方差阵估计总体谱分布的问题。我们推广了Mestre（2008）中基于轮廓积分的方法，并提出了一个局部矩估计过程。与原方法相比，新方法可以成功地应用于由不同总体特征值产生的样本特征值的渐近簇不完全分离的模型。所提出的估计被证明是一致的。数值结果说明了估计过程的实施，并证明其在各种情况下的效率。
2013-02-02 stat.ME
Testing High Dimensional Covariance Matrices, with Application to Detecting Schizophrenia Risk Genes
科学家通常比较病例与对照组的基因表达水平，以确定与疾病相关的基因。同样，检测基因间共表达的病例对照差异对于理解复杂的人类疾病至关重要;然而，统计方法受到这个问题的高维性质的限制。在本文中，我们构造了一个稀疏前导特征值驱动（sLED）测试比较两个高维协方差阵。通过关注差分矩阵的频谱，sLED提供了一个新的视角，适应我们认为是常见的，即稀疏和弱信号的基因表达数据，它是密切相关的稀疏主成分分析。我们证明，sLED实现全功率渐近温和的假设下，和模拟研究验证，它优于其他现有的程序在许多生物合理的情况下。将sLED应用于从精神分裂症患者和对照的死后脑组织获得的最大基因表达数据集，我们提供了一个新的与精神分裂症有关的基因列表，并揭示了精神分裂症受试者基因共表达变化的有趣模式。我们还说明，sLED可以推广到比较其他基因-基因的“关系”矩阵，是有实际意义的，如加权邻接矩阵。
2016-12-07 stat.AP stat.ME
Covariance Estimation for Matrix-valued Data
矩阵值数据的协方差估计在应用中受到越来越多的关注。不同于以往的工作，严重依赖于矩阵正态分布假设和固定的矩阵大小的要求，我们提出了一类分布无关的正则化的协方差估计方法，用于高维矩阵数据在一个可分离的条件和一个带宽的协方差结构.在这些条件下，原始协方差矩阵被分解成两个可带小协方差阵的克罗内克积，表示行和列方向上的变异性。我们制定了一个统一的框架，估计带协方差，并介绍了一个有效的算法的基础上秩一无约束克罗内克积近似。建立了估计量的收敛速度，导出的Minimax下界表明我们提出的估计量在一定的矩阵大小的发散制度下是速率最优的。我们进一步引入了一类稳健协方差估计，为处理重尾数据提供了理论保证。我们展示了优越的有限样本性能，我们的方法使用模拟和实际应用，从网格化的温度异常数据集和标准普尔500指数的股票数据分析。
2022-04-18 stat.ME stat.ML
Covariance Matrix Estimation under Total Positivity for Portfolio Selection
选择最优Markowitz模型取决于从历史数据的$T$期间估计$N$资产收益的协方差阵。问题是，$N$通常与$T$具有相同的阶数，这使得样本协方差阵估计器在经验上和理论上都表现不佳。虽然其他各种通用的协方差阵估计已被引入金融经济学和统计学文献处理这个问题的高维性，我们在这里提出了一个估计，利用资产通常是正相关的事实。这是通过强制收益的联合分布是2阶的多元全正分布（$\text{MTP}_2$）来实现的。对协方差阵的这种约束不仅加强了资产之间的正相关性，而且还正则化了协方差阵，从而导致期望的统计特性，例如稀疏性。基于股票市场数据跨越三十年，我们表明，估计协方差阵下$\text{MTP}_2$优于以前的国家的最先进的方法，包括收缩估计和因子模型。
2020-12-28 stat.AP stat.ME
Parameter inference with estimated covariance matrices
当通过计算似然从高斯分布数据集推断参数时，需要描述数据误差及其相关性的协方差矩阵。如果协方差矩阵不是先验已知的，则它可以被估计，从而成为本身具有某种内在不确定性的随机对象。我们展示了如何推断参数的存在下，这样一个估计的协方差矩阵，边缘化的真实协方差矩阵，其估计值的条件。这导致似然函数不再是高斯的，而是多变量t分布的适应版本，其具有与多变量高斯相同的数值复杂度。正如预期的那样，与Hartlap等人相比，真实协方差矩阵的边缘化改善了推断。的方法，该方法使用逆协方差矩阵的无偏估计，但仍然假设似然是高斯的。
2016-01-05 astro-ph.CO stat.ME
Robust Covariance and Scatter Matrix Estimation under Huber's Contamination Model
协方差阵估计是统计学中最重要的问题之一。为了适应现代数据集的复杂性，期望具有不仅可以结合协方差阵的结构假设，而且对来自任意源的离群值具有鲁棒性的估计过程。在本文中，我们定义了一个新的概念称为矩阵深度，然后提出了一个强大的协方差阵估计最大化的经验深度函数。所提出的估计，以实现最小最大最优率下Huber的$ε$污染模型估计协方差/散射矩阵的各种结构，包括带状和稀疏。
2017-06-12 math.ST stat.ME stat.TH
Asymptotic normality for eigenvalue statistics of a general sample covariance matrix when $p/n \to \infty$ and applications
在超高维情形下，即维数与样本量比为$p/n \to \infty$时，得到了一般样本协方差阵的一大类特征值统计量的渐近正态性.基于这个CLT结果，我们首先将协方差阵检验问题适应于新的超高维上下文。然后作为第二个应用，我们开发了一个新的测试矩阵值白噪声的可分离协方差结构。对矩阵值白噪声特征值统计量的一般渐近正态性的有限样本性质以及可分离协方差结构的第二次检验进行了模拟实验。
2021-09-14 math.ST stat.ME stat.TH
A Compound Decision Approach to Covariance Matrix Estimation
协方差阵估计是许多应用中的基本统计任务，但是当样本量与特征数量相当或小于特征数量时，样本协方差阵是次优的。这种高维设置在现代基因组学中是常见的，其中协方差阵估计经常被用作推断基因网络的方法。为了在这些设置中实现估计精度，现有方法通常假设总体协方差阵具有某种特定结构，例如稀疏性，或者应用收缩以更好地估计总体特征值。本文研究了一种估计高维协方差阵的新方法。我们首先将协方差阵估计作为一个复合决策问题。这促使定义一类决策规则，并使用非参数经验贝叶斯g-建模方法来估计类中的最优规则。在小鼠RNA-seq实验中的模拟结果和基因网络推断表明，我们的方法与许多最先进的提议相当或优于它们。
2022-06-02 math.ST stat.ME stat.TH
Using Empirical Covariance Matrix in Enhancing Prediction Accuracy of Linear Models with Missing Information
缺失信息情形下的推理与估计是统计学习理论和机器学习的重要研究课题。在ML文献中，已经尝试通过精确的特征选择方法来增强预测。在稀疏线性模型中，LASSO在提取信号的期望支持和抵抗噪声系统方面是众所周知的。当稀疏模型也遭受MI时，稀疏恢复和缺失模型的推理同时考虑。在本文中，我们将介绍一种方法，享有稀疏回归协方差阵估计，以提高矩阵完成的准确性，从而提高特征选择的精度，从而导致减少预测均方误差（MSE）。我们将比较采用协方差阵在提高估计精度的情况下，它不用于特征选择的效果。仿真结果表明，与不使用协方差阵估计的情况相比，该方法的性能得到了改善。
2017-07-25 stat.ME stat.ML
Covariance matrix testing in high dimension using random projections
由于传统的多元渐近理论不再适用，高维协方差阵的估计和假设检验是一个具有挑战性的问题。当维数大于样本大小或随样本大小增加时，协方差阵的基于标准似然的检验具有较差的性能。现有的高维测试要么计算昂贵，要么对第一类错误的控制非常弱。在本文中，我们提出了一个测试程序，CRAMP，用于测试假设，涉及一个或多个协方差阵使用随机投影。将高维数据随机投影到低维子空间消除了维数灾难，允许使用传统的多变量测试。一个广泛的模拟研究进行比较CRAMP对渐近为基础的高维测试程序。所提出的方法的两个基因表达数据集的应用。
2020-11-16 stat.CO stat.ME
Asymptotic testing of covariance separability for matrix elliptical data
University of Turku（图尔库大学）；University of Tokyo（东京大学）；RIKEN Center for Brain Science（理化学研究所脑科学中心）
本文提出了一种用于检验矩阵椭圆数据协方差分离性的渐近检验方法，适用于宽矩阵椭圆模型，并在重尾分布和正态数据情况下均表现出良好的统计功效。
2026-01-23 math.ST stat.ME stat.TH
Covariance matrix filtering with bootstrapped hierarchies
对象间相关性的统计推断通常依赖于协方差矩阵。除非特征（例如数据点）的数量远大于对象的数量，否则协方差矩阵清理对于减少估计噪声是必要的。我们提出了一种方法，该方法是强大的，但足够灵活的结构协方差矩阵的精细细节。鲁棒性来自于使用层次分析和集群之间的依赖平均;灵活性来自于引导过程。该方法发现了DNA微阵列基因表达数据中几种可能的层次结构，在数据点数量相对较少的情况下，全局最小方差组合的已实现风险比现有的滤波方法要低。
2020-03-12 q-fin.RM q-fin.ST stat.ME
Sparse Covariance Estimation in Logit Mixture Models
本文介绍了一种新的数据驱动的方法估计稀疏协方差阵的随机系数的Logit混合模型。研究人员通常在两个极端假设之一下指定logit混合模型中的协方差阵：不受限制的完整协方差阵（允许所有随机系数之间的相关性）或限制的对角矩阵（完全不允许相关性）。我们的目标是找到相关系数的最佳子集，我们估计协方差。我们提出了一个新的估计，称为MISC，使用混合整数优化（MIO）程序找到一个最佳的块对角结构规范的协方差矩阵，对应于相关系数的子集，为任何所需的稀疏水平，使用马尔可夫链蒙特卡罗（MCMC）后提请从不受限制的完整的协方差阵。使用样本外验证确定协方差阵的最佳稀疏水平。我们证明了MISC从合成数据中正确恢复真实协方差结构的能力。在一个实证说明中，我们使用MISC来获得一个稀疏的协方差阵，表明属性的偏好是如何相互关联的。
2020-01-14 econ.EM stat.ME stat.ML
Estimation When Both Covariance And Precision Matrices Are Sparse
我们提供了一种方法来估计协方差矩阵的特殊情况下，\textit{both}的协方差阵和精度矩阵是稀疏的--一个约束，我们称之为双稀疏。估计方法是极大似然，服从双稀疏约束。在我们的方法中，只允许一类特殊的稀疏模式：矩阵及其逆矩阵必须从属于同一个弦图。与双重稀疏性的天真执行相比，我们的弦图方法利用了一个特殊的代数局部逆公式。该局部逆属性使得通常涉及逆（精度矩阵或协方差阵的逆）的计算快得多。在协方差阵估计的背景下，我们的建议似乎是第一次找到这样的特殊对协方差和精度矩阵。
2021-08-15 math.ST stat.CO stat.ME
Improved Covariance Matrix Estimator using Shrinkage Transformation and Random Matrix Theory
SAP Labs（SAP实验室）
从样本协方差阵估计总体协方差矩阵是多变量分析中的一个主要难题。最近的协方差阵估计使用收缩变换或随机矩阵理论（RMT）的渐近结果。收缩技术有助于将极端相关值拉向某些目标值，而来自RMT的工具有助于去除SCM的噪声特征值。这两种技术都使用不同的方法来实现类似的目标，即去除噪声相关性并向SCM添加结构以克服偏差-方差权衡。在本文中，我们首先批判性地评估这两种技术的利弊，然后提出了一种改进的估计，利用两者的优点，通过采取最佳加权凸组合的协方差阵估计的改进收缩变换和RMT基于过滤器。它是一种广义估计器，可以通过执行超参数优化来适应各种数据集中不断变化的采样噪声条件。我们证明了这个估计的有效性的问题上设计一个金融投资组合的最小风险。我们之所以选择这个问题，是因为股票市场数据的复杂性质提供了极端条件来测试协方差估计量的稳健性。使用来自世界上最大的四个证券交易所的数据，我们表明，我们提出的估计优于现有的估计，在最大限度地减少样本外的投资组合的风险，从而更准确地预测人口统计。由于协方差分析是一个重要的统计工具，这种估计器可以用于广泛的机器学习，信号处理和高维模式识别应用。
2019-12-08 cs.LG eess.SP stat.ME
High-dimensional covariance matrix estimation in approximate factor models
方差-协方差阵在金融经济学中的高维因子模型的推导理论中占有核心地位。直接利用稀疏性的流行正则化方法并不直接适用于许多金融问题。经典的估计协方差阵的方法是基于严格因子模型，假设独立的特质成分。然而，这种假设在实际应用中是有限制的。通过假设稀疏的误差协方差阵，我们允许的横截面相关性的存在，即使在采取共同的因素，它使我们能够结合两种方法的优点。我们估计稀疏协方差使用自适应阈值技术，在蔡和刘[J. Amer. Assoc.106（2011）672- 684]，考虑到无法直接观察特异质组分的事实。然后研究了高维数对基于因子结构的协方差阵估计的影响。
2012-03-14 math.ST stat.ME stat.TH
Statistical Monitoring of the Covariance Matrix in Multivariate Processes: A Literature Review
在现代制造业和服务业中，监控过程的几个相关质量特性是常见的。尽管人们对监控多变量过程均值给予了很多关注，但可用于监控协方差阵的控制图并不多。本文对多元统计过程监控（MSPM）框架中监控协方差阵的控制图的文献进行了全面的综述。它对以前出现在文献中的研究进行了分类。我们强调了具有挑战性的研究领域，并为未来的研究提供了一些方向。
2021-04-15 math.ST stat.AP stat.ME
An Orthogonally Equivariant Estimator of the Covariance Matrix in High Dimensions and for Small Sample Sizes
我们介绍了一种在高维环境下的协方差阵的估计方法，即，当矩阵的维数大于样本量时，具体来说，我们提出了一个正交等变估计。这种估计量的特征向量与样本协方差阵的特征向量相同。特征值估计是从调整后的轮廓似然函数获得的，该函数是通过近似样本协方差阵的密度函数在其特征向量上的积分得到的，这本身就是一个具有挑战性的问题。近似似然方程的精确解，获得和构造估计，涉及一个调整参数。提出了基于自举和交叉验证的算法，以在各种损失函数下选择该调谐参数。最后，给出了与两个著名的正交同变估计的协方差阵，这是基于模拟数据的Monte-Carlo风险估计和实际数据分析中的误分类误差的比较。此外，蒙特卡罗风险估计也提供了比较我们的估计的特征值的人口特征值的一致估计。
2020-12-03 math.ST stat.ME stat.TH
The asymptotic inadmissibility of the spatial sign covariance matrix for elliptically symmetric distributions
研究了空间符号协方差阵（SSCM）相对于散布度仿射同变估计的渐近有效性。特别地，证明了SSCM是渐近不可接受的，即一致性校正后的SSCM的渐近方差-协方差阵一致小于其仿射等变对应矩阵，即泰勒散布矩阵.虽然SSCM经常被推荐时，一个是有兴趣的主成分分析，SSCM的效率低下的程度被证明是最严重的情况下，主成分是最感兴趣的。有限样本模拟表明，SSCM的低效率也适用于小样本量，渐近相对效率是一个很好的近似有限样本效率相对温和的样本量。
2013-09-07 math.ST stat.ME stat.TH
Estimating a common covariance matrix for network meta-analysis of gene expression datasets in diffuse large B-cell lymphoma
基因表达的协方差阵的估计在癌症系统生物学中有许多应用。然而，许多基因表达研究受到低样本量的阻碍，因此通过收集跨研究的基因表达数据来增加样本量变得流行。受传统的荟萃分析使用随机效应模型的启发，我们提出了一个分层随机协方差模型，并使用它对11个大规模弥漫性大B细胞淋巴瘤（DLBCL）基因表达研究的基因相关网络进行荟萃分析。我们建议使用一个极大似然估计的基础共同的协方差阵，并介绍了一个期望最大化算法的估计。通过模拟实验比较了共表相关和库尔贝克-莱布勒散度估计的协方差阵，结果表明，该估计比简单的合并估计性能更好或不差。在对DLBCL数据估计的共同协方差阵的事后分析中，我们能够识别具有预后价值的特征基因的新的生物学意义的基因相关网络。总之，该方法似乎提供了一个普遍适用的荟萃分析框架，当多个功能进行测量，并认为共享一个共同的协方差阵研究相关的噪音掩盖。
2017-08-21 q-bio.GN stat.ME stat.ML
Sparse covariance matrix estimation in high-dimensional deconvolution
研究了在加性噪声污染的$n$独立观测值下，$p$维正态随机向量的协方差阵$Σ$的估计问题.对噪声的分布只作一般的非参数假设，而对其协方差阵没有任何稀疏性约束。在这个高维半参数反卷积问题中，我们提出了自适应的$Σ$的稀疏性的谱阈值估计。我们建立了一个预言不等式，这些估计下的模型miss规格，并获得非渐近极小极大收敛速度，证明是对数的$n/\log p$。我们还讨论了基于间接观测的低秩矩阵的估计以及对椭圆分布的推广。数值例子说明了阈值估计的有限样本性能。
2018-03-26 math.ST stat.ME stat.TH
Convex Banding of the Covariance Matrix
我们引入了一个新的稀疏估计的协方差阵的高维模型中的变量有一个已知的顺序。我们的估计，这是一个凸优化问题的解决方案，等价地表示为一个估计，该估计由Toeplitz，稀疏带状，数据自适应矩阵的样本协方差阵。由于这种自适应性，凸带状估计享有理论上的最优性能没有达到以前的带状或锥形估计。特别是，我们的凸带估计是极小极大率自适应Frobenius和运营商的规范，对数因子，在共同研究类的协方差阵，并在更一般的类。此外，它正确地恢复带宽时，真正的协方差是完全带状。我们的凸公式承认一个简单而有效的算法。实证研究证明了它的实际有效性，并说明我们的确切带状估计工作良好，即使当真正的协方差阵只是接近带状矩阵，证实了我们的理论结果。我们的方法与所有现有的方法相比，在精度和速度方面。我们说明了凸带估计的实际优点，它可以用来提高性能的判别分析分类录音。
2014-05-23 math.ST stat.CO stat.ME
Non-linear shrinkage of the price return covariance matrix is far from optimal for portfolio optimisation
投资组合优化需要能够滤除估计噪声的复杂协方差估计器。非线性收缩是一种流行的估计器，它基于如何仅使用校准窗口中的数据计算Oracle特征值。与通常的看法相反，NLS对于投资组合优化不是最优的，因为当资产依赖结构是非平稳的时，NLS不能最小化正确的成本函数。相反，我们得出最佳目标。使用历史数据，我们量化了NLS可以改进的程度。我们的研究结果重新打开了如何建立协方差矩阵估计的投资组合优化在现实条件下的问题。
2022-10-13 math.OC q-fin.PM q-fin.ST
