A Novel Approach to Sparse Inverse Covariance Estimation Using Transform Domain Updates and Exponentially Adaptive Thresholding
Advanced Communications Research Institute (ACRI)（高级通信研究所（ACRI））；Sharif University of Technology（谢里夫理工大学）
稀疏逆协方差估计（SICE）在许多实际数据分析中是有用的。恢复协变量的连通性、非连通性图是数据采掘和学习中最重要的问题之一。在本文中，我们介绍了一种新的SICE方法，使用自适应阈值。我们的方法是基于所需矩阵的变换域中的更新和主域（逆协方差矩阵域）中的指数衰减自适应阈值。除了所提出的算法，收敛性分析也提供。在数值实验部分中，我们证明了所提出的方法在精度方面优于最先进的方法。
2019-04-04 cs.IR cs.LG stat.ML
Slicing: Nonsingular Estimation of High Dimensional Covariance Matrices Using Multiway Kronecker Delta Covariance Structures
高维协方差阵的非奇异估计是分类、聚类、变量选择和抽取等统计过程中的重要步骤。在回顾了基本的背景材料之后，本文介绍了一种我们称之为切片的技术，用于获得高维数据的非奇异协方差阵。切片本质上是假设数据具有克罗内克符号协方差结构。最后，我们讨论了本文结果的意义，并提供了一个高维基因表达数据分类的例子。
2011-04-15 math.ST stat.ML stat.TH
Optimal Variance and Covariance Estimation under Differential Privacy in the Add-Remove Model and Beyond
LY Corporation（LY 公司）
本文针对增删模型下的差分隐私方差与协方差估计，提出基于贝塞尔机制的高效方法，证明其在高隐私区间极小极大最优，并展示其在其他统计任务中的适用性。
2025-09-05 cs.DS cs.LG stat.ML
L0 Sparse Inverse Covariance Estimation
针对稀疏逆协方差估计，本文研究非凸 $l_0$ 惩罚的对数似然优化，提出循环下降算法并证明其收敛到局部极小值，仿真显示其偏差低于 $l_1$ 方法且估计质量更优。
2015-03-19 stat.ML
Covariance Estimation in High Dimensions via Kronecker Product Expansions
本文提出了一种估计高维协方差阵的新方法。该方法，置换秩惩罚最小二乘（PRLS），是基于真实的协方差阵的克罗内克积级数展开。假设有身份证。高斯随机样本，我们建立高维收敛到真正的协方差的速度，因为样本数和变量数都趋于无穷大。对于低分离秩的协方差矩阵，我们的研究结果表明，PRLS具有显着更快的收敛速度比标准的样本协方差阵（SCM）估计。收敛速率捕获估计误差和近似误差之间的基本折衷，从而提供在分离秩方面的可缩放协方差估计框架，类似于协方差阵的低秩近似。MSE收敛速度推广了最近得到的Kronecker乘积协方差估计的ML触发器算法的高维速度。我们证明了一类块Toeplitz协方差阵是近似的低分离秩，并给出了最小分离秩$r$，以确保一个给定的偏差水平的界限。仿真验证了理论界。作为一个现实世界的应用程序，我们说明了实用的建议克罗内克协方差估计时空线性最小二乘预测的多变量风速测量。
2013-12-23 stat.ME stat.ML
Covariance Estimation for Matrix-valued Data
矩阵值数据的协方差估计在应用中受到越来越多的关注。不同于以往的工作，严重依赖于矩阵正态分布假设和固定的矩阵大小的要求，我们提出了一类分布无关的正则化的协方差估计方法，用于高维矩阵数据在一个可分离的条件和一个带宽的协方差结构.在这些条件下，原始协方差矩阵被分解成两个可带小协方差阵的克罗内克积，表示行和列方向上的变异性。我们制定了一个统一的框架，估计带协方差，并介绍了一个有效的算法的基础上秩一无约束克罗内克积近似。建立了估计量的收敛速度，导出的Minimax下界表明我们提出的估计量在一定的矩阵大小的发散制度下是速率最优的。我们进一步引入了一类稳健协方差估计，为处理重尾数据提供了理论保证。我们展示了优越的有限样本性能，我们的方法使用模拟和实际应用，从网格化的温度异常数据集和标准普尔500指数的股票数据分析。
2022-04-18 stat.ME stat.ML
Unbiased risk estimation method for covariance estimation
考虑随机过程协方差的模型选择估计。使用无偏风险估计（URE）方法，我们建立了一个估计的风险，允许选择一个估计的模型集合。然后，我们提出了一个预言不等式，确保所选择的估计的风险接近的预言的风险。仿真结果表明了该方法的有效性。
2011-12-20 math.ST stat.TH
New challenges in covariance estimation: multiple structures and coarse quantization
在这一章中，我们将重温多元统计的一个基本问题：从多个独立样本中估计协方差阵。以大规模多输入多输出（MIMO）系统为例，说明了在实际应用中估计协方差阵时利用结构和考虑样本量化的必要性。然后，我们提供了一个选择性的调查，在过去十年的理论进展，侧重于结构协方差阵的估计。这篇评论是香料的一些尚未发表的见解如何受益于组合结构约束。最后，我们总结了我们最近出版的预印本“协方差估计下一位量化”的结果，以显示如何保证协方差估计是可能的，即使在粗量化的样本。
2021-06-11 math.ST stat.TH
Efficient Covariance Estimation for Sparsified Functional Data
本文提出高效的随机knots和B-样条协方差估计方法，用于处理稀疏函数数据的主成分分析，通过蒙特卡洛实验验证其有效性。
2025-11-23 stat.ME stat.ML
Asymptotic efficiency for covariance estimation under noise and asynchronicity
本文在高频渐近下，分析了离散观测的多变量高斯过程在随机性和噪声下的协方差结构的估计。渐近下限和上界建立了一个一般的高斯框架，提供基准的情况下，各种高斯过程模型的兴趣。参数界的存在导致了协变估计的无穷维卷积定理，这是金融学中的一个基本估计问题。
2020-04-18 math.ST stat.TH
Sparse Approximate Factor Estimation for High-Dimensional Covariance Matrices
提出了一种基于$l_1$正则化近似因子模型的协方差矩阵估计方法。我们的稀疏近似因子（SAF）协方差估计允许弱因子的存在，因此放松了标准近似因子模型通常采用的普遍性假设。我们证明了协方差矩阵估计在Frobenius范数下的相合性以及因子载荷和因子的相合性。我们的蒙特卡罗模拟表明，SAF协方差估计具有优越的性能，在有限样本的低，高维和不同的协方差矩阵的设计。此外，在样本外的投资组合预测应用的估计一致优于替代的投资组合策略的基础上，替代协方差估计方法和建模策略，包括$1/N$ -战略。
2019-06-13 econ.EM math.ST q-fin.PM
Fast Covariance Estimation for Multivariate Sparse Functional Data
协方差估计在多元函数数据分析中是必不可少的，但还不成熟。提出了一种基于二元惩罚样条的多元稀疏函数数据协方差快速估计方法。所提出的方法的张量积B样条制定一个简单的谱分解相关的协方差算子和显式表达式的特征函数的线性组合的B样条基地，从而大大方便了随后的主成分分析。我们推导出一个快速算法，用于选择平滑参数的协方差平滑使用留一主题交叉验证。该方法通过广泛的数值研究进行评估，并应用于具有多个纵向结果的阿尔茨海默病研究。
2019-06-09 stat.CO stat.ME
A Well-Conditioned and Sparse Estimation of Covariance and Inverse Covariance Matrices Using a Joint Penalty
我们开发了一种方法来估计良态和稀疏的协方差矩阵和逆协方差阵从一个样本的向量从一个亚高斯分布在高维设置。通过最小化平方损失函数和特征值的1范数及其方差的联合惩罚，得到了估计量。与现有的一些协方差和逆协方差阵估计方法相比，通常感兴趣的是估计稀疏矩阵，所提出的方法在同时估计稀疏和良态的协方差阵方面是灵活的。所提出的估计量是最优的意义上，他们实现了最小的最大估计率在运营商的标准为基础类的协方差矩阵和逆协方差阵。我们给出了一个非常快速的算法计算这些协方差矩阵和逆协方差阵，这是很容易扩展到大规模的数据分析问题。对不同样本量和变量的模拟研究表明，对于不同的结构协方差阵和逆协方差阵选择，所提出的估计比其他几种估计性能更好。我们还使用我们提出的估计肿瘤组织的基因表达数据的分类，并比较其性能与其他一些分类方法。
2016-04-03 math.ST stat.TH
Joint Covariance Estimation with Mutual Linear Structure
本文考虑结构协方差阵的联合估计问题。假设结构是未知的，估计实现使用异构训练集。也就是说，给定来自具有不同协方差的中心总体的测量组，我们的目标是确定这些协方差阵的相互结构并估计它们。假设协方差在对称矩阵空间中跨越一个低维仿射子空间，我们提出了一种新的发现结构并利用它来改进估计的有效算法。我们的技术是基于主成分分析在矩阵空间中的应用。我们还推导出该算法在高斯场景下的性能上界，并将其与Cramer-Rao下界进行比较。数值模拟来说明所提出的方法的性能优势。
2015-07-01 math.ST stat.AP stat.TH
Distributionally Robust Inverse Covariance Estimation: The Wasserstein Shrinkage Estimator
我们引入了一个具有Wasserstein模糊集的分布鲁棒极大似然估计模型，从$n$独立样本中推断$p$维高斯随机向量的逆协方差阵。所提出的模型最大限度地减少了最坏的情况下（最大值）的Stein的损失在所有正常的参考分布在规定的Wasserstein距离的正态分布的特征在于样本均值和样本协方差阵。我们证明，这个估计问题是相当于一个半定的程序，是听话的理论，但超出了通用的解决方案，实际相关的问题尺寸$p$。在没有任何先验结构信息的情况下，估计问题具有自然地被解释为非线性收缩估计的解析解。新的收缩估计量不仅是可逆的，而且对于$p>n$也是条件良好的，而且是旋转等变的，并且保持了样本协方差阵特征值的阶数.这些理想的属性并不是特别强加的，而是从底层的分布鲁棒最优化模型中自然出现的。最后，我们开发了一个序列二次近似算法，有效地解决了一般的估计问题的条件独立约束通常遇到高斯图形模型。
2018-05-18 math.OC q-fin.PM stat.ML
Core Shrinkage Covariance Estimation for Matrix-variate Data
随机矩阵的可分离协方差模型提供了矩阵行与列之间的协方差的简约描述，并允许以非常小的样本量进行基于似然的推断。然而，在许多应用中，精确可分性的假设不太可能得到满足，并且使用可分离模型的数据分析可能会忽略或歪曲数据中的重要依赖模式。在这篇文章中，我们提出了一个折衷的可分离和非结构化的协方差估计。我们展示了如何设置的协方差阵可以唯一参数化的一组可分离的协方差阵和一个互补的“核心”协方差阵，其中的核心可分离的协方差阵的单位矩阵。该参数化定义了协方差阵的克罗内克核分解。通过经验Bayes方法对样本协方差阵的核进行收缩，得到了一个能适应总体协方差阵可分性的估计量.
2022-07-25 stat.ME
Robust Covariance Estimation for Approximate Factor Models
本文研究了带观测因子的近似因子模型下的抗差协方差估计。我们提出了一个新的框架，首先估计的初始联合协方差阵的观测数据和因素，然后使用它来恢复的协方差阵的观测数据。我们证明，一旦初始矩阵估计是足够好，以保持元素明智的最优速率，整个过程将产生一个估计的协方差与所需的属性。对于只有有界四阶矩的数据，我们建议使用Huber损失最小化来给出初始的联合协方差估计。这种方法适用于更广泛的分布，包括亚高斯分布和椭圆分布。我们还提出了一个渐近结果的Huber的M-估计与发散参数。通过大量的模拟和实际数据分析，证明了结论。
2016-02-01 stat.ME
Compressed Covariance Estimation With Automated Dimension Learning
我们提出了一种估计协方差阵的方法，该协方差矩阵可以表示为一个低秩矩阵和一个对角矩阵之和。该方法对高维数据进行压缩，在压缩空间中计算样本协方差，并通过解压缩操作将其提升回环境空间。我们的方法相对于现有的文献结合稀疏性和低秩结构的协方差阵估计的一个显着特点是，我们不需要低秩分量是稀疏的。一个原则性的框架，估计压缩尺寸使用斯坦的无偏风险估计理论证明。实验仿真结果表明，我们所提出的方法的有效性和可扩展性。
2017-04-02 stat.ME
Noise Estimation in the Spiked Covariance Model
研究了Frobenius损失下高维加样协方差阵的估计问题和加样PCA中噪声估计的并行问题。我们提出了一个估计的噪声参数最小化的无偏估计的不变Frobenius风险使用变分法。由此产生的估计，使用随机矩阵理论，是强一致的，基本上是渐近正常和极小极大的噪声估计问题。我们应用该构造构造了一个特征值一致的鲁棒尖峰协方差阵估计。
2014-08-27 math.ST stat.ME stat.TH
Covariance Estimation via Fiducial Inference
协方差估计作为一个经典问题，几十年来一直受到统计学界的广泛关注。在频率论和贝叶斯框架下已经做了很多工作。为了量化估计量的不确定性，而不必选择一个先验，我们已经开发了一个置信的方法来估计的协方差阵。基于Fiducial Berstein-von Mises定理（Sonderegger and Hannig 2014），我们证明了协变量矩阵的信念分布在我们的框架下是一致的。因此，从该信念分布生成的样本是真实协方差阵的良好估计量，这使得我们能够为协方差阵定义有意义的置信区域。最后，我们还表明，基准方法可以是一个强大的工具，用于识别团结构的协方差阵。
2017-08-16 stat.ME
Localized covariance estimation: A Bayesian perspective
数值天气预报中的一个主要问题是从少量样本中估计高维协方差阵。当总体维数远大于样本数时，极大似然估计不能提供可靠的估计。幸运的是，NWP从业者已经找到了巧妙的方法，通过利用相关性随空间距离衰减的假设来提高协方差估计的准确性。在这项工作中，贝叶斯统计是用来提供一个新的理由和分析的实际数值预报协方差估计。贝叶斯框架涉及操纵对称正定矩阵上的分布，它导致两个主要发现：（i）协方差阵的常用“混合估计量”具有自然的贝叶斯解释;（ii）非常常用的“舒尔乘积估计量”不是贝叶斯的，但它可以在贝叶斯框架内进行研究和理解。作为实际意义，贝叶斯框架显示了如何减少协方差估计所需的调整量，它表明有效的协方差估计应该植根于理解和惩罚条件相关性，而不是相关性。
2023-01-12 cs.NA math.NA physics.ao-ph
Covariance estimation with nonnegative partial correlations
研究了在偏相关非负约束下的高维协方差估计问题。符号约束极大地简化了估计：高斯最大似然估计量被很好地定义为只有两个观测值，而不管变量的数量。我们分析了它的性能设置的维度可能远远大于样本量。我们建立的估计是高维一致的和极小极大最优的对称化斯坦损失。我们还证明了一个否定的结果，这表明符号约束可以引入大量的偏差估计的协方差阵的顶部特征值。
2020-07-30 math.ST stat.TH
Spectrum Estimation: A Unified Framework for Covariance Matrix Estimation and PCA in Large Dimensions
协方差阵估计和主成分分析（PCA）是多元分析的两大基石。当数据的维数与样本量相似或更大时，经典的教科书解决方案的性能很差。在这种情况下，有一个共同的补救措施，这两个统计问题：非线性收缩的特征值的样本协方差阵。最佳非线性收缩公式取决于未知的人口数量，因此不可用。然而，有可能一致地估计一个甲骨文的非线性收缩，这是出于渐近的理由。为此，一个关键的工具是一致的估计的一组特征值的人口协方差阵（也称为频谱），一个有趣的和具有挑战性的问题本身。大量的Monte Carlo模拟表明，我们的方法具有理想的有限样本特性，优于以前的建议。
2014-06-23 math.ST stat.OT stat.TH
Optimal Estimation and Rank Detection for Sparse Spiked Covariance Matrices
本文研究了高维稀疏加样协方差阵模型，研究了协方差阵和主子空间的Minimax估计以及Minimax秩检测。建立了在谱范数下估计尖峰协方差矩阵的最优收敛速率，这需要与估计其他结构化协方差阵（如可带或稀疏协方差阵）的技术显著不同的技术。我们还建立了谱范数下的极小极大率，用于估计主成分分析中的主要感兴趣对象主子空间。此外，最佳速率的秩检测边界得到。这一结果也解决了Berthet和Rigollet [1]最近的一篇论文中的空白，其中考虑了秩1的特殊情况。
2016-03-25 math.ST stat.TH
Performance Bounds for Sparse Parametric Covariance Estimation in Gaussian Models
我们考虑估计的稀疏参数向量，确定高斯随机向量的协方差矩阵通过稀疏扩展到已知的“基矩阵”。利用再生核Hilbert空间的理论，我们得到了一个给定的均值函数的估计方差的下界。这包括作为特殊情况的无偏估计。我们还提出了一个数值比较我们的下限与两个标准估计（硬阈值估计和最大似然估计）的方差。
2011-01-20 cs.IT math.IT math.ST
Robust Modifications of U-statistics and Applications to Covariance Estimation Problems
令$Y$是具有未知均值$μ$协方差阵$Σ$的$d$维随机向量。本文的动机是设计一个估计的$Σ$，承认紧偏差范围内的运营商的最低限度的假设下的基本分布，如存在的坐标$Y$只有四阶矩的操作规范的问题。为了解决这个问题，我们提出了强大的修改的运营商值U-统计量，获得非渐近保证其性能，并证明这些结果的协方差估计问题在各种结构假设下的影响。
2018-03-08 math.ST stat.TH
Geodesically parameterized covariance estimation
时空现象的统计建模通常需要从协方差类中选择一个协方差阵。然而，标准的参数协方差族对于实际应用来说可能不够灵活，而非参数方法可能不容易允许将某些类型的先验知识结合起来。相反，我们建议用测地线曲线构建协方差族。这些协方差提供了更大的灵活性，为特定问题的剪裁比经典的参数家庭，是最好的简单的凸组合。一旦选择了协方差族，通常需要通过求解优化问题来选择代表性成员，例如，通过最大化数据集的可能性。相反，我们考虑这个问题的微分几何解释：最小化到样本协方差阵的测地线距离（“自然投影”）。我们的方法是一致的距离的概念，用于建立协方差家庭，并不需要假设一个特定的概率分布的数据。我们证明了自然投影和协方差族中的极大似然估计在二阶以下是局部等价的。我们还证明了自然投影可能会产生更准确的估计与噪声破坏的数据。
2020-12-23 math.DG stat.CO
Covariance Estimation and its Application in Large-Scale Online Controlled Experiments
在过去的几十年里，在线控制实验（也称为A/B测试）已被采纳为衡量行业业务改进的黄金标准。在我们公司，有超过10亿用户同时参与数千个实验，并且在这些实验中对数千个在线指标进行常规的统计推断和估计，计算成本将成为一个大问题。在本文中，我们提出了一种新的算法估计的协方差的在线指标，它引入了更多的灵活性之间的权衡计算成本和精度的协方差估计。该协方差估计方法降低了大规模环境下度量计算的计算成本，有利于进一步应用于在线受控实验和自适应实验场景，如方差缩减、连续监控、贝叶斯优化等，易于工程实现。
2021-08-05 stat.AP stat.ME
Multi-Level Restricted Maximum Likelihood Covariance Estimation and Kriging for Large Non-Gridded Spatial Datasets
本文提出了一种多水平约束高斯极大似然方法，用于估计协方差函数参数和计算最佳无偏预测量。我们的方法产生了一组新的多级对比，其中模型的确定性参数被过滤掉，从而使协方差参数的估计与确定性分量解耦。此外，对比度的多水平协方差阵表现出依赖于协方差函数的平滑度的快速衰减。由于多水平协方差阵系数的快速衰减，仅使用水平相关准则计算小的集合。我们使用Matern协方差函数和观测值的高度不规则放置来演示我们处理多达512，000个观测值问题的方法。此外，这些问题是数值上不稳定的，难以解决与传统的方法。
2016-03-28 stat.CO
Fast Covariance Estimation for Sparse Functional Data
含噪样本协方差的平滑是函数数据分析中的一个重要组成部分。本文提出了一种基于惩罚样条函数的协方差平滑方法及其软件。所提出的方法是一个二元样条平滑器，设计用于协方差平滑，可用于稀疏的功能或纵向数据。我们提出了一个快速算法的协方差平滑使用留一主题交叉验证。我们的模拟结果表明，该方法与几种常用的方法相比，毫不逊色。该方法被应用到一项由共同作者之一领导的儿童生长研究和纵向CD4计数的公共数据集。
2017-04-06 stat.ME
Channel Covariance Estimation in Massive MIMO Frequency Division Duplex Systems
在频分双工（FDD）模式下的多用户Massive MIMO系统中，信道协方差是获取瞬时信道状态信息（CSI）的关键因素。在此上下文中，信道互易性不成立，并且通常预期关于下行链路信道的协方差信息必须由用户设备（UE）估计并反馈。作为另一种CSI获取技术，我们建议根据观测到的上行链路协方差来推断下行链路协方差。该推断过程依赖于上行链路/下行链路协方差矩阵的字典，以及对应的黎曼空间中的插值;一旦字典已知，估计就不依赖于来自UE的任何形式的反馈。在这篇文章中，我们提出了几种不同的插值方法，并通过模拟对它们进行基准测试。
2016-02-18 cs.IT math.IT stat.AP
Group Lasso estimation of high-dimensional covariance matrices
本文考虑加性噪声污染下随机过程协方差阵的Group Lasso估计。我们建议估计的协方差阵在高维设置的假设下，该过程具有稀疏表示在一个大的字典的基函数。使用矩阵回归模型，我们提出了一种新的方法，用于高维协方差阵估计的经验对比正则化的组Lasso惩罚。使用这样的惩罚，该方法在用于近似处理的字典中选择稀疏的基函数集合，导致协方差阵近似到低维空间中。估计的一致性研究在Frobenius和运营商的规范和稀疏PCA的应用程序提出。
2011-10-24 math.ST stat.TH
Mean and Covariance Estimation for Functional Snippets
我们考虑估计的平均值和协方差函数的功能片段，这是短段的功能可能会观察到不规则的一个单独的特定的子区间，这是远远短于整个研究间隔。函数片段的协方差函数的估计是具有挑战性的，因为协方差结构的远非对角区域的信息完全缺失。我们通过将协方差函数分解为方差函数分量和相关函数分量来解决这个困难。方差函数可以有效地估计非参数化，而相关部分的参数化建模，可能与越来越多的参数，以处理丢失的信息在远非对角区域。理论分析和数值模拟都表明这种混合策略是有效的。此外，我们还提出了一种新的测量误差方差的估计量，并分析了它的渐近性质。这个估计器是需要从噪声测量的方差函数的估计。
2020-06-05 stat.ME
Frequentist-Bayes Hybrid Covariance Estimationfor Unfolding Problems
在本文中，我们提出了一个频率-贝叶斯混合方法估计展开分布的协方差使用伪实验。该方法与其他协方差估计方法进行了比较，使用无偏Rao-Cramer界（RCB）和频率伪实验。我们发现，无偏RCB方法偏离其他两种方法时，正则化。对于不同的正则化量，新的混合方法与频率伪实验方法吻合得很好。然而，混合方法具有不需要明确的似然定义的额外优点，并且可以与使用响应矩阵来对检测器响应进行建模的任何展开算法结合使用。
2021-10-15 hep-ex stat.ME
Adaptive Covariance Estimation with model selection
在本文中，我们提供了一个完全自适应的惩罚过程中选择一个协方差模型的集合中观察独立同分布复制的过程中，在固定的观察点。为此，我们推广了Bigot等人以前的结果，并建议使用数据驱动的惩罚来获得估计量的Oracle不等式。我们证明了这种方法是Baraud工作的矩阵回归模型的推广。
2012-03-01 math.ST stat.TH
Dimension-free Structured Covariance Estimation
本文研究可表示为少量 Kronecker 乘积之和的结构化高维协方差矩阵估计，证明惩罚置换最小二乘估计具有无维度依赖的高概率误差界，并获得快于标准情形的收敛速率。
2024-06-15 eess.SP math.ST stat.TH
Covariance Estimation under Missing Observations and $L_4-L_2$ Moment Equivalence
本文针对元素随机缺失的独立同分布样本，在$L_4-L_2$矩等价条件下提出首个关于缺失概率$p$最优的协方差估计量，并在$p=1$时恢复经典最优收敛速率。
2024-06-14 math.PR math.ST stat.TH
Spatially smoothed robust covariance estimation for local outlier detection
针对存在空间依赖的多元数据，提出一种空间平滑的稳健协方差估计方法，通过折中全局与局部协方差实现局部异常值检测，并给出理论性质、高效算法及模拟与奥地利气象站数据验证。
2023-05-09 stat.ME
A Lepskiĭ-type stopping rule for the covariance estimation of multi-dimensional Lévy processes
我们假设在离散时间点上观察到一个Lévy过程。从Lévy Khinchine特征的连续部分的渐近极小极大估计族开始，即，协方差，我们得出一个数据驱动的参数选择的频率估计的协方差。我们研究了自适应过程的一个Lepskiet-type停止规则.因此，我们使用平衡原则来获得最佳的数据驱动参数。自适应估计器几乎达到最优速率。数值实验所提出的选择规则。
2020-11-25 math.ST stat.TH
Efficient covariance estimation for asynchronous noisy high-frequency data
本文主要研究了在市场微观结构噪声存在的情况下，对数价格过程的协方差估计问题。本文在市场微观结构噪声下观察到高频异步离散收益率的情形下，构造了两个伊藤过程的二次协方差的有效无偏估计.该估计器基于同步和多尺度方法，并获得最佳的收敛速率。蒙特卡洛研究分析了我们的估计的有限样本量特性。
2008-12-18 math.ST stat.TH
Covariance estimation under one-bit quantization
我们考虑经典的问题估计的协方差矩阵的亚高斯分布从独立同分布。在粗量化的新环境中的采样，即，不是完全了解采样，而是将它们量化为每个条目一个或两个比特。这个问题在信号处理应用中自然发生。我们引入新的估计在两个不同的量化方案，并获得非渐近估计误差界的运营商的范数。在第一种情况下，我们考虑一个简单的，尺度不变的一位量化器，并得出一个中心高斯分布的相关矩阵的估计结果。在第二种情况下，我们将随机抖动添加到量化器。在这种情况下，我们可以通过收集每个样本的每个条目的两个比特来准确地估计一般亚高斯分布的完整协方差矩阵。在这两种情况下，我们的界限适用于掩蔽协方差估计。我们证明了我们的误差界的近似最优性，推导相应的（极大极小）下界和使用数值模拟。
2022-04-22 cs.IT math.IT math.ST
Block-diagonal covariance estimation and application to the Shapley effects in sensitivity analysis
本文研究了高维和固定维高斯数据的块对角协方差阵的估计问题。我们首先利用理论上和实际上一致的估计量来估计协方差阵的块对角结构。我们推导出，建议估计的协方差阵在高维收敛速度相同的速度比，如果真正的分解是已知的。在固定维数下，我们证明了所提出的估计量是渐近有效的。然后，我们集中在高维高斯线性框架中的敏感性指标的估计称为“Shapley效应”。从估计的协方差阵，我们得到一个估计的Shapley效应的相对误差，它去为零的参数率的对数因子。利用估计的协方差阵的块对角结构，只要最大块不是太大，该估计器仍然可以用于数千个输入变量。
2020-02-13 math.ST stat.TH
Shared Subspace Models for Multi-Group Covariance Estimation
我们开发了一个基于模型的方法来评估在大p，小n设置的几个p × p的协方差阵之间的异质性。这是通过假设每个组的尖峰协方差模型和共享有关组级特征向量所跨越的空间的信息来实现的。我们使用一个经验贝叶斯方法，以确定一个低维的子空间，解释所有群体之间的变化，并使用MCMC算法来估计后验不确定性的特征向量和特征值在这个子空间。我们的模型的实施和效用说明与高维多变量基因表达的分析。
2019-10-21 stat.ME
Time endogeneity and an optimal weight function in pre-averaging covariance estimation
在一般的内生时间背景下，我们建立了一类预平均协方差估计的中心极限定理。特别是，我们表明，时间endoadministration的渐近分布没有影响，如果某些泛函的观测时间是渐近定义良好的。这与纯扩散环境中的已实现波动率的情况形成对比。我们还讨论了预平均中权函数的最佳选择。
2015-10-20 math.ST stat.TH
Large Covariance Estimation for Compositional Data via Composition-Adjusted Thresholding
高维组成数据在诸如宏基因组数据分析等许多应用中自然出现。观测数据是一个高维的单纯形，传统的统计方法往往无法产生合理的结果，由于单位和约束。本文研究了高维成分数据的协方差估计问题，并在基协方差阵稀疏的假设下，提出了一种成分调整阈值（COAT）方法。我们的方法是基于一个分解有关的组成协方差的基础协方差，这是近似可识别的维数趋于无穷大。由此产生的过程可以被视为阈值的样本中心的对数比协方差矩阵，因此是可扩展的大协方差阵。我们严格的协方差参数的可识别性的特点，得到的频谱范数下的收敛速度，并提供理论保证支持恢复。模拟研究表明，COAT估计优于一些天真的阈值估计，忽略了独特的组成数据的功能。我们将所提出的方法应用于微生物组数据集的分析，以了解人类肠道中细菌类群之间的依赖结构。
2016-01-18 stat.ME
Covariance Estimation: The GLM and Regularization Perspectives
寻找一个无约束的和统计上可解释的协方差阵的重新参数化仍然是一个开放的问题，在统计。它的解决方案是至关重要的协方差估计，特别是在最近的高维数据环境中，强制执行的正定性约束可能是计算昂贵的。我们从两个相对互补的角度对协方差阵建模的进展进行了综述：（1）广义线性模型（GLM）或简约性和低维协变量的使用，以及（2）高维数据的正则化或稀疏性。一个新兴的，统一的和强大的趋势，在这两个方面是减少协方差估计问题，估计一系列回归问题。我们指出几个实例的回归为基础的配方。一个值得注意的情况是在稀疏估计的精度矩阵或高斯图形模型，导致快速图形LASSO算法。一些基于回归的Cholesky分解相对于经典的谱（特征值）和方差相关分解的优点和局限性突出。前者提供了一个无约束的和统计上可解释的重新参数化，并保证了正定性的估计协方差阵。它减少了不直观的任务，协方差估计的回归序列建模的成本强加一个先验秩序的变量。样本协方差阵的逐元素正则化（如条带化、锥形化和阈值化）具有期望的渐近性质，并且稀疏估计的协方差阵是正定的，对于大样本和大维度，概率趋于1。
2012-02-08 stat.ME
Covariance estimation for multivariate conditionally Gaussian dynamic linear models
在多变量时间序列中，观测新息的协方差阵的估计在预测中起着重要的作用，因为它使得能够计算标准化的预测误差向量，以及它使得能够计算预测的置信界限。我们开发了一个在线的，非迭代贝叶斯算法的估计和预测。实验结果表明，对于一定范围的模拟时间序列，所提出的协方差估计器具有良好的性能收敛到未知观测协方差阵的真值。在一个模拟的时间序列，新的方法近似正确的估计，产生的非序贯蒙特卡罗模拟程序，这是在这里使用的黄金标准。特殊的，但重要的，向量自回归（VAR）和随时间变化的VAR模型说明考虑伦敦金属交易所的数据组成的现货价格的铝，铜，铅和锌。
2008-02-01 stat.AP stat.ME
High-dimensional covariance matrix estimation using a low-rank and diagonal decomposition
在协方差/精度矩阵可分解为低秩分量L和对角分量D的假设下，研究了高维协方差/精度矩阵的估计. L的秩可以选择为小的或由惩罚函数控制。在适当的条件下，人口协方差/精度矩阵本身和惩罚函数，我们证明了一些一致性结果，我们的估计。一个分块坐标下降算法，迭代更新L和D，然后提出在实践中获得的估计。最后，各种数值实验：使用模拟数据，我们表明，我们的估计表现相当不错的Kullback-Leibler损失方面，使用股票收益率数据，我们表明，我们的方法可以应用于获得增强的解决方案的Markowitz投资组合选择问题。
2018-02-16 stat.ME
Covariance Estimation in Elliptical Models with Convex Structure
本文讨论了椭圆分布下的结构协方差估计问题。我们假设协方差属于给定的凸集是先验已知的，例如，Toeplitz矩阵或带状矩阵的集合。我们认为，一般的矩量法（GMM）优化这些凸约束。然而，由于客观原因，GMM仍然是非凸的。相反，我们提出了COCA -凸松弛，可以有效地解决。我们证明了松弛是紧的，在无约束的情况下，有限的样本个数，并在约束的情况下渐近。然后，我们说明了COCA在合成模拟结构复合高斯分布的优势。在这些例子中，COCA优于竞争的方法，泰勒的估计和它的投影到一个凸集。
2013-11-04 math.ST stat.TH
Robust covariance estimation under $L_4-L_2$ norm equivalence
令$X$是在$\mathbb{R}^d$中取值的中心随机向量，并且令$Σ= \mathbb{E}(X\otimes X)$是其协方差阵。我们表明，如果$X$满足一个$L_4-L_2$规范等价，有一个协方差估计$\hatΣ$，表现出最佳性能的期望有$X$是一个高斯向量。该程序还提高了目前的最先进的高概率界在亚高斯的情况下（尖锐的结果只知道在预期或恒定的概率）。在这两种情况下，新的界限并不显式地依赖于维度$d$，而是依赖于协方差阵$Σ$的有效秩。
2019-03-26 math.ST stat.TH
Reduced-Rank Covariance Estimation in Vector Autoregressive Modeling
本文研究了高维向量自回归模型中白噪声协方差阵的降秩建模问题。首先，我们提出了降秩协方差估计的设置下，独立的观察。本文推导了向量观测值基于隐变量模型的降秩估计，并给出了其最大似然估计的解析形式。仿真结果表明，降秩协方差估计优于两个竞争的协方差估计的大规模的协方差阵从独立的观察。然后，我们描述了如何将所提出的降秩估计融入到高维VAR模型的拟合中，在这里我们考虑了两种需要不同模型拟合程序的情况。在VAR建模的背景下，我们的降秩协方差估计不仅提供了VAR过程的依赖结构的可解释的描述，但也导致改进模型拟合和预测不受限制的协方差估计。两个实际数据的例子来说明这些拟合程序。
2014-12-05 stat.AP stat.CO stat.ME
Covariance Matrix Estimation for High-Throughput Biomedical Data with Interconnected Communities
针对高通量生物医学数据依赖模式的互联社区结构，提出利用该结构估计协方差和精度矩阵的方法，推导闭合形式估计量并分析其渐近性质，在模拟与真实数据中均优于现有方法。
2024-10-06 stat.ME
High-dimensional Covariance Estimation by Pairwise Likelihood Truncation
提出基于成对似然截断的高维稀疏协方差矩阵估计方法，通过最小化似然得分 L2 距离与 L1 惩罚选择成对项，保留估计无偏性并具有选择一致性。
2024-07-24 math.ST stat.ME stat.TH
High dimensional sparse covariance estimation via directed acyclic graphs
我们提出了一个基于图的技术估计稀疏的协方差阵及其逆高维数据。该方法基于学习有向无环图（DAG）和基于DAG估计多元高斯分布的参数。为了推断底层DAG，我们使用PC算法，并且为了估计基于DAG的协方差阵及其逆，我们使用提供正（半）定稀疏估计的Cholesky分解方法。我们提出了一个一致性的结果，在高维框架，我们比较我们的方法与Glasso模拟和真实数据。
2009-11-17 stat.ME
