Cross-Fitted Clipped Covariance Estimation with a Data-Driven Tail-Energy Criterion
本文提出了一种基于可计算伯恩斯坦证书的交叉拟合截断协方差估计器,通过MinUpper选择器实现数据驱动调优,适应有效秩并在有限四阶矩条件下保持保证。
2026-11-02 cs.LG stat.ML
Covariance Estimation for Matrix-valued Data
矩阵值数据的协方差估计在应用中受到越来越多的关注。不同于以往的工作,严重依赖于矩阵正态分布假设和固定的矩阵大小的要求,我们提出了一类分布无关的正则化的协方差估计方法,用于高维矩阵数据在一个可分离的条件和一个带宽的协方差结构.在这些条件下,原始协方差矩阵被分解成两个可带小协方差阵的克罗内克积,表示行和列方向上的变异性。我们制定了一个统一的框架,估计带协方差,并介绍了一个有效的算法的基础上秩一无约束克罗内克积近似。建立了估计量的收敛速度,导出的Minimax下界表明我们提出的估计量在一定的矩阵大小的发散制度下是速率最优的。我们进一步引入了一类稳健协方差估计,为处理重尾数据提供了理论保证。我们展示了优越的有限样本性能,我们的方法使用模拟和实际应用,从网格化的温度异常数据集和标准普尔500指数的股票数据分析。
2022-04-18 stat.ME stat.ML
Spectral analysis of spatial-sign covariance matrices for heavy-tailed data with dependence
针对具有一般协方差结构的α-正则变化重尾相依总体数据,本文研究空间符号协方差矩阵的谱特性,建立其极限谱分布及线性谱统计量的中心极限定理,并给出几乎最弱的条件(α≥2时Marčenko-Pastur方程成立,α>4时中心极限定理有效)。
2025-02-16 math.ST stat.TH
Estimation of the covariance structure of heavy-tailed distributions
我们提出并分析了一个新的估计的协方差阵,承认强大的理论保证弱假设下的基本分布,如存在的时刻,只有低阶。虽然估计对应于亚高斯分布的协方差阵是众所周知的,但在重尾数据的情况下知之甚少。作为K. Balasubramanian和M. Yuan写道,“来自真实世界实验的数据往往会被离群值破坏和/或表现出沉重的尾巴。在这种情况下,不清楚这些协方差阵估计量。保持最佳”和“。对于重尾分布,还有哪些可能的处理策略值得进一步研究。“我们朝着回答这个问题迈出了一步,并证明了紧偏差不等式的建议估计,只依赖于控制“内在维度”相关的协方差阵(而不是周围空间的维度)的参数,特别是,我们的结果是适用于高维观测的情况下。
2018-01-16 math.ST stat.TH
Joint Covariance Estimation with Mutual Linear Structure
本文考虑结构协方差阵的联合估计问题。假设结构是未知的,估计实现使用异构训练集。也就是说,给定来自具有不同协方差的中心总体的测量组,我们的目标是确定这些协方差阵的相互结构并估计它们。假设协方差在对称矩阵空间中跨越一个低维仿射子空间,我们提出了一种新的发现结构并利用它来改进估计的有效算法。我们的技术是基于主成分分析在矩阵空间中的应用。我们还推导出该算法在高斯场景下的性能上界,并将其与Cramer-Rao下界进行比较。数值模拟来说明所提出的方法的性能优势。
2015-07-01 math.ST stat.AP stat.TH
Eigenvalues and eigenvectors of heavy-tailed sample covariance matrices with general growth rates: the iid case
本文研究了当$p$和样本量$n$一起收敛到无穷大时,具有iid项的$p$维时间序列样本协方差阵的最大特征值的联合分布收敛性.我们只考虑重尾时间序列,在这个意义上,条目满足一些定期的变化条件,确保他们的四阶矩是无限的。在这种情况下,Soshnikov [31,32]和Auffinger等人[2]证明了样本协方差阵的归一化特征值的点过程向非齐次泊松过程的弱收敛,这反过来意味着最大特征值按分布收敛到Fréchet分布的随机变量。他们在假设$p$和$n$彼此成比例的情况下证明了这些结果。在本文中,我们表明,上述结果仍然有效,如果$p$增长在任何多项式的速度。这些证明与文献[2,31,32]中的证明不同,我们采用了大偏差技术。证明表明,只有样本协方差阵的对角线与最大特征值及其对应的特征向量的渐近行为有关,这些特征值和特征向量接近于标准基向量。我们还讨论了样本自协方差矩阵的结果的扩展。
2016-08-24 math.PR math.ST stat.TH
A Shrinkage Principle for Heavy-Tailed Data: High-Dimensional Robust Low-Rank Matrix Recovery
本文介绍了一个简单的原则,通过适当的收缩数据的强大的高维统计推断。这拓宽了高维技术的范围,将矩条件从次指数或次高斯分布减少到仅仅是有界的二阶或四阶矩。作为这一原则的一个例子,我们专注于稳健估计的低秩矩阵$Θ^*$从跟踪回归模型$Y=Tr (Θ^{*T}X) +ε$。它包括四个流行的问题:稀疏线性模型,压缩感知,矩阵完成和多任务回归。我们建议应用惩罚最小二乘法适当截断或收缩的数据。在响应仅满足有界$2+δ$矩条件下,所提出的鲁棒方法得到的估计量具有与以往文献相同的统计差错率.对于稀疏线性模型和多任务回归,我们进一步允许设计仅具有有界四阶矩,并再次通过适当收缩设计矩阵获得相同的统计率。作为副产品,当随机样本只有有界四阶矩时,我们给出了一个稳健的协方差阵估计,并建立了它在谱范数意义下的集中不等式。已经进行了大量的模拟来支持我们的理论。
2017-05-04 math.ST stat.ME stat.TH
High-Dimensional Regularization of the Spatial Sign Covariance Matrix for Robust Shape Estimation
Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学惠廷工程学院);Department of Applied Mathematics and Statistics, Johns Hopkins University(约翰斯·霍普金斯大学应用数学与统计学系);Department of Statistics & Data Science Institute, University of Chicago(芝加哥大学统计与数据科学研究所)
该研究针对重尾分布下的稳健形状估计,证明空间符号协方差矩阵估计量(SSCM)在高维比例渐近下通过隐式正则化在Frobenius风险上优于Tyler的M估计量,并通过数值实验验证。
2026-10-05 math.ST stat.ME stat.TH
Large Covariance Estimation through Elliptical Factor Models
提出了一种基于近似因子模型的大规模协方差阵估计的通用主正交互补保持(POET)框架。为了更好地理解POET的工作原理,提出了一组在不同矩阵范数下实现最优收敛速度的高级充分条件。这样的框架允许我们以更透明的方式恢复亚高斯的结果,该方式仅取决于样本协方差阵的浓度特性。作为一个新的理论贡献,第一次,这样的框架允许我们利用条件稀疏协方差结构的重尾数据。特别是,对于椭圆数据,我们提出了一个鲁棒估计的基础上边际和多元肯德尔的tau,以满足这些条件。此外,本文还在同一框架下对条件图模型进行了研究.本文所开发的技术工具对高维主成分分析具有普遍意义。最后给出了数值计算结果,验证了理论的正确性.
2015-07-30 stat.ME
Robust Sparse Precision Matrix Estimation and its Application
针对高维重尾分布的精度矩阵估计问题,提出基于空间符号协方差的SCLIME和SGLASSO方法,证明了其一致性速率与现有方法匹配,并在模拟与真实数据中验证了其优越性。
2025-03-05 stat.ME
A spectral least-squares-type method for heavy-tailed corrupted regression with unknown covariance \& heterogeneous noise
我们重新审视重尾损坏的最小二乘线性回归,假设有一个损坏的$n$大小的标签特征样本,最多$εn$任意离群值。我们希望估计一个$p$维参数$b^*$给定这样的样本的标签-特征对$(y,x)$满足$y=\langle x,b^*\rangle+ξ$与重尾$(x,ξ)$。我们只假设$x$是$L^4-L^2$超压缩的,具有常数$L>0$,并且具有最小特征值$1/μ^2>0$和有界条件数$κ>0$的协方差矩阵$Σ$。噪声$ξ$可以任意地依赖于$x$并且是非对称的,只要$ξx$具有有限的协方差矩阵$Ξ$。我们提出了一个接近最优的计算易处理的估计,基于功率方法,假设没有知识$(Σ,Ξ)$也没有运营商规范的$Ξ$。与概率至少$1-δ$,我们提出的估计达到统计率$μ^2\VertΞ\Vert^{1/2}(\frac{p}{n}+\frac{\log(1/δ)}{n}+ε)^{1/2}$和击穿点$ε\lesssim\frac{1}{L^4κ^2}$,最佳的$\ell_2$规范,假设接近最佳的最小样本量$L^4κ^2(p\log p + \log(1/δ))\lesssim n$,直到一个对数因子。据我们所知,这是第一个计算上容易处理的算法,同时满足所有提到的属性。我们的估计是基于一个两阶段的乘法权重更新算法。第一阶段相对于(未知的)预处理内积$\langleΣ(\cdot),\cdot\rangle$估…
2022-09-06 math.ST stat.ML stat.TH
Low-Rank Matrix Recovery via Heavy-Tailed Quadratic Sampling
Zhejiang University(浙江大学)
研究从二次采样矩阵恢复低秩埃尔米特矩阵的问题,利用核范数最小化和半定约束经验风险最小化方法,在采样向量元素有限\(4+\delta\)矩假设下实现恢复,给出最优样本复杂度,还有复射影\(4 -\)设计采样及相位恢复的相关成果。
2026-07-10 cs.IT math.IT math.ST
Fast and Robust: Computationally Efficient Covariance Estimation for Sub-Weibull Vectors
本文提出了一种针对亚维布尔分布的高效协方差估计方法,通过交叉拟合范数截断估计器,在保持谱几何的同时实现计算效率,达到最优亚高斯速率。
2026-01-05 stat.CO stat.ML
The Decision Geometry of Covariance Estimation for the Global Minimum-Variance Portfolio under Heavy Tails
Academy for AI, Games and Media(人工智能、游戏与媒体学院)
研究重尾分布下全局最小方差组合的协方差估计问题,通过精确的遗憾恒等式和非渐近界,揭示决策遗憾仅依赖于协方差误差在组合权重上的作用,并推导出决策几何不变性。
2026-06-29 cs.LG q-fin.PM stat.ML
ECA: High Dimensional Elliptical Component Analysis in non-Gaussian Distributions
我们提出了一个强大的替代主成分分析(PCA)--称为椭圆成分分析(ECA)-分析高维,椭圆分布的数据。ECA估计椭圆数据的协方差阵的特征空间。为了应对重尾椭圆分布,利用了多元秩统计量。在模型级,我们考虑两种设置:协方差阵的前导特征向量是非稀疏的或者它们是稀疏的。在方法上,我们提出了非稀疏和稀疏设置的ECA程序。理论上,我们提供了非渐近和渐近分析量化的ECA的理论性能。在非稀疏设置,我们表明,ECA的性能是高度相关的协方差阵的有效秩。在稀疏设置,结果是双重的:(i)我们表明,稀疏ECA估计的组合程序的基础上达到最佳的收敛速度;(ii)根据最近的一些发展,估计稀疏领先的特征向量,我们表明,计算效率稀疏ECA估计达到最佳的收敛速度下的次优缩放。
2016-10-03 stat.ML
Robust covariance estimation and explainable outlier detection for matrix-valued data
提出 MMCD 方法以直接估计矩阵值数据的位置与行列协方差,并结合稳健马氏距离和 Shapley 值实现高性能、可解释的异常值检测。
2024-05-08 stat.CO stat.ME
Sparse PCA Beyond Covariance Thresholding
ETH Zürich(苏黎世联邦理工学院)
本研究针对稀疏主成分分析问题,提出一种超越协方差阈值化的多项式时间算法,在多类模型与噪声场景下提升了性能保证,且适用于稀疏植入向量等相关问题。
2023-11-08 cs.LG stat.ML
Robust Covariance Estimation for High-dimensional Compositional Data with Application to Microbial Communities Analysis
随着高通量测序技术的迅速发展,微生物群落分析越来越受到人们的关注。观测数据具有以下典型特征:高维性、组成性(单形),甚至由于类群过多而呈现尖峰和高度偏斜,使得传统的相关性分析无法研究类群间的共现共排关系。在这篇文章中,我们解决了这类数据的协方差估计的挑战。假设基协方差矩阵属于一类稀疏的协方差阵,我们采用了一个在文献中称为中心对数比协方差阵的代理矩阵,当维数趋于无穷大时,它与真实的基协方差阵几乎没有区别。我们构造了一个中位数均值(中位数)估计的中心对数比协方差阵,并提出了一个阈值的程序,是自适应的个别条目的变异性。通过施加一个比文献中的次高斯条件弱得多的有限四阶矩条件,我们得到了谱范数下的最优收敛速度。此外,还为支架回收提供了理论保证。该方法的自适应阈值化过程易于实现,且在存在粗尾或离群点时具有较强的鲁棒性。进行了深入的仿真研究,以显示所提出的程序的优势,一些国家的最先进的方法。最后,我们应用所提出的方法来分析人体肠道微生物组数据集。用于实现该方法的R脚本可在https://github.com/heyongstat/RCEC上获得。
2020-04-29 stat.ME
Support Vector Data Description for Radar Target Detection
本文提出基于支持向量数据描述的雷达目标检测方法,通过改进的单类学习算法提升在杂波环境下的检测性能。
2026-02-11 cs.LG eess.SP stat.ML
On the spectral norm of large heavy-tailed random matrices with strongly dependent rows and columns
本文研究了一种新的随机矩阵系综$X$,它是通过对具有无限四阶矩的iid随机变量矩阵应用二维线性滤波器而构造的。当$X$的列数和行数趋于无穷大时,我们的结果给出了(中心化)样本协方差阵$XX^\T$的谱范数的渐近上下上界.
2012-11-30 math.PR math.ST stat.TH
Highly robust factored principal component analysis for matrix-valued outlier accommodation and explainable detection via matrix minimum covariance determinant
Guilin University of Technology(桂林理工大学);Yunnan University of Finance and Economics(云南财经大学);Chang'an University(长安大学)
本文提出高鲁棒因子主成分分析HRFPCA,利用MMCD估计量处理矩阵值重尾数据与异常值,并通过SODA图实现可解释检测。
2025-09-30 stat.ME
Threshold Selection for Multivariate Heavy-Tailed Data
规则变分经常被用作建模多变量重尾数据的起点。一个随机向量是规则变化的,当且仅当它的径向部分$R$是规则变化的,并且当$R$趋于无穷大时,它与角部分$Θ$渐近无关。给定$R$的$Θ$的条件极限分布很大,表征了随机向量的尾部依赖性,因此其估计是应用的主要目标。一个典型的策略是查看径向部分超过某个阈值的数据的角度分量。虽然已经提出了一大类的方法来从这些双折射率来模拟角分布,但在文献中几乎没有讨论阈值的选择。在本文中,我们描述了一个程序,用于选择阈值正式测试的独立性$R$和$Θ$使用的依赖性的措施,称为距离协方差。我们推广的距离协方差的极限定理,我们唯一的设置,并提出了一个算法,选择$R$的阈值。该算法结合了一个子采样方案,也适用于弱相关数据。此外,它避免了距离协方差计算中的繁重计算,这是该措施的典型限制。我们的方法的性能示出了模拟和真实数据。
2018-03-26 math.ST stat.TH
Sub-Gaussian High-Dimensional Covariance Matrix Estimation under Elliptical Factor Model with 2 + εth Moment
针对具有2+εth矩的椭圆因子模型下的高维协方差矩阵估计问题,提出异质性投影自归一化(IPSN)方法消除重尾影响,构建了达到次高斯收敛速率的稳健散布矩阵初始估计量,其协方差矩阵估计量比通用POET估计量收敛更快。
2024-06-26 math.ST stat.TH
Eigenvalues of sample covariance matrices of non-linear processes with infinite variance
我们研究$k$ -重尾样本协方差阵的形式$\bX\bX^\T$在渐近框架中,其中的数据和样本量的维度趋于无穷大的最大特征值。为此,我们假设$\bX$的行是由一些平稳过程的独立副本与定期变化的边缘指数$α\in(0,2)$满足大偏差和混合条件。我们将这些一般结果应用于随机波动率和Gesthem过程。
2013-09-11 math.PR math.ST stat.TH
On characterizations of the covariance matrix
协方差阵具有仿射等方差性、可加性、独立性和完全仿射等方差性。推广第一个可以引入分散泛函的研究,分散泛函通常用作插件估计器来取代稳健统计中的协方差阵。然而,如果应用程序还需要前面列出的协方差阵的某些其他属性,则插件的成功取决于候选散射函数是否具有这些属性。在这个简短的说明,我们表明,在自然规律性条件下的协方差阵是唯一的散射功能,是添加剂和唯一的散射功能,是完全仿射等变。
2018-10-02 math.ST stat.TH
High-Dimensional Data Analysis for Elliptically Symmetric Distributions
Nankai University(南开大学)
本文研究高维数据在椭圆对称分布下的稳健推断方法,涵盖协方差矩阵估计、球性检验及主成分分析等,强调空间符号、秩和Kendall矩阵等形状基于方法的应用。
2026-08-17 stat.ME
Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax Rates, Covariate Quantization, and Uniform Recovery
本文提出截断与抖动预处理结合均匀量化的方案,证明在协方差估计、压缩感知和矩阵补全中可实现近极小极大误差速率,并针对协变量量化下的非凸恢复及重尾噪声建立近最优一致恢复保证。
2023-07-26 cs.IT math.IT math.ST
The eigenstructure of the sample covariance matrices of high-dimensional stochastic volatility models with heavy tails
我们考虑一个$p$维时间序列,其中维度$p$随着样本量$n$而增加。由此产生的数据矩阵$X$遵循随机波动率模型:每个条目由正随机波动率项乘以独立噪声项组成。波动率乘数在每一行和各行之间引入相关性。本文研究了在噪声为正则变化的假设下,样本协方差阵$XX'$的特征值和特征向量的渐近行为。特别是,我们证明了泊松收敛的点过程的中心和规范化的特征值,并得出极限理论的泛函作用于他们,如跟踪。我们证明了随机波动率模型与额外的线性相关结构和随机波动率模型的时变波动率项被熄灭时,高概率$n$增加的相关结果。我们提供明确的近似的特征向量是一个惊人的简单的结构。证明这些结果的主要工具是重尾时间序列的大偏差定理,主张用统一的方法研究重尾随机矩阵的特征结构。
2020-01-14 math.PR math.ST stat.TH
Concentration and moment inequalities for sums of independent heavy-tailed random matrices
University of Southern California(南加州大学)
本文针对仅存在低阶有限矩的独立重尾随机矩阵和,证明了依赖有效秩等内在维度的Fuk-Nagaev型与Rosenthal型不等式,并通过多个应用验证了结果优势。
2025-11-19 math.PR math.ST stat.TH
Extreme value analysis for the sample autocovariance matrices of heavy-tailed multivariate time series
本文给出了p维时间序列的样本协方差阵的最大特征值的渐近理论,其中当样本量n增加时,维数p = p_n收敛到无穷大.我们给出了一个简短的概述,在轻尾和重尾的情况下,数据有有限(无限)的四阶矩,分别在这一主题的文献。我们主要关注的是重尾的情况。在这种情况下,人们有一个理论,在iid的情况下,但也当数据的行和列是线性相关的样本协方差阵的归一化特征值的点过程。我们提供了这些点过程的泊松或集群泊松过程的弱收敛的极限结果。基于这种收敛性,我们还可以推导出有序特征值的各种函数的极限定律,例如有限个最大顺序统计量的联合收敛性、最大特征值与迹的联合极限定律、有序特征值连续比的极限定律等。我们还发展了样本自协方差矩阵及其平方和的奇异值的极限理论。该理论的模拟数据和标准普尔500指数的组成部分说明。
2016-04-26 math.PR math.ST stat.TH
Ball-Codifference Screening for Heavy-Tailed Predictors
Department of Biostatistics, School of Public Health, The University of Texas Health Science Center at Houston (UTHealth Austin)(德克萨斯大学健康科学中心休斯顿分校公共卫生学院生物统计系)
研究重尾预测变量下的筛选问题,基于扩展余差和球协方差开发球余差,结合随机球几何与余差构建统计量,定义其筛选效用并制定筛选程序,模拟和数据示例表明该方法能提高预测变量恢复能力及回归预测准确性。
2026-07-24 math.ST stat.TH
Parameter Estimation for Partially Observed Affine and Polynomial Processes
Christian-Albrechts-Universität zu Kiel(基尔大学)
针对部分观测多项式状态空间模型,利用多项式结构显式计算高斯拟似然估计及其渐近协方差矩阵,证明了估计序列的一致性和渐近正态性。
2026-06-17 math.ST stat.TH
Asymptotic testing of covariance separability for matrix elliptical data
University of Turku(图尔库大学);University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心)
本文提出了一种用于检验矩阵椭圆数据协方差分离性的渐近检验方法,适用于宽矩阵椭圆模型,并在重尾分布和正态数据情况下均表现出良好的统计功效。
2026-01-23 math.ST stat.ME stat.TH
Limits of Kalman Filter application in heavy tailed problems
本文研究了重尾分布情形下卡尔曼滤波状态估计的行为,采用了具有高斯观测噪声的模拟线性状态空间模型。状态方程中的高斯噪声用具有不同参数α和β的α-稳定分布分量代替。我们考虑的情况下,“所有参数是已知的”和两种方法的参数估计进行了比较:最大似然估计(MLE)和期望最大化算法(EM)。结果表明,当系统偏离高斯分布大偏差时,系统状态估计的总误差急剧增大。我们推测,这可以解释为低估的状态方程噪声协方差阵,可以考虑通过EM参数估计和ML估计的情况下忽略。
2015-12-05 math.ST stat.TH
Classification of Heavy-tailed Features in High Dimensions: a Superstatistical Approach
King’s College London(伦敦国王学院)
本研究用超统计方法分析高维重尾数据分类,通过经验风险最小化刻画混合数据学习,验证高斯普适性并解析泛化与可分离性转变。
2023-10-31 cond-mat.dis-nn cs.LG math.ST
Estimation of Large Covariance and Precision Matrices from Temporally Dependent Observations
本文考虑了高维次高斯或双尾观测数据的大协方差阵和精度阵的估计问题。时间依赖性被允许是长范围的,因此具有比当前文献中考虑的更长的记忆。我们表明,几种常用的独立观测方法可以适用于时间依赖的数据。特别地,给出了协方差矩阵和相关阵的广义门限估计,精度矩阵的约束$\ell_1$极小化和$\ell_1$惩罚似然估计的收敛速度.稀疏性和符号一致性的性质也被建立。提出了一种间隙-块交叉验证的方法来选择调谐参数,在仿真中取得了很好的效果。作为一个启发性的例子,我们使用具有长程时间依赖性的静息态fMRI时间序列数据来研究脑功能连接。
2017-07-18 math.ST stat.ML stat.TH
The asymptotic inadmissibility of the spatial sign covariance matrix for elliptically symmetric distributions
研究了空间符号协方差阵(SSCM)相对于散布度仿射同变估计的渐近有效性。特别地,证明了SSCM是渐近不可接受的,即一致性校正后的SSCM的渐近方差-协方差阵一致小于其仿射等变对应矩阵,即泰勒散布矩阵.虽然SSCM经常被推荐时,一个是有兴趣的主成分分析,SSCM的效率低下的程度被证明是最严重的情况下,主成分是最感兴趣的。有限样本模拟表明,SSCM的低效率也适用于小样本量,渐近相对效率是一个很好的近似有限样本效率相对温和的样本量。
2013-09-07 math.ST stat.ME stat.TH
On the variability of the sample covariance matrix under complex elliptical distributions
本文导出了从复椭圆分布抽样时,任意仿射等变矩阵值统计量的方差-协方差阵的形式。然后,我们使用这个结果推导出的方差-协方差矩阵的样本协方差阵(SCM),以及其理论均方误差(MSE)时,有限的四阶矩存在。最后给出了计算公式的实例。
2021-11-09 math.ST stat.TH
Geometric Ergodicity of Affine Invariant Ensemble Langevin and its Discrete Time Variants
Department of Mathematics, UCLA(加州大学洛杉矶分校数学系)
本文针对仿射不变集合朗之万动力学及其离散变体,通过构造新型李雅普诺夫函数解决其几何遍历性的开放问题,证明了正则化后方法的收敛性及离散化不变分布的弱收敛性。
2026-10-06 cs.NA math.NA math.OC
Limiting behavior of bilinear forms for the resolvent of sample covariance matrices under elliptical distribution with applications
本文为椭圆分布下样本协方差矩阵预解式的双线性形式建立联合中心极限定理,发现极限参数的相变,并应用于特征向量统计和尖峰特征值,推广了Haar猜想。
2023-12-27 math.ST stat.TH
Likelihood Geometry of Correlation Models
相关阵是标准化的协方差阵。它们形成了一个通过将对角元素设为1而定义的对称矩阵的仿射空间。我们研究几何的极大似然估计,这个模型和线性子模型,编码额外的对称性。我们还考虑了最小化协方差阵的两个密切相关的功能的问题:斯坦的损失和对称化斯坦的损失。与高斯对数似然不同,这两个函数是凸的,因此允许唯一的正定最优。我们的一些结果适用于一般的仿射协方差模型。
2021-02-01 math.AG math.OC math.ST
On the robustness to adversarial corruption and to heavy-tailed data of the Stahel-Donoho median of means
我们考虑Stahel-Donoho outlyingness(SDO)[stahel 1981,donoho 1982]和Median绝对偏差(MAD)函数的均值中值(Median of means,EMEs)版本来构造对抗性污染和重尾数据下均值向量的亚高斯估计。我们开发了一个单一的分析,涵盖了所有的情况下,从高斯的情况下,L2的情况下的SDO的双版本。它是基于同构和几乎等距性质的SDO和MAD的双版本。这个分析也涵盖了平均值甚至不存在但位置参数存在的情况;在这些情况下,即使没有第一时刻,我们仍然可以恢复相同的亚高斯率和对抗性污染的相同代价。这些性质通过经典SDO中位数实现,因此是Stahel-Donoho中位数的第一个非渐近统计界,补充了Stahel-Donoho估计量的$\sqrt{n}$ -一致性[maronna 1995]和渐近正态性[Zuo,Cui,He,2004]。我们还表明,MAD-S版本可以用来构建一个估计的协方差阵下只有一个L2矩的假设或一个尺度参数,如果二阶矩不存在。
2021-01-22 math.ST stat.TH
Robust estimation and inference for heavy tailed GARCH
我们开发了两个新的估计一般类的平稳Gestival模型可能重尾非对称分布的错误,覆盖过程的对称和非对称反馈,如Gestival,非对称Gestival,VGestival和二次Gestival。第一个估计量来自于根据误差极值对QML准则方程进行可忽略的修剪。第二个嵌入到QML得分方程的矩估计方法的转换误差可忽略不计。在这种情况下,我们利用降序变换的子类,其中包括尾部修剪和功能流行的鲁棒估计文献,我们重新中心的转换误差,以尽量减少小样本偏差。可忽略的变换允许识别真参数和渐近正态性。我们提出了一个一致的估计的协方差阵,允许经典的推理,而不知道的收敛速率。模拟研究表明,我们的估计胜过现有的锐度和近似正态性,包括QML,对数LAD,和两种类型的非高斯QML(拉普拉斯和幂律)。最后,我们将截尾QML估计应用于金融数据。
2015-07-28 math.ST stat.TH
Heavy-tailed Contamination is Easier than Adversarial Contamination
CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
本文证明任何对抗性鲁棒估计器对重尾离群值同样有效,并构造反例说明重尾估计器无法直接用于对抗性设定,从而表明重尾估计比对抗性鲁棒估计更容易,为重尾场景开辟了新算法方向。
2024-11-22 cs.DS cs.LG math.ST
Robust Estimation of Covariance Matrices: Adversarial Contamination and Beyond
针对高维低秩协方差矩阵估计中存在的对抗污染或重尾分布问题,提出一种自适应低秩结构与污染比例的鲁棒估计器,具备严格偏差保证,并给出高效数值近似算法。
2022-03-06 math.ST stat.TH
Time series models for realized covariance matrices based on the matrix-F distribution
针对时变已实现协方差矩阵,提出了一种新的条件BEKK矩阵-F(CBF)模型。该CBF模型能够捕获重尾RCOV,这是一个重要的程式化事实,但不能充分处理的Wishart为基础的模型。为了进一步模拟RCOV的长记忆特性,引入了一种特殊的具有条件异质自回归(HAR)结构的CBF模型。此外,我们还对CBF模型的概率性质和统计推断进行了系统的研究,包括探讨其平稳性,建立其极大似然估计的渐近性,并给出了一些新的基于内积的模型检验方法。为了处理高维RCOV矩阵,我们构造了两种简化的CBF模型--方差-目标CBF模型(适用于中等但固定维的RCOV矩阵)和因子CBF模型(适用于高维RCOV矩阵)。对于这两种降阶模型,导出了参数估计的渐近理论。仿真结果和两个实际例子说明了我们整个方法的重要性。
2020-07-09 econ.EM math.ST stat.ME
Dimension-free Bounds for Sum of Dependent Matrices and Operators with Heavy-Tailed Distribution
本文针对相依且重尾的高维随机矩阵与算子之和,推导出依赖有效秩而非维度的无维数偏差上界,利用矩母函数对偶变分近似与特征值截断技术,推广了现有研究并应用于协方差估计等问题,同时附上对原定理的勘误。
2025-06-25 math.ST stat.TH
Curvature effects on the empirical mean in Riemannian and affine Manifolds: a non-asymptotic high concentration expansion in the small-sample regime
Bhattacharya \& Patrangenaru(BP-CLT)[6]利用中心极限定理建立了黎曼流形上IID随机变量序列Fr{é}chet均值的渐近集中性.这一渐近结果表明,Fr{é}chet平均值的行为几乎与充分集中分布的通常欧几里德情况相同。然而,经验平均值的渐近协方差阵被平方距离的期望Hessian修正。这个黑塞矩阵在[5]中对常曲率空间进行了明确计算,以便将其与截面曲率联系起来。虽然公式是明确的,但仍然很难解释,曲率对渐近收敛的直观影响仍然不清楚。此外,在实践中,我们最感兴趣的是有限小样本的平均值。在这项工作中,我们的目标是了解在这个小样本制度的流形曲率的影响。最后但并非最不重要的一点是,人们希望可以从黎曼流形中的经验Fr{é}chet平均扩展到仿射联络流形中的经验指数重心的可计算和可解释的近似。对于高度集中在其平均值周围的分布,以及对于任何有限样本个数,我们建立了显式的经验平均值的第一和第二时刻的泰勒展开由于一个新的泰勒展开的黎曼对数映射在仿射联络空间。这表明经验平均值具有与用协方差阵收缩两次的曲率张量的梯度成比例的1/n的偏差,以及与协方差-曲率张量成比例的协方差阵的收敛速度的调制。我们证明了我们的非渐近高浓度展开与BP-CLT的渐近展开是一致的。常曲率空间上的实验表明,这两个扩展是非常准确的有效域。此外,调制的收敛速度的经验平均值的协方差阵的显式编码使用标量乘…
2019-06-18 math.DG math.ST stat.TH
Limiting distributions for eigenvalues of sample correlation matrices from heavy-tailed populations
考虑一个$p$维总体${\mathbf x} \in\mathbb{R}^p$,其iid坐标在一个指数为$α\in (0,2)$的稳定分布的吸引域中.由于${\mathbf x}$的方差是无穷大的,因此基于来自总体的样本${\mathbf x}_1,\ldots,{\mathbf x}_n$的样本协方差矩阵${\mathbf S}_n=n^{-1}\sum_{i=1}^n {{\mathbf x}_i}{\mathbf x}'_i$表现不佳,因此有必要使用样本相关矩阵${\mathbf R}_n= \{\operatorname{diag}({\mathbf S}_n)\}^{-1/2}\, {\mathbf S}_n \{\operatorname{diag}({\mathbf S}_n)\}^{-1/2}$。当维数$p$和样本容量$n$都增长到无穷大时,本文找到了${\mathbf R}_n$的特征值的极限分布,使得$p/n\to γ\in (0,\infty)$ .极限分布族$\{H_{α,γ}\}$是新的,取决于两个参数$α$和$γ$。$H_{α,γ}$的矩被完全确定为两个贡献的总和:第一个来自经典的马琴科-帕斯托尔定律,第二个来自重尾。此外,家族$\{H_{α,γ}\}$在边界$α=2$和$α=0$处具有连续扩展,分别导致Marčenko-Pastur定律和修改的泊松分布…
2022-09-19 math.PR math.ST stat.TH
Better and Simpler Lower Bounds for Differentially Private Statistical Estimation
Massachusetts Institute of Technology(麻省理工学院)
本文针对近似差分隐私下的高维参数估计任务,利用指纹方法和贝叶斯方法,证明了高斯协方差估计和重尾分布均值估计的最优样本下界,改进并简化了先前工作。
2024-01-04 cs.CR cs.DS cs.IT
Statistical Barriers to Affine-equivariant Estimation
UC Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
研究仿射等变估计器在鲁棒均值估计中的定量性能,证明仿射等变性会导致恢复误差恶化 $\sqrt{d}$ 倍,并提出一种近乎匹配下界的新型仿射等变估计器。
2023-10-16 cs.DS cs.LG math.ST
Robust estimation of principal components from depth-based multivariate rank covariance matrix
从多变量数据的空间符号协方差阵(SCM)分析主成分已被提出作为计算简单和鲁棒的替代正常PCA,但它具有较差的效率属性,并且实际上对于最大似然估计是不可接受的。在这里,我们使用基于数据深度的空间秩代替空间符号来获得正交等变深度协方差阵(DCM),并将其特征向量估计用于PCA。我们导出了样本DCM的渐近性质及其特征向量的影响函数。这些影响函数的形状表明估计的主成分的鲁棒性,以及与SCM相比的良好的效率特性。有限样本仿真研究表明,样本DCM的主成分是强大的偏离正态分布,以及更有效的SCM和仿射等变版本,泰勒的形状矩阵。通过两个实际数据的例子,我们还展示了基于DCM的PCA在分析高维数据和异常检测方面的有效性,并与其他方法进行了比较。
2016-03-09 math.ST stat.TH
Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation
CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);University Savoie Mont Blanc(萨瓦勃朗峰大学);CNAM(法国国立工艺学院)
本文提出适用于 Riemannian 流形参数与先验分布的内蕴贝叶斯 Cramér-Rao 界,并用于 Gaussian 数据、逆 Wishart 先验下的协方差矩阵估计。
2024-09-09 cs.LG math.ST stat.AP
Gaussian approximation for the sup-norm of high-dimensional matrix-variate U-statistics and its applications
研究了高维非退化二阶U-统计量在上确界范数下的高斯逼近。我们提出了一个两步高斯近似过程,不施加结构假设的数据分布。具体而言,受到温和的时刻条件的内核,我们建立显式的收敛速率,衰减多项式的样本量的高维尺度限制,其中的尺寸可以远远大于样本量。我们还补充了一个实用的高斯野生bootstrap方法来近似的分位数的中心U-统计量的最大值,并证明了它的渐近有效性。在高维非高斯数据的统计应用中,包括:(i)原则性和数据相关的调整参数选择的协方差阵及其相关泛函的正则化估计;(ii)协方差和秩相关阵的同时推断。特别是,对于阈值协方差阵估计与自助选择的调整参数,我们表明,高斯样的收敛速度可以实现重尾数据,这是不太保守的Bonferroni技术,忽略了底层数据分布的依赖性。此外,我们还表明,即使是亚高斯分布,自举阈值的协方差阵估计的误差界可以比那些具有通用阈值的极大极小估计更紧。
2016-09-30 math.ST stat.ME stat.TH