Robust dimension-free estimation of simple random tensors: optimal guarantees under heavy tails and adversarial contamination
IMPA, Brazil(巴西数学纯应用研究所);Bocconi University, Italy(博科尼大学);FGV EMAp, School of Applied Mathematics, Brazil(巴西风车基金会应用数学学院)
本文针对任意阶简单随机张量,提出基于方向截尾均值与极小极大聚合的鲁棒估计器,在重尾与对抗污染下实现近最优无维度统计速率,其建立的高阶过程集中不等式具独立应用价值。
2026-09-04 math.ST stat.TH
Statistically Optimal Robust Mean and Covariance Estimation for Anisotropic Gaussians
CREST, ENSAE, Institut Polytechnique de Paris(巴黎理工学院ENSAE CREST);University of California, Berkeley(加州大学伯克利分校)
假设$X_{1}, \ldots, X_{N}$是$\mathbb{R}^d$中的$N$独立高斯向量的$\varepsilon$污染样本,具有均值$μ$和协方差$Σ$。在强$\varepsilon$-污染模型中,我们假设攻击者将原始高斯样本中的$\varepsilon$部分向量替换为其他向量。我们发现,有一个估计$\widehat μ$的平均值满足,概率至少$1 - δ$,一个界的形式\[ \|\widehatμ - μ\|_2 \le c\left(\sqrt{\frac{\operatorname{Tr}(Σ)}{N}} + \sqrt{\frac{\|Σ\|\log(1/δ)}{N}} + \varepsilon\sqrt{\|Σ\|}\right), \]其中$c > 0$是一个绝对常数和$\|Σ\|$表示运营商规范的$Σ$。在相同的污染高斯设置中,我们构造协方差矩阵$Σ$的估计器$\widehat Σ$,其以概率至少满足$1 - δ$,\[ \left\|\widehatΣ - Σ\right\| \le c\left(\sqrt{\frac{\|Σ\|\operatorname{Tr}(Σ)}{N}} + \|Σ\|\sqrt{\frac{\log(1/δ)}{N}} + \varepsilon\|Σ\|\right). \]。尽管最近对鲁棒统计有很大的兴趣,但在规范高…
2023-01-21 cs.DS cs.LG math.ST
Robust Covariance Estimation for Entry-wise Contaminated and Partially Observed Data via Expectation Maximization Algorithm
ENS Paris-Saclay(巴黎萨克雷高等师范学院);Paris Saclay University(巴黎萨克雷大学)
本文针对逐元素污染与部分观测数据的鲁棒协方差估计问题,提出基于SAEM算法的Student-$t^*$模型推理方法,实验显示其在中高异常率下的Fisher-Rao误差低于多种基准方法。
2026-10-16 cs.LG stat.ML
Robust high-dimensional precision matrix estimation
可以使用协方差阵$Σ$来分析多变量数据的相关性结构。在许多领域中,精度矩阵$Σ^{-1}$的信息量更大。由于样本协方差估计量在高维空间是奇异的,因此不能用它来获得精确的矩阵估计量。一个流行的高维估计是图形套索,但它缺乏鲁棒性。我们考虑高维独立污染模型。在这里,即使数据矩阵中很小百分比的受污染单元格也可能导致很高百分比的受污染行。通过传统的鲁棒程序对整个观测值进行降权,将导致信息丢失。在本文中,我们正式证明,取代样本协方差阵在图形套索与elementwise强大的协方差阵导致elementwise强大的,稀疏精度矩阵估计可计算的高维。这样的elementwise鲁棒协方差估计的例子。最终的精度矩阵估计是正定的,在元素污染下具有高崩溃点,并且可以快速计算。
2015-06-03 stat.ME
Covariance Estimation: Optimal Dimension-free Guarantees for Adversarial Corruption and Heavy Tails
该研究提出一种协方差矩阵估计器,在对抗性样本污染与重尾分布下实现算子范数最优收敛速率,同时证明了p>4情形下的无维度Bai-Yin型定理。
2023-07-20 cs.DS math.PR math.ST
Robust Covariance and Scatter Matrix Estimation under Huber's Contamination Model
协方差阵估计是统计学中最重要的问题之一。为了适应现代数据集的复杂性,期望具有不仅可以结合协方差阵的结构假设,而且对来自任意源的离群值具有鲁棒性的估计过程。在本文中,我们定义了一个新的概念称为矩阵深度,然后提出了一个强大的协方差阵估计最大化的经验深度函数。所提出的估计,以实现最小最大最优率下Huber的$ε$污染模型估计协方差/散射矩阵的各种结构,包括带状和稀疏。
2017-06-12 math.ST stat.ME stat.TH
Trimming Stability Selection increases variable selection robustness
污染会严重扭曲估计,除非估计程序是适当的强大。这是一个众所周知的问题,并已在稳健统计中得到解决,然而,污染和扭曲的变量选择的关系在文献中很少被考虑。至于变量选择,已经提出了许多稀疏模型选择的方法,包括稳定性选择,这是一种基于变量选择算法的元算法,以免疫特定的数据配置。我们引入了变量选择细分点,量化的情况下,分别。必须被污染的细胞,以便检测不到相关变量。我们发现,特定的离群配置可以完全误导模型选择,并认为为什么即使是细胞明智的强大的方法不能解决这个问题。我们将变量选择崩溃点与恢复相结合,得到稳定性选择崩溃点,该崩溃点量化了稳定性选择的鲁棒性。我们提出了一个修剪的稳定性选择,它只聚合模型的最低样本损失,以便,从理论上讲,模型计算严重污染的重采样应该被修剪掉。一个广泛的模拟研究与非鲁棒回归和分类算法,以及稀疏最小二乘法揭示了我们的方法,以提高模型选择的鲁棒性,以及使用非鲁棒算法的变量选择的脆弱性,即使是一个非常小的细胞明智的污染率的潜力。
2022-07-14 math.ST stat.ME stat.TH
Improved covariance estimation: optimal robustness and sub-Gaussian guarantees under heavy tails
提出一种在重尾分布下仅依赖有界 $L^p-L^2$ 矩假设的协方差矩阵估计量,实现了与高斯数据相同的误差率及最优对抗鲁棒性。
2024-03-25 math.PR math.ST stat.TH
Order Determination for Functional Data
University of Waterloo(滑铁卢大学)
针对函数型数据中协方差算子秩的确定问题,提出利用特征值和特征函数信息的新方法,通过平滑技术处理离散且含噪数据,在模拟和真实数据中表现优异。
2025-10-08 stat.AP stat.ME
Robust Functional Data Analysis for Discretely Observed Data
本文针对离散观测数据提出统一的稳健函数均值、协方差与主成分分析框架,建立与经典方法对应的理论结果,并给出可随样本量增长的特征函数扰动界。
2023-05-25 math.ST stat.ME stat.TH
Robust Estimation of Covariance Matrices: Adversarial Contamination and Beyond
针对高维低秩协方差矩阵估计中存在的对抗污染或重尾分布问题,提出一种自适应低秩结构与污染比例的鲁棒估计器,具备严格偏差保证,并给出高效数值近似算法。
2022-03-06 math.ST stat.TH
ADMM Algorithm for Graphical Lasso with an $\ell_{\infty}$ Element-wise Norm Constraint
我们考虑了在精度矩阵上附加$\ell_{\infty}$元素范数约束的图套索问题。这个问题在诸如\citep{Janzamin-12}中的高维协方差分解中有应用。我们提出了一个ADMM算法来解决这个问题。我们还使用了一个连续的策略上的惩罚参数有一个快速实现的算法。
2013-11-28 cs.LG math.OC stat.ML
Random Surface Covariance Estimation by Shifted Partial Tracing
从函数数据分析的角度研究了重复面值过程的协方差估计问题。统计和计算效率的考虑往往迫使协方差的可分性的使用,即使假设可能会在实践中失败。我们考虑一个设置的协方差结构可能无法分离本地-无论是由于噪声污染或由于存在一个~不可分离的短程相关信号分量。也就是说,协方差是一个不可分但带状的分量对可分分量的加性扰动。我们引入了非参数估计器,它基于移位部分跟踪的新概念,使模型在密集观测下的计算效率更高。由于移位部分跟踪的去噪特性,即使在有噪声的离散观测下,我们的方法也能产生相合估计量,而不需要平滑。进一步推导的收敛速度和极限定理,我们还表明,我们的估计,包括预测的实施,在没有计算开销相对于一个可分离的模型。最后,我们证明了我们的方法在广泛的模拟研究和真实数据集的经验性能和计算可行性。
2021-10-22 stat.ME
Robust Multivariate Estimation Based On Statistical Depth Filters
在经典的污染模型中,如粗差(Huber和Tukey污染模型或Case-wise污染模型),观测值被认为是被识别为离群值或非离群值的单元。当考虑的变量数量相对较少时,该模型非常有用。Alqallaf et al. [2009]显示了这种方法对大量变量的限制,并引入了独立污染模型(Cell-wise Contamination),其中现在细胞是被识别为离群值或非离群值的单位。同时处理这两种类型的污染的一种方法是从数据集中过滤出受污染的单元格,然后应用能够处理逐例离群值和缺失值的鲁棒程序。在这里,我们开发了一个通用框架,以基于统计数据深度函数在任何维度上构建过滤器。我们证明了以前的方法,例如Agostinelli et al. [2015 a]和Leung et al. [2017],是特殊情况。我们通过使用半空间深度来说明我们的方法。
2021-01-16 math.ST stat.TH
Sub-Gaussian estimators of the mean of a random matrix with heavy-tailed entries
多年来,协方差阵的估计吸引了统计研究界的大量关注,部分原因是由于重要的应用,如主成分分析。然而,经常使用的经验协方差估计(及其修改)是非常敏感的数据中的离群值。正如P·J·胡贝尔在1964年所写的那样,“......这就提出了一个问题,这个问题高斯早就可以提出来了,但据我所知,这个问题只是在几年前才提出来的(特别是图基提出来的):如果真实的分布稍微偏离了假设的正态分布,会发生什么?正如现在所熟知的,样本均值可能具有灾难性的差性能.“受这个问题的启发,我们开发了一个新的随机矩阵的(元素方式)平均值的估计,其中包括协方差估计问题作为特殊情况。假设矩阵的元素只有有限个二阶矩,这种新的估计允许在算子范数的未知均值附近的次高斯或次指数集中。我们将解释我们构建背后的关键思想,以及协方差估计和矩阵完成问题的应用。
2018-06-17 math.ST stat.ML stat.TH
Estimating High-dimensional Covariance and Precision Matrices under General Missing Dependence
完全观测数据的样本协方差阵$\boldsymbol{S}$是多种多元统计过程中的关键统计量,例如结构化协方差/精度矩阵估计、主成分分析和均值向量相等性检验。然而,当数据被部分观测时,来自可用数据的样本协方差阵存在偏差,并且不能提供有效的多变量程序。为了纠正偏差,一个简单的调整方法称为逆概率加权(IPW)已在以前的研究中使用,产生的IPW估计。估计量在缺失数据上下文中扮演$\boldsymbol{S}$的角色,因此可以将其插入现成的多变量程序。然而,IPW估计量的理论性质(例如浓度)仅在非常简单的缺失结构下建立;每个样本的每个变量都独立地以相等的概率缺失。研究了在一般缺失相依下部分观测时IPW估计量的偏差。我们证明了最佳收敛速度$O_p(\sqrt{\log p / n})$的IPW估计的基础上的元素明智的最大范数。我们也得到类似的偏差结果,即使当隐式假设(已知的平均值和/或缺失概率)放松。最优速率在估计精度矩阵时尤其重要,因为“元定理”声称IPW估计器的速率控制所得到的精度矩阵估计器的速率。在模拟研究中,我们讨论了IPW估计的非正半定性,并将该估计与具有实际意义的插补方法进行了比较。
2021-04-17 math.ST stat.ME stat.TH
Robust Covariance Estimation for Approximate Factor Models
本文研究了带观测因子的近似因子模型下的抗差协方差估计。我们提出了一个新的框架,首先估计的初始联合协方差阵的观测数据和因素,然后使用它来恢复的协方差阵的观测数据。我们证明,一旦初始矩阵估计是足够好,以保持元素明智的最优速率,整个过程将产生一个估计的协方差与所需的属性。对于只有有界四阶矩的数据,我们建议使用Huber损失最小化来给出初始的联合协方差估计。这种方法适用于更广泛的分布,包括亚高斯分布和椭圆分布。我们还提出了一个渐近结果的Huber的M-估计与发散参数。通过大量的模拟和实际数据分析,证明了结论。
2016-02-01 stat.ME
Multilevel approximation of Gaussian random fields: Covariance compression, estimation and spatial prediction
中心高斯随机场(GRF)是由协方差算子确定的,如光滑、有界的欧几里得整环或光滑、紧致、可定向流形.我们考虑中心GRF作为变分解着色算子方程驱动的空间白噪声,椭圆自伴伪微分着色算子从Hörmander类。这包括GRF的Matérn类作为特例。使用双正交多分辨分析的流形上,我们证明了精度和协方差算子,分别可以确定与双无限矩阵和有限的部分可以对角预处理渲染的条件数独立的维度$p$的这一部分。我们证明了一个锥形的策略,通过阈值施加在有限部分的双无限精度和协方差阵的结果在最佳的数值稀疏近似。也就是说,渐进地仅线性地许多非零矩阵条目足以使用该锥形策略将双无限协方差或精度矩阵的原始部分近似到任意精度。这些非零矩阵项的位置是先验已知的。锥形协方差或精度矩阵也可以被最佳对角预处理。锥形协方差阵的条目的相对大小的分析激励用于协方差估计的新颖的多级Monte Carlo(MLMC)预言机,在相对于参数的数目$p$对数线性缩放的样本复杂性中。此外,我们提出并分析了一种新的压缩算法的模拟和克里金的GRF。这三种算法的复杂性(工作和存储器与精度)在Sobolev尺度中GRF的逐样本近似的参数$p$的数量方面接近最优。
2021-03-07 cs.NA math.NA math.PR
Testing for the Rank of a Covariance Operator
我们如何辨别随机过程的协方差算子是否降阶,如果是,它的精确阶是多少?在一定的信心水平下,我们如何做到这一点?这个问题是大量函数数据方法的核心,无论是通过函数PCA还是其他方法,这些方法都需要低维表示。困难在于,要在i.i.d.的基础上进行确定。离散地观察该过程的重复,并且具有测量误差污染。这给经验协方差增加了一个脊,混淆了潜在的维度。我们建立了一个矩阵完成启发检验统计量,绕过这个问题,通过测量最佳的最小二乘拟合的经验协方差的非对角元素,优化给定的有限秩的协方差。对于一个足够大的固定网格,我们确定的统计量的渐近零分布的重复次数的增长。然后,我们用它来构建一个引导实现的逐步测试程序控制家庭明智的错误率对应的收集的假设正式手头的问题。在最小正则性假设下,我们证明了该过程是一致的,并且其引导实现是有效的。该过程规避了平滑和相关的平滑参数,对测量误差异方差性无关紧要,并且不假设低噪声状态。广泛的模拟研究揭示了出色的实际性能,在广泛的设置中稳定,并且通过两个数据分析进一步说明了该过程。
2020-08-10 stat.ME
Optimal Variance and Covariance Estimation under Differential Privacy in the Add-Remove Model and Beyond
LY Corporation(LY 公司)
本文针对增删模型下的差分隐私方差与协方差估计,提出基于贝塞尔机制的高效方法,证明其在高隐私区间极小极大最优,并展示其在其他统计任务中的适用性。
2025-09-05 cs.DS cs.LG stat.ML
Spatial-sign-based multilinear principal component analysis for tensor data
Nankai University(南开大学);Dongbei University of Finance and Economics(东北财经大学);Hong Kong Baptist University(香港浸会大学)
针对MPCA在重尾分布和污染下不稳定的问题,提出SMPCA方法,通过空间符号归一化等实现稳健降维,经理论和实验验证其在重尾场景下的准确性与稳定性优于现有方法。
2026-09-01 stat.ME
Adaptive Penalized Doubly Robust Regression for Longitudinal Data
Wisdom Lake Academy of Pharmacy, Xi’an Jiaotong-Liverpool University(西交利物浦大学智慧药学院)
本文提出了一种双重适应性稳健回归方法,用于纵向数据中的稳健估计和变量选择,通过结合稳健拟合、双重适应性权重和折叠凹惩罚,提高了估计精度和预测稳定性。
2026-02-25 math.ST stat.AP stat.CO
Globally aligned Principal Component Analysis for multi-group data
针对多组数据集测量相同数值变量的情况,提出基于正则化优化的全局对齐主成分分析方法,结合特定组与全局主成分,通过模拟研究和实际数据应用,在捕获组内变化与保持组间可解释性和稳定性间取得良好平衡。
2026-07-29 stat.ME
Fused-Lasso Regularized Cholesky Factors of Large Nonstationary Covariance Matrices of Longitudinal Data
Texas A&M University(德克萨斯A&M大学)
大协方差阵的Cholesky因子的次对角线的光滑性与时间序列和纵向数据的自回归模型的非平稳程度密切相关。启发式地,人们期望对于接近平稳的协方差阵,在连续项的绝对值之和很小的意义上,其逆的Cholesky因子的每个次对角线中的条目接近相同。从统计学上讲,这种平滑是通过使用融合型套索惩罚正则化每个次对角线来实现的。我们依赖于标准的Cholesky因子作为正则化正态似然设置中的新参数,该设置保证:(1)似然函数的联合凸性,(2)即使当$n<p$时,似然函数也严格凸于每个次对角线,以及(3)估计的协方差阵的正定性。提出了一种分块坐标下降算法,其中每个分块都是次对角线,并在较弱的条件下证明了算法的收敛性。缺乏解耦的罚似然函数到一个总和的功能,涉及个人subdiagals产生了一些计算上的挑战和优势,相对于最近的两个算法的稀疏估计的Cholesky因子,行式解耦。仿真结果和实际数据分析表明所提出的方法的范围和良好的性能。
2020-07-22 cs.LG stat.ML
The Sample Complexity of Robust Covariance Testing
UW Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣迭戈分校)
本文研究了在Huber污染模型中输入分布被破坏的情况下,高维高斯分布协方差矩阵在鲁棒环境中的检验问题。具体来说,我们被赋予了身份证。来自$Z = (1-ε) X + εB$形式的分布的样本,其中$X$是零均值和未知协方差高斯$\mathcal{N}(0, Σ)$,$B$是固定但未知的噪声分布,并且$ε>0$是表示污染比例的任意小常数。我们想区分$Σ$是单位矩阵与$γ$的情况--远不是Frobenius范数中的单位矩阵。在没有污染的情况下,先前的工作为使用$O(d)$样品的假设检验任务提供了一个简单的测试仪。此外,该样本上限被证明是最好的可能性,在恒定的因素。我们的主要结果是,样本的复杂性的协方差检验显着增加污染的设置。特别是,我们证明了一个样本的复杂性下限的$Ω(d^2)$ $ε$一个任意小的常数和$γ= 1/2$。该下限是最可能的,因为$O(d^2)$样本足以稳健地{ \em学习}协方差。我们的研究结果的概念含义是,对于我们考虑的自然环境,稳健的假设检验至少和稳健的估计一样难。
2020-12-31 cs.LG math.ST stat.ML
Asymptotic normality of element-wise weighted total least squares estimator in a multivariate errors-in-variables model
考虑了多变量测量误差模型$AX \approx B$。这里,$A$和$B$是测量的输入和输出矩阵,而$X$是要估计的固定大小的矩形矩阵。$[A,B]$中的错误是逐行独立的,但在每行内,错误可能相关。某些列被观察到没有误差,并且误差协方差阵可能因行而异。误差的总协方差结构已知为标量因子。研究了$X$的完全加权总体最小二乘估计。我们给出的估计量的渐近正态性的条件,在$A$的行数是增加。我们提供了有限高斯随机矩阵的协方差结构是非奇异的。
2017-03-15 math.ST stat.TH
A Bayesian Generalized Bridge Regression Approach to Covariance Estimation in the Presence of Covariates
提出分层贝叶斯广义桥回归框架,通过精度矩阵重参数化和两种MCMC算法,实现多元线性模型中系数矩阵与逆协方差矩阵的联合估计,并验证其在大规模光谱数据上的可行性。
2024-10-27 stat.ME
A General Decision Theory for Huber's $ε$-Contamination Model
今天的数据对统计人员提出了前所未有的挑战。它可能是不完整的,损坏的或暴露于一些未知的污染源。我们需要新的方法和理论来应对这些挑战。稳健估计是一个复兴的领域,有可能适应这种复杂性,并从现代数据集收集有用的信息。本文在Huber $ε$ -污染模型下,建立了高维稳健协方差阵估计的一般决策论.我们提出了一个解决方案,使用Scheff{é}估计的稳健两点测试问题,导致自适应的污染比例的稳健估计的建设。应用一般理论,我们构造了非参数密度估计、稀疏线性回归和低秩迹回归的稳健估计。我们表明,这些新的估计达到最小最大速率与污染比例的最佳依赖。这种检验过程,Scheff{é}估计,在检验误差的指数上也有一个最优的比率,这可能是独立的兴趣。
2017-01-16 math.ST stat.TH
Fast and Robust: Computationally Efficient Covariance Estimation for Sub-Weibull Vectors
本文提出了一种针对亚维布尔分布的高效协方差估计方法,通过交叉拟合范数截断估计器,在保持谱几何的同时实现计算效率,达到最优亚高斯速率。
2026-01-05 stat.CO stat.ML
AdapDISCOM: An Adaptive Sparse Regression Method for High-Dimensional Multimodal Data With Block-Wise Missingness and Measurement Errors
Institut national de la recherche scientifique (INRS)(国家科学研究研究所);Université du Québec à Chicoutimi (UQAC)(魁北克大学希库蒂米分校);McGill University(麦吉尔大学);The Neuro (Montreal Neurological Institute-Hospital)(蒙特利尔神经学研究所/医院);Douglas Hospital Research Centre(道格拉斯医院研究中心)
AdapDISCOM通过自适应稀疏回归方法,有效应对高维多模态数据中的块状缺失和测量误差问题,提升预测性能和生物标志物选择的可靠性。
2026-02-04 stat.ME stat.ML
BLOC: A Global Optimization Framework for Sparse Covariance Estimation with Non-Convex Penalties
Virginia Commonwealth University(弗吉尼亚联邦大学);University of Kansas(堪萨斯大学);Indian Institute of Management, India(印度管理学院)
BLOC框架通过角Cholesky映射将相关矩阵流形重新参数化,实现非凸惩罚下的稀疏协方差估计,具有全局优化能力与并行加速,实验显示其在低维和高维情况下均优于现有方法。
2026-09-24 stat.CO stat.ME
Bayesian DAG Structure Learning with Simultaneous Shrinkage Covariance Estimation under Scale-Mixture Error Distributions in the Proportional High-Dimensional Regime
Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学);North Carolina Agricultural and Technical State University(北卡罗来纳农业与技术州立大学)
该研究针对高维比例渐近情形,提出鲁棒DAG - 乔列斯基马蹄铁框架,通过特定先验和逆伽马尺度混合实现DAG结构学习与精度矩阵估计,设计吉布斯采样器,模拟和实际数据应用均显示其优于其他方法。
2026-07-10 stat.ME
Sparse Separable Factor Analysis in the Complex Domain with an Application to Local Field Potential Data
University of Iowa(爱荷华大学)
本文提出复域稀疏可分因子分析(SSFA)模型,通过复软阈值等方法实现协方差估计优化,并将其应用于小鼠局部场电位数据的可分结构分析与缺失记录插补。
2026-08-25 cs.LG stat.CO stat.ME
Large-scale Multiple Testing of Cross-covariance Functions with Applications to Functional Network Models
本文将函数协方差模型估计转化为交叉协方差函数的大规模多重检验问题,提出无需调节参数的新程序,并在一般误差污染框架下证明其渐近错误发现控制,成功应用于函数图模型和脑连接分析。
2024-09-04 math.ST stat.ME stat.TH
Regularized Parameter Estimation in Mixed Model Trace Regression
提出混合模型迹回归MMTR,结合lasso、低秩Kronecker协方差结构与group lasso秩选择,并通过稳定EM算法估计参数,在模拟和图像数据上表现优异。
2025-03-18 stat.CO stat.ME
Robust graphical lasso based on multivariate Winsorization
我们提出了使用一个强大的协方差估计的基础上多变量Winsorization的背景下,塔尔-穆勒-韦伯框架稀疏估计的精度矩阵的高斯图形模型。同样Croux-Ollerer的精度矩阵估计,我们提出的估计达到最大有限样本崩溃点0.5下细胞污染。我们进行了广泛的蒙特卡罗模拟研究,以评估我们的性能和目前现有的建议。我们发现我们的算法在精度矩阵的估计和图的恢复方面具有竞争性。我们证明了所提出的方法在乳腺癌数据的实际应用中的实用性。
2022-01-10 stat.ME
Low-Rank Covariance Completion for Graph Quilting with Applications to Functional Connectivity
本文针对钙成像数据中神经元分块记录导致的图拼接问题,提出先低秩补全协方差矩阵再估计图结构的两步方法,并给出三种算法及理论保证,验证了其在功能连接估计中的有效性。
2024-08-01 stat.ME stat.ML
Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学);Duke University(杜克大学)
本文提出按模式主成分子空间追踪(MOP-UP)框架,通过平均子空间捕获和交替投影提取矩阵数据行列两个维度的隐藏变化,并引入分块矩阵特征值扰动界证明其非渐近误差界,在模拟与真实数据上验证了有效性。
2024-08-04 cs.LG cs.NA math.NA
All-In-One Robust Estimator of the Gaussian Mean
本文的目的是表明,一个单一的稳健估计的均值多元高斯分布可以享受五个理想的性质。首先,它是计算上易处理的,在这个意义上,它可以在一个时间内计算,这是最多的多项式的维数,样本量和对数的倒数的污染率。第二,它是等变的平移,均匀缩放和正交变换。第三,它具有等于$0.5$的高击穿点,以及大约等于$0.28$的近极大极小速率击穿点。第四,它是最小最大率最优的,对数因子,当数据由独立的观测破坏了adversarially选择离群值。第五,当污染率趋于零时,它是渐近有效的。该估计量是通过迭代重加权方法得到的。每个样本点被分配一个权重,该权重通过求解凸优化问题来迭代更新。我们还建立了一个无量纲的非渐近风险界的预期误差的估计。这是文献中的第一个结果,只涉及协方差阵的有效秩。最后,我们证明了所得结果可以推广到亚高斯分布,以及未知污染率或未知协方差阵的情况。
2021-03-04 math.ST stat.TH
Estimating the Spot Covariation of Asset Prices - Statistical Theory and Empirical Evidence
本文提出了一种新的估计方法,用于估计具有噪声和非同步观测的多维连续半鞅对数资产价格过程的现货协方差阵。该估计器是基于块式参数谱协方差估计的局部平均值构造的。后者起源于最近推出的局部矩量法(LMM)。我们证明了一致性和逐点稳定的中心极限定理建议现货协方差估计在一个非常一般的设置随机波动,杠杆效应和一般的噪声分布。此外,我们扩展了LMM估计器对自相关噪声的鲁棒性,并提出了一种自适应推断自相关数据的方法。基于模拟,我们提供了经验指导的有效实施的估计,并将其应用到高频数据的纳斯达克蓝筹股的横截面。采用估计量估计现货协方差,相关性和波动率在正常的,但也不寻常的时期产生新的见解日内协方差和相关动态。我们发现,日内(共同)变化(i)遵循基本的周期性模式,(ii)揭示了大量的日内变化与(共同)变化风险,(iii)可以强烈,几乎瞬间增加,如果新的信息到达。
2017-07-08 math.ST stat.TH
Large-dimensional behavior of regularized Maronna's M-estimators of covariance matrices
大型协方差阵的鲁棒估计被认为是,包括正则化(线性收缩)修改的Maronna的经典M-估计。这些估计值提供了对离群值的鲁棒性,同时当样本个数不超过变量个数时,这些估计值是明确定义的。通过应用随机矩阵理论的工具,我们刻画了当样本数和变量数一起变大时,这种估计的渐近性能。特别是,我们的研究结果表明,当离群值不存在时,正则化Maronna型的许多估计量具有相同的渐近性能,对于这些估计量,我们提出了一种数据驱动的方法,用于选择关于二次损失的渐近最优正则化参数。鲁棒性存在的离群值,然后研究:在非正则化的情况下,提出了一个大尺寸的鲁棒性度量,并明确计算两种特定类型的估计,表现出有趣的差异,取决于底层的污染模型。然后研究了正则化估计中离群值的影响,与非正则化情况下有趣的差异,从而对特定估计的选择产生了新的实用见解。
2018-04-26 math.ST stat.TH
Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
稳健估计是统计学中的一个重要问题,其目的是当数据生成分布位于未污染分布周围的适当定义的球内时,提供一个合理的估计。虽然极大极小估计率近年来已经建立,许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中,我们研究了Wasserstein污染模型下的几个估计问题,并提出了基于生成对抗网络(GANs)的计算易处理的估计器。具体来说,我们分析了基于Wasserstein GAN的位置估计,协方差阵估计和线性回归估计的性质,并表明我们提出的估计在许多情况下是最小最大最优的。最后,我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
On Separability of Covariance in Multiway Data Analysis
University of California, Davis(加州大学戴维斯分校);University of Michigan(密歇根大学)
本文研究多维数据协方差的分离性问题,通过量子信息理论证明通用多维协方差通常不可分离,且最佳分离近似为NP难问题,但标准算法能逼近最优解。
2026-03-18 math.ST stat.ME stat.TH
High-Dimensional Gaussian Mean Estimation under Realizable Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣迭戈分校)
研究在可实现ε污染模型下高斯分布均值估计问题,提出信息-计算差距,显示算法需更多样本或指数时间,同时给出近似匹配下界的方法。
2026-07-15 cs.DS cs.LG math.ST
Distance-based and RKHS-based Dependence Metrics in High Dimension
在本文中,我们研究了距离协方差,希尔伯特-施密特协方差(又名希尔伯特-施密特独立性标准[Gretton et al.(2008)])和相关的独立性测试在高维场景下。我们证明了两个随机向量之间的样本距离/Hilbert-Schmidt协方差可以近似为分量方向样本互协方差的平方和,直到一个渐近常数因子,这表明基于距离/Hilbert-Schmidt协方差的检验只能捕获高维线性相关。因此,当两个随机向量非线性相关但分量不相关时,Szekely和Rizzo(2013)开发的基于距离相关的独立性t检验具有平凡的限制能力。这种新的和令人惊讶的现象,这似乎是第一次发现,在我们的模拟研究中得到进一步证实。作为一种补救措施,我们提出了测试的基础上聚集的边际样本距离/希尔伯特-施密特协方差,并显示其优越的权力行为对他们的联合同行在模拟中。我们进一步将基于距离相关的t检验扩展到基于希尔伯特-施密特协方差和边缘距离/希尔伯特-施密特协方差的t检验。提出了一种新的统一的方法来分析零假设和备择假设下的学生化样本距离/Hilbert-Schmidt协方差以及学生化样本边缘距离协方差。我们的理论和模拟结果揭示了距离/希尔伯特-施密特协方差的限制时,联合使用的高维设置,并建议聚合的边缘距离/希尔伯特-施密特协方差作为一个有用的替代。
2019-02-08 math.ST stat.ME stat.TH
Efficient Multivariate Robust Mean Estimation Under Mean-Shift Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对均值漂移污染下高维单位协方差高斯分布鲁棒均值估计现有算法时间复杂度随维度指数增长的问题,提出首个计算高效、样本复杂度近优、可容忍常数比例异常值的多项式时间算法,丰富了中间噪声模型的推断研究。
2025-02-20 cs.DS cs.LG math.ST
Bayesian Estimation of Sparse Spiked Covariance Matrices in High Dimensions
我们提出了一个贝叶斯方法估计尖峰协方差阵的联合稀疏结构在高维。根据潜在因子模型对加标协方差阵进行重新参数化,其中加载矩阵配备了新型矩阵钉板LASSO先验,这是一种用于联合稀疏矩阵建模的连续收缩先验。我们建立了协方差阵关于算子范数的速率最优后验压缩以及主子空间关于投影算子范数损失的速率最优后验压缩。我们还研究了主子空间的后验收缩率相对于2到无穷范数损失,一种新的损失函数测量子空间之间的距离,能够捕获元素的特征向量扰动。我们表明,后验收缩率相对于2到无穷大的范数损失是严格的,比常规使用的投影算子范数损失在一定的低秩和有界相干条件下。此外,提出了一个主子空间的点估计与率最优风险界的投影算子范数损失。这些结果是基于矩阵尖峰和平板LASSO先验的浓度和大偏差不等式的集合。所提出的方法的数值性能进行评估,通过合成的例子和分析的一个真实世界的人脸数据的例子。
2019-01-30 math.ST stat.ME stat.TH
Heavy-tailed Contamination is Easier than Adversarial Contamination
CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
本文证明任何对抗性鲁棒估计器对重尾离群值同样有效,并构造反例说明重尾估计器无法直接用于对抗性设定,从而表明重尾估计比对抗性鲁棒估计更容易,为重尾场景开辟了新算法方向。
2024-11-22 cs.DS cs.LG math.ST
Minimax-Optimal Spectral Clustering with Covariance Projection for High-Dimensional Anisotropic Mixtures
Department of Statistics, Columbia University(哥伦比亚大学统计学系)
本文提出了一种基于协方差投影的谱聚类方法,以应对高维各向异性混合物中的复杂噪声结构,通过改进的重新分配步骤和理论分析,实现了最小最大最优的聚类性能。
2026-01-26 math.ST stat.ME stat.ML
The limits of the sample spiked eigenvalues for a high-dimensional generalized Fisher matrix and its applications
本文考虑了一类广义的spiked Fisher矩阵。建立了高维广义Fisher矩阵极限谱分布的支撑度的描述准则,研究了总体协方差阵为任意时样本尖峰特征值的几乎必然极限,从而消除了以往工作中不切实际的条件,即假设协方差阵为对角或对角块结构.此外,我们还给出了总体尖峰特征值的一个相合估计。一系列的模拟进行支持的理论结果,并说明我们的估计的准确性。
2019-12-06 math.ST stat.OT stat.TH
Outlier Robust Mean Estimation with Subgaussian Rates via Stability
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文研究了有限协方差假设下高维均值的离群稳健估计问题,并在更广泛的意义上研究了有限低阶矩假设下的高维均值估计问题。我们考虑了一个标准的稳定性条件,从最近的鲁棒统计文献,并证明,除了指数小的故障概率,存在一个大部分的内点满足这个条件。作为一个推论,它遵循的是一些最近开发的鲁棒均值估计算法,包括迭代滤波和非凸梯度下降,给出最佳误差估计(近)亚高斯率。以前的分析,这些算法给出了显着次优率。作为推论,我们的方法,我们得到了第一个计算效率的算法与次高斯率的离群稳健的均值估计在强污染模型下的有限协方差假设。
2021-03-16 cs.DS cs.LG math.ST
Enabling High-Accuracy Data Assimilation with Limited Ensembles via Machine Learning-Based Covariance Correction
University of Macau(澳门大学);Macau Millennium College(澳门千禧学院);Huazhong University of Science and Technology(华中科技大学);Ningbo Institute of Dalian University of Technology(大连理工大学宁波研究院);Hongik University(弘益大学);Zhuhai UM Science and Technology Research Institute(珠海中大(或澳门大学)科学与技术研究院)
提出一种基于多层感知机的集合卡尔曼滤波框架,通过预测并校正有限集合的预报误差协方差,在保持计算效率的同时显著提高分析精度。
2026-05-22 math.ST physics.ao-ph stat.TH
Nearly Optimal Robust Covariance and Scatter Matrix Estimation Beyond Gaussians
Lucerne School of Computer Science and Information Technology(卢塞恩计算机科学与信息技术学院)
针对强污染高维场景下椭圆分布的协方差/散布矩阵鲁棒估计问题,提出近最优样本复杂度的多项式时间算法,扩展至非高斯分布并构造谱协方差滤波算法,取得与高斯情况相当的误差保证且具独立应用价值。
2025-04-12 cs.DS cs.LG math.ST
Adaptive Robust Confidence Sets in High Dimensions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学);University of California, San Diego(加州大学圣地亚哥分校);Rutgers University(罗格斯大学)
针对协方差为单位矩阵的多元高斯均值向量在Huber污染比例未知时的自适应稳健置信集问题,提出通过量化所有一维投影的不确定性构造信息论最优集,证明其存在计算障碍并给出低阶矩匹配算法,刻画了统计极限与计算壁垒。
2026-10-14 cs.DS cs.LG math.ST