Bayesian nonstationary and nonparametric covariance estimation for large spatial data
在空间统计学中,经常假设感兴趣的空间场是平稳的,其协方差具有简单的参数形式,但这些假设在许多应用中并不合适。给出了高斯空间场的重复观测,我们提出了空间依赖性的非平稳和非参数贝叶斯推断。代替估计协方差阵的二次(在空间位置的数量上)条目,想法是推断精度矩阵的稀疏Cholesky因子中的非零条目的近线性数量。我们先前的假设的动机是最近的结果的指数衰减的条目,这个Cholesky因子的母亲型协方差下一个特定的排序方案。我们的方法是高度可扩展和并行化。我们进行数值比较,并将我们的方法应用于气候模型输出,使昂贵的物理模型的统计模拟。
2020-12-10 stat.AP stat.CO stat.ME
Sample Efficient Toeplitz Covariance Estimation
Weizmann Institute of Science(魏茨曼科学研究所);Microsoft Research(微软研究院);UMass Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
在假设$T$是Toeplitz的情况下,研究了估计$d$维向量上分布$\mathcal{D}$的协方差矩阵$T$的样本复杂性.这种假设出现在许多信号处理问题中,其中任何两个测量之间的协方差仅取决于这些测量之间的时间或距离。我们感兴趣的估计策略,可以选择只查看每个矢量样本$x \sim \mathcal{D}$中的条目的子集,这往往等同于减少从无线信号处理到高级成像的应用中的硬件和通信要求。我们的目标是最小化1)从$\mathcal{D}$提取的向量样本的数量和2)在每个样本中访问的条目的数量。我们提供了这些样本的复杂性措施,利用$T$的Toeplitz结构,并通过这样做,显着改善通用协方差矩阵的结果的一些第一非渐近界。我们的界限来自对经典和广泛使用的估计算法(以及一些新的变体)的新分析,包括根据所谓的稀疏规则从每个向量样本中选择条目的方法。在许多情况下,我们将上界与匹配或几乎匹配的下界配对。除了对任何Toeplitz $T$都成立的结果外,我们还进一步研究了当$T$接近低秩时的重要设置,这在实践中是经常发生的。我们表明,稀疏统治者的基础上的方法在这种情况下表现得更好,样本复杂度缩放次线性$d$。受这一发现的启发,我们开发了一种新的协方差估计策略,进一步改善了所有现有的方法在低秩的情况下:当$T$是秩- $k$或近秩- $k$,它实现了样本复杂度多项式依赖于$k$和只有代数上的$d$…
2019-10-30 cs.DS cs.LG eess.SP
One-sided Matrix Completion from Two Observations Per Row
Stanford University(斯坦福大学)
针对行数多、每行仅两个观测导致无法恢复左奇异向量的情形,论文提出通过填补 $X^TX$ 恢复右奇异向量的单侧矩阵补全算法,并证明样本复杂度与实验优势。
2023-06-06 cs.DS cs.LG stat.ML
Multilevel approximation of Gaussian random fields: Covariance compression, estimation and spatial prediction
中心高斯随机场(GRF)是由协方差算子确定的,如光滑、有界的欧几里得整环或光滑、紧致、可定向流形.我们考虑中心GRF作为变分解着色算子方程驱动的空间白噪声,椭圆自伴伪微分着色算子从Hörmander类。这包括GRF的Matérn类作为特例。使用双正交多分辨分析的流形上,我们证明了精度和协方差算子,分别可以确定与双无限矩阵和有限的部分可以对角预处理渲染的条件数独立的维度$p$的这一部分。我们证明了一个锥形的策略,通过阈值施加在有限部分的双无限精度和协方差阵的结果在最佳的数值稀疏近似。也就是说,渐进地仅线性地许多非零矩阵条目足以使用该锥形策略将双无限协方差或精度矩阵的原始部分近似到任意精度。这些非零矩阵项的位置是先验已知的。锥形协方差或精度矩阵也可以被最佳对角预处理。锥形协方差阵的条目的相对大小的分析激励用于协方差估计的新颖的多级Monte Carlo(MLMC)预言机,在相对于参数的数目$p$对数线性缩放的样本复杂性中。此外,我们提出并分析了一种新的压缩算法的模拟和克里金的GRF。这三种算法的复杂性(工作和存储器与精度)在Sobolev尺度中GRF的逐样本近似的参数$p$的数量方面接近最优。
2021-03-07 cs.NA math.NA math.PR
Generalized Pseudolikelihood Methods for Inverse Covariance Estimation
我们介绍了伪网,一个新的基于伪似然估计的逆协方差阵,它具有一些有用的统计和计算特性。我们表明,通过详细的实验与合成和现实世界的金融以及风力发电数据,伪网优于相关的方法,在估计误差和支持恢复,使其非常适合用于下游应用程序,其中获得低估计误差可以是重要的。在正则条件下,我们还证明了伪网是相容的。我们的证明假设存在的基本逆协方差阵的对角项的准确估计,我们还提供了一个两步的方法来获得这些估计,即使在高维设置,超越相关方法的证明。与其他基于pseudolikelihood的方法不同,我们还表明,PseudoNet不会饱和,即,在高维中,对伪网估计中的非零条目的数量没有硬性限制。我们提出了一个快速算法以及筛选规则,使计算的伪网估计在一个范围内的调整参数易于处理。
2016-10-14 stat.ME
Active covariance estimation by random sub-sampling of variables
University of Southern California(南加州大学)
研究部分观测随机向量的协方差阵估计问题,其中不同样本包含不同的向量坐标子集。每个观测值都是目标变量与$0-1$伯努利随机变量的乘积。在此模型下,我们分析了一个无偏协方差估计,并推导出一个误差界,揭示了子采样概率和协方差阵的元素之间的关系。我们将我们的分析应用在主动学习框架中,其中观测变量的预期数量与感兴趣的向量的维度相比很小,并提出了最优子采样概率的设计和主动协方差阵估计算法。
2018-04-04 cs.LG stat.ML
Fast exact recovery of noisy matrix from few entries: the infinity norm approach
Yale University(耶鲁大学)
本文提出一种在含噪情况下仅需低秩、非相干性和足够样本量三个基本假设即可实现矩阵精确恢复的简单算法,移除了以往研究对条件数或奇异值间隙的额外谱假设。
2025-03-04 cs.LG math.CO math.PR
Bernstein-von Mises Theorems for Functionals of Covariance Matrix
我们提供了一个一般的理论框架,推导出Bernstein-von Mises定理的矩阵泛函。泛函和先验的条件是明确的,易于检查。结果得到各种泛函,包括条目的协方差阵,条目的精度矩阵,二次型,对数行列式,特征值的贝叶斯高斯协方差/精度矩阵估计设置,以及贝叶斯线性和二次判别分析。
2014-12-01 math.ST stat.TH
Active Sampling Count Sketch (ASCS) for Online Sparse Estimation of a Trillion Scale Covariance Matrix
估计和存储高维数据的协方差(或相关性)矩阵在计算上是具有挑战性的,因为存储器和计算需求都与维度成二次比例。幸运的是,在文本、点击、元基因组数据集等中观察到的高维协方差矩阵通常是稀疏的。在本文中,我们考虑的问题,有效的稀疏估计的协方差矩阵与可能的数万亿元。我们目标数据集的大小要求算法在线,因为超过一次的数据传递是禁止的。在本文中,我们提出了主动采样计数素描(ASCS),在线和一遍素描算法,准确地恢复协方差矩阵的大条目。计数草图(CS),和其他次线性压缩感知算法,提供了一个自然的解决方案,在理论上的问题。然而,由于低信噪比(SNR),普通CS在实践中不能很好地工作。在我们的方法的核心是一种新的主动采样策略,增加了经典CS的SNR。我们证明了我们的算法的实用性与合成数据和现实世界的高维数据集。ASCS显着改善了香草CS,证明了我们的主动采样策略的优点。
2021-06-11 cs.DS stat.CO
Fundamental Limits of Low-Rank Matrix Estimation with Diverging Aspect Ratios
我们考虑的问题,估计的因素,低秩$n \times d$矩阵,当这是损坏的加性高斯噪声。一个特殊的例子,我们的设置对应于聚类混合高斯等(已知)协方差。简单的谱方法没有考虑这些因子的条目的分布,因此通常是次优的。在这里,我们在统计学家已知条目分布的假设下,描述了最小估计误差的渐进性。我们的结果适用于高维政权$n, d \to \infty$和$d / n \to \infty$(或$d / n \to 0$)和推广早期的工作,集中在比例渐近$n, d \to \infty$,$d / n \to δ\in (0, \infty)$。我们概述了一个有趣的信号强度制度,其中$d / n \to \infty$和部分恢复是可能的左奇异向量,而不可能的右奇异向量。我们说明了一般的理论推导高斯混合聚类的后果,并进行了数值研究的基因组数据。
2022-11-01 math.PR math.ST stat.TH
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University(阿尔托大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出一种基于代数几何和拟阵理论的代数组合新视角,通过研究少量条目间的关系来解决低秩矩阵补全问题,并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Structured Matrix Learning under Arbitrary Entrywise Dependence and Estimation of Markov Transition Kernel
Princeton University(普林斯顿大学)
本文研究任意噪声依赖下的含噪低秩加稀疏矩阵恢复框架,提出非相干约束最小二乘估计器并证明其紧致性,同时将其应用于Markov转移核估计、多任务回归等问题,实现了极小化最优性。
2025-04-04 cs.LG math.ST stat.ML
Entry-Specific Bounds for Low-Rank Matrix Completion under Highly Non-Uniform Sampling
School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
针对高度非均匀采样的低秩矩阵补全,本文提出在较小子矩阵上估计并给出逐条目误差上界,且该界在一定条件下匹配极小极大下界。
2024-02-29 cs.LG stat.ML
Estimation of high-dimensional low-rank matrices
假设我们观察到被噪声破坏的未知$m\times T$ -矩阵$A$的元素,或者更一般地,观察到元素的线性组合。我们特别感兴趣的是在高维设置中,未知条目的数量$mT$可以远远大于样本大小$N$。受几个应用的启发,我们考虑估计矩阵$A$的假设下,它有小的秩。这可以被视为降维或稀疏性假设。为了缩小到一个低秩表示,我们研究了惩罚最小二乘估计与Schatten-$p$准范数惩罚项,$p\leq1$。我们在两种可能的假设下研究了这些估计--“主要结果被陈述为预测风险和估计量的Schatten-$q$风险的非渐近上界,其中$q\in[p,2]$。我们获得的预测风险率的形式为$rm/N$(对于$m=T$),直至对数因子,其中$r$是$A$的秩。给出了多任务学习和矩阵完成的具体例子。证据是基于从经验过程理论的工具。作为一个副产品,我们得到的准凸Schatten类嵌入$S_p^M\hookrightarrow S_2^M$,$p<1$,这是独立的兴趣的$k$ th熵数的界限。
2011-05-13 math.ST stat.TH
PETRELS: Parallel Subspace Estimation and Tracking by Recursive Least Squares from Partial Observations
许多真实世界的数据集表现出在高维流形中嵌入低维结构。例子包括图像、视频和互联网流量数据。当数据维数较高时,降低存储需求和计算复杂度具有重要意义。因此,我们考虑从一个小的子集的条目,其中的数据被假定为位于一个低维的线性子空间,可能被噪声破坏的数据流的重建问题。我们进一步考虑跟踪底层子空间的变化,这可以应用于视频去噪,网络监控和异常检测等应用。我们的问题可以被看作是一个顺序的低秩矩阵完成的问题,其中的子空间是学习在一个在线的方式。所提出的算法,被称为并行估计和跟踪递归最小二乘(PETRELS),首先确定底层的低维子空间,通过递归过程的子空间矩阵的每一行并行折扣以前的意见,然后重建丢失的条目通过最小二乘估计,如果需要的话。数值例子提供了方向的到达估计和矩阵完成,比较PETRELS与国家的最先进的批处理算法。
2013-01-11 cs.IT math.IT stat.ME
Cramer-Rao Bounds for Laplacian Matrix Estimation
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(内盖夫本-古里安大学电气与计算机工程学院);Department of Electrical and Computer Engineering, Princeton University(普林斯顿大学电气与计算机工程系)
本文针对拉普拉斯矩阵估计问题,利用线性重参数化推导了闭式克拉美-罗界,并扩展到稀疏约束情形提出两种oracle CRB,通过电力系统拓扑识别等应用验证了约束最大似然估计器的均方误差可收敛到所提界。
2025-04-06 cs.LG eess.SP stat.ML
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
张量补全是不完整数据分析的基本工具,其目标是从部分观测值中预测缺失项。然而,现有的方法往往显式或隐式地假设观测条目是无噪声的,以提供精确恢复丢失条目的理论保证,这在实践中受到很大的限制。为了弥补这些缺陷,本文提出了一种新的噪声张量完成模型,它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说,张量环核范数(TRNN)和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外,一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证,其中之一是专门针对处理大规模的张量,通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明,该模型在恢复噪声不完整的张量数据的有效性和效率相比,国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix
在高斯图模型中,两个变量之间的条件独立性由逆协方差阵中相应的零元素来表征。文献中已经提出了使用平滑剪切绝对偏差(SCAD)惩罚(Fan和Li,2001)和自适应LASSO惩罚(Zou,2006)的极大似然方法。在这篇文章中,我们建立的结果,使用贝叶斯信息准则(BIC)选择调整参数的惩罚似然估计与两种类型的惩罚可以导致一致的图形模型选择。我们比较了BIC与交叉验证方法的经验性能,并通过仿真研究证明了BIC准则在调整参数选择方面的优越性能。
2009-09-04 stat.ME stat.ML
An efficiency upper bound for inverse covariance estimation
我们推导出估计高维分布的逆协方差阵中的项的效率的上界。我们表明,为了近似的非对角条目的密度矩阵的$d$维高斯随机向量,需要至少一个样本个数成比例的$d$。此外,我们表明,与$n \ll d$样本,假设两个给定的坐标是完全相关的,当所有其他坐标的条件为零,不能告诉除了假设,这两个是不相关的。
2013-02-11 math.PR math.ST stat.TH
A unified precision matrix estimation framework via sparse column-wise inverse operator under weak sparsity
本文在弱稀疏条件下估计了高维精度矩阵,其中许多元素几乎为零。在弱稀疏条件下,我们重新讨论了稀疏列方向逆算子(SCIO)估计量\cite{liu2015fast},并推导了它的一般误差界.建立了一个统一的框架,以处理各种情况下,包括重尾数据,非超常数据,矩阵变量数据。这些新方法可以达到与现有方法相同的收敛速度,并且可以有效地实现。
2022-10-20 math.ST stat.ME stat.TH
Non-asymptotic error controlled sparse high dimensional precision matrix estimation
高维精度矩阵的估计是高斯图模型和高维数据推断等统计领域的一个关键问题。在稀疏性的结构假设下,我们提出了一种新的方法来估计这样的矩阵,同时控制误报率,矩阵条目的百分比被错误地选择为非零。我们特别关注在有限样本保证下趋于零的假阳性率。这种方法是免费的分布,但特别适用于高斯网络恢复的问题。我们还考虑了在基因组学数据中构建基因网络的应用。
2019-03-26 stat.ME
Entry-Specific Matrix Estimation under Arbitrary Sampling Patterns through the Lens of Network Flows
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Cornell University(康奈尔大学)
本文提出基于二分图网络流的矩阵补全估计框架,用有效电阻刻画任意采样模式下逐条目的极小极大误差,并应用于因果推断与秩-1矩阵。
2024-09-06 cs.LG stat.ML
Estimation of the sample covariance matrix from compressive measurements
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文主要研究从被称为压缩测量的数据的低维随机投影中估计样本协方差阵。特别是,我们提出了一个无偏估计量,以提取协方差结构的压缩测量得到的一般类随机投影矩阵组成的独立同分布。零均值项和有限前四阶矩。与以前的工作相比,我们没有对底层的协方差阵进行结构性假设,例如低秩。事实上,我们的分析是基于非贝叶斯数据设置,不需要对数据样本集进行分布假设。此外,受投影矩阵的一般性的启发,我们提出了一种利用稀疏Rademacher矩阵的协方差估计方法。因此,我们的算法可以用来估计的协方差阵在有限的存储器和计算能力的采集设备的应用。实验结果表明,我们的方法允许精确估计的样本协方差阵在几个现实世界的数据集,包括视频数据。
2017-04-28 cs.LG stat.ML
Optimal Shrinkage of Singular Values Under Random Data Contamination
Hebrew University(希伯来大学)
低秩矩阵X已被均匀分布的噪声、缺失值、离群值和损坏条目污染。从污染矩阵Y的奇异值和奇异向量重构X是机器学习、计算机视觉和数据科学中的关键问题。在本文中,我们表明,常见的污染模型(包括均匀噪声,缺失值,离群值和腐败条目的任意组合)可以有效地使用一个框架来描述。我们开发了一个渐近最优算法,估计X操纵的奇异值的Y,这适用于任何考虑的污染模型。最后,我们找到了一个明确的信号噪声截止,低于此估计的X从奇异值分解的Y必须失败,在一个定义明确的意义。
2017-11-18 cs.IT cs.LG math.IT
Uniform Hanson-Wright type concentration inequalities for unbounded entries via the entropy method
本文研究了具有独立次高斯分量的随机向量$X \in \mathbb{R}^n$的Hanson-Wright不等式的统一形式。本文的核心技术是基于熵方法结合截断的梯度的功能的利益和$X$本身的坐标。特别是,我们的结果恢复了Talagrand(1996)对Rademacher混沌的经典一致界和Adamczak(2015)的更近的一致结果,该结果在对$X$分布的某些相当强的假设下成立。我们提供了几个应用程序,我们的技术:我们建立一个版本的标准汉森-赖特不等式,这是在某些制度更严格。扩展我们的技术,我们展示了一个版本的无维矩阵伯恩斯坦不等式,持有随机矩阵的次指数谱范数。我们将导出的不等式应用于缺失观测的协方差估计问题,并证明了Lounici(2014)最近结果的几乎最优高概率版本。最后,在Dobrushin条件下,证明了Ising模型的一个一致的Hanson-Wright型不等式. Marton(2003)提出了一个密切相关的问题。
2019-08-07 math.PR math.ST stat.TH
Optimal Schatten-q and Ky-Fan-k Norm Rate of Low Rank Matrix Estimation
在本文中,我们考虑使用矩阵版本的Dantzig矩阵估计$\hat{A}_λ^d$或矩阵版本的LASSO估计$\hat{A}_λ^L$的低秩矩阵估计。我们考虑亚高斯测量,$i.e.$,测量$X_1,\ldots,X_n\in\mathbb{R}^{m\times m}$具有$i.i.d.$亚高斯项。假设$\textrm{rank}(A_0)=r$。证明了当$n\geq Cm[r^2\vee r\log(m)\log(n)]$对某些$C>0$,$\hat{A}_λ^d$和$\hat{A}_λ^L$在谱范数下都能得到估计精度的最优上界(除了一些对数项).利用Grassmann流形的度量熵,构造了谱范数下估计精度的(近)匹配Minimax下界。对于每个$1\leq q\leq\infty$,在Schatten-q范数下给出了估计精度的上界和匹配Minimax下界(对数项除外).作为一个直接的推论,我们证明了在Ky-Fan-k范数下每个$1\leq k\leq m$的估计精度的上界和极大极小下界。
2014-04-03 stat.ML
Lasso estimation for GEFCom2014 probabilistic electric load forecasting
我们提出了一种基于套索(最小绝对收缩和选择算子)估计的概率负荷预测方法。所考虑的模型可以看作是一个二元时变门限自回归(AR)过程的小时电力负荷和温度。联合建模方法直接将温度效应,并反映每日,每周和每年的季节性模式和公众假期的影响。我们提供了两个实证研究,一个基于2014年全球能源预测竞赛(GEFCom 2014-L)的概率负荷预测轨道,另一个基于最近的另一个概率负荷预测竞赛,该竞赛遵循类似于GEFCom 2014-L的设置。在这两个实证案例研究中,所提出的方法优于GEFCom 2014-L的前八个条目中的两个基于多重线性回归的基准。
2016-03-04 stat.AP stat.ML
Compressed Sensing with Very Sparse Gaussian Random Projections
Rutgers University(罗格斯大学)
我们研究使用非常稀疏的随机投影压缩感知(稀疏信号恢复)时,信号条目可以是积极的或消极的。在我们的设置中,高斯设计矩阵的条目是随机稀疏的,因此只有非常小的一部分条目是非零的。我们提出的解码算法是简单而有效的,因为主要的成本是一个线性扫描的坐标。我们已经开发了两个估计:(i){ \em tie estimator},(ii){ \em absolute minimum estimator}。仅使用领带估计器,我们能够使用$1.551 eK \log K/δ$测量(其中$δ\leq 0.05$是置信度)恢复长度为$N$的$K$稀疏信号。仅使用绝对最小值估计器,我们可以使用$eK\log N/δ$测量来检测信号的支持。对于特定坐标,绝对最小估计器需要较少的测量(即,用恒定的$e$代替$1.551e$)。因此,这两个估计器可以组合以形成甚至更实用的解码框架。先前的研究已经表明,使用稀疏矩阵的现有一次扫描(或大致一次扫描)恢复算法将需要实质上更多的(例如,一个数量级)的测量比通过线性规划的L1解码时,信号的非零项可以是负或正。在本文中,根据一个已知的实验设置,我们表明,在相同数量的测量,我们提出的方法的恢复精度是(至少)类似于标准的L1解码。
2014-08-11 cs.DS cs.IT cs.LG
Robust Matrix Completion with Mixed Data Types
Cornell University(康奈尔大学)
我们考虑了恢复一个结构化的低秩矩阵部分观察项目与混合数据类型的矩阵完成问题。绝大多数的解决方案都提出了计算上可行的估计与强有力的统计保证的情况下,在矩阵中的数据的基本分布是连续的。最近的一些方法已经扩展使用类似的想法,这些估计的情况下,基本分布属于指数家族。这些方法中的大多数假设只有一个底层分布,并且低秩约束由矩阵Schatten范数正则化。我们提出了一种计算上可行的统计方法,具有很强的恢复保证,以及适合并行化的算法框架,以在一个步骤中恢复混合数据类型的部分观察条目的低秩矩阵。我们还提供了大量的模拟证据,证实我们的理论结果。
2020-05-25 cs.LG math.ST stat.ML
Sparse Estimation From Noisy Observations of an Overdetermined Linear System
Uppsala University(乌普萨拉大学)
本文提出一种高效估计有限未知参数的方法,通过线性规划恢复支持集并利用LSE进行去偏差,证明在样本量足够时估计结果等于真实参数支持集的LSE。
2014-05-25 cs.SY eess.SY stat.ML
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University(普林斯顿大学)
噪声矩阵完备化的目的是估计一个低秩矩阵,只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展,但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵(例如,为看不见的条目构造有效且短的置信区间)。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征,这反过来又使置信区间\,/\,区域的最佳建设,说,丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割,从而避免了不必要的数据效率损失。作为一个副产品,我们得到了我们的去偏估计,这是据我们所知,是第一个易于处理的算法,可证明达到充分的统计效率(包括preconstant)的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP
Consistent estimation of high-dimensional factor models when the factor number is over-estimated
$n$维向量时间序列的高维$r$因子模型的特征在于在协方差阵的第$r$和第$(r+1)$最大特征值之间存在大的特征间隙(随$n$增加)。因此,主成分(PC)分析是最流行的估计方法的因素模型和它的一致性,当$r$是正确的估计,是建立在文献中。然而,流行的因子数估计往往遭受缺乏一个明显的本征缺口的经验特征值,并往往高估$r$由于,例如,存在的非普遍的因素只影响一个子集的系列。我们表明,PC估计的错误造成的过度估计的$r$是不可忽略的,这反过来又导致违反的条件所需的基于因子的大协方差估计。为了弥补这一点,我们提出了新的估计因子模型的基础上缩放的样本特征向量的条目。我们从理论上和数值计算表明,所提出的估计成功地控制过估计误差,并探讨其性能时,应用于金融时间序列的投资组合的风险最小化。
2020-07-06 stat.ME
Detecting the large entries of a sparse covariance matrix in sub-quadratic time
Weizmann Institute of Science(魏茨曼科学研究所)
$p$维随机变量的协方差阵是数据分析中的一个基本量。给予$n$ i.i.d.对于观测值,它通常由样本协方差阵估计,计算成本为$O(np^{2})$运算。当$n,p$较大时,该计算可能非常慢。此外,在一些当代应用中,总体矩阵近似稀疏,只有少数几个大的条目是感兴趣的。这提出了以下问题,在我们的工作重点:假设近似稀疏的协方差阵,它的大条目可以检测得更快,说在次二次时间,而不显式计算所有的$p^{2}$条目?在本文中,我们提出并理论分析了两个随机算法,检测一个近似稀疏的样本协方差阵的大项目,仅使用$O(np\text{ poly log } p)$操作。此外,假设稀疏的人口矩阵,我们得到充分条件的基础随机变量和样本数$n$,样本协方差阵,以满足我们的近似稀疏性要求。最后,我们说明了我们的算法通过几个模拟的性能。
2015-12-20 cs.LG stat.CO stat.ML
Clustering of Data with Missing Entries using Non-convex Fusion Penalties
University of Iowa(爱荷华大学)
数据中缺失条目的存在常常给模式识别算法带来挑战。传统的数据聚类算法假设每个数据点的所有特征值都是已知的。我们提出了一种方法来聚类数据中存在的缺失信息。不像传统的聚类技术,每个特征是已知的每个点,我们的算法可以处理的情况下,一些特征值是未知的每个点。对于这个更具挑战性的问题,我们提供了理论上的保证聚类使用$\ell_0$融合惩罚为基础的优化问题。此外,我们提出了一个算法来解决这个问题的松弛使用饱和非凸融合处罚。据观察,该算法产生的解决方案,随着丢失的特征值的分数的增加逐渐退化。我们使用模拟数据集,葡萄酒数据集和欠采样的心脏MRI数据集证明了所提出的方法的实用性。结果表明,该方法是一种很有前途的聚类技术,数据集与大部分的缺失条目。
2017-09-06 cs.CV cs.LG stat.ML
Optimal level set estimation for non-parametric tournament and crowdsourcing problems
Institut für Mathematik, Universität Potsdam(波茨坦大学数学研究所);INRAE(法国国家农业食品与环境研究院);Univ. Montpellier(蒙彼利埃大学)
研究众包与锦标赛中部分观测矩阵的水平集估计问题,提出多项式时间算法实现最小最大最优分类,揭示置换模型的统计计算差距本质。
2024-08-27 cs.LG math.ST stat.ML
Model Agnostic Time Series Analysis via Matrix Estimation
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种算法来估算和预测的时间序列转换成一个矩阵,利用矩阵估计来恢复缺失值和去噪观测条目,并进行线性回归进行预测。我们分析的核心是一个表示结果,它指出对于一个大的模型类,变换后的时间序列矩阵是(近似)低秩的。实际上,这概括了时间序列文献中广泛使用的奇异谱分析(SSA),并使我们能够在时间序列分析和矩阵估计之间建立严格的联系。建立这种链接的关键是构建具有非重叠条目的Page矩阵,而不是如文献中通常所做的Hankel矩阵(例如,SSA)。这种特殊的矩阵结构使我们能够提供有限样本分析的填补和预测,并证明我们的方法的渐近一致性。我们的算法的另一个显着特点是,它是模型不可知论的基础时间动态和噪声分布的意见。我们的方法的噪声不可知属性允许我们在仅获得隐马尔可夫模型中的噪声和部分观测时恢复潜在状态;例如,恢复泊松过程的时变参数,而不知道底层过程是泊松。此外,由于我们的预测算法需要具有噪声特征的回归,因此我们的方法提出了一种基于矩阵估计的方法-再加上一种新的非标准矩阵估计误差度量-来解决变量回归问题中的误差,这可能是其本身的利益。通过合成和真实世界的数据集,我们证明了我们的算法优于标准的软件包(包括R库)的缺失数据的存在,以及高水平的噪音。
2019-04-26 cs.LG stat.ML
Nonconvex Low-Rank Tensor Completion from Noisy Data
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
我们研究了一个具有广泛实际意义的噪声张量完备化问题,即从其条目的高度不完整和随机损坏的观测中重建低秩张量。虽然各种先前的工作一直致力于这个问题,以前的算法要么是计算太昂贵的大规模应用程序,或与次优的统计保证。专注于“不连贯”和良好的条件张量的恒定CP秩,我们提出了一个两阶段的非凸算法-(香草)梯度下降后,粗略的初始化-实现两全其美。具体而言,所提出的非凸算法忠实地完成张量,并在几乎线性的时间内检索所有的个体张量因子,同时享受接近最佳的统计保证(即最小的样本复杂性和最佳的估计精度)。估计误差均匀地分布在所有条目上,从而实现最佳的$\ell_{\infty}$统计精度。我们还讨论了如何扩展我们的方法来适应非对称张量。通过我们对非凸优化的分析所传达的见解可能对其他张量估计问题有影响。
2021-06-03 cs.IT cs.LG math.IT
Recovering Multiple Nonnegative Time Series From a Few Temporal Aggregates
受电能计量的启发,我们扩展了现有的非负矩阵分解(NMF)算法,使用线性测量作为观察,而不是矩阵条目。我们的目标是估计多个时间序列在一个精细的时间尺度从每个单独的系列测量的时间总量。此外,我们的算法扩展到考虑个人的自相关提供更好的估计,使用最近的凸松弛二次约束二次规划。在合成和真实世界的电力消耗数据集上的大量实验说明了我们的矩阵恢复算法的有效性。
2016-10-05 stat.ML
Spectral algorithms for tensor completion
在张量完备化问题中,人们试图基于显示条目的随机样本来估计低秩张量。在所需的样本量方面,早期的工作揭示了无限计算资源(例如,使用张量核范数最小化)和多项式时间算法之间的巨大差距。在后者中,对于三阶张量,使用平方和(SOS)半定规划层次结构的第六层已经证明了最佳统计保证(Barak和Moitra,2014)。然而,SOS方法不能很好地扩展到大型问题实例。相比之下,谱方法-基于展开或矩阵化张量-因其低复杂性而具有吸引力,但被认为需要更大的样本量。本文提出了两个主要贡献。首先,我们提出了一种新的基于展开的方法,该方法对于秩为$r$的对称$k$阶张量的性能优于朴素方法。对于这个结果,我们研究了大纵横比部分显示矩阵的奇异空间估计,这可能是独立的兴趣。对于三阶张量,我们的算法在样本量方面与SOS方法相匹配(需要大约$rd^{3/2}$显示条目),但秩条件更差($r\ll d^{3/4}$而不是$r\ll d^{3/2}$)。我们补充这一结果与一个不同的频谱算法的三阶张量的过完备($r\ge d$)制度。在随机模型下,该第二种方法成功地从大约$rd^{3/2}$揭示的条目估计秩$d\le r \ll d^{3/2}$的张量。
2016-12-23 cs.DS math.ST stat.ML
Estimation of Low-Rank Matrices via Approximate Message Passing
考虑估计一个低秩矩阵时,其元素被高斯噪声扰动的问题。如果尖峰的条目的经验分布是已知的,利用这种知识的最佳估计可以大大优于简单的谱方法。最近的工作特征的贝叶斯最优估计在高维极限的渐近精度。在本文中,我们提出了一个实用的算法,可以实现贝叶斯最优精度以上的频谱阈值。一个来自统计物理学的大胆猜想认为,没有任何多项式时间算法能在相同的阈值之下达到最佳误差(除非最佳估计量是微不足道的)。我们的方法使用近似消息传递(AMP)结合频谱初始化。AMP算法已被证明是成功的,在各种统计估计任务,并服从于通过状态演化的精确渐近分析。不幸的是,当算法在不稳定的不动点附近初始化时,状态演化是无信息的,这在低秩矩阵估计中经常发生。我们开发了一种新的分析AMP,允许频谱初始化。我们的主要定理是一般性的,适用于矩阵估计之外。然而,我们用它来获得详细的预测估计噪声中的秩一矩阵的问题。这个问题的特殊情况是密切相关的-通过普遍性参数-两个不对称社区的网络社区检测问题。对于一般的秩一模型,我们证明了AMP可以用来构造置信区间和控制错误发现率。我们通过考虑稀疏低秩矩阵和具有对称块的块常数低秩矩阵(我们将后者称为“高斯块模型”)的情况来说明一般方法。
2019-08-07 math.ST stat.ML stat.TH
Generalization error bounds for kernel matrix completion and extrapolation
Universitat Politècnica de Catalunya-Barcelona Tech(加泰罗尼亚理工大学-巴塞罗那理工);University of Minnesota(明尼苏达大学)
先验信息可以被合并到矩阵补全中,以提高估计精度并外推缺失的条目。再生核希尔伯特空间提供了利用所述先验信息的工具,并且导出更可靠的算法。本文分析了这种方法的推广误差,并给出了数值试验证实了理论结果。
2019-06-20 cs.LG stat.ML
Towards Optimal Estimation of Bivariate Isotonic Matrices with Unknown Permutations
Yale University(耶鲁大学);UC Berkeley(加州大学伯克利分校)
许多应用,包括秩聚合、群标记和图子估计,可以根据具有作用于其行和/或列的未知排列的二元保序矩阵来建模。我们考虑的问题,估计一个未知的矩阵在这类中,基于噪声观测(可能是一个子集)的条目。我们设计和分析多项式时间算法,提高了两个不同的指标,特别是最小最大优化,计算效率的估计是在某些设置中实现的。一路上,我们证明了匹配的上限和下限的极小极大半径的某些锥测试问题,这可能是独立的利益。
2019-10-27 cs.IT cs.LG math.IT
Fine-Gray competing risks model with high-dimensional covariates: estimation and Inference
本文的目的是构造随机截尾下竞争风险数据的Fine-Gray模型中回归系数的置信区间,其中协变量的数目可以大于样本量。尽管来自生物医学应用的强烈动机,但高维Fine-Gray模型在方法学或理论文献中引起的关注相对较少。我们填补了这一空白,开发置信区间的基础上一步偏差校正的正则化估计。我们开发了一个理论框架的偏似然,它没有独立和同分布的条目,因此提出了许多技术挑战。我们还研究了随机截尾下的加权方案的近似误差的竞争风险,并建立新的浓度结果的时间依赖过程。除了理论结果和算法,我们提出了广泛的数值实验和应用程序的非癌症死亡率前列腺癌患者使用的关联医疗保险SEER数据的研究。
2019-04-08 math.ST stat.AP stat.ME