Estimating the interaction graph of stochastic neural dynamics
在本文中,我们解决了一类生物神经网络随机模型的统计模型选择问题。这类模型是具有可变长度记忆的相互作用链系统。每条链描述单个神经元的活动,表明它在给定时间是否尖峰。给定神经元的发放概率取决于其突触前神经元自其最后发放时间以来的时间演化。当一个神经元发出尖峰信号时,它的电位被重置到静息水平,并产生突触后电流脉冲,从而改变所有突触后神经元的膜电位。神经元与其突触前和突触后神经元之间的关系定义了一个定向图,即模型的交互图。本文的目标是估计这个图形的基础上观察的尖峰活动的有限集的神经元在有限的时间。我们提供了显式的指数上界的概率下,高估的相互作用图限制到观察集,并获得强一致性的估计。我们的结果不要求过程的不变测度具有平稳性和唯一性。
2017-06-29 math.ST stat.TH
Estimating Rank-One Spikes from Heavy-Tailed Noise via Self-Avoiding Walks
我们研究对称尖峰矩阵模型相对于一般类的噪声分布。给定随机噪声矩阵的秩-1变形,其条目独立地以零均值和单位方差分布,目标是估计秩-1部分。对于高斯噪声的情况,给定矩阵的顶部特征向量是已知实现最佳统计保证的广泛研究的估计器,例如,在著名的BBP相变的意义上。然而,这个估计器可以完全失败的重尾噪声。在这项工作中,我们展示了一个估计器,工作的重尾噪声的BBP阈值是最佳的,即使是高斯噪声。我们给出了一个非渐近分析我们的估计,它只依赖于每个条目的方差保持不变的矩阵的大小的增长:更高的时刻可能会增长任意快,甚至不存在。以前,它是唯一知道如何实现这些保证,如果高阶矩的噪声是由一个常数的大小无关的矩阵的限制。我们的估计量可以在多项式时间内通过计数自我避免的行走,通过颜色编码技术进行评估。此外,我们将我们的估计扩展到尖峰张量模型,并建立类似的结果。
2020-08-31 cs.DS math.ST stat.ML
On Estimating Rank-One Spiked Tensors in the Presence of Heavy Tailed Errors
本文研究了重尾噪声背景下秩1尖峰张量的估计问题。我们的研究结果突出了一些基本的相似性和差异之间的权衡统计和计算效率重尾和高斯噪声。特别是,我们表明,$p$阶张量,权衡体现在相同的方式作为高斯的情况下,当噪声具有有限的$4(p-1)$阶矩。有趣的是,在有或没有计算约束的情况下,我们以最佳速率估计奇异向量的信号强度要求的差异对于具有较重尾部的噪声变窄,并且当噪声仅具有有限的四阶矩时消失。此外,如果噪声具有小于四阶矩,则张量SVD(也许是最自然的方法)是次优的,即使它在计算上是难以处理的。我们的分析利用了估计秩一尖峰和谱范数的随机张量与iid条目之间的密切联系。特别是,我们证明了随机张量的谱范数的阶可以精确地由其条目的矩来表征,推广了随机矩阵的经典结果。除了理论上的保证,我们提出了估计程序的重尾制度,这是很容易实现和有效的运行。数值实验证明了它们的实用价值。
2021-07-20 cs.IT cs.NA math.IT
Estimation of the Number of Spikes, Possibly Equal, in the High-Dimensional Case
尖峰信号模型中尖峰信号的数目估计是信号处理等领域的一个重要问题。大多数经典方法假设大样本量$n$,而观测的维度$p$保持较小。在本文中,我们考虑的情况下,高维,$p$是大相比,$n$。该方法是基于随机矩阵理论的最新成果。我们将我们以前的结果扩展到一个更困难的情况下,一些尖峰是平等的,并比较我们的算法与现有的基准方法。
2014-06-03 math.ST stat.TH
Detection and estimation of spikes in presence of noise and interference
在许多实际情况下,有用信号被包含在低维子空间中,淹没在噪声和干扰中。与有用信号的估计和检测相关的许多问题出现。由于它们的特殊结构,这些问题与数学界称为“尖峰检测和估计”的问题有关。以前在这个方向上的工作已被限制到要么确定尖峰的数量或估计其值,同时知道他们的多重性。这促使我们的工作,考虑联合估计的尖峰的数量和它们相应的订单,一个问题,这还没有调查到我们所知的最好的。
2014-05-19 math.ST stat.TH
Spiked covariances and principal components analysis in high-dimensional random effects models
我们研究了多变量随机和混合效应线性模型中的主成分分析,假设每个随机效应的协方差阵具有球形加尖峰结构。我们刻画了高维渐近条件下MANOVA方差分量估计的离群样本特征值和特征向量的行为。我们的研究结果表明,混叠现象可能会发生在高维,其中一个方差分量的MANOVA估计的特征值和特征向量可能会受到其他组件。我们提出了一种替代的方法来估计真正的主特征值和特征向量,渐近纠正这个混叠问题。
2018-06-25 math.PR math.ST stat.ME
Asymptotic Normality of Log Likelihood Ratio and Fundamental Limit of the Weak Detection for Spiked Wigner Matrices
本文证明在秩一尖峰Wigner模型中,低于最优阈值时对数似然比收敛于高斯分布,并据此计算似然比检验误差极限,同时推广至尖峰IID模型。
2024-12-18 math.PR math.ST stat.ML
Bayesian Estimation of Sparse Spiked Covariance Matrices in High Dimensions
我们提出了一个贝叶斯方法估计尖峰协方差阵的联合稀疏结构在高维。根据潜在因子模型对加标协方差阵进行重新参数化,其中加载矩阵配备了新型矩阵钉板LASSO先验,这是一种用于联合稀疏矩阵建模的连续收缩先验。我们建立了协方差阵关于算子范数的速率最优后验压缩以及主子空间关于投影算子范数损失的速率最优后验压缩。我们还研究了主子空间的后验收缩率相对于2到无穷范数损失,一种新的损失函数测量子空间之间的距离,能够捕获元素的特征向量扰动。我们表明,后验收缩率相对于2到无穷大的范数损失是严格的,比常规使用的投影算子范数损失在一定的低秩和有界相干条件下。此外,提出了一个主子空间的点估计与率最优风险界的投影算子范数损失。这些结果是基于矩阵尖峰和平板LASSO先验的浓度和大偏差不等式的集合。所提出的方法的数值性能进行评估,通过合成的例子和分析的一个真实世界的人脸数据的例子。
2019-01-30 math.ST stat.ME stat.TH
Edgeworth correction for the largest eigenvalue in a spiked PCA model
研究了$n$零均值高斯观测值样本协方差矩阵最大特征值$\hat{\ell}$在$p+1$维上的分布的改进逼近.我们假设一个总体主成分具有方差$\ell > 1$,其余的“噪声”成分具有共同方差$1$。在高维极限$p/n \to γ> 0$中,我们开始研究超临界情形下对$\hat{\ell}$的极限高斯分布的Edgeworth修正$\ell > 1 + \sqrt γ$。偏度校正涉及与经典设置中一样的二次多项式,但是系数反映了高维结构。该方法涉及Edgeworth展开的样本噪声特征值的条件下获得的独立的非同分布的变量的总和,并限制批量属性\textit{and}波动这些噪声特征值。
2017-10-18 math.ST stat.TH
Detection of Signal in the Spiked Rectangular Models
KAIST(韩国科学技术院);KIAS(韩国高等研究院)
我们考虑在推广尖峰Wishart矩阵的一阶信号加噪声数据矩阵模型中检测信号的问题。我们表明,主成分分析,可以通过预变换的矩阵元素,如果噪声是非高斯的。作为中间步骤,我们证明了尖峰矩形矩阵的最大特征值的急剧相变,这扩展了Baik-Ben Arous-Péché(BBP)转变。我们还提出了一种假设检验,以检测信号的存在与低计算复杂性,基于线性谱统计,最小化的类型I和类型II的错误的总和时,噪声是高斯。
2021-04-28 cs.LG math.PR math.ST
Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices
本文研究了尖峰协方差模型下的最优差分隐私主成分分析和协方差估计,刻画了特征量敏感度并建立了极小极大收敛速度,提出了计算高效且在对数因子范围内最优的差分隐私估计器,适用于发散秩、更广信号强度及小样本高维场景。
2024-09-27 cs.IT math.IT math.ST
Inference on testing the number of spikes in a high-dimensional generalized spiked Fisher matrix
本文针对放宽高斯假设与对角约束的高维广义尖峰Fisher矩阵,提出基于部分线性谱统计量的尖峰数量检验方法,建立中心极限定理,并应用于变量选择与变点检测,模拟与实证验证了方法的有效性和通用性。
2025-02-25 math.ST stat.TH
Optimality and Sub-optimality of PCA I: Spiked Random Matrix Models
随机矩阵理论的一个中心问题是理解由Johnstone引入的尖峰随机矩阵模型的特征值,其中一个突出的特征向量(或“尖峰”)被植入随机矩阵。这些分布形成自然的统计模型,用于整个科学领域的主成分分析(PCA)问题。Baik,Ben Arous和Peche表明,尖峰Wishart系综渐近地表现出尖锐的相变:当尖峰强度高于临界阈值时,可以根据顶部特征值检测到尖峰的存在,并且低于阈值,顶部特征值不提供任何信息。这样的结果形成了我们的理解的基础上,当PCA可以检测到一个低秩信号中存在的噪声。然而,在对尖峰的结构假设下,并非所有信息都必然包含在频谱中。我们研究了统计极限的测试存在的尖峰,包括非光谱测试。我们的研究结果利用Le Cam的邻近性概念,包括:i)对于高斯维格纳系综,我们表明PCA实现了尖峰的某些自然先验的最佳检测阈值。ii)对于任何非高斯维格纳系综,PCA对于检测是次优的。然而,PCA的有效变体通过预变换矩阵条目来实现最佳阈值(对于自然先验)。iii)对于高斯Wishart系综,PCA阈值对于正尖峰(对于自然先验)是最佳的,但对于负尖峰并不总是如此。
2018-07-13 cs.DS cs.IT math.IT
Universality of General Spiked Tensor Models
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文研究了高维不对称尖峰张量模型的普遍性,证明了在非高斯噪声下,最大似然平稳点的谱行为和统计极限的稳健性。
2026-03-11 cs.LG math.PR math.ST
Estimating densities with nonlinear support using Fisher-Gaussian kernels
当密度集中在非线性子空间或流形附近时,用于多变量密度估计的当前工具很困难。大多数方法需要选择一个内核,与多元高斯到目前为止最常用的。虽然已经提出了重尾和倾斜的扩展,这样的内核不能捕获曲率的数据的支持。除非相对于数据维度而言,样本量非常大,否则这会导致性能较差。本文提出了一种新的广义高斯分布,其中包括一个额外的曲率参数。我们将所提出的类称为Fisher-Gaussian(FG)内核,因为它们是通过从球体上的von Mises-Fisher密度采样并添加高斯噪声而产生的。FG密度具有解析形式,并且适合于使用马尔可夫链蒙特卡罗在贝叶斯混合模型内直接实现。我们提供理论上的大支持,并说明增益相对于竞争对手在模拟和真实的数据应用程序。
2019-07-12 math.ST stat.ME stat.TH
Extreme eigenvalues of large-dimensional spiked Fisher matrices with application
考虑两个$p$ -变量总体,不一定是高斯的,分别具有协方差矩阵$Σ_1$和$Σ_2$,并让$S_1$和$S_2$分别是来自具有自由度$T$和$n$的总体样本的样本协方差矩阵。当$Σ_1$和$Σ_2$之间的差异$Δ$与$p,T$和$n$相比具有小秩时,Fisher矩阵$F=S_2^{-1}S_1$被称为{ \em加标Fisher矩阵}。当$p,T$和$n$成比例地增长到无穷大时,我们建立了$F$的极端特征值的相变:当$Δ$的特征值({ \em spikes})高于在某一临界值(或在某一临界值下),Fisher矩阵的相关极值特征值将收敛到其它特征值的全局极限(LSD)的支持之外的某个点;否则,它们将收敛到LSD的边缘点。此外,我们推导出这些极端特征值的尖峰Fisher矩阵的中心极限定理。极限分布被发现是高斯当且仅当相应的人口尖峰特征值在$Δ$是{ \em简单}。数值例子证明了结果的有限样本性能。除了经典的Fisher矩阵在高维数据分析中的应用,我们提出了一种新的方法,用于检测信号,允许任意协方差结构的噪声。仿真实验验证了该检测器的性能。
2015-04-20 math.ST stat.TH
Detection problems in the spiked matrix models
KAIST(韩国科学技术院)
我们研究的统计决策过程检测低秩信号从各种信号加噪声类型的数据矩阵,称为尖峰随机矩阵模型。我们首先表明,主成分分析,可以改善由entrywise预变换的数据矩阵,如果噪声是非高斯,推广已知的结果与rank-1信号的尖峰随机矩阵模型。作为中间步骤,我们发现尖锐的相变阈值的极端特征值的尖峰随机矩阵,推广的Baik-Ben Arous-Péché(BBP)转变。我们还证明了加标随机矩阵线性谱统计量的中心极限定理,并提出了一个假设检验,它不依赖于信号或噪声的分布。当噪声是非高斯噪声时,可以通过对具有加性噪声的数据矩阵进行逐项变换来改进测试。我们还介绍了一种算法,估计信号的秩时,它是不知道的先验。
2023-01-16 cs.LG math.PR math.ST
Phase transitions in spiked matrix estimation: information-theoretic analysis
我们在这里研究所谓的尖峰维格纳和Wishart模型,其中一个观察到一个低秩矩阵扰动一些高斯噪声。这些模型包括许多经典的统计任务,如稀疏PCA,子矩阵定位,社区检测或高斯混合聚类。这些笔记的目标是以统一的方式呈现这些尖峰矩阵模型的信息理论极限的最新结果(以及新的发展)。我们计算的最小均方误差估计的低秩信号,并将其性能的谱估计和消息传递算法。观察到相变现象:根据噪声水平,它是不可能的,容易(即使用多项式时间估计器)或硬(信息理论上是可能的,但没有有效的算法是已知的成功)恢复信号。
2019-06-24 cs.IT math.IT math.PR
Weak detection in the spiked Wigner model
KAIST(韩国科学技术院)
我们考虑秩一尖峰Wigner数据矩阵中的弱检测问题,其中信噪比很小,使得可靠的检测是不可能的。我们提出了一个假设检验的信号的存在,利用数据矩阵的线性谱统计。该测试是数据驱动的,不需要关于信号或噪声分布的先验知识。当噪声为高斯噪声时,所提出的检验在其误差与似然比检验的误差相匹配的意义上是最优的,所述似然比检验最小化I型和II型误差的总和。如果噪声的密度是已知的并且是非高斯的,则可以通过对数据矩阵应用逐项变换来降低测试的误差。作为中间步骤,我们建立了一般秩一尖峰Wigner矩阵线性谱统计量的中心极限定理。
2019-11-11 cs.LG math.PR math.ST
Testing in high-dimensional spiked models
我们考虑由James(1964)确定的五类多元统计问题,它们一起涵盖了许多经典的多元分析,加上一个更简单的极限情况,对称矩阵去噪。James的每个问题都涉及到$E^{-1}H$的特征值,其中$H$和$E$与高维Wishart矩阵成比例。在原假设下,两个Wisharts都是具有同一协方差的中心。在另一种情况下,$H$的非中心性或协方差参数具有独立的单个特征值,即尖峰。当尖峰信号小于特定情况下的相变阈值时,没有一个样本本征值与体相分离,这使得测试问题具有挑战性。使用一个统一的策略的六种情况下,我们表明,由次临界尖峰值参数化的对数似然比过程收敛到高斯过程的对数相关。然后,我们推导出渐近功率包络测试的存在一个尖峰。
2018-02-03 math.ST stat.TH
Detecting Rare and Weak Spikes in Large Covariance Matrices
给定$p$维高斯向量$X_i \stackrel{iid}{\sim} N(0, Σ)$、$1 \leq i \leq n$,其中$p \geq n$,我们感兴趣的是测试零假设,其中$Σ= I_p$相对于备择假设,其中$Σ$的所有特征值都是$1$,除了它们中的$r$大于$1$(即,尖峰特征值)。我们考虑一个罕见/弱设置,其中尖峰是稀疏的(即,$1 \ll r \ll p$)和单独弱(即,每个尖峰特征值仅略大于$1$),并发现相变:校准尖峰稀疏度和强度的二维相空间划分为不可能区域和可能区域。在不可能区域中,所有测试都(渐近地)无力将备选项与空值分离。在可能性区域中,存在具有(渐近)全功效的检验。我们考虑了CuSum检验、基于迹的检验、基于特征值的Higher Criticism检验和Tracy-Widom检验(Johnstone 2001),并证明了前两个检验在可能性区域中具有渐近全功效。为了从不同的角度使用我们的结果,我们推导出(a)经验本征值和(b)经验本征值的累积和的新界限,两者都是在备择假设下。(a)部分与Baik、Ben-Arous和Peche(2005)的结果相关,但设置和结果都不同。该研究需要对测试问题的$L^1$ -距离进行仔细的分析,并需要精细的随机矩阵理论。我们的技术设计包括(a)高斯代理模型,(b)Le Cam的实验比较,以及(c)经验特征值的大偏差范围。
2018-09-05 math.ST stat.TH
Weak Detection in the Spiked Wigner Model with General Rank
KAIST(韩国科学技术院);KIAS(韩国高等研究院)
本文研究了在加性Wigner噪声下从“信号+噪声”型矩阵模型中检测信号的统计决策过程。我们提出了一个假设检验的基础上的线性谱统计的数据矩阵,这不依赖于信号或噪声的分布。如果信噪比小,则该测试在高斯噪声下是最佳的,因为它使I型和II型误差的总和最小化。在非高斯噪声下,可以通过对数据矩阵进行逐项变换来改进测试。我们还介绍了一种算法,估计信号的秩时,它是不知道的先验。
2021-03-04 cs.LG math.PR math.ST
Estimating Gaussian mixtures using sparse polynomial moment systems
本文利用多面体几何研究高斯混合模型的矩可识别性,证明一般高斯k-混合模型可由前3k+2个矩识别,并提出路径数随维度线性增长的同伦算法用于高维参数恢复。
2024-06-10 math.AG math.ST stat.ME
A Lanczos-Based Algorithmic Approach for Spike Detection in Large Sample Covariance Matrices
University of Washington(华盛顿大学);University of California, Davis(加州大学戴维斯分校)
本文提出基于兰茨算法的高效方法,用于估计大型样本协方差矩阵中的尖峰数量,具有更高的计算效率和鲁棒性。
2025-12-29 math.PR math.ST stat.CO
Joint Asymptotics for Estimating the Fractal Indices of Bivariate Gaussian Processes
多变量(或向量值)过程对于多变量建模很重要。基本多元过程的分量的分形指数在表征多元过程的相关结构和统计性质方面起着关键作用。本文在填充渐近框架下,建立了二元分形指数增量估计的联合渐近结果。我们的主要结果定量地描述了交叉依赖结构对估计性能的影响。
2017-07-24 math.ST stat.TH
Local Asymptotic Normality of the spectrum of high-dimensional spiked F-ratios
我们考虑两种类型的尖峰多元F分布:一个规模矩阵等于秩一扰动的身份,和一个平凡的规模,但秩一非中心分布的规模分布。秩一矩阵(尖峰)的范数参数化相应F矩阵的特征值的联合分布。我们发现,对于一个尖峰位于相变阈值以上,对数比的F矩阵的特征值的联合密度的联合密度下,从这个值的局部偏差的渐近行为只取决于最大的特征值$λ_{1}$。此外,$λ_{1}$是渐近正态的,并且观察F矩阵的所有特征值的统计实验在Le Cam意义下收敛于高斯移位实验,该高斯移位实验取决于$λ_{1}$的渐近均值和方差。特别是,最好的统计推断一个足够大的尖峰在当地的渐近制度是基于最大的特征值。作为我们的分析的副产品,我们建立了联合渐近正态性的几个最大的特征值的多尖峰的F矩阵时,相应的尖峰高于相变阈值。
2014-11-14 math.ST stat.TH
Estimating deformations of isotropic Gaussian random fields on the plane
基于变形随机场的单个实现的稠密观测,提出了一种估计$\mathbb{R}^2$上各向同性高斯随机场变形的新方法.在这个框架下,我们研究的识别和估计的变形。然后,我们提出了一个完整的方法包-从模型假设的算法恢复的变形-类的非平稳过程通过变形各向同性高斯随机场。
2008-04-04 math.ST stat.TH
Fundamental limits of detection in the spiked Wigner model
我们研究的基本限制检测存在的一个添加剂秩一扰动,或尖峰,维格纳矩阵。当尖峰信号来自一个独立身份的先验时。在坐标系下,我们证明了加标模型对非加标模型的对数似然比在一定的重建阈值以下是渐近正态的,而重建阈值不一定是"谱"性质的,并且在一定的重建阈值以上是退化的。这建立了种植模型和空模型之间的最大邻接区域。众所周知,这个阈值也标志着估计尖峰的阶段转变:后者的任务在阈值以上是可能的,而在阈值以下是不可能的。因此,估计和检测在该随机矩阵模型中经历相同的转变。我们还提供了有关最佳测试性能的进一步信息。我们的证明是基于高斯插值方法和严格的体现腔方法,设计的Guerra和Talagrand在他们的研究谢林顿-柯克帕特里克自旋玻璃模型。
2018-06-25 math.PR math.ST stat.ML
Linear Estimating Equations for Exponential Families with Application to Gaussian Linear Concentration Models
在许多分布族中,极大似然估计是难以处理的,因为进入似然函数的密度的归一化常数不容易获得。Hyvärinen(2005)的评分匹配估计量提供了一种不需要该归一化常数的替代方案。对于指数族,相应的估计方程变为线性。分数匹配估计是一致的,渐近正态分布的这种模式,虽然不一定有效。高斯线性浓度模型就是这类模型的例子。对于在协方差中也是线性的线性浓度模型,我们证明了分数匹配估计量与最大似然估计量相同,因此在这种情况下它也是有效的。高斯图形模型和图形模型的对称形式特别有趣的线性浓度模型的子类,我们调查的分数匹配估计这种情况下的潜在用途。
2014-06-12 math.ST stat.TH
Minimax bounds for estimating multivariate Gaussian location mixtures
我们证明了极小极大界估计高斯位置混合$\mathbb{R}^d$下的平方$L^2$和平方Hellinger损失函数。在平方$L^2$损失下,证明了极大极小化率的上下界为$n^{-1}(\log n)^{d/2}$的常数倍.在平方Hellinger损失下,我们考虑基于混合测度尾部行为的两个子类。当混合测度具有亚高斯尾部时,平方Hellinger损失下的极大极小化率由$(\log n)^{d}/n$从下到上有界。另一方面,当仅假设混合测度对于固定的$p > 0$具有有界$p^{\text{th}}$矩时,平方Hellinger损失下的极大极小化率由$n^{-p/(p+d)}(\log n)^{-3d/2}$自下而上有界。这些利率是最小最大最优的对数因子。
2021-05-19 math.ST stat.TH
Estimating the smoothness of a Gaussian random field from irregularly spaced data via higher-order quadratic variations
本文介绍了一种从不规则间隔数据估计平稳各向同性高斯随机场光滑性的方法。这涉及到新的高阶二次变分的结构和建立相应的固定域渐近理论。我们尤其认为:(i)使用非等间距线样带数据的高阶二次变化,(ii)来自沿${\mathbb{R}}^2$中的平滑曲线取得的高斯随机场观测的样本的二阶二次变化,(iii)基于${\mathbb{R}}^2$上的变形点阵数据的二阶二次变化。光滑估计,提出了强一致的温和的假设下。模拟结果表明,这些估计执行中等样本量。
2015-10-29 math.ST stat.TH
Optimality and Sub-optimality of PCA for Spiked Random Matrices and Synchronization
随机矩阵理论的一个中心问题是理解尖峰随机矩阵模型的特征值,其中一个显着的特征向量被植入到随机矩阵中。这些分布形成自然的统计模型,用于整个科学领域的主成分分析(PCA)问题。Baik,Ben Arous和Péché表明,尖峰Wishart系综渐近地表现出尖锐的相变:当信号强度高于临界阈值时,可以根据顶部特征值检测到尖峰的存在,并且低于阈值,顶部特征值不提供任何信息。这样的结果形成了我们的理解的基础上,当PCA可以检测到一个低秩信号中存在的噪声。然而,并非所有关于尖峰的信息都必须包含在频谱中。我们研究的统计方法,包括非光谱的基本限制。我们的成果包括:I)对于高斯维格纳系综,我们表明PCA实现了各种良性先验的尖峰的最佳检测阈值。我们扩展了以前的工作,球对称和i.i.d. Rademacher先验通过一个基本的,统一的分析。II)对于任何非高斯Wigner系综,我们证明了PCA总是次优检测。然而,PCA的一个变体通过根据精心设计的函数预变换矩阵项来实现最佳阈值(对于良性先验)。这种方法之前已经陈述过,我们给出了严格和一般的分析。III)对于高斯Wishart系综和各种组上的同步问题,我们表明,效率低下的程序可以在PCA成功的阈值以下工作,而没有已知的有效算法实现这一点。在统计上可能做到的和可以有效做到的之间的这种技术差距仍然存在。
2016-12-23 cs.DS cs.IT math.IT
Estimating the Penalty Level of $\ell_{1}$-minimization via Two Gaussian Approximation Methods
在本文中,我们的目的是给$\ell_{1}$ -正则化问题的惩罚水平的理论近似。与交叉验证等传统方法相比,该方法在实际应用中可以节省大量的时间。为了实现这一目标,我们开发了两个高斯近似方法,这是基于适度偏差定理和Stein的方法分别。这两种方法都给出了有效的近似,并在仿真中具有良好的性能。我们将这两种高斯近似方法应用于三种类型的超高维$\ell_{1}$惩罚回归:套索,平方根套索,加权$\ell_{1}$惩罚泊松回归。数值结果表明,我们的两种方法来估计的惩罚水平达到高的计算效率。此外,我们的预测误差优于基于10倍交叉验证。
2020-02-18 math.ST stat.TH
Statistical inference for principal components of spiked covariance matrices
本文研究了高维尖峰样本协方差阵的极值特征值和特征向量在超临界情形下的渐近行为,当尖峰信号的可靠检测是可能的时候.特别地,我们导出了极值特征值和相关特征向量广义分量的联合分布,即,假设维数和样本量很大,特征向量在任意给定方向上的投影。一般来说,联合分布是根据多个高斯和卡方变量的线性组合给出的,参数取决于投影方向和尖峰。我们对尖峰的假设是完全通用的。首先,尖峰的强度仅需要稍微高于临界阈值,并且不需要强度的上界。第二,多个尖峰,即,具有相同强度的钉子是允许的。第三,没有对尖峰施加结构性假设。由于一般的设置,我们可以将结果应用到各种高维统计假设检验问题,涉及的特征值和特征向量。具体而言,我们提出了准确和强大的统计进行假设检验的主成分。这些统计数据依赖于数据,并适应于潜在的真实尖峰。数值模拟也证实了我们提出的统计的准确性和强大性,并说明了显着更好的性能相比,现有的方法在文献中。特别是,我们的方法是准确和强大的,即使是尖峰是小的或尺寸是大的。
2020-09-03 math.ST stat.TH
Estimation in the spiked Wigner model: A short proof of the replica formula
我们考虑在低信噪比的情况下估计Wigner矩阵的秩一扰动的问题。这是一个简单的模型,用于高维的主成分分析。每个变量之间的互信息的尖峰和观察到的矩阵,或等效地,归一化的Kullback-Leibler之间的分歧种植和空模型是已知的收敛到所谓的{ \em复制对称}公式,其属性确定在这个模型中的估计的基本限制。我们在本说明中提供了一个简短而透明的证明这个公式,基于简单的执行高斯插值和标准的浓度测量参数。\emph{Franz-Parisi potential},即在固定重叠处的自由熵,在我们的证明中起着重要的作用。此外,我们的证明可以直接推广到偶数阶的尖峰张量模型。
2018-06-14 cs.IT math.IT math.PR
On improved estimation in a conditionally Gaussian regression
本文考虑了二次损失下多元条件正态分布的$p\geq2$维均值向量的估计问题。当估计具有由布朗运动和复合泊松过程的混合驱动的非高斯Ornstein-Uhlenbeck过程的连续时间回归模型中的参数时,出现了这种类型的问题。
2011-05-25 math.ST stat.TH
Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Unité de Mathématiques Pures et Appliquées (UMPA), ENS Lyon(里昂高等师范学院纯数学与应用数学研究所)
该研究针对多尖点张量PCA问题,利用朗之万动力学分析高维非凸优化,确定了精确恢复尖点所需的样本数量与SNR分离条件,揭示了恢复最大SNR尖点与所有尖点的样本复杂度阈值差异。
2026-08-14 cs.LG math.PR math.ST
Estimating covariance functions of multivariate skew-Gaussian random fields on the sphere
本文考虑一个多元空间随机场,每个分量具有单变量的斜高斯型边缘分布。我们假设,该领域是在空间上定义的单位球体嵌入在$\mathbb{R}^3$,允许建模数据在大部分的行星地球。该模型承认明确的边际和交叉协方差的表达式。然而,场的$n$维分布很难估计,因为它需要涉及$n$维高斯分布的累积和概率密度函数的$2^n$项的和.由于在这种情况下,基于全似然的推断在计算上是不可行的,我们提出了一种基于空间观测对的复合似然方法。这最后一个可能是由于我们有一个封闭的形式表达的二元分布的事实。我们通过仿真实验和一个真实的最低和最高温度数据集的分析说明了该方法的有效性。
2017-07-26 math.ST stat.TH
Finite Size Corrections and Likelihood Ratio Fluctuations in the Spiked Wigner Model
本文研究了高维高噪声环境下的主成分分析。我们的模型的问题是一个秩一变形的Wigner矩阵的信噪比(SNR)是恒定的顺序,我们感兴趣的是检测的尖峰的基本限制。我们的主要目标是获得一个很好的理解的对数似然比过程,也被称为自由能,作为SNR的函数的渐近。我们的主要结果是双重的。我们首先证明了自由能有一个有限大小的修正到它的极限-复制对称公式-我们明确计算。这为种植模型和零模型之间的Kullback-Leibler分歧提供了一个公式。其次,我们证明,低于重建阈值,它变得不可能重建的尖峰,对数似然比有波动的恒定顺序和收敛分布高斯种植和(下限制)空模型。因此,我们提供了一个一般的证明,这两个分布之间的连续性,持有重建阈值,是有效的,为任意可分离的前尖峰。文中还给出了最优检验的全变差距离、Ⅰ型误差和Ⅱ型误差的计算公式。我们的证明是基于高斯插值方法和严格的体现腔方法,设计的Guerra和Talagrand在他们的研究谢林顿-柯克帕特里克自旋玻璃模型。
2017-10-09 cs.IT math.IT math.PR
Estimating drift parameters in a non-ergodic Gaussian Vasicek-type model
研究了一类非遍历Gaussian Vasicek型模型$dX_t=(μ+θX_t)dt+dG_t,\ t\geq0$的参数估计问题,其中参数$θ>0$和$μ\in\mathbb{R}$均为未知,其中$G$为高斯过程.基于连续时间观测值$\{X_t,\ t\in[0,T]\}$作为$T\rightarrow\infty$,分别给出了漂移参数$θ$和$μ$的最小二乘估计$\widetildeθ_T$和$\widetildeμ_T$.我们的目的是得到驱动高斯过程$G$的一些充分条件,以保证$\widetildeθ_T$和$\widetildeμ_T$是强相容的,$\widetildeθ_T$的极限分布是Cauchy型分布,$\widetildeμ_T$是渐近正态的.我们应用我们的结果分数Vasicek,亚分数Vasicek和bifractional Vasicek过程。此外,本文的工作推广了\cite{EEO}在$μ=0$ .
2020-05-09 math.PR math.ST stat.TH
Detection limits in the high-dimensional spiked rectangular model
我们研究的问题,检测一个单一的未知的尖峰在一个矩形数据矩阵的存在下,在一个高维制度,尖峰具有固定的强度和矩阵的纵横比收敛到一个有限的限制。该设置包括Johnstone的加标协方差模型。我们分析的似然比的尖峰模型对一个“所有噪声”的零模型的参考,并显示它有渐近高斯波动在一个区域以下-但在一般情况下不高达-所谓的BBP阈值从随机矩阵理论。我们的结果与Onatski等人的早期发现相似。(2013)和Johnstone-Onatski(2015)的球形钉。我们提出了一个概率的方法能够处理通用产品的先验。特别地,允许尖峰中的稀疏性。我们的方法是基于Talagrand的解释腔方法从自旋玻璃理论。渐近正态性预期保持的最大参数区域的问题是开放的。该区域由先验以非平凡的方式形成。我们推测这是一个相关的自旋玻璃模型的整个顺磁相,并且是由Lebanon等人的复制对称解的消失来定义的。(2015年)。
2018-06-14 math.PR math.ST stat.ML
Spiked Covariance Estimation from Modulo-Reduced Measurements
考虑秩-1加标模型:$\bf{X}=\sqrtνξ\bf{u}+ \bf{Z}$,其中$ν$是加标强度,$\bf{u}\in\mathbb{S}^{k-1}$是未知方向,$ξ\sim \mathcal{N}(0,1),\bf{Z}\sim \mathcal{N}(\bf{0},\bf{I})$。受模数转换的最新进展的启发,我们研究了从$n$ i.i.d.中恢复$\bf{u}\in \mathbb{S}^{k-1}$的问题。模约化测量$\bf{Y}=[\bf{X}]\mod Δ$,侧重于高维区域($k\gg 1$)。我们开发和分析的算法,大多数方向$\bf{u}$和$ν=\mathrm{poly}(k)$,估计$\bf{u}$高精度使用$n=\mathrm{poly}(k)$测量,只要$Δ\gtrsim \sqrt{\log k}$。常数,我们的算法准确地估计$\bf{u}$在最小的可能$Δ$,允许(在信息理论意义上)恢复$\bf{X}$从$\bf{Y}$。在我们的分析中的一个关键步骤涉及估计的概率,长度为$\approx\sqrtν$的线段在随机方向$\bf{u}$通过附近的一个点在晶格$Δ\mathbb{Z}^k$。数值实验表明,即使在非渐近设置,该算法表现良好。
2022-05-19 cs.IT math.IT math.ST
Estimating Evolving Functions with Dynamic Gaussian Processes
Eindhoven University of Technology(埃因霍温理工大学);Control Systems Technology Section, Department of Mechanical Engineering, Eindhoven University of Technology(埃因霍温理工大学机械工程系控制系统技术组)
提出动态高斯过程框架,通过积分-差分方程建模演化函数,将高斯过程回归扩展到时变函数,并利用可分离核结构简化为有限维卡尔曼滤波,支持向量值状态和高阶偏微分方程。
2026-06-04 cs.SY eess.SY math.ST
High-dimensional ridgeless least squares interpolation under spiked covariance structures
College of Sciences, Northeastern University(东北大学理学院);School of Mathematics and Statistics, Xi’an Jiao Tong University(西安交通大学数学与统计学院)
该研究针对高维无岭最小二乘插值,基于广义尖峰协方差模型,揭示了其预测行为由回归系数与尖峰特征空间的对齐程度决定,刻画了尖峰特性对双下降现象的影响,为过参数化回归的泛化提供了统一认识。
2026-08-10 cs.LG math.ST stat.ML
Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise
The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心);Institute of Science and Technology Austria(奥地利科学技术研究所)
针对结构化旋转不变噪声下的低秩尖峰矩阵推断,论文结合副本法与广义球面积分刻画一般迹系综的信息论极限,并提出自适应 TAP 高效算法达到该极限。
2024-07-08 cond-mat.dis-nn cs.IT cs.LG
Optimality of Approximate Message Passing Algorithms for Spiked Matrix Models with Rotationally Invariant Noise
针对旋转不变噪声下的尖峰矩阵模型,提出一类新的近似消息传递算法,推导最优去噪器,在固定迭代预算下达到最小渐近估计误差。
2025-09-07 cs.IT math.IT math.PR
Sharp Spectral Thresholds for Multi-View Spiked Wigner Models
Harvard University(哈佛大学)
本文研究了多视图尖峰威格纳模型,通过线性化近似消息传递(AMP)方法推导出潜在线性尖峰的谱估计器,并给出了其谱的显式尖峰阈值公式,证明当SNR(λ,B)等于1时,线性化AMP方法达到信息论弱恢复阈值。
2026-05-19 math.PR math.ST stat.TH
Orthogonal Approximate Message Passing Algorithms for Rectangular Spiked Matrix Models with Rotationally Invariant Noise
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Columbia University(哥伦比亚大学)
本文提出了一种正交近似信息传递算法,用于在具有旋转不变噪声的矩形尖峰矩阵模型中进行信号估计,并证明其在特定噪声条件下具有最优性能。
2026-02-03 cs.IT math.IT math.ST
Testing and Estimating Change-Points in the Covariance Matrix of a High-Dimensional Time Series
本文研究了高维线性时间序列协方差结构中变点的检验和估计方法。假设的框架允许一个大类的多元线性过程(包括向量自回归移动平均(VARMA)模型)的增长维度和尖峰协方差模型。该方法使用中心或非中心样本方差-协方差阵的双线性型。变点检验和估计是基于最大选择加权累积和(MANUUM)统计量。大样本近似下的变点制度,包括一个多变量的CRAMUM变换的增加的维度。对于未知的渐近方差和协方差参数(对)的统计量,我们提出了一致的估计。基于弱大数定律的顺序版本,我们还考虑停止样本估计的观察,直到估计的变点。有限样本性质的程序进行了研究,通过模拟和他们的应用程序进行了说明,通过分析一个真实的数据集,从cumbermetrics。
2020-01-13 math.PR math.ST stat.AP
Complex energy landscapes in spiked-tensor and simple glassy models: ruggedness, arrangements of local minima and phase transitions
我们研究粗糙的高维景观,其中越来越强烈的偏好出现在一个给定的配置。这种能量景观出现在玻璃物理学和推论中。特别是,我们专注于随机高斯函数,和尖峰张量模型和推广。我们深入分析了相应景观的统计特性,并描述了相关的几何相变。为了进行我们的研究,我们开发了一个框架的基础上的Kac-Rice方法,允许计算景观的复杂性,即对数的典型数量的固定点和他们的Hessian。这种方法概括了一个用于严格计算退火的平均场玻璃模型的复杂性。我们讨论了它的优点,相对于以前的框架,特别是在crackical副本的方法,这是导致部分不正确的预测。
2018-04-24 cond-mat.dis-nn math.PR math.ST
Orthogonal Approximate Message Passing with Optimal Spectral Initializations for Rectangular Spiked Matrix Models
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Columbia University(哥伦比亚大学)
本文提出了一种基于最优谱初始化的正交近似消息传递算法,用于矩形尖峰矩阵模型中的信号估计,并在非高斯信号假设下结合异常值以提高性能。
2025-12-22 cs.IT cs.LG math.IT
Matrix Denoising with Partial Noise Statistics: Optimal Singular Value Shrinkage of Spiked F-Matrices
针对未知协方差噪声下的低秩矩阵估计,提出利用纯噪声侧信息的 WSC 工作流,并推导尖峰 F 矩阵的渐近最优闭式奇异值收缩。
2023-07-15 cs.IT eess.SP math.IT
Information-Theoretic Limits for Rectangular Spiked Matrix Models with Rotationally Invariant Noise
Guangdong University of Technology(广东工业大学);International School for Advanced Studies (SISSA)(国际高等研究院);The Abdus Salam International Centre for Theoretical Physics (ICTP)(阿卜杜斯·萨拉姆国际理论物理中心);Università di Bologna(博洛尼亚大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
该研究推导了带旋转不变噪声的矩形加秩矩阵模型的互信息变分公式与鞍点方程,证明其与正交近似消息传递算法状态演化方程等价,揭示了统计-计算间隙的存在。
2026-10-16 cond-mat.dis-nn cs.IT math.IT