Phase transitions in spiked matrix estimation: information-theoretic analysis
我们在这里研究所谓的尖峰维格纳和Wishart模型,其中一个观察到一个低秩矩阵扰动一些高斯噪声。这些模型包括许多经典的统计任务,如稀疏PCA,子矩阵定位,社区检测或高斯混合聚类。这些笔记的目标是以统一的方式呈现这些尖峰矩阵模型的信息理论极限的最新结果(以及新的发展)。我们计算的最小均方误差估计的低秩信号,并将其性能的谱估计和消息传递算法。观察到相变现象:根据噪声水平,它是不可能的,容易(即使用多项式时间估计器)或硬(信息理论上是可能的,但没有有效的算法是已知的成功)恢复信号。
2019-06-24 cs.IT math.IT math.PR
Geometric Fluctuations of the $\sinΘ$ Distance in High-Dimensional Principal Subspace Estimation
University of Science and Technology of China(中国科学技术大学);School of Management, University of Science and Technology of China(中国科学技术大学管理学院)
本文通过平方Frobenius $\sin\Theta$距离研究高维协方差矩阵主子空间的几何波动,建立一阶展开和中心极限定理,并应用于PCA风险与分布式PCA误差分析,发现误差可随尖峰增强而减小。
2026-09-09 math.ST stat.TH
Estimation in the spiked Wigner model: A short proof of the replica formula
我们考虑在低信噪比的情况下估计Wigner矩阵的秩一扰动的问题。这是一个简单的模型,用于高维的主成分分析。每个变量之间的互信息的尖峰和观察到的矩阵,或等效地,归一化的Kullback-Leibler之间的分歧种植和空模型是已知的收敛到所谓的{ \em复制对称}公式,其属性确定在这个模型中的估计的基本限制。我们在本说明中提供了一个简短而透明的证明这个公式,基于简单的执行高斯插值和标准的浓度测量参数。\emph{Franz-Parisi potential},即在固定重叠处的自由熵,在我们的证明中起着重要的作用。此外,我们的证明可以直接推广到偶数阶的尖峰张量模型。
2018-06-14 cs.IT math.IT math.PR
A majorization-minimization approach to variable selection using spike and slab priors
本文提出了一类贝叶斯回归模型的最大后验概率估计方法,该模型中的系数是由高斯型的尖峰和板先验分配的。相应优化问题中的目标函数具有拉格朗日形式,其中回归系数由平方$l_2$和$l_0$范数的混合正则化。紧逼近的$l_0$规范使用优化最小化技术推导出,并结合软阈值方案的坐标下降算法用于搜索的近似目标的优化器。仿真研究表明,该方法可以导致更准确的变量选择比其他基准方法。理论结果表明,在正则条件下,符号一致性可以建立,即使在不可表示条件被违反。给出了后验模型一致性和估计一致性的结果,并推广到广义线性模型的参数估计。
2012-11-22 math.ST stat.ME stat.TH
Langevin dynamics for high-dimensional optimization: the case of multi-spiked tensor PCA
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Unité de Mathématiques Pures et Appliquées (UMPA), ENS Lyon(里昂高等师范学院纯数学与应用数学研究所)
该研究针对多尖点张量PCA问题,利用朗之万动力学分析高维非凸优化,确定了精确恢复尖点所需的样本数量与SNR分离条件,揭示了恢复最大SNR尖点与所有尖点的样本复杂度阈值差异。
2026-08-14 cs.LG math.PR math.ST
Optimal Differentially Private PCA and Estimation for Spiked Covariance Matrices
本文研究了尖峰协方差模型下的最优差分隐私主成分分析和协方差估计,刻画了特征量敏感度并建立了极小极大收敛速度,提出了计算高效且在对数因子范围内最优的差分隐私估计器,适用于发散秩、更广信号强度及小样本高维场景。
2024-09-27 cs.IT math.IT math.ST
Non-negative Principal Component Analysis: Message Passing Algorithms and Sharp Asymptotics
主成分分析(PCA)旨在估计高维数据集的最大变异方向。一个自然的问题是:当我们利用关于主向量的额外知识时,这项任务是否变得更容易,估计是否更准确?我们研究的情况下,其中的主向量是已知的谎言,在正正交。类似的限制出现在许多应用中,从基因表达数据的分析到神经信号处理中的尖峰排序。在不受约束的情况下,PCA的估计性能已被精确地使用随机矩阵理论的特点,在一个被称为“尖峰模型”的统计模型。众所周知,当信噪比超过某个阈值时,估计误差经历相变。不幸的是,随机矩阵理论的工具对约束问题没有影响。尽管存在这一挑战,我们开发了一个类似的表征在约束的情况下,在一个尖峰模型。特别是:$(i)$ ~我们证明了--与无约束情况不同--估计误差依赖于尖峰向量,并描述了最不利向量的特征; $(iii)$ ~我们证明了非负主成分可以近似计算-在尖峰模型下-在接近线性的时间内。尽管这个问题是非凸的,而且一般来说,NP-难以精确解决。
2014-06-18 cs.IT math.IT math.ST
Adaptive Bayesian Predictive Inference in High-dimensional Regerssion
本文从预测推断视角研究高维回归中的稀疏先验,证明LASSO先验无法实现速率最优,而Spike-and-Slab及分层先验能实现自适应极小化极大速率,首次给出稀疏设置下预测密度估计的速率自适应结果。
2024-05-30 math.ST stat.TH
Random Graph Asymptotics for Treatment Effect Estimation under Network Interference
因果推理的网络干扰模型将所有实验单元放置在无向暴露图的顶点处,使得分配给一个单元的治疗可能影响另一个单元的结果,当且仅当这两个单元通过边缘连接时。这个模型最近得到普及的手段,将干扰效应纳入内曼-鲁宾潜在的结果框架,和几位作者已经考虑估计各种因果目标,包括直接和间接的治疗效果。在本文中,我们考虑大样本渐近网络干扰下的治疗效果估计的设置中的暴露图是一个随机绘制的graphon。当目标的直接影响,我们表明-在我们的设置-流行的估计是相当准确的比现有的结果表明,并提供了一个中心极限定理的时刻的graphon。同时,当针对间接效应时,我们利用生成假设在目前没有其他一致估计量的情况下提出一致估计量。我们还展示了我们的研究结果如何用于对随机研究推断对潜在干扰效应的敏感性进行实际评估。总体而言,我们的研究结果突出了随机图渐近在理解网络干扰下因果推理的实用性和局限性方面的承诺。
2022-03-16 math.ST stat.TH
Orthogonal Approximate Message Passing with Optimal Spectral Initializations for Rectangular Spiked Matrix Models
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Columbia University(哥伦比亚大学)
本文提出了一种基于最优谱初始化的正交近似消息传递算法,用于矩形尖峰矩阵模型中的信号估计,并在非高斯信号假设下结合异常值以提高性能。
2025-12-22 cs.IT cs.LG math.IT
Neyman Jackknife: Design-Based Variance Estimation for Causal Inference under Interference
Stanford University(斯坦福大学)
本文提出Neyman Jackknife框架,提供一种通用方法,用于在存在干扰的情况下保守估计因果推断中的变异数。该方法在经典设置中恢复与Neyman估计器和Newey-West HAC方差估计器相关的估计器,并通过数值实验表明其性能可与专门设计的基准方法相媲美。
2026-04-27 math.ST stat.ME stat.TH
Pseudo-Maximum Likelihood Theory for High-Dimensional Rank One Inference
Northwestern University(西北大学);University of Waterloo(滑铁卢大学)
本文提出高维秩一矩阵估计的伪极大似然理论,证明极限伪极大似然的普适变分原理仅由四个参数决定,并据此建立估计问题等价性,将社区检测、稀疏子矩阵检测及非线性尖峰模型统一为尖峰矩阵模型,最终完整刻画最小二乘估计量的性能。
2025-11-07 math.PR math.ST stat.TH
Fundamental limits of detection in the spiked Wigner model
我们研究的基本限制检测存在的一个添加剂秩一扰动,或尖峰,维格纳矩阵。当尖峰信号来自一个独立身份的先验时。在坐标系下,我们证明了加标模型对非加标模型的对数似然比在一定的重建阈值以下是渐近正态的,而重建阈值不一定是"谱"性质的,并且在一定的重建阈值以上是退化的。这建立了种植模型和空模型之间的最大邻接区域。众所周知,这个阈值也标志着估计尖峰的阶段转变:后者的任务在阈值以上是可能的,而在阈值以下是不可能的。因此,估计和检测在该随机矩阵模型中经历相同的转变。我们还提供了有关最佳测试性能的进一步信息。我们的证明是基于高斯插值方法和严格的体现腔方法,设计的Guerra和Talagrand在他们的研究谢林顿-柯克帕特里克自旋玻璃模型。
2018-06-25 math.PR math.ST stat.ML
On Estimating Rank-One Spiked Tensors in the Presence of Heavy Tailed Errors
本文研究了重尾噪声背景下秩1尖峰张量的估计问题。我们的研究结果突出了一些基本的相似性和差异之间的权衡统计和计算效率重尾和高斯噪声。特别是,我们表明,$p$阶张量,权衡体现在相同的方式作为高斯的情况下,当噪声具有有限的$4(p-1)$阶矩。有趣的是,在有或没有计算约束的情况下,我们以最佳速率估计奇异向量的信号强度要求的差异对于具有较重尾部的噪声变窄,并且当噪声仅具有有限的四阶矩时消失。此外,如果噪声具有小于四阶矩,则张量SVD(也许是最自然的方法)是次优的,即使它在计算上是难以处理的。我们的分析利用了估计秩一尖峰和谱范数的随机张量与iid条目之间的密切联系。特别是,我们证明了随机张量的谱范数的阶可以精确地由其条目的矩来表征,推广了随机矩阵的经典结果。除了理论上的保证,我们提出了估计程序的重尾制度,这是很容易实现和有效的运行。数值实验证明了它们的实用价值。
2021-07-20 cs.IT cs.NA math.IT
Causal effect estimation under network interference with mean-field methods
研究网络干扰下从观测数据估计因果效应,采用链图框架允许长程干扰,提出基于平均场和近似消息传递的可扩展算法,并在高温条件下证明其相合性。
2024-07-28 math.PR math.ST stat.ME
Semiparametric Estimation of Treatment Effects in Observational Studies with Heterogeneous Partial Interference
针对异质性部分干扰下的观察性研究,提出条件可交换假设下的广义AIPW估计量,证明其半参数有效性与稳健性,并通过Add Health数据集验证了方法在实际因果效应分析中的应用价值。
2024-06-22 econ.EM math.ST stat.ME
Multiple Randomization Designs: Estimation and Inference with Interference
Amazon(亚马逊);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
本文提出了一种新的多重随机化设计,用于处理随机实验中的复杂溢出效应,并推导了相关估计量的有限样本性质。
2025-12-01 cs.SI econ.EM math.ST