Analysis of singular subspaces under random perturbations
Hong Kong University of Science and Technology(香港科技大学)
本文研究了随机扰动下奇异子空间的分析,扩展了Davis-Kahan-Wedin定理,推导了奇异向量和子空间的界,并探讨了其在高斯混合模型和子矩阵定位中的应用。
2026-02-09 cs.NA math.NA math.PR
Matrix Denoising with Partial Noise Statistics: Optimal Singular Value Shrinkage of Spiked F-Matrices
针对未知协方差噪声下的低秩矩阵估计,提出利用纯噪声侧信息的 WSC 工作流,并推导尖峰 F 矩阵的渐近最优闭式奇异值收缩。
2023-07-15 cs.IT eess.SP math.IT
OptShrink: An algorithm for improved low-rank signal matrix denoising by optimal, data-driven singular value shrinkage
测量矩阵的截断奇异值分解(SVD)是如何使用低秩矩阵最好地近似噪声测量矩阵的_representation_ problem的最优解。在这里,我们考虑如何通过测量矩阵的奇异向量的最佳(重新)加权来最好地近似隐藏在噪声中的低秩信号矩阵的(不可观测)_去噪_问题。我们利用随机矩阵理论的最新成果,准确地描述了最佳权系数的大矩阵限制,并表明它们可以直接从一个大类的噪声模型,包括独立同分布的数据计算。高斯噪声情况。我们的分析带来了尖锐的焦点收缩和阈值形式的最佳权重,相关的收缩函数(奇异值)的非凸性质,并解释了为什么矩阵正则化通过奇异值阈值与凸罚函数(如核范数)将始终是次优的。我们验证我们的理论预测与数值模拟,开发一个可实现的算法(OptShrink),实现了预测的性能增益,并显示我们的方法可以用来提高估计的设置中的测量矩阵有缺失的条目。
2014-04-18 cs.IT math.IT math.ST
Minimax risk of matrix denoising by singular value thresholding
根据噪声测量$Y=X_0+Z$估计未知的$m$ × $n$矩阵$X_0$,其中噪声矩阵$Z$具有i.i.d.高斯项。一种流行的矩阵去噪方案解决了核范数惩罚问题$\operatorname {min}_X\|Y-X\|_F^2/2+λ\|X\|_*$,其中$\|X\|_*$表示核范数(奇异值之和)。对于矩阵,这类似于向量情况下的$\ell_1$惩罚。根据经验观察到,如果$X_0$具有低秩,则可以从噪声测量$Y$中相当准确地恢复它。在比例增长框架中,秩$r_n$,行数$m_n$和列数$n$都倾向于$\infty$成比例地彼此($r_n/m_n\rightarrow ρ$,$m_n/n\rightarrow β$),我们评估渐近极小极大MSE $\mathcal {M}(ρ,β)=\lim_{m_n,n\rightarrow \infty}\inf_λ\sup_{\operatorname {rank}(X)\leq r_n}\operatorname {MSE}(X_0,\hat{X}_λ)$。我们的公式包括四分之一和半圆定律($β=1$,正方形情况)和Marčenko-Pastur定律($β<1$,非正方形情况)的不完全矩。对于有限的$m$和$n$,我们表明,MSE增加的非零奇异值的$X_0$增长较大。结果,当信号$X_0$ "无限强"时,可实现有限$n$最坏情况MSE,这是一个可数…
2014-11-04 math.ST stat.TH
Confidence Region of Singular Subspaces for Low-rank Matrix Regression
低秩矩阵回归是指基于专门设计的测量和相应的噪声结果恢复低秩矩阵的实例。在过去的十年中,许多统计方法已经开发出有效地恢复未知的低秩矩阵。然而,在某些应用中,未知奇异子空间比低秩矩阵本身更重要。在这篇文章中,我们回顾了低秩矩阵回归模型,并介绍了一个两步的过程来构建奇异子空间的置信区域。该过程涉及到典型的低秩估计的去偏,然后我们计算经验奇异向量。研究了经验奇异子空间与未知真奇异子空间之间的联合投影距离的分布。我们具体证明了当$r^{3/2}(m_1+m_2)^{3/2}=o(n/\log n)$,其中$m_1, m_2$表示矩阵的行和列的大小,$r$是秩和$n$是独立的随机测量的数量的联合投影距离与数据相关的中心和归一化的渐近正态性。因此,我们提出了数据依赖的真奇异子空间的置信区域,它渐近地达到任何预定的置信水平。此外,还建立了非渐近的收敛速度。数值结果证明了我们的方法的优点。
2019-01-23 cs.IT math.IT math.ST
Optimal Estimation of Shared Singular Subspaces across Multiple Noisy Matrices
Duke University(杜克大学);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Broad Institute of MIT and Harvard(麻省理工学院和哈佛布莱根妇女医院及麻省总医院博德研究所)
研究聚焦低秩矩阵去噪框架下多个矩阵共享奇异子空间的估计问题,指出 Stack-SVD 在奇异子空间相同时有最优性,部分共享时有限制,进而提出新估计器和算法,证明其在部分共享下达极小极大率最优,模拟和应用验证了优势。
2026-07-14 math.ST stat.ME stat.ML
High dimensional deformed rectangular matrices with applications in matrix denoising
我们考虑恢复一个低秩的$M \times N$矩阵$S$从它的噪声观测$\tilde{S}$在两个不同的制度。在$M$与$N$相当的假设下,我们提出了$S$的两个一致估计.我们的分析依赖于有限秩扰动的高维矩形矩阵的局部行为。我们还得到了这类矩阵的奇异值和向量的收敛极限和收敛速度。
2019-04-23 math.ST stat.TH
Leave-one-out Singular Subspace Perturbation Analysis for Spectral Clustering
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
本文提出留一奇异子空间扰动理论,建立新的扰动上界,并据此对混合模型下谱聚类进行逐元素分析,在更弱信噪比条件下得到亚高斯混合模型的最优显式指数误差率。
2024-01-14 cs.LG math.SP math.ST
Normal Approximation and Confidence Region of Singular Subspaces
本文研究噪声矩阵具有独立同分布时奇异子空间的正规逼近问题。条目我们的贡献是三方面的。首先,我们推导出经验谱投影的一个显式表示公式。该公式是整洁的,并保持确定性矩阵扰动。其次,我们计算了经验奇异子空间与真奇异子空间之间的期望投影距离。我们的方法允许获得任意的$k$ -th阶近似的预期投影距离。第三,我们证明了投影距离的非渐近正态近似与不同程度的偏差校正。通过$\lceil \log(d_1+d_2)\rceil$阶偏差校正,在最佳信噪比(SNR)条件下渐近正态性成立,其中$d_1$和$d_2$表示矩阵大小。此外,它表明,高阶近似是不必要的,当$|d_1-d_2|=O((d_1+d_2)^{1/2})$。最后,我们提供了全面的模拟结果,值得我们的理论发现。与现有的结果不同,我们的方法是非渐近的,并建立了收敛速度。我们的方法允许秩$r$像$o((d_1+d_2)^{1/3})$一样快地发散。此外,我们的方法不需要本征间隙条件(除了SNR)和$d_1$和$d_2$之间没有约束。
2019-07-26 cs.IT math.IT math.ST
Singular Subspace Perturbation Bounds via Rectangular Random Matrix Diffusions
针对受高斯噪声扰动的矩阵,本文将奇异向量扰动视为 Dyson-Bessel 扩散过程,利用随机微积分推导出前 k 个奇异子空间 Frobenius 距离的新界限,将先前结果改进了 $\frac{\sqrt{m}}{\sqrt{d}} \sqrt{k}$ 倍。
2024-06-04 cs.DS cs.NA math.NA
Matrix Denoising with Doubly Heteroscedastic Noise: Fundamental Limits and Optimal Spectral Methods
Institute of Science and Technology Austria(奥地利科学技术研究所)
本文研究行、列均相关的双重异方差噪声矩阵去噪,刻画精确渐近MMSE并提出具最优性保证的新型谱估计器。
2024-10-28 cs.IT cs.LG math.IT
Perturbation expansions of signal subspaces for long signals
Saint Petersburg State University(圣彼得堡国立大学)
针对奇异谱分析等子空间方法,通过正交投影的扰动展开分析信号子空间的主角度,推导上界并研究时间序列长度趋于无穷时的收敛性、收敛速率及邻近主项。
2010-06-15 cs.NA math.NA math.ST
Uniform error bound for PCA matrix denoising
本文研究 PCA 在矩阵去噪中的有效性,在低秩与谱间隙假设下证明去噪数据与干净数据间距离被 $O(σ\log n)$ 均匀界定且速率最优,并探讨其对聚类等下游应用的影响。
2024-08-28 math.ST stat.ME stat.TH
Limit results for distributed estimation of invariant subspaces in multiple networks inference and PCA
Johns Hopkins University(约翰斯·霍普金斯大学);North Carolina State University(北卡罗来纳州立大学)
本文提出了一种分布式估计方法,用于多个网络推断和PCA中的不变子空间估计,并推导了其极限结果,包括误差展开和渐近正态近似。
2026-08-27 math.ST stat.TH
Adaptive Denoising of Signals with Local Shift-Invariant Structure
我们讨论的问题,自适应离散时间信号去噪的情况下,要恢复的信号承认一个“线性预言”-一个未知的线性估计,采取卷积的形式与时不变滤波器的观察。Juditsky和Nemirovski(2009)指出,当预言滤波器的$\ell_2$范数足够小时,这种预言可以通过具有观测驱动滤波器的相同结构的有效可计算自适应估计来“模仿”。所讨论的滤波器被获得作为最优化问题的解,其中在对滤波器DFT的$\ell_1$ -范数的约束下,估计残差的离散傅里叶变换(DFT)的$\ell_\infty$-范数被最小化。在本文中,我们讨论了一个新的家庭的自适应估计依赖于最小化的$\ell_2$ -范数的估计残差。我们发现,这样的估计具有更好的统计特性比那些基于$\ell_\infty$ -适合,特别是,我们证明甲骨文不等式的$\ell_2$ -损失和改进的界限$\ell_2$ -和逐点损失。预言不等式依赖于“近似平移不变性”假设,该假设表明要恢复的信号接近于(未知的)平移不变子空间。我们还研究了近似移不变性假设与Juditsky和Nemirovski(2009)中引入的“信号简单性”假设之间的关系,并讨论了所提出的方法在谐波振荡去噪中的应用。
2021-02-12 math.ST stat.ML stat.TH
A Cross Validation Framework for Signal Denoising with Applications to Trend Filtering, Dyadic CART and Beyond
本研究构建了通用的信号去噪交叉验证框架,将其应用于趋势滤波、Dyadic CART等方法,证明其交叉验证版本收敛速率接近最优调参版本,还拓展至高维回归lasso、矩阵估计奇异值阈值法,填补了相关理论空白。
2023-05-03 math.ST stat.ML stat.TH