Krylov 方法对于低秩近似是(近乎)最优的
Krylov Methods are (nearly) Optimal for Low-Rank Approximation
AI总结:
研究矩阵-向量乘积模型下多种Schatten范数的秩1低秩近似问题,证明Krylov方法在谱、Frobenius和核范数下达到信息论最优乘积次数,并给出匹配的上下界。
摘要:
我们考虑在矩阵-向量乘积模型下,各种 Schatten 范数中的秩 $1$ 低秩近似(LRA)问题:$$ \min_{\\|u\\|_2=1} \\|A (I - u u^\top)\\|_{\mathcal{S}_p} , $$ 其中 $\\|M\\|_{\mathcal{S}_p}$ 表示 $M$ 的奇异值的 $\ell_p$ 范数。给定 $\varepsilon>0$,我们的目标是输出一个单位向量 $v$ 使得 $$ \\|A(I - vv^\top)\\|_{\mathcal{S}_p} \leq (1+\varepsilon) \min_{\\|u\\|_2=1}\\|A(I - u u^\top)\\|_{\mathcal{S}_p}. $$ 我们的主要结果表明,Krylov 方法(近乎)实现了谱($p=\infty$)、Frobenius($p=2$)和核($p=1$)LRA 的信息论最优的矩阵-向量乘积次数。特别地,对于谱 LRA,我们证明任何算法都需要 $\Omega\left(\log(n)/\varepsilon^{1/2}\right)$ 次矩阵-向量乘积,这恰好匹配了 Krylov 方法 [MM15, BCW22] 获得的上界。我们的下界解决了 [Woo14] 中的开放问题 1,为谱 LRA 算法缺乏进展提供了证据,并解决了 [BCW22] 中的开放问题 1.2。接下来,我们证明对于任何固定常数 $p$,即 $1\leq p =O(1)$,存在 $O\left(\log(1/\varepsilon)/\varepsilon^{1/3}\right)$ 次矩阵-向量乘积的上界,这意味着复杂度不随输入大小增长。这改进了 [BCW22] 中最近获得的 $O\left(\log(n/\varepsilon)/\varepsilon^{1/3}\right)$ 界,并在 $\log(1/\varepsilon)$ 因子上匹配了他们的 $\Omega\left(1/\varepsilon^{1/3}\right)$ 下界。
英文摘要:
We consider the problem of rank-$1$ low-rank approximation (LRA) in the matrix-vector product model under various Schatten norms: $$ \min_{\|u\|_2=1} \|A (I - u u^\top)\|_{\mathcal{S}_p} , $$ where $\|M\|_{\mathcal{S}_p}$ denotes the $\ell_p$ norm of the singular values of $M$. Given $\varepsilon>0$, our goal is to output a unit vector $v$ such that $$ \|A(I - vv^\top)\|_{\mathcal{S}_p} \leq (1+\varepsilon) \min_{\|u\|_2=1}\|A(I - u u^\top)\|_{\mathcal{S}_p}. $$ Our main result shows that Krylov methods (nearly) achieve the information-theoretically optimal number of matrix-vector products for Spectral ($p=\infty$), Frobenius ($p=2$) and Nuclear ($p=1$) LRA. In particular, for Spectral LRA, we show that any algorithm requires $Ω\left(\log(n)/\varepsilon^{1/2}\right)$ matrix-vector products, exactly matching the upper bound obtained by Krylov methods [MM15, BCW22]. Our lower bound addresses Open Question 1 in [Woo14], providing evidence for the lack of progress on algorithms for Spectral LRA and resolves Open Question 1.2 in [BCW22]. Next, we show that for any fixed constant $p$, i.e. $1\leq p =O(1)$, there is an upper bound of $O\left(\log(1/\varepsilon)/\varepsilon^{1/3}\right)$ matrix-vector products, implying that the complexity does not grow as a function of input size. This improves the $O\left(\log(n/\varepsilon)/\varepsilon^{1/3}\right)$ bound recently obtained in [BCW22], and matches their $Ω\left(1/\varepsilon^{1/3}\right)$ lower bound, to a $\log(1/\varepsilon)$ factor.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。