发表机构
New York University Shanghai; New York University; Flatiron Institute（纽约大学上海分校; 纽约大学; 平顿研究所）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文提出 Hutch# 算法，通过两个独立高斯矩阵的非自适应矩阵-向量乘积，以最优查询复杂度实现 Frobenius 范数的 $(1\pm\varepsilon)$ 近似，兼具简单性与最优性。
AI 中文摘要
Girard--Hutchinson 估计器提供了一种极其简单的随机化估计矩阵 $A$ 的 Frobenius 范数的方法，该矩阵只能通过矩阵-向量乘积隐式访问。特别地，如果 $Ω$ 是一个具有 $r = O(1/\varepsilon^2)$ 列的随机高斯矩阵，那么 $\frac{1}{r}\\|AΩ\\|_F^2$ 以高概率提供 $\\|A\\|_F^2$ 的 $(1\pm \varepsilon)$ 乘法近似。在本工作中，我们引入了一个密切相关的估计器，由 \begin{align*} {\frac{1}{r}\\|AΩ\\|_F^2 + \frac{1}{r}\\|Ψ^T A\\|_F^2 - \frac{1}{r^2}\\|Ψ^T AΩ\\|_F^2} \end{align*} 给出，其中 $Ψ$ 是第二个独立的随机高斯矩阵，具有 $r$ 列。我们证明该估计器在 $r = O(1/\varepsilon)$ 时提供 $\\|A\\|_F^2$ 的 $(1\pm\varepsilon)$ 乘法近似，这是对 Girard--Hutchinson 的二次改进。对 $\varepsilon$ 的这种依赖是最优的。我们的方法称为 Hutch#（发音为“Hutch sharp”），与 Hutch++ 算法 [Meyer, Musco, Musco, Woodruff, 2021] 的复杂度相匹配。然而，与 Hutch++ 不同，Hutch# 仅使用与 $A$ 和 $A^T$ 的\textit{非自适应}矩阵-向量乘积，并且不需要正交化或其他自适应线性代数步骤。因此，Hutch# 结合了 Girard--Hutchinson 估计器的简单性和 Hutch++ 的最优查询复杂度。
英文摘要
The Girard--Hutchinson estimator provides an extremely simple randomized estimate of the Frobenius norm of a matrix $A$ that can only be accessed implicitly via matrix-vector products. In particular, if $Ω$ is a random Gaussian matrix with $r = O(1/\varepsilon^2)$ columns, than $\frac{1}{r}\|AΩ\|_F^2$ provides a $(1\pm \varepsilon)$ multiplicative approximation to $\|A\|_F^2$ with high probability. In this work, we introduce a closely related estimator, given by \begin{align*} {\frac{1}{r}\|AΩ\|_F^2 + \frac{1}{r}\|Ψ^T A\|_F^2 - \frac{1}{r^2}\|Ψ^T AΩ\|_F^2}, \end{align*} where $Ψ$ is a second, independent random Gaussian matrix with $r$ columns. We prove that this estimator yields a $(1\pm\varepsilon)$ multiplicative approximation to $\|A\|_F^2$ when $r = O(1/\varepsilon)$, a quadratic improvement over Girard--Hutchinson. This dependence on $\varepsilon$ is optimal. Our method, which we call Hutch# (pronounced ``Hutch sharp''), matches the complexity of the Hutch++ algorithm [Meyer, Musco, Musco, Woodruff, 2021]. However, unlike Hutch++, Hutch# uses only \textit{non-adaptive} matrix-vector products with $A$ and $A^T$ and requires no orthogonalization or other advanced linear algebra steps. Thus, Hutch# combines the simplicity of the Girard--Hutchinson estimator and the optimal query complexity of Hutch++.
