改进的稀疏恢复用于近似矩阵乘法
Improved Sparse Recovery for Approximate Matrix Multiplication
AI总结:
该研究提出了一种改进的随机算法,用于近似矩阵乘法,通过伪随机旋转技术实现更快的计算速度和更优的误差控制。
摘要:
我们提出了一种简单的随机算法用于近似矩阵乘法(AMM),其误差与输出范数‖AB‖_F成比例。给定任何n×n矩阵A、B和一个运行时间参数r≤n,该算法在O(n²(r+logn))时间内产生一个矩阵C,其总平方误差E[‖C-AB‖_F²]≤(1−r/n)‖AB‖_F²,每项方差‖AB‖_F²/n²以及偏置E[C]=r/n AB。或者,该算法可以计算一个无偏估计,预期总平方误差为n/r ‖AB‖_F²,恢复了Pagh的TensorSketch算法(Pagh, 2013)所获得的最先进AMM误差。我们的算法运行速度比该算法快一个对数因子。该算法的关键见解是一种新的伪随机旋转输入矩阵(快速Hadamard变换带有不对称对角缩放)的变种,该变换将输出AB的Frobenius范数均匀分布在其条目中。
英文摘要:
We present a simple randomized algorithm for approximate matrix multiplication (AMM) whose error scales with the *output* norm $\|AB\|_F$. Given any $n\times n$ matrices $A,B$ and a runtime parameter $r\leq n$, the algorithm produces in $O(n^2(r+\log n))$ time, a matrix $C$ with total squared error $\mathbb{E}[\|C-AB\|_F^2]\le (1-\frac{r}{n})\|AB\|_F^2$, per-entry variance $\|AB\|_F^2/n^2$ and bias $\mathbb{E}[C]=\frac{r}{n}AB$. Alternatively, the algorithm can compute an *unbiased* estimation with expected total squared error $\frac{n}{r}\|{AB}\|_{F}^2$, recovering the state-of-art AMM error obtained by Pagh's TensorSketch algorithm (Pagh, 2013). Our algorithm is a log-factor faster. The key insight in the algorithm is a new variation of pseudo-random rotation of the input matrices (a Fast Hadamard Transform with asymmetric diagonal scaling), which redistributes the Frobenius norm of the *output* $AB$ uniformly across its entries.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。