SparseGPT 的更紧复杂度分析
A Tighter Complexity Analysis of SparseGPT
AI总结：
本文通过分析迭代维护问题中的惰性更新行为，将 SparseGPT 的运行时间从 $O(d^{3})$ 改进到 $O(d^{2.53})$，给出了更紧的复杂度上界。
摘要：
在这项工作中，我们将 SparseGPT [Frantar, Alistarh ICML 2023] 的运行时间分析从 $O(d^{3})$ 改进为 $O(d^ω + d^{2+a+o(1)} + d^{1+ω(1,1,a)-a})$，其中 $a \in [0, 1]$，$ω$ 是矩阵乘法的指数。特别地，对于当前的 $ω\approx 2.371$ [Alman, Duan, Williams, Xu, Xu, Zhou 2024]，我们的运行时间简化为 $O(d^{2.53})$。这一运行时间结果源于对迭代维护问题中惰性更新行为的分析，例如 [Deng, Song, Weinstein 2022; Brand, Song, Zhou ICML 2024] 中的问题。
英文摘要：
In this work, we improved the analysis of the running time of SparseGPT [Frantar, Alistarh ICML 2023] from $O(d^{3})$ to $O(d^ω + d^{2+a+o(1)} + d^{1+ω(1,1,a)-a})$ for any $a \in [0, 1]$, where $ω$ is the exponent of matrix multiplication. In particular, for the current $ω\approx 2.371$ [Alman, Duan, Williams, Xu, Xu, Zhou 2024], our running time boils down to $O(d^{2.53})$. This running time is due to the analysis of the lazy update behavior in iterative maintenance problems such as [Deng, Song, Weinstein 2022; Brand, Song, Zhou ICML 2024].
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
