亚二次克罗内克回归及其在张量分解中的应用
Subquadratic Kronecker Regression with Applications to Tensor Decomposition
AI总结：
本文提出首个亚二次时间算法求解克罗内克回归的(1+ε)近似，结合杠杆分数采样与迭代方法，并扩展至块设计矩阵，改进Tucker ALS所有步骤的运行时间，在合成数据和真实图像张量上验证了速度与精度。
摘要：
克罗内克回归是一个高度结构化的最小二乘问题 $\min_{\mathbf{x}} \lVert \mathbf{K}\mathbf{x} - \mathbf{b} \rVert_{2}^2$，其中设计矩阵 $\mathbf{K} = \mathbf{A}^{(1)} \otimes \cdots \otimes \mathbf{A}^{(N)}$ 是因子矩阵的克罗内克积。该回归问题出现在广泛使用的交替最小二乘（ALS）算法计算张量Tucker分解的每一步中。我们提出了首个亚二次时间算法，用于求解克罗内克回归的 $(1+\varepsilon)$ 近似，该算法避免了运行时间中的指数项 $O(\varepsilon^{-N})$。我们的技术结合了杠杆分数采样和迭代方法。通过将我们的方法扩展到块设计矩阵（其中一个块是克罗内克积），我们还实现了亚二次时间算法，用于（1）克罗内克岭回归和（2）在ALS中更新Tucker分解的因子矩阵，后者并非纯粹的克罗内克回归问题，从而改进了Tucker ALS所有步骤的运行时间。我们在合成数据和真实世界图像张量上展示了该克罗内克回归算法的速度和准确性。
英文摘要：
Kronecker regression is a highly-structured least squares problem $\min_{\mathbf{x}} \lVert \mathbf{K}\mathbf{x} - \mathbf{b} \rVert_{2}^2$, where the design matrix $\mathbf{K} = \mathbf{A}^{(1)} \otimes \cdots \otimes \mathbf{A}^{(N)}$ is a Kronecker product of factor matrices. This regression problem arises in each step of the widely-used alternating least squares (ALS) algorithm for computing the Tucker decomposition of a tensor. We present the first subquadratic-time algorithm for solving Kronecker regression to a $(1+\varepsilon)$-approximation that avoids the exponential term $O(\varepsilon^{-N})$ in the running time. Our techniques combine leverage score sampling and iterative methods. By extending our approach to block-design matrices where one block is a Kronecker product, we also achieve subquadratic-time algorithms for (1) Kronecker ridge regression and (2) updating the factor matrices of a Tucker decomposition in ALS, which is not a pure Kronecker regression problem, thereby improving the running time of all steps of Tucker ALS. We demonstrate the speed and accuracy of this Kronecker regression algorithm on synthetic data and real-world image tensors.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
