自适应矩阵稀疏化及其在经验风险最小化中的应用
Adaptive Matrix Sparsification and Applications to Empirical Risk Minimization
AI总结：
本文提出了一种自适应矩阵稀疏化算法，用于在经验风险最小化中实现高精度求解。
摘要：
考虑经验风险最小化（ERM）问题，其表述如下。令 $K_1, \dots, K_m$ 为紧凸集，其中 $K_i \subseteq \mathbb{R}^{n_i}$ 对于 $i \in [m]$，$n = \sum_{i=1}^m n_i$，且 $n_i \le C_K$ 对于某个绝对常数 $C_K$。同时考虑一个矩阵 $A \in \mathbb{R}^{n \times d}$ 和向量 $b \in \mathbb{R}^d$ 和 $c \in \mathbb{R}^n$。则 ERM 问题要求找到 \[ \min_{\substack{x \in K_1 \times \dots \times K_m\\ A^\top x = b}} c^\top x. \] 我们给出了一个算法，能够在时间 $\widetilde{O}(nd + d^6\sqrt{n}) \le \widetilde{O} (nd + d^{11})$ 内以高精度解决该问题，当 $A$ 是密集矩阵且 $n \ge d^{10}$ 时，该时间接近于输入规模的线性时间。我们的结果是通过高效实现一个 $\widetilde{O}(\sqrt{n})$ 次迭代的内部点方法（IPM）来实现的，利用动态数据结构。在此方向上，我们的关键技术进展是新的算法，用于维护在行更新过程中矩阵的杠杆分数上界。形式上，给定一个经历 $T$ 批次行更新的矩阵 $A \in \mathbb{R}^{n \times d}$，总行更新大小为 $n$，我们给出一个算法，能够在总时间 $\widetilde{O}(nd + Td^6)$ 内维护行的杠杆分数上界，总和为 $\widetilde{O}(d)$。该数据结构用于在稳健的 IPM 框架中采样一个谱稀疏化，以建立主要结果。
英文摘要：
Consider the empirical risk minimization (ERM) problem, which is stated as follows. Let $K_1, \dots, K_m$ be compact convex sets with $K_i \subseteq \mathbb{R}^{n_i}$ for $i \in [m]$, $n = \sum_{i=1}^m n_i$, and $n_i\le C_K$ for some absolute constant $C_K$. Also, consider a matrix $A \in \mathbb{R}^{n \times d}$ and vectors $b \in \mathbb{R}^d$ and $c \in \mathbb{R}^n$. Then the ERM problem asks to find \[ \min_{\substack{x \in K_1 \times \dots \times K_m\\ A^\top x = b}} c^\top x. \] We give an algorithm to solve this to high accuracy in time $\widetilde{O}(nd + d^6\sqrt{n}) \le \widetilde{O} (nd + d^{11})$, which is nearly-linear time in the input size when $A$ is dense and $n \ge d^{10}$. Our result is achieved by implementing an $\widetilde{O}(\sqrt{n})$-iteration interior point method (IPM) efficiently using dynamic data structures. In this direction, our key technical advance is a new algorithm for maintaining leverage score overestimates of matrices undergoing row updates. Formally, given a matrix $A \in \mathbb{R}^{n \times d}$ undergoing $T$ batches of row updates of total size $n$ we give an algorithm which can maintain leverage score overestimates of the rows of $A$ summing to $\widetilde{O}(d)$ in total time $\widetilde{O}(nd + Td^6)$. This data structure is used to sample a spectral sparsifier within a robust IPM framework to establish the main result.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
