arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.08771cs.LGmath.OC
收藏

联邦环境下低秩矩阵分解的深入分析

In-depth Analysis of Low-rank Matrix Factorisation in a Federated Setting

Constantin Philippenko, Kevin Scaman, Laurent Massoulié

AI总结:

本文分析联邦环境下低秩矩阵分解的分布式算法,通过幂初始化将非凸问题转化为强凸问题并用并行 Nesterov 梯度下降求解,给出了仅依赖奇异值比值的更快线性收敛速率和重构误差上界。

摘要:

我们分析了一种在 N 个客户端上计算低秩矩阵分解的分布式算法,每个客户端持有一个本地数据集 $\mathbf{S}^i \in \mathbb{R}^{n_i \times d}$,数学上,我们寻求求解 $min_{\mathbf{U}^i \in \mathbb{R}^{n_i\times r}, \mathbf{V}\in \mathbb{R}^{d \times r} } \frac{1}{2} \sum_{i=1}^N \\|\mathbf{S}^i - \mathbf{U}^i \mathbf{V}^\top\\|^2_{\text{F}}$。考虑对 $\mathbf{V}$ 进行幂初始化,我们将前述光滑非凸问题改写为一个光滑强凸问题,并使用并行 Nesterov 梯度下降法求解,该过程可能只需要在初始化阶段进行一次通信。对于任意客户端 $i \in \{1, \dots, N\}$,我们获得一个对所有客户端公共的全局 $\mathbf{V} \in \mathbb{R}^{d \times r}$ 以及一个局部变量 $\mathbf{U}^i \in \mathbb{R}^{n_i \times r}$。我们给出了超额损失的线性收敛速率,该速率依赖于 $σ_{\max} / σ_{r}$,其中 $σ_{r}$ 是矩阵 $(\mathbf{S}^i)_{i=1}^N$ 拼接而成的 $\mathbf{S}$ 的第 $r$ 个奇异值。这一结果改进了文献中给出的依赖于 $σ_{\max}^2 / σ_{\min}^2$ 的收敛速率。我们给出了在幂初始化策略下重构的 Frobenius 范数误差的上界。我们通过在合成数据和真实数据上的实验完成了分析。

英文摘要:

We analyze a distributed algorithm to compute a low-rank matrix factorization on $N$ clients, each holding a local dataset $\mathbf{S}^i \in \mathbb{R}^{n_i \times d}$, mathematically, we seek to solve $min_{\mathbf{U}^i \in \mathbb{R}^{n_i\times r}, \mathbf{V}\in \mathbb{R}^{d \times r} } \frac{1}{2} \sum_{i=1}^N \|\mathbf{S}^i - \mathbf{U}^i \mathbf{V}^\top\|^2_{\text{F}}$. Considering a power initialization of $\mathbf{V}$, we rewrite the previous smooth non-convex problem into a smooth strongly-convex problem that we solve using a parallel Nesterov gradient descent potentially requiring a single step of communication at the initialization step. For any client $i$ in $\{1, \dots, N\}$, we obtain a global $\mathbf{V}$ in $\mathbb{R}^{d \times r}$ common to all clients and a local variable $\mathbf{U}^i$ in $\mathbb{R}^{n_i \times r}$. We provide a linear rate of convergence of the excess loss which depends on $σ_{\max} / σ_{r}$, where $σ_{r}$ is the $r^{\mathrm{th}}$ singular value of the concatenation $\mathbf{S}$ of the matrices $(\mathbf{S}^i)_{i=1}^N$. This result improves the rates of convergence given in the literature, which depend on $σ_{\max}^2 / σ_{\min}^2$. We provide an upper bound on the Frobenius-norm error of reconstruction under the power initialization strategy. We complete our analysis with experiments on both synthetic and real data.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑