PLADOS：一种用于Stiefel流形上分散优化的无参数着陆算法
PLADOS: A Parameter-free Landing Algorithm for Decentralized Optimization on the Stiefel Manifold
查看机构详情
- Qiuzhen College Yau Mathematical Sciences Center Tsinghua University（清华大学丘成桐数学科学中心）
- Tsinghua University（清华大学）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
PLADOS提出一种无参数着陆算法，解决Stiefel流形上的分散优化，通过无回缩通信实现线性加速，理论证明收敛率并实验验证稳定性与效率。
中文摘要 AI 辅助
Stiefel流形上的分散优化在机器学习和信号处理中具有广泛应用。我们提出了PLADOS，一种用于Stiefel流形上分散优化的无参数着陆算法。每次迭代将局部随机梯度更新与通信图上的单次无回缩通信步骤相结合。通过仅惩罚方案的受限割线不等式，刻画了非凸Stiefel流形与一致性约束交集的一个关键类凸性质，确保流形一致性误差的局部收缩，而无需引入需要调优的额外参数。对于使用大小为b的独立局部批次的n个节点，我们证明PLADOS在K次迭代后实现了关于节点数的线性加速，渐近收敛率为O(σ/√(nbK)+(nξ²)^{1/3}/K^{2/3})，其中σ²>0是采样方差，ξ²量化梯度异质性。实验证明了在测试步长和网络上的稳定性、时间效率以及关于节点数的线性加速。
英文摘要
Decentralized optimization on the Stiefel manifold has broad applications in machine learning and signal processing. We propose PLADOS, a parameter-free landing algorithm for decentralized optimization on the Stiefel manifold. Each iteration combines local stochastic gradient updates with a single retraction-free communication step over the communication graph. A key convex-like property of the intersection of the nonconvex Stiefel manifold and consensus constraints is characterized through a restricted secant inequality for the penalty-only scheme, ensuring local contraction of the manifold consensus error without introducing additional parameters that require tuning. For $n$ nodes using independent local batches of size $b$, we prove that PLADOS achieves linear speedup with respect to the number of nodes with an asymptotic convergence rate of $O(σ/\sqrt{nbK}+(nξ^2)^{1/3}/K^{2/3})$ after $K$ iterations, where $σ^2>0$ is the sampling variance and $ξ^2$ quantifies gradient heterogeneity. Experiments demonstrate stability across tested stepsizes and networks, time efficiency, and linear speedup with respect to the number of nodes.
