分布式基于核的鲁棒梯度下降算法的泛化分析
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
浏览论文内容
中文总结 AI 辅助
本文针对分布式核鲁棒梯度下降算法，通过谱特征与误差分析优化参数选择，放宽机器数量限制并保持最优学习率，同时提出通信高效策略提升收敛性能。
中文摘要 AI 辅助
本文在再生核希尔伯特空间中，在鲁棒损失函数 $l_{\sigma}$ 下研究了分布式梯度下降算法的泛化性能。通过利用梯度下降的谱特征以及鲁棒损失函数的内在性质，我们为具有适当选择的尺度参数 $\sigma$ 的分布式基于核的鲁棒梯度下降（DKRGD）算法建立了最优学习率。所提出的 $\sigma$ 参数选择同时缓解了饱和现象并保证了统计鲁棒性。一个关键的技术贡献是一种新颖的误差分析，它为算子乘积提供了大幅更尖锐的界，从而显著放宽了现有对局部机器最大数量的限制，同时保持最优学习率。最后，我们开发了一种通信高效的策略，进一步提高了DKRGD的收敛性能。
英文摘要
In this paper, we investigate the generalization performance of distributed gradient descent algorithms in a reproducing kernel Hilbert space under a robust loss function $l_σ$. By exploiting the spectral characterization of gradient descent together with the intrinsic properties of robust loss functions, we establish optimal learning rates for the distributed kernel-based robust gradient descent (DKRGD) algorithm with an appropriately chosen scale parameter $σ$. The proposed parameter choice of $σ$ simultaneously alleviates the saturation phenomenon and guarantees statistical robustness. A key technical contribution is a novel error analysis that provides substantially sharper bounds for products of operators, thereby significantly relaxing existing restrictions on the maximum number of local machines while retaining optimal learning rates. Finally, we develop a communication-efficient strategy that further improves the convergence performance of DKRGD.
发表机构
- Zhejiang University（浙江大学）
- Huazhong Agricultural University（华中农业大学）
机构由 AI 辅助整理，请以论文原文为准。
