利用部分集合操作驯服深度学习中的不平衡训练负载
Taming Unbalanced Training Workloads in Deep Learning with Partial Collective Operations
AI总结：
针对分布式深度学习训练中的负载不平衡问题，本文提出 eager-SGD，利用 solo 和 majority 两种部分集合操作实现去中心化梯度累积，在不损失精度的情况下取得 1.27 倍加速。
摘要：
负载不平衡在分布式深度学习训练系统中普遍存在，其原因既可能来自学习任务本身固有的不平衡，也可能来自系统本身。传统的同步随机梯度下降（SGD）在多种任务上都能取得良好精度，但它在每个训练步都依赖全局同步来累积梯度。本文提出 eager-SGD，通过放宽全局同步来实现去中心化的梯度累积。为实现 eager-SGD，我们提出使用两种部分集合操作：solo 和 majority。使用 solo allreduce 时，较快的进程可以急切地贡献自己的梯度而无需等待较慢的进程；而使用 majority allreduce 时，至少一半的参与者必须先贡献梯度才能继续，整个过程不使用中心参数服务器。我们从理论上证明了算法的收敛性，并详细描述了这些部分集合操作。在负载不平衡环境（CIFAR-10、ImageNet 和 UCF101 数据集）上的实验结果表明，eager-SGD 在不损失精度的情况下，相比最先进的同步 SGD 实现了 1.27 倍的加速。
英文摘要：
Load imbalance pervasively exists in distributed deep learning training systems, either caused by the inherent imbalance in learned tasks or by the system itself. Traditional synchronous Stochastic Gradient Descent (SGD) achieves good accuracy for a wide variety of tasks, but relies on global synchronization to accumulate the gradients at every training step. In this paper, we propose eager-SGD, which relaxes the global synchronization for decentralized accumulation. To implement eager-SGD, we propose to use two partial collectives: solo and majority. With solo allreduce, the faster processes contribute their gradients eagerly without waiting for the slower processes, whereas with majority allreduce, at least half of the participants must contribute gradients before continuing, all without using a central parameter server. We theoretically prove the convergence of the algorithms and describe the partial collectives in detail. Experimental results on load-imbalanced environments (CIFAR-10, ImageNet, and UCF101 datasets) show that eager-SGD achieves 1.27x speedup over the state-of-the-art synchronous SGD, without losing accuracy.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
