LoDAdaC: a unified local training-based decentralized framework with adaptive gradients and compressed communication
LoDAdaC: 一种基于局部训练的统一去中心化框架,具有自适应梯度和压缩通信
机构 * Rensselaer Polytechnic Institute(伦斯勒理工学院) ; IBM T. J. Watson Research Center(IBM T. J. Watson 研究中心) ; MIT-IBM Watson AI Lab, IBM Research(MIT-IBM Watson AI 实验室,IBM 研究院)
专题命中 效率与部署 :language model(abstract);分类 cs.LG
AI总结 LoDAdaC通过结合自适应梯度和压缩通信,在去中心化学习中实现通信成本的大幅降低和快速收敛,实验验证其在图像分类和语言模型训练中的优越性能。
Comments Accepted by TMLR