Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，机器学习取得了巨大的进步，模型在一系列专门任务上与人类相匹配，甚至超越人类。近年来机器学习进步背后的一个关键因素是在大规模分布式共享内存和消息传递环境中训练机器学习模型的能力。这些模型中的许多都是采用基于随机梯度下降（SGD）的优化的变体来训练的。在本文中，我们介绍了一个通用的一致性条件，涵盖通信减少和异步分布式SGD实现。我们的框架，称为弹性一致性，使我们能够获得收敛边界的各种分布式SGD方法在实践中使用的训练大规模机器学习模型。建议的框架去杂实现特定的收敛性分析，并提供了一个抽象的收敛范围。我们利用该框架来分析分布式SGD方法的稀疏化方案，在异步设置为凸和非凸目标。我们实现了分布式SGD变体，以在异步共享内存设置中训练深度CNN模型。实证结果表明，错误反馈可能不一定有助于提高稀疏异步分布式SGD的收敛性，这证实了我们的收敛性分析所提出的见解。
2020-06-28 cs.LG stat.ML
A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析学院）
本文针对分布式学习中的对抗性损坏问题，提出基于惰性镜像下降的抗损坏分布式梯度下降算法，并通过优化步长调度加速收敛，在MNIST实验中得到验证。
2025-02-05 cs.IT cs.LG eess.SP
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University（浙江大学）；Huazhong Agricultural University（华中农业大学）
本文针对分布式核鲁棒梯度下降算法，通过谱特征与误差分析优化参数选择，放宽机器数量限制并保持最优学习率，同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）
方差缩减（VR）方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降（SGD）的性能。然而，当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算（使用整个数据集）。这限制了VR方法在实际分布式环境中的使用。在本文中，我们提出了一种方差降低方法，称为VR-lite，不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种，可扩展的，保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法，并发现我们提出的算法表现良好，其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
针对分布式机器学习等应用中通信量大的问题，提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同，本文引入了一种通信删失技术来减少变量的传输，这导致了我们的通信删失分布式随机梯度下降（CSGD）算法。具体来说，在CSGD中，当且仅当它是足够信息时，在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时，旧的渐变将在服务器上重用。为了实现这种通信审查策略，批量大小增加，以减轻随机梯度噪声的影响。从理论上讲，CSGD具有与SGD相同的收敛速度，但有效地减少了通信量。数值实验表明，CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
Fast Distributed Coordinate Descent for Non-Strongly Convex Losses
School of Mathematics, University of Edinburgh, Edinburgh, EH9 3JZ, United Kingdom
提出了一种有效的分布式随机坐标下降法，用于极小化正则化非强凸损失函数。该方法获得最佳的$O(1/k^2)$收敛速度，其中$k$是迭代计数器。工作的核心是步长参数的理论研究。我们已经实现了Archer -在英国最大的超级计算机的方法，并表明该方法能够解决（合成）LASSO最优化问题与50亿个变量。
2014-07-27 cs.LG math.OC
Fast Convergence for Stochastic and Distributed Gradient Descent in the Interpolation Limit
Cold Spring Harbor Laboratory（冷泉港实验室）
现代监督学习技术，特别是使用深度网络的技术，涉及用包含大量参数的函数拟合高维标记数据集。这些工作大部分是经验性的。已经观察到需要理论解释的有趣现象;然而，损失函数的非凸性使分析复杂化。最近有人提出，这些技术的成功部分取决于简单的随机梯度下降算法在所谓的插值极限中的有效性，其中所有标签都完全适合。这种分析是可能的，因为SGD算法减少到一个随机线性系统附近的插值最小值的损失函数。在这里，我们利用这一洞察力，提出和分析一个新的分布式算法梯度下降，也在插值极限。本文提出的分布式SGD算法对应于梯度下降应用于一个简单的惩罚分布损失函数，$L({\bf w}_1,...,{\bf w}_n) = Σ_i l_i({\bf w}_i) + μ\sum_{<i,j>}|{\bf w}_i-{\bf w}_j|^2$。这里每个节点只保存一个样本和它自己的参数向量。符号$<i,j>$表示定义节点之间的链路的连通图的边。结果表明，该分布式算法线性收敛（即误差随迭代次数呈指数下降），收敛速率为$1-\fracη{n}λ_{min}(H)<R<1$，其中$λ_{min}(H)$是样本协方差的最小非零特征值或Hessian H.与以前使用类似的惩罚函数来强制节点之间的共识相比，在插值极限中，不需要将惩罚参数取到无穷大才能发生共识。该分析进一步加强了插值极限在现代机器学习算法的理论处理中的实用性。
2018-05-29 cs.LG stat.ML
Parallel Distributed Block Coordinate Descent Methods based on Pairwise Comparison Oracle
Nagoya Institute of Technology（名古屋工业大学）；Kanagawa University（神奈川大学）；Nagoya University（名古屋大学）
提出了一种求解无约束优化问题的块坐标下降算法。在我们的算法中，不需要计算函数值或梯度。相反，使用函数值的成对比较。我们的算法包括两个步骤，一个是方向估计步骤，另一个是搜索步骤。这两个步骤都只需要对函数值进行成对比较，这只告诉我们函数值在两个点上的顺序。在方向估计步骤中，估计牛顿型搜索方向。一种计算方法，如块坐标下降法与成对比较。在搜索步骤中，沿着所估计的方向更新数值解。方向估计步骤的计算可以很容易地并行化，因此，该算法可以有效地找到目标函数的最小值。此外，我们还证明了收敛速度的一个上界。在数值实验中，我们表明，我们的方法有效地找到最优解相比，一些现有的方法的基础上成对比较。
2014-09-13 cs.LG stat.ML
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
University of Liège（列日大学）
分布式异步SGD已被广泛用于大型系统中的深度学习，但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中，我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述，我们引入能量的概念来描述优化过程，并推导出一个充分条件，确保其稳定性，只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准，我们得到一个稳定的分布式异步优化程序，GEM，估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比，现有的计划，即使扩展到100个异步工人。结果还表明，更好的推广相比，有针对性的SGD动量。
2018-05-22 cs.DC cs.LG stat.ML
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性，但具有以下限制：首先，它们增加了解码复杂度。其次，它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度，因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里，我们介绍了一种混合的方法，称为编码的部分梯度计算（CPGC），从编码和未编码的计算方案的优点，并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
Distributed Coordinate Descent for Generalized Linear Models with Regularization
Yandex；NYU Langone Medical Center（纽约大学朗格尼医学中心）
基于$L_1$和$L_2$正则化的广义线性模型是解决分类、类概率估计和回归问题的一种广泛使用的技术。随着文本挖掘和点击流数据分析等领域的特征和示例数量的快速增长，并行化和集群体系结构的使用变得非常重要。提出了一种新的分布式环境下正则化广义线性模型的拟合算法。该算法根据特征在节点之间分割数据，在每个节点上使用坐标下降和线搜索来全局合并结果。提供了收敛性证明。算法的一个改进解决了慢节点问题。对于逻辑斯谛回归的一个重要的特定情况下，我们经验比较我们的程序与几个国家的最先进的方法，依赖于不同的算法和数据分解方法。实验表明，我们的方法是可扩展的，在大型和稀疏的数据集上训练时是优越的。
2017-06-26 cs.DC cs.LG stat.ML
Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
King’s College London（伦敦国王学院）
本文介绍了分布式Stein变分梯度下降（DSVGD），一个非参数广义贝叶斯推理框架的联邦学习。DSVGD在一个中央服务器上维护了一些非随机和相互作用的粒子，以表示模型全局后验的当前时间。粒子由其中一个代理迭代下载和更新，最终目标是最小化全局自由能。通过改变粒子的数量，DSVGD实现了每次迭代通信负载和通信轮数之间的灵活权衡。DSVGD被证明可以与基准频率论和贝叶斯联邦学习策略相媲美，在代理数量的准确性和可扩展性方面，也可以在每次迭代中调度单个设备，同时还可以提供经过良好校准的，因此值得信赖的预测。
2021-03-30 cs.IT cs.LG eess.SP
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）
随着数据量的增加和模型规模的扩大，分布式并行训练成为解决优化挑战的重要和成功的技术。然而，尽管分布式随机梯度下降（SGD）算法可以实现线性迭代加速，但它们在实践中受到通信成本的显著限制，使得难以实现线性时间加速。在本文中，我们提出了一个计算和通信解耦的随机梯度下降（CoCoD-SGD）算法，并行运行的计算和通信，以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比，该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进：在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时，CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
Adaptive Distributed Stochastic Gradient Descent for Minimizing Delay in the Presence of Stragglers
Rutgers University（罗格斯大学）；Indian Institute of Science（印度科学学院）；US Army Research Laboratory（美国陆军研究实验室）
针对分布式SGD中掉队者导致的延迟问题，本文提出自适应调整最快工作节点数量k的策略和算法，基于误差上界优化误差-运行时间权衡，并通过数值模拟验证了有效性。
2020-02-25 cs.LG stat.ML
CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation
National University of Defense Technology（国防科技大学）
通信开销是分布式训练的关键挑战。梯度压缩是一种广泛使用的减少通信流量的方法。梯度压缩技术与流水线等并行通信机制相结合，可以大大减轻通信开销的影响。然而，梯度压缩技术存在两个问题需要解决。首先，梯度压缩带来了额外的计算成本，这将延迟下一次训练迭代。其次，梯度压缩通常会导致收敛精度的下降。
2021-09-07 cs.DC cs.LG
Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates
AMS & MINDS（AMS与MINDS机构）；Johns Hopkins University（约翰斯·霍普金斯大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文针对分布式变分不等式问题提出统一框架，分析并设计了首个在异构数据上具有可证明改进通信复杂度的局部梯度下降-上升算法，在特化时能恢复现有最优算法的收敛保证。
2024-06-03 cs.LG math.OC stat.ML
Distributed Gradient Descent for Functional Learning
Hong Kong Baptist University（香港浸会大学）；University of Hong Kong（香港大学）；University of Sydney（悉尼大学）
本文提出分布式梯度下降函数型学习（DGDFL）算法，在再生核希尔伯特空间框架下处理大规模函数型数据，首次给出其理论理解，获得无饱和边界的最优学习速率，并引入半监督方法放宽机器数量限制，丰富了函数型数据分析方法。
2024-07-21 cs.LG stat.ML
GoSGD: Distributed Optimization for Deep Learning with Gossip Exchange
我们通过研究一种适应于随机梯度下降的分布式方法来解决加快卷积神经网络训练的问题。我们的并行优化设置使用多个线程，每个线程对局部变量应用单独的梯度下降。我们提出了一种新的方式，不同的线程之间共享信息的基础上八卦算法，表现出良好的共识收敛性能。我们称为GoSGD的方法具有完全异步和分散的优点。
2018-11-12 cs.LG stat.ML
Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach
Iowa State University（爱荷华州立大学）
在这项工作中，我们考虑分布式学习中基于随机梯度下降（SGD）的分布式算法的弹性与潜在的拜占庭攻击者，谁可以发送任意信息到参数服务器，以破坏训练过程。为此，我们提出了一个新的Lipschitz启发的坐标明智的中位数方法（LICM-SGD），以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者，同时在非凸设置中几乎肯定会收敛到一个固定区域。此外，我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息，这使得它对实际实现具有吸引力。此外，我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上，时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验，以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中，LICM-SGD还实现了更快的运行时间，这要归功于它的低计算时间复杂度。
2019-09-10 cs.DC cs.LG stat.ML
Distributed Byzantine Tolerant Stochastic Gradient Descent in the Era of Big Data
North Carolina State University（北卡罗来纳州立大学）；Wuhan University（武汉大学）
传感器技术和智能设备的最新进展使得能够从多个信息源协作收集大量数据。作为从大数据中有效提取有用信息的一种有前途的工具，机器学习已被推到最前沿，并在计算机视觉、医疗保健和金融市场分析等广泛的相关领域取得了巨大成功。为了适应大数据量的需求，分布式机器学习的设计受到了广泛的关注，其中随机梯度下降（SGD）是最常用的方法之一。尽管如此，分布式机器学习方法可能容易受到拜占庭攻击，其中对手可以故意共享伪造的信息以破坏预期的机器学习过程。因此，在这项工作中，提出了两个异步拜占庭容忍SGD算法，其中诚实的协作工作者被假定为存储来自他们自己的本地数据的模型参数，并使用它们作为地面真理。所提出的算法可以处理任意数量的拜占庭攻击者和可证明收敛。基于真实世界数据集的仿真结果验证了理论结果，并证明了所提出的算法的有效性。
2019-03-06 cs.DC cs.LG stat.ML
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University（东北大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
镜像下降（MD）是一种功能强大的一阶优化技术，它包含了包括梯度下降（GD）在内的几种优化算法。在这项工作中，我们开发了一个半定规划（SDP）的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头，并利用二次约束（QC）提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD，我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解，恢复最佳GD率作为一个特殊情况。我们补充我们的分析，提供了$O(1/k)$收敛速度凸问题。接下来，我们分析了分布式MD的收敛性，并使用SDP描述了速率。据我们所知，分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明，我们的框架证明优越的收敛速度相比，现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford（牛津大学工程科学系）；University of Oxford（牛津大学）
我们介绍了一种新的，高吞吐量，同步，分布式，数据并行，随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理，对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明，同步参数服务器可以，通过利用这样的模型，选择一个最佳的截止时间，超过该时间，从慢工人的小批量梯度消息被忽略，最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致，我们观察到，在现实条件下，急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量，而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点，证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进，从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
Speeding Up Distributed Gradient Descent by Utilizing Non-persistent Stragglers
Imperial College London（伦敦帝国学院）；University of Maryland, College Park（马里兰大学帕克分校）
分布式梯度下降（DGD）是一种实现梯度下降（GD）的有效方法，特别是对于大型数据集，它通过将计算任务划分为较小的子任务并分配给不同的计算服务器（CS）并行执行。在标准并行执行中，每次迭代的等待时间受到离散服务器的执行时间的限制。编码DGD技术是近年来出现的一种新技术，它通过向CS分配冗余计算任务来容忍离散服务器。在大多数现有的DGD方案中，无论是编码计算还是编码通信，非离散CS在完成所有分配给它们的计算任务后，每次迭代发送一条消息。然而，尽管分散的服务器不能完成所有分配给它们的任务，但它们通常能够完成其中的某一部分。在本文中，我们允许多个传输从每个CS在每次迭代，以确保完成计算的最大数量可以报告给聚合服务器（AS），包括离散服务器。我们的数值计算表明，每次迭代的平均完成时间可以显着减少稍微增加每个服务器的通信负载。
2018-10-02 cs.DC cs.IT cs.LG
Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance
INMA/ICTEAM, UCLouvain（比利时鲁汶大学INMA/ICTEAM研究所）
本研究提出FO-SGD梯度压缩算法，结合带抖动的单比特量化与随机快速沃尔什-哈达玛变换，解决单比特压缩方差爆炸等问题，在温和条件下有类SGD收敛保证，支持参数服务器框架下双向全通信压缩的分布式优化。
2024-05-17 cs.LG cs.NA math.NA
Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)
EPFL（洛桑联邦理工学院）；Georgetown University（乔治城大学）
本文研究了分布式随机梯度下降（D-SGD）方法中的拜占庭容错问题，D-SGD是分布式多智能体机器学习的一种流行算法。在这个问题中，每个代理独立于某个数据生成分布对数据点进行采样。在无故障的情况下，D-SGD方法允许所有代理学习最适合所有代理集体采样的数据的数学模型。我们考虑的情况下，当一小部分的代理可能是拜占庭式的故障。这种错误的代理可能不会正确地遵循规定的算法，并且可能通过共享任意不正确的随机梯度而使传统的D-SGD方法无效。我们提出了一个基于范数的梯度过滤器，命名为比较梯度消除（CGE），robustifies D-SGD方法对拜占庭代理。我们表明，CGE梯度过滤器保证容错对拜占庭代理的有界分数在标准的随机假设下，是计算上更简单的许多现有的梯度过滤器，如多KRUM，几何平均值，和频谱过滤器。我们的经验表明，通过模拟分布式学习神经网络，CGE的容错性与现有的梯度过滤器。我们还经验表明，随机梯度的指数平均提高了通用梯度滤波器的容错性。
2021-04-18 cs.DC cs.LG stat.ML
Iterative Pre-Conditioning to Expedite the Gradient-Descent Method
University of Maryland（马里兰大学）；Georgetown University（乔治敦大学）
研究了多智能体分布式优化问题。在这个问题中，系统中有多个代理，每个代理只知道它的局部费用函数。代理的目标是集体计算所有本地费用函数的集合的公共最小值。原则上，这个问题可以使用传统梯度下降法的分布式变体来解决，该方法是一种迭代法。然而，传统的梯度下降法的收敛速度受所求解的最优化问题的条件影响很大。具体地，如果最优化问题是病态的，则该方法需要大量的迭代来收敛到解。在本文中，我们提出了一个迭代的预处理方法，可以显着衰减的影响，问题的条件对梯度下降法的收敛速度。所提出的预处理方法可以很容易地在分布式系统中实现，并具有最小的计算和通信开销。现在，我们只考虑一个特定的分布式最优化问题，其中代理的各个局部费用函数是二次的。除了理论上的保证，我们的方法的改进的收敛速度证明通过实验上的一个真正的数据集。
2020-03-29 cs.LG cs.SY eess.SY
Local Stochastic Factored Gradient Descent for Distributed Quantum State Tomography
Rice University（莱斯大学）
我们提出了一个分布式的量子态层析成像（QST）协议，命名为本地随机因子梯度下降（本地SFGD），学习一组本地机器上的密度矩阵的低秩因子。QST是描述量子系统状态的规范过程，我们将其表示为随机非凸光滑优化问题。物理上，低秩密度矩阵的估计有助于表征量子计算引入的噪声量。在理论上，我们证明了局部SFGD对于一般的限制强凸/光滑损失函数的局部收敛性，局部SFGD局部收敛到一个小的邻域的全局最优的线性速度与一个恒定的步长，而它的局部收敛正是在一个次线性的速度与递减的步长。在适当的初始化条件下，局部收敛结果隐含着全局收敛。我们验证了我们的理论研究结果与数值模拟QST的Greenberger-Horne-Zeilinger（GHZ）状态。
2022-06-01 cs.LG math.OC quant-ph
Distributed Deep Learning Using Synchronous Stochastic Gradient Descent
Intel Parallel Computing Lab（英特尔并行计算实验室）
我们设计并实现了一个分布式的多节点同步SGD算法，不需要改变超参数，不需要压缩数据，也不需要改变算法行为。我们对缩放进行了详细的分析，并确定了不同网络的最佳设计点。我们展示了CNN在100个节点上的扩展，并展示了我们认为是创纪录的训练吞吐量。在128个节点上将512个小批量VGG-A CNN训练运行缩放90倍。此外，256个小批量VGG-A和Overlay-FAST网络在64节点群集上分别扩展了53倍和42倍。我们还通过16个节点上的7层DNN的同类最佳6.5倍扩展来证明我们方法的通用性。此后，我们试图通过在基于以太网的AWS集群上进行训练来实现深度学习的民主化，并在16个节点上展示了~ 14倍的扩展。
2016-02-22 cs.DC cs.LG
Distributed Online Optimization in Dynamic Environments Using Mirror Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
这项工作解决了非平稳环境中的分散在线优化问题。智能体网络的目标是跟踪全局时变凸函数的最小值。极小化器根据被未知的非结构化噪声破坏的已知动力学来演化。在每个时刻，全局函数可以被转换为有限数量的局部函数的总和，每个局部函数被分配给网络中的一个代理。此外，本地功能变得可用于代理顺序，和代理不具有未来的费用函数的先验知识。因此，智能体必须相互通信，以建立全局函数的在线近似。我们提出了一个分散的变化，著名的镜像下降，开发Nemirovksi和Yudin。使用Bregman散度的概念代替投影的欧氏距离，镜像下降已被证明是大规模优化的强大工具。我们的算法建立在镜像下降的基础上，同时确保代理执行共识步骤以遵循全局函数并考虑全局极小值的动态。为了衡量所提出的在线算法的性能，我们将其与离线算法进行比较，其中全局函数是先验的。两者之间的差距被称为动态遗憾。我们建立了一个遗憾的范围，规模成反比的频谱间隙的网络，更值得注意的是，它表示的偏差最小序列相对于给定的动态。然后，我们表明，我们的研究结果subconstitutes在分布式优化的结果。我们展示了我们的方法的应用分散跟踪的动态参数，并通过数值实验验证结果。
2016-09-09 cs.DC cs.LG math.OC
Trustworthiness of Stochastic Gradient Descent in Distributed Learning
SnT, University of Luxembourg（卢森堡大学SnT分校）；Paris-Saclay University（巴黎-萨克雷大学）
本文评估了分布式学习中压缩与未压缩SGD的可信度，发现压缩SGD对梯度反转攻击具有更高的隐私泄露抵抗力，且MIA不适合作为评估该场景隐私风险的可靠指标。
2025-04-29 cs.AI cs.DC cs.LG
A Sharp Estimate on the Transient Time of Distributed Stochastic Gradient Descent
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Boston University（波士顿大学）
本文研究了在网络环境下，各代理之间可以相互通信和交换信息时，最小化$n$费用函数的平均值问题。我们考虑只有噪声梯度信息可用的设置。为了解决这个问题，我们研究了分布式随机梯度下降（DSGD）方法，并进行了非渐近收敛分析。对于强凸和光滑的目标函数，DSGD渐近实现最佳的网络独立的收敛速度相比，集中式随机梯度下降（SGD）。我们的主要贡献是表征DSGD接近渐近收敛速度所需的瞬态时间，我们表现为$K_T=\mathcal{O}\left(\frac{n}{(1-ρ_w)^2}\right)$，其中$1-ρ_w$表示混合矩阵的谱隙。此外，我们构造了一个“硬”的最优化问题，我们表明所需的过渡时间DSGD接近渐近收敛速度是下有界的$Ω\left(\frac{n}{(1-ρ_w)^2} \right)$，这意味着所获得的结果的锋利。数值实验证明了理论结果的严密性。
2021-01-30 cs.DC cs.LG cs.MA
Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem
University of Maryland, College Park（马里兰大学帕克分校）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对服务器—智能体网络中的分布式线性最小二乘问题，提出迭代预条件梯度下降法，在唯一解时实现超线性收敛，并通过无噪声与含噪声实验验证其速率优势。
2021-08-06 cs.LG cs.SY eess.SY
Fully Distributed and Asynchronized Stochastic Gradient Descent for Networked Systems
the Chinese University of Hong Kong（香港中文大学）
本文研究了网络系统中的一般数据拟合问题，其中多个计算节点由一个无向图连接。这类问题在现实世界中有着广泛的应用，并在文献中得到了广泛的研究。然而，现有的解决方案要么需要一个中央控制器进行信息共享，要么需要不同节点之间的时隙同步，这增加了实际实现的难度，特别是对于非常大的异构系统。作为对比，在本文中，我们把网络上的数据拟合问题作为一个具有许多约束的随机规划问题。通过调整最近的论文中的结果，我们设计了一个完全分布式和并行化的随机梯度下降（SGD）算法。我们表明，我们的算法可以实现全局最优性和共识渐近只有本地计算和通信。此外，我们还为规则图情况下的收敛速度提供了一个精确的下界。这一结果符合直觉，并为设计一个“好”的网络拓扑结构以加速收敛提供了指导。此外，我们的设计的优点是验证了合成和真实世界的数据集上的实验。
2017-04-13 cs.AI cs.LG cs.PF
Gradient Manipulation in Distributed Stochastic Gradient Descent with Strategic Agents: Truthful Incentives with Convergence Guarantees
Department of Electrical and Computer Engineering, Clemson University（克莱姆森大学电气与计算机工程系）
本文提出一种完全分布式支付机制，首次在分布式随机梯度下降中保证诚实行为和准确收敛，克服了现有诚实机制的两大局限：依赖集中服务器和牺牲收敛精度。
2026-03-30 cs.GT cs.LG
Adaptive Stochastic Gradient Descent for Fast and Communication-Efficient Distributed Learning
Technical University of Munich（慕尼黑工业大学）；Indian Institute of Science（印度科学学院）；US Army Research Laboratory（美国陆军研究实验室）；Rutgers University（罗格斯大学）
我们考虑这样一种设置，其中主节点希望在$n$工作节点上运行分布式随机梯度下降（SGD）算法，每个工作节点都有一个数据子集。分布式SGD可能遭受离散者的影响，即，缓慢或反应迟钝的工人造成延误。文献中研究的一种解决方案是在每次迭代时等待最快的$k<n$工人的响应，然后更新模型，其中$k$是固定参数。对$k$的值的选择呈现了运行时间（即，收敛速度）和模型的误差。为了优化错误-运行时权衡，我们研究了具有自适应~ $k$的分布式SGD，即，在算法的整个运行时间内改变$k$。首先，我们设计了一个自适应的政策，为不同的$k$，优化这种权衡的基础上的误差上限作为一个函数的挂钟的时间，我们得出。然后，我们提出并实现了一个算法，自适应分布式SGD是基于统计启发式。我们的研究结果表明，自适应版本的分布式SGD可以达到更低的误差值在更短的时间相比，非自适应实现。此外，结果还表明，自适应版本是通信效率，其中所需的主和工人之间的通信量小于非自适应版本。
2022-08-04 cs.DC cs.IT cs.LG
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
On Randomized Distributed Coordinate Descent with Quantized Updates
Worcester Polytechnic Institute（伍斯特理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究了带量化更新的随机分布坐标下降算法。在文献中，随机分布坐标下降算法的迭代复杂性已经在机器可以以无限精度交换更新的假设下被表征。我们考虑一个实际的情况下，其中的消息交换发生在有限容量的通道，因此更新必须量化。我们推导出量化误差的充分条件，使得算法与量化更新仍然收敛。我们进一步验证我们的理论结果，通过运行一个实验，在那里我们应用量化更新的算法来解决一个线性回归问题。
2017-01-20 cs.LG stat.ML
Distributed Coordinate Descent for L1-regularized Logistic Regression
Yandex（扬德克斯）；AVG Consulting（AVG咨询公司）
在分布式环境下求解L1正则化的逻辑斯谛回归是一个重要的问题。当训练数据集非常大并且无法容纳单个机器的内存时，就会出现这个问题。本文提出了一种在分布式环境下求解带L1正则化的逻辑斯谛回归的新算法d-GLMNET。我们的经验表明，它优于分布式在线学习通过截断梯度。
2014-11-24 cs.LG stat.ML
DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization
Iowa State University（爱荷华州立大学）
非负矩阵分解（NMF）作为一种降维方法在过去的十年中引起了人们的广泛关注。由于数据量的爆炸性增长，自然地，样本被收集并分布存储在本地计算节点中。因此，越来越需要在分布式存储器架构中开发算法。我们提出了一种新的分布式算法，称为\textit{distributed incremental block coordinate descent}（DID），来解决这个问题。通过调整块坐标下降框架，获得封闭形式的更新规则在DID。此外，DID基于最近更新的残差矩阵递增地执行更新。因此，每次迭代只需要一个沟通步骤。一系列的数值实验验证了算法的正确性、高效性和可扩展性。
2018-02-25 cs.AI cs.LG math.OC
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
分布式机器学习算法使得能够从分布在网络上的数据集学习模型，而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法，但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史，但现有的工作并没有转化为在完全分布式（也称为分散式）设置中进行高维学习的有效和实用的算法。在本文中，一个算法称为拜占庭弹性分布式坐标下降（ByRDiE）的开发和分析，使分布式学习中存在拜占庭故障。理论分析（凸设置）和数值实验（凸和非凸设置）突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
Distributed Coordinate Descent Method for Learning with Big Data
University of Edinburgh（爱丁堡大学）
在本文中，我们开发和分析Hydra：HYbriD坐标下降法解决大数据的损失最小化问题。我们首先对坐标（特征）进行分区，并将每个分区分配给集群的不同节点。在每次迭代中，每个节点从其拥有的坐标中随机选择一个子集，独立于其他计算机，并基于简单的封闭式公式并行计算并应用更新到选定的坐标。我们给出的迭代次数的界限足以近似解决问题的高概率，并显示它如何依赖于数据和分区。我们进行数值实验与LASSO实例描述的3TB矩阵。
2013-10-08 cs.DC cs.LG math.OC
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Sparse Diffusion Steepest-Descent for One Bit Compressed Sensing in Wireless Sensor Networks
Qom University of Technology（库姆理工大学）；Swinburne University of Technology（斯威本科技大学）；Sharif University of Technology（谢里夫理工大学）
提出了一种基于稀疏扩散的最速下降算法，用于无线传感器网络中的一比特压缩感知。该方法利用扩散策略从分布式学习的一位压缩感知框架。为了仅从测量的符号协作地估计公共稀疏向量，使用最速下降来最小化合适的全局和局部凸代价函数。提出了稀疏向量的分布式学习扩散策略。仿真结果表明，提出的分布式算法的有效性相比，国家的最先进的非分布式算法在一位压缩感知框架。
2016-01-03 cs.IT cs.LG math.IT
A New Kernel Regularity Condition for Distributed Mirror Descent: Broader Coverage and Simpler Analysis
National University of Singapore（新加坡国立大学）
本文提出一种新的核正则性条件，用于解决分布式优化中非欧几里得几何中的收敛问题，通过引入Hessian相对均匀连续性（HRUC）条件，简化了分析并扩展了应用范围。
2026-09-09 cs.DC math.OC stat.ML
Communication-Efficient, 2D Parallel Stochastic Gradient Descent for Distributed-Memory Optimization
Wake Forest University（维克森林大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出二维并行SGD方法HybridSGD，通过理论分析和实验验证，在通信效率与收敛性能间取得连续权衡，相比一维方法实现高达121倍加速。
2026-06-26 cs.DC stat.ML
