Distributed Byzantine Tolerant Stochastic Gradient Descent in the Era of Big Data
North Carolina State University（北卡罗来纳州立大学）；Wuhan University（武汉大学）
传感器技术和智能设备的最新进展使得能够从多个信息源协作收集大量数据。作为从大数据中有效提取有用信息的一种有前途的工具，机器学习已被推到最前沿，并在计算机视觉、医疗保健和金融市场分析等广泛的相关领域取得了巨大成功。为了适应大数据量的需求，分布式机器学习的设计受到了广泛的关注，其中随机梯度下降（SGD）是最常用的方法之一。尽管如此，分布式机器学习方法可能容易受到拜占庭攻击，其中对手可以故意共享伪造的信息以破坏预期的机器学习过程。因此，在这项工作中，提出了两个异步拜占庭容忍SGD算法，其中诚实的协作工作者被假定为存储来自他们自己的本地数据的模型参数，并使用它们作为地面真理。所提出的算法可以处理任意数量的拜占庭攻击者和可证明收敛。基于真实世界数据集的仿真结果验证了理论结果，并证明了所提出的算法的有效性。
2019-03-06 cs.DC cs.LG stat.ML
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford（牛津大学工程科学系）；University of Oxford（牛津大学）
我们介绍了一种新的，高吞吐量，同步，分布式，数据并行，随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理，对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明，同步参数服务器可以，通过利用这样的模型，选择一个最佳的截止时间，超过该时间，从慢工人的小批量梯度消息被忽略，最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致，我们观察到，在现实条件下，急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量，而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点，证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进，从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
Graph-Dependent Implicit Regularisation for Distributed Stochastic Subgradient Descent
University of Oxford（牛津大学）
我们提出了基于图的隐式正则化策略，用于多智能体学习中凸问题的分布式随机次梯度下降（Distributed SGD）。在凸性、Lipschitz连续性和平滑性的标准假设下，我们建立了统计学习率，该学习率保留了对数项，通过隐式正则化（步长调整和早期停止）对图形拓扑结构的适当依赖，集中了统计保证。我们的方法避免了去中心化学习问题中明确正则化的需要，例如对经验风险最小化规则添加约束。特别是对于分布式方法，隐式正则化的使用允许算法保持简单，没有投影或对偶方法。为了证明我们的结果，我们建立了与集中式设置相匹配的分布式SGD的图形独立的泛化边界（使用算法稳定性），并且我们建立了独立感兴趣的图形依赖的优化边界。我们提出的数值实验表明，我们得到的上界的定性性质可以代表真实的行为。
2018-09-18 cs.LG math.OC stat.ML
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University（浙江大学）；Huazhong Agricultural University（华中农业大学）
本文针对分布式核鲁棒梯度下降算法，通过谱特征与误差分析优化参数选择，放宽机器数量限制并保持最优学习率，同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent
Tokyo Institute of Technology（东京工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对多层蒙特卡洛（MLMC）在大规模并行平台上扩展性差的问题，提出延迟MLMC梯度估计器，通过复用历史梯度分量降低并行复杂度，在深度对冲实验中验证了其并行性能优势。
2023-10-10 cs.LG stat.ML
Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，机器学习取得了巨大的进步，模型在一系列专门任务上与人类相匹配，甚至超越人类。近年来机器学习进步背后的一个关键因素是在大规模分布式共享内存和消息传递环境中训练机器学习模型的能力。这些模型中的许多都是采用基于随机梯度下降（SGD）的优化的变体来训练的。在本文中，我们介绍了一个通用的一致性条件，涵盖通信减少和异步分布式SGD实现。我们的框架，称为弹性一致性，使我们能够获得收敛边界的各种分布式SGD方法在实践中使用的训练大规模机器学习模型。建议的框架去杂实现特定的收敛性分析，并提供了一个抽象的收敛范围。我们利用该框架来分析分布式SGD方法的稀疏化方案，在异步设置为凸和非凸目标。我们实现了分布式SGD变体，以在异步共享内存设置中训练深度CNN模型。实证结果表明，错误反馈可能不一定有助于提高稀疏异步分布式SGD的收敛性，这证实了我们的收敛性分析所提出的见解。
2020-06-28 cs.LG stat.ML
On the Convergence of Local Descent Methods in Federated Learning
在联合分布式学习中，目标是优化在分布式设备上定义的全局训练目标，其中每个设备处的数据碎片从可能不同的分布（也称为，异质或非i.i.d.数据样本）。在本文中，我们推广了局部随机和全梯度下降与周期平均-最初设计的均匀分布优化，解决非凸优化问题的联邦学习。虽然缺乏研究的有效性，本地SGD在减少通信轮数在同质设置，其收敛性和通信复杂性在异构设置主要是通过经验证明，缺乏通过理论的理解。为了弥补这一差距，我们证明，通过适当地分析无偏梯度和抽样模式在联邦设置的效果，在温和的假设下，局部分布式方法的隐式方差减少功能推广到异构数据分片，并表现出最好的已知的齐次设置的收敛速度在一般非凸和{ \pl }~条件下（强凸性的推广）。我们的理论结果补充了最近的实证研究，证明了本地GD/SGD的适用性，联邦学习。我们还专门提出了网络分布式优化的本地方法。据我们所知，所获得的收敛速度是迄今为止最尖锐的局部倾析方法的收敛与周期性平均解决非凸联邦优化集中式和网络分布式优化。
2019-12-06 cs.DC cs.LG stat.ML
Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)
EPFL（洛桑联邦理工学院）；Georgetown University（乔治城大学）
本文研究了分布式随机梯度下降（D-SGD）方法中的拜占庭容错问题，D-SGD是分布式多智能体机器学习的一种流行算法。在这个问题中，每个代理独立于某个数据生成分布对数据点进行采样。在无故障的情况下，D-SGD方法允许所有代理学习最适合所有代理集体采样的数据的数学模型。我们考虑的情况下，当一小部分的代理可能是拜占庭式的故障。这种错误的代理可能不会正确地遵循规定的算法，并且可能通过共享任意不正确的随机梯度而使传统的D-SGD方法无效。我们提出了一个基于范数的梯度过滤器，命名为比较梯度消除（CGE），robustifies D-SGD方法对拜占庭代理。我们表明，CGE梯度过滤器保证容错对拜占庭代理的有界分数在标准的随机假设下，是计算上更简单的许多现有的梯度过滤器，如多KRUM，几何平均值，和频谱过滤器。我们的经验表明，通过模拟分布式学习神经网络，CGE的容错性与现有的梯度过滤器。我们还经验表明，随机梯度的指数平均提高了通用梯度滤波器的容错性。
2021-04-18 cs.DC cs.LG stat.ML
Parallel Stochastic Gradient Descent with Sound Combiners
Microsoft Research（微软研究院）
随机梯度下降（SGD）是用于回归和分类任务的公知方法。然而，它在每一步都是固有的顺序算法，当前示例的处理取决于从先前示例中学习的参数。使用SGD并行化线性学习器的先前方法，例如HOGWILD！和ALLREDUCE不尊重这些跨线程的依赖性，因此可能会遭受差的收敛速率和/或差的可伸缩性。本文提出了SYMSGD，一个并行SGD算法，一阶近似，保留了顺序语义的SGD。除了模型组合器之外，每个线程还学习一个本地模型，这允许本地模型被组合以产生与顺序SGD所产生的结果相同的结果。本文评估了SYMSGD在共享内存机器上的6个数据集上的准确性和性能，在16个核心上显示了高达11倍的加速比我们高度优化的顺序基线，平均比HOGWILD快2.2倍！
2017-05-22 cs.LG stat.ML
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
针对分布式机器学习等应用中通信量大的问题，提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同，本文引入了一种通信删失技术来减少变量的传输，这导致了我们的通信删失分布式随机梯度下降（CSGD）算法。具体来说，在CSGD中，当且仅当它是足够信息时，在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时，旧的渐变将在服务器上重用。为了实现这种通信审查策略，批量大小增加，以减轻随机梯度噪声的影响。从理论上讲，CSGD具有与SGD相同的收敛速度，但有效地减少了通信量。数值实验表明，CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
Effectiveness of Distributed Gradient Descent with Local Steps for Overparameterized Models
Halicioğlu Data Science Institute（哈利奇奥卢数据科学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
本文分析了局部梯度下降在过参数化模型中收敛到零训练损失的隐含偏置，揭示了其在异构数据中仍能保持性能的原因，并扩展至局部随机梯度下降和非分离数据。
2026-03-21 cs.DC cs.LG stat.ML
Fast Convergence for Stochastic and Distributed Gradient Descent in the Interpolation Limit
Cold Spring Harbor Laboratory（冷泉港实验室）
现代监督学习技术，特别是使用深度网络的技术，涉及用包含大量参数的函数拟合高维标记数据集。这些工作大部分是经验性的。已经观察到需要理论解释的有趣现象;然而，损失函数的非凸性使分析复杂化。最近有人提出，这些技术的成功部分取决于简单的随机梯度下降算法在所谓的插值极限中的有效性，其中所有标签都完全适合。这种分析是可能的，因为SGD算法减少到一个随机线性系统附近的插值最小值的损失函数。在这里，我们利用这一洞察力，提出和分析一个新的分布式算法梯度下降，也在插值极限。本文提出的分布式SGD算法对应于梯度下降应用于一个简单的惩罚分布损失函数，$L({\bf w}_1,...,{\bf w}_n) = Σ_i l_i({\bf w}_i) + μ\sum_{<i,j>}|{\bf w}_i-{\bf w}_j|^2$。这里每个节点只保存一个样本和它自己的参数向量。符号$<i,j>$表示定义节点之间的链路的连通图的边。结果表明，该分布式算法线性收敛（即误差随迭代次数呈指数下降），收敛速率为$1-\fracη{n}λ_{min}(H)<R<1$，其中$λ_{min}(H)$是样本协方差的最小非零特征值或Hessian H.与以前使用类似的惩罚函数来强制节点之间的共识相比，在插值极限中，不需要将惩罚参数取到无穷大才能发生共识。该分析进一步加强了插值极限在现代机器学习算法的理论处理中的实用性。
2018-05-29 cs.LG stat.ML
Adaptive Distributed Stochastic Gradient Descent for Minimizing Delay in the Presence of Stragglers
Rutgers University（罗格斯大学）；Indian Institute of Science（印度科学学院）；US Army Research Laboratory（美国陆军研究实验室）
针对分布式SGD中掉队者导致的延迟问题，本文提出自适应调整最快工作节点数量k的策略和算法，基于误差上界优化误差-运行时间权衡，并通过数值模拟验证了有效性。
2020-02-25 cs.LG stat.ML
Distributed Gradient Descent for Functional Learning
Hong Kong Baptist University（香港浸会大学）；University of Hong Kong（香港大学）；University of Sydney（悉尼大学）
本文提出分布式梯度下降函数型学习（DGDFL）算法，在再生核希尔伯特空间框架下处理大规模函数型数据，首次给出其理论理解，获得无饱和边界的最优学习速率，并引入半监督方法放宽机器数量限制，丰富了函数型数据分析方法。
2024-07-21 cs.LG stat.ML
Distributed Statistical Machine Learning in Adversarial Settings: Byzantine Gradient Descent
Cornell（康奈尔大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Purdue（普渡大学）
我们考虑了分布式统计机器学习在对抗环境中的问题，其中一些未知的和时变的工作机器子集可能会受到损害，并任意行为，以防止准确的模型被学习。此设置捕捉了联邦学习面临的潜在对抗性攻击-这是一种由Google研究人员提出的现代机器学习范式，并已被深入研究以确保用户隐私。形式上，我们专注于一个分布式系统组成的参数服务器和$m$工作机。每台工作机器都保存$N/m$数据样本，其中$N$是样本的总数。我们的目标是共同学习维度$d$的底层真实模型参数。在经典的批量梯度下降方法中，工作机器向服务器报告的梯度通过简单的平均来聚合，这容易受到单个拜占庭失败的影响。在本文中，我们提出了一个拜占庭梯度下降方法的基础上的几何中值的平均梯度。我们表明，我们的方法可以容忍$q \le (m-1)/2$拜占庭故障，参数估计收敛在$O(\log N)$轮估计误差为$\sqrt{d(2q+1)/N}$，因此接近最佳的错误率$\sqrt{d/N}$在集中式和无故障设置。该算法在每台工作机上的总计算复杂度为$O((Nd/m) \log N)$，在中心服务器上的总计算复杂度为$O(md + kd \log^3 N)$，总通信开销为$O(m d \log N)$。我们进一步提供了我们的一般结果的线性回归问题的应用。上述问题中出现的关键挑战是拜占庭故障在迭代和聚合梯度之间创建任意和未指定的依赖性。我们证明了聚集梯度一致收敛于真梯度函…
2017-10-23 cs.CR cs.DC cs.LG
GoSGD: Distributed Optimization for Deep Learning with Gossip Exchange
我们通过研究一种适应于随机梯度下降的分布式方法来解决加快卷积神经网络训练的问题。我们的并行优化设置使用多个线程，每个线程对局部变量应用单独的梯度下降。我们提出了一种新的方式，不同的线程之间共享信息的基础上八卦算法，表现出良好的共识收敛性能。我们称为GoSGD的方法具有完全异步和分散的优点。
2018-11-12 cs.LG stat.ML
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
Second-Order Convergence of Asynchronous Parallel Stochastic Gradient Descent: When Is the Linear Speedup Achieved?
Beijing Jiaotong University（北京交通大学）
在机器学习中，异步并行随机梯度下降（APSGD）被广泛用于通过多个工人来加速训练过程。同时，异步算法中的陈旧梯度的时间延迟通常与工作者的总数成比例，这由于使用延迟梯度而带来了与精确梯度的额外偏差。这可能对算法的收敛性有负面影响。有人可能会问：我们最多可以使用多少工人来实现良好的收敛和线性加速？本文研究非凸优化问题异步算法的二阶收敛性。我们研究了在严格鞍点附近具有一致读的APSGD的行为，并从理论上保证了如果工作者的总数目以$\widetilde{O}(K^{1/3}M^{-1/3})$为界（$K$是总步骤，$M$是最小批量），APSGD将收敛到好的稳定点（$||\nabla f(x)||\leq ε, \nabla^2 f(x)\succeq -\sqrtε\bm{I}, ε^2\leq O(\sqrt{\frac{1}{MK}}) $），并且实现了线性加速比.我们的工作给出了异步算法的二阶收敛的第一个理论保证。我们提供的技术可以推广到分析其他类型的异步算法，以了解异步算法在分布式异步并行训练中的行为。
2020-06-07 cs.LG math.OC stat.ML
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Robust Gradient Descent via Moment Encoding with LDPC Codes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；MIT（麻省理工学院）
本文考虑了在分布式计算环境中，在{ \em离散}处理器的存在下，实现大规模梯度下降算法的问题。为了减轻掉队者的影响，先前已经提出用擦除校正码对数据进行编码，并在计算结束时在主服务器处进行解码。相反，我们建议使用低密度奇偶校验（LDPC）码对数据的二阶矩进行编码。LDPC码的迭代译码算法具有很低的计算开销，并且译码迭代次数可以根据系统中的落后者数目自动调整。我们表明，对于随机模型的离散，提出的矩编码的梯度下降方法可以被视为随机梯度下降方法。这使我们能够获得所提出的解决方案的收敛保证。此外，所提出的矩编码为基础的方法被证明优于现有的计划在一个真正的分布式计算设置。
2019-01-03 cs.DC cs.IT cs.LG
Convergence Analysis of Distributed Stochastic Gradient Descent with Shuffling
Peking University（北京大学）；Microsoft Research（微软研究院）；Beijing Jiaotong University（北京交通大学）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）
当使用随机梯度下降来解决大规模机器学习问题时，数据处理的常见做法是将训练数据混洗，如果需要，将数据划分到多台机器上，然后对重新混洗的（本地或全局）数据执行几个时期的训练。上述过程使得用于计算梯度的实例不再独立地从训练数据集中采样。那么，分布式SGD方法在这种实际情况下是否具有理想的收敛特性呢？在本文中，我们对这个问题给出了答案。首先，我们给出了分布式机器学习中的实际数据处理过程的数学公式，我们称之为全局/局部洗牌的数据划分。我们观察到，如果洗牌操作是独立的，全球洗牌是相当于无替换采样。我们证明了SGD与全球洗牌有收敛保证在凸和非凸的情况下。一个有趣的发现是，与凸任务相比，深度学习等非凸任务更适合应用洗牌。其次，我们进行了收敛性分析与本地洗牌的SGD。局部重排的收敛速度比全局重排慢，因为如果分区数据之间没有通信，它将丢失一些信息。最后，我们考虑的情况下，置换后的洗牌是不均匀分布（不充分洗牌），并讨论在这种情况下，这种不足不会影响收敛速度。我们的理论结果为大规模机器学习提供了重要的见解，特别是在数据处理方法的选择，以实现更快的收敛和良好的加速比。我们的理论研究结果得到了逻辑斯谛回归和深度神经网络的广泛实验的验证。
2017-09-29 cs.LG stat.ML
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
Anytime Stochastic Gradient Descent: A Time to Hear from all the Workers
University of Toronto（多伦多大学）
在本文中，我们专注于并行化随机梯度下降（SGD）的方法，其中数据被外包给一组工人，其结果，经过多次更新，然后在一个中央主节点相结合。虽然这种同步SGD方法在理想化的计算环境中可以很好地并行化，但它们通常无法在实际设置中实现其承诺的计算加速。一个原因是缓慢的工作者，称为掉队者，他们可能导致主节点的融合步骤停止，这大大减缓了收敛。在许多落后者缓解方法中，这些节点完成的工作虽然只是部分，但被完全丢弃。在本文中，我们提出了一种方法来并行化同步SGD，利用所有工人完成的工作。其核心思想是固定每个工人的计算时间，然后将所有工人的不同贡献结合起来。我们提供了一个收敛性分析和优化的组合功能。我们的数值结果表明，与现有的方法相比，几个因素的数量级的改善。
2018-10-06 cs.IT cs.LG math.IT
SySCD: A System-Aware Parallel Coordinate Descent Algorithm
IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）
在本文中，我们提出了一种新的并行随机坐标下降（SCD）算法的收敛保证，表现出很强的可扩展性。我们首先研究了一个国家的最先进的并行实现SCD和确定的可扩展性以及系统级的性能瓶颈，各自的实施。然后，我们采取一种原则性的方法来开发一个新的SCD变体，其目的是为了避免所识别的系统瓶颈，如有限的扩展，由于跨线程的模型共享的一致性流量，以及低效的CPU缓存访问。我们提出的系统感知并行坐标下降算法（SySCD）可扩展到多个核心和跨numa节点，并在一系列数据集和多核CPU架构上提供一致的底线加速，与优化的异步并行SCD算法相比，训练时间高达x12，与最先进的GLM求解器（scikit-learn，Vowpal Wabbit和H2O）相比，训练时间高达x42。
2019-11-18 cs.DC cs.LG stat.ML
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Parallel Stochastic Asynchronous Coordinate Descent: Tight Bounds on the Possible Parallelism
一些作品已经表明，只要没有太多的并行性，线性加速是通过随机坐标下降的异步并行实现的。更具体地，已知如果所有更新具有相似的持续时间，则线性加速可能具有高达$Θ(\sqrt n L_{\max}/L_{\overline{\mathrm{res}}})$的处理器，其中$L_{\max}$和$L_{\overline{\mathrm{res}}}$是合适的Lipschitz参数。本文表明，该界是紧的，几乎所有可能的值，这些参数。
2020-11-19 cs.DC math.OC
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
Scaling Up Coordinate Descent Algorithms for Large $\ell_1$ Regularization Problems
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个通用的框架，并行坐标下降（CD）算法，其中包括，作为特殊情况下，原来的顺序算法循环CD和随机CD，以及最近的并行猎枪算法。我们介绍了两种新的并行算法，也是特殊情况-线程贪婪的CD和基于着色的CD-并给出了这些的OpenMP实现的性能测量。
2012-06-27 cs.DC cs.LG stat.ML
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
分布式机器学习算法使得能够从分布在网络上的数据集学习模型，而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法，但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史，但现有的工作并没有转化为在完全分布式（也称为分散式）设置中进行高维学习的有效和实用的算法。在本文中，一个算法称为拜占庭弹性分布式坐标下降（ByRDiE）的开发和分析，使分布式学习中存在拜占庭故障。理论分析（凸设置）和数值实验（凸和非凸设置）突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
Distributed Coordinate Descent for Generalized Linear Models with Regularization
Yandex；NYU Langone Medical Center（纽约大学朗格尼医学中心）
基于$L_1$和$L_2$正则化的广义线性模型是解决分类、类概率估计和回归问题的一种广泛使用的技术。随着文本挖掘和点击流数据分析等领域的特征和示例数量的快速增长，并行化和集群体系结构的使用变得非常重要。提出了一种新的分布式环境下正则化广义线性模型的拟合算法。该算法根据特征在节点之间分割数据，在每个节点上使用坐标下降和线搜索来全局合并结果。提供了收敛性证明。算法的一个改进解决了慢节点问题。对于逻辑斯谛回归的一个重要的特定情况下，我们经验比较我们的程序与几个国家的最先进的方法，依赖于不同的算法和数据分解方法。实验表明，我们的方法是可扩展的，在大型和稀疏的数据集上训练时是优越的。
2017-06-26 cs.DC cs.LG stat.ML
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
GRNND: A GPU-Parallel Relative NN-Descent Algorithm for Efficient Approximate Nearest Neighbor Graph Construction
针对RNN-Descent图构建随数据量和维度增长耗时剧增的问题，提出首个GPU并行的GRNND算法，通过无序邻居传播等策略优化，实现远超现有CPU、GPU方法的加速效果。
2025-10-03 cs.DC
Improving Dynamic Regret in Distributed Online Mirror Descent Using Primal and Dual Information
我们考虑分布式在线优化的问题，一组学习者通过动态通信图连接。学习器的目标是以分布式的方式跟踪时变损失函数之和的全局最小值。我们提出了一种新的算法，称为分布式在线镜像下降与多个平均决策和梯度共识（DOMD-MADGC），这是基于镜像下降，但结合了多个共识平均迭代局部梯度以及局部决策。其关键思想是允许局部学习器收集足够量的全局信息，这使它们能够更准确地近似时变全局损失，从而使它们能够随着时间的推移密切跟踪动态全局最小值。我们证明了DOMD-MADGC的动态后悔是由路径长度上界的，路径长度定义为连续最小值之间的累积距离。由此产生的界限改善现有的分布式在线算法的界限，并消除了显式依赖$T$。
2021-12-07 cs.DC math.OC
Fully Asynchronous Stochastic Coordinate Descent: A Tight Lower Bound on the Parallelism Achieving Linear Speedup
我们寻求严格的界限上的可行的并行异步实现的坐标下降，实现线性加速。研究了由光滑凸函数和可能非光滑可分凸函数之和组成的凸函数上的异步坐标下降算法。我们量化了与标准序贯随机梯度下降相比的进展不足。这导致了一个简单而紧密的分析标准的随机ACD在部分异步的环境中，推广和改进的界限在以前的工作。我们还提供了一个相当多的分析一般异步环境中，唯一的约束是，每个更新可以重叠最多q其他。新的下界上的最大程度的并行实现线性加速是紧密的，并提高了最佳的先验界几乎二次方。
2020-08-02 cs.DC math.OC
A New Kernel Regularity Condition for Distributed Mirror Descent: Broader Coverage and Simpler Analysis
National University of Singapore（新加坡国立大学）
本文提出一种新的核正则性条件，用于解决分布式优化中非欧几里得几何中的收敛问题，通过引入Hessian相对均匀连续性（HRUC）条件，简化了分析并扩展了应用范围。
2026-09-09 cs.DC math.OC stat.ML
Byzantine Fault-Tolerance in Peer-to-Peer Distributed Gradient-Descent
我们考虑的问题，拜占庭容错的对等（P2P）分布式梯度下降法-一个突出的算法，在P2P系统中的分布式优化。在这个问题中，系统由多个代理人组成，每个代理人都有一个本地成本函数。在无故障的情况下，当所有的代理都是诚实的，P2P分布式梯度下降方法允许所有的代理达成共识的解决方案，最大限度地减少他们的总成本。然而，我们考虑的情况下，一定数量的代理可能是拜占庭故障。这样的错误代理可能不正确地遵循算法，并且可能共享任意的不正确信息以防止其他非错误代理解决优化问题。在拜占庭故障代理的存在下，一个更合理的目标是允许所有的非故障代理达成共识的解决方案，最大限度地减少所有的非故障代理的总成本。我们将此容错目标称为$f$ -弹性，其中$f$是$n$代理系统中拜占庭故障代理的最大数量，其中$f < n$。P2P分布式优化中的大多数现有容错工作仅考虑近似容错，其中，与$f$弹性不同，所有非故障代理计算其成本函数的非均匀加权聚合的最小点。我们提出了一个容错机制，赋予可证明的$f$ -弹性的P2P分布式梯度下降方法，提供了非故障代理满足必要条件的$2f$ -冗余，稍后在本文中定义。此外，与以前的工作相比，我们的算法是适用于更大的一类高维凸分布优化问题。
2021-01-28 cs.DC
CD-SGD: Distributed Stochastic Gradient Descent with Compression and Delay Compensation
National University of Defense Technology（国防科技大学）
通信开销是分布式训练的关键挑战。梯度压缩是一种广泛使用的减少通信流量的方法。梯度压缩技术与流水线等并行通信机制相结合，可以大大减轻通信开销的影响。然而，梯度压缩技术存在两个问题需要解决。首先，梯度压缩带来了额外的计算成本，这将延迟下一次训练迭代。其次，梯度压缩通常会导致收敛精度的下降。
2021-09-07 cs.DC cs.LG
A DAG Model of Synchronous Stochastic Gradient Descent in Distributed Deep Learning
凭借海量的训练数据，深度学习在许多人工智能（AI）应用中取得了重大突破。然而，这种大规模的数据集带来了计算挑战，需要将训练分布在配备GPU等加速器的集群上。随着GPU计算能力的快速提升，GPU之间的数据通信已成为影响整体训练性能的潜在瓶颈。本文首先提出了一种通用的有向无环图（DAG）模型来描述分布式同步随机梯度下降（S-SGD）算法，该算法在分布式深度学习框架中得到了广泛的应用。为了了解数据通信对训练性能的实际影响，我们对四种最先进的分布式深度学习框架（即，Caffe-MPI、CNTK、MXNet和TensorFlow）在多GPU和多节点环境中使用不同的数据通信技术，包括PCIe、NVLink、10 GbE和InfiniBand。通过分析和实验研究，我们确定了可以进一步优化的潜在瓶颈和开销。最后，我们公开了我们的实验轨迹的数据集，这可以用来支持基于模拟的研究。
2018-10-31 cs.DC
Distributed Coordinate Descent Method for Learning with Big Data
University of Edinburgh（爱丁堡大学）
在本文中，我们开发和分析Hydra：HYbriD坐标下降法解决大数据的损失最小化问题。我们首先对坐标（特征）进行分区，并将每个分区分配给集群的不同节点。在每次迭代中，每个节点从其拥有的坐标中随机选择一个子集，独立于其他计算机，并基于简单的封闭式公式并行计算并应用更新到选定的坐标。我们给出的迭代次数的界限足以近似解决问题的高概率，并显示它如何依赖于数据和分区。我们进行数值实验与LASSO实例描述的3TB矩阵。
2013-10-08 cs.DC cs.LG math.OC
Distributed Gradient Descent with Coded Partial Gradient Computations
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
编码计算技术在分布式计算中提供了对离散服务器的鲁棒性，但具有以下限制：首先，它们增加了解码复杂度。其次，它们忽略了由分散的服务器执行的计算;并且它们通常被设计为恢复完整的梯度，因此不能在梯度的准确性和每次迭代完成时间之间提供平衡。在这里，我们介绍了一种混合的方法，称为编码的部分梯度计算（CPGC），从编码和未编码的计算方案的优点，并减少了计算时间和解码的复杂性。
2018-11-22 cs.DC cs.IT cs.LG
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan（密歇根大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
大规模L1正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题，我们引入了一个新的家庭的算法称为块贪婪坐标下降，包括，作为特殊情况下，现有的几种算法，如SCD，贪婪CD，猎枪，线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明，块贪婪坐标下降可以更好地利用并行性，如果特征被聚类，使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持，使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展，而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
Smooth minimization of nonsmooth functions with parallel coordinate descent methods
研究了一类随机并行坐标下降法在极小化非光滑可分凸函数和问题上的性能。问题类包括作为特殊情况的L1正则化L1回归和指数损失的最小化（“AdaBoost问题”）。我们假设定义损失函数的输入数据包含在稀疏$m\times n$矩阵$A$中，每行中至多具有$ω$非零值。我们的方法需要$O(n β/τ)$迭代以找到具有高概率的近似解，其中$τ$是处理器的数量，$β= 1 + (ω-1)(τ-1)/(n-1)$是最快的变体。该符号隐藏了对诸如所需精度和置信水平以及起始点与最佳点的距离等数量的依赖性。由于$β/τ$是$τ$的递减函数，因此当使用更多处理器时，该方法需要较少的迭代。我们的算法的某些变体在每个处理器的单次迭代期间平均仅执行$O(\nnz(A)/n)$算术运算，并且由于当$ω$减少时$β$减少，因此对于稀疏问题需要较少的迭代。
2013-09-23 cs.DC math.OC stat.ML
Sparse Communication for Distributed Gradient Descent
University of Edinburgh（爱丁堡大学）
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的，因为大多数更新都接近零，所以我们将99%的最小更新（按绝对值）映射到零，然后交换稀疏矩阵。这种方法可以与量化相结合，以进一步提高压缩。我们探索不同的配置，并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作，而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明，我们可以在MNIST上实现高达49%的速度，在NMT上实现22%的速度，而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
Accelerated, Parallel and Proximal Coordinate Descent
本文提出了一种新的随机坐标下降法，用于极小化仅依赖于少量坐标的凸函数之和。我们的方法（APPROX）同时加速，并行和PROXALITY，这是第一次提出这样的方法。在处理器的数量等于坐标的数量的特殊情况下，该方法以速率$2\barω\bar{L} R^2/(k+1)^2 $收敛，其中$k$是迭代计数器，$\barω$是损失函数的平均可分性程度，$\bar{L}$是与坐标和中的各个函数相关联的Lipschitz常数的平均值，并且$R$是初始点到最小值的距离。我们表明，该方法可以实现，而不需要执行全维向量运算，这是现有的加速坐标下降法的主要瓶颈。事实上，该方法依赖于平均程度的可分性，而不是最大程度的可分性，可以归因于使用新的安全的大步长，从而改善预期的可分离过逼近（ESO）。这些都是独立的利益，并可以利用在所有现有的并行随机坐标下降算法的概念的基础上ESO。
2014-03-01 cs.DC cs.NA math.NA
Block stochastic gradient descent for large-scale tomographic reconstruction in a parallel network
与基于反投影的方法相比，迭代算法对于线性断层图像重建具有许多优点。然而，迭代法往往具有显著更高的计算复杂性。为了克服这一点，需要能够利用几个计算节点的并行处理方案。这里流行的方法是行操作方法和列操作方法，行操作方法同时更新整个图像，列操作方法需要访问每个节点上的所有测量值。在每个节点存储容量有限的大规模层析重建中，节点之间的数据通信开销成为显著的性能限制因素。为了减少这种开销，我们提出了一种行操作方法BSGD。该方法是基于随机梯度下降方法，但它不更新整个图像在每次迭代，这减少了节点之间的通信。为了进一步提高收敛速度，提出了一种重要性采样策略。我们比较了BSGD与其他现有的随机方法，并显示其有效性和效率。BSGD的其他属性也进行了探讨，包括它的能力，将全变差（TV）正则化和自动参数调整。
2019-03-28 cs.DC
Hybrid Approach to Parallel Stochastic Gradient Descent
School of Computing；Augmented Intelligence Arizona State University Tempe AZ USA；Augmented Intelligence Arizona State University
本文提出一种结合同步与异步的数据并行混合方法，通过阈值函数逐步切换参数聚合方式，在相同时间内取得优于纯同步和纯异步的训练性能。
2024-06-27 cs.AI cs.CC cs.DC
On Optimal Probabilities in Stochastic Coordinate Descent Methods
我们提出并分析了一种新的并行坐标下降方法-`NSync-在每次迭代中，坐标的随机子集被更新，并行，允许子集被非均匀地选择。我们得到一个强凸性假设下的收敛速度，并评论如何分配概率的集合，以优化的界限。该方法的复杂度和实际性能可以超过其均匀变体一个数量级。令人惊讶的是，每次迭代更新一个随机选择的坐标的策略-具有最佳概率-在理论和实践中可能需要比每次迭代更新所有坐标的策略更少的迭代。
2013-10-13 cs.DC math.OC stat.ML
Speeding Up Distributed Gradient Descent by Utilizing Non-persistent Stragglers
Imperial College London（伦敦帝国学院）；University of Maryland, College Park（马里兰大学帕克分校）
分布式梯度下降（DGD）是一种实现梯度下降（GD）的有效方法，特别是对于大型数据集，它通过将计算任务划分为较小的子任务并分配给不同的计算服务器（CS）并行执行。在标准并行执行中，每次迭代的等待时间受到离散服务器的执行时间的限制。编码DGD技术是近年来出现的一种新技术，它通过向CS分配冗余计算任务来容忍离散服务器。在大多数现有的DGD方案中，无论是编码计算还是编码通信，非离散CS在完成所有分配给它们的计算任务后，每次迭代发送一条消息。然而，尽管分散的服务器不能完成所有分配给它们的任务，但它们通常能够完成其中的某一部分。在本文中，我们允许多个传输从每个CS在每次迭代，以确保完成计算的最大数量可以报告给聚合服务器（AS），包括离散服务器。我们的数值计算表明，每次迭代的平均完成时间可以显着减少稍微增加每个服务器的通信负载。
2018-10-02 cs.DC cs.IT cs.LG
Performance Optimization on Model Synchronization in Parallel Stochastic Gradient Descent Based SVM
Indiana University（印第安纳大学）
理解实现基于随机梯度下降（SGD）的分布式支持向量机（SVM）算法的瓶颈对于训练更大的数据集是重要的。在并行进程之间进行模型同步的通信时间是导致训练过程效率低下的主要瓶颈。全局同步前处理的小批量数据大小直接影响模型同步。在产生有效的分布式模型时，训练模型同步中的通信时间必须尽可能少，同时保持高的测试精度。为了设计高效的分布式模型，必须充分理解模型同步频率对算法收敛性和生成模型精度的影响。在这项研究中，我们确定的瓶颈模型同步并行随机梯度下降（PSGD）为基础的SVM算法的训练模型同步频率（MSF）。我们的研究表明，通过优化我们使用的数据集中的MSF，相对于高频模型同步，可以获得98%的通信时间减少（16倍-24倍的速度）。本文讨论的训练模型优化保证了比顺序算法更高的精度以及更快的收敛速度。
2019-05-03 cs.DC cs.LG
Distributed Deep Learning Using Synchronous Stochastic Gradient Descent
Intel Parallel Computing Lab（英特尔并行计算实验室）
我们设计并实现了一个分布式的多节点同步SGD算法，不需要改变超参数，不需要压缩数据，也不需要改变算法行为。我们对缩放进行了详细的分析，并确定了不同网络的最佳设计点。我们展示了CNN在100个节点上的扩展，并展示了我们认为是创纪录的训练吞吐量。在128个节点上将512个小批量VGG-A CNN训练运行缩放90倍。此外，256个小批量VGG-A和Overlay-FAST网络在64节点群集上分别扩展了53倍和42倍。我们还通过16个节点上的7层DNN的同类最佳6.5倍扩展来证明我们方法的通用性。此后，我们试图通过在基于以太网的AWS集群上进行训练来实现深度学习的民主化，并在16个节点上展示了~ 14倍的扩展。
2016-02-22 cs.DC cs.LG
Distributed Online Optimization in Dynamic Environments Using Mirror Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
这项工作解决了非平稳环境中的分散在线优化问题。智能体网络的目标是跟踪全局时变凸函数的最小值。极小化器根据被未知的非结构化噪声破坏的已知动力学来演化。在每个时刻，全局函数可以被转换为有限数量的局部函数的总和，每个局部函数被分配给网络中的一个代理。此外，本地功能变得可用于代理顺序，和代理不具有未来的费用函数的先验知识。因此，智能体必须相互通信，以建立全局函数的在线近似。我们提出了一个分散的变化，著名的镜像下降，开发Nemirovksi和Yudin。使用Bregman散度的概念代替投影的欧氏距离，镜像下降已被证明是大规模优化的强大工具。我们的算法建立在镜像下降的基础上，同时确保代理执行共识步骤以遵循全局函数并考虑全局极小值的动态。为了衡量所提出的在线算法的性能，我们将其与离线算法进行比较，其中全局函数是先验的。两者之间的差距被称为动态遗憾。我们建立了一个遗憾的范围，规模成反比的频谱间隙的网络，更值得注意的是，它表示的偏差最小序列相对于给定的动态。然后，我们表明，我们的研究结果subconstitutes在分布式优化的结果。我们展示了我们的方法的应用分散跟踪的动态参数，并通过数值实验验证结果。
2016-09-09 cs.DC cs.LG math.OC
Improving Distributed Gradient Descent Using Reed-Solomon Codes
今天的数据集规模庞大，因此有必要经常以分布式方式对其执行计算。原则上，一个计算任务被划分为子任务，这些子任务分布在由任务管理器操作的集群上。实践中面临的一个问题是由于存在称为\emph{stragglers}的慢速机器而导致的延迟。在文献中已经提出了几种方案，包括基于复制的方案，以减轻掉队者的影响，最近，受编码理论启发的方案已经开始获得牵引力。在这项工作中，我们考虑一个分布式的梯度下降设置适用于广泛的一类机器学习问题。我们适应Tandon等人的框架。（arXiv：1612.03301），并提出了一个确定性的计划，对于规定的每台机器的计算工作量，恢复梯度从最少数量的机器$f$理论上允许的，通过$O(f^2)$解码算法。我们还提供了一个理论延迟模型，可以用来最大限度地减少每次计算的预期等待时间，通过最佳选择的方案的参数。最后，我们补充我们的理论研究结果与数值结果表明，该方法的有效性和竞争计划的优势。
2017-06-16 cs.DC cs.IT math.IT
Load Balancing with Network Latencies via Distributed Gradient Descent
针对大型语言模型推理请求服务的分布式负载均衡问题，提出分布式梯度下降负载均衡（DGD-LB）算法，通过动态调整路由概率实现延迟最小化，经分析和实验验证其收敛性、稳定性及优于现有方法的性能。
2025-04-14 cs.DC math.OC
Trustworthiness of Stochastic Gradient Descent in Distributed Learning
SnT, University of Luxembourg（卢森堡大学SnT分校）；Paris-Saclay University（巴黎-萨克雷大学）
本文评估了分布式学习中压缩与未压缩SGD的可信度，发现压缩SGD对梯度反转攻击具有更高的隐私泄露抵抗力，且MIA不适合作为评估该场景隐私风险的可靠指标。
2025-04-29 cs.AI cs.DC cs.LG
