Accuracy-Efficiency Trade-Offs and Accountability in Distributed ML Systems
Cornell University（康奈尔大学）
准确性和效率之间的权衡遍布法律、公共卫生和其他非计算领域，这些领域已经制定了政策来指导如何在不确定的条件下平衡两者。虽然计算机科学通常也研究准确性和效率的权衡，但它们的政策含义仍然没有得到很好的研究。借鉴美国的风险评估实践，我们认为，由于检查这些权衡已用于指导其他领域的治理，我们需要同样考虑这些权衡在治理计算机系统。我们的分析集中在分布式机器学习系统。了解这一领域的政策影响尤为紧迫，因为包括自动驾驶汽车在内的此类系统往往风险很高，而且对安全至关重要。我们1）描述了这些系统的权衡是如何形成的，2）强调了现有美国风险评估标准与这些系统需要进行适当评估之间的差距，3）当关于准确性-效率权衡的假设风险在现实世界中成为事故时，提出具体的行动呼吁，以促进问责制。最后，我们讨论了这种问责机制如何鼓励更公正，透明的治理与公共价值观一致。
2021-10-02 cs.CY cs.LG
Memory and Communication Efficient Distributed Stochastic Optimization with Minibatch-Prox
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出并分析了一种分布式随机优化的方法，它是统计上最优的，并实现了近线性的加速比（对数因子）。我们的方法允许通信内存的权衡，无论是对数通信，但线性内存，或多项式通信和相应的多项式减少所需的内存。这种通信-内存权衡是通过小批量-接近迭代（小批量被动-主动更新）实现的，其中在每次迭代中解决小批量上的子问题。我们提供了一种新的分析，这样的小批量prox程序，实现了统计最优速率，而不管小批量的大小和平滑度，从而显着改善以前的工作。
2017-06-09 cs.LG
Slow and Stale Gradients Can Win the Race: Error-Runtime Trade-offs in Distributed SGD
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
分布式随机梯度下降（SGD）在以同步方式运行时，会在等待最慢的学习者（掉队者）时出现延迟。异步方法可以减少落伍者，但会导致梯度失效，从而对收敛产生不利影响。在这项工作中，我们提出了一个新的理论表征的异步方法提供的加速，通过分析训练模型中的错误和实际的训练运行时间（wallclock时间）之间的权衡。在我们的工作中的新颖之处在于，我们的运行时分析考虑随机离散延迟，这有助于我们设计和比较分布式SGD算法，在离散和陈旧之间取得平衡。我们还提出了一个新的异步SGD变量的收敛性分析，没有有界或指数延迟的假设，和一个新的学习率计划，以补偿梯度陈旧。
2018-05-09 cs.LG stat.ML
Distributed Semantic Segmentation With Improved Rate-Distortion Trade-Off
Volkswagen AG（大众汽车集团）；Institute for Communications Technology TU Braunschweig（布伦瑞克工业大学通信技术研究所）
针对分布式语义分割低比特率下率失真权衡不佳的问题，提出两种新型信源码编解码器，在ADE20K、Cityscapes数据集上实现最优性能。
2026-09-01 cs.CV cs.LG
Distributed Preemption Decisions: Probabilistic Graphical Model, Algorithm and Near-Optimality
Microsoft（微软）
协同决策是未来网络管理和控制的一种设想。分布式连接抢占是一个重要的例子，其中节点可以做出智能决策，分配资源和控制业务流的多类服务网络。一个挑战是，节点的决定是空间依赖的流量侵入网络中的多个节点。因此，性能-复杂性权衡变得重要，即，决策的准确性与节点之间交换的信息量之间的关系。连接抢占是NP完全的。集中式抢占是最佳的，但在计算上难以处理。分散式抢占在计算上是高效的，但可能导致较差的性能。这项工作研究分布式抢占节点决定是否和哪些流抢占只使用本地信息交换与邻居。我们开发，基于概率图模型，一个接近最优的分布式算法。每个节点使用该算法来集体做出接近最优的抢占决策。我们研究了接近最优的性能和复杂性之间的权衡，对应于分布式算法的信息交换量。通过理论分析和仿真验证了该算法的有效性。
2009-01-07 cs.LG
Characterizing the Accuracy-Communication-Privacy Trade-off in Distributed Stochastic Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
本文研究分布式差分隐私随机凸优化中的精度—通信—隐私权衡，提出基于 Vaidya 平面切割法的新算法与匹配下界，给出完整刻画。
2025-01-06 cs.IT cs.LG math.IT
Trade-offs in Large-Scale Distributed Tuplewise Estimation and Learning
Telecom ParisTech（巴黎电信学院）；Université Paris Saclay（巴黎萨克雷大学）；IDEMIA（IDEMIA公司）；INRIA（法国国家信息与自动化研究所）
集群计算框架的发展已经允许从业者以最小的编程工作量扩展各种统计估计和机器学习算法。这对于目标函数在各个数据点之间可以很好地分离的机器学习问题尤其如此，例如分类和回归。相比之下，涉及数据点对（或更一般的元组）的统计学习任务-例如度量学习，聚类或排名-并不容易适用于数据并行和内存计算。在本文中，我们将探讨如何在这种分布式tuplewise统计问题的统计性能和计算效率之间的平衡。我们首先提出了一个简单的策略，偶尔重新分区数据之间的并行计算阶段，其中重新分区的步骤规则的准确性和运行时间之间的权衡工人。然后，我们提出了一些理论结果突出所提出的方法在方差减少方面带来的好处，并扩展我们的结果，设计分布式随机梯度下降算法的元组经验风险最小化。我们的研究结果得到了合成和真实世界数据集上成对统计估计和学习的数值实验的支持。
2019-06-21 cs.LG stat.ML
Fundamental Resource Trade-offs for Encoded Distributed Optimization
University of Southern California（南加利福尼亚大学）
处理当今海量数据集的剪切大小和复杂性需要能够以并行和分布式方式分析数据的计算平台。在这种现代分布式计算环境中出现的主要瓶颈是某些工作节点可能运行缓慢。这些节点又名~由于最慢的节点可能决定总的计算时间，所以离散节点可能显著地减慢计算。最近的计算框架，称为编码优化，在数据中创建冗余，以减轻掉队者的影响。在本文中，我们开发了新的数学理解这个框架，证明其有效性，在更广泛的设置比以前所理解的。我们还分析了迭代编码优化算法的收敛行为，使我们能够在这个框架中描述收敛速度，数据集大小，准确性，计算负载（或数据冗余）和落伍容忍之间的基本权衡。
2019-04-01 cs.IT cs.LG math.IT
Dynamic Privacy For Distributed Machine Learning Over Network
New York University（纽约大学）
由于最近数据的快速增长，隐私保护分布式机器学习变得越来越重要。针对一类正则化的经验风险最小化（ERM）机器学习问题，提出了两种为网络上的分布式学习算法提供差分隐私的方法.我们首先使用交替方向乘法（ADMM）分散的学习算法，并提出了双变量扰动和原始变量扰动的方法来提供动态差分隐私。这两种机制导致的算法，可以提供隐私保证下的损失函数和正则化的凸性和可微性的温和条件。我们研究的算法的性能，并表明，双变量扰动优于其原始对应。为了设计一个最佳的隐私机制，我们分析了隐私和准确性之间的基本权衡，并提供了准则来选择隐私参数。使用客户信息数据库的数值实验，以证实隐私和效用的权衡和设计的结果。
2016-03-09 cs.LG
Communication trade-offs for synchronized distributed SGD with large step size
IIT Kanpur（坎普尔印度理工学院）；EPFL（洛桑联邦理工学院）
同步小批量SGD是大规模分布式机器学习的最新技术。然而，在实践中，它的收敛性受到工作节点之间缓慢的通信轮次的影响。减少通信的自然解决方案是使用\emph{`local-SGD'}模型，其中工作者独立地训练他们的模型，并每隔一段时间进行同步。该算法改善了计算-通信权衡，但其收敛性不是很好理解。我们提出了一种非渐近误差分析，它可以与\emph{one-shot averaging}进行比较，即，独立工作者之间的单轮通信，以及\emph{mini-batch averaging}，即，沟通每一步。我们还提供了自适应下界的通信频率为大步长（$ t^{-α} $，$ α\in (1/2 , 1 ) $），并表明，\emph{Local-SGD}减少通信的一个因素，$O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$，与$T$的梯度和$P$机的总数。
2019-04-25 cs.LG math.OC stat.ML
Model Accuracy and Runtime Tradeoff in Distributed Deep Learning:A Systematic Study
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Weill Cornell Medical College（威尔康奈尔医学院）
本文介绍了Rudra，一个基于参数服务器的分布式计算框架，用于训练大规模深度神经网络。使用异步随机梯度下降算法的变体，我们研究了同步协议，陈旧的梯度更新，minibatch大小，学习率和学习器数量对运行时性能和模型精度的影响。我们引入了一种新的学习率调制策略来对抗陈旧梯度的影响，并提出了一种新的同步协议，可以有效地约束梯度中的陈旧性，提高运行时性能，并实现良好的模型精度。我们的实证研究揭示了一个原则性的方法分布式训练的神经网络：每个学习者的小批量大小应减少更多的学习者添加到系统中，以保持模型的准确性。我们使用常用的图像分类基准：CIFAR10和ImageNet来验证这种方法。
2016-12-05 cs.DC cs.LG cs.NE
Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for Multi-Agent System
University of Southern California（南加州大学）
分散学习是一种有效的新兴范式，用于提高多个有界计算代理的计算能力。在大数据时代，在分布式和联邦学习（DL和FL）框架内执行推理，中央服务器需要处理大量数据，同时依赖各种代理执行多个分布式训练任务。考虑到分布式计算的拓扑结构，隐私已经成为一个首要的问题。此外，假设代理的信息处理能力有限，需要一个复杂的\textit{privacy-preserving decentralization}来确保有效的计算。为此，我们研究的\textit{privacy-aware server to multi-agent assignment}问题受到信息处理的限制与每个代理，同时保持隐私和确保学习信息的消息，通过分布式私人联邦学习（DPFL）的方法收到代理全球终端。为了找到一个分散的计划，两个代理系统，我们制定了一个优化问题，平衡隐私和准确性，考虑到与每个代理相关联的压缩约束的质量。我们提出了一个迭代收敛算法交替自洽方程。我们还对所提出的解决方案进行了数值评估，以显示隐私预测的权衡，并证明了新方法在确保DL和FL隐私方面的有效性。
2022-04-24 cs.CR cs.IT cs.LG
On Consensus-Optimality Trade-offs in Collaborative Deep Learning
Iowa State University（爱荷华州立大学）
在分布式机器学习中，智能体从不同的私有数据集协作学习，共识和最优性之间存在根本的紧张关系。在本文中，我们基于分布式深度学习的最新算法进展，探索固定通信拓扑上的各种共识-最优性权衡。首先，我们提出了增量共识为基础的分布式SGD（i-CDSGD）算法，它涉及多个共识步骤（每个代理与其邻居的信息通信）在每个SGD迭代。其次，我们提出了广义共识为基础的分布式SGD（g-CDSGD）算法，使我们能够浏览完整的频谱从完全一致（所有代理同意），以完成分歧（每个代理收敛到个别模型参数）。我们分析建立强凸和非凸目标函数的算法的收敛性，我们还分析了强凸情况下的算法的动量变量。我们通过数值实验来支持我们的算法，并展示了对现有协作深度学习方法的显着改进。
2018-05-30 cs.CV cs.DC cs.LG
Using Non-Lipschitz Signum-based Functions for Distributed Optimization and Machine Learning: Trade-off Between Con-vergence Rate and Optimality Gap
Semnan University（塞姆南大学）；Oregon State University（俄勒冈州立大学）；Kazan Federal University（喀山联邦大学）；Sharif University of Technology（谢里夫理工大学）
本文针对分布式机器学习中收敛速率慢的问题，研究非利普希茨符号函数在分布式优化中的应用，发现其可加快收敛但会产生大最优性间隙，成果推进了相关分布式算法讨论。
2026-08-04 cs.LG cs.SY eess.SP
Adaptive Distributed Stochastic Gradient Descent for Minimizing Delay in the Presence of Stragglers
Rutgers University（罗格斯大学）；Indian Institute of Science（印度科学学院）；US Army Research Laboratory（美国陆军研究实验室）
针对分布式SGD中掉队者导致的延迟问题，本文提出自适应调整最快工作节点数量k的策略和算法，基于误差上界优化误差-运行时间权衡，并通过数值模拟验证了有效性。
2020-02-25 cs.LG stat.ML
Multi-Message Shuffled Privacy in Federated Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究通信约束下的差分私有分布式优化。使用SGD进行优化的服务器聚合客户端局部梯度，以使用分布式均值估计（DME）进行模型更新。我们开发了一个通信效率的私人DME，使用最近开发的多消息混洗（MMS）的隐私框架。我们分析了我们提出的DME方案，以表明它实现了顺序最优的隐私-通信-性能权衡，解决了[1]中的一个公开问题，即洗牌模型是否可以改善安全聚合中获得的权衡。这也解决了MMS模型中私有向量和的最佳权衡问题。我们通过一种新的隐私机制来实现它，该机制在不同分辨率的局部梯度向量上非均匀地分配隐私。这些结果被直接应用到私人分布式学习算法使用此私人梯度聚集迭代的保证。我们还数值评估私人DME算法。
2023-02-22 cs.CR cs.LG
The Tradeoff Between Privacy and Accuracy in Anomaly Detection Using Federated XGBoost
City University of Hong Kong（香港城市大学）；University of Miami（迈阿密大学）；Sun Yat-sen University（中山大学）；Dalian University of Technology（大连理工大学）
近年来，隐私问题引起了人们的广泛关注，特别是随着信息爆炸和众多数据采掘技术的出现，人们开始探索大量数据中的信息。在这种背景下，一种新的分布式学习范式联邦学习成为最近突出的分布式学习中的隐私问题，其中只有学习模型将被传输到服务器从分布式节点不泄露用户自己的数据，从而保护用户的隐私。本文提出了一种水平联邦XGBoost算法来解决联邦异常检测问题，其中异常检测的目的是从极端不平衡的数据集中识别异常，可以被认为是一个特殊的分类问题。我们提出的联邦XGBoost算法结合了数据聚合和稀疏联邦更新过程，以平衡隐私和学习性能之间的权衡。特别是，我们引入了虚拟数据样本聚合一组用户的数据在一个单一的分布式节点在一起。我们在本地节点中基于这些虚拟数据样本计算参数，并在中央服务器中聚合学习模型。在学习模型的升级过程中，我们更多地关注虚拟样本中之前错误分类的数据，从而生成稀疏的学习模型参数。通过仔细控制这些样本组的大小，我们可以在隐私和学习性能之间取得平衡。我们的实验结果表明，我们所提出的方案的有效性，通过与现有的国家的艺术。
2019-10-14 cs.CR cs.LG stat.ML
Trade-offs of Local SGD at Scale: An Empirical Study
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Facebook AI Research（脸书人工智能研究院）
随着数据集和模型变得越来越大，分布式训练已经成为允许深度神经网络在合理的时间内进行训练的必要组成部分。然而，分布式训练可能会有大量的通信开销，这会阻碍其可扩展性。减少这种开销的一种策略是在同步步骤之间独立地对每个工作线程执行多个非同步SGD步骤，这种技术称为本地SGD。我们进行了全面的实证研究，当地SGD和相关方法的大规模图像分类任务。我们发现，执行本地SGD是有代价的：较低的通信成本（从而更快的训练）伴随着较低的准确性。这一发现与先前工作中的小规模实验相反，表明当地SGD在规模上遇到了挑战。我们进一步表明，结合Wang等人的慢动量框架。（2020）在不需要额外沟通的情况下，始终提高准确性，暗示未来可能摆脱这种权衡的方向。
2021-10-15 cs.CV cs.LG
Distributed Variational Representation Learning
Huawei Technologies France（华为技术法国公司）；Université Paris-Est（巴黎东部大学）
分布式表示学习的问题是这样一个问题，其中多个信息源$X_1,\ldots,X_K$被单独处理，以便学习尽可能多的关于某些基本事实$Y$的信息。我们调查这个问题，从信息理论的理由，通过推广Tishby的集中式信息瓶颈（IB）的方法，分布式设置。具体地，$K$编码器$K \geq 2$以这样的方式单独地压缩它们的观测$X_1,\ldots,X_K$，使得所产生的表示共同地保留尽可能多的关于$Y$的信息。我们研究了离散无记忆（DM）和无记忆向量高斯数据模型。对于离散模型，我们建立了一类无记忆源（观测$X_1,\ldots,X_K$是有条件独立的$Y$）的复杂性（或速率）和相关性（或信息）之间的最佳权衡的单字母表征。对于向量高斯模型，我们提供了一个明确的表征的最佳复杂性相关性权衡。此外，我们开发了一个变分的复杂性相关性权衡的证据下限（ELBO）的分布式设置。我们还提供了两种算法，允许计算这个界限：i）一个Blahut-Arimoto型迭代算法，它能够通过迭代一组自洽方程来计算最佳的复杂性相关性编码映射，以及ii）一个变分推断型算法，其中编码映射由神经网络参数化，边界由马尔可夫采样近似，并用随机梯度下降进行优化。合成和真实数据集上的数值结果提供支持本文开发的方法和算法的效率。
2019-03-31 cs.LG stat.ML
Performance and Energy Trade-Off Analysis of Hierarchical Federated Learning for Plant Disease Classification
University of Zagreb（扎格雷布大学）；University of Thessaly（塞萨洛尼基大学）；University of Glasgow（格拉斯哥大学）；Trinity College Dublin（都柏林信任学院）；Italian National Research Council（意大利国家研究委员会）
本文分析了分层联邦学习在植物疾病分类中的性能与能耗权衡，提出了一种考虑能耗的优化框架，评估了不同模型聚合策略下的性能表现。
2026-04-28 cs.DC cs.LG
Towards Understanding Acceleration Tradeoff between Momentum and Asynchrony in Nonconvex Stochastic Optimization
Harbin Institute of Technology（哈尔滨工业大学）；Sensetime Group Limited（商汤集团有限公司）；Georgia Tech（佐治亚理工学院）
异步动量随机梯度下降算法是分布式机器学习中最常用的算法之一。然而，由于目前的技术限制，它对这些复杂的非凸问题的收敛性在很大程度上仍然未知。因此，在本文中，我们建议通过一个更简单但非平凡的非凸问题-流式PCA来分析该算法，这有助于我们更好地理解Aync-MSGD，即使是更一般的问题。具体来说，我们建立了渐近收敛速度的Async-MSGD流PCA扩散近似。我们的研究结果表明，基本之间的权衡和动量：为了确保收敛和加速通过momentary，我们必须减少动量（与Sync-MSGD相比）。据我们所知，这是第一次理论上的尝试，了解异步MSGD分布式非凸随机优化。提供了流PCA和训练深度神经网络的数值实验来支持我们对Async-MSGD的发现。
2021-01-13 cs.LG stat.ML
A comparison between black-, grey- and white-box modeling for the bidirectional Raman amplifier optimization
Technical University of Denmark（丹麦技术大学）；Politecnico di Torino（都灵理工大学）
本文比较了白盒、灰盒和黑盒模型在优化双向分布式拉曼放大器以实现目标功率分布时的性能，发现三类方法均可在80公里C波段实现1至3.6 dB的平坦度，并分析了各自在灵活性、优化速度和数据需求上的适用性。
2024-07-31 cs.CE cs.LG physics.app-ph
Adaptive Stochastic Gradient Descent for Fast and Communication-Efficient Distributed Learning
Technical University of Munich（慕尼黑工业大学）；Indian Institute of Science（印度科学学院）；US Army Research Laboratory（美国陆军研究实验室）；Rutgers University（罗格斯大学）
我们考虑这样一种设置，其中主节点希望在$n$工作节点上运行分布式随机梯度下降（SGD）算法，每个工作节点都有一个数据子集。分布式SGD可能遭受离散者的影响，即，缓慢或反应迟钝的工人造成延误。文献中研究的一种解决方案是在每次迭代时等待最快的$k<n$工人的响应，然后更新模型，其中$k$是固定参数。对$k$的值的选择呈现了运行时间（即，收敛速度）和模型的误差。为了优化错误-运行时权衡，我们研究了具有自适应~ $k$的分布式SGD，即，在算法的整个运行时间内改变$k$。首先，我们设计了一个自适应的政策，为不同的$k$，优化这种权衡的基础上的误差上限作为一个函数的挂钟的时间，我们得出。然后，我们提出并实现了一个算法，自适应分布式SGD是基于统计启发式。我们的研究结果表明，自适应版本的分布式SGD可以达到更低的误差值在更短的时间相比，非自适应实现。此外，结果还表明，自适应版本是通信效率，其中所需的主和工人之间的通信量小于非自适应版本。
2022-08-04 cs.DC cs.IT cs.LG
Adaptive Communication Strategies to Achieve the Best Error-Runtime Trade-off in Local-Update SGD
Carnegie Mellon University（卡内基梅隆大学）
大规模机器学习训练，特别是分布式随机梯度下降，需要对固有的系统可变性（如节点离散和随机通信延迟）具有鲁棒性。这项工作考虑了一个分布式的训练框架，其中每个工作节点被允许执行本地模型更新，并定期平均得到的模型。我们分析了误差收敛的真实速度与挂钟时间（而不是迭代次数）的关系，并分析了它如何受到平均频率的影响。主要贡献是设计的AdaComm，一个自适应的通信策略，开始与不频繁的平均，以节省通信延迟和提高收敛速度，然后增加通信频率，以实现低错误平层。训练深度神经网络的严格实验表明，AdaComm可以比完全同步的SGD花费更少的时间$3 \times$，并且仍然达到相同的最终训练损失。
2019-03-07 cs.DC cs.LG stat.ML
Straggler-aware Distributed Learning: Communication Computation Latency Trade-off
Imperial College London（帝国理工学院）；University of Maryland（马里兰大学）
当梯度下降（GD）被扩展到多个并行工作者以用于大规模机器学习问题时，其每次迭代的计算时间受到离散工作者的限制。可以通过分配冗余计算和跨数据和计算进行编码来容忍离散工作者，但是在大多数现有方案中，每个非离散工作者在完成其所有计算之后每次迭代向参数服务器（PS）发送一条消息。施加这样的限制导致两个主要缺点：由于对离散行为的不准确预测而导致的过度计算，以及由于将工人视为离散者/非离散者并丢弃由离散者进行的部分计算而导致的利用不足。在本文中，为了克服这些缺点，我们考虑多消息通信（MMC），允许多个计算从每个工人每次迭代，并设计相应的掉队避免技术。然后，我们分析了如何有效地利用所提出的设计，以寻求计算和通信延迟之间的平衡，以最大限度地减少整体延迟。此外，通过大量的模拟，无论是基于模型的，还是在Amazon EC2服务器上的实际实现，我们确定了这些设计在不同设置中的优点和缺点，并证明了MMC可以帮助改进现有的掉队者避免方案。
2020-04-10 cs.DC cs.IT cs.LG
