Scheduling in distributed systems: A cloud computing perspective
调度本质上是一个决策过程，它通过确定活动在可用资源集上的执行顺序来实现多个活动之间的资源共享。分布式系统的出现给计算机系统的调度带来了新的挑战，包括集群、网格和最近的云。另一方面，过多的研究，使它很难为新人的研究人员理解不同的调度问题和文献中提出的策略之间的关系，这阻碍了新的和相关的研究途径的识别。在本文中，我们介绍了分布式系统中的调度问题的分类，提出了一个分类法，结合最近的发展，特别是那些在云计算。我们回顾了调度文献，以证实分类和分析的兴趣，在不同的分支提出的分类。最后，我们确定相关的未来方向，在分布式系统的调度。
2019-01-10 cs.DC cs.DS
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory（阿贡国家实验室）；Wayne State University（韦恩州立大学）
在分布式机器学习中，跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器，实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中，我们解决了强凸，凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法，（加速）梯度上升多随机梯度下降（GA-MSGD），适用于分布式优化的拉格朗日固有地包含本地更新，因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是，对于强凸目标，（加速）GA-MSGD在通信轮次中实现线性收敛，尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质，使得对偶问题是强凹的。当与Catalyst框架集成时，我们的方法在各种设置中实现了接近最佳的通信复杂性，而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
A Distributed Computing Perspective of Unconditionally Secure Information Transmission in Russian Cards Problems
考虑了$A$通过被窃听者$C$偷听到的公共通告向$B$秘密发送信息的问题。为了通过确定性协议来实现这一点，它们的输入必须是相关的。相关输入使用一副牌来表示。存在公知的签名$(a,b,c)$，其中$n = a + b + c + r$和$A$得到一副$n$卡中的$a$卡，$B$得到$b$卡，而$C$得到$c$卡。使用确定性协议，$A$根据她的手来决定其通告。利用编码理论、Johnson图和加法数论中的技术，从分布式计算理论出发，分析了$A$需要发送的信息量，同时防止$C$学习到一手牌.在一个极端，即广义的俄罗斯牌问题中，$B$希望学习$A$的所有牌，而在另一个极端，$B$希望学习$A$的牌。
2020-09-28 cs.CR cs.DC cs.DM
Local Problems on Trees from the Perspectives of Distributed Algorithms, Finitary Factors, and Descriptive Combinatorics
我们研究了分布局部算法，iid过程的有限因子，和描述性组合学在正则树的上下文中的联系。我们扩展了Borel确定性技术的标记来自描述组合学，并使其适应分布式计算领域。使用这种技术，我们证明了确定性的分布式$Ω(\log n)$轮下界的问题，从一个自然类的同态问题。有趣的是，这些下界似乎超出了强大的轮消除技术负责所有实质性的地方下界的最后几年目前达到。我们的关键技术成分是一个新的ID图技术，我们希望是独立的利益。证明了局部问题存在Baire可测着色当且仅当它存在具有局部复杂性的局部算法$O(\log n)$，推广了Bernshteyn的Baire可测着色分类.证明的一个关键成分是一个新的和简单的表征，可以解决$O(\log n)$轮的本地问题。我们补充这一结果，显示分离的复杂性类分布计算，有限因素，和描述性组合。最值得注意的是，这类问题，允许一个分布式算法与sublogarithmic随机局部复杂性是无法比拟的一类问题的Borel解决方案。我们希望我们的处理将有助于将所有三个视角视为共同的定域性理论的一部分，其中我们遵循[Bernshteyn-arXiv 2004.04905]的富有洞察力的论文。
2021-06-03 cs.DC cs.DS math.CO
Motivating Workers in Federated Learning: A Stackelberg Game Perspective
由于训练数据的大规模，分布式学习方法，如联邦学习最近得到了关注。然而，分布式学习的收敛速度受到异构工人的性能。在本文中，我们考虑了一种激励机制，工人，以减轻延迟完成每一批。我们解析地得到了一个Stackelberg对策的均衡解。我们的数值结果表明，在预算有限的情况下，模型所有者应该明智地决定工人的数量，因为工人数量提供的多样性和完成训练的延迟之间存在权衡。
2019-08-06 cs.DC
Distributed Learning as a Service: The Developer's Perspective
National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）
本文从开发者视角展示分布式学习即服务（DLaaS），通过管理仪表板声明式启用差分隐私、分割学习、分层聚合和知识蒸馏，无需修改客户端代码，并在智能家居唤醒词任务上验证完整服务生命周期，实现实时设备端检测。
2026-09-28 cs.DC cs.LG cs.NI
Characterizing the Efficiency of Distributed Training: A Power, Performance, and Thermal Perspective
Georgia Institute of Technology（佐治亚理工学院）
本文从功率、性能和热学角度系统刻画了LLM在多GPU平台上的分布式训练效率，揭示了并行策略、微批次大小与硬件拓扑对吞吐量和热节流的复杂影响，并为未来系统设计提供建议。
2025-09-19 cs.DC cs.LG
Distributed Deep Reinforcement Learning: An Overview
Sharif University of Technology（谢里夫理工大学）
深度强化学习（Deep Reinforcement Learning，DRL）是一个非常活跃的研究领域。然而，一些技术和科学问题需要解决，其中我们可以提到数据效率低下，探索-开发权衡和多任务学习。因此，引入了DRL的分布式修改;代理可以同时在许多机器上运行。在这篇文章中，我们提供了一个调查的分布式方法在DRL的作用。我们概述了该领域的状态，通过研究的关键研究工作，我们如何可以使用分布式方法在DRL有显着的影响。我们选择从分布式学习的角度来概述这些论文，而不是强化学习算法的创新方面。此外，我们评估这些方法在不同的任务，并比较他们的表现与对方和单个演员和学习者代理。
2020-11-22 cs.DC cs.LG
A Generalized Look at Federated Learning: Survey and Perspectives
联邦学习（FL）是指一种分布式机器学习框架，涉及从多个分散的边缘客户端学习，而无需共享本地数据集。这种分布式策略可以防止数据泄漏，并支持设备上的训练，因为它可以根据本地模型更新来更新全局模型。尽管FL提供了一些优势，包括数据隐私和可扩展性，但它也带来了挑战，例如联邦网络中数据的统计和系统异构性，通信瓶颈，隐私和安全问题。本调查包含了对以前的工作，研究和实验的系统总结，并提出了一系列应用和用例的FL的可能性列表。除此之外，实施FL的各种挑战和围绕相应的挑战有希望的方向。
2023-03-26 cs.DC
Grand Perspective: Load Shedding in Distributed CEP Applications
针对分布式多算子 CEP 的过载瓶颈，论文利用 CEP 定制选择率函数与线性规划动态配置负载丢弃，在合成与真实数据上实现及时处理和输出质量最优。
2023-09-29 cs.DC
Distributed Optimization: Convergence Conditions from a Dynamical System Perspective
ACCESS Linnaeus Centre, School of Electrical Engineering, Royal Institute of Technology（林奈中心电气工程学院，皇家理工学院）
本文从动力系统角度研究分布式优化问题，证明局部目标函数解集非空交集是全局最优一致性的关键条件，并针对固定图和时变图分别给出控制律设计。
2012-10-24 cs.DC cs.SY eess.SY
Cops and Lethal Robber on Rings: A Distributed Perspective
Indian Institute of Technology Ropar（印度技术研究所罗帕尔分校）
本文在分布式设置中引入可杀死警察的致命强盗，定义警察与致命强盗问题，证明环上n名警察不足，并提出需n+⌊log n⌋+4名警察的算法。
2026-09-09 cs.DC
Critical Analysis of Middleware Architectures for Large Scale Distributed Systems
分布式计算正日益被视为大规模分布式系统（LSDS）的下一个发展阶段。然而，大规模资源共享的愿景在许多领域还没有成为现实-网格计算是一个不断发展的计算领域，其中标准和技术仍在开发中，以实现这一新的范例。因此，在本文中，我们分析了目前的发展中间件工具LSDS，从多个角度：架构，应用和市场研究。对于每一个角度，我们感兴趣的是正在进行的项目中使用的相关技术，现有的产品或服务以及有用的设计问题。最后，基于这种方法，我们得出了一些结论，在这方面的未来研究方向。
2009-10-15 cs.DC cs.NI
Communication optimization strategies for distributed deep neural network training: A survey
National University of Defense Technology（国防科技大学）
高性能计算和深度学习的最新趋势导致了大规模深度神经网络训练研究的激增。然而，计算节点之间频繁的通信需求大大降低了整体训练速度，这导致了分布式训练的瓶颈，特别是在网络带宽有限的集群中。为了减轻分布式通信的缺点，研究人员提出了各种优化策略。在本文中，我们提供了一个全面的调查，从算法的观点和计算机网络的角度来看，通信策略。算法优化侧重于减少分布式训练中使用的通信量，而网络优化则侧重于加速分布式设备之间的通信。在算法层面，我们描述了如何减少通信轮数和每轮传输的比特数。此外，我们阐明了如何重叠计算和通信。在网络层次，我们讨论了网络基础设施，包括逻辑通信方案和网络协议所造成的影响。最后，我们推断了未来潜在的挑战和新的研究方向，以加速分布式深度神经网络训练的通信。
2020-11-23 cs.DC cs.LG
Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich（苏黎世联邦理工学院）
深度神经网络（DNN）正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战，技术范围从分布式算法到低级电路设计。在这次调查中，我们从理论的角度来描述这个问题，其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后，我们回顾并建模DNN中不同类型的并发：从单个操作符，通过网络推理和训练中的并行性，到分布式深度学习。我们讨论异步随机优化，分布式系统架构，通信方案和神经结构搜索。基于这些方法，我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
Distributed Algorithms for Internet-of-Things-enabled Prosumer Markets: A Control Theoretic Perspective
University College Dublin（都柏林大学学院）；University of Passau（帕绍大学）；Concordia University（康考迪亚大学）
本文提出一种基于控制论的分布式算法，用于调节产消者社区中的产消者数量，每个产消者具有耦合其资源时间平均生产与消费的成本函数，并通过概率方式做出二元决策。该方法通过中央机构广播反馈信号实现信息交换，无需直接通信，最终实现渐近最优。
2019-03-25 cs.DC cs.MA cs.SY
Towards a Concurrent and Distributed Route Selection for Payment Channel Networks
支付渠道网络使用链下交易来提供几乎任意的交易费率。在本文中，我们提供了一个新的角度来看待支付渠道，并认为他们作为一个流网络。我们提出了一个扩展的推重新标记算法，以找到支付通道网络中的支付流。我们的算法使分布式和并发执行，而不违反容量限制。为此，我们引入了容量锁定的概念。我们证明流是有效的，目前的第一个结果。
2017-08-08 cs.CR cs.DC cs.NI
Benchmarking Quantum Data Center Architectures: A Performance and Scalability Perspective
Quantum Lab, Cisco Research（思科研究量子实验室）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文评估了四种量子数据中心架构的性能与可扩展性，分析了拓扑结构、调度策略和物理参数对分布式量子计算性能的影响。
2026-01-10 cs.DC cs.NI cs.PF
Information-Theoretic Perspective of Federated Learning
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Monash University（莫纳什大学）
分布式机器学习的一种方法是在本地数据集上训练模型，并将这些模型聚合成单个更强大的模型。这种形式的并行化的一个流行实例是联邦学习，其中节点周期性地将其本地模型发送到协调器，该协调器聚合它们并将聚合重新分配回来以继续使用它进行训练。最常用的聚合形式是平均模型参数，例如，神经网络的权重。然而，由于神经网络的损失表面的非凸性，平均可能导致有害的影响，它仍然是一个悬而未决的问题，在何种条件下平均是有益的。在本文中，我们研究这个问题的信息论的角度来看：我们测量的互信息之间的表示和输入，以及表示和标签在本地模型，并将其与各自的信息中包含的平均模型的表示。我们的实证结果证实了之前关于神经网络平均的实际有用性的观察，即使局部数据集分布变化很大。此外，我们获得更多的见解的影响，聚合频率的信息流，从而对分布式学习的成功。这些见解将有助于改进当前的同步过程，并进一步了解模型聚合的效果。
2019-11-15 cs.DC cs.IT cs.LG
Ethereal: Divide and Conquer Network Load Balancing in Large-Scale Distributed Training
本文挑战数据包喷洒必要性，提出单路径传输配合流拆分可接近其性能，并设计Ethereal算法，在链路故障下较数据包喷洒和REPS分别降低完成时间30%和40%。
2025-02-25 cs.DC cs.NI
A Comprehensive Perspective on Pilot-Job Systems
Pilot-Job系统在支持分布式科学计算方面发挥着重要作用。开放科学网格社区每年使用它们来消耗超过7亿个CPU小时，并且每天为全球LHC计算网格上的ATLAS实验处理多达100万个作业。随着任务级并行在高性能计算中的重要性日益增加，Pilot-Job系统也正在超越传统领域。尽管对科学研究的影响越来越大，但对飞行员工作系统的定义并没有达成一致意见，也没有对潜在的抽象和范式有明确的理解。试点工作的实现已经激增，没有共享的最佳实践或开放的接口，也没有什么互操作性。最终，这会限制Pilot-Jobs的健壮性、可移植性和可维护性，从而阻碍Pilot-Jobs的全面影响。本文提供了一个全面的分析，飞行员工作系统批判性地评估其动机，演变，属性和实施。本文的三个主要贡献是：（i）的动机和演变的Pilot-Job系统的分析;（ii）的试点抽象的轮廓，其区分逻辑组件和功能，其术语，其架构模式;和（iii）的核心和辅助属性的Pilot-Job系统的描述和分析的七个范例Pilot-Job实现。总之，这些贡献说明了试点范例，它的一般性，以及它如何有助于解决分布式科学计算的一些挑战。
2016-03-05 cs.DC cs.SE
Distributed Detection in Tree Networks: Byzantines and Mitigation Techniques
在本文中，分布式检测问题的树网络中存在拜占庭被认为是。得到了使融合中心处的漏检误差指数最小的最优攻击策略的封闭表达式。我们还从网络设计师（FC）的角度来看待这个问题。我们研究了在一个树形网络中存在拜占庭的最优分布式检测参数的设计问题。接下来，我们将FC和攻击者之间的战略互动建模为领导者-追随者（Stackelberg）博弈。该公式提供了一种预测攻击者和防御者（FC）均衡策略的方法，该方法可用于实现最佳检测器。最后，提出了一个基于信誉的方案来识别拜占庭，其性能进行了分析评估。我们还提供了一些数值例子来深入了解解决方案。
2014-10-22 cs.CR cs.DC math.OC
