Task Scheduling in Geo-Distributed Computing: A Survey
本综述系统梳理了地理分布式计算中面向性能、公平与容错的任务调度方法，并指出关键挑战与未来方向。
2025-01-26 cs.DC
Knowledge Graphs-Driven Intelligence for Distributed Decision Systems
University of Messina（墨西拿大学）
本文提出基于知识图谱的分布式决策系统智能方法，通过知识共享范式实现去中心化协调，提升复杂动态环境下的决策能力。
2026-02-07 cs.DC
A hierarchy of local decision
受所谓分布式图自动机最近结果的启发，我们在分布式网络计算的框架中扩展了分布式决策的概念。我们表明，通过使用分布式决策机制之间的相互作用的证明者和disprover，证书的大小分发到节点证明一个给定的网络属性可以大大减少。例如，我们证明了最小生成树可以认证$n$ -节点图中的$O(\log n)$位证书，只有一个之间的相互作用的证明者和disprover，而它是已知的，认证MST需要$Ω(\log^2 n)$位证书，如果只有证明者可以采取行动。对于一些简单的图形属性，这种改进甚至可以是指数级的。例如，已知如果只有证明者可以动作，则证明非平凡自同构的存在需要$Ω(n^2)$位。我们发现，有一个协议，证明者和disprover之间的两个相互作用，使证明非平凡的自同构与$O(\log n)$位证书。这些结果是通过定义和分析一个本地层次的决策，推广了经典的概念证明标签计划和本地可检查的证明。
2016-02-29 cs.DC
A Survey of Coded Distributed Computing
分布式计算由于具有高可靠性、可扩展性、计算速度和成本效益等优点，已经成为大规模任务计算的常用方法。然而，分布式计算面临着与通信负载和离散效应相关的关键问题。特别地，计算节点需要彼此交换中间结果以便计算最终结果，并且这显著增加了通信开销。此外，分布式计算网络可以包括间歇性地运行得更慢的离散节点。这导致执行计算任务所需的总时间更长，从而限制了分布式计算的性能。为了解决这些问题，编码的分布式计算（CDC），即，编码理论技术和分布式计算的组合最近已被提出作为有希望的解决方案。编码理论技术已经证明在WiFi和蜂窝系统中有效地处理信道噪声。因此，CDC可以显著降低通信负载，减轻掉队者的影响，提供容错性、隐私性和安全性。在本调查中，我们首先介绍CDC的基本原理，然后是基本的CDC方案。然后，我们回顾和分析了一些CDC的方法，提出了减少通信成本，减轻掉队的影响，并保证隐私和安全。此外，我们提出并讨论了CDC在现代计算机网络中的应用。最后，我们强调了与疾病预防控制相关的重要挑战和有前途的研究方向
2020-08-20 cs.DC
madupite: A High-Performance Distributed Solver for Large-Scale Markov Decision Processes
本文提出高性能分布式 MDP 求解器 madupite，通过多节点分布式内存与计算、C++核心和Python接口支持多种方法，可求解数百万状态的大规模决策问题。
2025-02-20 cs.DC
Consistency models in distributed systems: A survey on definitions, disciplines, challenges and applications
复制机制解决了大数据的一些挑战，如数据持久性，数据访问和容错。然而，复制本身产生了另一个挑战，即分布式系统中的一致性。可伸缩性和可用性是分布式系统中复制所依据的具有挑战性的标准，而分布式系统本身需要一致性。分布式计算系统中的一致性问题已经在三个不同的应用领域得到了应用，如系统体系结构、分布式数据库和分布式系统。一致性模型根据其适用性可从强到弱排序。我们的目标是提出一个新的观点，不同的一致性模型在分布式系统中使用。本研究提出两种不同类别的一致性模型。最初，一致性模型被分为三组：以数据为中心的模型、以客户端为中心的模型和混合模型。每一个，然后分为三个子类的传统，扩展，和新颖的一致性模型。因此，概念和过程用数学术语表示，引入这些术语是为了在没有实现的情况下呈现我们的模型的行为。此外，我们还调查了一致性方面的不同挑战，即，可用性、可伸缩性、安全性、容错、延迟、违规和陈旧，其中后两个，即违规和陈旧，在一致性和权衡平衡方面起着最关键的作用。最后，研究了每种一致性模型的贡献程度以及分布式系统中对它们的需求。
2019-02-08 cs.DC
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近，极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现，旨在不仅提供一个全面的介绍该领域的发展，但也提供了未来的研究方向，突出的问题，需要进一步发展。
2014-09-09 cs.DC cs.IR
How to Evaluate Distributed Coordination Systems? -- A Survey and Analysis
本文综述并分析分布式协调系统的评估机制，指出现有基准的不足，并提出评估性能、可扩展性、可用性和一致性的关键指标与参数需求。
2025-10-27 cs.DC
Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
本综述探讨了分布式基础设施上大型语言模型（LLMs）训练的最新进展，涵盖AI加速器、并行策略、计算通信内存优化及系统可靠性，并指出光计算等创新方案的需求。
2024-07-29 cs.DC
Thinking Like a Vertex: a Survey of Vertex-Centric Frameworks for Distributed Graph Processing
顶点为中心的编程模型是一种已建立的计算范例，最近被纳入分布式处理框架，以解决大规模图形处理中的挑战。超过标准机器内存容量的十亿节点图并不能很好地得到流行的大数据工具（如MapReduce）的支持，这些工具对于PageRank等迭代图算法来说性能很差。作为回应，一种新型的框架向像顶点一样思考（TLAV）提出了挑战，并从顶点而不是图的角度实现了用户定义的程序。这种方法提高了局部性，证明了线性可伸缩性，并提供了一种自然的方式来表达和计算许多迭代图算法。这些框架易于编程，适用范围广泛，但与操作系统一样，由几个复杂的、相互依赖的组件组成，为了在规模上获得最佳性能，有必要对这些组件进行透彻的理解。为此，TLAV框架的第一次全面调查。本文综述了以顶点为中心的图处理方法，将TLAV框架分解为四个主要组成部分并分别进行了分析，对TLAV实现进行了回顾和分类。
2015-07-15 cs.DC
The Problem of Distributed Consensus: A Survey
综述了分布式共识问题的解决方法，特别关注基于元胞自动机和相关系统的方法。各种新的结果，以及该领域的历史和广泛的参考书目。分布式共识在新一代区块链相关系统中具有现实意义。
2021-06-24 cs.DC cs.DM nlin.CG
A Survey of ADMM Variants for Distributed Optimization: Problems, Algorithms and Features
通过协调终端智能设备或微处理器参与协同计算以实现系统级目标，分布式优化越来越受到工程和计算机科学的青睐。乘子交替方向法（ADMM）具有模块化结构、收敛性好、易于实现和灵活性高等优点，已成为分布式优化中最受欢迎的工具之一。在过去的十年中，ADMM经历了广泛的发展。这些发展既表现在处理了更普遍的问题，也表现在使执行工作更加有效。具体地，该方法已经被推广到广泛的问题类别（即，多块、耦合目标、非凸等）。此外，它已被广泛加强更有效的实施，如提高收敛速度，更容易的子问题，更高的计算效率，灵活的通信，与不准确的信息兼容，强大的通信延迟等，这些发展导致了大量的ADMM的变种庆祝广泛的领域，从智能电网，智能建筑，无线通信，机器学习和超越。然而，缺乏一项调查来记录这些事态发展并查明结果。为了实现这一目标，本文提供了一个全面的调查ADMM变种。特别是，我们识别的五个主要类别的问题，一直最关心的和讨论相关的ADMM变体的主要思想，主要假设，收敛行为和主要特征。此外，我们指出了几个重要的未来研究方向要解决。这项调查预计将作为一个教程，在广泛的领域开发分布式优化，并确定现有的理论研究差距。
2022-08-23 cs.DC
A Survey of End-to-End Modeling for Distributed DNN Training: Workloads, Simulators, and TCO
本文综述分布式 DNN 训练模拟器，从工作负载表示、仿真基础设施和含碳排放的 TCO 模型三维度比较现有工具，并指出趋势、局限与研究挑战。
2025-06-10 cs.DC
Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions
在一些新兴的应用场景下，例如在智慧城市、大型基础设施的运营监控、可穿戴辅助和物联网中，必须在非常短的延迟下处理连续的数据流。已经开发了包括多个软件引擎的若干解决方案，用于以可扩展且高效的方式处理无界数据流。最近，已经提出了使用边缘计算进行数据流处理的架构。本文综述了流处理引擎和流处理机制的最新发展，以利用流处理中云计算的资源弹性特性。资源弹性允许应用程序或服务根据波动的需求向外扩展/向内扩展。虽然这些功能已被广泛研究的企业应用程序，流处理提出了挑战，实现弹性系统，可以根据当前的负载，有效的资源管理决策。在包含边缘和云计算资源的高度分布式环境中，弹性变得更具挑战性。这项工作探讨了其中一些挑战，并讨论了文献中提出的解决方案，以解决这些问题。
2017-12-02 cs.DC
Reactive Proof Labeling Schemes for Distributed Decision
我们将证明标记方案的定义推广到反应系统，即配置应该永远保持变化的系统。作为一个例子，我们解决了主要的经典测试案例的反应任务，即令牌传递的任务。在网络为树、匿名环和一般图的情况下，给出了不同的RPLS，并分析了RPLS标签的大小。我们还讨论了是否存在RPLS的问题。首先，在积极的一面，我们表明，存在一个RPLS的任何分布式任务的一个家庭的图具有唯一的身份。有趣的是，对于匿名网络的情况（甚至对于环的特殊情况），即使节点的数量n已知，也没有令牌传递算法是可能的。然而，我们表明，RPLS是可能的。在消极的一面，我们表明，如果一个下降的假设，n是已知的，那么建设成为不可能的。
2020-11-04 cs.DC
Survey on Token-Based Distributed MutualExclusion Algorithms
本文综述了基于令牌的分布式互斥算法，涵盖多种网络模型、性能指标、容错策略及k-互斥等变体，并展望了机器学习预测路由和区块链抗对抗等未来方向。
2025-02-07 cs.DC
Byzantine Fault Tolerance in Distributed Machine Learning : a Survey
拜占庭容错（Byzantine Fault Tolerance，BFT）是分布式机器学习（Distributed Machine Learning，DML）中最具挑战性的问题之一，其定义为容错系统在恶意组件存在的情况下的恢复能力。拜占庭故障仍然很难处理，因为它们的不受限制的性质，这导致生成任意数据的可能性。在DML中实现BFT的研究工作一直在进行。最近的一些研究考虑了DML中的各种BFT方法。然而，有些方面是有限的，如少数的方法分析，并没有分类的技术中使用的研究方法。在本文中，我们提出了一个调查的最新工作围绕BFT在DML，主要是在一阶优化方法，特别是随机梯度下降（SGD）。我们强调关键技术以及基本方法。我们提供了一个说明性的描述中使用的技术在DML的BFT，BFT方法的基本技术的背景下，提出了一个分类。这种分类是建立在特定的标准，如通信过程，优化方法和拓扑结构设置，这些标准表征了未来应对开放挑战的工作方法
2022-12-04 cs.DC
Lazy Decomposition for Distributed Decision Procedures
软件和硬件验证自动化工具的日益普及对底层决策过程提出了越来越高的要求。本文提出了一个分布式决策过程（一阶问题）的框架克雷格插值的基础上。公式是以一种懒惰的方式分发的，即，而不使用昂贵的分解算法。潜在的模型被证明是不正确的，通过使用克雷格插值和解。具有挑战性的命题可满足性问题的实验结果表明，我们的方法是能够优于传统的解决技术，即使不使用额外的资源。
2011-11-02 cs.DC cs.LO cs.SE
Local Distributed Decision
分布式网络算法的一个中心主题是理解和处理局部性问题。受序贯复杂性理论的启发，本文重点研究了分布式决策问题的复杂性理论。在局部性的上下文中，解决决策问题需要处理器独立地检查它们的局部邻域，然后共同决定给定的全局输入实例是否属于某个指定的语言。本文介绍了几类分布式决策问题，证明了它们之间的分离性，并给出了一些完整的问题。更具体地说，我们认为标准的计算模型，并定义LD（本地决策）作为一类决策问题，可以解决在恒定数量的通信轮。我们首先研究随机化是否有助于本地分布式计算，以及在多大程度上的有趣的问题。具体来说，我们定义相应的随机化类BPLD，并询问LD是否=BPLD。我们提供了一个部分的答案，这个问题表明，在许多情况下，随机化并没有帮助决定遗传语言。此外，我们定义的概念，当地的多一个减少，并引入（不确定性）类NLD的决策问题，存在一个证书，可以验证在恒定数量的通信轮。我们证明了存在一个NLD-完全问题。我们还表明，存在的问题，而不是在全国民主联盟。另一方面，我们证明了类NLD#n，这是NLD假设每个处理器可以访问一个oracle，提供了网络中的节点数，包含所有（可判定）的语言。对于这类问题，我们也提供了一个自然的完全问题。
2011-03-03 cs.CC cs.DC
Survey of Major Load Balancing Algorithms in Distributed System
对分布式系统（包括云技术、集群系统、网格系统）中最常用的负载均衡算法进行了分类。按照分类对负载均衡算法的类型进行了比较分析，指出了每类算法的优点和缺点。每个算法的性能指标进行了说明。
2019-04-11 cs.DC cs.NI
Distributed or Monolithic? A Computational Architecture Decision Framework
分布式架构在许多复杂的技术和社会技术系统中无处不在，因为它们在改善不确定性管理，适应多个利益相关者以及增加可扩展性和可演化性方面发挥了作用。这种与单片架构的背离为系统提供了更大的灵活性和鲁棒性，以响应其在其寿命期间可能面临的不确定性。分布式架构不仅提供了好处，因为它会增加系统的成本和复杂性，并导致潜在的不稳定性。然而，这种权衡背后的机制类似于广泛研究的从集成到模块化架构的过渡。在本文中，我们使用一个概念性的决策框架，统一的模块化和分布式架构的五阶段系统架构频谱。我们添加了一个广泛的计算层的框架，并解释这可以提高决策的架构的模块化水平。然后，我们将其应用于美国国防高级研究计划局（DARPA）的分馏卫星计划的简化演示。通过模拟，我们计算的净价值，获得（或失去）从单片架构迁移到分布式架构，并显示这个值如何变化的环境和各种系统参数的不确定性的函数。此外，考虑到分布式架构固有的不确定性，我们使用风险价值作为失去分布式架构价值的风险度量。
2016-08-02 cs.DC cs.SE
No Peek: A Survey of private distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
我们调查分布式深度学习模型，以进行训练或推理，而无需访问来自客户端的原始数据。这些方法旨在保护数据中的机密模式，同时仍然允许服务器训练模型。比较了联邦学习、分裂学习和大批量随机梯度下降的分布式深度学习方法，以及神经网络背景下的差分隐私、同态加密、不经意传输和乱码电路的隐私和安全方法。我们研究了它们在计算资源、数据泄漏和通信效率方面的优势、局限性和权衡，并分享了我们预期的未来趋势。
2018-12-08 cs.DC cs.LG stat.ML
Communication optimization strategies for distributed deep neural network training: A survey
National University of Defense Technology（国防科技大学）
高性能计算和深度学习的最新趋势导致了大规模深度神经网络训练研究的激增。然而，计算节点之间频繁的通信需求大大降低了整体训练速度，这导致了分布式训练的瓶颈，特别是在网络带宽有限的集群中。为了减轻分布式通信的缺点，研究人员提出了各种优化策略。在本文中，我们提供了一个全面的调查，从算法的观点和计算机网络的角度来看，通信策略。算法优化侧重于减少分布式训练中使用的通信量，而网络优化则侧重于加速分布式设备之间的通信。在算法层面，我们描述了如何减少通信轮数和每轮传输的比特数。此外，我们阐明了如何重叠计算和通信。在网络层次，我们讨论了网络基础设施，包括逻辑通信方案和网络协议所造成的影响。最后，我们推断了未来潜在的挑战和新的研究方向，以加速分布式深度神经网络训练的通信。
2020-11-23 cs.DC cs.LG
From Distributed Machine Learning to Federated Learning: A Survey
Baidu Inc.（百度公司）；Auburn University（奥本大学）；University of Oregon（俄勒冈大学）
近年来，数据和计算资源通常分布在终端用户、各个区域或组织的设备中。由于法律或法规的限制，分布式数据和计算资源不能在不同地区或组织之间直接共享，以执行机器学习任务。联邦学习是一种利用分布式数据和计算资源的有效方法，可以协同训练机器学习模型，同时遵守法律法规，确保数据安全和数据隐私。在本文中，我们提供了一个全面的调查现有的工作联邦学习。我们提出了一个功能架构的联邦学习系统和相关技术的分类。此外，我们提出了分布式训练，数据通信，FL系统的安全性。最后，我们分析了它们的局限性，并提出了未来的研究方向。
2022-03-25 cs.AI cs.DC cs.LG
A Comprehensive Survey on Distributed Training of Graph Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Griffith University（格里菲斯大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文系统综述了图神经网络分布式训练的研究进展，按工作流程对其分类，梳理了计算与通信模式及优化技术，介绍了软硬件平台，并与深度神经网络分布式训练进行对比，指出了该领域的独特性和未来研究方向。
2023-11-29 cs.DC cs.LG
Resource Allocation and Workload Scheduling for Large-Scale Distributed Deep Learning: A Survey
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（深圳北理莫斯科大学人工智能研究院）；Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University（深圳北理莫斯科大学粤港澳情感智能与普适计算联合实验室）；School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）；Department of Electrical and Computer Engineering, The University of British Columbia（不列颠哥伦比亚大学电气与计算机工程系）
该综述系统梳理2019–2024年大规模分布式深度学习在训练与推理中的资源分配和工作负载调度研究，分析资源类型、调度粒度、性能目标、异构性与容错等挑战，并以大语言模型训练为例展望未来方向。
2024-06-12 cs.AI cs.DC
Distributed Decision Through Self-Synchronizing Sensor Networks in the Presence of Propagation Delays and Asymmetric Channels
在本文中，我们提出并分析了一种分布式算法，实现全局最优的决策，无论是估计或检测，通过线性耦合的积分器初始化与本地测量之间的自同步机制。我们建模的节点之间的相互作用作为一个有向图的权重（可能）依赖于无线电信道，我们提出特别注意的传播延迟发生在传感器之间的数据交换的效果，作为网络几何形状的函数。我们得到的必要和充分条件，建议的系统达成共识的全局最优决策统计。本文证明了一个重要结果：对于任意有界时滞条件，当且仅当有向图是拟强连通的，该算法以指数收敛速度达到一致性.我们提供了一个封闭的形式表达的全球共识，表明延迟的影响是，在一般情况下，在最后的决定中引入的偏见。最后，我们利用我们的封闭形式的表达式设计一个双步骤的共识机制，能够提供一个无偏的估计与最小的额外复杂性，而不需要知道或估计的信道参数。
2007-09-19 cs.DC cs.MA
A Survey From Distributed Machine Learning to Distributed Deep Learning
School of Electrical and Computer Engineering, University of Tehran（德黑兰大学电气与计算机工程学院）；School of Electrical and Computer Engineering, Tarbiat Modares University（塔比亚特·莫达雷斯大学电气与计算机工程学院）
本文综述了分布式机器学习到分布式深度学习的发展，将相关算法分为传统机器学习、深度学习和深度强化学习，并重点聚焦分布式深度学习，指出了未来研究需解决的局限性。
2023-09-09 cs.DC cs.LG
Drawing the boundaries between Blockchain and Blockchain-like systems: A Comprehensive Survey on Distributed Ledger Technologies
本综述提出包含数据、共识、执行和应用四层的参考模型及新分类法，通过分析44种DLT方案与26种共识机制，厘清了区块链与类区块链系统的差异并指明未来研究方向。
2024-09-26 cs.CR cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science（德克萨斯理工大学计算机科学系）
综述通过四个轴对三十多个键值管理系统和框架分类，揭示五种架构原型，还审计当前评估，找出七个缺失测量，关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
A Survey of Distributed Ledger Technology for IoT Verticals
物联网（IoT）和分布式账本技术（DLT）显著改变了我们的日常生活。由于它们的分布式操作环境和自然分散的应用程序，这两种技术的融合表明未来会有更奢华的安排。本文开展了一项全面的调查，以调查和说明各种物联网用例的最新DLT，从灵巧家庭到自动驾驶汽车和智能城市。我们开发了一个新的框架，通过扩展知识图谱方法，对物联网上的DLT进行系统和全面的审查。通过此次审查的相关见解，我们提取了创新和实用的DLT设计技术，以实现高性能，可持续和高度可扩展的物联网系统。我们的研究结果支持为未来设计一个端到端的物联网原生DLT架构，以充分协调网络辅助功能。
2022-08-22 cs.CR cs.DB cs.DC
A Decision Tree Based Approach Towards Adaptive Profiling of Distributed Applications
分布式范例的采用允许应用程序增加它们的可伸缩性、鲁棒性和容错，但它也使它们的结构复杂化，导致应用程序的配置空间呈指数增长，并增加了预测它们的性能的难度。在这项工作中，我们描述了一种新的，自动分析方法，使应用程序结构上没有任何假设。我们的方法利用斜决策树，以递归地划分应用程序的配置空间在不相交的区域，选择一组代表性的样本，从每个子区域根据定义的政策和返回的模型为整个空间的线性模型组成的每个子区域。在现实生活中的应用程序和综合性能函数的广泛评估表明，我们的计划优于其他国家的最先进的分析方法。它特别擅长反映性能函数的异常和不连续性，允许用户根据建模精度和空间覆盖范围影响采样策略。
2017-05-21 cs.DB cs.DC cs.PF
A Survey on Dynamic Job Scheduling in Grid Environment Based on Heuristic Algorithms
Nallamuthu Gounder Mahalingam College（纳拉穆图·冈德·马哈林加姆学院）
计算网格是分布式计算系统发展的新趋势。它们允许以有效的方式共享地理上分布的资源，扩展了我们所认为的分布式计算的边界。各种科学可以从使用网格来解决CPU密集型问题中受益，为整个社会创造潜在的利益。作业调度是并行和分布式计算的重要组成部分。它允许为特定作业选择正确的资源匹配，从而提高作业吞吐量和资源利用率。作业应该以自动的方式进行调度，以使系统更可靠、更易访问，并且对子系统故障不太敏感。本文综述了各种启发式算法，用于网格调度。
2014-02-21 cs.AI cs.DC
A Survey on Distributed Evolutionary Computation
本文系统综述了分布式进化计算，提出新的分类法，明确其提升集中式优化效率和实现分布式优化两大目的，并对分布式优化问题进行形式化定义与分类，同时展望了挑战与未来方向。
2023-04-12 cs.DC cs.NE
A Survey on Machine Learning for Geo-Distributed Cloud Data Center Management
Colorado State University（科罗拉多州立大学）
今天的云工作负载通常在分布式环境中进行管理，并在地理上分布的数据中心进行处理。云服务提供商一直在全球范围内分布数据中心，以降低运营成本，同时通过使用智能工作负载和资源管理策略来提高服务质量。软件工作负载和硬件资源的这种大规模和复杂的编排仍然是难以有效解决的问题。研究人员和实践者一直试图通过提出各种云管理技术来解决这个问题。数学优化技术历来用于解决云管理问题。但这些技术难以扩展到地理分布的问题规模，并且在动态异构系统环境中的适用性有限，迫使云服务提供商探索智能数据驱动和基于机器学习（ML）的替代方案。近年来，采用ML方法对复杂、异构和不断变化的分布式云资源和工作负载进行表征、预测、控制和优化受到了广泛关注。在本文中，我们回顾了用于云数据中心管理问题的最新ML技术。我们研究了当前研究中的挑战和问题，重点关注ML云管理，并探索解决这些问题的策略。我们还讨论了最近文献中提出的ML技术的优点和缺点，并对未来的研究方向提出了建议。
2022-05-17 cs.DC cs.LG
A Quantitative Survey of Communication Optimizations in Distributed Deep Learning
The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Baptist University（香港浸会大学）；Shenzhen Technology University（深圳技术大学）
如今，大型复杂的深度学习（DL）模型越来越多地以分布式方式在多个工作机器上进行训练，其中工作机器之间的广泛通信带来了严重的扩展问题。在这篇文章中，我们提出了一个定量的调查数据并行分布式DL的通信优化技术。我们首先确定了主要的通信挑战，并将现有的解决方案分为三个层次，即学习算法，系统架构和网络基础设施。我们提出了最先进的通信优化技术，并进行了比较研究的7种常见的无损分布式DL方法上的32 GPU集群与100 Gbps的InfiniBand（IB）。我们发现：（1）低模型强度的DL模型（如BERT和BERT-Large）即使使用最好的无损算法也难以扩展到100 Gbps以上的IB;（2）系统架构和调度算法对扩展性能有关键影响。最后，我们对有待进一步研究的开放问题进行了讨论。
2020-11-07 cs.DC cs.LG cs.NI
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Survey of Distributed Algorithms for Resource Allocation over Multi-Agent Systems
该综述聚焦多智能体系统分布式资源分配问题，梳理其数学表述、多领域应用、各类现有分布式算法方案及算法核心特性，为理解该交叉领域的挑战与解法提供全面参考。
2024-01-28 cs.DC cs.SY eess.SP
A Survey of Distributed Data Aggregation Algorithms
分布式数据聚合是一项重要的任务，它允许分散地确定有意义的全局属性，然后可以用于指导其他应用程序的执行。结果值来自函数的分布式计算，例如，SUM和AVERAGE。可以找到一些应用实例来确定网络大小，总存储容量，平均负载，多数等。在过去的十年中，已经提出了许多不同的方法，在准确性、可靠性、消息和时间复杂度方面具有不同的权衡。由于汇总算法的数量和种类相当多，确定哪些技术更适合于特定环境可能很困难，也很耗时，因此有必要进行调查以帮助完成这项任务。这项工作回顾了分布式数据聚合算法的最新发展，提供了三个主要贡献。首先，它正式定义了聚合的概念，描述了不同类型的聚合函数。其次，它简洁地描述了主要的聚合技术，并将它们组织在一个分类中。最后，它为选择和使用最相关的技术提供了一些指导方针，总结了它们的主要特征。
2011-10-04 cs.DC cs.DS cs.IR
A Survey on Network Codes for Distributed Storage
分布式存储系统通常引入冗余以提高可靠性。当使用编码时，修复问题出现了：如果存储编码信息的节点发生故障，为了保持相同的可靠性水平，我们需要在新节点上创建编码信息。这相当于代码的部分恢复，而传统的擦除编码集中于从编码分组的子集中完全恢复信息。修复网络流量的考虑引起了新的设计挑战。最近，网络编码技术已经在解决这些挑战，建立维护带宽可以减少数量级相比，标准的纠删码。本文综述了这方面的研究成果。
2010-04-26 cs.DC cs.IT cs.NI
Online Distributed ADMM on Networks
研究了在线分布式乘子交替方向法。目标是在线性约束下，在决策者网络上分布式优化全局目标函数。全局目标函数由与每个代理相关联的凸费用函数组成。另一方面，当地的费用函数，假设已被分解成两个不同的凸函数，其中之一是揭示了决策者随着时间的推移和一个已知的先验。此外，代理必须通过线性约束在与私有局部变量相关的全局变量上达成共识。在这项工作中，我们将在线ADMM扩展到基于双平均和分布式梯度下降的分布式设置。然后，我们提出了一个性能指标，这样的在线分布式算法和探索的算法所产生的决策序列的性能相比，最好的固定的决定在事后。这种表现指标被称为社交遗憾。一个次线性上界的社会遗憾的算法，然后得到强调的作用，底层网络拓扑结构和某些条件的措施与线性约束。在线分布式ADMM算法，然后施加到一个编队捕获问题，证明了分布式机器人的应用程序，建议的设置。
2015-10-02 cs.DC cs.DS cs.MA
Communication-Efficient Distributed Deep Learning: A Comprehensive Survey
Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文全面综述通信高效的分布式深度学习训练算法，提出四维分类法，比较收敛速率并实验验证，为不同分布式环境下的算法选择提供指导。
2023-09-01 cs.DC cs.LG eess.SP
VHT: Vertical Hoeffding Tree
Telefonica Research（西班牙电信研究）；Qatar Computing Research Institute（卡塔尔计算研究所）；Telecom ParisTech（巴黎高等电信学院）；LARC-SMU（新加坡管理大学智能系统实验室）
物联网大数据需要新的机器学习方法，能够扩展到高速到达的大数据。决策树是流行的机器学习模型，因为它们非常有效，但易于解释和可视化。在文献中，我们可以找到学习决策树的分布式算法，也可以找到流算法，但没有结合这两种特性的算法。在本文中，我们提出了垂直Hoeffding树（VHT），第一个分布式流学习决策树算法。它的特点是一种新的方式分布决策树通过垂直并行。该算法是在Apache SAMOA（一个用于挖掘分布式数据流的平台）上实现的，因此能够在真实世界的集群上运行。我们运行几个实验来研究我们的新VHT算法的准确性和吞吐量性能，以及它的扩展能力，同时保持其优越的性能，相对于非分布式决策树。
2016-07-28 cs.AI cs.DB cs.DC
Private Knowledge Sharing in Distributed Learning: A Survey
Swinburne University of Technology（斯威本科技大学）；Purdue University（普渡大学）；DATA61-CSIRO（DATA61联邦科学与工业研究组织）；Nanjing University of Science and Technology（南京理工大学）；Princeton University（普林斯顿大学）
本文综述了分布式学习中的私有知识共享问题，分析了主流架构中知识组件的关键安全漏洞，并探讨了保护隐私的防御策略及未来研究方向。
2024-02-08 cs.AI cs.CR cs.DC
A Survey on Distributed Machine Learning
Delft University of Technology（代尔夫特理工大学）；imec - Ghent University（imec-根特大学）
在过去十年中，对人工智能的需求显著增长，这种增长受到机器学习技术进步和利用硬件加速能力的推动。然而，为了提高预测的质量并使机器学习解决方案对于更复杂的应用可行，需要大量的训练数据。虽然可以用适量的数据来训练小型机器学习模型，但用于训练诸如神经网络之类的较大模型的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器的计算能力的增长，因此需要将机器学习工作负载分布在多个机器上，并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战，首先是训练过程的有效并行化和连贯模型的创建。本文通过概述分布式机器学习相对于传统（集中式）机器学习的挑战和机遇，讨论用于分布式机器学习的技术，并概述可用的系统，对该领域的当前最新技术进行了广泛的概述。
2019-12-20 cs.DC cs.LG stat.ML
Distributed Graph Neural Network Training: A Survey
Beijing University of Posts and Telecommunications（北京邮电大学）；Carnegie Mellon University（卡内基梅隆大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；Peking University（北京大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本综述针对分布式图神经网络训练的三大挑战，提出优化技术新分类体系并梳理各类技术，总结了适配不同硬件的现有系统，指明了未来研究方向。
2023-08-25 cs.AI cs.DB cs.DC
