Balancing the Communication Load of Asynchronously Parallelized Machine Learning Algorithms
随机梯度下降（SGD）是用于解决绝大多数机器学习（ML）算法的核心优化问题的标准数值方法。在大规模学习的背景下，正如许多大数据应用所利用的那样，SGD的高效并行化是积极研究的焦点。最近，我们能够表明，异步通信范例可以应用于实现快速和可扩展的并行SGD。异步随机梯度下降（ASGD）优于其他大多基于MapReduce的并行算法，解决大规模机器学习问题。在本文中，我们研究了异步通信频率和消息大小对应用于HTC集群和云环境的大规模ML的ASGD性能的影响。我们介绍了一种新的算法，自动平衡的异步通信负载，它允许适应ASGD不断变化的网络带宽和延迟。
2015-10-05 cs.DC
On the analysis of scheduling algorithms for structured parallel computations
结构化并行计算的调度算法在文献中得到了广泛的研究。一段时间以来，工作窃取是最流行的调度这样的计算之一，其性能已在理论和实践中进行了研究。虽然它提供了可证明的良好性能，其底层的负载均衡策略的有效性是有限的某些类的计算，特别是那些表现出不规则的并行性（例如深度优先搜索）。许多研究已经从纯粹的负载均衡角度解决了这一限制，将计算视为独立任务的集合，然后在执行过程中分析附加到每个处理器的预期工作量。然而，这些研究作出强有力的假设，尽管是标准的排队论的角度来看-其中的工作生成可以假设遵循一些随机分布-不符合现实的结构化并行计算-其中的工作生成不是随机的，只取决于结构的计算。在本文中，我们介绍了一个正式的框架，研究结构化计算的性能，定义了一个标准，是适当的衡量其性能，并提出了一种方法，用于分析性能的随机计算。我们证明了这种方法的方便，使用它来证明工作窃取的性能是有限的，并分析了工作窃取和传播算法的性能，它克服了工作窃取的限制。
2018-10-24 cs.DC
Work Stealing for the 2D-Mesh Topology of Satellite Constellations in Low Earth Orbit
University of Kassel（卡塞尔大学）；University of Rennes（雷恩大学）；Fulda University of Applied Sciences（富尔达应用科学大学）
针对LEO卫星星座的稀疏网格拓扑，提出仅从邻居节点窃取任务的策略，避免多跳通信，分析表明延迟优势随星座规模增长，实验验证性能接近全局窃取。
2026-06-12 cs.DC
Load balancing for distributed nonlocal models within asynchronous many-task systems
在这项工作中，我们考虑的挑战，开发一个分布式求解模型的基础上非本地的相互作用。在非局部模型中，与局部模型（如波动和热偏微分方程）相比，材料与相邻点的相互作用比网格离散化更长。在开发完全分布式求解器时，在大于网格大小的长度尺度上的交互在计算节点和通信瓶颈之间引入了额外的数据依赖性。在这项工作中，我们仔细研究这些挑战的背景下，非局部模型;保持特定的计算问题的演示文稿，我们考虑在二维设置的非局部热方程。特别地，我们提出的分布式框架更加关注数据通信的瓶颈和具有不同计算能力的节点之间的负载的动态平衡。对于负载均衡，我们提出了一种新的框架，评估节点的计算能力和动态平衡的负载，使节点之间的空闲时间是最小的。我们的框架在很大程度上依赖于HPX库，一个异步的多任务运行时间系统。我们提出了几个结果证明了所提出的框架的有效性。
2021-04-10 cs.DC
Analysis of Work-Stealing and Parallel Cache Complexity
在过去的十年中，并行主义变得非常流行，并且出现了许多新的并行算法和软件。随机工作窃取（RWS）调度器在这个生态系统中起着至关重要的作用。在本文中，我们研究了两个重要的课题相关的随机工作窃取调度。我们的第一个贡献是一个简化的，课堂上准备好的RWS调度程序的分析版本。RWS调度程序的理论效率已经针对各种设置进行了分析，但其中大多数都非常复杂。在本文中，我们展示了一种新的分析，我们相信它很容易理解，并且在教育中特别有用。我们避免在分析中使用潜在的功能，我们假设一个高度异步的设置，这是更现实的今天的并行机。我们的第二个和主要贡献是一些新的并行缓存复杂性的算法使用RWS调度。虽然在过去的几十年中，顺序I/O模型已经得到了很好的研究，但到目前为止，很少有结果将其扩展到并行设置。许多现有算法的并行缓存边界受跨度多项式的影响，这导致了大跨度算法的显着开销。我们的新分析扩展了并行缓存复杂性分析的范围。这使我们能够显示一系列经典算法的新的并行缓存边界。我们的结果只是一个多对数因子的下界，并显着改进以前的结果。
2021-11-09 cs.DC cs.DS
GLB: Lifeline-based Global Load Balancing library in X10
我们提出了GLB，一个编程模型和相关的实现，可以处理大范围的不规则的并行编程问题运行在大规模分布式系统。GLB既适用于通过静态调度容易实现负载平衡的问题，也适用于难以实现静态负载平衡的问题。GLB隐藏了复杂的同步（例如，节点间通信、初始化和启动、负载均衡、终止和结果收集）。GLB内部使用了Saraswat等人提出的基于生命线图的工作窃取算法。GLB的用户只需编写几段符合GLB接口的顺序代码。然后，GLB可以正确、高效地大规模调度和编排代码的并行执行。我们已经将GLB应用于两个具有代表性的基准测试：介数中心性（BC）和不平衡树搜索（UTS）。其中，BC可以静态负载平衡，而UTS不能。在这两种情况下，GLB都可以很好地扩展--在不同的计算机体系结构（Power、Blue Gene/Q和K）上实现几乎线性的加速--最高可达16 K个内核。
2013-12-19 cs.DC
Local Deal-Agreement Based Monotonic Distributed Algorithms for Load Balancing in General Graphs
在计算机网络中，参与者可以在处理任务时进行合作，从而在它们之间平衡负载。我们提出了本地分布式算法，（反复）使用本地不平衡的标准，同时跨系统的参与者转移负载，迭代，直到所有负载平衡。我们的算法是基于一个简短的本地交易协议的建议/交易的通信，基于附近的负载。它们单调收敛，总是随着执行的进行提供更好的状态。此外，我们的算法避免了使负载暂时为负。因此，它们可以被认为是任何时间的，在这个意义上，它们可以在执行期间的任何时间停止。我们表明，我们的同步负载均衡算法实现$ε$ -平衡状态的连续设置和1-平衡状态的离散设置在所有的图形中，在$O(n D \log(n K/ε))$和$O(n D \log(n K/D) + n D^2)$时间，分别，其中$n$是节点数，$K$是初始差异，$D$是图形直径，和$ε$是最终的差异。我们的其他单调的同步和异步算法的离散设置的第一个算法，其中负载均衡是同时执行多个邻居的概括。这些算法到达一个1-平衡状态的时间$O(n K^2)$在一般的图形，但有可能更快的负载之间的所有邻居之间的平衡，而不是只有一个，我们描述了一个场景，演示了一个快速（$O(1)$）收敛的潜力。由于同步设置的限制，我们的异步算法避免了在进行下一个负载均衡步骤之前等待最慢的参与者的活动的需要。我们还介绍了我们的异步算法的自稳定版本。
2020-10-06 cs.DC
A Lock-Free Work-Stealing Algorithm for Bulk Operations
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文提出了一种专为混合整数规划求解器并行化设计的无锁工作窃取队列，支持批量操作并提高性能，通过减少同步开销实现高效的任务调度。
2026-03-05 cs.CE cs.DC math.OC
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法，其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪，但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中，我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除，从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入，以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试，最多可使用1，024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟，分别使用。
2021-04-13 cs.DC
Enhancing the scalability and load balancing of the parallel selected inversion algorithm via tree-based asynchronous communication
我们开发了一种方法，用于在大规模并行分布式存储器机器上提高最近开发的并行选择反演算法[Jacquelin，Lin和Yang 2014]（名为PSelInv）的并行可扩展性。在PSelInv方法中，我们计算稀疏矩阵A的逆的选定元素，该稀疏矩阵A可以分解为A = LU，其中L是下三角形，U是上三角形。更新A-1的这些所选元素需要在由L和U的块循环分布创建的每个列或行通信组内的处理器子集之间进行受限的集体通信。我们描述了这种类型的限制集体通信可以通过使用异步点对点MPI通信功能结合基于二叉树的数据传播方案来实现。由于并行选择反演算法中可能同时发生多个受限的集体通信，因此需要使用启发式算法来防止参与多个集体通信的处理器接收到过多的消息。这种启发式算法使我们能够减少通信负载不平衡，提高所选反演算法的整体可扩展性。例如，当使用6，400个处理器时，我们观察到测试矩阵的加速超过5倍。它还减轻了由非均匀网络拓扑引入的性能变化。
2015-04-18 cs.DC cs.MS
High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文提出加速异步并行随机梯度下降方法A2PSGD，通过无锁调度、贪心负载均衡和Nesterov加速梯度，提升高维稀疏数据低秩表示的训练效率与准确率。
2024-08-29 cs.DC cs.LG
Lock-free Asynchronously Distributed Linked Lists
Michigan State University（密歇根州立大学）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Kent State University（肯特州立大学）
本文提出DiLi，一种条件无锁、可分布的链表，实现动态负载平衡和横向扩展，提升并发与分布式数据结构性能。
2026-08-05 cs.DC
Rocket: Efficient and Scalable All-Pairs Computations on Heterogeneous Platforms
所有对计算问题将用户定义的函数应用于给定数据集的两个项目的每个组合。虽然这些问题提出了大量的并行性，数据重用必须利用，以实现良好的性能。一些研究人员考虑了这个问题，无论是采取部分复制静态工作分配或动态调度与完整的复制。相比之下，我们提出了一个解决方案，依赖于分层多级基于软件的缓存，以最大限度地提高数据重用在分布式存储层次结构的每一个级别，结合分治的方法来利用数据的本地性，分层工作窃取动态平衡的工作负载，和异步处理，以最大限度地提高资源利用率。我们评估我们的解决方案使用三个现实世界的应用程序（从数字取证，本地化显微镜和生物信息学）在不同的平台（从台式机到超级计算机）。结果显示，当扩展到96个GPU时，具有出色的效率和可扩展性，甚至由于分布式缓存而获得超线性加速。
2020-09-10 cs.DC
Asynchronous One-Level and Two-Level Domain Decomposition Solvers
线性迭代求解器的并行实现通常在数据交换阶段和本地计算阶段之间交替。异构系统上的问题规模越来越大，使得负载平衡和网络布局成为非常具有挑战性的任务。特别是，内积等全球传播模式在规模上变得越来越有限。我们探讨了使用异步通信的基础上单边MPI原语在众多的区域分解求解器。特别地，提出了一种可扩展的异步两级方法。我们讨论的实际问题中遇到的发展一个可扩展的求解器，并显示实验结果上获得的最先进的超级计算机系统，说明异步求解器的好处，在负载平衡以及负载不平衡的情况下。使用这种新方法，我们可以观察到比经典同步等效方法高达4倍的速度提升。
2020-08-11 cs.DC cs.NA math.NA
Balancing Fixed Number of Nodes Among Multiple Fixed Clusters
针对多容器集群固定节点分配导致的资源闲置，本文提出基于实时阈值的 NBCG 动态节点共享与重平衡机制，可在不增加供应成本的前提下优化利用率并保障集群稳定。
2025-06-10 cs.DC
Particle-In-Cell Simulation using Asynchronous Tasking
最近，基于任务的编程模型已经成为一个突出的替代共享内存并行编程范式。这些模型本质上是异步的，它们为动态负载均衡提供了本机支持，并结合了数据流概念来选择性地同步任务。然而，任务模型尚未被广泛采用的HPC社区和有效的优势时，应用于非平凡的，现实世界的HPC应用程序仍然没有得到很好的理解。在本文中，我们研究了并行化的生产电磁粒子在细胞（EM-PIC）代码的动力学等离子体模拟探索不同的策略，使用异步的基于任务的模型。我们的完全异步实现不仅显著优于传统的同步方法，而且还实现了接近完美的48核扩展。
2021-08-29 cs.DC physics.comp-ph physics.plasm-ph
Quorums Quicken Queries: Efficient Asynchronous Secure Multiparty Computation
我们描述了一个异步算法来解决安全多方计算（MPC）在n个球员，当严格小于1/8的分数的球员是由一个静态对手控制。对于域上的任何函数f，可以由具有m个门的电路计算，我们的算法要求每个参与者发送多个域元素，并执行O（m/n + \sqrt{n}）的计算量。这比传统算法有了显著的改进，传统算法需要每个玩家发送大量消息并执行Ω（nm）的计算。此外，我们定义了阈值计数问题，并提出了一个分布式算法来解决它在异步通信模型。我们的算法是负载平衡的，计算，通信和延迟的O（log n）的复杂性，并可能是独立的利益，其他应用程序的负载均衡的目标。
2013-10-13 cs.CR cs.DC cs.DS
Lightweight Task Offloading Exploiting MPI Wait Times for Parallel Adaptive Mesh Refinement
平衡复杂模拟的工作负载本质上是困难的，因为我们必须在网格上平衡计算工作负载和内存占用，这些网格可以随时改变或产生不可预测的每个网格实体的成本，而现代超级计算机及其互连开始表现出波动的性能。我们提出了一种新的轻量级的MPI+X的平衡技术，伴随着传统的，基于预测的负载均衡。它是一种反应扩散方法，使用MPI空闲时间的在线测量将任务暂时从过载迁移到未充分就业的行列。任务被部署到否则将等待的队列，以高优先级处理，并再次提供给过载的队列。这种迁移是非持久性的。我们的方法劫持空闲时间来做有意义的工作，并且是完全非阻塞的，异步的，分布式的，没有全局数据视图。在ExaHyPE引擎中开发的地震模拟代码的测试揭示了该方法的潜力。我们发现，在没有对代码库进行逻辑修改的情况下，不平衡的情况下，速度可以提高2-3倍，并表明该策略能够快速响应临时变化的工作负载或节点性能。
2020-04-14 cs.DC
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络（GNN）在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用，例如推荐、欺诈检测和搜索。在这些域中，图通常是大的和异构的，包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战，我们开发了DistDGLv 2，这是一个扩展DistDGL的系统，用于使用分布式混合CPU/GPU训练，以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中，并在GPU中执行小批量计算。为了便于使用，DistDGLv 2采用了与Deep Graph Library（DGL）的小批量训练和异构图形API兼容的API，这使得分布式训练几乎不需要修改代码。为了确保模型的准确性，DistDGLv 2遵循同步训练方法，并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡，DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道，使计算和数据访问异步，以充分利用所有硬件（CPU，GPU，网络，PCIe）。这种组合使DistDGLv 2能够训练高质量的模型，同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明，DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
A NUMA-Aware Provably-Efficient Task-Parallel Platform Based on the Work-First Principle
任务并行是为了简化并行编程的任务而设计的。当在现代NUMA架构上执行任务并行程序时，由于称为工作膨胀的现象，其可能无法扩展，其中多个核花费在做有用工作上的总处理时间比在一个核上做相同量的工作所需的时间更高，这是由于仅在并行执行期间经历的影响，诸如额外的高速缓存未命中、远程存储器访问和内存带宽问题。通过将计算与数据放在一起来减轻工作量膨胀是可能的，但这对于任务并行程序来说并不容易。首先，通过设计，任务并行程序的调度是自动化的，使用户几乎无法控制在哪里执行计算。第二，平台倾向于使用工作窃取，这提供了强有力的理论保证，但是其用于负载均衡的随机化协议不能区分远离的工作项和靠近的工作项。在这项工作中，我们提出了NUMA-WS，一个基于工作优先原则的NUMA感知任务并行平台工程。通过遵守工作优先原则，我们能够获得一个工作效率高的平台，提供与经典工作窃取调度器相同的理论保证，并减轻工作膨胀。此外，我们实现了一个原型平台，通过修改英特尔的Cilk Plus运行时系统，并实证证明，由此产生的系统是工作效率和可扩展性。
2019-01-07 cs.DC cs.PF
(Almost) Perfect Discrete Iterative Load Balancing
University of Hamburg, Germany（汉堡大学）；University of Salzburg, Austria（萨尔茨堡大学）；Durham University, U.K.（杜伦大学）；Technical University of Hamburg, Germany（汉堡工业大学）；Darmstadt University of Applied Sciences, Germany（达姆施塔特应用科学大学）；University of Cambridge, U.K.（剑桥大学）
本文针对任意图上的离散迭代负载均衡，提出一类通用匹配均衡方案，证明其能以高概率在渐近匹配连续谱界的轮数内达到差异度3，优于先前结果且适用于任意图。
2025-10-17 cs.DC math.PR
SwitchFS: Asynchronous Metadata Updates for Distributed Filesystems with In-Network Coordination
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所）
SwitchFS通过异步元数据更新和网络内协调，提升分布式文件系统在偏斜工作负载下的吞吐量和降低延迟。
2025-12-30 cs.DC cs.OS cs.PF
Efficient Dispersion of Mobile Robots on Graphs
图上的分散问题要求$k$机器人任意放置在匿名图的$n$节点处，其中$k \leq n$彼此协调以达到最终配置，其中每个机器人在图的不同节点处。分散的问题是重要的，由于它的关系，图形探索移动机器人，分散在一个图形上，和负载均衡。此外，分散的一个内在应用已被证明是将自动驾驶电动汽车（机器人）重新安置到充电站（节点）。我们提出了三个有效的算法来解决分散图。我们的算法需要$O(k \log Δ)$位在每个机器人，和$O(m)$步骤运行时间，其中$m$是边的数量和$Δ$是度的图。这些算法的不同之处在于它们处理的是同步还是异步系统模型，以及维护什么、在哪里以及如何维护数据结构。
2018-05-30 cs.DC
A large-scale distributed parallel discrete event simulation engines based on Warped2 for Wargaming simulation
针对Warped2在兵棋PDES中的资源分配与实体交互瓶颈，提出异步监听、METIS负载均衡、约束求解和空间哈希优化，实现最高16倍加速并降低58.18%同步开销。
2025-07-24 cs.DC
Distributed averaging for accuracy prediction in networked systems
提出一种分布式启发式方法，通过局部图度量预测平均算法收敛速率，使节点能预估达到所需精度的时间，并应用于异常值识别和切换拓扑性能评估。
2023-09-03 cs.DC cs.SY eess.SY
Towards Distributed Semi-speculative Adaptive Anisotropic Parallel Mesh Generation
本文提出一种分布式半推测自适应各向异性并行网格生成方法，通过CDT3D与PREMA分离功能与性能，实现高质量网格生成并避免全局同步，以支持大规模计算。
2023-12-20 cs.DC
An Upper Bound on the Convergence Time for Quantized Consensus
本文分析了一类适用于任意网络的分布式量化一致性算法。在初始设置中，网络中的每个节点都具有整数值。节点在网络中交换它们当前的平均值估计，然后通过在异步时钟设置中的有限容量信道中与它们的邻居通信来更新它们的估计。最终，所有节点以量化的精度达成共识。我们从分布式二进制投票算法的一个特例开始分析，然后继续分析Kashyap等人提出的一般量化一致性算法的预期收敛时间。我们利用电网络、随机游动和马尔可夫链耦合的理论推导出一个O（N^3log N）任意大小为N的图上的预期收敛时间的上界，改进了二进制一致性算法的O（N^4logN）和量化一致性算法的O（N^5）的最新界。我们的结果是不依赖于图的拓扑结构。对星形网络、线形图、棒棒糖图和Erdös-Rényi随机图等特殊图进行了仿真，以验证分析的有效性。这项工作的应用负载平衡，自治代理，估计和检测，决策网络，对等系统的协调，等。
2013-05-17 cs.DC cs.PF math.OC
