Balancing indivisible real-valued loads in arbitrary networks
在并行计算中，一个问题被划分为一组分布在多个处理元素上的较小任务。平衡处理元素的负载是实现良好性能和可伸缩性的关键。如果各个任务的计算成本以不可预测的方式随时间变化，则动态负载均衡旨在将它们在处理元件之间迁移，以便保持负载平衡。在动态负载均衡中，任务是具有实值代价的不可分割的工作包。对于这种情况下不可分割的，实值负载，我们分析了平衡电路模型，本地动态负载平衡计划，不需要全球通信。我们扩展以前的分析，目前的情况下，并提供了一个概率界可实现的负载平衡。基于与离线球入箱问题的类比，我们进一步提出了一种新的算法，用于动态平衡不可分割的实值负载。我们基准的算法在数值实验中，并比较它与经典的贪心算法，无论是在解决方案的质量和通信成本。我们发现，所提出的算法的通信成本增加的补偿更高的解决方案的质量，导致平均约一个数量级的整体性能的增益。
2013-08-01 cs.DC
Immunological Approaches to Load Balancing in MIMD Systems
多指令多数据（MIMD）并行计算机的有效利用需要良好的负载均衡技术的应用。在本文中，我们表明，从观察复杂的自然系统，如哺乳动物的免疫系统，可以导致有效的负载均衡策略的免疫学。特别是，免疫系统的调节、抑制、耐受和记忆过程被认为是强大的负载均衡机制。我们提供了一个详细的例子，我们的方法适用于并行化的图像处理任务，即从CMOS集成电路的层的图像中提取电路设计。实验结果表明，采用免疫系统的负载均衡策略可以获得良好的加速比特性。
2022-10-03 cs.DC
Dynamic Load Balancing in GPU-Based Systems - Early Experiments
Charm++/AMPI中的动态负载平衡框架由伊利诺伊大学开发，基于使用处理器虚拟化来允许跨处理器的线程迁移。这个框架在过去已经成功地应用于许多科学应用，如BRAMS，NAMD，ChaNGa等。这些应用程序中的大多数仅使用CPU来执行其操作。然而，使用GPU来提高计算性能正在高性能计算社区中迅速得到大规模传播。本文旨在研究如何扩展相同的Charm++/AMPI框架，以平衡受BRAMS数值预报模型启发的合成应用程序中的负载，该应用程序主要运行在GPU上而不是CPU上。在这项工作中处理了许多涉及使用GPU与AMPI的主要问题，包括：如何测量GPU的负载，如何在用户级线程之间使用和共享GPU，以及将强制过度分解技术应用于GPU加速程序时会获得什么结果。
2013-10-15 cs.DC
Load Balancer Tuning: Comparative Analysis of HAProxy Load Balancing Methods
负载均衡在实际应用中是普遍的（例如，WEB今天看到的。其中一个负载均衡器HAProxy作为一个开源的、易于使用的系统仍然具有相关性。在Web系统的上下文中，负载均衡器层对系统性能和所产生的成本具有重大影响，这对于基于云的部署是决定性的。因此，必须正确地调优负载均衡器配置，并从现有资源中获得最大的性能。在本技术报告中，我们首先介绍HAProxy架构及其负载均衡方法。然后，我们讨论了微调参数在这个负载均衡器，并检查他们的表现，面对各种工作负载强度。我们的评估包括各种类型的Web请求以及同构和异构的后端。最后，根据这项研究的结果，我们提出了一套最佳实践，以优化配置HAProxy。
2022-12-29 cs.DC
Locally Optimal Load Balancing
本工作研究分布式算法局部最优负载平衡：我们给出了一个图的最大程度$Δ$，每个节点有多达$L$单位的负载。任务是更均匀地分配负载，使得相邻节点的负载最多相差$1$。如果图是一条路径（$Δ= 2$），则很容易在$O(L)$通信轮中解决该问题的分数版本，而与节点数量无关。我们表明，这是紧的，我们表明，它也可以解决离散版本的问题，在$O(L)$轮的路径。对于一般情况下（$Δ> 2$），我们表明，分数负载均衡可以解决在$\operatorname{poly}(L,Δ)$轮和离散负载均衡在$f(L,Δ)$轮的一些功能$f$，独立的节点数。
2015-02-16 cs.DC
DLB: Deep Learning Based Load Balancing
在本文中，我们引入了DLB，一种基于深度学习的负载均衡机制，以有效地解决数据倾斜问题。DLB的关键思想是用深度学习模型取代负载均衡机制中的哈希函数，这些模型经过训练，能够以统一的方式将不同的工作负载和数据分布映射到服务器。我们实现了DLB，并使用CloudSim将其部署在实际的云环境中。实验结果表明，与传统的基于哈希函数的负载均衡方法相比，DLB能够实现更均衡的映射，尤其是在负载严重偏斜的情况下.
2021-09-12 cs.DC
Load Balancing for MapReduce-based Entity Resolution
基于MapReduce的复杂数据密集型任务实现的有效性和可伸缩性取决于在map和reduce任务之间均匀地重新分配数据。在存在偏斜数据的情况下，复杂的重新分配方法因此变得有必要在要并行执行的所有reduce任务之间实现负载均衡。对于复杂的问题，实体分辨率，我们提出并评估两种方法，这样的偏斜处理和负载均衡。该方法支持分块技术以减少实体解析的搜索空间，利用预处理MapReduce作业分析数据分布，并将大块实体分布在多个Reduce任务中。在一个实际的云基础设施上的评估表明所提出的负载均衡方法的价值和有效性。
2011-08-08 cs.DC
Prepartition: Load Balancing Approach for Virtual Machine Reservations in a Cloud Data Center
负载均衡对于云数据中心的高效和长期运营至关重要。对于虚拟化，在分配后进行虚拟机的后（反应式）迁移是负载均衡和整合的传统方式。然而，反应式迁移不容易达到预定义的负载平衡目标，并且可能会中断服务并带来不稳定性。因此，我们提出了一种新的方法，称为预分区，负载均衡。它将VM请求按开始时间、结束时间和容量需求顺序划分为几个子请求，并将每个子请求视为常规VM请求。通过这种方式，它可以主动为每个物理机器上的每个VM请求设置边界，并使调度器在VM迁移之前做好准备，以获得预定义的负载均衡目标，从而以细粒度的方式支持资源分配。仿真合成数据表明，在平均利用率、不平衡度、最大完工时间和容量最大完工时间等指标下，PrepartitionOff调度算法比现有的负载均衡算法性能提高10%~ 20%.我们还将预分区扩展到在线负载均衡。评估结果表明，我们提出的方法也优于现有的在线算法。
2021-10-19 cs.DC
An Analytical Overview Of Virtual Machine Load Balancing Scheduling Algorithms with their Comparative Case Study
本文针对云计算中虚拟机负载均衡调度问题，对粒子群优化、多目标优化、主动监控三种常用算法展开分析综述，梳理其特性、优缺点与应用，为云服务商优化负载均衡、避免用户延迟提供参考。
2025-02-23 cs.DC
Diffusive Load Balancing of Loosely-Synchronous Parallel Programs over Peer-to-Peer Networks
使用未充分利用的互联网资源被广泛认为是一种可行的高性能计算形式。据报道，使用400万个自愿的互联网主机，大约40 T FLOPS的持续处理能力可以解决非常复杂的并行问题。与此同时，拥有超过5000万参与者的点对点（P2P）文件共享网络已经证明了分布式系统的规模能力。本文致力于研究负载均衡技术的一般类松散同步并行算法时，在P2P网络上执行。我们发现，分散的，扩散的负载均衡可以有效地平衡负载，并促进P2P的动态特性。虽然适度的动态性可以有益于负载均衡，但是由于需要增加负载迁移，显著的动态性阻碍了并行程序性能。据我们所知，这项研究提供了新的见解松散同步并行程序在互联网上的性能。
2004-10-05 cs.DC
Dynamic Load Balancing for Compressible Multiphase Turbulence
CMT-nek是一种新的科学应用程序，用于对载有颗粒的爆炸分散湍流进行高保真预测模拟。CMT-nek涉及详细的模拟，是计算密集型的，目标是部署在exascale平台上。当应用程序在并行处理器上执行时，移动粒子是负载不平衡的主要来源。在一个演示问题中，所有的粒子最初都在一个封闭的容器中，直到爆炸发生，粒子分开。如果所有处理器获得流体域的相等份额，则只有一些处理器获得最初装载有粒子的域的部分，导致处理器上的不同负载。为了消除不同处理器之间的负载不平衡，加快最大完工时间，本文提出了针对由数十万个核组成的大规模多核平台的CMT-nek的不同负载均衡算法。给出了负载均衡算法的具体实现过程。对不同的负载均衡算法的性能进行了比较，并对相关的开销进行了分析。对有无负载均衡的应用程序进行了评估，这些结果表明，与负载均衡，仿真时间变得更快的一个因素高达$9.97$。
2018-07-06 cs.DC
Fine-grained MoE Load Balancing with Linear Programming
Peking University（北京大学）
本文提出一种基于线性规划的细粒度MoE负载平衡方法，通过高效令牌调度提升训练吞吐量47.6%
2026-01-15 cs.DC
Review of Hybrid Load Balancing Algorithms in Cloud Computing Environment
本文综述了云计算环境中的多种混合负载均衡算法，指出传统静态和动态算法的局限性，并说明混合方法通过继承两者特性来克服其不足，以解决动态工作负载分配问题。
2022-02-26 cs.DC
Novel Dynamic Load Balancing Algorithm for Cloud-Based Big Data Analytics
云环境中的大数据分析除了安全、隐私和能效之外，还带来了实时负载均衡等挑战。在本文中，我们提出了一种新的负载均衡算法在云环境中，执行资源分配和任务调度效率。所提出的负载均衡器减少了在云上执行的大数据应用程序的执行响应时间。一般来说，调度是一个NP难问题。在我们提出的算法中，我们提供了解决方案，以减少搜索区域，从而降低复杂性的负载均衡。我们推荐两个数学优化模型来执行动态资源分配到虚拟机和任务调度。所提供的解决方案是基于爬山算法来最小化响应时间。我们从响应时间、周转时间、吞吐量指标和请求分布等方面对所提出的算法进行了性能评估，并与一些现有的算法进行了比较
2021-02-01 cs.DC
Dynamic load balancing for large-scale adaptive finite element computation
对于偏微分方程的并行计算，网格划分是一个关键。它要求每个进程拥有相同的计算量，并且分区质量应该适当，以减少进程之间的通信。当使用自适应有限元法计算偏微分方程时，网格和基函数在每次迭代中调整，这引入了负载均衡问题。网格应该动态地重新分布。本文研究了动态负载均衡算法及其在自适应有限元平台PHG上的实现。数值实验表明，本文研究的算法具有良好的划分质量，是有效的。
2017-01-23 cs.DC
Dynamic Load Balancing Strategies for Graph Applications on GPUs
由于图形处理在各个领域的普遍使用，在GPU上加速图形应用程序已经引起了很大的兴趣。图形应用程序中固有的\textit{irregularity}导致了并行化的几个挑战。一个关键的挑战，我们在本文中解决，是负载不平衡。如果线程的工作分配使用基于节点的图分区，则可能导致倾斜的任务分布，从而导致较差的负载平衡。相比之下，如果工作分配使用基于边的图划分，则负载平衡更好，但内存需求相对较高。这使得它不适合大型图形。在这项工作中，我们提出了三种技术，用于改进GPU上的图形应用程序的负载平衡。每种技术都带来了独特的优势，用户可能必须根据需求采用特定的技术。使用广度优先搜索和单源最短路径作为我们的处理内核，我们说明了现有的基于节点和基于边缘的机制相比，所提出的技术的有效性。
2017-11-01 cs.DC
Flexible Load Balancing with Multi-dimensional State-space Collapse: Throughput and Heavy-traffic Delay Optimality
负载均衡策略的重流量分析在很大程度上依赖于状态空间塌陷到一维线上的条件。在本文中，通过李雅普诺夫漂移分析，我们严格证明，即使在一个多维的状态空间崩溃，稳态重交通延迟最优仍然可以实现一般的负载均衡系统。这一结果直接意味着，实现稳定状态的重流量延迟最优只需要没有服务器空闲，而其他人都忙在重负载，从而补充和扩展扩散近似得到的结果。此外，我们探讨了更大的灵活性，允许多维的状态空间崩溃，在设计新的负载均衡政策，吞吐量最佳和繁忙的交通延迟最佳的稳定状态。这是通过克服各种技术挑战来实现的，本文中使用的方法可能具有独立的意义。
2018-06-08 cs.DC
A Note on "Optimal Static Load Balancing in Distributed Computer Systems"
本文研究了在异构分布式计算机系统上，一般作业的平均响应时间最小化问题。静态负载均衡策略用于此目的，其中负载的重新分配的决定不依赖于系统的状态。这篇文章与前一篇关于同一主题的文章密切相关。本文指出了前一篇文章中的一些不一致之处，提供了一个新的公式，并讨论了新的研究结果的影响，基于改进的公式，上一篇文章的结果。
2000-06-02 cs.DC
The Power of Both Choices: Practical Load Balancing for Distributed Stream Processing Engines
我们研究了分布式流处理引擎中的负载均衡问题，该问题在存在偏斜的情况下加剧。我们引入部分密钥分配（PKG），一个新的流划分方案，适应经典的“两个选择的权力”的分布式流设置，利用两个新的技术：密钥拆分和本地负载估计。这样，它实现了比键分组更好的负载均衡，同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG，包括真实世界和合成数据集。与标准散列相比，PKG将负载不平衡降低了几个数量级，并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时，这一结果转化为吞吐量提高了60%，延迟提高了45%。
2015-04-03 cs.DC
A New Fuzzy Approach for Dynamic Load Balancing Algorithm
负载均衡是通过在处理器之间分配负载来提高并行和分布式系统的性能的过程[1-2]。以前的大多数工作在负载均衡和分布式决策一般，没有有效地考虑到状态信息的不确定性和不一致性，但在模糊逻辑，我们有优势，使用crisps输入。本文提出了一种基于模糊逻辑的动态负载均衡算法，该算法能够有效地解决以往算法中存在的不确定性和不一致性问题，并且比轮询算法和随机算法分别提高了30.84%和45.45%的响应时间。
2009-10-02 cs.DC
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源，网格计算得到了广泛的应用。随着网格计算的出现，可以克服传统分布式系统的空间限制，并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务，其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题，特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制，以便读者了解哪种算法适用于不同的情况。关键词：广域网，分布式计算，负载均衡。
2014-09-12 cs.DC
Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能，可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息，它可以智能地在共享和分布式并行算法之间进行选择，以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口，提供了一系列分区方法。它提供了强大的和可扩展的抽象，如单侧分布式字典和基于MPI3共享内存的光环通信器，用于优化HPC代码。该工具被成功地集成到我们的内部代码，我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
Simple Load Balancing
我们考虑以下针对在由完整图连接的$n$节点之间任意分布的$m$令牌的负载均衡过程：在每个时间步中，随机均匀选择一对节点。令$\ell_1$和$\ell_2$为其各自的令牌数。两个节点交换令牌，使得它们分别具有$\lceil(\ell_1 + \ell_2)/2\rceil$和$\lfloor(\ell_1 + \ell_2)/2\rfloor$令牌。我们提供了一个简单的分析表明，这个过程中达到几乎完美的平衡内$O(n\log{n} + n \logΔ)$步骤，其中$Δ$是任何两个节点之间的最大初始负载差。
2018-08-16 cs.DC
Cluster-Based Load Balancing Algorithms for Grids
电子科学应用可能需要大量的数据和高处理能力，而网格基础设施非常适合满足这些要求。网格中的负载分布可能会发生变化，从而导致瓶颈和过载站点。我们描述了一个层次的动态负载均衡协议的网格。网格由集群组成，每个集群由一个协调器表示。每个协调器首先尝试平衡其集群中的负载，如果失败，则与其他协调器通信以执行负载的传输或接收。这一过程定期重复。我们分析了该协议的正确性，性能和可扩展性，并从模拟结果表明，我们的算法通过减少网格环境中的高负载节点的数量来平衡负载。
2011-10-10 cs.DC
Dynamic load balancing strategies for hierarchical p-FEM solvers
方程系统产生的p-版本有限元离散化通常需要一个特殊的处理，因为迭代求解器不是很有效。应用分层概念的基础上嵌套的解剖方法，允许设计复杂的求解器，以及先进的并行化策略。为了充分利用并行系统的底层计算能力，动态负载均衡策略成为一个重要组成部分。
2018-07-02 cs.DC
DPA Load Balancer: Load balancing for Data Parallel Actor-based systems
本文提出DPA Load Balancer，通过持续监控actor输入队列长度并结合一致性哈希重分配输入与状态合并，有效缓解流式框架中数据倾斜导致的掉队者问题。
2023-08-02 cs.DC
A Systematic Comparison of Dynamic Load Balancing Algorithms for Massively Parallel Rigid Particle Dynamics
随着计算能力随着时间的推移而增加，更多涉及和更大的模拟成为可能。然而，有效地使用所提供的计算资源变得越来越困难。特别是在具有空间域分区的基于粒子的模拟中，由于模拟是动态的，可能会发生大的负载不平衡。那么静态域划分可能不合适。这可能会显著降低模拟的整体运行时间。必须设计复杂的负载均衡策略来缓解此问题。在本文中，我们进行了系统的性能评估六种不同的负载均衡算法。我们的测试涵盖了广泛的模拟规模，并采用了最大的超级计算机之一。特别是，我们仔细研究了模拟的所有组件的运行时和内存的复杂性。当进展到极端规模的模拟，它是必不可少的，以确定瓶颈和预测的缩放行为。缩放实验显示多达一百多万个过程。每个算法的性能进行了分析，相对于质量的负载均衡和它的运行时成本。对于所有的测试，waLBerla多物理场框架。
2019-08-02 cs.DC
Harnessing Routing Foresight for Micro-step-level MoE load balancing in RL Post-training
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对MoE模型在RL后训练中微步级负载波动问题，提出ForeMoE系统，利用rollout阶段的可预见路由信息主动引导负载均衡，并采用分层规划器与传输引擎实现微步级重配置，在64 GPU上取得高达1.45倍加速。
2026-06-11 cs.DC
Fast Load Balancing Approach for Growing Clusters by Bioinformatics
本文介绍了快速负载均衡技术的灵感来自生物信息学是一个特殊的情况下，分配一个特定的病人与专家医师集群在实时的。这项工作被认为是软介绍的高斯混合模型的基础上提取的特征提供的患者。基于似然比检验，将患者分配到专科医师集群。所提出的算法有效地处理任何大小和任何数量的传入患者请求，并迅速将它们放置到专科医生集群。因此，即使在发生自然灾害的危险情况下，它也能平稳地平衡患者的交通负荷。模拟结果与可变大小的专科医生集群，以及解决随机增长的患者规模的问题。
2017-06-20 cs.DC
AcceLLM: Accelerating LLM Inference using Redundancy for Load Balancing and Data Locality
AcceLLM提出利用冗余数据实现负载均衡与数据局部性，在Nvidia H100和华为Ascend 910B2上模拟评估显示，相比现有系统延迟和效率提升高达30%。
2024-11-08 cs.DC
An Adaptive Load Balancer For Graph Analytical Applications on GPUs
图形分析工作负载的GPU线程之间的负载平衡是困难的，因为图形应用程序的不规则性和顶点度的高度可变性，特别是在幂律图中。我们描述了一种新的负载均衡计划来解决这个问题。我们的计划是在IrGL编译器中实现的，允许用户从高级顺序程序中为GPU生成高效的负载平衡代码。我们评估了多达16个分布式GPU上的几个图形分析应用程序，使用IrGL来编译代码，并使用Gluon基板进行GPU间通信。我们的实验表明，该计划可以实现平均速度提高2.2倍的输入，遭受严重的负载不平衡问题时，以前的国家的最先进的负载平衡计划使用。
2020-02-27 cs.DC
Network Load Balancing Methods: Experimental Comparisons and Improvement
负载均衡算法在需要将工作负载分布在多个资源（如多处理器系统中的核、分布式计算中的计算机以及网络链路）上的系统中起着关键作用。在本文中，我们研究和评估四个负载均衡方法：随机，轮循，最短队列，最短队列与陈旧的负载信息。我们建立了一个仿真模型，并比较了系统的平均延迟的负载均衡方法。我们还提供了一种改进的最短队列与陈旧的负载信息负载均衡的方法。本文还提出了改进的性能分析。
2017-10-18 cs.DC cs.PF
Improving the Load Balancing Performance of Vlasiator
本白皮书描述了在Vrasiator代码的千万亿次缩放过程中观察和解决的负载平衡性能问题。Vlasiator是芬兰气象研究所（FMI）开发的Vlasov混合模拟代码。Vlasiator将与空间网格相关的通信建模为超图，并使用Zoltan分区框架的并行超图分区方案（PHG）对网格进行分区。划分的结果决定了网格单元到处理器的分配。据观察，分区阶段需要相当大的百分比的整体计算时间。替代（图分区为基础的）计划，执行几乎以及超图分区计划，需要更少的预处理开销和更好的平衡，提出和研究。比较了Zoltan的PHG、ParMeTiS和PT-SCOTCH在运行时间、预处理开销和负载平衡质量方面的影响。给出了Jüelich BlueGene/P集群的测试结果。
2011-11-28 cs.DC
A Survey on Load Balancing Algorithms for VM Placement in Cloud Computing
基于虚拟化技术的云计算的出现为低成本托管虚拟资源而无需拥有任何基础设施带来了巨大的机会。虚拟化技术使用户能够获取、配置和按使用付费。然而，云数据中心主要包括托管多个虚拟机（VM）的异构商品服务器，这些虚拟机具有潜在的各种规范和波动的资源使用，这可能导致服务器内的不平衡的资源利用，这可能导致性能下降和违反服务水平协议（SLA）。为了实现高效的调度，这些挑战应该通过使用负载均衡策略来解决，这已被证明是NP-难问题。从多个角度，这项工作确定了挑战，并分析了现有的算法分配虚拟机到PM的基础设施云，特别是侧重于负载均衡。针对云数据中心中的虚拟机放置负载均衡算法进行了详细的分类研究，并根据分类结果对现有算法进行了分类。本文的目标是提供一个全面的和比较的了解现有的文献和援助研究人员提供了一个洞察力，为未来的潜在增强。
2017-02-08 cs.DC
Energy-aware Load Balancing Policies for the Cloud Ecosystem
计算机和通信系统的能耗并不与工作量成线性比例。即使在空闲或轻负载时，系统也会使用大量的能量。一个广泛报道的大型数据中心资源管理解决方案是将负载集中在服务器的子集上，并尽可能将其余服务器切换到可能的睡眠状态之一。我们提出了一个传统的负载均衡的概念，旨在优化大规模系统的能源消耗：{ \it均匀地分配工作负载的最小的一组服务器运行在一个最佳的能源水平，同时遵守QoS约束，如响应时间。}我们的模型适用于集群系统，该模型还要求在每个重新分配间隔的系统资源的需求以有界的速度增加。在本文中，我们报告了应用程序扩展的VM迁移成本。
2014-01-09 cs.DC
GPU Load Balancing
细粒度的工作负载和资源平衡是GPU上常规和不规则计算的高性能的关键。在这篇论文中，我们进行了广泛的调查，现有的负载平衡技术，建立一个抽象的解决困难的GPU上调度计算。我们提出了一个GPU细粒度的负载平衡抽象，从工作处理中提取负载均衡，旨在支持静态和动态调度，并通过可编程接口实现新的负载平衡调度。在我们的工作之前，释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架，我们希望在GPU上开发不规则并行算法时提高程序员的生产力，并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。利用我们从负载平衡不规则工作负载中获得的见解，我们构建了Stream-K，这是一个以工作为中心的矩阵乘法（GEMM）和密集线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的，我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用，而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上，我们的Stream-K GEMM并行化可产生高达14倍和6.7倍的峰值加速比，以及在32 K GEMM问题几何中比最先进的数学库（如CUTLASS和cuBLAS）更高且更一致的平均性能响应。
2022-12-17 cs.DC cs.DS
Survey of Major Load Balancing Algorithms in Distributed System
对分布式系统（包括云技术、集群系统、网格系统）中最常用的负载均衡算法进行了分类。按照分类对负载均衡算法的类型进行了比较分析，指出了每类算法的优点和缺点。每个算法的性能指标进行了说明。
2019-04-11 cs.DC cs.NI
On the Complexity of Load Balancing in Dynamic Networks
在负载均衡问题中，网络中的每个节点被分配一个负载，目标是通过执行本地负载交换来在节点之间均匀地分配负载。虽然负载均衡在静态网络中得到了广泛的研究，但直到最近才提出了一种收敛时间有界的动态网络负载均衡算法。在本文中，我们进一步研究了动态网络环境下的负载均衡的时间复杂度。首先，我们表明，随机性是没有必要的，并提出了一个确定性的算法，稍微提高了以前的算法的运行时间，在不匹配的价格。然后，我们考虑积分载荷，即，负载不能被无限分割，并证明没有匹配为基础的算法可以有界收敛时间为这种情况下。为了规避这两个不可能的结果，和一个已知的非积分的情况下，我们应用的方法平滑的分析，其中随机扰动是在最坏情况下的网络拓扑结构的选择。我们表明，这两个不可能的结果不持有这种分析下，这表明在现实世界中的系统负载平衡可能比下限建议更快。
2021-05-27 cs.DC cs.NI
Load balancing mechanisms in fog computing: A systematic review
最近，雾计算已经作为现代分布式范例被引入，并且作为云计算的补充来提供服务。Fog系统将存储和计算扩展到网络边缘，除了支持位置感知和移动性支持外，还能显著解决延迟敏感型应用的服务计算问题。负载均衡是雾网络的一个重要方面，它可以避免某些雾节点负载不足或过载的情况。通过负载均衡可以提高服务质量（QoS）参数，例如资源利用率、吞吐量、成本、响应时间、性能和能耗。近年来，人们对雾网络中的负载均衡技术进行了一些研究，但还没有系统的综述来巩固这些研究。本文系统地回顾了雾计算中的负载平衡机制，分为四类，包括近似方法、精确方法、基本方法和混合方法（2013年至2020年8月期间发表）。此外，本文还研究了负载均衡指标，以及与雾网络中所选负载均衡机制相关的所有优点和缺点。评价技术和工具，适用于每一个审查的研究进行了探讨。此外，这些机制的基本开放的挑战和未来的趋势进行了讨论。
2020-12-01 cs.DC cs.NI
Evaluation of Two-Level Load Balancing Framework in Cloud Environment
随着技术的进步和互联网的不断变化，云计算已经成为当今的趋势。随着云计算服务成本的降低和便捷性的提高，越来越多的用户将自己的Web资源和信息置于云环境中。客户系统的可用性和可靠性将变得越来越重要。如今云应用稍有中断，对用户的影响就会很大.如何保证云站点的可靠性和稳定性是一个重要的问题。负载均衡将是一个很好的解决方案。提出了一种基于两级负载均衡模型的云环境下Web站点全局服务器负载均衡框架。所提出的框架是为了适应一个开源的负载均衡系统，该框架允许网络服务提供商在不同的数据中心动态部署负载均衡器，而客户需要更多的负载均衡器，以提高可用性。
2015-05-12 cs.DC cs.NI
Communication-Aware Diffusion Load Balancing for Persistently Interacting Objects
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种基于扩散的分布式负载平衡方法，针对通信密集型应用中的负载不均问题，通过通信图优化跨节点通信并有效分配负载，同时提出算法变体以应对通信模式不可用的情况，并在模拟和粒子-细胞基准测试中进行验证。
2026-03-24 cs.DC cs.PF
In-Situ Assessment of Device-Side Compute Work for Dynamic Load Balancing in a GPU-Accelerated PIC Code
在分布式计算模型下，保持计算负载平衡对于代码的性能行为是很重要的。这对于GPU架构尤其如此，如果负载平衡不当，可能会遭受内存超额预订。我们提出了传统的负载均衡方法的增强，并明确针对GPU架构，探索由此产生的性能。我们的增强功能的一个关键组成部分是引入了几个GPU适合评估计算工作的策略。实施这些策略并进行基准测试，以找到最佳的数据汇集方法，用于GPU计算工作的现场评估。对于支持MPI+CUDA并行的完全动力学粒子细胞代码WarpX，我们通过一个基于强缩放的性能模型研究了改进的动态负载均衡的性能，并表明，对于在Summit上运行高达6144个GPU的激光离子加速测试问题，增强的动态负载均衡实现了从62%-74（在6个GPU上运行时为88%）理论预测的最大加速比;对于96-GPU的情况，我们发现动态负载均衡相对于没有负载均衡的基线（3.8倍加速）和具有静态负载均衡的基线（1.2倍加速）提高了性能。我们的研究结果提供了重要的见解动态负载均衡和性能评估，特别是在分布式内存应用程序的GPU上运行的背景下。
2021-04-23 cs.DC physics.acc-ph physics.comp-ph
Exploration of Fine-Grained Parallelism for Load Balancing Eager K-truss on GPU and CPU
在这项工作中，我们提出了一个性能探索的渴望K-桁架，线性代数公式的K-桁架图算法。我们提出了一种细粒度的并行方法来执行支持计算，以解决对称，三角图的并行任务的负载不平衡的性能问题。这种方法还增加了可用的并行性，使其适合GPU执行。我们使用Kokkos中的实现演示了我们的细粒度并行方法，并在Intel Skylake CPU和Nvidia Tesla V100 GPU上对其进行了评估。总的来说，我们观察到1.261之间。由于我们的细粒度并行公式，CPU性能提高了48倍，GPU性能提高了9.97- 16.92倍。
2020-09-16 cs.DC cs.PF
Practical Load Balancing for Content Requests in Peer-to-Peer Networks
本文研究的问题负载平衡的需求，在对等网络中的异构对等节点，持有副本的内容。分布式系统中的先前分散式负载均衡技术将其决策基于包含关于在服务实体处观察到的负载或可用容量的信息的周期性更新。我们发现，这些技术不工作，以及在对等上下文中，要么他们不解决对等节点的异构性，或者他们遭受显着的负载振荡。我们提出了一种新的分散算法，最大上限，副本节点的最大固有容量的基础上，并表明，与以前的算法不同，它是不依赖于更新的及时性或频率。然而，Max-Cap可以处理对等环境的异构性，而不会受到负载振荡的影响。
2002-09-21 cs.DC cs.NI
A Low Cost Two-Tier Architecture Model For High Availability Clusters Application Load Balancing
提出了一种低成本的两层高可用集群体系结构模型的设计与实现，结合负载均衡和共享存储技术，实现了Web服务器等应用负载均衡的三层体系结构。研究工作提出了一种设计，物理上省略网络文件系统（NFS）服务器节点和实现NFS服务器功能的集群节点，通过红帽集群套件（RHCS）与高可用性（HA）代理负载均衡技术。为了在硬件和计算解决方案的投资方面实现低成本的实现，所提出的架构将是有益的。该系统旨在提供稳定的服务，即使任何系统组件故障，由于不确定性，如网络系统，存储和应用程序。
2014-06-22 cs.DC cs.NI
(Almost) Perfect Discrete Iterative Load Balancing
本文针对任意图上的离散迭代负载均衡，提出一类通用匹配均衡方案，证明其能以高概率在渐近匹配连续谱界的轮数内达到差异度3，优于先前结果且适用于任意图。
2025-10-17 cs.DC math.PR
Load balancing in cloud data centers with optimized virtual machines placement
本文提出一种基于 learning automata 强化学习的虚拟机优化分配方法，通过提升优化算法性能并加速其收敛至全局最优，有效实现了云数据中心服务器间的负载均衡。
2023-11-07 cs.DC cs.NI
Distributed dynamic load balancing for task parallel programming
在本文中，我们推导和研究的方法，动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此，该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现，并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
Multi-GPU SNN Simulation with Static Load Balancing
FORTH - ICS（希腊研究与技术基金会计算机科学研究所）；CSD - UOC（克里特大学计算机科学系）
我们提出了一个SNN模拟器，可扩展到数百万个神经元，数十亿个突触和8个GPU。这是通过1）新颖的高速缓存感知尖峰传输算法2）模型并行多GPU分布方案和3）静态但非常有效的负载均衡策略实现的。该模拟器还具有易于使用的API和创建自定义模型的能力。我们比较建议的模拟器对两个国家的最先进的一系列基准，使用三个完善的模型。我们发现，我们的模拟器更快，消耗更少的内存，并与GPU的数量线性扩展。
2021-04-22 cs.DC cs.LG cs.NE
Stochastic Coordination in Heterogeneous Load Balancing Systems
当今的数据中心和大容量云服务采用了大量的异构服务器。在这样的设置中，客户端请求通常到达多个入口点，并且将它们分派到服务器是一个紧急的分布式系统问题。本文提出了一种有效的解决方案，在这种系统中的负载均衡问题，改进和克服以前的解决方案的问题。将负载均衡问题转化为一个随机优化问题，通过对该问题的数学分析，得到了一个有效的算法解。最后，对模拟数据的解决方案的广泛评估表明，它优于以前的解决方案。此外，由此产生的调度策略可以非常有效地计算，使解决方案实际可行。
2021-07-25 cs.DC cs.NI
Performance Assessment of Diffusive Load Balancing for Distributed Particle Advection
粒子平流是从矢量场中提取积分曲线的方法。由于负载不平衡的问题，粒子平流的有效并行化是一项具有挑战性的任务，其中进程被分配不平等的工作负载，导致其中一些进程在其他进程执行计算时空闲。负载均衡的方法有很多种，但它们都需要权衡，比如增加进程间的通信，或者需要中央控制结构。在这项工作中，我们提出了两个本地负载均衡方法的基础上扩散负载均衡家庭的粒子平流。每个进程都可以访问其相邻进程的块，这使得能够基于由邻域的工作负载定义的度量来动态共享粒子。这些方法在强和弱缩放以及负载不平衡方面进行评估。我们表明，该方法减少了总的运行时间的平流和缩放方面是有前途的，因为他们在本地孤立的进程邻域。
2022-08-16 cs.DC cs.GR
Optimal Oblivious Load-Balancing for Sparse Traffic in Large-Scale Satellite Networks
Massachusetts Institute of Technology（麻省理工学院）
研究了大规模LEO卫星网络中稀疏流量的最优盲目负载均衡方案，通过线性规划证明了在稀疏流量下，盲目路由无法低于特定负载上限，并构造了达到下限的最优方案。
2026-10-01 cs.DC cs.NI
Dynamic Load Balancing Techniques for Particulate Flow Simulations
并行多物理场仿真经常受到负载不平衡的影响，负载不平衡源于算法与空间和时间变化的工作负载的应用耦合。因此，希望最大限度地减少这些不平衡，以减少解决问题的时间并更好地利用可用的硬件资源。以颗粒流为例的应用程序，我们提出和评估负载均衡技术，解决这一具有挑战性的任务。这涉及负载估计步骤，其中预测当前生成的工作负载。我们将详细描述如何开发这样的工作量估计器。在第二步中，负载分配策略，如空间填充曲线或图分区应用于动态分配可用进程之间的负载。为了比较和分析它们的性能，我们采用这些技术的基准测试方案，并观察到减少了几乎四个因素的负载不平衡。这导致空间填充曲线的整体运行时间减少了14%。
2018-11-30 cs.DC physics.comp-ph
An Efficient Load Balancing Method for Tree Algorithms
如今，随着处理器数量的指数级增长，多处理成为主流。因此，负载均衡是高效执行并行算法的关键操作。在本文中，我们考虑的基本类树为基础的算法是出了名的不规则，很难负载平衡与现有的静态技术。我们提出了一种混合负载均衡方法，使用统计随机抽样估计树的深度和节点数分布均匀划分输入树的效用。为了进行初始性能研究，我们在英特尔至强融核加速器系统上实施了该方法。我们分别考虑了由Fibonacci和不平衡（有偏）随机生成树表示的规则和不规则不平衡树上的树遍历操作。结果表明，可扩展的性能高达60个物理处理器的加速器，以及外推128个处理器的情况下。
2017-09-30 cs.DC cs.PF
