Handling Nested Parallelism and Extreme Load Imbalance in an Orbital Analysis Code
嵌套并行存在于搜索多维空间的科学代码中。然而，嵌套并行的实现通常具有开销和负载平衡问题。我们提出的轨道分析代码表现出稀疏的搜索空间，显着的负载不平衡，并停止时，达到第一个解决方案。算法的所有这些方面都加剧了有效使用嵌套并行的问题。在本文中，我们提出了一个检查员/执行者的策略分块到并行波前这样的计算。所提出的共享内存并行不再嵌套，并表现出显着更少的负载不平衡。我们评估这种方法的轨道分析代码，我们从原来的执行时间提高了一个数量级。作为并行编程模型研究生计算机科学课程的一部分，我们展示了如何在并行Perl，Python，Chapel，Pthreads和OpenMP中实现该方法。未来的工作包括研究如何自动化和推广的并行化方法。
2017-07-30 cs.DC
Optimal Load Balancing and Assessment of Existing Load Balancing Criteria
并行迭代应用程序经常遭受负载不平衡，最关键的性能下降因素之一。因此，使用负载均衡技术来均匀地分布工作负载以最大化性能。一个关键的挑战是了解\textit{when}使用负载均衡技术。通常，这通过负载均衡标准来完成，该标准基于运行时应用数据和/或用户定义的信息来触发负载均衡。在本文的第一部分中，我们介绍了一种新的，自动负载均衡标准来自一个简单的数学模型。在第二部分中，我们提出了一个分支定界算法来找到负载均衡迭代，导致最佳的应用程序性能。该算法在二次时间内找到最佳负载均衡方案，而据我们所知，这从未在小于指数时间内得到解决。最后，我们比较了性能的情况下产生的最先进的负载均衡标准相对于最佳的负载均衡的情况下，在合成基准和并行N体模拟。在合成基准测试中，我们观察到所提出的标准优于其他自动标准。在数值实验中，我们表明，我们的新标准是，平均而言，$4.9\%$比国家的最先进的负载均衡标准，可以胜过他们高达$17.6\%$。此外，我们在数值研究中看到，最先进的自动标准在最坏的情况下$47.4\%$比最佳的慢，在最好的情况下$16.5\%$慢。
2021-04-04 cs.DC
Optimizing Fine-Grained Parallelism Through Dynamic Load Balancing on Multi-Socket Many-Core Systems
针对GNU OpenMP在细粒度短任务上同步开销高的问题，提出XQueue无锁队列、分布式树屏障及两种NUMA感知无锁负载均衡策略，在BOTS基准测试中实现最高千倍级性能提升。
2025-03-19 cs.DC
A Programming Model for GPU Load Balancing
我们提出了一个GPU细粒度的负载平衡抽象，从工作处理中提取负载均衡，旨在支持静态和动态调度，并通过可编程接口实现新的负载平衡调度。在我们的工作之前，释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架，我们希望在GPU上开发不规则并行算法时提高程序员的生产力，并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。因此，我们也希望通过在我们的抽象中将负载平衡的关注点从工作处理中分离出来，管理现有代码并将其扩展到未来的架构中变得更加容易。
2023-01-12 cs.DC
Data Load Balancing in Heterogeneous Dynamic Networks
数据负载均衡是P2P系统中一个具有挑战性的任务。分布式哈希表（DHT）抽象、节点异构、对象分布不均匀是造成结构化P2P覆盖网络负载不均衡的原因。以前的工作解决了负载均衡问题，假设同质的节点的能力，不知道的链路延迟在传输负载，并施加逻辑结构来收集和重新分配负载。提出了一种基于虚拟服务器的分布式负载均衡算法。在我们的方法中，每个节点收集邻居的负载信息，从物理上接近的节点，并重新分配虚拟服务器覆盖节点的基础上底层网络的拓扑结构。因此，我们的方法收敛数据负载均衡迅速，它也减少了节点之间的负载转移成本。此外，我们的方法增加了覆盖的紧密节点之间的负载均衡的质量，它也引入了一个新的权衡的质量之间的负载均衡和所有覆盖节点之间的负载转移成本。我们的模拟结果表明，我们的方法降低了负载转移成本，它节省了网络带宽。最后，我们表明，在度的不平衡的节点，作为拓扑意识的后果，不会导致一个显着的问题，拓扑意识覆盖。
2016-02-15 cs.DC
Dynamic Load Balancing for PIC code using Eulerian/Lagrangian partitioning
本文分析了用PIC方法模拟高能粒子束的等离子体物理程序的不同负载平衡策略。比较了静态和动态两种不同的负载均衡算法。拉格朗日和欧拉分割技术进行了研究。
2017-06-26 cs.DC
Multi-Agent Reinforcement Learning for Network Load Balancing in Data Center
École Polytechnique（巴黎综合理工学院）；Cisco Systems（思科系统公司）；Princeton University（普林斯顿大学）
本文提出了网络负载均衡问题，一个具有挑战性的现实世界的任务，多智能体强化学习（MARL）方法。传统的启发式解决方案如加权代价多路径（WCMP）和本地最短队列（LSQ）对不断变化的负载分布和到达率缺乏灵活性，多个负载均衡器之间的平衡性较差。将协作网络负载均衡问题转化为Dec-POMDP问题，自然地引入了MARL方法。为了弥合应用基于学习的方法的现实差距，所有方法都直接在中到大规模的仿真系统上进行训练和评估。实验结果表明，独立和“自私”的负载均衡策略并不一定是全局最优的，而MARL算法在不同的环境下都具有较好的性能.此外，MARL方法的网络负载均衡的潜在困难进行了分析，这有助于提请注意的学习和网络社区的挑战。
2022-08-19 cs.DC cs.LG cs.NI
An Empirical Study and Analysis of the Dynamic Load Balancing Techniques Used in Parallel Computing Systems
并行计算机系统是一组处理单元的集合，这些处理单元通过通信和协作来有效地解决大型计算问题。为了实现这一目标，首先将大型计算问题划分为具有不同工作负载的多个任务，然后分配给不同的处理单元进行计算。工作负载的分配称为负载均衡。在各个处理元素之间适当地分配工作负载是非常重要的，因为不成比例的工作负载可能会消除并行化作业的性能优势。因此，并行系统上的负载均衡是一个关键的和具有挑战性的活动。负载均衡算法可以大致分为静态和动态两类。静态负载均衡算法在编译时将任务分配给处理元素，而动态算法在运行时间将任务绑定到处理元素。本文简要介绍了并行系统中常用的几种动态负载均衡技术，并给出了这些算法的性能比较分析结果。
2011-09-08 cs.DC
Exploiting Parallelism on Shared Memory in the QED Particle-in-Cell Code PICADOR with Greedy Load Balancing
采用粒子网格法对激光等离子体进行数值模拟，计算量非常大。因此，越来越需要开发有效利用现代超级计算机资源的方法。在本文中，我们解决的问题，一个基本上不均匀的和动态变化的宏观粒子分布在一个计算区域中模拟量子电动力学（QED）级联。我们提出并评估了共享内存系统的负载平衡方案，它允许将计算域的各个单元细分为工作部分，随后动态分配这些部分之间的OpenMP线程。一维，二维和三维QED模拟的计算实验表明，该方案优于先前开发的标准和自定义计划的PICADOR代码的2.1至10倍时，采用几个英特尔级联湖CPU。
2019-05-20 cs.DC cs.PF physics.comp-ph
A Comparative Study of Load Balancing Algorithms in Cloud Computing Environment
云计算是IT环境中出现的一种新趋势，对基础设施和资源有着巨大的需求。负载均衡是云计算环境的一个重要方面。高效的负载均衡方案通过按需向云用户提供资源，以按需付费的方式确保高效的资源利用率。负载均衡甚至可以通过应用适当的调度标准来支持对用户进行优先级排序。根据服务水平协议（SLA）的要求，提出了不同云环境下的各种负载均衡方案。
2014-03-27 cs.DC
Network Load Balancing Methods: Experimental Comparisons and Improvement
负载均衡算法在需要将工作负载分布在多个资源（如多处理器系统中的核、分布式计算中的计算机以及网络链路）上的系统中起着关键作用。在本文中，我们研究和评估四个负载均衡方法：随机，轮循，最短队列，最短队列与陈旧的负载信息。我们建立了一个仿真模型，并比较了系统的平均延迟的负载均衡方法。我们还提供了一种改进的最短队列与陈旧的负载信息负载均衡的方法。本文还提出了改进的性能分析。
2017-10-18 cs.DC cs.PF
Binary PSOGSA for Load Balancing Task Scheduling in Cloud Environment
在云环境中，负载均衡任务调度是一个重要的问题，直接影响资源利用率。毫无疑问，负载均衡调度是云研究领域必须考虑的一个重要方面，因为它对后端和前端都有重大影响。只要在云中实现了有效的负载平衡，就可以实现良好的资源利用率。有效的负载均衡意味着以均衡的方式将提交的工作负载分布在云虚拟机上，从而实现高资源利用率和高用户满意度。在本文中，我们提出了一个负载均衡算法，二进制负载均衡-混合粒子群优化和引力搜索算法（Bin-LB-PSOGSA），这是一个生物启发的负载均衡调度算法，有效地使调度过程，以提高负载均衡水平的虚拟机。该算法发现最佳的任务到虚拟机的映射，提交的工作负载的长度和VM的处理速度的影响。实验结果表明，提出的Bin-LB-PSOGSA算法在负载均衡水平上优于纯Bin-LB-PSO算法和其他基准算法。
2018-06-01 cs.DC
Decentralized Task Offloading and Load-Balancing for Mobile Edge Computing in Dense Networks
University of Tübingen（蒂宾根大学）；Ruhr-University Bochum（鲁尔大学波鸿分校）
本文针对密集网络中信息未知、任务随机的去中心化卸载与负载均衡问题，提出结合平均场多智能体多臂老虎机博弈和奖励调整负载均衡技术的方法，实现目标负载分布收敛。
2024-06-24 cs.DC cs.LG cs.MA
Balancing indivisible real-valued loads in arbitrary networks
在并行计算中，一个问题被划分为一组分布在多个处理元素上的较小任务。平衡处理元素的负载是实现良好性能和可伸缩性的关键。如果各个任务的计算成本以不可预测的方式随时间变化，则动态负载均衡旨在将它们在处理元件之间迁移，以便保持负载平衡。在动态负载均衡中，任务是具有实值代价的不可分割的工作包。对于这种情况下不可分割的，实值负载，我们分析了平衡电路模型，本地动态负载平衡计划，不需要全球通信。我们扩展以前的分析，目前的情况下，并提供了一个概率界可实现的负载平衡。基于与离线球入箱问题的类比，我们进一步提出了一种新的算法，用于动态平衡不可分割的实值负载。我们基准的算法在数值实验中，并比较它与经典的贪心算法，无论是在解决方案的质量和通信成本。我们发现，所提出的算法的通信成本增加的补偿更高的解决方案的质量，导致平均约一个数量级的整体性能的增益。
2013-08-01 cs.DC
Immunological Approaches to Load Balancing in MIMD Systems
多指令多数据（MIMD）并行计算机的有效利用需要良好的负载均衡技术的应用。在本文中，我们表明，从观察复杂的自然系统，如哺乳动物的免疫系统，可以导致有效的负载均衡策略的免疫学。特别是，免疫系统的调节、抑制、耐受和记忆过程被认为是强大的负载均衡机制。我们提供了一个详细的例子，我们的方法适用于并行化的图像处理任务，即从CMOS集成电路的层的图像中提取电路设计。实验结果表明，采用免疫系统的负载均衡策略可以获得良好的加速比特性。
2022-10-03 cs.DC
Themis: Efficient Sparse Model Training Through Fully Sharded Sparse Data Parallelism
The University of Hong Kong（香港大学）
Themis提出FSSDP方法，通过原位负载均衡与异构分片优化MoE训练，消除专家重排的开销，在2个集群的多样工作负载下实现1.26-2.42倍加速。
2026-08-24 cs.DC
Load Balancer Tuning: Comparative Analysis of HAProxy Load Balancing Methods
负载均衡在实际应用中是普遍的（例如，WEB今天看到的。其中一个负载均衡器HAProxy作为一个开源的、易于使用的系统仍然具有相关性。在Web系统的上下文中，负载均衡器层对系统性能和所产生的成本具有重大影响，这对于基于云的部署是决定性的。因此，必须正确地调优负载均衡器配置，并从现有资源中获得最大的性能。在本技术报告中，我们首先介绍HAProxy架构及其负载均衡方法。然后，我们讨论了微调参数在这个负载均衡器，并检查他们的表现，面对各种工作负载强度。我们的评估包括各种类型的Web请求以及同构和异构的后端。最后，根据这项研究的结果，我们提出了一套最佳实践，以优化配置HAProxy。
2022-12-29 cs.DC
Locally Optimal Load Balancing
本工作研究分布式算法局部最优负载平衡：我们给出了一个图的最大程度$Δ$，每个节点有多达$L$单位的负载。任务是更均匀地分配负载，使得相邻节点的负载最多相差$1$。如果图是一条路径（$Δ= 2$），则很容易在$O(L)$通信轮中解决该问题的分数版本，而与节点数量无关。我们表明，这是紧的，我们表明，它也可以解决离散版本的问题，在$O(L)$轮的路径。对于一般情况下（$Δ> 2$），我们表明，分数负载均衡可以解决在$\operatorname{poly}(L,Δ)$轮和离散负载均衡在$f(L,Δ)$轮的一些功能$f$，独立的节点数。
2015-02-16 cs.DC
DLB: Deep Learning Based Load Balancing
在本文中，我们引入了DLB，一种基于深度学习的负载均衡机制，以有效地解决数据倾斜问题。DLB的关键思想是用深度学习模型取代负载均衡机制中的哈希函数，这些模型经过训练，能够以统一的方式将不同的工作负载和数据分布映射到服务器。我们实现了DLB，并使用CloudSim将其部署在实际的云环境中。实验结果表明，与传统的基于哈希函数的负载均衡方法相比，DLB能够实现更均衡的映射，尤其是在负载严重偏斜的情况下.
2021-09-12 cs.DC
Load Balancing for MapReduce-based Entity Resolution
基于MapReduce的复杂数据密集型任务实现的有效性和可伸缩性取决于在map和reduce任务之间均匀地重新分配数据。在存在偏斜数据的情况下，复杂的重新分配方法因此变得有必要在要并行执行的所有reduce任务之间实现负载均衡。对于复杂的问题，实体分辨率，我们提出并评估两种方法，这样的偏斜处理和负载均衡。该方法支持分块技术以减少实体解析的搜索空间，利用预处理MapReduce作业分析数据分布，并将大块实体分布在多个Reduce任务中。在一个实际的云基础设施上的评估表明所提出的负载均衡方法的价值和有效性。
2011-08-08 cs.DC
Prepartition: Load Balancing Approach for Virtual Machine Reservations in a Cloud Data Center
负载均衡对于云数据中心的高效和长期运营至关重要。对于虚拟化，在分配后进行虚拟机的后（反应式）迁移是负载均衡和整合的传统方式。然而，反应式迁移不容易达到预定义的负载平衡目标，并且可能会中断服务并带来不稳定性。因此，我们提出了一种新的方法，称为预分区，负载均衡。它将VM请求按开始时间、结束时间和容量需求顺序划分为几个子请求，并将每个子请求视为常规VM请求。通过这种方式，它可以主动为每个物理机器上的每个VM请求设置边界，并使调度器在VM迁移之前做好准备，以获得预定义的负载均衡目标，从而以细粒度的方式支持资源分配。仿真合成数据表明，在平均利用率、不平衡度、最大完工时间和容量最大完工时间等指标下，PrepartitionOff调度算法比现有的负载均衡算法性能提高10%~ 20%.我们还将预分区扩展到在线负载均衡。评估结果表明，我们提出的方法也优于现有的在线算法。
2021-10-19 cs.DC
An Analytical Overview Of Virtual Machine Load Balancing Scheduling Algorithms with their Comparative Case Study
本文针对云计算中虚拟机负载均衡调度问题，对粒子群优化、多目标优化、主动监控三种常用算法展开分析综述，梳理其特性、优缺点与应用，为云服务商优化负载均衡、避免用户延迟提供参考。
2025-02-23 cs.DC
Diffusive Load Balancing of Loosely-Synchronous Parallel Programs over Peer-to-Peer Networks
使用未充分利用的互联网资源被广泛认为是一种可行的高性能计算形式。据报道，使用400万个自愿的互联网主机，大约40 T FLOPS的持续处理能力可以解决非常复杂的并行问题。与此同时，拥有超过5000万参与者的点对点（P2P）文件共享网络已经证明了分布式系统的规模能力。本文致力于研究负载均衡技术的一般类松散同步并行算法时，在P2P网络上执行。我们发现，分散的，扩散的负载均衡可以有效地平衡负载，并促进P2P的动态特性。虽然适度的动态性可以有益于负载均衡，但是由于需要增加负载迁移，显著的动态性阻碍了并行程序性能。据我们所知，这项研究提供了新的见解松散同步并行程序在互联网上的性能。
2004-10-05 cs.DC
Dynamic Load Balancing for Compressible Multiphase Turbulence
CMT-nek是一种新的科学应用程序，用于对载有颗粒的爆炸分散湍流进行高保真预测模拟。CMT-nek涉及详细的模拟，是计算密集型的，目标是部署在exascale平台上。当应用程序在并行处理器上执行时，移动粒子是负载不平衡的主要来源。在一个演示问题中，所有的粒子最初都在一个封闭的容器中，直到爆炸发生，粒子分开。如果所有处理器获得流体域的相等份额，则只有一些处理器获得最初装载有粒子的域的部分，导致处理器上的不同负载。为了消除不同处理器之间的负载不平衡，加快最大完工时间，本文提出了针对由数十万个核组成的大规模多核平台的CMT-nek的不同负载均衡算法。给出了负载均衡算法的具体实现过程。对不同的负载均衡算法的性能进行了比较，并对相关的开销进行了分析。对有无负载均衡的应用程序进行了评估，这些结果表明，与负载均衡，仿真时间变得更快的一个因素高达$9.97$。
2018-07-06 cs.DC
Fine-grained MoE Load Balancing with Linear Programming
Peking University（北京大学）
本文提出一种基于线性规划的细粒度MoE负载平衡方法，通过高效令牌调度提升训练吞吐量47.6%
2026-01-15 cs.DC
Review of Hybrid Load Balancing Algorithms in Cloud Computing Environment
本文综述了云计算环境中的多种混合负载均衡算法，指出传统静态和动态算法的局限性，并说明混合方法通过继承两者特性来克服其不足，以解决动态工作负载分配问题。
2022-02-26 cs.DC
Novel Dynamic Load Balancing Algorithm for Cloud-Based Big Data Analytics
云环境中的大数据分析除了安全、隐私和能效之外，还带来了实时负载均衡等挑战。在本文中，我们提出了一种新的负载均衡算法在云环境中，执行资源分配和任务调度效率。所提出的负载均衡器减少了在云上执行的大数据应用程序的执行响应时间。一般来说，调度是一个NP难问题。在我们提出的算法中，我们提供了解决方案，以减少搜索区域，从而降低复杂性的负载均衡。我们推荐两个数学优化模型来执行动态资源分配到虚拟机和任务调度。所提供的解决方案是基于爬山算法来最小化响应时间。我们从响应时间、周转时间、吞吐量指标和请求分布等方面对所提出的算法进行了性能评估，并与一些现有的算法进行了比较
2021-02-01 cs.DC
Dynamic load balancing for large-scale adaptive finite element computation
对于偏微分方程的并行计算，网格划分是一个关键。它要求每个进程拥有相同的计算量，并且分区质量应该适当，以减少进程之间的通信。当使用自适应有限元法计算偏微分方程时，网格和基函数在每次迭代中调整，这引入了负载均衡问题。网格应该动态地重新分布。本文研究了动态负载均衡算法及其在自适应有限元平台PHG上的实现。数值实验表明，本文研究的算法具有良好的划分质量，是有效的。
2017-01-23 cs.DC
Flexible Load Balancing with Multi-dimensional State-space Collapse: Throughput and Heavy-traffic Delay Optimality
负载均衡策略的重流量分析在很大程度上依赖于状态空间塌陷到一维线上的条件。在本文中，通过李雅普诺夫漂移分析，我们严格证明，即使在一个多维的状态空间崩溃，稳态重交通延迟最优仍然可以实现一般的负载均衡系统。这一结果直接意味着，实现稳定状态的重流量延迟最优只需要没有服务器空闲，而其他人都忙在重负载，从而补充和扩展扩散近似得到的结果。此外，我们探讨了更大的灵活性，允许多维的状态空间崩溃，在设计新的负载均衡政策，吞吐量最佳和繁忙的交通延迟最佳的稳定状态。这是通过克服各种技术挑战来实现的，本文中使用的方法可能具有独立的意义。
2018-06-08 cs.DC
Survey of Major Load Balancing Algorithms in Distributed System
对分布式系统（包括云技术、集群系统、网格系统）中最常用的负载均衡算法进行了分类。按照分类对负载均衡算法的类型进行了比较分析，指出了每类算法的优点和缺点。每个算法的性能指标进行了说明。
2019-04-11 cs.DC cs.NI
A Note on "Optimal Static Load Balancing in Distributed Computer Systems"
本文研究了在异构分布式计算机系统上，一般作业的平均响应时间最小化问题。静态负载均衡策略用于此目的，其中负载的重新分配的决定不依赖于系统的状态。这篇文章与前一篇关于同一主题的文章密切相关。本文指出了前一篇文章中的一些不一致之处，提供了一个新的公式，并讨论了新的研究结果的影响，基于改进的公式，上一篇文章的结果。
2000-06-02 cs.DC
On the Complexity of Load Balancing in Dynamic Networks
在负载均衡问题中，网络中的每个节点被分配一个负载，目标是通过执行本地负载交换来在节点之间均匀地分配负载。虽然负载均衡在静态网络中得到了广泛的研究，但直到最近才提出了一种收敛时间有界的动态网络负载均衡算法。在本文中，我们进一步研究了动态网络环境下的负载均衡的时间复杂度。首先，我们表明，随机性是没有必要的，并提出了一个确定性的算法，稍微提高了以前的算法的运行时间，在不匹配的价格。然后，我们考虑积分载荷，即，负载不能被无限分割，并证明没有匹配为基础的算法可以有界收敛时间为这种情况下。为了规避这两个不可能的结果，和一个已知的非积分的情况下，我们应用的方法平滑的分析，其中随机扰动是在最坏情况下的网络拓扑结构的选择。我们表明，这两个不可能的结果不持有这种分析下，这表明在现实世界中的系统负载平衡可能比下限建议更快。
2021-05-27 cs.DC cs.NI
The Power of Both Choices: Practical Load Balancing for Distributed Stream Processing Engines
我们研究了分布式流处理引擎中的负载均衡问题，该问题在存在偏斜的情况下加剧。我们引入部分密钥分配（PKG），一个新的流划分方案，适应经典的“两个选择的权力”的分布式流设置，利用两个新的技术：密钥拆分和本地负载估计。这样，它实现了比键分组更好的负载均衡，同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG，包括真实世界和合成数据集。与标准散列相比，PKG将负载不平衡降低了几个数量级，并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时，这一结果转化为吞吐量提高了60%，延迟提高了45%。
2015-04-03 cs.DC
A New Fuzzy Approach for Dynamic Load Balancing Algorithm
负载均衡是通过在处理器之间分配负载来提高并行和分布式系统的性能的过程[1-2]。以前的大多数工作在负载均衡和分布式决策一般，没有有效地考虑到状态信息的不确定性和不一致性，但在模糊逻辑，我们有优势，使用crisps输入。本文提出了一种基于模糊逻辑的动态负载均衡算法，该算法能够有效地解决以往算法中存在的不确定性和不一致性问题，并且比轮询算法和随机算法分别提高了30.84%和45.45%的响应时间。
2009-10-02 cs.DC
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源，网格计算得到了广泛的应用。随着网格计算的出现，可以克服传统分布式系统的空间限制，并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务，其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题，特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制，以便读者了解哪种算法适用于不同的情况。关键词：广域网，分布式计算，负载均衡。
2014-09-12 cs.DC
Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能，可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息，它可以智能地在共享和分布式并行算法之间进行选择，以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口，提供了一系列分区方法。它提供了强大的和可扩展的抽象，如单侧分布式字典和基于MPI3共享内存的光环通信器，用于优化HPC代码。该工具被成功地集成到我们的内部代码，我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
Simple Load Balancing
我们考虑以下针对在由完整图连接的$n$节点之间任意分布的$m$令牌的负载均衡过程：在每个时间步中，随机均匀选择一对节点。令$\ell_1$和$\ell_2$为其各自的令牌数。两个节点交换令牌，使得它们分别具有$\lceil(\ell_1 + \ell_2)/2\rceil$和$\lfloor(\ell_1 + \ell_2)/2\rfloor$令牌。我们提供了一个简单的分析表明，这个过程中达到几乎完美的平衡内$O(n\log{n} + n \logΔ)$步骤，其中$Δ$是任何两个节点之间的最大初始负载差。
2018-08-16 cs.DC
Cluster-Based Load Balancing Algorithms for Grids
电子科学应用可能需要大量的数据和高处理能力，而网格基础设施非常适合满足这些要求。网格中的负载分布可能会发生变化，从而导致瓶颈和过载站点。我们描述了一个层次的动态负载均衡协议的网格。网格由集群组成，每个集群由一个协调器表示。每个协调器首先尝试平衡其集群中的负载，如果失败，则与其他协调器通信以执行负载的传输或接收。这一过程定期重复。我们分析了该协议的正确性，性能和可扩展性，并从模拟结果表明，我们的算法通过减少网格环境中的高负载节点的数量来平衡负载。
2011-10-10 cs.DC
Load balancing mechanisms in fog computing: A systematic review
最近，雾计算已经作为现代分布式范例被引入，并且作为云计算的补充来提供服务。Fog系统将存储和计算扩展到网络边缘，除了支持位置感知和移动性支持外，还能显著解决延迟敏感型应用的服务计算问题。负载均衡是雾网络的一个重要方面，它可以避免某些雾节点负载不足或过载的情况。通过负载均衡可以提高服务质量（QoS）参数，例如资源利用率、吞吐量、成本、响应时间、性能和能耗。近年来，人们对雾网络中的负载均衡技术进行了一些研究，但还没有系统的综述来巩固这些研究。本文系统地回顾了雾计算中的负载平衡机制，分为四类，包括近似方法、精确方法、基本方法和混合方法（2013年至2020年8月期间发表）。此外，本文还研究了负载均衡指标，以及与雾网络中所选负载均衡机制相关的所有优点和缺点。评价技术和工具，适用于每一个审查的研究进行了探讨。此外，这些机制的基本开放的挑战和未来的趋势进行了讨论。
2020-12-01 cs.DC cs.NI
Dynamic load balancing strategies for hierarchical p-FEM solvers
方程系统产生的p-版本有限元离散化通常需要一个特殊的处理，因为迭代求解器不是很有效。应用分层概念的基础上嵌套的解剖方法，允许设计复杂的求解器，以及先进的并行化策略。为了充分利用并行系统的底层计算能力，动态负载均衡策略成为一个重要组成部分。
2018-07-02 cs.DC
Evaluation of Two-Level Load Balancing Framework in Cloud Environment
随着技术的进步和互联网的不断变化，云计算已经成为当今的趋势。随着云计算服务成本的降低和便捷性的提高，越来越多的用户将自己的Web资源和信息置于云环境中。客户系统的可用性和可靠性将变得越来越重要。如今云应用稍有中断，对用户的影响就会很大.如何保证云站点的可靠性和稳定性是一个重要的问题。负载均衡将是一个很好的解决方案。提出了一种基于两级负载均衡模型的云环境下Web站点全局服务器负载均衡框架。所提出的框架是为了适应一个开源的负载均衡系统，该框架允许网络服务提供商在不同的数据中心动态部署负载均衡器，而客户需要更多的负载均衡器，以提高可用性。
2015-05-12 cs.DC cs.NI
DPA Load Balancer: Load balancing for Data Parallel Actor-based systems
本文提出DPA Load Balancer，通过持续监控actor输入队列长度并结合一致性哈希重分配输入与状态合并，有效缓解流式框架中数据倾斜导致的掉队者问题。
2023-08-02 cs.DC
A Systematic Comparison of Dynamic Load Balancing Algorithms for Massively Parallel Rigid Particle Dynamics
随着计算能力随着时间的推移而增加，更多涉及和更大的模拟成为可能。然而，有效地使用所提供的计算资源变得越来越困难。特别是在具有空间域分区的基于粒子的模拟中，由于模拟是动态的，可能会发生大的负载不平衡。那么静态域划分可能不合适。这可能会显著降低模拟的整体运行时间。必须设计复杂的负载均衡策略来缓解此问题。在本文中，我们进行了系统的性能评估六种不同的负载均衡算法。我们的测试涵盖了广泛的模拟规模，并采用了最大的超级计算机之一。特别是，我们仔细研究了模拟的所有组件的运行时和内存的复杂性。当进展到极端规模的模拟，它是必不可少的，以确定瓶颈和预测的缩放行为。缩放实验显示多达一百多万个过程。每个算法的性能进行了分析，相对于质量的负载均衡和它的运行时成本。对于所有的测试，waLBerla多物理场框架。
2019-08-02 cs.DC
Communication-Aware Diffusion Load Balancing for Persistently Interacting Objects
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种基于扩散的分布式负载平衡方法，针对通信密集型应用中的负载不均问题，通过通信图优化跨节点通信并有效分配负载，同时提出算法变体以应对通信模式不可用的情况，并在模拟和粒子-细胞基准测试中进行验证。
2026-03-24 cs.DC cs.PF
GPU Load Balancing
细粒度的工作负载和资源平衡是GPU上常规和不规则计算的高性能的关键。在这篇论文中，我们进行了广泛的调查，现有的负载平衡技术，建立一个抽象的解决困难的GPU上调度计算。我们提出了一个GPU细粒度的负载平衡抽象，从工作处理中提取负载均衡，旨在支持静态和动态调度，并通过可编程接口实现新的负载平衡调度。在我们的工作之前，释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架，我们希望在GPU上开发不规则并行算法时提高程序员的生产力，并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。利用我们从负载平衡不规则工作负载中获得的见解，我们构建了Stream-K，这是一个以工作为中心的矩阵乘法（GEMM）和密集线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的，我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用，而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上，我们的Stream-K GEMM并行化可产生高达14倍和6.7倍的峰值加速比，以及在32 K GEMM问题几何中比最先进的数学库（如CUTLASS和cuBLAS）更高且更一致的平均性能响应。
2022-12-17 cs.DC cs.DS
Distributed dynamic load balancing for task parallel programming
在本文中，我们推导和研究的方法，动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此，该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现，并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
Harnessing Routing Foresight for Micro-step-level MoE load balancing in RL Post-training
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对MoE模型在RL后训练中微步级负载波动问题，提出ForeMoE系统，利用rollout阶段的可预见路由信息主动引导负载均衡，并采用分层规划器与传输引擎实现微步级重配置，在64 GPU上取得高达1.45倍加速。
2026-06-11 cs.DC
NeutronTP: Load-Balanced Distributed Full-Graph GNN Training with Tensor Parallelism
本文提出NeutronTP系统，通过张量并行划分特征实现负载均衡的分布式全图GNN训练，并采用解耦训练框架和内存高效调度，在16节点集群上相比现有系统实现最高8.72倍加速。
2024-12-29 cs.DC
Load Balancing in Compute Clusters with Delayed Feedback
Technische Universität Darmstadt（达姆施塔特工业大学）
负载均衡作为一个基本问题出现，是许多计算和通信系统的规模和操作的基础，例如数据中心集群中的作业路由、多路径通信、大数据和分布式系统。在本质上，决策代理映射每个到达的作业到一个可能的异构服务器，同时瞄准一个优化目标，如负载均衡，低平均延迟或低丢失率。在这里找到最佳负载均衡策略的一个主要困难是代理仅部分地观察其决策的影响，例如，通过延迟的服务工作的确认。在本文中，我们提供了一个部分可观察（PO）模型，捕获的负载均衡决定在有限的信息下的延迟应答的并行缓冲系统。我们提出了一个模拟模型，这个PO系统找到一个负载均衡政策，在实时使用可扩展的蒙特卡罗树搜索算法。我们数值上表明，由此产生的政策优于其他有限的信息负载均衡策略，如变种加入最多的观察，并具有可比的性能，如全信息策略：加入最短队列，加入最短队列（d）和最短预期延迟。最后，我们表明，我们的方法可以优化的实时并行处理通过使用Kaggle提供的网络数据。
2022-10-11 cs.AI cs.DC cs.LG
Dynamic Load Balancing Strategies for Graph Applications on GPUs
由于图形处理在各个领域的普遍使用，在GPU上加速图形应用程序已经引起了很大的兴趣。图形应用程序中固有的\textit{irregularity}导致了并行化的几个挑战。一个关键的挑战，我们在本文中解决，是负载不平衡。如果线程的工作分配使用基于节点的图分区，则可能导致倾斜的任务分布，从而导致较差的负载平衡。相比之下，如果工作分配使用基于边的图划分，则负载平衡更好，但内存需求相对较高。这使得它不适合大型图形。在这项工作中，我们提出了三种技术，用于改进GPU上的图形应用程序的负载平衡。每种技术都带来了独特的优势，用户可能必须根据需求采用特定的技术。使用广度优先搜索和单源最短路径作为我们的处理内核，我们说明了现有的基于节点和基于边缘的机制相比，所提出的技术的有效性。
2017-11-01 cs.DC
Practical Load Balancing for Content Requests in Peer-to-Peer Networks
本文研究的问题负载平衡的需求，在对等网络中的异构对等节点，持有副本的内容。分布式系统中的先前分散式负载均衡技术将其决策基于包含关于在服务实体处观察到的负载或可用容量的信息的周期性更新。我们发现，这些技术不工作，以及在对等上下文中，要么他们不解决对等节点的异构性，或者他们遭受显着的负载振荡。我们提出了一种新的分散算法，最大上限，副本节点的最大固有容量的基础上，并表明，与以前的算法不同，它是不依赖于更新的及时性或频率。然而，Max-Cap可以处理对等环境的异构性，而不会受到负载振荡的影响。
2002-09-21 cs.DC cs.NI
Fast Load Balancing Approach for Growing Clusters by Bioinformatics
本文介绍了快速负载均衡技术的灵感来自生物信息学是一个特殊的情况下，分配一个特定的病人与专家医师集群在实时的。这项工作被认为是软介绍的高斯混合模型的基础上提取的特征提供的患者。基于似然比检验，将患者分配到专科医师集群。所提出的算法有效地处理任何大小和任何数量的传入患者请求，并迅速将它们放置到专科医生集群。因此，即使在发生自然灾害的危险情况下，它也能平稳地平衡患者的交通负荷。模拟结果与可变大小的专科医生集群，以及解决随机增长的患者规模的问题。
2017-06-20 cs.DC
AcceLLM: Accelerating LLM Inference using Redundancy for Load Balancing and Data Locality
AcceLLM提出利用冗余数据实现负载均衡与数据局部性，在Nvidia H100和华为Ascend 910B2上模拟评估显示，相比现有系统延迟和效率提升高达30%。
2024-11-08 cs.DC
A Low Cost Two-Tier Architecture Model For High Availability Clusters Application Load Balancing
提出了一种低成本的两层高可用集群体系结构模型的设计与实现，结合负载均衡和共享存储技术，实现了Web服务器等应用负载均衡的三层体系结构。研究工作提出了一种设计，物理上省略网络文件系统（NFS）服务器节点和实现NFS服务器功能的集群节点，通过红帽集群套件（RHCS）与高可用性（HA）代理负载均衡技术。为了在硬件和计算解决方案的投资方面实现低成本的实现，所提出的架构将是有益的。该系统旨在提供稳定的服务，即使任何系统组件故障，由于不确定性，如网络系统，存储和应用程序。
2014-06-22 cs.DC cs.NI
