Evaluation of Two-Level Load Balancing Framework in Cloud Environment
随着技术的进步和互联网的不断变化,云计算已经成为当今的趋势。随着云计算服务成本的降低和便捷性的提高,越来越多的用户将自己的Web资源和信息置于云环境中。客户系统的可用性和可靠性将变得越来越重要。如今云应用稍有中断,对用户的影响就会很大.如何保证云站点的可靠性和稳定性是一个重要的问题。负载均衡将是一个很好的解决方案。提出了一种基于两级负载均衡模型的云环境下Web站点全局服务器负载均衡框架。所提出的框架是为了适应一个开源的负载均衡系统,该框架允许网络服务提供商在不同的数据中心动态部署负载均衡器,而客户需要更多的负载均衡器,以提高可用性。
2015-05-12 cs.DC cs.NI
Optimal Load Balancing and Assessment of Existing Load Balancing Criteria
并行迭代应用程序经常遭受负载不平衡,最关键的性能下降因素之一。因此,使用负载均衡技术来均匀地分布工作负载以最大化性能。一个关键的挑战是了解\textit{when}使用负载均衡技术。通常,这通过负载均衡标准来完成,该标准基于运行时应用数据和/或用户定义的信息来触发负载均衡。在本文的第一部分中,我们介绍了一种新的,自动负载均衡标准来自一个简单的数学模型。在第二部分中,我们提出了一个分支定界算法来找到负载均衡迭代,导致最佳的应用程序性能。该算法在二次时间内找到最佳负载均衡方案,而据我们所知,这从未在小于指数时间内得到解决。最后,我们比较了性能的情况下产生的最先进的负载均衡标准相对于最佳的负载均衡的情况下,在合成基准和并行N体模拟。在合成基准测试中,我们观察到所提出的标准优于其他自动标准。在数值实验中,我们表明,我们的新标准是,平均而言,$4.9\%$比国家的最先进的负载均衡标准,可以胜过他们高达$17.6\%$。此外,我们在数值研究中看到,最先进的自动标准在最坏的情况下$47.4\%$比最佳的慢,在最好的情况下$16.5\%$慢。
2021-04-04 cs.DC
Practical Load Balancing for Content Requests in Peer-to-Peer Networks
本文研究的问题负载平衡的需求,在对等网络中的异构对等节点,持有副本的内容。分布式系统中的先前分散式负载均衡技术将其决策基于包含关于在服务实体处观察到的负载或可用容量的信息的周期性更新。我们发现,这些技术不工作,以及在对等上下文中,要么他们不解决对等节点的异构性,或者他们遭受显着的负载振荡。我们提出了一种新的分散算法,最大上限,副本节点的最大固有容量的基础上,并表明,与以前的算法不同,它是不依赖于更新的及时性或频率。然而,Max-Cap可以处理对等环境的异构性,而不会受到负载振荡的影响。
2002-09-21 cs.DC cs.NI
A Low Cost Two-Tier Architecture Model For High Availability Clusters Application Load Balancing
提出了一种低成本的两层高可用集群体系结构模型的设计与实现,结合负载均衡和共享存储技术,实现了Web服务器等应用负载均衡的三层体系结构。研究工作提出了一种设计,物理上省略网络文件系统(NFS)服务器节点和实现NFS服务器功能的集群节点,通过红帽集群套件(RHCS)与高可用性(HA)代理负载均衡技术。为了在硬件和计算解决方案的投资方面实现低成本的实现,所提出的架构将是有益的。该系统旨在提供稳定的服务,即使任何系统组件故障,由于不确定性,如网络系统,存储和应用程序。
2014-06-22 cs.DC cs.NI
Load balancing in cloud data centers with optimized virtual machines placement
本文提出一种基于 learning automata 强化学习的虚拟机优化分配方法,通过提升优化算法性能并加速其收敛至全局最优,有效实现了云数据中心服务器间的负载均衡。
2023-11-07 cs.DC cs.NI
Stochastic Coordination in Heterogeneous Load Balancing Systems
当今的数据中心和大容量云服务采用了大量的异构服务器。在这样的设置中,客户端请求通常到达多个入口点,并且将它们分派到服务器是一个紧急的分布式系统问题。本文提出了一种有效的解决方案,在这种系统中的负载均衡问题,改进和克服以前的解决方案的问题。将负载均衡问题转化为一个随机优化问题,通过对该问题的数学分析,得到了一个有效的算法解。最后,对模拟数据的解决方案的广泛评估表明,它优于以前的解决方案。此外,由此产生的调度策略可以非常有效地计算,使解决方案实际可行。
2021-07-25 cs.DC cs.NI
Optimal Oblivious Load-Balancing for Sparse Traffic in Large-Scale Satellite Networks
Massachusetts Institute of Technology(麻省理工学院)
研究了大规模LEO卫星网络中稀疏流量的最优盲目负载均衡方案,通过线性规划证明了在稀疏流量下,盲目路由无法低于特定负载上限,并构造了达到下限的最优方案。
2026-10-01 cs.DC cs.NI
Network Load Balancing Methods: Experimental Comparisons and Improvement
负载均衡算法在需要将工作负载分布在多个资源(如多处理器系统中的核、分布式计算中的计算机以及网络链路)上的系统中起着关键作用。在本文中,我们研究和评估四个负载均衡方法:随机,轮循,最短队列,最短队列与陈旧的负载信息。我们建立了一个仿真模型,并比较了系统的平均延迟的负载均衡方法。我们还提供了一种改进的最短队列与陈旧的负载信息负载均衡的方法。本文还提出了改进的性能分析。
2017-10-18 cs.DC cs.PF
A Programming Model for GPU Load Balancing
我们提出了一个GPU细粒度的负载平衡抽象,从工作处理中提取负载均衡,旨在支持静态和动态调度,并通过可编程接口实现新的负载平衡调度。在我们的工作之前,释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架,我们希望在GPU上开发不规则并行算法时提高程序员的生产力,并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。因此,我们也希望通过在我们的抽象中将负载平衡的关注点从工作处理中分离出来,管理现有代码并将其扩展到未来的架构中变得更加容易。
2023-01-12 cs.DC
Data Load Balancing in Heterogeneous Dynamic Networks
数据负载均衡是P2P系统中一个具有挑战性的任务。分布式哈希表(DHT)抽象、节点异构、对象分布不均匀是造成结构化P2P覆盖网络负载不均衡的原因。以前的工作解决了负载均衡问题,假设同质的节点的能力,不知道的链路延迟在传输负载,并施加逻辑结构来收集和重新分配负载。提出了一种基于虚拟服务器的分布式负载均衡算法。在我们的方法中,每个节点收集邻居的负载信息,从物理上接近的节点,并重新分配虚拟服务器覆盖节点的基础上底层网络的拓扑结构。因此,我们的方法收敛数据负载均衡迅速,它也减少了节点之间的负载转移成本。此外,我们的方法增加了覆盖的紧密节点之间的负载均衡的质量,它也引入了一个新的权衡的质量之间的负载均衡和所有覆盖节点之间的负载转移成本。我们的模拟结果表明,我们的方法降低了负载转移成本,它节省了网络带宽。最后,我们表明,在度的不平衡的节点,作为拓扑意识的后果,不会导致一个显着的问题,拓扑意识覆盖。
2016-02-15 cs.DC
Dynamic Load Balancing for PIC code using Eulerian/Lagrangian partitioning
本文分析了用PIC方法模拟高能粒子束的等离子体物理程序的不同负载平衡策略。比较了静态和动态两种不同的负载均衡算法。拉格朗日和欧拉分割技术进行了研究。
2017-06-26 cs.DC
Scalable Parallel Numerical Constraint Solver Using Global Load Balancing
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学);IBM Watson Research Center(IBM沃森研究中心);University College Dublin(都柏林大学学院)
提出了一种求解数值约束满足问题的可扩展并行求解器。我们的并行化方案由同质的工人求解器,其中每一个运行在一个可用的核心,并通过全球负载均衡(GLB)的方法与他人进行通信。并行求解器是用X10实现的,X10提供了GLB的实现作为一个库。在实验中,几个NCSP从文献中解决,并获得高达516倍的加速比使用600个核心的TSUBAME2.5超级计算机。
2015-05-18 cs.AI cs.DC
A simpler load-balancing algorithm for range-partitioned data in peer-to-peer systems
随机散列是对等网络中平衡节点之间负载的标准方法。然而,散列破坏了对象键的局部属性,这是许多应用程序的关键属性,更具体地说,是那些需要范围搜索的应用程序。为了在保持负载平衡的同时保持密钥顺序,Ganesan、Bawa和Garcia-Molina提出了一种支持对象插入和删除的负载均衡算法,该算法使用恒定的摊销成本来保证网络中节点之间的最大和最小负载之间的比率为4.237。然而,他们的算法并不容易在真实网络中实现,因为它是递归的。他们的算法大多使用具有全局最大最小负载信息的局部操作。在这项工作中,我们提出了一个简单的非递归算法,基本上使用相同的原始操作,在Ganesan { \em等人}。的工作。我们证明,对于插入和删除,我们的算法保证了恒定的最大最小负载比为7.464与恒定的摊销成本。
2013-04-28 cs.DC cs.NI
Multi-Agent Reinforcement Learning for Network Load Balancing in Data Center
École Polytechnique(巴黎综合理工学院);Cisco Systems(思科系统公司);Princeton University(普林斯顿大学)
本文提出了网络负载均衡问题,一个具有挑战性的现实世界的任务,多智能体强化学习(MARL)方法。传统的启发式解决方案如加权代价多路径(WCMP)和本地最短队列(LSQ)对不断变化的负载分布和到达率缺乏灵活性,多个负载均衡器之间的平衡性较差。将协作网络负载均衡问题转化为Dec-POMDP问题,自然地引入了MARL方法。为了弥合应用基于学习的方法的现实差距,所有方法都直接在中到大规模的仿真系统上进行训练和评估。实验结果表明,独立和“自私”的负载均衡策略并不一定是全局最优的,而MARL算法在不同的环境下都具有较好的性能.此外,MARL方法的网络负载均衡的潜在困难进行了分析,这有助于提请注意的学习和网络社区的挑战。
2022-08-19 cs.DC cs.LG cs.NI
Deduplicator: When Computation Reuse Meets Load Balancing at the Network Edge
本文提出中间盒 Deduplicator,通过识别去重相似任务并感知边缘服务器资源状态,在保持线速负载均衡的同时将计算重用率最高提升 20%。
2024-05-04 cs.DC cs.NI
An Empirical Study and Analysis of the Dynamic Load Balancing Techniques Used in Parallel Computing Systems
并行计算机系统是一组处理单元的集合,这些处理单元通过通信和协作来有效地解决大型计算问题。为了实现这一目标,首先将大型计算问题划分为具有不同工作负载的多个任务,然后分配给不同的处理单元进行计算。工作负载的分配称为负载均衡。在各个处理元素之间适当地分配工作负载是非常重要的,因为不成比例的工作负载可能会消除并行化作业的性能优势。因此,并行系统上的负载均衡是一个关键的和具有挑战性的活动。负载均衡算法可以大致分为静态和动态两类。静态负载均衡算法在编译时将任务分配给处理元素,而动态算法在运行时间将任务绑定到处理元素。本文简要介绍了并行系统中常用的几种动态负载均衡技术,并给出了这些算法的性能比较分析结果。
2011-09-08 cs.DC
A Comparative Study of Load Balancing Algorithms in Cloud Computing Environment
云计算是IT环境中出现的一种新趋势,对基础设施和资源有着巨大的需求。负载均衡是云计算环境的一个重要方面。高效的负载均衡方案通过按需向云用户提供资源,以按需付费的方式确保高效的资源利用率。负载均衡甚至可以通过应用适当的调度标准来支持对用户进行优先级排序。根据服务水平协议(SLA)的要求,提出了不同云环境下的各种负载均衡方案。
2014-03-27 cs.DC
Binary PSOGSA for Load Balancing Task Scheduling in Cloud Environment
在云环境中,负载均衡任务调度是一个重要的问题,直接影响资源利用率。毫无疑问,负载均衡调度是云研究领域必须考虑的一个重要方面,因为它对后端和前端都有重大影响。只要在云中实现了有效的负载平衡,就可以实现良好的资源利用率。有效的负载均衡意味着以均衡的方式将提交的工作负载分布在云虚拟机上,从而实现高资源利用率和高用户满意度。在本文中,我们提出了一个负载均衡算法,二进制负载均衡-混合粒子群优化和引力搜索算法(Bin-LB-PSOGSA),这是一个生物启发的负载均衡调度算法,有效地使调度过程,以提高负载均衡水平的虚拟机。该算法发现最佳的任务到虚拟机的映射,提交的工作负载的长度和VM的处理速度的影响。实验结果表明,提出的Bin-LB-PSOGSA算法在负载均衡水平上优于纯Bin-LB-PSO算法和其他基准算法。
2018-06-01 cs.DC
Energy Efficient Geographical Load Balancing via Dynamic Deferral of Workload
随着云计算和移动计算的日益普及,个人、企业和研究中心已经开始将其IT和计算需求外包给按需云服务。最近,地理负载均衡技术已经被建议用于托管云计算的数据中心,以便通过利用跨区域的电价差异来降低能源成本。然而,这些算法并不区分不同工作负载的响应性要求。在本文中,我们使用的灵活性,从服务水平协议(SLA),以区分有限的延迟要求下的工作负载,并提出了一种新的方法,节省成本的地理负载均衡。我们调查每个数据中心需要执行多少工作负载,以及需要延迟多少工作负载并将其迁移到其他数据中心以节省能源,同时满足最后期限。我们提出了一个离线制定的地理负载均衡问题的动态延迟和在线算法,以确定分配的工作负载的数据中心和迁移的数据中心之间的工作负载,以适应动态电价变化。我们比较我们的算法与贪婪的方法,并表明,可以实现显着的成本节约迁移的工作量和动态延迟与未来的电价预测。我们验证我们的算法MapReduce的痕迹,并表明,地理负载均衡与动态延迟可以提供20-30%的成本节约。
2012-04-11 cs.DC cs.NI
Balancing indivisible real-valued loads in arbitrary networks
在并行计算中,一个问题被划分为一组分布在多个处理元素上的较小任务。平衡处理元素的负载是实现良好性能和可伸缩性的关键。如果各个任务的计算成本以不可预测的方式随时间变化,则动态负载均衡旨在将它们在处理元件之间迁移,以便保持负载平衡。在动态负载均衡中,任务是具有实值代价的不可分割的工作包。对于这种情况下不可分割的,实值负载,我们分析了平衡电路模型,本地动态负载平衡计划,不需要全球通信。我们扩展以前的分析,目前的情况下,并提供了一个概率界可实现的负载平衡。基于与离线球入箱问题的类比,我们进一步提出了一种新的算法,用于动态平衡不可分割的实值负载。我们基准的算法在数值实验中,并比较它与经典的贪心算法,无论是在解决方案的质量和通信成本。我们发现,所提出的算法的通信成本增加的补偿更高的解决方案的质量,导致平均约一个数量级的整体性能的增益。
2013-08-01 cs.DC
Immunological Approaches to Load Balancing in MIMD Systems
多指令多数据(MIMD)并行计算机的有效利用需要良好的负载均衡技术的应用。在本文中,我们表明,从观察复杂的自然系统,如哺乳动物的免疫系统,可以导致有效的负载均衡策略的免疫学。特别是,免疫系统的调节、抑制、耐受和记忆过程被认为是强大的负载均衡机制。我们提供了一个详细的例子,我们的方法适用于并行化的图像处理任务,即从CMOS集成电路的层的图像中提取电路设计。实验结果表明,采用免疫系统的负载均衡策略可以获得良好的加速比特性。
2022-10-03 cs.DC
DistCache: Provable Load Balancing for Large-Scale Storage Systems with Distributed Caching
负载均衡对于分布式存储满足严格的服务级别目标(SLO)至关重要。已经表明,快速高速缓存可以保证集群存储系统的负载均衡。然而,当系统扩展到多个集群时,快速缓存本身将成为瓶颈。传统的缓存分区和缓存复制机制要么导致缓存节点之间的负载不平衡,要么为缓存一致性带来很高的开销。我们提出DistCache,一个新的分布式缓存机制,提供可证明的负载均衡的大规模存储系统。DistCache通过缓存拓扑和查询路由共同设计缓存分配。其核心思想是在不同层的缓存节点之间使用独立的哈希函数划分热对象,并使用二次选择的幂自适应路由查询。我们证明,DistCache使高速缓存的吞吐量线性增加的高速缓存节点的数量,通过统一的技术,从扩展图,网络流,排队论。DistCache是一种通用解决方案,可应用于许多存储系统。我们展示了DistCache的好处,提供设计,实施和评估的用例,新兴的基于交换机的缓存。
2019-02-14 cs.DC cs.NI
Peer-to-Peer Cloud Provisioning: Service Discovery and Load-Balancing
本章介绍:(i)分层对等云供应架构;(ii)云供应的当前最新技术的总结,特别强调服务发现和负载均衡;(iii)现有对等网络管理模型的分类,重点是扩展用于索引和管理复杂供应信息的DHT;以及(iv)设计和实现新颖的可扩展软件结构(Cloud peer),该结构结合了公共/私有云、覆盖网络和结构化对等索引技术,以支持云计算环境中的可扩展和自管理服务发现和负载均衡。最后,提出了一个实验评估,证明了建立下一代云供应系统的基础上对等网络管理和信息传播模型的可行性。实验测试床已被部署在一个公共的云计算平台,亚马逊EC2,这表明了建议的对等云供应软件结构的有效性。
2009-12-10 cs.DC cs.NI
Load Balancer Tuning: Comparative Analysis of HAProxy Load Balancing Methods
负载均衡在实际应用中是普遍的(例如,WEB今天看到的。其中一个负载均衡器HAProxy作为一个开源的、易于使用的系统仍然具有相关性。在Web系统的上下文中,负载均衡器层对系统性能和所产生的成本具有重大影响,这对于基于云的部署是决定性的。因此,必须正确地调优负载均衡器配置,并从现有资源中获得最大的性能。在本技术报告中,我们首先介绍HAProxy架构及其负载均衡方法。然后,我们讨论了微调参数在这个负载均衡器,并检查他们的表现,面对各种工作负载强度。我们的评估包括各种类型的Web请求以及同构和异构的后端。最后,根据这项研究的结果,我们提出了一套最佳实践,以优化配置HAProxy。
2022-12-29 cs.DC
Locally Optimal Load Balancing
本工作研究分布式算法局部最优负载平衡:我们给出了一个图的最大程度$Δ$,每个节点有多达$L$单位的负载。任务是更均匀地分配负载,使得相邻节点的负载最多相差$1$。如果图是一条路径($Δ= 2$),则很容易在$O(L)$通信轮中解决该问题的分数版本,而与节点数量无关。我们表明,这是紧的,我们表明,它也可以解决离散版本的问题,在$O(L)$轮的路径。对于一般情况下($Δ> 2$),我们表明,分数负载均衡可以解决在$\operatorname{poly}(L,Δ)$轮和离散负载均衡在$f(L,Δ)$轮的一些功能$f$,独立的节点数。
2015-02-16 cs.DC
DLB: Deep Learning Based Load Balancing
在本文中,我们引入了DLB,一种基于深度学习的负载均衡机制,以有效地解决数据倾斜问题。DLB的关键思想是用深度学习模型取代负载均衡机制中的哈希函数,这些模型经过训练,能够以统一的方式将不同的工作负载和数据分布映射到服务器。我们实现了DLB,并使用CloudSim将其部署在实际的云环境中。实验结果表明,与传统的基于哈希函数的负载均衡方法相比,DLB能够实现更均衡的映射,尤其是在负载严重偏斜的情况下.
2021-09-12 cs.DC
Load Balancing for MapReduce-based Entity Resolution
基于MapReduce的复杂数据密集型任务实现的有效性和可伸缩性取决于在map和reduce任务之间均匀地重新分配数据。在存在偏斜数据的情况下,复杂的重新分配方法因此变得有必要在要并行执行的所有reduce任务之间实现负载均衡。对于复杂的问题,实体分辨率,我们提出并评估两种方法,这样的偏斜处理和负载均衡。该方法支持分块技术以减少实体解析的搜索空间,利用预处理MapReduce作业分析数据分布,并将大块实体分布在多个Reduce任务中。在一个实际的云基础设施上的评估表明所提出的负载均衡方法的价值和有效性。
2011-08-08 cs.DC
Prepartition: Load Balancing Approach for Virtual Machine Reservations in a Cloud Data Center
负载均衡对于云数据中心的高效和长期运营至关重要。对于虚拟化,在分配后进行虚拟机的后(反应式)迁移是负载均衡和整合的传统方式。然而,反应式迁移不容易达到预定义的负载平衡目标,并且可能会中断服务并带来不稳定性。因此,我们提出了一种新的方法,称为预分区,负载均衡。它将VM请求按开始时间、结束时间和容量需求顺序划分为几个子请求,并将每个子请求视为常规VM请求。通过这种方式,它可以主动为每个物理机器上的每个VM请求设置边界,并使调度器在VM迁移之前做好准备,以获得预定义的负载均衡目标,从而以细粒度的方式支持资源分配。仿真合成数据表明,在平均利用率、不平衡度、最大完工时间和容量最大完工时间等指标下,PrepartitionOff调度算法比现有的负载均衡算法性能提高10%~ 20%.我们还将预分区扩展到在线负载均衡。评估结果表明,我们提出的方法也优于现有的在线算法。
2021-10-19 cs.DC
An Analytical Overview Of Virtual Machine Load Balancing Scheduling Algorithms with their Comparative Case Study
本文针对云计算中虚拟机负载均衡调度问题,对粒子群优化、多目标优化、主动监控三种常用算法展开分析综述,梳理其特性、优缺点与应用,为云服务商优化负载均衡、避免用户延迟提供参考。
2025-02-23 cs.DC
Diffusive Load Balancing of Loosely-Synchronous Parallel Programs over Peer-to-Peer Networks
使用未充分利用的互联网资源被广泛认为是一种可行的高性能计算形式。据报道,使用400万个自愿的互联网主机,大约40 T FLOPS的持续处理能力可以解决非常复杂的并行问题。与此同时,拥有超过5000万参与者的点对点(P2P)文件共享网络已经证明了分布式系统的规模能力。本文致力于研究负载均衡技术的一般类松散同步并行算法时,在P2P网络上执行。我们发现,分散的,扩散的负载均衡可以有效地平衡负载,并促进P2P的动态特性。虽然适度的动态性可以有益于负载均衡,但是由于需要增加负载迁移,显著的动态性阻碍了并行程序性能。据我们所知,这项研究提供了新的见解松散同步并行程序在互联网上的性能。
2004-10-05 cs.DC
Dynamic Load Balancing for Compressible Multiphase Turbulence
CMT-nek是一种新的科学应用程序,用于对载有颗粒的爆炸分散湍流进行高保真预测模拟。CMT-nek涉及详细的模拟,是计算密集型的,目标是部署在exascale平台上。当应用程序在并行处理器上执行时,移动粒子是负载不平衡的主要来源。在一个演示问题中,所有的粒子最初都在一个封闭的容器中,直到爆炸发生,粒子分开。如果所有处理器获得流体域的相等份额,则只有一些处理器获得最初装载有粒子的域的部分,导致处理器上的不同负载。为了消除不同处理器之间的负载不平衡,加快最大完工时间,本文提出了针对由数十万个核组成的大规模多核平台的CMT-nek的不同负载均衡算法。给出了负载均衡算法的具体实现过程。对不同的负载均衡算法的性能进行了比较,并对相关的开销进行了分析。对有无负载均衡的应用程序进行了评估,这些结果表明,与负载均衡,仿真时间变得更快的一个因素高达$9.97$。
2018-07-06 cs.DC
Fine-grained MoE Load Balancing with Linear Programming
Peking University(北京大学)
本文提出一种基于线性规划的细粒度MoE负载平衡方法,通过高效令牌调度提升训练吞吐量47.6%
2026-01-15 cs.DC
Review of Hybrid Load Balancing Algorithms in Cloud Computing Environment
本文综述了云计算环境中的多种混合负载均衡算法,指出传统静态和动态算法的局限性,并说明混合方法通过继承两者特性来克服其不足,以解决动态工作负载分配问题。
2022-02-26 cs.DC
Learning Distributed and Fair Policies for Network Load Balancing as Markov Potential Game
École Polytechnique(巴黎综合理工学院);Cisco Systems(思科系统公司);Princeton University(普林斯顿大学)
本文研究了数据中心网络负载均衡问题,其中部署了多个负载均衡器(LB),使用多智能体强化学习(MARL)框架。这个问题的挑战包括异构的处理体系结构和动态环境,以及有限的和部分的可观察性的每个LB代理在分布式网络系统中,这可以大大降低性能的生产负载均衡算法在现实世界的设置。集中训练分散执行(CTDE)RL计划已被提出来提高MARL的性能,但它招致-特别是在分布式网络系统中,更喜欢分布式和即插即用的设计方案-代理之间的额外的通信和管理开销。我们制定的多代理负载均衡问题作为一个马尔可夫潜在的游戏,与一个精心设计的工作量分配公平性的潜在功能。提出了一种完全分布式的MARL算法来逼近博弈的纳什均衡。实验评估涉及事件驱动的模拟器和真实世界的系统,其中所提出的MARL负载均衡算法在模拟中显示出接近最佳的性能,并在现实世界的系统中的生产LB的优越的结果。
2022-10-14 cs.AI cs.DC cs.SY
Distributed dynamic load balancing for task parallel programming
在本文中,我们推导和研究的方法,动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此,该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现,并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
Novel Dynamic Load Balancing Algorithm for Cloud-Based Big Data Analytics
云环境中的大数据分析除了安全、隐私和能效之外,还带来了实时负载均衡等挑战。在本文中,我们提出了一种新的负载均衡算法在云环境中,执行资源分配和任务调度效率。所提出的负载均衡器减少了在云上执行的大数据应用程序的执行响应时间。一般来说,调度是一个NP难问题。在我们提出的算法中,我们提供了解决方案,以减少搜索区域,从而降低复杂性的负载均衡。我们推荐两个数学优化模型来执行动态资源分配到虚拟机和任务调度。所提供的解决方案是基于爬山算法来最小化响应时间。我们从响应时间、周转时间、吞吐量指标和请求分布等方面对所提出的算法进行了性能评估,并与一些现有的算法进行了比较
2021-02-01 cs.DC
Dynamic load balancing for large-scale adaptive finite element computation
对于偏微分方程的并行计算,网格划分是一个关键。它要求每个进程拥有相同的计算量,并且分区质量应该适当,以减少进程之间的通信。当使用自适应有限元法计算偏微分方程时,网格和基函数在每次迭代中调整,这引入了负载均衡问题。网格应该动态地重新分布。本文研究了动态负载均衡算法及其在自适应有限元平台PHG上的实现。数值实验表明,本文研究的算法具有良好的划分质量,是有效的。
2017-01-23 cs.DC
Flexible Load Balancing with Multi-dimensional State-space Collapse: Throughput and Heavy-traffic Delay Optimality
负载均衡策略的重流量分析在很大程度上依赖于状态空间塌陷到一维线上的条件。在本文中,通过李雅普诺夫漂移分析,我们严格证明,即使在一个多维的状态空间崩溃,稳态重交通延迟最优仍然可以实现一般的负载均衡系统。这一结果直接意味着,实现稳定状态的重流量延迟最优只需要没有服务器空闲,而其他人都忙在重负载,从而补充和扩展扩散近似得到的结果。此外,我们探讨了更大的灵活性,允许多维的状态空间崩溃,在设计新的负载均衡政策,吞吐量最佳和繁忙的交通延迟最佳的稳定状态。这是通过克服各种技术挑战来实现的,本文中使用的方法可能具有独立的意义。
2018-06-08 cs.DC
Communication-Aware Diffusion Load Balancing for Persistently Interacting Objects
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于扩散的分布式负载平衡方法,针对通信密集型应用中的负载不均问题,通过通信图优化跨节点通信并有效分配负载,同时提出算法变体以应对通信模式不可用的情况,并在模拟和粒子-细胞基准测试中进行验证。
2026-03-24 cs.DC cs.PF
GPU Load Balancing
细粒度的工作负载和资源平衡是GPU上常规和不规则计算的高性能的关键。在这篇论文中,我们进行了广泛的调查,现有的负载平衡技术,建立一个抽象的解决困难的GPU上调度计算。我们提出了一个GPU细粒度的负载平衡抽象,从工作处理中提取负载均衡,旨在支持静态和动态调度,并通过可编程接口实现新的负载平衡调度。在我们的工作之前,释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架,我们希望在GPU上开发不规则并行算法时提高程序员的生产力,并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。利用我们从负载平衡不规则工作负载中获得的见解,我们构建了Stream-K,这是一个以工作为中心的矩阵乘法(GEMM)和密集线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的,我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用,而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上,我们的Stream-K GEMM并行化可产生高达14倍和6.7倍的峰值加速比,以及在32 K GEMM问题几何中比最先进的数学库(如CUTLASS和cuBLAS)更高且更一致的平均性能响应。
2022-12-17 cs.DC cs.DS
A Note on "Optimal Static Load Balancing in Distributed Computer Systems"
本文研究了在异构分布式计算机系统上,一般作业的平均响应时间最小化问题。静态负载均衡策略用于此目的,其中负载的重新分配的决定不依赖于系统的状态。这篇文章与前一篇关于同一主题的文章密切相关。本文指出了前一篇文章中的一些不一致之处,提供了一个新的公式,并讨论了新的研究结果的影响,基于改进的公式,上一篇文章的结果。
2000-06-02 cs.DC
The Power of Both Choices: Practical Load Balancing for Distributed Stream Processing Engines
我们研究了分布式流处理引擎中的负载均衡问题,该问题在存在偏斜的情况下加剧。我们引入部分密钥分配(PKG),一个新的流划分方案,适应经典的“两个选择的权力”的分布式流设置,利用两个新的技术:密钥拆分和本地负载估计。这样,它实现了比键分组更好的负载均衡,同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG,包括真实世界和合成数据集。与标准散列相比,PKG将负载不平衡降低了几个数量级,并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时,这一结果转化为吞吐量提高了60%,延迟提高了45%。
2015-04-03 cs.DC
A New Fuzzy Approach for Dynamic Load Balancing Algorithm
负载均衡是通过在处理器之间分配负载来提高并行和分布式系统的性能的过程[1-2]。以前的大多数工作在负载均衡和分布式决策一般,没有有效地考虑到状态信息的不确定性和不一致性,但在模糊逻辑,我们有优势,使用crisps输入。本文提出了一种基于模糊逻辑的动态负载均衡算法,该算法能够有效地解决以往算法中存在的不确定性和不一致性问题,并且比轮询算法和随机算法分别提高了30.84%和45.45%的响应时间。
2009-10-02 cs.DC
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源,网格计算得到了广泛的应用。随着网格计算的出现,可以克服传统分布式系统的空间限制,并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务,其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题,特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制,以便读者了解哪种算法适用于不同的情况。关键词:广域网,分布式计算,负载均衡。
2014-09-12 cs.DC
Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能,可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息,它可以智能地在共享和分布式并行算法之间进行选择,以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口,提供了一系列分区方法。它提供了强大的和可扩展的抽象,如单侧分布式字典和基于MPI3共享内存的光环通信器,用于优化HPC代码。该工具被成功地集成到我们的内部代码,我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
Simple Load Balancing
我们考虑以下针对在由完整图连接的$n$节点之间任意分布的$m$令牌的负载均衡过程:在每个时间步中,随机均匀选择一对节点。令$\ell_1$和$\ell_2$为其各自的令牌数。两个节点交换令牌,使得它们分别具有$\lceil(\ell_1 + \ell_2)/2\rceil$和$\lfloor(\ell_1 + \ell_2)/2\rfloor$令牌。我们提供了一个简单的分析表明,这个过程中达到几乎完美的平衡内$O(n\log{n} + n \logΔ)$步骤,其中$Δ$是任何两个节点之间的最大初始负载差。
2018-08-16 cs.DC
Cluster-Based Load Balancing Algorithms for Grids
电子科学应用可能需要大量的数据和高处理能力,而网格基础设施非常适合满足这些要求。网格中的负载分布可能会发生变化,从而导致瓶颈和过载站点。我们描述了一个层次的动态负载均衡协议的网格。网格由集群组成,每个集群由一个协调器表示。每个协调器首先尝试平衡其集群中的负载,如果失败,则与其他协调器通信以执行负载的传输或接收。这一过程定期重复。我们分析了该协议的正确性,性能和可扩展性,并从模拟结果表明,我们的算法通过减少网格环境中的高负载节点的数量来平衡负载。
2011-10-10 cs.DC
Approximate Congestion Games for Load Balancing in Distributed Environment
博弈论模型的使用在描述网络和计算机系统的其它领域中的各种合作和非合作优化问题方面已经相当成功。本文研究了博弈论模型在分布式系统中的应用,即节点之间通过博弈来平衡总的处理负载。我们使用了拥挤博弈模型,一个多个代理竞争分配资源的博弈论模型,并研究了这种类型的博弈的纳什均衡的存在性。由于经典的拥塞博弈是PLS-完全的,我们使用一个近似,称为ε-拥塞博弈,它在有限步内收敛到ε-纳什均衡.我们的重点是定义负载均衡问题的ε-拥塞博弈模型,并最终提供一个贪婪算法的负载均衡在分布式系统中。我们模拟了我们提出的系统,以显示ε-拥塞博弈的效果,以及平衡状态下的负载分布。
2013-05-15 cs.DC cs.GT cs.NI
Dynamic load balancing strategies for hierarchical p-FEM solvers
方程系统产生的p-版本有限元离散化通常需要一个特殊的处理,因为迭代求解器不是很有效。应用分层概念的基础上嵌套的解剖方法,允许设计复杂的求解器,以及先进的并行化策略。为了充分利用并行系统的底层计算能力,动态负载均衡策略成为一个重要组成部分。
2018-07-02 cs.DC
Sparse Mean Field Load Balancing in Large Localized Queueing Systems
本研究利用稀疏平均场理论,将有界度图中的多智能体负载均衡问题简化为单智能体问题,为稀疏连接排队网络提出了一种低通信开销的近最优可扩展负载均衡框架。
2024-03-22 cs.DC cs.LG cs.NI
Load Balancing Using Sparse Communication
本研究提出感知通信的负载均衡框架与基于状态近似的算法,通过新型通信协议用稀疏通信实现准确队列近似,经理论证明和仿真验证,在降低90%通信量的同时达到甚至超越现有最优算法性能。
2024-05-23 cs.DC cs.SY eess.SY
DPA Load Balancer: Load balancing for Data Parallel Actor-based systems
本文提出DPA Load Balancer,通过持续监控actor输入队列长度并结合一致性哈希重分配输入与状态合并,有效缓解流式框架中数据倾斜导致的掉队者问题。
2023-08-02 cs.DC
(Almost) Perfect Discrete Iterative Load Balancing
本文针对任意图上的离散迭代负载均衡,提出一类通用匹配均衡方案,证明其能以高概率在渐近匹配连续谱界的轮数内达到差异度3,优于先前结果且适用于任意图。
2025-10-17 cs.DC math.PR
Dynamic Averaging Load Balancing on Arbitrary Graphs
本文研究一般图上的动态平均负载均衡。我们考虑无限的时间和动态过程,在每一步新的负载项目被分配到随机选择的节点。选择一个匹配,并在该匹配的边缘上平均负载。我们分析了载荷项不可分的离散情形,而且我们的结果也可以推广到载荷项可以任意分割的连续情形。对于匹配的选择,我们考虑三种不同的模型,随机匹配的线性大小,随机匹配只包含单个边缘,和确定性序列的匹配覆盖整个图形。我们限制差异,其定义为最大和最小负载之间的差异。我们的研究结果涵盖了广泛的图形类,据我们所知,我们的分析是离散和动态平均负载均衡过程的第一个结果。作为我们的主要技术贡献,我们开发了一个漂移的结果,使我们能够应用技术的基础上,在一个电气网络的有效电阻的动态负载均衡的设置。
2023-02-23 cs.DC cs.DS math.PR