Optimal Load Allocation for Coded Distributed Computation in Heterogeneous Clusters
近年来，编码技术已成为分布式计算中有效减轻离散节点影响的一种技术。然而，在这种情况下的编码主要是在同构工作者的假设下探索的，尽管现实世界的计算集群通常可以由具有不同计算能力的异构工作者组成。没有异构性意识的均匀负载分配可能会导致延迟的显著损失。在本文中，我们提出了最佳的负载分配编码分布式计算与异构工作者。具体来说，我们专注于存在具有相同计算能力的工人的情况下，这可以被视为一组进行分析。我们依赖于预期延迟的下限，并通过显示我们提出的负载分配达到足够大数量的工人的下限的最小值来获得最佳负载分配。从数值模拟，当假设组的异质性，我们的负载分配减少了预期的延迟的数量级超过现有的负载分配方案。
2020-02-17 cs.DC
A Note on "Optimal Static Load Balancing in Distributed Computer Systems"
本文研究了在异构分布式计算机系统上，一般作业的平均响应时间最小化问题。静态负载均衡策略用于此目的，其中负载的重新分配的决定不依赖于系统的状态。这篇文章与前一篇关于同一主题的文章密切相关。本文指出了前一篇文章中的一些不一致之处，提供了一个新的公式，并讨论了新的研究结果的影响，基于改进的公式，上一篇文章的结果。
2000-06-02 cs.DC
Learning Distributed and Fair Policies for Network Load Balancing as Markov Potential Game
École Polytechnique（巴黎综合理工学院）；Cisco Systems（思科系统公司）；Princeton University（普林斯顿大学）
本文研究了数据中心网络负载均衡问题，其中部署了多个负载均衡器（LB），使用多智能体强化学习（MARL）框架。这个问题的挑战包括异构的处理体系结构和动态环境，以及有限的和部分的可观察性的每个LB代理在分布式网络系统中，这可以大大降低性能的生产负载均衡算法在现实世界的设置。集中训练分散执行（CTDE）RL计划已被提出来提高MARL的性能，但它招致-特别是在分布式网络系统中，更喜欢分布式和即插即用的设计方案-代理之间的额外的通信和管理开销。我们制定的多代理负载均衡问题作为一个马尔可夫潜在的游戏，与一个精心设计的工作量分配公平性的潜在功能。提出了一种完全分布式的MARL算法来逼近博弈的纳什均衡。实验评估涉及事件驱动的模拟器和真实世界的系统，其中所提出的MARL负载均衡算法在模拟中显示出接近最佳的性能，并在现实世界的系统中的生产LB的优越的结果。
2022-10-14 cs.AI cs.DC cs.SY
When Load Rebalancing Does Not Work for Distributed Hash Table
分布式哈希表（Distributed Hash Table，DHT）以其高度的可扩展性和负载均衡的突出特点，成为许多广泛应用的存储系统的基础。最近，基于DHT的系统已经被部署用于物联网（IoT）应用场景。不幸的是，这样的系统可能会在横向扩展和负载重新平衡过程中遇到故障。这种现象与分布式哈希表系统的一般概念相矛盾，特别是关于其可扩展性和负载均衡特性。在本文中，我们研究了基于DHT的系统在向外扩展过程中的故障。我们制定的分布式哈希表的负载重新平衡问题，考虑写工作负载和数据移动的影响。我们发现，每个节点的平均网络带宽和平均写工作负载的强度是决定分布式哈希表负载再平衡可行性的两个关键因素。我们从理论上证明，负载重新平衡是不可行的一个大型的分布式哈希表系统下沉重的写工作负载在一个节点的扩展过程。
2020-12-30 cs.DC
Survey of Major Load Balancing Algorithms in Distributed System
对分布式系统（包括云技术、集群系统、网格系统）中最常用的负载均衡算法进行了分类。按照分类对负载均衡算法的类型进行了比较分析，指出了每类算法的优点和缺点。每个算法的性能指标进行了说明。
2019-04-11 cs.DC cs.NI
Efficient Load-Balancing through Distributed Token Dropping
我们介绍了一个新的图形问题，令牌丢弃游戏，我们展示了如何有效地解决它在分布式设置。我们使用的令牌下降游戏作为一种工具，设计一个有效的分布式算法稳定的方向，更一般的局部最优半匹配。Czygrinow等人（DISC 2012）在最大度$Δ$的图中发现了$O(Δ^5)$轮中的稳定方向，而我们将其改进为$O(Δ^4)$，并证明了$Ω(Δ)$的下界。
2021-02-17 cs.DC
Distributed dynamic load balancing for task parallel programming
在本文中，我们推导和研究的方法，动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此，该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现，并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
When Two Choices Are not Enough: Balancing at Scale in Distributed Stream Processing
仔细平衡分布式流处理系统中的负载对执行延迟和吞吐量具有根本性影响。负载均衡是一个挑战，因为现实世界的工作负载是倾斜的：流中的一些元组与键相关联，这些键比其他键更频繁。在大型部署中，偏斜的问题明显更多：更多的worker意味着每个worker的密钥更少，因此很难“平均”热键和冷键的成本。我们提出了一种新的负载均衡技术，使用heaving hitter算法来有效地识别流中最热的键。这些热键被分配给$d \geq 2$选项以确保负载平衡，其中$d$被自动调整以最小化运算符复制的内存和计算成本。该技术在线工作，不需要使用路由表。我们广泛的评估表明，我们的技术可以平衡大规模部署的实际工作负载，并通过$\mathbf{150\%}$和$\mathbf{60\%}$分别提高吞吐量和延迟在Apache Storm上部署时，在以前的最先进的。
2016-01-27 cs.DC
Network delay-aware load balancing in selfish and cooperative distributed systems
我们考虑一个请求处理系统组成的组织和他们的服务器通过互联网连接。用户观察到的延迟是通信延迟和在服务器上处理请求所需时间的总和。处理时间取决于服务器拥塞，即服务器必须处理的请求总数。我们分析的问题，平衡网络中的服务器的负载，以尽量减少总的观察到的延迟。我们考虑合作和自私的组织（每个组织的目标是最小化本地产生的请求的延迟）。该问题可以推广到分布式云中的任务调度;或者组织分布式CDN中的内容交付。在合作网络中，我们证明了该问题是多项式可解的。我们还提出了一个分布式算法迭代平衡负载。我们展示了如何估计当前的解决方案和最佳的基础上交换的负载量的算法之间的距离。在实验评估过程中，我们表明，分布式算法是有效的，因此它可以用于网络的动态变化的负载。在网络中的自私的组织，我们证明了无政府状态的无政府代价（最坏情况下的性能损失，由于自私）是低时，网络是同质的，服务器加载（请求处理时间是高的通信延迟相比）。在放松这些假设之后，我们通过实验评估了自私所造成的性能损失，表明它仍然很低。我们的研究结果表明，一个网络的服务器处理请求可以有效地管理分布式算法。此外，即使网络在组织上是分布式的，各个组织优化其请求的性能，网络仍然保持高效。
2012-12-03 cs.DC
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的，然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流，分布式流处理系统，解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上，其思想是通过自适应地发布备份来减轻备份开销，同时确保故障时的错误与理论保证有一定的界限。具体来说，AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型，将一般的流算法，以及出口只有几个阈值参数配置近似容错。此外，我们正式证明，AF流保留高算法特定的流算法的准确性，特别是在线学习的收敛保证。实验表明，AF-Stream在各种流算法下都能保持较高的性能（与无容错相比）和多次故障后的高准确率（与无故障相比）。
2019-08-12 cs.DC
Load balancing for distributed nonlocal models within asynchronous many-task systems
在这项工作中，我们考虑的挑战，开发一个分布式求解模型的基础上非本地的相互作用。在非局部模型中，与局部模型（如波动和热偏微分方程）相比，材料与相邻点的相互作用比网格离散化更长。在开发完全分布式求解器时，在大于网格大小的长度尺度上的交互在计算节点和通信瓶颈之间引入了额外的数据依赖性。在这项工作中，我们仔细研究这些挑战的背景下，非局部模型;保持特定的计算问题的演示文稿，我们考虑在二维设置的非局部热方程。特别地，我们提出的分布式框架更加关注数据通信的瓶颈和具有不同计算能力的节点之间的负载的动态平衡。对于负载均衡，我们提出了一种新的框架，评估节点的计算能力和动态平衡的负载，使节点之间的空闲时间是最小的。我们的框架在很大程度上依赖于HPX库，一个异步的多任务运行时间系统。我们提出了几个结果证明了所提出的框架的有效性。
2021-04-10 cs.DC
Semi-Dynamic Load Balancing: Efficient Distributed Learning in Non-Dedicated Environments
HKUST（香港科技大学）；University of Toronto（多伦多大学）
机器学习（ML）模型越来越多地在集群中训练，其中非专用工作者拥有异构资源。在这种情况下，模型训练效率可能会受到落后者的负面影响-这些工人比其他人跑得慢得多。有效的模型训练需要消除这些落后者，但对于现代ML工作负载，现有的负载均衡策略效率低下，甚至不可行。在本文中，我们提出了一种称为半动态负载均衡的新策略，以消除分布式ML工作负载的落伍者。关键的见解是ML工作者应该在迭代边界上进行负载平衡，对迭代内执行无干扰。我们开发的LB-BSP基于这样的见解，这是一个集成的工人协调机制，适应工人的负载，以他们的瞬时处理能力，通过正确的大小的样本批次在同步障碍。针对CPU和GPU集群的特点，分别为它们定制了批量大小算法。LB-BSP已被实现为TensorFlow和PyTorch等ML框架的Python模块。我们的EC2部署证实了LB-BSP是实用的，有效的和轻量级的，并且能够加速高达$54\%$的分布式训练。
2020-12-08 cs.AI cs.DC cs.LG
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
2017-01-14 cs.DC
Analyzes of the Distributed System Load with Multifractal Input Data Flows
本文针对分布式系统的负载均衡和资源的有效利用等一个实际科学问题，提出了一种解决方案。所提出的方法是基于计算负载CPU，内存和带宽的不同类别的服务，每个服务器和整个分布式系统的流量，并考虑到多重分形特性的输入数据流。引入了权重因子，允许确定服务器特征相对于彼此的重要性。因此，该方法允许计算所有系统服务器和系统利用率的不平衡。对不同多重分形参数的输入流场进行了仿真。仿真结果表明，多重分形业务流的特性对系统的不平衡性有明显的影响。所提出的方法的使用允许跨服务器分发请求，从而使负载服务器与平均值的偏差最小，这允许获得更高的系统性能指标和更快的处理流程。
2019-04-10 cs.DC
Communication-Efficient (Weighted) Reservoir Sampling from Fully Distributed Data Streams
我们认为通信效率的加权和不加权（均匀）随机抽样从分布式数据流呈现为一系列的小批量项目。这是分布式流计算的自然模型，我们的目标是展示其实用性。我们提出并分析了完全分布式，通信效率的算法，这两个版本的问题。在多达256个节点（5120个处理器）上进行加权水库采样的实验评估显示出良好的加速比，而理论分析则有望进一步扩展到更大的机器。
2020-02-25 cs.DC cs.DS
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网（IoT）的发展，分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发，是一个广泛使用的流处理引擎，其他包括Flink，Spark流。为了保证流媒体应用的成功运行，需要知道流媒体应用的最优资源需求，而过高的资源估计会增加额外的成本，因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中，我们提出了一个模型驱动的方法调度流应用程序，有效地利用先验知识的应用程序提供可预测的调度行为。具体来说，我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外，这种直觉还驱动资源映射，并有助于缩小估计和实际的低性能和资源利用率。总之，这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
We Are Impatient: Algorithms for Geographically Distributed Load Balancing with (Almost) Arbitrary Load Functions
在地理分布的系统中，通信延迟是不可忽略的。因此，请求的感知处理时间由将请求路由到服务器所需的时间和实际处理时间组成。一旦请求到达目标服务器，处理时间取决于该服务器的总负载;这种依赖性由load函数描述。我们考虑一类广泛的负载函数，我们只需要他们是凸的和二次可微的。特别是我们的模型可以应用到异构系统中，每个服务器有一个不同的负载函数。这种方法使我们不仅可以概括排队理论和批量请求的结果，而且还可以使用在压力测试下的系统中测量的派生负载函数。请求到服务器的最优分配是通信平衡的，即对于任何一对非完美平衡的服务器，将单个请求从过载服务器移动到欠载服务器所导致的处理时间的减少小于额外的通信延迟。我们提出了一个集中式和分散式的最佳负载均衡算法。我们证明了算法收敛的界。据我们所知，这些界限是不知道的，即使是以前研究的特殊情况下（排队理论和批量的请求）。这两种算法都是任意时间算法。在分散式算法中，每个服务器与随机选择的对等体平衡负载。这种算法对故障具有很强的鲁棒性。我们证明了分散算法执行局部最优步骤。我们的工作扩展了目前已知的结果，考虑了广泛的一类负载函数，并建立理论界的算法的收敛性。这些结果是适用于服务器的负载下的特性不能用一个标准的数学模型来描述。
2014-02-10 cs.DC
Designing Co-operation in Systems of Hierarchical, Multi-objective Schedulers for Stream Processing
Meta Platforms（Meta平台）
本文提出了一种在流处理系统中设计分层多目标调度器的方法，通过负载平衡关键计算资源和增强基础设施的鲁棒性，提升大规模数据处理效率。
2025-12-08 cs.DC
Distributed Analysis and Load Balancing System for Grid Enabled Analysis on Hand-held devices using Multi-Agents Systems
手持设备在快速增长的同时，固有地受到限制并且缺乏执行资源饥渴应用的能力。本文提出了一种基于多代理系统的分布式手持设备分析与负载均衡系统的设计与实现。该系统使低资源的移动手持设备作为网格启用的应用程序和分析环境的潜在客户端。我们提出了一个系统，在该系统中，移动代理将运输，调度，执行和返回结果的手持设备提交的繁重的计算工作。此外，以这种方式，我们的系统提供了高吞吐量的计算环境的手持设备。
2004-07-05 cs.DC
S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams
物联网和其他设备等分布式和异构节点生成的数据量、速度、种类和准确性的爆炸性增长，不断挑战着大数据处理平台和挖掘技术的最新水平。因此，它揭示了迫切需要解决这种预期的艾级数据生成和从这些数据中提取见解之间不断增长的差距。为了满足这一需求，本文提出了Stream to Cloud & Edge（S2CE），这是同类产品中第一个优化的多云和边缘编排器，易于配置，可扩展和可扩展。S2CE将支持在混合云和边缘环境上运行的大量异构数据流的机器和深度学习，同时提供实用和可扩展处理的必要功能：数据融合和预处理，采样和合成流生成，云和边缘智能资源管理以及分布式处理。
2020-07-02 cs.DC
StreamLearner: Distributed Incremental Machine Learning on Event Streams: Grand Challenge
如今，需要对来自智能设备的大量流数据进行自动分析，以实现物联网。复杂事件处理（CEP）范式承诺对事件流进行低延迟模式检测。然而，CEP系统需要用诸如在线训练和推理的机器学习（ML）能力来扩展，以便能够检测模糊模式（例如，离群值），并使用增量模型训练来提高运行时期间的模式识别准确性。在本文中，我们提出了一个分布式CEP系统表示为StreamLearner的ML启用复杂事件检测。所提出的编程模型和数据并行系统架构使广泛的现实世界的应用，并允许动态扩展和出系统资源的低延迟，高吞吐量的事件处理。我们表明，DEBS大挑战2017案例研究（即，智能工厂中的异常检测）无缝集成到StreamLearner API中。实验验证了StreamLearner的可扩展性和高事件吞吐量。
2017-06-26 cs.DC
Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions
在一些新兴的应用场景下，例如在智慧城市、大型基础设施的运营监控、可穿戴辅助和物联网中，必须在非常短的延迟下处理连续的数据流。已经开发了包括多个软件引擎的若干解决方案，用于以可扩展且高效的方式处理无界数据流。最近，已经提出了使用边缘计算进行数据流处理的架构。本文综述了流处理引擎和流处理机制的最新发展，以利用流处理中云计算的资源弹性特性。资源弹性允许应用程序或服务根据波动的需求向外扩展/向内扩展。虽然这些功能已被广泛研究的企业应用程序，流处理提出了挑战，实现弹性系统，可以根据当前的负载，有效的资源管理决策。在包含边缘和云计算资源的高度分布式环境中，弹性变得更具挑战性。这项工作探讨了其中一些挑战，并讨论了文献中提出的解决方案，以解决这些问题。
2017-12-02 cs.DC
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法，其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪，但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中，我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除，从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入，以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试，最多可使用1，024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟，分别使用。
2021-04-13 cs.DC
A Multi-Agent System Approach to Load-Balancing and Resource Allocation for Distributed Computing
在这项研究中，我们使用一个分散的计算方法来分配和调度任务的大规模分布式网格。该算法利用多智能体系统的涌现特性，动态地创建和分离集群，以满足全局任务队列不断变化的资源需求。该算法相比，一个标准的先进先出（FIFO）调度算法。仿真实验表明，分布式资源分配协议（dRAP）算法在队列清空时间、平均等待时间和CPU利用率等方面优于FIFO调度算法。这种分散式计算方法有望用于大规模分布式处理场景，如SETI@home和Google MapReduce。
2015-09-21 cs.DC cs.NE
Hardware locality-aware partitioning and dynamic load-balancing of unstructured meshes for large-scale scientific applications
我们提出了一个开放源码的拓扑感知分层非结构化网格划分和负载均衡工具TreePart。该框架提供了强大的抽象功能，可以在运行时自动检测和构建类似硬件的分层MPI拓扑。利用这些信息，它可以智能地在共享和分布式并行算法之间进行选择，以实现分区和负载均衡。它通过与现有的共享和分布式内存并行分区库接口，提供了一系列分区方法。它提供了强大的和可扩展的抽象，如单侧分布式字典和基于MPI3共享内存的光环通信器，用于优化HPC代码。该工具被成功地集成到我们的内部代码，我们目前的结果从一个燃烧问题的大涡模拟。
2020-08-03 cs.DC
Distributed-Memory Load Balancing with Cyclic Token-based Work-Stealing Applied to Reverse Time Migration
逆时偏移（RTM）是地震成像中的一项重要技术。其产生的地下图像在工业中用于以更高的置信度调查石油和天然气储层的存在和条件。由于其高计算成本，RTM必须使用并行计算机。平衡RTM的工作负载分布是分布式计算系统中日益增长的挑战。对共享资源的竞争和RTM的不同大小的任务是负载不平衡的一些可能来源。尽管存在许多负载均衡技术，但是针对大问题和大系统的扩展仍然是一个挑战，因为同步开销也会扩展。提出了一种适用于RTM的分布式存储系统的基于循环令牌的工作窃取（CTWS）算法。新的循环令牌方法减少了失败的窃取的数量，避免了通信开销，并简化了受害者的选择和终止策略。所提出的方法被实现为一个C库，使用消息传递接口（MPI）标准的单边通信功能。通过应用所提出的技术来平衡3D RTM系统的工作负载所获得的结果呈现出14.1%的加速比和78.4%的负载不平衡的减少的因素相比，传统的静态分布。
2019-08-29 cs.DC
Privacy-Preserving Distributed Clustering for Electrical Load Profiling
电力负荷分析支持零售商和配电网络运营商更好地了解消费者的消费行为。然而，传统的用于负载分析的聚类方法是集中式的，并且需要访问所有智能电表数据，从而导致消费者和零售商的隐私问题。为了解决这个问题，我们提出了一个隐私保护的分布式集群框架的负载分析，通过开发一个隐私保护的加速平均共识（PP-AAC）算法证明收敛。使用所提出的框架，我们修改了几个常用的聚类方法，包括k-均值，模糊C-均值，高斯混合模型，提供隐私保护的分布式聚类方法。通过这种方式，可以仅通过本地计算和相邻数据所有者之间的信息共享来执行负载分析，而不会牺牲隐私。同时，与传统的集中式聚类方法相比，每个数据所有者消耗的计算时间显著减少。分析了所提出的隐私保护分布式聚类框架的隐私性和复杂性。使用真实世界的爱尔兰住宅数据集验证了所提出的框架和建议的PP-AAC算法的正确性，效率，有效性和隐私保护功能。
2020-02-26 cs.DC cs.SY eess.SP
Local Deal-Agreement Based Monotonic Distributed Algorithms for Load Balancing in General Graphs
在计算机网络中，参与者可以在处理任务时进行合作，从而在它们之间平衡负载。我们提出了本地分布式算法，（反复）使用本地不平衡的标准，同时跨系统的参与者转移负载，迭代，直到所有负载平衡。我们的算法是基于一个简短的本地交易协议的建议/交易的通信，基于附近的负载。它们单调收敛，总是随着执行的进行提供更好的状态。此外，我们的算法避免了使负载暂时为负。因此，它们可以被认为是任何时间的，在这个意义上，它们可以在执行期间的任何时间停止。我们表明，我们的同步负载均衡算法实现$ε$ -平衡状态的连续设置和1-平衡状态的离散设置在所有的图形中，在$O(n D \log(n K/ε))$和$O(n D \log(n K/D) + n D^2)$时间，分别，其中$n$是节点数，$K$是初始差异，$D$是图形直径，和$ε$是最终的差异。我们的其他单调的同步和异步算法的离散设置的第一个算法，其中负载均衡是同时执行多个邻居的概括。这些算法到达一个1-平衡状态的时间$O(n K^2)$在一般的图形，但有可能更快的负载之间的所有邻居之间的平衡，而不是只有一个，我们描述了一个场景，演示了一个快速（$O(1)$）收敛的潜力。由于同步设置的限制，我们的异步算法避免了在进行下一个负载均衡步骤之前等待最慢的参与者的活动的需要。我们还介绍了我们的异步算法的自稳定版本。
2020-10-06 cs.DC
Task Allocation for Distributed Stream Processing
对实时、动态处理越来越多的大量数据的需求不断增长。为了确保流数据的及时和可靠的处理，已经开发了各种分布式流处理架构和平台，其处理（动态地）将处理任务分配给当前可用的物理资源以及在这些资源之间路由流数据的基本任务。然而，虽然有很多平台提供这种功能，但其背后的理论还没有得到很好的理解。特别是，不清楚如何最好地分配处理任务给给定的资源。在本文中，我们建立了一个理论基础，正式定义了分布式流处理的任务分配问题，我们证明是NP-难的。此外，我们提出了一个近似算法的类串并行可分解图，它捕获了广泛的常见的流处理应用程序。该算法实现了一个常数因子近似的假设下，资源的数量至少与计算任务的数量和计算成本的任务的通信成本占主导地位的比例。
2016-01-22 cs.DC
Railgun: managing large streaming windows under MAD requirements
一些关键任务系统，例如，欺诈检测需要在要求高吞吐量和低延迟的应用上的长时间滑动窗口上的准确、实时度量。由于这些应用程序需要“永久”运行并应对大量尖峰数据负载，因此它们还需要在分布式环境中运行。我们不知道任何流媒体系统提供所有这些属性。相反，现有系统进行了大量简化，例如将滑动窗口实现为一组固定的重叠窗口，从而危及度量准确性（违反监管规则）或延迟（违反服务协议）。在本文中，我们提出了Railgun，这是一种容错、弹性的分布式流媒体系统，支持实时滑动窗口，适用于需要高负载和毫秒级延迟的场景。我们使用真实数据对Railgun的初始原型进行了基准测试，显示出比Flink显著更低的延迟和独立于窗口大小的低内存使用。此外，我们表明，轨道炮几乎线性扩展，即使在每秒100万个事件的负载下，也能在高分辨率（<250ms@99.9%）下达到我们的毫秒级延迟。
2021-06-23 cs.DC
Scalable Distributed Job Processing with Dynamic Load Balancing
我们在这里提出了一个具有成本效益的框架，一个强大的可扩展和分布式作业处理系统，适应动态计算的需要，很容易与高效的负载均衡异构系统。该设计使得每个组件都是自包含的，并且不相互依赖。然而，它们仍然通过企业消息总线互连，以确保基于事务特性的安全、可靠和可靠的通信，以避免重复和数据丢失。系统通过健康检查机制和基于队列的负载均衡机制，实现了负载均衡、容错和故障恢复等功能。该系统有一个中央监控器的集中存储库，以实时跟踪各种作业执行的进度以及处理器的状态。分配优先级和按照优先级进行处理的基本要求内置于框架中。该框架最重要的方面是，它通过基于当前负载和各种成本因素计算目标处理器来避免作业迁移的需要。该框架将有能力横向和纵向扩展，以实现所需的性能，从而有效地最大限度地减少总拥有成本。
2013-06-06 cs.DC
DistCache: Provable Load Balancing for Large-Scale Storage Systems with Distributed Caching
负载均衡对于分布式存储满足严格的服务级别目标（SLO）至关重要。已经表明，快速高速缓存可以保证集群存储系统的负载均衡。然而，当系统扩展到多个集群时，快速缓存本身将成为瓶颈。传统的缓存分区和缓存复制机制要么导致缓存节点之间的负载不平衡，要么为缓存一致性带来很高的开销。我们提出DistCache，一个新的分布式缓存机制，提供可证明的负载均衡的大规模存储系统。DistCache通过缓存拓扑和查询路由共同设计缓存分配。其核心思想是在不同层的缓存节点之间使用独立的哈希函数划分热对象，并使用二次选择的幂自适应路由查询。我们证明，DistCache使高速缓存的吞吐量线性增加的高速缓存节点的数量，通过统一的技术，从扩展图，网络流，排队论。DistCache是一种通用解决方案，可应用于许多存储系统。我们展示了DistCache的好处，提供设计，实施和评估的用例，新兴的基于交换机的缓存。
2019-02-14 cs.DC cs.NI
Bleach: A Distributed Stream Data Cleaning System
在本文中，我们解决的问题，基于规则的流数据清洗，设置严格的要求延迟，规则的动态性和能力，以应付数据流的无界性。我们设计了一个系统，称为漂白，它实现了实时违规检测和数据修复上的脏数据流。Bleach依赖于高效、紧凑和分布式的数据结构来维护必要的状态以修复数据，使用等价类算法的增量版本。此外，它支持规则动态，并使用“累积”滑动窗口操作来提高清理精度。我们使用TPC-DS衍生的脏数据流评估漂白剂的原型，并观察其高吞吐量，低延迟和高清洗精度，即使与规则动态。实验结果表明优越的性能漂白相比，基准系统建立在微批量流范例。
2016-09-16 cs.DB cs.DC
Approximate Congestion Games for Load Balancing in Distributed Environment
博弈论模型的使用在描述网络和计算机系统的其它领域中的各种合作和非合作优化问题方面已经相当成功。本文研究了博弈论模型在分布式系统中的应用，即节点之间通过博弈来平衡总的处理负载。我们使用了拥挤博弈模型，一个多个代理竞争分配资源的博弈论模型，并研究了这种类型的博弈的纳什均衡的存在性。由于经典的拥塞博弈是PLS-完全的，我们使用一个近似，称为ε-拥塞博弈，它在有限步内收敛到ε-纳什均衡.我们的重点是定义负载均衡问题的ε-拥塞博弈模型，并最终提供一个贪婪算法的负载均衡在分布式系统中。我们模拟了我们提出的系统，以显示ε-拥塞博弈的效果，以及平衡状态下的负载分布。
2013-05-15 cs.DC cs.GT cs.NI
Distributed Load Orchestration for Vision Computing in Multi-Access Edge Computing
针对5G-MEC校园视频监控在高峰期的节点过载问题，提出基于负载均衡队列组织与截止期限感知优先级的分布式编排策略，并通过仿真验证其可减少转介并改善期限满足率。
2022-12-07 cs.DC
GetBatch: Distributed Multi-Object Retrieval for ML Data Loading
NVIDIA, Santa Clara, USA（NVIDIA公司）
GetBatch通过批量检索优化机器学习数据加载，提升吞吐量并降低延迟
2026-02-25 cs.AI cs.DB cs.DC
Grand Perspective: Load Shedding in Distributed CEP Applications
针对分布式多算子 CEP 的过载瓶颈，论文利用 CEP 定制选择率函数与线性规划动态配置负载丢弃，在合成与真实数据上实现及时处理和输出质量最优。
2023-09-29 cs.DC
RailS: Load Balancing for All-to-All Communication in Distributed Mixture-of-Experts Training
Faculty of Computer Science and Control Engineering, Shenzhen University of Advanced Technology（深圳先进技术学院计算机科学与控制工程系）；Institute for Network Sciences and Cyberspace, Tsinghua University（清华大学网络科学与网络空间研究院）；Department of Information Engineering, Chinese University of Hong Kong（香港中文大学信息工程系）；China Mobile（中国移动）
RailS利用Rail拓扑对称性将全局协调转为本地LPT调度，激活并行Rail多路径传输，提升MoE训练带宽20%-78%，缩短完成时间17%-78%。
2025-10-23 cs.DC cs.NI
Performance Assessment of Diffusive Load Balancing for Distributed Particle Advection
粒子平流是从矢量场中提取积分曲线的方法。由于负载不平衡的问题，粒子平流的有效并行化是一项具有挑战性的任务，其中进程被分配不平等的工作负载，导致其中一些进程在其他进程执行计算时空闲。负载均衡的方法有很多种，但它们都需要权衡，比如增加进程间的通信，或者需要中央控制结构。在这项工作中，我们提出了两个本地负载均衡方法的基础上扩散负载均衡家庭的粒子平流。每个进程都可以访问其相邻进程的块，这使得能够基于由邻域的工作负载定义的度量来动态共享粒子。这些方法在强和弱缩放以及负载不平衡方面进行评估。我们表明，该方法减少了总的运行时间的平流和缩放方面是有前途的，因为他们在本地孤立的进程邻域。
2022-08-16 cs.DC cs.GR
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源，网格计算得到了广泛的应用。随着网格计算的出现，可以克服传统分布式系统的空间限制，并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务，其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题，特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制，以便读者了解哪种算法适用于不同的情况。关键词：广域网，分布式计算，负载均衡。
2014-09-12 cs.DC
Network Load Balancing Methods: Experimental Comparisons and Improvement
负载均衡算法在需要将工作负载分布在多个资源（如多处理器系统中的核、分布式计算中的计算机以及网络链路）上的系统中起着关键作用。在本文中，我们研究和评估四个负载均衡方法：随机，轮循，最短队列，最短队列与陈旧的负载信息。我们建立了一个仿真模型，并比较了系统的平均延迟的负载均衡方法。我们还提供了一种改进的最短队列与陈旧的负载信息负载均衡的方法。本文还提出了改进的性能分析。
2017-10-18 cs.DC cs.PF
Delivery, consistency, and determinism: rethinking guarantees in distributed stream processing
最先进的流处理系统的一致性要求是根据交付保证来定义的。精确一次是最强的一个，也是最终用户最想要的。然而，关于这一概念有几个问题。强制执行一次的常用技术会产生显著的性能开销。此外，精确一次的概念没有正式定义，也没有捕获提供支持此保证的流处理系统的所有属性。在本文中，我们介绍了一个正式的框架，使我们能够更经常地定义流保证。我们证明了交付，一致性和确定性的属性是紧密相连的分布式流处理。我们还表明，具有轻量级的确定性，它是可能的，以提供确切的一次几乎没有性能开销。实验表明，该方法可以显着优于替代工业解决方案。
2019-07-14 cs.DB cs.DC
Benchmarking Distributed Stream Processing Platforms for IoT Applications
物联网（IoT）是一种技术范式，其中数百万个传感器实时监控并帮助通知或管理物理，环境和人类系统。物联网应用固有的闭环响应和决策能力使其成为使用低延迟和可扩展流处理平台的理想候选者。分布式流处理系统（DSPS）正在成为任何物联网堆栈的基本组件，但尚未针对物联网数据流和应用程序对当代DSPS的功效和性能进行严格研究。在这里，我们开发了一个基准套件和性能指标，以评估流物联网应用程序的DSPS。该基准测试包括13个常见的物联网任务，这些任务被分类在各种功能类别中并形成微基准测试，以及两个用于统计汇总和预测分析的物联网应用程序，这些应用程序利用了DSPS的各种分布式组成功能。这些与来自智能城市的真实物联网观察的流工作负载相结合。我们验证了流行的Apache Storm DSPS的物联网基准测试，并给出了实证结果。
2016-07-26 cs.DC
Skew Handling in Aggregate Streaming Queries on GPUs
如今，数据库系统要处理的数据已经变得如此之大，以至于任何传统的集中式技术都是不够的。与此同时，基于GPU的通用计算（GPGPU）最近成功地引起了数据管理社区的关注，因为它能够以较小的成本实现显著的速度提升。高效的偏斜处理是并行查询中的一个众所周知的问题，与执行环境无关。在这项工作中，我们调查的问题，在GPU上的并行聚合查询的负载不平衡的解决方案是由偏斜的数据。我们提出了一个通用的负载平衡框架，以及几个实例，我们的实验评估。据我们所知，这是第一次尝试在GPU上为数据库操作提供运行时负载平衡技术。
2013-09-03 cs.DB cs.DC
Optimal Random Sampling from Distributed Streams Revisited
我们给出了一个改进的算法，从一个大的数据流中抽取随机样本时，输入元素分布在多个站点，通过一个中央协调器进行通信。在任何时间点，协调器所持有的元素集合都代表了迄今为止所观察到的所有元素集合中的均匀随机样本。当与以前的工作相比，我们的算法渐近提高系统中发送的消息的总数，以及协调器所需的计算。我们还提出了一个匹配的下限，表明我们的协议发送的消息的最佳数量的一个常数的因素，具有很大的概率。作为一个副产品，我们得到了一个改进的算法，发现在多个分布式站点的沉重打击。
2019-03-28 cs.DC
Phoebe: QoS-Aware Distributed Stream Processing through Anticipating Dynamic Workloads
分布式流处理系统已经成为大数据处理平台的重要组成部分。它们的特点是对接近实时的事件流进行高吞吐量处理，目标是提供低延迟结果，从而实现对时间敏感的决策。同时，即使在存在部分故障的情况下，也期望结果是一致的，其中需要精确的一次处理保证正确性。流处理工作负载通常在本质上是动态的，这使得静态配置随着时间的推移而变得非常低效。静态资源分配几乎肯定会对服务质量产生负面影响和/或导致更高的操作成本。在本文中，我们提出了Phoebe，一个主动的方法来系统自动调优的分布式流处理作业执行动态工作负载。我们的方法利用并行分析运行，QoS建模和运行时优化提供了一个通用的解决方案，配置参数自动调整，以确保稳定的服务，以及与恢复时间服务质量目标的对齐。Phoebe利用时间序列预测来洞察未来的工作负载需求，从而提供准确、长期和可靠的扩展决策。我们的实验表明，菲比是能够提供一个稳定的服务，同时减少资源过度配置。
2022-06-20 cs.DC
Federated Anomaly Detection over Distributed Data Streams
FEUP（波尔图大学工程学院）；INESC TEC（葡萄牙国家能源与电网研究所）；FCUP（波尔图大学理学院）；FEP（波尔图大学经济学院）
例如，由于隐私立法和法规以及其他重要的道德问题，即使在高聚合水平上，电信网络数据的共享如今也受到高度限制。它导致数据分散在机构、地区和州之间，抑制了人工智能方法的使用，否则这些方法可以大规模利用数据。它需要建立一个平台来控制这些数据，建立模型或执行计算。在这项工作中，我们提出了一种方法来建立异常检测，联邦学习和数据流之间的桥梁。这项工作的首要目标是在分布式数据流上检测联邦环境中的异常。这项工作通过在异常检测的联邦学习设置中调整数据流算法，并通过提供一个强大的框架和在真实世界的分布式部署场景中演示实际可行性，补充了最先进的技术。
2022-05-17 cs.DC cs.LG
PyParSVD: A streaming, distributed and randomized singular-value-decomposition library
我们介绍PyParSVD \footnote{https://github.com/Romit-Maulik/PyParSVD}，一个Python库，实现了一个流，分布式和随机算法的奇异值分解。为了证明其有效性，我们从科学数据中提取相干结构。此外，我们显示弱缩放评估高达256个节点的西塔机在阿贡领导计算设施，展示了潜在的大规模数据分析的实际数据集。
2021-08-19 cs.DC cs.MS physics.ao-ph
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分，因为用户越来越依赖于它们提供快速访问新结果的能力。因此，根据这些结果及时做出决策取决于系统容忍故障的能力。通常，这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性，静态配置通常不能以低开销满足服务质量约束。在本文中，我们提出了Khaos，一种新的方法，它利用虚拟云自动化技术的并行处理功能，用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段，借用混沌工程的原则：建立稳定状态的处理条件，进行实验，以更好地了解系统如何执行故障，并使用这些知识，不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型，并通过实验证明了它的有用性。
2023-01-26 cs.DC
Towards Transactional Load over XtreemFS
我们建议使用基于跟踪的分布式文件系统（DFS）在事务IO负载下的性能评估。评估包括使用IO跟踪的模拟和实验。我们的实验表明，DFS，特别是XtreemFS，在支持分布式环境中的事务IO负载方面具有很大的潜力：它们表现出良好的性能、高可用性和可扩展性，同时为降低总体拥有成本开辟了道路。
2010-11-25 cs.DC cs.PF
Distributed Selfish Load Balancing with Weights and Speeds
在本文中，我们考虑在自私的客户端的上下文中的邻域负载均衡。我们假设有一个由n个处理器和m个任务组成的网络。处理器可以具有不同的速度，并且任务可以具有不同的权重。每个任务都由自私的用户控制。用户的目标是将他/她的任务分配给具有最小负载的处理器。我们重新回顾了[6]中介绍的并发概率协议，该协议在顺序轮中工作。在每一轮中，每个任务被允许查询一个随机选择的相邻处理器的负载。如果该负载较小，则任务将以适当选择的概率迁移到该处理器。使用谱图理论的技术，我们获得了近似和精确纳什均衡的预期收敛时间的上界，这些上界明显优于[6]中的先前结果。我们显示结果的统一任务的非统一的处理器和一般情况下，任务有不同的权重和机器的速度。据我们所知，这些是这种一般设置的第一个结果。
2011-09-30 cs.DC cs.DS
Improved Bounds for Distributed Load Balancing
在负载均衡问题中，输入是一个$n$ -顶点二分图$G = (C \cup S, E)$和每个客户端$c \in C$的正权重.算法必须将每个客户端$c \in C$分配给相邻的服务器$s \in S$。然后，服务器的负载是分配给它的所有客户端的加权和，并且目标是计算使服务器负载的某个函数最小化的分配，通常是最大服务器负载（即，$\ell_{\infty}$ -范数）或服务器负载的$\ell_p$ -范数。我们研究分布式环境下的负载均衡。在CONGEST模型中有两个现有的结果。Czygrinow等人[DISC 2012]展示了具有轮复杂度$O(Δ^5)$的未加权客户端的2-近似，其中$Δ$是输入图的最大度。Halldórsson等人[SPAA 2015]显示了未加权客户端的$O(\log{n}/\log\log{n})$近似和加权客户端的$O(\log^2\!{n}/\log\log{n})$近似，具有轮复杂度polylog $(n)$。在本文中，我们展示了第一个分布式算法来计算$O(1)$ -近似的负载均衡问题的polylog $(n)$轮。在CONGEST模型中，我们给出了一个$O(1)$ -近似算法在polylog $(n)$轮未加权的客户端。对于加权客户端，近似比率为$O(\log{n})$。在约束较少的情况下，给出了加权客户端在polylog $(n)$轮中的$O(1)$ …
2020-11-25 cs.DC cs.DS
Fast Prototyping of Distributed Stream Processing Applications with stream2gym
本文提出基于 Mininet 的 stream2gym 工具，通过高层接口支持大规模分布式流处理应用的快速原型化与多条件测试，并以低资源消耗获得与硬件测试平台相近的准确结果。
2024-09-01 cs.DC cs.NI
D3-Tree: A Dynamic Distributed Deterministic Load - Balancer for decentralized tree structures
在这项工作中，我们提出了D3树，一个动态的分布式确定性结构的数据管理在分散的网络。我们提出了简要的理论算法分析，我们提出的结构是基于，我们彻底描述的关键方面的实施。进行实验，我们验证了实现的结构优于其他知名的层次树为基础的结构，因为它提供了更好的负载平衡操作的复杂性。更具体地说，该结构实现了一个对数摊销的界限，使用一个有效的确定性负载平衡机制，这是一般的，足以适用于其他层次树为基础的结构。此外，我们调查的结构的容错，这还没有得到充分的解决，在以前的工作中，无论是理论上和通过严格的实验。我们证明了D3树是高度容错的，因为，即使是大规模的节点故障，它实现了显着的元素查询的成功率。然后，我们更进一步，为了达到亚对数复杂度，并提出了ART+结构（自治范围树），利用D3树的优异性能。ART+是一个完全动态的容错结构，它实现了查询和更新操作的亚对数性能，并在亚对数摊销成本下执行负载平衡。
2015-03-26 cs.DC cs.DS
