Load-Balanced Bottleneck Objectives in Process Mapping
Johannes Langguth, Sebastian Schlag, Christian Schulz
我们提出了一个新的问题制定图分区，是针对现代异构超级计算机上的时间关键型模拟的需求。
We propose a new problem formulation for graph partitioning that is tailored to the needs of time-critical simulations on modern heterogeneous supercomputers.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Load-Balanced Sparse MTTKRP on GPUs
稀疏矩阵化张量乘Khatri-Rao积（MTTKRP）是稀疏张量计算中计算量最大的核函数之一。这项工作的重点是优化GPU上的MTTKRP操作，同时满足性能和存储要求。我们首先确定直接将最先进的CSF（压缩稀疏光纤）格式从CPU扩展到GPU的性能瓶颈。与多核CPU相比，GPU的一个重大挑战是以负载平衡的方式利用更大程度的并行性进行不规则计算，如稀疏MTTKRP。为了解决这个问题，我们开发了一种新的存储高效的张量表示，使高性能，负载平衡的执行MTTKRP在GPU上。使用新的稀疏张量表示的稀疏MTTKRP的GPU实现优于所有目前已知的并行稀疏CPU和GPU MTTKRP实现。
VEBO: A Vertex- and Edge-Balanced Ordering Heuristic to Load Balance Parallel Graph Processing
图分区驱动分布式、基于磁盘和NUMA感知系统中的图处理。一个常用的分区目标是平衡每个分区的边数，同时最小化边或顶点切割。虽然这种类型的分区是计算昂贵的，我们观察到，这种拓扑驱动的分区，但在计算负载不平衡的结果。我们提出了顶点和边平衡排序（VEBO）：平衡边的数量和这些边的唯一目的地的数量。VEBO最优地平衡具有幂律度分布的图的边和顶点。在三个共享内存图形处理系统（Ligra，Polymer和GraphGrind）上的实验评估表明，VEBO实现了出色的负载平衡，并将性能提高了1.09倍于Ligra，1.41倍于Polymer和1.65倍于GraphGrind，与各自的分区算法相比，平均跨越8个算法和7个图形。
Partial Key Grouping: Load-Balanced Partitioning of Distributed Streams
我们研究了分布式流处理引擎中的负载均衡问题，该问题在存在偏斜的情况下加剧。我们引入部分密钥分配（PKG），一个新的流划分方案，适应经典的“两个选择的权力”的分布式流设置，利用两个新的技术：密钥拆分和本地负载估计。这样，它实现了比键分组更好的负载均衡，同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG，包括真实世界和合成数据集。与标准散列相比，PKG将负载不平衡降低了几个数量级，并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时，这一结果转化为吞吐量提高了175%，延迟提高了45%。PKG已集成到Apache Storm v0.10中。
Local Deal-Agreement Based Monotonic Distributed Algorithms for Load Balancing in General Graphs
在计算机网络中，参与者可以在处理任务时进行合作，从而在它们之间平衡负载。我们提出了本地分布式算法，（反复）使用本地不平衡的标准，同时跨系统的参与者转移负载，迭代，直到所有负载平衡。我们的算法是基于一个简短的本地交易协议的建议/交易的通信，基于附近的负载。它们单调收敛，总是随着执行的进行提供更好的状态。此外，我们的算法避免了使负载暂时为负。因此，它们可以被认为是任何时间的，在这个意义上，它们可以在执行期间的任何时间停止。我们表明，我们的同步负载均衡算法实现$ε$ -平衡状态的连续设置和1-平衡状态的离散设置在所有的图形中，在$O(n D \log(n K/ε))$和$O(n D \log(n K/D) + n D^2)$时间，分别，其中$n$是节点数，$K$是初始差异，$D$是图形直径，和$ε$是最终的差异。我们的其他单调的同步和异步算法的离散设置的第一个算法，其中负载均衡是同时执行多个邻居的概括。这些算法到达一个1-平衡状态的时间$O(n K^2)$在一般的图形，但有可能更快的负载之间的所有邻居之间的平衡，而不是只有一个，我们描述了一个场景，演示了一个快速（$O(1)$）收敛的潜力。由于同步设置的限制，我们的异步算法避免了在进行下一个负载均衡步骤之前等待最慢的参与者的活动的需要。我们还介绍了我们的异步算法的自稳定版本。
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
Balanced Overlay Networks (BON): Decentralized Load Balancing via Self-Organized Random Networks
我们提出了一种新的框架，称为平衡覆盖网络（BON），它提供了可扩展的，分散的负载均衡的分布式计算使用大规模池的异构计算机。基本上，BON将每个节点的可用计算资源信息编码在连接网络中节点的链路结构中。这种分布式编码是自组织的，每个节点通过随机游走采样管理其入度和本地连接。将传入作业分配给具有最多空闲资源的节点也通过经由短随机游走对节点进行采样来完成。大量的模拟表明，由此产生的高度动态和自组织的图结构可以有效地平衡整个大规模网络的计算负载。这些模拟涵盖了广泛的情况，包括可用计算资源的显著异质性和传入负载的高突发性。我们提供了分析结果，证明了BON的可扩展性，真正的大规模网络：特别是我们表明，在某些理想条件下，网络结构收敛到Erdos-Renyi（ER）随机图;我们的模拟结果，但是，表明该算法做得更好，结构似乎接近理想情况下的d-正则随机图。我们还将高负载的BON和著名的球仓随机负载均衡框架联系起来。
Balanced Dispersion on Time-Varying Dynamic Graphs
本文提出动态图上的 k-balanced dispersion 问题，通过同时约束各节点智能体数的上下界，将移动智能体分散与可移动负载均衡统一起来。
Randomized Load-balanced Routing for Fat-tree Networks
胖树网络已被广泛采用的高性能计算（HPC）集群和数据中心网络（DCN）。这些并行系统通常具有大量的服务器和主机，这会产生大量的高波动性流量。因此，分布式负载平衡路由设计成为实现高带宽利用率和低延迟数据包传输的关键。现有的分布式设计依赖于远程拥塞反馈来解决拥塞，这增加了收集和响应网络范围的拥塞信息的开销。相比之下，我们提出了一个简单而有效的负载平衡方案，称为动态随机负载平衡（DRB），通过本地链路调整，这是免费的交换机之间的通信和合作，以实现网络范围内的低水平的路径冲突。首先，我们使用D-mod-k路径选择方案为胖树网络中的所有源-目的地（S-D）对分配默认路径，保证任何一组活动S-D对的下行链路上的低水平路径冲突。然后，我们提出了基于双选择（TTC）的随机化技术，通过在每个交换机本地上行链路调整来平衡上行链路流量。我们从理论上表明，建议TTC的胖树网络中的上行链路负载均衡有一个类似的性能作为两个选择技术在该地区的随机负载均衡。仿真结果表明，在胖树网络中，采用TTC技术的DRB比许多随机路由方案都有明显的改善。
DCAFE: Dynamic load-balanced loop Chunking & Aggressive Finish Elimination for Recursive Task Parallel Programs
在本文中，我们提出了两个共生优化优化递归任务并行（RTP）程序，减少任务创建和终止的开销。我们的第一个优化积极主动消除（AFE）有助于在很大程度上减少冗余连接操作。第二个优化动态负载平衡循环分块（DLBC）扩展了先前的循环分块工作，以在运行时根据可用工作线程的数量决定并行任务的数量。此外，我们讨论了异常对我们的优化的影响，并将其扩展到处理可能抛出异常的RTP程序。我们在X10v2.3编译器中实现了DCAFE（= DLBC+AFE），并在两种不同硬件（16核Intel系统和64核AMD系统）上的一组基准内核上对其进行了测试。针对Nandivada等人[Nandivada et al.（2013）Nandivada，Shirako，Zhao，and Sarkar]（LC），DCAFE在Intel和AMD系统上分别实现了5.75倍和4.16倍的几何平均速度提升。我们还对英特尔系统的能耗进行了评估，结果表明，与LC版本相比，DCAFE版本的能耗平均降低了71.2%。
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法，其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪，但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中，我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除，从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入，以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试，最多可使用1，024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟，分别使用。
A Timer-Augmented Cost Function for Load Balanced DSMC
由于时间步长之间的硬依赖性，使用直接模拟蒙特卡罗（DSMC）方法进行的大规模模拟气体的速度最慢的处理器。因此，只有确保每个时间步所做的工作尽可能均匀地分配给处理器，才能实现可伸缩性。此外，随着模拟系统的发展，负载会发生变化，因此这种负载平衡通常需要在模拟过程中多次执行。常见的方法通常使用粗略的性能模型或处理器级定时器。我们结合两者来创建一个时间增强的成本函数，既收敛速度快，并产生良好的平衡处理器分解。当相比，单独的基于粒子的性能模型，我们的方法实现了2倍的加速在稳态高达1024个处理器的测试用例组成的马赫9氩气射流冲击固体壁。
Perfectly load-balanced, optimal, stable, parallel merge
我们提出了一个简单的，工作最佳和同步免费的解决方案，稳定地合并在并行两个给定的，有序的数组的m和n个元素到一个有序的数组的m+n个元素。的主要贡献是一个新的，简单，快速和直接的算法，确定任何前缀的稳定合并的输出序列，准确的前缀的两个输入序列需要产生这个输出前缀。更确切地说，对于所得到的、但尚未构造的表示输出前缀的输出数组中的任何给定索引（秩），该算法计算表示所需输入前缀的两个输入数组中的每一个中的索引（共秩），而不必合并输入数组。时间复杂度为O（log min（m，n））。该算法被用来设计一个完美的负载平衡，稳定，并行合并算法，其中每个p个处理元素有完全相同数量的输入元素合并。与其他方法的并行合并问题相比，我们的算法是相当简单，可以更快的两倍。与以往的算法相比，解决共同排名问题，这里给出的算法是直接的，并保持稳定的存在重复的元素，在没有额外的空间或时间成本。当处理单元数量p不超过（m+n）/log min（m，n）时，并行合并算法具有最佳加速比。它易于在共享和分布式存储并行系统上实现。
Self-Organization Scheme for Balanced Routing in Large-Scale Multi-Hop Networks
我们提出了一个自组织计划的成本效益和负载平衡的多跳网络路由。为了避免超载节点提供有利的路由条件，我们分配给每个节点的成本函数，惩罚高负载。因此，寻找到汇聚节点的路由被公式化为一个优化问题，其中全局目标函数在路由成本和节点负载之间取得平衡。我们应用信念传播（其最小和版本）来解决网络优化问题，并获得一个分布式算法，使节点集体发现全局最优路由，通过执行低复杂度的计算和交换消息与他们的邻居。我们证明了所提出的方法收敛到全局最优后，有限数量的本地交换的消息。最后，我们证明了我们的框架的有效性，在平衡节点负载和研究负载减少和总成本最小化之间的权衡。
FlashCP: Load-Balanced Communication-Efficient Context Parallelism for LLM Training
提出FlashCP框架，通过分片感知通信消除冗余KV传输，并设计Whole-Doc分片策略与启发式算法，实现负载均衡与通信高效，在多种数据集上取得最高1.63倍加速。
Load Balanced Parallel Node Generation for Meshless Numerical Methods
本文提出一种基于Poisson disc采样的并行节点生成算法，通过空间索引和工作分布超树实现负载均衡，减少锁操作，提高无网格方法的并行效率。
Tackling the Data-Parallel Load Balancing Bottleneck in LLM Serving: Practical Online Routing at Scale
本文提出BalanceRoute算法，通过在线路由减少LLM服务中的数据并行负载不均衡，提升端到端服务吞吐量。
Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers
Canzona提出一个统一的异步负载平衡框架，解决分布式矩阵优化器中张量碎片化与整体更新需求的冲突，通过alpha-平衡静态划分和异步计算流水线实现高效并行计算。
GLB: Lifeline-based Global Load Balancing library in X10
我们提出了GLB，一个编程模型和相关的实现，可以处理大范围的不规则的并行编程问题运行在大规模分布式系统。GLB既适用于通过静态调度容易实现负载平衡的问题，也适用于难以实现静态负载平衡的问题。GLB隐藏了复杂的同步（例如，节点间通信、初始化和启动、负载均衡、终止和结果收集）。GLB内部使用了Saraswat等人提出的基于生命线图的工作窃取算法。GLB的用户只需编写几段符合GLB接口的顺序代码。然后，GLB可以正确、高效地大规模调度和编排代码的并行执行。我们已经将GLB应用于两个具有代表性的基准测试：介数中心性（BC）和不平衡树搜索（UTS）。其中，BC可以静态负载平衡，而UTS不能。在这两种情况下，GLB都可以很好地扩展--在不同的计算机体系结构（Power、Blue Gene/Q和K）上实现几乎线性的加速--最高可达16 K个内核。
Grand Perspective: Load Shedding in Distributed CEP Applications
针对分布式多算子 CEP 的过载瓶颈，论文利用 CEP 定制选择率函数与线性规划动态配置负载丢弃，在合成与真实数据上实现及时处理和输出质量最优。
NeutronTP: Load-Balanced Distributed Full-Graph GNN Training with Tensor Parallelism
本文提出NeutronTP系统，通过张量并行划分特征实现负载均衡的分布式全图GNN训练，并采用解耦训练框架和内存高效调度，在16节点集群上相比现有系统实现最高8.72倍加速。
Slice-Level Scheduling for High Throughput and Load Balanced LLM Serving
本文提出切片级调度（SCLS），通过将最大生成长度切分为切片并按切片服务批次，解决LLM服务中请求长度不可预测导致的调度难题，实现高达315.8%的吞吐量提升和更好的负载均衡。
Load-balanced Service Function Chaining in Edge Computing over FiWi Access Networks for Internet of Things
服务功能链（SFC）有望为物联网（IoT）实现灵活且可扩展的虚拟网络基础设施。边缘计算被认为是处理大量物联网应用数据的有效解决方案。为了在分布式边缘计算节点（ECN）之间统一为物联网应用提供服务，提出了一种基于SDN和NFV协调的统一SFC编排框架，该框架通过利用FiWi接入网络的连接性提供协同边缘云平台。此外，我们研究的VNF部署问题在我们的协同框架下，我们制定了一个混合整数非线性规划（MINLP）问题，共同考虑负载均衡的网络和计算链VNF。我们还提出了两个近似的最优部署算法贪婪二分多路径（GBMP）和KSP多路径（KSMP）利用部署在ECN的多实例虚拟网络功能（VNF）和FiWi接入网络的多路径能力。在两种类型的物联网应用场景中进行了广泛的仿真，在EC over FiWi接入网络。数值结果表明，在两种典型场景下，我们提出的算法在负载均衡、业务接受率和网络利用率方面均优于单路径和基于ECMP的部署算法.
We Are Impatient: Algorithms for Geographically Distributed Load Balancing with (Almost) Arbitrary Load Functions
在地理分布的系统中，通信延迟是不可忽略的。因此，请求的感知处理时间由将请求路由到服务器所需的时间和实际处理时间组成。一旦请求到达目标服务器，处理时间取决于该服务器的总负载;这种依赖性由load函数描述。我们考虑一类广泛的负载函数，我们只需要他们是凸的和二次可微的。特别是我们的模型可以应用到异构系统中，每个服务器有一个不同的负载函数。这种方法使我们不仅可以概括排队理论和批量请求的结果，而且还可以使用在压力测试下的系统中测量的派生负载函数。请求到服务器的最优分配是通信平衡的，即对于任何一对非完美平衡的服务器，将单个请求从过载服务器移动到欠载服务器所导致的处理时间的减少小于额外的通信延迟。我们提出了一个集中式和分散式的最佳负载均衡算法。我们证明了算法收敛的界。据我们所知，这些界限是不知道的，即使是以前研究的特殊情况下（排队理论和批量的请求）。这两种算法都是任意时间算法。在分散式算法中，每个服务器与随机选择的对等体平衡负载。这种算法对故障具有很强的鲁棒性。我们证明了分散算法执行局部最优步骤。我们的工作扩展了目前已知的结果，考虑了广泛的一类负载函数，并建立理论界的算法的收敛性。这些结果是适用于服务器的负载下的特性不能用一个标准的数学模型来描述。
cuFINUFFT: a load-balanced GPU library for general-purpose nonuniform FFTs
非均匀快速傅立叶变换在图像重建和信号处理等应用中占据着重要的位置。因此，我们提出了一个通用的基于GPU的CUDA库的类型1（非均匀到均匀）和类型2（均匀到非均匀）的转换在2维和3维，在单精度或双精度的。它通过缓存感知点重新排序和共享内存中的负载平衡块扩展，实现了给定用户要求的精度的高性能，而不管非均匀点的分布如何。在低精度下，这会使GPU上的吞吐量大约为每秒$10^9$非均匀点，并且（甚至包括主机-设备传输）通常比最新的并行CPU代码FINUFFT（在28个线程时）快4-10 $\times$。它与两个已建立的GPU代码具有竞争力，在高精度和/或类型1聚类点分布下最多快90 $\times$。最后，我们展示了5-12 $\times$加速比CPU在X射线衍射3D迭代重建任务在$10^{-12}$精度，观察优秀的多GPU弱缩放到一个等级每GPU。
An Adaptive Load Balancer For Graph Analytical Applications on GPUs
图形分析工作负载的GPU线程之间的负载平衡是困难的，因为图形应用程序的不规则性和顶点度的高度可变性，特别是在幂律图中。我们描述了一种新的负载均衡计划来解决这个问题。我们的计划是在IrGL编译器中实现的，允许用户从高级顺序程序中为GPU生成高效的负载平衡代码。我们评估了多达16个分布式GPU上的几个图形分析应用程序，使用IrGL来编译代码，并使用Gluon基板进行GPU间通信。我们的实验表明，该计划可以实现平均速度提高2.2倍的输入，遭受严重的负载不平衡问题时，以前的国家的最先进的负载平衡计划使用。
Balanced k-means for Parallel Geometric Partitioning
网格划分是高效并行数值模拟不可缺少的工具。它的目标是在实现负载平衡的同时最大限度地减少仿真进程之间的通信。建立基于图的分区工具产生高质量的解决方案，但是，它们的可扩展性是有限的。几何方法通常规模更好，但他们的解决方案的质量可能是令人不满的“非平凡的”网状拓扑结构。在本文中，我们提出了一个可扩展的版本的$k$ -手段，是适应于产生平衡的集群。平衡的$k$ -手段构成了我们的新分区算法地理的核心。初始中心的自举与空间填充曲线进行，导致快速收敛的后续平衡k-means算法。我们在众多基准网格上使用多达16384个MPI进程的实验表明：（i）地理学家产生的分区比Zoltan包中最先进的几何分区具有更低的通信量;（ii）地理学家在大输入上扩展良好;（iii）具有数十亿个顶点和边的Delaunay网格可以在几秒钟内分区。
Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP
本文提出Para-B&B，通过AI驱动的负载平衡机制和数据并行架构，实现HiGHS求解器的确定性并行化，实验显示在80个MIPLIB 2017实例上取得2.17的几何平均加速率。
An Efficient and Balanced Graph Partition Algorithm for the Subgraph-Centric Programming Model on Large-scale Power-law Graphs
以子图为中心的编程模型是一种很有前途的方法，并已应用于许多最先进的分布式图计算框架。然而，传统的图划分算法在处理大规模幂律图时存在很大的困难。主要问题是在许多以子图为中心的框架中发现的通信瓶颈。详细分析表明，通信瓶颈是由巨大的通信量或划分的子图之间的极端消息不平衡造成的。传统的划分算法没有同时考虑这两个因素，特别是在幂律图上。在本文中，我们提出了一种新的高效和平衡的顶点切割图划分算法（EBV），授予适当的权重，整体通信成本和通信平衡。我们观察到，复制顶点的数量和平衡的边缘和顶点分配有很大的影响，分布式子图为中心的框架，从而进一步影响整体性能的通信模式。基于这一认识，我们设计了一个评价函数，量化的复制顶点的比例和平衡的边缘和顶点分配的重要参数。此外，我们还根据端顶点的度之和从小到大对边缘处理的顺序进行了排序。实验结果表明，EBV算法比其他自划分算法分别减少了至少21.8%和23.7%的复制因子和通信量。当部署在以子图为中心的框架中时，与最先进的分区算法相比，它将幂律图上的运行时间平均减少了16.8%。我们的研究结果表明，EBV有很大的潜力，在提高性能的子图为中心的框架的并行大规模幂律图处理。
LIMO: Load-balanced Offloading with MAPE and Particle Swarm Optimization in Mobile Fog Networks
本文提出 LIMO 策略，基于 MAPE 控制回路和 PSO 算法实现雾网络负载均衡与任务迁移，有效降低延迟，提升网络资源利用率 10%，减少云访问与响应时间。
Reinforcement Learning for Load-balanced Parallel Particle Tracing
我们探索了一种在线强化学习（RL）范式，以动态优化分布式内存系统中的并行粒子跟踪性能。我们的方法结合了三个新的组件：（1）工作捐赠算法，（2）高阶工作量估计模型，（3）通信成本模型。首先，我们设计了一个基于RL的工作捐赠算法。我们的算法监控进程的工作负载，并创建RL代理，将数据块和粒子从高工作负载进程捐赠给低工作负载进程，以最大限度地减少程序执行时间。代理学习捐赠策略的基础上的奖励和成本函数设计考虑过程的工作量变化和捐赠行动的数据传输成本的飞行。其次，我们提出了一个工作负载估计模型，帮助RL代理估计未来计算过程的工作负载分布。第三，我们设计了一个考虑块和粒子数据交换成本的通信成本模型，帮助RL代理以最小的通信成本做出有效的决策。我们证明了我们的算法适用于大规模流体动力学，海洋和天气模拟数据中的不同流动行为。我们的算法提高了并行粒子跟踪性能的并行效率，负载平衡，I/O和通信的成本与多达16,384个处理器的评估。
Long-term balanced allocation via thinning
针对球盒模型的双稀疏化变体，研究长期负载均衡问题，给出三类最大负载的紧估计，揭示典型与全局最优负载的差距并提出达到对应界的策略。
SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
研究代理服务中LLM调度问题，提出基于全局层KV存储和会话内局部性的见解，设计SMetric平衡会话中心调度，相比先进调度器提升集群TPS及预填充TPS，降低每个令牌延迟。
A Systematic Comparison of Dynamic Load Balancing Algorithms for Massively Parallel Rigid Particle Dynamics
随着计算能力随着时间的推移而增加，更多涉及和更大的模拟成为可能。然而，有效地使用所提供的计算资源变得越来越困难。特别是在具有空间域分区的基于粒子的模拟中，由于模拟是动态的，可能会发生大的负载不平衡。那么静态域划分可能不合适。这可能会显著降低模拟的整体运行时间。必须设计复杂的负载均衡策略来缓解此问题。在本文中，我们进行了系统的性能评估六种不同的负载均衡算法。我们的测试涵盖了广泛的模拟规模，并采用了最大的超级计算机之一。特别是，我们仔细研究了模拟的所有组件的运行时和内存的复杂性。当进展到极端规模的模拟，它是必不可少的，以确定瓶颈和预测的缩放行为。缩放实验显示多达一百多万个过程。每个算法的性能进行了分析，相对于质量的负载均衡和它的运行时成本。对于所有的测试，waLBerla多物理场框架。
Addressing Algorithmic Bottlenecks in Elastic Machine Learning with Chicle
分布式机器学习训练是当今数据中心上运行的最常见和最重要的工作负载之一，但它很少单独执行。相反，为了降低成本，计算资源被整合并由不同的应用程序共享。在这种情况下，弹性和适当的负载均衡对于最大限度地提高效率、公平性和利用率至关重要。目前，大多数分布式训练框架不支持上述属性。少数例外支持弹性，模仿通用分布式框架并使用微任务。在本文中，我们说明了微任务对于机器学习应用是有问题的，因为它们需要高度的并行性，这阻碍了分布式训练在纯算法级别的收敛（即，忽略开销和可扩展性限制）。为了解决这个问题，我们提出了Chile，一个新的弹性分布式训练框架，它利用机器学习算法的性质来实现弹性和负载均衡，而无需微任务。我们使用Chicle来训练深度神经网络以及广义线性模型，并表明Chicle实现了与最先进的刚性框架相竞争的性能，同时有效地实现了弹性执行和动态负载均衡。
R*-Grove: Balanced Spatial Partitioning for Large-scale Datasets
大空间数据的快速增长促使研究界开发了几个大空间数据系统。不管它们的体系结构如何，所有这些系统的基本要求之一就是在机器之间有效地对数据进行空间分区。大空间分区的核心挑战是构建高空间质量分区，同时通过提供负载平衡分区来利用分布式处理模型。以前关于大空间划分的工作是按原样重用现有的索引搜索树，例如，R树家族、STR、Kd树和四叉树，通过为输入的样本构建临时树并使用其叶节点作为分区边界。然而，我们在本文中表明，这些技术都没有完全解决上述挑战。本文提出了一种新的分区方法，称为R*-Grove，它可以划分非常大的空间数据集到高质量的分区具有良好的负载平衡和块利用率。这个吸引人的属性允许R*-Grove在空间查询处理中优于现有技术。R*-Grove可以轻松集成到任何大数据平台，如Apache Spark或Apache Hadoop。我们的实验表明，R*-Grove优于现有的大空间数据系统分区技术。随着所有提议的工作都作为开源公开提供，我们设想R*-Grove将被社区采用，以更好地服务于大空间数据研究。
Scheduling for Flexible Manufacturing System with Objective Function to be Minimization of Total Processing Time and Unbalance of Machine Load
柔性制造系统（FMS）中的调度问题需要考虑的因素很多，很难在满足不同的标准（生产成本、系统利用率、工件移动次数、制造周期、交货期拖期等）和约束条件的情况下求解调度问题。为了平衡FMS中各机床的负荷，有效地利用各机床，提出了一种作业车间调度问题的数学模型。本文定义了机器负荷不平衡度的评价函数，建立了以机器负荷不平衡度和总加工时间最小为两个目标的优化问题，用整数线性规划法求解调度问题，从而解决了调度问题。计算结果表明，与以往的方法相比，该方法减少了所有机床的总加工时间，使机床负荷更均衡，并能更方便地进行FMS中的车间作业调度。
Coded Computing for Distributed Graph Analytics
分布式图处理系统的性能显着遭受的“通信瓶颈”，因为大量的消息交换服务器之间的每一步的计算。基于图的MapReduce，我们提出了一个编码的计算框架，利用计算冗余，以减轻分布式图处理的通信瓶颈。我们开发了一种新的“编码”方案，系统地注入结构化冗余计算阶段，使“编码”多播的机会，在服务器之间的消息交换，大大减少通信负载在大规模的图形处理。对于理论分析，我们考虑随机图模型，并证明我们提出的方案能够在两种流行的随机图模型-- Erdos-Renyi模型和幂律模型--的“计算负载”和“平均通信负载”之间实现（渐进）逆线性权衡。特别地，对于给定的计算负载r，（即，当每个图顶点被小心地存储在r个服务器上时），所提出的方案将平均通信负载削减（几乎）r的乘法因子。对于Erdos-Renyi模型，我们提出的方案是最佳的渐近图大小的增加，提供了一个信息理论的逆。为了说明我们的计划在实践中的好处，我们在Amazon EC2上实现了PageRank，使用人工和真实世界的数据集，展示了传统PageRank的显着收益。我们还专门研究了我们的方案，并将我们的理论结果推广到另外两个随机图模型--随机二部模型和随机块模型。他们渐近使这些流行的随机图模型以及在分布式图处理的计算和通信负载之间的逆线性权衡。我们补充了这两个模型的逆界的可扩展性的结果。
Reinforcement Learning-Based Adaptive Load Balancing for Dynamic Cloud Environments
针对传统静态负载均衡难以适应云工作负载波动的问题，提出基于强化学习的自适应框架，依据实时性能、流量与资源状态动态分配任务，实验表明其在响应时间、资源利用率和适应性上更优。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。