ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes
并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而,在工作窃取运行时的上下文中降低总能耗仍然具有挑战性,特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放(DVFS),其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果:(i)在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中,在每个任务的基础上利用DVFS是不切实际的;(ii)任务可塑造性,其中单个任务可以通过工作共享在多个线程/核心上执行,可以帮助减少能耗;以及(iii)任务和分配的资源之间的不匹配(即~核类型和核数量)可能间接地影响能量消耗。在本文中,我们提出ERASE(EneRgy Aware ERAEr),一个应用程序内的任务调度器上的工作窃取运行时,旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策,从而实现节能。此外,ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说,与最先进的基于DVF的路由器相比,ERASE实现了高达31%的节能,平均性能提高了44%。
2022-01-28 cs.DC
Work Stealing with latency
本文研究了通信延迟对经典的工作窃取负载均衡算法的影响。我们的方法考虑了现有的性能模型和底层算法。我们在模型中引入了一个延迟参数,并通过仔细观察模拟结果来研究其整体影响。使用这种方法,我们能够得到一个新的表达式的预期运行时间的可分负载应用程序。这个表达式使我们能够预测在哪些条件下给定的运行将产生可接受的性能。例如,我们可以轻松校准给定工作平台组合应使用的最大处理器数量。我们还考虑了几种算法变体的影响,如同时转移工作或避免无用转移的阈值。我们所有的结果都通过仿真验证了广泛的参数。
2018-05-03 cs.DC
gDMC: A Generic Distributed Model Counting Framework via Work-Stealing
School of Information Science and Technology, Northeast Normal University(东北师范大学信息科学技术学院);Key Laboratory of Applied Statistics of MOE, Northeast Normal University(东北师范大学应用统计教育部重点实验室);Univ. Artois, CNRS, CRIL(阿尔图瓦大学、法国国家科学研究中心、CRIL)
研究针对命题模型计数在单核上的可扩展性问题及现有分布式方法的不足,提出gDMC框架,利用C++模板解耦并行编排与逻辑求解,采用自适应工作窃取策略,实现近线性可扩展性,性能显著优于现有分布式求解器。
2026-07-16 cs.DC
Adaptive Asynchronous Work-Stealing for distributed load-balancing in heterogeneous systems
针对异构系统中大量同构任务调度的负载不均衡问题,提出利用节点信息优化受害者选择与任务卸载的自适应异步工作窃取方法,并在无需额外通信线程的情况下实现约10.1%的性能提升。
2024-01-23 cs.DC
Randomized Work Stealing versus Sharing in Large-scale Systems with Non-exponential Job Sizes
工作共享和工作窃取是执行分布式计算时重新分配工作的两种调度范例。在工作共享中,处理器试图将挂起的作业迁移到其他处理器,希望减少响应时间。另一方面,在工作窃取中,未充分利用的处理器试图从其他处理器窃取工作。这两种模式都产生一定的通信开销,本文所解决的问题是,这两个减少了响应时间最,因为它们使用相同的通信开销。先前的工作提出了明确的界限,对于大规模系统,当随机工作共享优于随机工作窃取的情况下,泊松到达和指数作业持续时间,并表示,工作共享是最好的负载低于$ϕ-1 \approx 0.6180$,与$ϕ$是黄金比例。在本文中,我们重新审视这个问题,并使用平均场模型研究工作规模分布的影响。我们提出了一种有效的方法来确定区域之间的边界,其中共享或窃取是最好的一个给定的作业大小分布,以及适用于任何(阶段型)作业大小分布的界限。主要的见解是,工作窃取的好处显着从有更多的可变作业大小和工作共享可能会变得不如工作窃取的负载小到$1/2 + ε$的任何$ε> 0$。
2019-08-30 cs.DC cs.PF
Work-stealing prefix scan: Addressing load imbalance in large-scale image registration
非线性模式(例如,map或reduce)已被证明是并行化高性能应用程序的有效工具。在本文中,我们研究了递归注册的一系列电子显微镜图像-一个耗时和不平衡的计算所需的纳米尺度显微镜分析。我们表明,通过将图像配准转换为前缀扫描的特定实例,我们可以将这个看似顺序的问题转换为可扩展到数千个核心的并行计算。我们分析了各种扫描算法的行为类似于常见的低计算运算符,并提出了一种新的工作窃取程序的层次前缀扫描。我们的评估表明,通过确定合适且优化良好的前缀扫描算法,我们将一系列4,096张图像的解决方案时间从10小时缩短到不到3分钟(使用1024个Intel Haswell内核),这些图像跨越10秒的显微镜采集,从而能够在长显微镜图像系列的纳米尺度下推导材料属性。
2020-10-23 cs.DC
Configurable Strategies for Work-stealing
工作窃取系统通常不知道他们正在调度的任务的性质。例如,它们不知道或考虑任务将花费多长时间执行或它将产生多少子任务。此外,实际任务执行顺序通常由底层任务存储数据结构确定,并且不能改变。因此,存在通过向调度系统提供关于特定任务及其优选执行顺序的信息来优化任务并行执行的可能性。我们引入调度策略,使应用程序能够动态地提供提示的任务调度系统的性质,特定的任务。调度策略可用于独立控制本地任务执行顺序以及窃取顺序。与通常在范围上是全局的常规调度策略相比,策略允许调度器对单个任务应用优化。这种灵活性大大提高了可组合性,因为它允许调度程序同时为应用程序的不同部分应用不同的特定调度选择。我们提出了一些基准,突出不同的,有益的效果,可以实现与调度策略。一些基准测试(分支绑定、单源最短路径)表明,与标准的工作窃取执行顺序相比,任务的优先级可以减少工作总量。对于其他基准测试(三角带生成),可以在更短的时间内获得更好的质量结果。其他优化,如动态合并任务或窃取一半的工作,而不是一半的任务,也被证明可以提高性能。组合性的例子,结合不同的策略,无论是在同一内核(前缀和),以及当调度多个内核(前缀和不平衡树搜索)。
2013-05-28 cs.DC
Distributed-Memory Load Balancing with Cyclic Token-based Work-Stealing Applied to Reverse Time Migration
逆时偏移(RTM)是地震成像中的一项重要技术。其产生的地下图像在工业中用于以更高的置信度调查石油和天然气储层的存在和条件。由于其高计算成本,RTM必须使用并行计算机。平衡RTM的工作负载分布是分布式计算系统中日益增长的挑战。对共享资源的竞争和RTM的不同大小的任务是负载不平衡的一些可能来源。尽管存在许多负载均衡技术,但是针对大问题和大系统的扩展仍然是一个挑战,因为同步开销也会扩展。提出了一种适用于RTM的分布式存储系统的基于循环令牌的工作窃取(CTWS)算法。新的循环令牌方法减少了失败的窃取的数量,避免了通信开销,并简化了受害者的选择和终止策略。所提出的方法被实现为一个C库,使用消息传递接口(MPI)标准的单边通信功能。通过应用所提出的技术来平衡3D RTM系统的工作负载所获得的结果呈现出14.1%的加速比和78.4%的负载不平衡的减少的因素相比,传统的静态分布。
2019-08-29 cs.DC
On the Efficiency of Localized Work Stealing
本文研究了工作窃取算法的一个变种,我们称之为本地化的工作窃取算法。这种变体背后的直觉是,由于局部性,处理器可以从自己的工作中受益。因此,当一个处理器空闲时,它会尝试窃取自己的工作。我们把这种偷叫偷回。我们证明了算法的期望运行时间为$T_1/P+O(T_\infty P)$,在"自由代理均匀分布假设"下,算法的期望运行时间为$T_1/P+O(T_\infty\lg P)$.此外,我们得到了另一个运行时间界的基础上的计算串行任务的大小之间的比率。如果$M$表示在从考虑中去除所有处理器上的$O(P)$串行任务总数之后处理器的最大串行任务与最小串行任务之间的最大比率,则算法的预期运行时间为$T_1/P+O(T_\infty M)$。
2018-04-13 cs.DC cs.DM cs.DS
On the analysis of scheduling algorithms for structured parallel computations
结构化并行计算的调度算法在文献中得到了广泛的研究。一段时间以来,工作窃取是最流行的调度这样的计算之一,其性能已在理论和实践中进行了研究。虽然它提供了可证明的良好性能,其底层的负载均衡策略的有效性是有限的某些类的计算,特别是那些表现出不规则的并行性(例如深度优先搜索)。许多研究已经从纯粹的负载均衡角度解决了这一限制,将计算视为独立任务的集合,然后在执行过程中分析附加到每个处理器的预期工作量。然而,这些研究作出强有力的假设,尽管是标准的排队论的角度来看-其中的工作生成可以假设遵循一些随机分布-不符合现实的结构化并行计算-其中的工作生成不是随机的,只取决于结构的计算。在本文中,我们介绍了一个正式的框架,研究结构化计算的性能,定义了一个标准,是适当的衡量其性能,并提出了一种方法,用于分析性能的随机计算。我们证明了这种方法的方便,使用它来证明工作窃取的性能是有限的,并分析了工作窃取和传播算法的性能,它克服了工作窃取的限制。
2018-10-24 cs.DC
Analysis of Randomized Work Stealing with False Sharing
本文分析了在并行环境中使用随机工作窃取(RWS)调度算法时的缓存未命中代价,并考虑了假共享的影响。首先,先前的分析(由于Acar等人)扩展到包含虚假共享。然而,为了控制可能的延迟,由于假共享,对算法的一些限制似乎是必要的。在此基础上,介绍了层次树算法,并分析了其性能。此外,本文分析了一个子类的层次树算法,称为HBP算法,使用RWS调度时的性能,改进的复杂性界限,得到这个子类。这个类是在一个同伴论文中介绍的,考虑到了高效的资源不经意计算。最后,我们注意到,在一个场景中,没有虚假的共享本文中的结果匹配缓存未命中的先验边界,但减少了假设,特别是不需要一个边界凹函数的缓存未命中的成本在先前的工作由弗里戈和Strumpen。这允许在这种情况下获得更大类算法的非平凡缓存未命中边界。
2011-03-21 cs.DC cs.DS
A Lock-Free Work-Stealing Algorithm for Bulk Operations
Iowa State University(爱荷华州立大学);Purdue University(普渡大学)
本文提出了一种专为混合整数规划求解器并行化设计的无锁工作窃取队列,支持批量操作并提高性能,通过减少同步开销实现高效的任务调度。
2026-03-05 cs.CE cs.DC math.OC
Analysis of Work-Stealing and Parallel Cache Complexity
在过去的十年中,并行主义变得非常流行,并且出现了许多新的并行算法和软件。随机工作窃取(RWS)调度器在这个生态系统中起着至关重要的作用。在本文中,我们研究了两个重要的课题相关的随机工作窃取调度。我们的第一个贡献是一个简化的,课堂上准备好的RWS调度程序的分析版本。RWS调度程序的理论效率已经针对各种设置进行了分析,但其中大多数都非常复杂。在本文中,我们展示了一种新的分析,我们相信它很容易理解,并且在教育中特别有用。我们避免在分析中使用潜在的功能,我们假设一个高度异步的设置,这是更现实的今天的并行机。我们的第二个和主要贡献是一些新的并行缓存复杂性的算法使用RWS调度。虽然在过去的几十年中,顺序I/O模型已经得到了很好的研究,但到目前为止,很少有结果将其扩展到并行设置。许多现有算法的并行缓存边界受跨度多项式的影响,这导致了大跨度算法的显着开销。我们的新分析扩展了并行缓存复杂性分析的范围。这使我们能够显示一系列经典算法的新的并行缓存边界。我们的结果只是一个多对数因子的下界,并显着改进以前的结果。
2021-11-09 cs.DC cs.DS
A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency
该研究提出了一种用于LLM教师蒸馏标注的可扩展流水线,通过工作窃取作业调度、内存感知GPU并发控制及重标注基准方法,解决了标注的质量成本与GPU集群负载问题,性能优于静态分片且可复现。
2026-08-18 cs.AI cs.CL cs.DC
AccaSim: a Customizable Workload Management Simulator for Job Dispatching Research in HPC Systems
我们提出AccaSim,在HPC系统的工作负载管理模拟器。由于AccaSim可扩展到大型工作负载数据集,支持轻松自定义,以及实用的自动化工具来帮助实验,用户可以轻松地表示各种真实的HPC系统,开发新颖的高级调度器,并以方便的方式跨不同的工作负载源对其进行评估。AccaSim因此是一个有吸引力的工具进行HPC系统中的作业调度研究。
2018-06-18 cs.DC
Evaluating Cross-Architecture Performance Modeling of Distributed ML Workloads Using StableHLO
imec;Georgia Institute of Technology(佐治亚理工学院)
本文评估StableHLO是否能作为统一的工作负载表示,用于跨架构和跨保真度的分布式机器学习工作负载性能建模,通过建立基于StableHLO的模拟方法,展示了在不同架构和保真度下的性能评估结果。
2026-04-13 cs.DC
NETCS: A New Simulator of Population Protocols and Network Constructors
网络构造器是标准人口协议模型的扩展,其中有限状态代理在对手调度器的控制下成对交互。在这项工作中,我们提出了NETCS,一个模拟器,旨在评估各种网络构造器和人口协议的性能,根据不同的路由器和网络配置。我们的模拟器为研究人员提供了直观的用户界面和快速的实验环境来评估他们的工作。它还利用了云的力量,因为实验是远程执行的,并通过提供的Web界面进行调度。为了证明我们的模拟器的有效性和质量,我们提供了一个广泛的评估多个协议,超过100000个不同的网络规模和配置的实验,验证现有协议的理论分析的正确性,并估计隐藏的渐近系数的真实值。我们还表明实验(超过40000个实验),概率算法是能够计数的实际规模的网络在有限的时间给定一个独特的领导人。
2015-08-27 cs.DC
Large-scale Reservoir Simulations on IBM Blue Gene/Q
本文介绍了我们在IBM Blue Gene/Q上模拟大规模油藏模型的工作,并研究了我们的并行油藏模拟器的可扩展性。一个内部的黑油模拟器已经实施。它使用MPI进行通信,能够模拟具有数亿个网格单元的储层模型。基准测试表明,我们的并行模拟器比为工作站和个人计算机设计的顺序模拟器快数千倍,并且模拟器具有良好的可扩展性。
2016-06-02 cs.CE cs.DC
Parallelizing a modern GPU simulator
本文提出使用OpenMP对现代GPU模拟器Accel-sim进行确定性并行化,以最小代码改动实现平均5.8倍、最高14倍的加速,使原本五天的模拟缩短至12小时内,且不损失准确性。
2025-05-26 cs.AR cs.DC cs.PF
CLoTH: a Simulator for HTLC Payment Networks
闪电网络(LN)是比特币最有前途的链下扩展解决方案之一,因为它可以实现不受众所周知的区块链可扩展性限制的链下支付。在这项工作中,我们介绍了CLoTH,HTLC支付网络的模拟器,其中LN是最好的工作示例。它在输入定义的HTLC网络上模拟输入定义的支付,并根据支付相关的统计数据(例如完成支付的时间和支付失败的概率)生成性能指标。CLoTH有助于预测HTLC支付网络开发中可能出现的问题,并在部署之前估计优化的效果。在即将推出的作品中,我们将发布CLoTH模拟的结果。
2018-12-24 cs.CR cs.DC