ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes
并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而,在工作窃取运行时的上下文中降低总能耗仍然具有挑战性,特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放(DVFS),其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果:(i)在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中,在每个任务的基础上利用DVFS是不切实际的;(ii)任务可塑造性,其中单个任务可以通过工作共享在多个线程/核心上执行,可以帮助减少能耗;以及(iii)任务和分配的资源之间的不匹配(即~核类型和核数量)可能间接地影响能量消耗。在本文中,我们提出ERASE(EneRgy Aware ERAEr),一个应用程序内的任务调度器上的工作窃取运行时,旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策,从而实现节能。此外,ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说,与最先进的基于DVF的路由器相比,ERASE实现了高达31%的节能,平均性能提高了44%。
2022-01-28 cs.DC
Work Stealing with latency
本文研究了通信延迟对经典的工作窃取负载均衡算法的影响。我们的方法考虑了现有的性能模型和底层算法。我们在模型中引入了一个延迟参数,并通过仔细观察模拟结果来研究其整体影响。使用这种方法,我们能够得到一个新的表达式的预期运行时间的可分负载应用程序。这个表达式使我们能够预测在哪些条件下给定的运行将产生可接受的性能。例如,我们可以轻松校准给定工作平台组合应使用的最大处理器数量。我们还考虑了几种算法变体的影响,如同时转移工作或避免无用转移的阈值。我们所有的结果都通过仿真验证了广泛的参数。
2018-05-03 cs.DC
gDMC: A Generic Distributed Model Counting Framework via Work-Stealing
School of Information Science and Technology, Northeast Normal University(东北师范大学信息科学技术学院);Key Laboratory of Applied Statistics of MOE, Northeast Normal University(东北师范大学应用统计教育部重点实验室);Univ. Artois, CNRS, CRIL(阿尔图瓦大学、法国国家科学研究中心、CRIL)
研究针对命题模型计数在单核上的可扩展性问题及现有分布式方法的不足,提出gDMC框架,利用C++模板解耦并行编排与逻辑求解,采用自适应工作窃取策略,实现近线性可扩展性,性能显著优于现有分布式求解器。
2026-07-16 cs.DC
Adaptive Asynchronous Work-Stealing for distributed load-balancing in heterogeneous systems
针对异构系统中大量同构任务调度的负载不均衡问题,提出利用节点信息优化受害者选择与任务卸载的自适应异步工作窃取方法,并在无需额外通信线程的情况下实现约10.1%的性能提升。
2024-01-23 cs.DC
Work-stealing prefix scan: Addressing load imbalance in large-scale image registration
非线性模式(例如,map或reduce)已被证明是并行化高性能应用程序的有效工具。在本文中,我们研究了递归注册的一系列电子显微镜图像-一个耗时和不平衡的计算所需的纳米尺度显微镜分析。我们表明,通过将图像配准转换为前缀扫描的特定实例,我们可以将这个看似顺序的问题转换为可扩展到数千个核心的并行计算。我们分析了各种扫描算法的行为类似于常见的低计算运算符,并提出了一种新的工作窃取程序的层次前缀扫描。我们的评估表明,通过确定合适且优化良好的前缀扫描算法,我们将一系列4,096张图像的解决方案时间从10小时缩短到不到3分钟(使用1024个Intel Haswell内核),这些图像跨越10秒的显微镜采集,从而能够在长显微镜图像系列的纳米尺度下推导材料属性。
2020-10-23 cs.DC
Randomized Work Stealing versus Sharing in Large-scale Systems with Non-exponential Job Sizes
工作共享和工作窃取是执行分布式计算时重新分配工作的两种调度范例。在工作共享中,处理器试图将挂起的作业迁移到其他处理器,希望减少响应时间。另一方面,在工作窃取中,未充分利用的处理器试图从其他处理器窃取工作。这两种模式都产生一定的通信开销,本文所解决的问题是,这两个减少了响应时间最,因为它们使用相同的通信开销。先前的工作提出了明确的界限,对于大规模系统,当随机工作共享优于随机工作窃取的情况下,泊松到达和指数作业持续时间,并表示,工作共享是最好的负载低于$ϕ-1 \approx 0.6180$,与$ϕ$是黄金比例。在本文中,我们重新审视这个问题,并使用平均场模型研究工作规模分布的影响。我们提出了一种有效的方法来确定区域之间的边界,其中共享或窃取是最好的一个给定的作业大小分布,以及适用于任何(阶段型)作业大小分布的界限。主要的见解是,工作窃取的好处显着从有更多的可变作业大小和工作共享可能会变得不如工作窃取的负载小到$1/2 + ε$的任何$ε> 0$。
2019-08-30 cs.DC cs.PF
Configurable Strategies for Work-stealing
工作窃取系统通常不知道他们正在调度的任务的性质。例如,它们不知道或考虑任务将花费多长时间执行或它将产生多少子任务。此外,实际任务执行顺序通常由底层任务存储数据结构确定,并且不能改变。因此,存在通过向调度系统提供关于特定任务及其优选执行顺序的信息来优化任务并行执行的可能性。我们引入调度策略,使应用程序能够动态地提供提示的任务调度系统的性质,特定的任务。调度策略可用于独立控制本地任务执行顺序以及窃取顺序。与通常在范围上是全局的常规调度策略相比,策略允许调度器对单个任务应用优化。这种灵活性大大提高了可组合性,因为它允许调度程序同时为应用程序的不同部分应用不同的特定调度选择。我们提出了一些基准,突出不同的,有益的效果,可以实现与调度策略。一些基准测试(分支绑定、单源最短路径)表明,与标准的工作窃取执行顺序相比,任务的优先级可以减少工作总量。对于其他基准测试(三角带生成),可以在更短的时间内获得更好的质量结果。其他优化,如动态合并任务或窃取一半的工作,而不是一半的任务,也被证明可以提高性能。组合性的例子,结合不同的策略,无论是在同一内核(前缀和),以及当调度多个内核(前缀和不平衡树搜索)。
2013-05-28 cs.DC
Distributed-Memory Load Balancing with Cyclic Token-based Work-Stealing Applied to Reverse Time Migration
逆时偏移(RTM)是地震成像中的一项重要技术。其产生的地下图像在工业中用于以更高的置信度调查石油和天然气储层的存在和条件。由于其高计算成本,RTM必须使用并行计算机。平衡RTM的工作负载分布是分布式计算系统中日益增长的挑战。对共享资源的竞争和RTM的不同大小的任务是负载不平衡的一些可能来源。尽管存在许多负载均衡技术,但是针对大问题和大系统的扩展仍然是一个挑战,因为同步开销也会扩展。提出了一种适用于RTM的分布式存储系统的基于循环令牌的工作窃取(CTWS)算法。新的循环令牌方法减少了失败的窃取的数量,避免了通信开销,并简化了受害者的选择和终止策略。所提出的方法被实现为一个C库,使用消息传递接口(MPI)标准的单边通信功能。通过应用所提出的技术来平衡3D RTM系统的工作负载所获得的结果呈现出14.1%的加速比和78.4%的负载不平衡的减少的因素相比,传统的静态分布。
2019-08-29 cs.DC
On the Efficiency of Localized Work Stealing
本文研究了工作窃取算法的一个变种,我们称之为本地化的工作窃取算法。这种变体背后的直觉是,由于局部性,处理器可以从自己的工作中受益。因此,当一个处理器空闲时,它会尝试窃取自己的工作。我们把这种偷叫偷回。我们证明了算法的期望运行时间为$T_1/P+O(T_\infty P)$,在"自由代理均匀分布假设"下,算法的期望运行时间为$T_1/P+O(T_\infty\lg P)$.此外,我们得到了另一个运行时间界的基础上的计算串行任务的大小之间的比率。如果$M$表示在从考虑中去除所有处理器上的$O(P)$串行任务总数之后处理器的最大串行任务与最小串行任务之间的最大比率,则算法的预期运行时间为$T_1/P+O(T_\infty M)$。
2018-04-13 cs.DC cs.DM cs.DS
On the analysis of scheduling algorithms for structured parallel computations
结构化并行计算的调度算法在文献中得到了广泛的研究。一段时间以来,工作窃取是最流行的调度这样的计算之一,其性能已在理论和实践中进行了研究。虽然它提供了可证明的良好性能,其底层的负载均衡策略的有效性是有限的某些类的计算,特别是那些表现出不规则的并行性(例如深度优先搜索)。许多研究已经从纯粹的负载均衡角度解决了这一限制,将计算视为独立任务的集合,然后在执行过程中分析附加到每个处理器的预期工作量。然而,这些研究作出强有力的假设,尽管是标准的排队论的角度来看-其中的工作生成可以假设遵循一些随机分布-不符合现实的结构化并行计算-其中的工作生成不是随机的,只取决于结构的计算。在本文中,我们介绍了一个正式的框架,研究结构化计算的性能,定义了一个标准,是适当的衡量其性能,并提出了一种方法,用于分析性能的随机计算。我们证明了这种方法的方便,使用它来证明工作窃取的性能是有限的,并分析了工作窃取和传播算法的性能,它克服了工作窃取的限制。
2018-10-24 cs.DC
Analysis of Randomized Work Stealing with False Sharing
本文分析了在并行环境中使用随机工作窃取(RWS)调度算法时的缓存未命中代价,并考虑了假共享的影响。首先,先前的分析(由于Acar等人)扩展到包含虚假共享。然而,为了控制可能的延迟,由于假共享,对算法的一些限制似乎是必要的。在此基础上,介绍了层次树算法,并分析了其性能。此外,本文分析了一个子类的层次树算法,称为HBP算法,使用RWS调度时的性能,改进的复杂性界限,得到这个子类。这个类是在一个同伴论文中介绍的,考虑到了高效的资源不经意计算。最后,我们注意到,在一个场景中,没有虚假的共享本文中的结果匹配缓存未命中的先验边界,但减少了假设,特别是不需要一个边界凹函数的缓存未命中的成本在先前的工作由弗里戈和Strumpen。这允许在这种情况下获得更大类算法的非平凡缓存未命中边界。
2011-03-21 cs.DC cs.DS
A Lock-Free Work-Stealing Algorithm for Bulk Operations
Iowa State University(爱荷华州立大学);Purdue University(普渡大学)
本文提出了一种专为混合整数规划求解器并行化设计的无锁工作窃取队列,支持批量操作并提高性能,通过减少同步开销实现高效的任务调度。
2026-03-05 cs.CE cs.DC math.OC
Analysis of Work-Stealing and Parallel Cache Complexity
在过去的十年中,并行主义变得非常流行,并且出现了许多新的并行算法和软件。随机工作窃取(RWS)调度器在这个生态系统中起着至关重要的作用。在本文中,我们研究了两个重要的课题相关的随机工作窃取调度。我们的第一个贡献是一个简化的,课堂上准备好的RWS调度程序的分析版本。RWS调度程序的理论效率已经针对各种设置进行了分析,但其中大多数都非常复杂。在本文中,我们展示了一种新的分析,我们相信它很容易理解,并且在教育中特别有用。我们避免在分析中使用潜在的功能,我们假设一个高度异步的设置,这是更现实的今天的并行机。我们的第二个和主要贡献是一些新的并行缓存复杂性的算法使用RWS调度。虽然在过去的几十年中,顺序I/O模型已经得到了很好的研究,但到目前为止,很少有结果将其扩展到并行设置。许多现有算法的并行缓存边界受跨度多项式的影响,这导致了大跨度算法的显着开销。我们的新分析扩展了并行缓存复杂性分析的范围。这使我们能够显示一系列经典算法的新的并行缓存边界。我们的结果只是一个多对数因子的下界,并显着改进以前的结果。
2021-11-09 cs.DC cs.DS
A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency
该研究提出了一种用于LLM教师蒸馏标注的可扩展流水线,通过工作窃取作业调度、内存感知GPU并发控制及重标注基准方法,解决了标注的质量成本与GPU集群负载问题,性能优于静态分片且可复现。
2026-08-18 cs.AI cs.CL cs.DC
Efficient Byzantine-Resilient Stochastic Gradient Desce
分布式学习经常遭受拜占庭失败,并且已经有许多研究拜占庭失败下的分布式随机优化问题的工作,其中只有一部分工人,而不是分布式学习系统中的所有工人,在每次迭代时计算随机梯度。这些方法虽然在拜占庭故障下是可行的,但具有次优收敛速度或高计算成本的缺点。为此,我们提出了一个新的拜占庭弹性随机梯度下降算法(简称BrSGD),这是可证明的强大对拜占庭故障。BrSGD同时获得了最优的统计性能和高效的计算。特别是,BrSGD可以实现强凸损失函数的阶最优统计出错率。BrSGD的计算复杂度为O(md),其中d是模型维数,m是机器数。实验结果表明,BrSGD可以获得竞争力的结果相比,非拜占庭机器的有效性和收敛性。
2021-08-15 cs.DC
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校文艺复兴计算研究所);Argonne National Laboratory(阿贡国家实验室);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
提出SWARM+,一种通过分层多智能体共识实现去中心化工作负载管理的系统,在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Resilient Edge Service Placement under Demand and Node Failure Uncertainties
本文针对资源需求与节点失效不确定性,提出两阶段自适应鲁棒模型优化边缘服务部署与工作负载分配,并开发高效迭代算法与仿射决策规则近似方法求解,帮助服务提供商主动减轻不确定性影响。
2023-06-27 cs.DC math.OC
Coded-InvNet for Resilient Prediction Serving Systems
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
受可逆函数的一种新的编码计算算法的启发,我们提出了一种新的方法来设计弹性预测服务系统,可以优雅地处理掉队者或节点故障。Coded-InvNet利用深度学习文献中的最新发现,如可逆神经网络,流形混合和域转换算法,确定跨机器学习和系统的有趣研究方向。我们的实验结果表明,Coded-InvNet可以优于现有的方法,特别是当计算资源开销低至10%。例如,在不知道10个工人中的哪一个将失败的情况下,我们的算法可以设计一个备份任务,以便它可以正确地恢复丢失的预测结果,准确率为85.9%,比之前的SOTA高出32.5%。
2021-06-24 cs.DC cs.LG
ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload
University of California at Santa Barbara(加州大学圣芭芭拉分校);Argonne National Laboratory(阿贡国家实验室)
提出ReCoVer系统,通过保持每次迭代微批次数恒定、容错集合通信、步内细粒度恢复和动态工作负载重分配,实现并行方案无关的弹性LLM预训练,在512 GPU上即使丢失256 GPU也能保持训练轨迹,有效吞吐量比检查点重启基线高2.23倍。
2026-05-22 cs.AI cs.DC
Making MoE-based LLM Inference Resilient with Tarragon
UC Riverside(加州大学河滨分校);Cisco Research(思科研究);University of Kentucky(肯塔基大学)
Tarragon通过将故障影响限制在个别工作者上,实现了更健壮的MoE推理,显著降低了故障导致的停滞时间。
2026-01-06 cs.DC cs.LG
Byzantine-Resilient Distributed Computation via Task Replication and Local Computations
本文针对拜占庭工作节点下的分布式计算问题,提出基于任务复制与最小化本地计算的协议,并给出循环分配的闭式性能结果及通信效率改进方案。
2025-07-21 cs.DC cs.IT math.IT
Resilient by Design -- Active Inference for Distributed Continuum Intelligence
Department of Computer Systems and Sciences, Stockholm University(斯德哥尔摩大学计算机系统与科学系);Department of Information Engineering, University of Pisa(比萨大学信息工程系);Distributed Systems Group, TU Wien(维也纳技术大学分布式系统组)
针对分布式计算连续体中设备故障问题,引入概率主动推理弹性代理,通过构建因果故障图、利用马尔可夫毯和自由能原理识别故障并主动推理修复,经理论验证其可靠有效。
2026-07-07 cs.AI cs.DC cs.MA