Fully Read/Write Fence-Free Work-Stealing with Multiplicity
工作窃取是一种以分布式方式实现动态负载均衡的流行技术。在这种方法中,每个进程都拥有一组必须执行的任务。集合的所有者可以将任务放入其中,也可以从其中获取任务来执行它们。当一个进程的任务用完时,它不是处于空闲状态,而是成为一个小偷,从受害者那里窃取任务。因此,工作窃取算法提供了三个高级操作:Put和Take,只能由所有者调用,以及Steal,可以由小偷调用。设计工作窃取算法的主要目标之一是使Put和Take尽可能简单和高效。不幸的是,已经表明,标准异步模型中的任何工作窃取算法必须使用昂贵的写后读同步模式或原子读-修改-写指令,这在实践中可能是昂贵的。因此,先前的研究已经提出了幂等工作窃取,一种放松,其中有没有读-修改-写原子指令和写后读同步模式的Put和Take算法;然而,Put在写指令之间使用围栏,Steal在读指令之间使用比较和交换和围栏。在TSO模型中,其中Write(resp.读)指令不能被重新排序,已经提出了完全无围栏的工作窃取算法,其Put和Take具有类似的属性,但Steal使用Compare&Swap或锁。
2021-02-22 cs.DC
Resilient Work Stealing
未来几代的处理器在其寿命期间将表现出故障的增加,并且纯粹在硬件级别上解决由此产生的可靠性问题变得越来越昂贵。我们建议在可重启的任务图,以提高软件级的可靠性计算模型。作为一个概念的证明,我们提出了眼镜蛇,一个新的设计共享内存的工作窃取调度器,实现了这个概念的可重启的任务图,并使计算生存的硬件故障,由于软错误。与PARSEC基准测试套件上的线程构建块的工作窃取调度器的比较表明,Cobra在没有故障的情况下不会产生性能开销,在存在单个和多个故障的情况下,性能开销很低。
2017-06-12 cs.DC
ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes
并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而,在工作窃取运行时的上下文中降低总能耗仍然具有挑战性,特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放(DVFS),其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果:(i)在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中,在每个任务的基础上利用DVFS是不切实际的;(ii)任务可塑造性,其中单个任务可以通过工作共享在多个线程/核心上执行,可以帮助减少能耗;以及(iii)任务和分配的资源之间的不匹配(即~核类型和核数量)可能间接地影响能量消耗。在本文中,我们提出ERASE(EneRgy Aware ERAEr),一个应用程序内的任务调度器上的工作窃取运行时,旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策,从而实现节能。此外,ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说,与最先进的基于DVF的路由器相比,ERASE实现了高达31%的节能,平均性能提高了44%。
2022-01-28 cs.DC
gDMC: A Generic Distributed Model Counting Framework via Work-Stealing
School of Information Science and Technology, Northeast Normal University(东北师范大学信息科学技术学院);Key Laboratory of Applied Statistics of MOE, Northeast Normal University(东北师范大学应用统计教育部重点实验室);Univ. Artois, CNRS, CRIL(阿尔图瓦大学、法国国家科学研究中心、CRIL)
研究针对命题模型计数在单核上的可扩展性问题及现有分布式方法的不足,提出gDMC框架,利用C++模板解耦并行编排与逻辑求解,采用自适应工作窃取策略,实现近线性可扩展性,性能显著优于现有分布式求解器。
2026-07-16 cs.DC
Adaptive Asynchronous Work-Stealing for distributed load-balancing in heterogeneous systems
针对异构系统中大量同构任务调度的负载不均衡问题,提出利用节点信息优化受害者选择与任务卸载的自适应异步工作窃取方法,并在无需额外通信线程的情况下实现约10.1%的性能提升。
2024-01-23 cs.DC
Work-stealing prefix scan: Addressing load imbalance in large-scale image registration
非线性模式(例如,map或reduce)已被证明是并行化高性能应用程序的有效工具。在本文中,我们研究了递归注册的一系列电子显微镜图像-一个耗时和不平衡的计算所需的纳米尺度显微镜分析。我们表明,通过将图像配准转换为前缀扫描的特定实例,我们可以将这个看似顺序的问题转换为可扩展到数千个核心的并行计算。我们分析了各种扫描算法的行为类似于常见的低计算运算符,并提出了一种新的工作窃取程序的层次前缀扫描。我们的评估表明,通过确定合适且优化良好的前缀扫描算法,我们将一系列4,096张图像的解决方案时间从10小时缩短到不到3分钟(使用1024个Intel Haswell内核),这些图像跨越10秒的显微镜采集,从而能够在长显微镜图像系列的纳米尺度下推导材料属性。
2020-10-23 cs.DC
Configurable Strategies for Work-stealing
工作窃取系统通常不知道他们正在调度的任务的性质。例如,它们不知道或考虑任务将花费多长时间执行或它将产生多少子任务。此外,实际任务执行顺序通常由底层任务存储数据结构确定,并且不能改变。因此,存在通过向调度系统提供关于特定任务及其优选执行顺序的信息来优化任务并行执行的可能性。我们引入调度策略,使应用程序能够动态地提供提示的任务调度系统的性质,特定的任务。调度策略可用于独立控制本地任务执行顺序以及窃取顺序。与通常在范围上是全局的常规调度策略相比,策略允许调度器对单个任务应用优化。这种灵活性大大提高了可组合性,因为它允许调度程序同时为应用程序的不同部分应用不同的特定调度选择。我们提出了一些基准,突出不同的,有益的效果,可以实现与调度策略。一些基准测试(分支绑定、单源最短路径)表明,与标准的工作窃取执行顺序相比,任务的优先级可以减少工作总量。对于其他基准测试(三角带生成),可以在更短的时间内获得更好的质量结果。其他优化,如动态合并任务或窃取一半的工作,而不是一半的任务,也被证明可以提高性能。组合性的例子,结合不同的策略,无论是在同一内核(前缀和),以及当调度多个内核(前缀和不平衡树搜索)。
2013-05-28 cs.DC
Randomized Work Stealing versus Sharing in Large-scale Systems with Non-exponential Job Sizes
工作共享和工作窃取是执行分布式计算时重新分配工作的两种调度范例。在工作共享中,处理器试图将挂起的作业迁移到其他处理器,希望减少响应时间。另一方面,在工作窃取中,未充分利用的处理器试图从其他处理器窃取工作。这两种模式都产生一定的通信开销,本文所解决的问题是,这两个减少了响应时间最,因为它们使用相同的通信开销。先前的工作提出了明确的界限,对于大规模系统,当随机工作共享优于随机工作窃取的情况下,泊松到达和指数作业持续时间,并表示,工作共享是最好的负载低于$ϕ-1 \approx 0.6180$,与$ϕ$是黄金比例。在本文中,我们重新审视这个问题,并使用平均场模型研究工作规模分布的影响。我们提出了一种有效的方法来确定区域之间的边界,其中共享或窃取是最好的一个给定的作业大小分布,以及适用于任何(阶段型)作业大小分布的界限。主要的见解是,工作窃取的好处显着从有更多的可变作业大小和工作共享可能会变得不如工作窃取的负载小到$1/2 + ε$的任何$ε> 0$。
2019-08-30 cs.DC cs.PF
Distributed-Memory Load Balancing with Cyclic Token-based Work-Stealing Applied to Reverse Time Migration
逆时偏移(RTM)是地震成像中的一项重要技术。其产生的地下图像在工业中用于以更高的置信度调查石油和天然气储层的存在和条件。由于其高计算成本,RTM必须使用并行计算机。平衡RTM的工作负载分布是分布式计算系统中日益增长的挑战。对共享资源的竞争和RTM的不同大小的任务是负载不平衡的一些可能来源。尽管存在许多负载均衡技术,但是针对大问题和大系统的扩展仍然是一个挑战,因为同步开销也会扩展。提出了一种适用于RTM的分布式存储系统的基于循环令牌的工作窃取(CTWS)算法。新的循环令牌方法减少了失败的窃取的数量,避免了通信开销,并简化了受害者的选择和终止策略。所提出的方法被实现为一个C库,使用消息传递接口(MPI)标准的单边通信功能。通过应用所提出的技术来平衡3D RTM系统的工作负载所获得的结果呈现出14.1%的加速比和78.4%的负载不平衡的减少的因素相比,传统的静态分布。
2019-08-29 cs.DC
On the analysis of scheduling algorithms for structured parallel computations
结构化并行计算的调度算法在文献中得到了广泛的研究。一段时间以来,工作窃取是最流行的调度这样的计算之一,其性能已在理论和实践中进行了研究。虽然它提供了可证明的良好性能,其底层的负载均衡策略的有效性是有限的某些类的计算,特别是那些表现出不规则的并行性(例如深度优先搜索)。许多研究已经从纯粹的负载均衡角度解决了这一限制,将计算视为独立任务的集合,然后在执行过程中分析附加到每个处理器的预期工作量。然而,这些研究作出强有力的假设,尽管是标准的排队论的角度来看-其中的工作生成可以假设遵循一些随机分布-不符合现实的结构化并行计算-其中的工作生成不是随机的,只取决于结构的计算。在本文中,我们介绍了一个正式的框架,研究结构化计算的性能,定义了一个标准,是适当的衡量其性能,并提出了一种方法,用于分析性能的随机计算。我们证明了这种方法的方便,使用它来证明工作窃取的性能是有限的,并分析了工作窃取和传播算法的性能,它克服了工作窃取的限制。
2018-10-24 cs.DC
On the Efficiency of Localized Work Stealing
本文研究了工作窃取算法的一个变种,我们称之为本地化的工作窃取算法。这种变体背后的直觉是,由于局部性,处理器可以从自己的工作中受益。因此,当一个处理器空闲时,它会尝试窃取自己的工作。我们把这种偷叫偷回。我们证明了算法的期望运行时间为$T_1/P+O(T_\infty P)$,在"自由代理均匀分布假设"下,算法的期望运行时间为$T_1/P+O(T_\infty\lg P)$.此外,我们得到了另一个运行时间界的基础上的计算串行任务的大小之间的比率。如果$M$表示在从考虑中去除所有处理器上的$O(P)$串行任务总数之后处理器的最大串行任务与最小串行任务之间的最大比率,则算法的预期运行时间为$T_1/P+O(T_\infty M)$。
2018-04-13 cs.DC cs.DM cs.DS
Analysis of Randomized Work Stealing with False Sharing
本文分析了在并行环境中使用随机工作窃取(RWS)调度算法时的缓存未命中代价,并考虑了假共享的影响。首先,先前的分析(由于Acar等人)扩展到包含虚假共享。然而,为了控制可能的延迟,由于假共享,对算法的一些限制似乎是必要的。在此基础上,介绍了层次树算法,并分析了其性能。此外,本文分析了一个子类的层次树算法,称为HBP算法,使用RWS调度时的性能,改进的复杂性界限,得到这个子类。这个类是在一个同伴论文中介绍的,考虑到了高效的资源不经意计算。最后,我们注意到,在一个场景中,没有虚假的共享本文中的结果匹配缓存未命中的先验边界,但减少了假设,特别是不需要一个边界凹函数的缓存未命中的成本在先前的工作由弗里戈和Strumpen。这允许在这种情况下获得更大类算法的非平凡缓存未命中边界。
2011-03-21 cs.DC cs.DS
Analysis of Work-Stealing and Parallel Cache Complexity
在过去的十年中,并行主义变得非常流行,并且出现了许多新的并行算法和软件。随机工作窃取(RWS)调度器在这个生态系统中起着至关重要的作用。在本文中,我们研究了两个重要的课题相关的随机工作窃取调度。我们的第一个贡献是一个简化的,课堂上准备好的RWS调度程序的分析版本。RWS调度程序的理论效率已经针对各种设置进行了分析,但其中大多数都非常复杂。在本文中,我们展示了一种新的分析,我们相信它很容易理解,并且在教育中特别有用。我们避免在分析中使用潜在的功能,我们假设一个高度异步的设置,这是更现实的今天的并行机。我们的第二个和主要贡献是一些新的并行缓存复杂性的算法使用RWS调度。虽然在过去的几十年中,顺序I/O模型已经得到了很好的研究,但到目前为止,很少有结果将其扩展到并行设置。许多现有算法的并行缓存边界受跨度多项式的影响,这导致了大跨度算法的显着开销。我们的新分析扩展了并行缓存复杂性分析的范围。这使我们能够显示一系列经典算法的新的并行缓存边界。我们的结果只是一个多对数因子的下界,并显着改进以前的结果。
2021-11-09 cs.DC cs.DS
A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency
该研究提出了一种用于LLM教师蒸馏标注的可扩展流水线,通过工作窃取作业调度、内存感知GPU并发控制及重标注基准方法,解决了标注的质量成本与GPU集群负载问题,性能优于静态分片且可复现。
2026-08-18 cs.AI cs.CL cs.DC
Kairos: Low-latency Multi-Agent Serving with Shared LLMs and Excessive Loads in the Public Cloud
针对公有云中多智能体应用共享LLM过载及调度忽略延迟与资源差异的问题,提出多智能体编排系统Kairos,通过工作流编排器、优先级调度器和内存感知调度器优化端到端延迟,相比最先进工作降低17.8%至28.4%。
2025-08-09 cs.DC
Reduced I/O Latency with Futures
任务并行性的研究传统上集中在优化计算密集型应用程序。由于商品并行处理器的扩散,最近已经有兴趣支持交互式应用程序。这样的交互式应用程序经常依赖于I/O操作,这可能导致显著的延迟。为了提高性能,当特定的控制线程在I/O操作上被阻塞时,理想情况下,我们希望通过使用处理资源来执行其他就绪工作来隐藏此延迟,而不是阻塞或旋转等待此I/O。有有限的先前工作隐藏此延迟,只有一个结果,提供了一个理论界的交互式应用程序,使用I/O。在这项工作中,我们提出了一种方法,通过使用期货抽象隐藏延迟的I/O操作。我们提供了一个理论分析,我们的算法,表明我们的算法提供了更好的执行时间保证比以前的工作。我们还实现了一个实际有效的原型库,运行在Cilk-F运行时,运行时系统,支持期货的上下文中的Cilk Plus语言,并进行实验,证明我们的实现效率的算法。
2019-06-19 cs.DC
Serifos: Workload Consolidation and Load Balancing for SSD Based Cloud Storage Systems
在虚拟化数据中心中实现高性能需要部署高吞吐量存储集群(即基于固态硬盘(SSD)),以及跨存储节点优化整合工作负载。如今,云存储提供商提供保证性能的唯一实用解决方案是过度配置存储节点。生产中使用的当前工作负载调度机制不具备基于SSD性能优化分配块存储卷的智能。在本文中,我们介绍Serifos,自主性能建模和负载均衡系统设计的SSD为基础的云存储。Serifos考虑了SSD存储单元的特性,并构建了硬件相关的工作负载整合模型。因此,Serifos能够预测由工作负载干扰引起的延迟和并发工作负载的平均延迟。此外,Serifos利用I/O负载均衡算法来动态平衡群集中的卷。实验结果表明,Serifos合并模型是能够保持约10%的平均预测误差异构硬件。作为Serifos负载均衡的结果,我们发现方差和最大平均延迟分别减少了82%和52%。测试平台上支持的服务级别目标(SLO)将平均延迟提高了43%,最大读取延迟提高了32%,最大写入延迟提高了63%。
2015-12-25 cs.DC
KCensus: Synthesizing Latency-Optimal Consensus Fast Paths (Extended Version)
EPFL(洛桑联邦理工学院);NVIDIA(英伟达)
本文提出KCensus框架,将快速路径设计转化为优化问题,合成针对特定设置的延迟最优共识方案,并在AWS上验证平均延迟降低16%。
2026-09-28 cs.DC
Asynchronous Latency and Fast Atomic Snapshot
LTCI, Télécom Paris, Institut Polytechnique de Paris, France(巴黎电信理工学院,巴黎理工学院);Nomadic Labs, Paris, France(Nomadic实验室)
本文针对异步消息传递系统提出新型快速原子快照协议,设计统一时间复杂度度量修正此前研究的时延分析缺陷,验证了新协议在多场景下的更优时延表现。
2025-11-17 cs.DC
Scheduling computations with provably low synchronization overheads
工作窃取已经是一个非常成功的算法调度并行计算,并被称为实现高性能,甚至表现出细粒度的并行计算。我们提出了一个\ws \的变体,它可以通过在默认情况下保持处理器的deque完全私有来避免大多数同步开销,并且只在小偷请求时才公开工作。这是第一篇论文,获得的同步开销的界限是(基本上)独立的总工作量,从而对应于一个很大的改进,在算法设计和理论,超过国家的最先进的\ws \算法。考虑使用我们的调度程序由$P$处理器执行的具有工作$T_{1}$和关键路径长度$T_{\infty}$的任何计算。我们的分析表明,预期的执行时间为$O\left(\frac{T_{1}}{P} + T_{\infty}\right)$,预期的同步开销最多为$O\left(\left(C_{CAS} + C_{MFence}\right)PT_{\infty}\right)$,其中$C_{CAS}$和$C_{MFence}$分别表示执行Compare-And-Swap指令和Memory Fence指令的最大开销。
2019-04-26 cs.DC cs.DS
Practical Low Latency Proof of Work Consensus
比特币是第一个完全去中心化的无权限区块链协议,可以实现高级别的安全性,但代价是吞吐量和延迟很差。扩展比特币的性能一直是最近的一个主要研究方向。一个成功的工作方向是用权益证明(PoS)取代工作量证明(PoW)。在PoW设置本身中扩展性能的建议主要集中在并行化挖掘过程,扩展吞吐量;少数改善延迟的建议要么牺牲了吞吐量,要么延迟保证涉及大常量,使其实际上毫无用处。我们的第一个贡献是设计一个新的PoW区块链Prism++,它具有可证明的低延迟和高吞吐量;该设计保留了Prism中支持的并行链方法,但发明了一个新的确认规则,通过组合并行链上的信息来推断区块的永久性。我们以非常小的确认延迟(块到达间隔时间的一个小常数因子)展示了比特币级别的安全性。扩展性能的一个关键方面是使用大量的并行链,这会给系统带来很大的压力。我们的第二个贡献是设计和评估一个实用的系统,有效地管理大量的并行链的内存,计算和I/O的必要性。我们的Prism++实现了每秒超过80,000个事务的吞吐量,并在多达900个EC2虚拟机的网络上实现了数十秒的确认延迟。
2023-02-17 cs.CR cs.DC cs.NI
Low Latency Datacenter Networking: A Short Survey
数据中心是支持众多在线服务的大数据基础设施的基石。对交互性的需求(其显著影响用户体验和提供商收入)被转化为对数据中心网络中的流的严格定时要求。因此,低延迟网络正在成为工业界和学术界的主要关注点。我们对网络社区在低延迟数据中心网络方面取得的最新进展进行了简短的调查。我们提出了一个基于四种主要技术的分类法来分类现有的工作,减少队列长度,加速重传,优先化鼠标流和利用多路径。然后,我们回顾了选择的论文,强调了主要思想,并讨论了它们的利弊。我们还提出了我们的研究挑战和机遇的观点,希望在这个领域有更多的未来工作。
2014-07-31 cs.DC cs.NI cs.PF