arXiv 1012.50302010-12-22cs.DC

基于确定性团队构建的混合模式并行工作窃取

Work-stealing for mixed-mode parallelism by deterministic team-building

Martin Wimmer, Jesper Larsson Träff

摘要：

我们展示了如何扩展经典的工作窃取处理数据并行任务，可以要求任何数量的线程r >= 1的执行。我们详细解释了这样介绍的想法，工作盗窃与确定性的团队建设，在一个自然的方式概括了经典的工作盗窃。给出了广义工作窃取算法的一个C++原型实现，并对其进行了简要描述。在此基础上，一个严重的，众所周知的竞争者最好的并行快速排序算法已经实现，这自然依赖于任务和数据并行。例如，对2^27-1随机生成的整数进行排序，我们可以在32核Intel Nehalem EX系统上将速度从5.1提高到8.7，始终优于经过调优的任务并行Cilk++系统。

英文摘要：

We show how to extend classical work-stealing to deal also with data parallel tasks that can require any number of threads r >= 1 for their execution. We explain in detail the so introduced idea of work-stealing with deterministic team-building which in a natural way generalizes classical work-stealing. A prototype C++ implementation of the generalized work-stealing algorithm has been given and is briefly described. Building on this, a serious, well-known contender for a best parallel Quicksort algorithm has been implemented, which naturally relies on both task and data parallelism. For instance, sorting 2^27-1 randomly generated integers we could improve the speed-up from 5.1 to 8.7 on a 32-core Intel Nehalem EX system, being consistently better than the tuned, task-parallel Cilk++ system.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Libfork：使用无栈协程实现可移植的续体窃取

Libfork: portable continuation-stealing with stackless coroutines

本文提出 libfork，利用 C++20 无栈协程和用户态几何分段栈实现可移植、无锁的续体窃取，并在基准测试中显著优于 openMP 与 TBB。

2024-02-28cs.DC

工作窃取前缀扫描：解决大规模图像配准中的负载不平衡问题

Work-stealing prefix scan: Addressing load imbalance in large-scale image registration

非线性模式（例如，map或reduce）已被证明是并行化高性能应用程序的有效工具。在本文中，我们研究了递归注册的一系列电子显微镜图像-一个耗时和不平衡的计算所需的纳米尺度显微镜分析。我们表明，通过将图像配准转换为前缀扫描的特定实例，我们可以将这个看似顺序的问题转换为可扩展到数千个核心的并行计算。我们分析了各种扫描算法的行为类似于常见的低计算运算符，并提出了一种新的工作窃取程序的层次前缀扫描。我们的评估表明，通过确定合适且优化良好的前缀扫描算法，我们将一系列4，096张图像的解决方案时间从10小时缩短到不到3分钟（使用1024个Intel Haswell内核），这些图像跨越10秒的显微镜采集，从而能够在长显微镜图像系列的纳米尺度下推导材料属性。

2020-10-23cs.DC

ERASE：工作窃取运行时的节能任务映射和资源管理

ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes

并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而，在工作窃取运行时的上下文中降低总能耗仍然具有挑战性，特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放（DVFS），其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果：（i）在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中，在每个任务的基础上利用DVFS是不切实际的;（ii）任务可塑造性，其中单个任务可以通过工作共享在多个线程/核心上执行，可以帮助减少能耗;以及（iii）任务和分配的资源之间的不匹配（即~核类型和核数量）可能间接地影响能量消耗。在本文中，我们提出ERASE（EneRgy Aware ERAEr），一个应用程序内的任务调度器上的工作窃取运行时，旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策，从而实现节能。此外，ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说，与最先进的基于DVF的路由器相比，ERASE实现了高达31%的节能，平均性能提高了44%。

2022-01-28cs.DC

各向异性网格自适应中高度不规则计算的线程并行算法

Thread Parallelism for Highly Irregular Computation in Anisotropic Mesh Adaptation

在具有可变数据依赖性的不规则应用程序中的线程级并行性提出了挑战，因为底层数据在算法执行期间被广泛修改，并且必须在保持代码无竞争的同时实现高度并行性。在这篇文章中，我们描述了一种方法，利用线程并行的一类图变异的工作列表算法，保证安全的并行执行，通过处理轮的独立集，并使用延迟更新策略提交更改的底层数据结构。可伸缩性通过原子获取和添加操作来创建工作列表，并通过工作窃取来平衡共享内存工作负载。这项工作的动机是网格自适应算法，我们显示了60%和50%的并行效率分别在英特尔（R）至强（R）桑迪桥和AMD Opteron（TM）Magny-Cours系统，使用这些技术。

2015-05-18cs.DC

结构化并行计算调度算法分析

On the analysis of scheduling algorithms for structured parallel computations

结构化并行计算的调度算法在文献中得到了广泛的研究。一段时间以来，工作窃取是最流行的调度这样的计算之一，其性能已在理论和实践中进行了研究。虽然它提供了可证明的良好性能，其底层的负载均衡策略的有效性是有限的某些类的计算，特别是那些表现出不规则的并行性（例如深度优先搜索）。许多研究已经从纯粹的负载均衡角度解决了这一限制，将计算视为独立任务的集合，然后在执行过程中分析附加到每个处理器的预期工作量。然而，这些研究作出强有力的假设，尽管是标准的排队论的角度来看-其中的工作生成可以假设遵循一些随机分布-不符合现实的结构化并行计算-其中的工作生成不是随机的，只取决于结构的计算。在本文中，我们介绍了一个正式的框架，研究结构化计算的性能，定义了一个标准，是适当的衡量其性能，并提出了一种方法，用于分析性能的随机计算。我们证明了这种方法的方便，使用它来证明工作窃取的性能是有限的，并分析了工作窃取和传播算法的性能，它克服了工作窃取的限制。

2018-10-24cs.DC

工作窃取与并行Cache复杂度分析

Analysis of Work-Stealing and Parallel Cache Complexity

在过去的十年中，并行主义变得非常流行，并且出现了许多新的并行算法和软件。随机工作窃取（RWS）调度器在这个生态系统中起着至关重要的作用。在本文中，我们研究了两个重要的课题相关的随机工作窃取调度。我们的第一个贡献是一个简化的，课堂上准备好的RWS调度程序的分析版本。RWS调度程序的理论效率已经针对各种设置进行了分析，但其中大多数都非常复杂。在本文中，我们展示了一种新的分析，我们相信它很容易理解，并且在教育中特别有用。我们避免在分析中使用潜在的功能，我们假设一个高度异步的设置，这是更现实的今天的并行机。我们的第二个和主要贡献是一些新的并行缓存复杂性的算法使用RWS调度。虽然在过去的几十年中，顺序I/O模型已经得到了很好的研究，但到目前为止，很少有结果将其扩展到并行设置。许多现有算法的并行缓存边界受跨度多项式的影响，这导致了大跨度算法的显着开销。我们的新分析扩展了并行缓存复杂性分析的范围。这使我们能够显示一系列经典算法的新的并行缓存边界。我们的结果只是一个多对数因子的下界，并显着改进以前的结果。

2021-11-09cs.DCcs.DS

更多相关论文收起更多论文

多核机群系统中或并行Prolog系统的实现

On the Implementation of an Or-Parallel Prolog System for Clusters of Multicores

如今，集群的多核正在成为常态，虽然，许多或并行Prolog系统已经在过去开发，据我们所知，他们都不是专门设计来探索共享和分布式存储器架构的结合。在最近的工作中，我们提出了一种新的计算模型专门设计的这种组合，它引入了一个分层模型，两个调度级别，一个工人共享内存资源，我们命名为一个团队的工人，另一个团队的工人（不共享内存资源）。在这项工作中，我们提出了这样的模型的第一个实现，我们恢复和扩展的YapOr系统，利用或并行工作团队之间。我们还提出了一套新的内置谓词，构成语法与我们的平台或并行引擎进行交互。实验结果表明，我们的实现是能够提高加速比，因为我们增加了每个团队的工人的数量，从而利用在一台机器中的核心的最大数量，并增加加速比，因为我们增加了团队的数量，从而利用增加更多的计算机节点到一个集群。因此，我们认为，我们的平台是一个有效的和可行的替代利用隐式或并行在目前可用的低成本多核架构的集群。

2016-08-04cs.DC

结构良好的期货和缓存局部性

Well-Structured Futures and Cache Locality

在fork-join并行中，顺序程序被分成由有向依赖边链接的任务的有向非循环图，并且任务可能以与其依赖性一致的顺序并行执行。扩展fork-join并行性的一种流行而有效的方法是允许线程创建future。线程创建一个future来保存计算的结果，这些结果可能是并行执行的，也可能不是。当某个线程触及该future时，将返回该结果，必要时将阻塞该结果，直到结果就绪。最近的研究表明，虽然期货当然可以以结构化的方式增强并行性，但它们可能对缓存局部性产生有害影响。在最坏的情况下，未来可能导致$Ω(P T_\infty + t T_\infty)$偏差，这意味着$Ω(C P T_\infty + C t T_\infty)$额外的高速缓存未命中，其中$C$是高速缓存行的数量，$P$是处理器的数量，$t$是触摸的数量，$T_\infty$是\emph{computation span}。由于高速缓存局部性对现代多核上的软件性能有很大影响，因此这个结果令人不安。然而，在本文中，我们表明，如果期货是在一个简单的，有纪律的方式使用，那么情况要好得多：如果每个未来只接触一次，无论是线程创建它，或由一个线程的未来已经从线程创建它，然后并行执行工作窃取可以招致最多$O(C P T^2_\infty)$额外的缓存未命中，一个实质性的改善。期货的这种结构化使用是许多（但不是所有）并行应用程序的特征。

2017-04-10cs.DC

Basker：一种基于层次结构和数据布局的稀疏分解LU

Basker: A Threaded Sparse LU Factorization Utilizing Hierarchical Parallelism and Data Layouts

可扩展的稀疏LU分解对于电路和电网的高效数值模拟至关重要。在这项工作中，我们提出了一个新的可扩展的稀疏直接求解器称为Basker。Basker介绍了一种新的算法来并行化稀疏LU分解的Gilbert-Peierls算法。随着体系结构的发展，存在对本质上分层的算法的需求，以匹配线程组、单个线程和向量级并行性中的层次结构。Basker旨在很好地映射到架构中的这种层次结构。还需要数据布局来匹配存储器中的多个层级。Basker使用稀疏矩阵的二维层次结构，该结构映射到存储器架构中的层次结构和并行性中的层次结构。我们使用佛罗里达大学稀疏矩阵集合和Xyce电路仿真中的电路和电网矩阵，在英特尔SandyBridge和至强融核平台上对Basker进行了性能评估。Basker在CPU（16核）上实现了5.91倍的几何平均加速比，在Xeon Phi（32核）上实现了7.4倍的几何平均加速比。对于低填充电路矩阵，Basker在CPU（16核）和Xeon Phi（32核）上的性能分别是Intel MKL Pardiso（PMKL）的53倍和13.3倍。此外，Basker对来自实际Xyce模拟的具有挑战性的矩阵序列提供了5.4倍的加速。

2016-01-21cs.DC

面向LLM教师蒸馏标注的可扩展流水线：工作窃取作业调度与内存感知GPU并发控制

A Scalable Pipeline for LLM-Teacher Distillation Labeling: Work-Stealing Job Scheduling and Memory-Aware GPU Concurrency

该研究提出了一种用于LLM教师蒸馏标注的可扩展流水线，通过工作窃取作业调度、内存感知GPU并发控制及重标注基准方法，解决了标注的质量成本与GPU集群负载问题，性能优于静态分片且可复现。

2026-08-18cs.AIcs.CLcs.DC

Rocket：异构平台上的高效和可扩展的全对计算

Rocket: Efficient and Scalable All-Pairs Computations on Heterogeneous Platforms

所有对计算问题将用户定义的函数应用于给定数据集的两个项目的每个组合。虽然这些问题提出了大量的并行性，数据重用必须利用，以实现良好的性能。一些研究人员考虑了这个问题，无论是采取部分复制静态工作分配或动态调度与完整的复制。相比之下，我们提出了一个解决方案，依赖于分层多级基于软件的缓存，以最大限度地提高数据重用在分布式存储层次结构的每一个级别，结合分治的方法来利用数据的本地性，分层工作窃取动态平衡的工作负载，和异步处理，以最大限度地提高资源利用率。我们评估我们的解决方案使用三个现实世界的应用程序（从数字取证，本地化显微镜和生物信息学）在不同的平台（从台式机到超级计算机）。结果显示，当扩展到96个GPU时，具有出色的效率和可扩展性，甚至由于分布式缓存而获得超线性加速。

2020-09-10cs.DC

基于工作优先原则的NUMA感知任务并行平台

A NUMA-Aware Provably-Efficient Task-Parallel Platform Based on the Work-First Principle

任务并行是为了简化并行编程的任务而设计的。当在现代NUMA架构上执行任务并行程序时，由于称为工作膨胀的现象，其可能无法扩展，其中多个核花费在做有用工作上的总处理时间比在一个核上做相同量的工作所需的时间更高，这是由于仅在并行执行期间经历的影响，诸如额外的高速缓存未命中、远程存储器访问和内存带宽问题。通过将计算与数据放在一起来减轻工作量膨胀是可能的，但这对于任务并行程序来说并不容易。首先，通过设计，任务并行程序的调度是自动化的，使用户几乎无法控制在哪里执行计算。第二，平台倾向于使用工作窃取，这提供了强有力的理论保证，但是其用于负载均衡的随机化协议不能区分远离的工作项和靠近的工作项。在这项工作中，我们提出了NUMA-WS，一个基于工作优先原则的NUMA感知任务并行平台工程。通过遵守工作优先原则，我们能够获得一个工作效率高的平台，提供与经典工作窃取调度器相同的理论保证，并减轻工作膨胀。此外，我们实现了一个原型平台，通过修改英特尔的Cilk Plus运行时系统，并实证证明，由此产生的系统是工作效率和可扩展性。

2019-01-07cs.DCcs.PF

具有可证明的低同步开销的调度计算

Scheduling computations with provably low synchronization overheads

工作窃取已经是一个非常成功的算法调度并行计算，并被称为实现高性能，甚至表现出细粒度的并行计算。我们提出了一个\ws \的变体，它可以通过在默认情况下保持处理器的deque完全私有来避免大多数同步开销，并且只在小偷请求时才公开工作。这是第一篇论文，获得的同步开销的界限是（基本上）独立的总工作量，从而对应于一个很大的改进，在算法设计和理论，超过国家的最先进的\ws \算法。考虑使用我们的调度程序由$P$处理器执行的具有工作$T_{1}$和关键路径长度$T_{\infty}$的任何计算。我们的分析表明，预期的执行时间为$O\left(\frac{T_{1}}{P} + T_{\infty}\right)$，预期的同步开销最多为$O\left(\left(C_{CAS} + C_{MFence}\right)PT_{\infty}\right)$，其中$C_{CAS}$和$C_{MFence}$分别表示执行Compare-And-Swap指令和Memory Fence指令的最大开销。

2019-04-26cs.DCcs.DS

短程非键分子动力学模拟的代码现代化策略

Code modernization strategies for short-range non-bonded molecular dynamics simulations

针对现代HPC硬件特性，对ESPResSo++分子动力学模拟包进行代码现代化改造，通过数据布局优化、向量化及基于HPX的细粒度并行实现了显著性能提升。

2023-06-15cs.DCphysics.comp-ph

GTaP：一种基于 pragma 接口的 GPU 常驻 fork-join 任务并行运行时

GTaP: A GPU-Resident Fork-Join Task-Parallel System with a Pragma-Based Interface

The University of Tokyo（东京大学）

GTaP 是一种 GPU 常驻的 fork-join 任务并行运行时，通过 pragma 基于接口实现任务并行，支持线程块和单个线程两种工作粒度，采用持续内核模型和工作窃取机制，提升 GPU 上 fork-join 任务并行效率。

2026-08-25cs.DC

共享内存并行子图枚举

Shared Memory Parallel Subgraph Enumeration

子图枚举问题要求我们找到目标图中与给定模式图同构的所有子图。确定是否存在一个这样的同构子图是NP-完全的，因此找到所有这样的子图（如果它们存在）是一项耗时的任务。子图枚举在许多领域都有应用，包括生物化学和社交网络，有趣的是，解决生化输入问题的最快算法是顺序的。由于它们依赖于深度优先的树遍历，因此高效的并行化远非微不足道。然而，由于重要的应用程序产生的数据集越来越困难，并行似乎是有益的。因此，我们在这里提出了Bonnici等人[BMC Bioinformatics，2013]的最先进的子图枚举算法RI和RI-DS（用于密集图的RI变体）的共享内存并行化。我们的策略使用工作窃取，我们的实现在现实世界的生化数据上显示出显着的加速-尽管数据访问模式非常不规则。我们还通过更好地修剪搜索空间来改进RI-DS;与已经高度调优的RI-DS相比，这进一步改善了经验运行时间。

2017-05-25cs.DCcs.DS

并行手指搜索结构

Parallel Finger Search Structures

在本文中，我们提出了两个版本的并行手指结构FS上的p处理器，支持搜索，插入和删除，并有一个手指在每一端。据我们所知，这是并行搜索结构的第一个实现，该结构在手指边界方面是工作最优的，但具有非常好的并行性（在O（（log p）^2）的最优因子内）。我们利用一个扩展的隐式编译框架，透明地促进使用FS的任何并行程序P是由一个动态生成的DAG D，其中每个节点是一个单位时间指令或调用FS建模。任一版本的FS所做的总工作由手指界限F[L]限制（对于D的某种线性化L），即对手指距离为r的项目的每个操作都需要O（log r + 1）摊销工作;对于更接近手指的项目更便宜。使用更简单的版本在贪婪调度器上运行P需要O（（T[1] + F[L]）/ p + T[inf] + d *（（log p）^2 + log n））时间，其中T[1]，T[inf]分别是D的大小和跨度，n是FS中的最大项目数，d是沿着D中任何路径对FS的最大调用数。使用更快的版本，这减少到O（（T[1] + F[L]）/ p + T[inf] + d *（log p）^2 + s[L]）时间，其中s[L]是D的加权跨度，其中每个对FS的调用都根据F[L]通过其成本进行加权。我们还画出了如何扩展FS以支持固定数量的可移动手指。本文中的数据结构符合动态多线程范式，并且它们的性能界限可直接与同一范式中给出的其他数据结构组合。此外，结果可以转…

2019-10-10cs.DCcs.DS