arXiv 2102.129412021-02-26cs.DC

嵌套Fork-Join程序的检查点设置和本地化恢复

Checkpointing and Localized Recovery for Nested Fork-Join Programs

Claudia Fohry

摘要：

虽然检查点通常与整个应用程序的重新启动相结合，但本地化恢复允许除受影响的进程之外的所有进程继续运行。例如，在基于任务的集群编程中，应用程序可以在完整的节点上完成，丢失的任务可以重新分配。这个扩展的摘要建议采用检查点和本地化的恢复技术，最初是为嵌套的fork-join程序开发的独立任务。我们考虑了一个类似于Cilk的工作窃取方案，在分布式内存环境中采用工作优先策略，并描述了所需的算法变化。原始技术的检查点开销低于1%，恢复成本可以忽略不计，我们希望新算法能够实现类似的性能。

英文摘要：

While checkpointing is typically combined with a restart of the whole application, localized recovery permits all but the affected processes to continue. In task-based cluster programming, for instance, the application can then be finished on the intact nodes, and the lost tasks be reassigned. This extended abstract suggests to adapt a checkpointing and localized recovery technique that has originally been developed for independent tasks to nested fork-join programs. We consider a Cilk-like work stealing scheme with work-first policy in a distributed memory setting, and describe the required algorithmic changes. The original technique has checkpointing overheads below 1% and neglectable costs for recovery, we expect the new algorithm to achieve a similar performance.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

将 Fork-Join 任务图调度到异构处理器

Scheduling Fork-Join Task Graphs to Heterogeneous Processors

本文研究带通信延迟的 fork-join 任务图在相关异构处理器上的调度，提出 EPAS 及特殊情形的多项式算法，并说明结果可推广到带释放时间和截止时间的独立任务。

2023-06-05cs.DC

GTaP：一种基于 pragma 接口的 GPU 常驻 fork-join 任务并行运行时

GTaP: A GPU-Resident Fork-Join Task-Parallel System with a Pragma-Based Interface

The University of Tokyo（东京大学）

GTaP 是一种 GPU 常驻的 fork-join 任务并行运行时，通过 pragma 基于接口实现任务并行，支持线程块和单个线程两种工作粒度，采用持续内核模型和工作窃取机制，提升 GPU 上 fork-join 任务并行效率。

2026-08-25cs.DC

（n，k）叉-连接序列的逼近与界：一种线性变换方法

Approximations and Bounds for (n, k) Fork-Join Queues: A Linear Transformation Approach

与基本fork-join队列相比，（n，k）fork-join队列中的作业只需要完成所有n个子任务中的第k个子任务。由于（n，k）fork-join队列在流行的分布式系统、基于纠删编码的云存储和现代网络协议（如多路径路由）中普遍存在，因此估计这种队列的逗留时间对于计算机集群的性能测量和资源规划至关重要。然而，多年来，估计一直是一个众所周知的开放式挑战，只有粗略的边界有限范围内的负载因子已经给出。本文对联合全同随机变量建立了一种封闭形式的线性变换技术：顺序统计量可以用极大值的线性组合来表示。然后利用这种新技术将非清除（n，k）fork-join队列的逗留时间转化为基本（k，k），（k+1，k+1），.，（n，n）fork-join队列。因此，现有的基本fork-join队列的近似可以桥接到非清除（n，k）fork-join队列的近似。然后使用未覆盖的近似来改进清除（n，k）fork-join队列的上界。仿真实验表明，这种线性变换方法适用于中等的n和相对较大的k。

2017-12-11cs.DCcs.NIcs.PF

从Fork-Join到异步任务：使用OpenMP和HPX并行化瓦片Cholesky分解

From Fork-Join to Asynchronous Tasks: Parallelizing Tiled Cholesky Decomposition with OpenMP and HPX

Institute of Parallel and Distributed Systems, University of Stuttgart（斯图加特大学并行与分布式系统研究所）

本文通过Cholesky-Bench基准，比较了OpenMP和HPX运行时下四种瓦片Cholesky分解并行变体，发现HPX在最优瓦片大小下性能优于OpenMP 15%-30%，异步任务开销降低约3.8倍。

2026-06-11cs.DCcs.PF

具有重尾的Fork和Join排队网络：扩展维度和吞吐量限制

Fork and Join Queueing Networks with Heavy Tails: Scaling Dimension and Throughput Limit

并行和分布式计算系统是云计算和大数据分析成功的基础。这些系统处理计算工作流的方式，可以数学建模的fork-and-join阻塞网络（FJQN/B）。虽然长期以来一直有工程解决方案来构建和扩展此类系统，但在理论上严格表征其大规模吞吐量性能是具有挑战性的。使研究进一步复杂化的是其中广泛记录的重尾延迟的存在。为此，我们引入了两个基本概念的网络的任意拓扑结构（缩放维和扩展度量维），并利用一个无限序列的增长FJQN/Bs研究的吞吐量限制。吞吐量是说是可扩展的，如果吞吐量限制下确界的序列是严格的，因为网络的大小增长到无穷大。我们调查吞吐量的可扩展性，专注于重尾服务时间，定期变化（与索引$α>1$），并具有上述两个方面所描述的网络拓扑结构。特别是，我们表明，一个无限序列的FJQN/Bs是吞吐量可扩展的，如果扩展度量维度$<α-1$，只有当缩放维度$\leα-1$。这些理论结果提供了一个丰富的类FJQN/B的可扩展性与各种结构，包括串联，晶格，六边形，金字塔，树，和分形的新见解。

2018-05-14cs.DC

具有同步约束的多服务台系统的非渐近时滞界

Non-Asymptotic Delay Bounds for Multi-Server Systems with Synchronization Constraints

多服务器系统随着Google MapReduce、Hadoop和Spark等重要实现而受到越来越多的关注。这些系统的共同点是分叉操作，其中作业首先被划分为并行处理的任务，以及稍后的连接操作，其中完成的任务等待直到作业的所有任务的结果可以被组合并且作业离开系统。连接操作的同步约束使得fork-join系统的分析具有挑战性，并且很少有明确的结果。在这项工作中，我们使用最大加服务器模型，使我们能够推导出一般到达和服务时间过程的等待和逗留时间的统计界限fork-join系统。我们贡献端到端的延迟界限，多阶段fork-join网络，增长在$\mathcal{O}(h \ln k)$为$h$ fork-join阶段，每个与$k$并行服务器。我们对不同的多服务器配置进行了详细的比较，并突出了它们的优缺点。我们还分析了非空闲的单队列fork-join系统，并将这些结果与模拟和实时Spark系统进行了比较。

2016-10-20cs.DCcs.PF

更多相关论文收起更多论文

并行可连接B树在Fork-Join I/O模型中的研究

Parallel Joinable B-Trees in the Fork-Join I/O Model

本文针对并行基于连接的树集合操作I/O效率低的问题，提出Fork-Join I/O模型，并设计基于B树的并行算法，实现并集、交集、差集操作的I/O工作与跨度界限。

2025-10-22cs.DCcs.DS

Cilkstroke：Fork-Join并行程序内存高水位分析算法

Cilkmem: Algorithms for Analyzing the Memory High-Water Mark of Fork-Join Parallel Programs

软件工程师设计的递归fork-join程序运行在大规模并行计算系统上，必须认识到他们的程序的内存需求如何在多处理器执行的规模。尽管存在用于测量并行程序的一个特定执行期间的内存使用的工具，但是这样的工具不能约束所有可能的并行执行上的最坏情况的内存使用。本文介绍了Cilkstrike，一个工具，分析一个确定性的Cilk程序的执行，以确定其$p$ -处理器内存高水位线（MHWM），这是最坏情况下的内存使用的程序超过\emph{all possible} $p$ -处理器执行。Cilkwords采用两种新的算法来计算$p$处理器MHWM。第一种算法在$O(T_1 \cdot p)$时间内计算精确的$p$ -处理器MHWM，其中$T_1$是程序的总工作。第二种算法在$O(T_1)$时间内解决近似阈值问题，该问题对于给定的存储器阈值$M$询问$p$处理器MHWM是否超过$M/2$或是否保证小于$M$。这两种算法都是内存高效的，分别需要$O(p \cdot D)$和$O(D)$空间，其中$D$是程序在单个线程上执行的最大调用堆栈深度。我们的实证研究表明，Cilkestra一般表现出较低的管理费用。在Cilkbench套件的十个应用程序基准测试中，精确算法导致$p=128$的$1.54$的几何平均乘法开销，而近似阈值算法导致独立于$p$的$1.36$的开销。此外，我们使用Cilkwords来揭示和…

2019-10-27cs.DCcs.DS

通过混合并行提升经典线性代数迭代方法的性能

Improving the performance of classical linear algebra iterative methods via hybrid parallelism

本文提出四种经典线性代数迭代方法的混合并行实现，实验表明基于任务的混合并行在弱可扩展性及适中资源的强可扩展性场景下优于纯MPI等方法。

2023-05-23cs.DCcs.DScs.PF

将嵌套并行模型扩展到具有可证明有效的并行机的嵌套数据流模型

Extending the Nested Parallel Model to the Nested Dataflow Model with Provably Efficient Schedulers

嵌套并行（也称为fork-join）模型被广泛用于编写并行程序。然而，这两个组合构造，即“$\parallel$“（并行）和“$;$“（串行），不足以表达程序中的“部分依赖性”或“部分并行性”。本文提出了一种新的嵌套组合结构“$\leadsto$“，以处理器和高速缓存无关的方式表示算法中的部分依赖关系，从而将嵌套并行（NP）模型扩展到\emph{Nested Dataflow}（ND）模型.我们重新设计了几个分而治之的算法，从密集的线性代数的ND模型中的动态规划，并证明他们都有最佳的跨度，同时保持最佳的缓存复杂度。我们提出了运行时缓存器的设计，ND程序映射到多核处理器与多个级别的可能共享的高速缓存（即，并行存储器层次结构），并提供理论保证他们的能力，以保持局部性和负载平衡。为此，我们针对ND模型调整了空间有界（SB）调度器。我们表明，我们的算法增加了“并行化”的ND模型，SB的并行化可以使用额外的缓存未命中和运行时间上的渐近最优的界限比在NP模型的处理器数量更大。本文算法的运行时间为$O\left(\frac{\sum_{i=0}^{h-1} Q^{*}({\mathsf t};σ\cdot M_i)\cdot C_i}{p}\right)$，其中$Q^{*}$是任务${\mathsf t}$的缓存复杂度，$C_i$是$i$级缓存的未命中代价，$i$级缓存的大小为$M_i$，$σ\…

2016-02-15cs.DC