Fault-Tolerant Hybrid-Parallel Training at Scale with Reliable and Efficient In-memory Checkpointing
针对大模型混合并行训练中内存检查点与训练资源竞争、难扩展的问题，提出含分层异步快照协调、混合检查点保护的分布式内存检查点系统，在Frontier上训练Llama-2-34B时实现零保存开销与快速故障恢复。
2024-08-19 cs.DC cs.PF
Characterizing Deep-Learning I/O Workloads in TensorFlow
深度学习（DL）计算框架的性能依赖于数据摄取和检查点的性能。事实上，在训练过程中，大量相对较小的文件首先在CPU上加载和预处理，然后移动到加速器进行计算。此外，执行检查点和重启操作以允许DL计算框架从检查点快速重启。因此，I/O会影响DL应用程序的性能。在这项工作中，我们描述了TensorFlow的I/O性能和扩展，TensorFlow是由Google开发的开源编程框架，专门用于解决DL问题。为了测量TensorFlow I/O性能，我们首先设计了一个微基准来测量TensorFlow读取，然后使用基于AlexNet的TensorFlow迷你应用程序来测量TensorFlow中I/O和检查点的性能成本。为了提高检查点的性能，我们设计并实现了一个突发缓冲区。我们发现，在我们的基准测试环境中，增加线程数量将TensorFlow带宽最多增加2.3倍和7.8倍。tensorFlow预取器的使用导致加速器上的计算和CPU上的输入管道完全重叠，消除了I/O对整体性能的有效成本。在我们的基准测试环境中，使用突发缓冲区将检查点设置到快速的小容量存储，并将检查点异步复制到较慢的大容量存储，与直接将检查点设置到较慢的存储相比，性能提高了2.6倍。
2018-10-06 cs.DC
The Case for ABI Interoperability in a Fault Tolerant MPI
本文论证 MPI 可互操作 ABI 与透明检查点结合的价值，并通过 MANA 与 Mukautuva 概念验证展示跨 MPI 库检查点重启及运行时资源管理灵活性。
2025-03-14 cs.DC
CheckMate: Evaluating Checkpointing Protocols for Streaming Dataflows
本文首次对比评估了流数据流中协调、非协调和通信诱导三种检查点协议，发现非协调方法在倾斜工作负载下优于协调方法，建议未来研究重点优化非协调检查点机制。
2024-03-20 cs.DB cs.DC
Checkpointing SPAdes for Metagenome Assembly: Transparency versus Performance in Production
用于宏基因组组装的SPAdes组装器是NERSC超级计算站点上常用的长期运行的应用程序。但是，NERSC与许多其他站点一样，对资源分配有48小时的限制。解决方案是使用检查点重新启动在一次运行中将多个资源分配链接在一起。本案例研究深入分析了将著名的检查点包（DMTCP：分布式多线程检查点）应用于长期运行的SPAdes生产工作负载时的“痛点”。这项工作暴露了DMTCP的几个错误和限制，这些错误和限制被修复以支持SPAdes的大内存和碎片中间文件。但也许对其他应用程序更有趣的是，这项工作揭示了DMTCP的透明度目标和性能问题之间的紧张关系，由于在检查点过程中的I/O瓶颈，当支持大内存和许多文件。提出了克服这种I/O瓶颈的建议，这为类似的应用程序提供了重要的“经验教训”。
2021-03-04 cs.DC
Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
University of California Santa Cruz（加州大学圣克ruz分校）；University of California, Davis（加州大学戴维斯分校）；University of Washington（华盛顿大学）
针对LLM推理中GPU状态丢失问题，提出Concordia运行时，利用设备驻留持久内核实现JIT编译的增量检查点，支持PTX/SASS级插桩，无需修改应用代码。
2026-06-23 cs.DC cs.LG
HyCoR: Fault-Tolerant Replicated Containers Based on Checkpoint and Replay
HyCoR是一种用于多处理器工作负载的完全可操作的容错机制，基于容器复制，使用检查点和重放的混合。HyCoR源自关于复制机制的两个见解：1）确定性重放可以克服单独检查点的关键缺点-输出到客户端的不可接受的长延迟，以及2）检查点可以克服单独使用确定性重放的主动复制的关键缺点-由于未跟踪的非确定性事件而导致的甚至罕见的重放失败的脆弱性。使用HyCoR，主节点定期向备份节点发送检查点，并记录不确定性来源的结果。到客户端的输出仅延迟将相应日志发送到备份所需的较短时间。在主检查点发生故障时，备份仅重放自最后一个检查点以来的较短时间间隔，从而最大限度地减少漏洞窗口。HyCoR包括一个“尽力而为”的机制，即使在存在数据竞争的情况下，只要它们的速率很低，也会导致高恢复率。评估包括恢复率和恢复延迟的测量故障注入的基础上。平均而言，HyCoR对客户端的响应延迟不到1 ms，恢复时间不到1 s。对于一组八个真实世界的基准测试，如果消除数据竞争，HyCoR的性能开销低于59%。
2021-01-23 cs.DC cs.OS
Optimizing Frequent Checkpointing via Low-Cost Differential for Distributed Training Systems
通过低成本微分优化分布式训练系统的频繁检查点，减少训练时间达89.2%。
2026-10-12 cs.DC
Workrs: Fault Tolerant Horizontal Computation Offloading
本文提出容错计算卸载服务Workrs，通过边缘节点执行用户上传的作业，并利用Docker检查点与数学优化方法在故障时恢复作业，实验证明其在作业完成时间上升时能显著受益。
2023-05-24 cs.DC cs.NI
A Fault Tolerant Mechanism for Partitioning and Offloading Framework in Pervasive Environments
在过去的几年中，应用程序分区和代码卸载正在被广泛研究。已经提出了几个代码卸载框架。然而，较少的作品试图解决的问题发生在普遍的环境中，如频繁的网络断开，由于用户的高流动性的实现。因此，在本文中，我们提出了一个容错算法，有助于巩固应用程序分区和卸载框架的效率和鲁棒性。为了允许使用不同的容错策略，如复制和检查点，设备被分组为高可靠性和低可靠性集群。实验结果表明，该容错算法能够以最小的开销适应不同的执行环境。
2021-09-19 cs.DC
ZOCheck: CPU-Shadow Checkpointing for Zeroth-Order LLM Fine-Tuning
University of Delaware（特拉华大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
ZOCheck通过CPU影子进程重放日志并异步持久化恢复映像，实现零阶微调的非阻塞检查点与快速恢复，大幅降低开销和延迟。
2026-09-24 cs.DC
Checkpointing as a Service in Heterogeneous Cloud Environments
一个非侵入性的，云不可知的方法是扩展现有的云平台，包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的：（a）直接支持长时间运行的作业，否则需要为每个应用程序提供自定义容错机制;（b）当更高优先级的作业到达时，通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是，它还支持TCP和InfiniBand上的并行和分布式计算，从而允许传统的HPC应用程序利用现有的云基础设施。此外，集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能（可能是由于资源不足），并主动挂起作业。通过将该实现应用于两个非常不同的云平台：Snooze和OpenStack，展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。
2015-03-21 cs.DC
Cucumber: Renewable-Aware Admission Control for Delay-Tolerant Cloud and Edge Workloads
云计算和边缘计算不断增长的电力需求增加了运营成本，并将很快对环境产生重大影响。一个可能的对策是直接为IT基础设施配备现场可再生能源。然而，特别是较小的数据中心可能无法始终直接使用所有产生的电力，而将其送入公共电网或储能通常不是一种选择。为了最大限度地利用可再生过剩能源，我们提出了黄瓜，接纳控制策略，接受延迟容忍的工作负载，只有当他们可以在他们的截止日期内计算，而不使用电网能源。使用计算负载、能量消耗和能量产生的概率预测，Cucumber可以被配置为更乐观或保守的接纳。我们评估我们的方法在两种情况下使用真正的太阳能发电预测柏林，墨西哥城和开普敦在模拟环境中。对于实际上有多余能量的情况，我们的结果表明，Cucumber的默认配置实现了接近最佳情况的接受率，并导致97.0%的接受工作负载使用多余能量供电，而更保守的准入导致在几乎为零的电网电力使用情况下接受率降低18.5%。
2022-08-27 cs.DC
Deterministic Fault-Tolerant Distributed Computing in Linear Time and Communication
本文针对同步完全网络中的共识、流言传播和检查点问题，开发了确定性容错分布式算法，在崩溃和认证拜占庭故障模型下实现了线性运行时间与通信量，并证明了性能下界以确保最优性。
2023-05-19 cs.DC cs.DS
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分，因为用户越来越依赖于它们提供快速访问新结果的能力。因此，根据这些结果及时做出决策取决于系统容忍故障的能力。通常，这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而，由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性，静态配置通常不能以低开销满足服务质量约束。在本文中，我们提出了Khaos，一种新的方法，它利用虚拟云自动化技术的并行处理功能，用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段，借用混沌工程的原则：建立稳定状态的处理条件，进行实验，以更好地了解系统如何执行故障，并使用这些知识，不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型，并通过实验证明了它的有用性。
2023-01-26 cs.DC
Can Agent Intelligence be used to Achieve Fault Tolerant Parallel Computing Systems?
在本文中报告的工作的动机是验证一种替代方法的容错比传统的方法，如检查点，约束有效的容错。代理智能可以用来实现容错并行计算系统吗？如果是，“容错需要哪些代理功能？什么样的并行计算任务可以从这样的代理能力中受益？以及“如何实现代理功能以实现容错？“需要解决。被认为是通过代理实现容错必不可少的认知能力。并行约简算法被认为是一类可以从认知代理能力中受益的算法。消息传递接口用于实现基于智能代理的方法。实验的初步结果验证了基于代理的并行计算系统实现容错的可行性。
2013-08-13 cs.DC cs.MA
A Low Overhead Minimum Process Global Snapshop Collection Algorithm for Mobile Distributed System
协调检查点技术是分布式系统中一种有效的容错技术，它避免了多米诺骨牌效应，并要求最小的存储需求。大多数早期的协调检查点算法在检查点期间阻塞它们的计算，并且强制最小进程或非阻塞，但是强制所有节点采取检查点，即使它们中的许多可能不是必需的或非阻塞的最小进程，但是采取无用的检查点或减少无用的检查点，但是具有较高的同步消息开销或具有较高的检查点请求传播时间。因此，在移动分布式系统中，有一个很大的需要，最大限度地减少通信消息的数量和检查点开销，因为它提出了新的问题，如移动性，无线信道的低带宽，频繁断开，有限的电池电量和缺乏可靠的稳定存储在移动节点。在本文中，我们提出了一个最小的进程协调检查点算法的移动分布式系统中没有无用的检查点，没有阻塞的进程发生，并强制最小数量的进程采取检查点。我们的算法施加低内存和计算开销MH的和低通信开销的无线信道上。它避免了唤醒MH，如果它不需要采取它的检查点，并减少了延迟时间，因为涉及到一个全局检查点的每个进程可以直接转发自己的决定到检查点启动器。
2010-05-29 cs.DC
ReStore: In-Memory REplicated STORagE for Rapid Recovery in Fault-Tolerant Algorithms
容错分布式应用程序需要通过进程故障恢复丢失的数据的机制。在现代集群系统上，在这样的故障之后请求替换资源通常是不切实际的。因此，应用程序必须继续使用剩余的资源。这需要重新分配工作负载，并且非故障进程重新加载数据。我们提出了一个算法框架及其C++库实现ReStore的MPI程序，使恢复过程失败后的数据。通过适当的数据分发和复制将所有所需数据存储在内存中，恢复速度明显快于依赖于并行文件系统的标准检查点方案。由于应用程序开发人员可以指定要加载哪些数据，因此我们还支持收缩恢复，而不是使用备用计算节点进行恢复。我们在受控的隔离环境和实际应用中评估ReStore。我们的实验表明，加载时间丢失的输入数据在毫秒的范围内高达24 576处理器和一个广泛使用的生物信息学应用程序的容错版本的恢复时间的大幅加速。
2023-01-25 cs.DC
NavP: Enabling Navigational Programming for Science Data Processing via Application-Initiated Checkpointing
科学数据系统（SDS）处理从采集到处理再到分发的科学数据。它们现在部署在云中，云实例利用率的效率对于成功至关重要。传统的SDS无法利用具有成本效益的Amazon EC2现货市场，特别是对于长期运行的任务。在NASA/JPL目前的实践中发现的一些困难是：缺乏应用程序程序员保存有价值的部分结果以供未来处理继续的机制，使用基于容器（奇点）的沙箱超过200，000个操作系统级文件的沉重负担;以及在笔记本电脑上开发算法/程序的科学家和在云计算或超级计算中部署软件的SDS专家之间的差距。我们提出了第一个证明的原则，这使用NavP（导航编程）和容错计算（FTC）在SDS中，采用程序状态迁移促进检查点重启（C/R）。NavP为应用程序员提供了一个新的分布式计算导航视图。我们开发的DHP（DMTCP Hop and Publish）工具使应用程序员能够通过在应用程序代码中插入hop（destination）语句来导航实例或节点之间的计算，并选择何时发布他们认为值得将来继续的算法阶段的部分结果。使用DHP的结果是，并行分布式SDS变得更容易编程和部署，从而可以更有效地利用Amazon EC2 Spot市场。本技术报告描述了一个高层次的设计和初步实施。
2021-12-20 cs.DC
Performance Evaluation of an Algorithm-based Asynchronous Checkpoint-Restart Fault Tolerant Application Using Mixed MPI/GPI-2
当前大数据领域最大的挑战之一是缺乏在可接受的时间内处理大量信息的能力。这项工作的目标是通过探索和比较在商品集群架构上实现的分布式计算框架，确定使用典型的大数据工具来解决高性能计算问题是否有用：实验将取决于使用Apache Spark等工具所需的计算时间。这将与“等效的更传统”的方法进行比较，例如在分布式文件系统（如HDFS（Hadoop分布式文件系统））上使用带有MPI的分布式内存模型和创建接口以封装此文件系统功能的本机C库，以及使用GASPI协议的GPI-2实现及其内存检查点库为应用程序提供容错功能。更准确地说，我们选择了K-means算法作为实验，它将在可变大小的数据集上运行，然后我们将比较两种方法的计算运行时间和时间弹性。
2018-05-06 cs.DC
CRIU -- Checkpoint Restore in Userspace for computational simulations and scientific applications
本文评估了在OSG的OSPool HTCondor环境中使用开源工具CRIU对长时间运行的科学计算作业进行检查点恢复的可行性，发现其功能适用于多数场景，但存在限制。
2024-02-07 cs.DC
ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload
University of California at Santa Barbara（加州大学圣芭芭拉分校）；Argonne National Laboratory（阿贡国家实验室）
提出ReCoVer系统，通过保持每次迭代微批次数恒定、容错集合通信、步内细粒度恢复和动态工作负载重分配，实现并行方案无关的弹性LLM预训练，在512 GPU上即使丢失256 GPU也能保持训练轨迹，有效吞吐量比检查点重启基线高2.23倍。
2026-05-22 cs.AI cs.DC
CROWDio: A Practical Mobile Crowd Computing Framework with Developer-Oriented Design, Adaptive Scheduling, and Fault Resilience
University of Moratuwa（莫鲁图瓦大学）
本文提出CROWDio框架，通过声明式SDK、分层检查点机制和可插拔调度框架，实现设备异构性管理、故障容忍和连接波动的透明处理，实验表明其调度策略可将执行时间减少56.9%。
2026-04-21 cs.DC
Building a fault tolerant application using the GASPI communication layer
人们普遍认为，在Exascale计算机上高度并行的软件将遭受更多的运行时故障，由于平均故障时间（MTTF）的下降趋势。因此，在容错和故障缓解领域进行大量研究并不奇怪。应用程序应该能够在故障中幸存下来，并且/或者能够以最小的成本恢复。MPI在处理故障方面还不是很成熟，用户级故障缓解（ULFM）提案是目前最有前途的方法，仍处于原型阶段。在我们的工作中，我们使用GASPI，这是一个相对较新的通信库的基础上PGAS模型。它提供了缺失的功能，以允许容错应用程序的设计。而不是引入基于算法的容错在其真正的意义上，我们演示了我们如何建立（现有的）聪明的检查点和扩展应用程序，允许集成一个低成本的故障检测机制，如果必要的话，恢复应用程序的飞行。从进程管理、组恢复和恢复机制等方面进行了详细的介绍。我们使用一个稀疏矩阵向量乘法为基础的应用程序来执行这样的修改所引入的开销的分析。我们的故障检测机制在无故障的情况下不会引起开销，而在故障的情况下，故障检测和恢复成本是合理的可接受的顺序，并显示出良好的可扩展性。
2015-05-18 cs.DC
ThreadShift: Transparent Thread-Level Offloading on Transient Cloud Resources Using MPKs
EPFL（洛桑联邦理工学院）
ThreadShift利用MPK实现线程级透明卸载，支持细粒度检查点，在瞬时云资源上降低成本达56%，检查点速度比CRIU快三个数量级。
2026-09-29 cs.DC cs.OS
SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Argonne National Laboratory（阿贡国家实验室）；University of Florida（佛罗里达大学）
针对大规模LLM预训练中故障频繁导致重启开销主导训练时间的问题，提出SPARe框架，通过跨并行组堆叠冗余数据分片并自适应重排序执行顺序，在梯度同步中掩盖节点故障，实现接近传统复制的可用性且计算开销仅2~3倍，在60万GPU规模下训练时间减少40~50%。
2026-05-27 cs.DC cs.SY eess.SY
Scalable Fault-Tolerant MapReduce
本文针对 MapReduce 框架提出一种基于网络通信状态备份的低开销容错技术，在无故障执行时无额外工作且预期相对通信开销仅为 1/(p-1)，恢复时间约为处理 1/p 数据的时间，原型实现显示无故障执行开销低于 4%。
2024-11-25 cs.DC cs.DS
Understanding LLM Checkpoint/Restore I/O Strategies and Patterns
Clemson University（克莱姆森大学）；Argonne National Lab（阿贡国家实验室）
本文研究了LLM检查点/恢复I/O策略，通过微基准测试发现聚合和合并策略能显著提升写入吞吐量，比现有方法提高3.9至7.6倍。
2025-12-30 cs.DC
MoC-System: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出 MoC-System，通过部分专家检查点机制和两级异步检查点管理，在保持模型精度的前提下，将稀疏 MoE 模型训练中的检查点开销最高降低 98.9%。
2025-04-09 cs.DC cs.LG
Lightweight Robust Framework for Workload Scheduling in Clouds
在不牺牲太多资源的情况下，云服务的可靠性、安全性和稳定性已经成为云中工作负载管理领域的期望特征。本文提出并评估了一个轻量级的框架调度工作量的一部分可能是不可靠的。这种不可靠性可能是由各种类型的故障或攻击造成的。我们的健壮工作负载调度框架有效地结合了经典的容错和安全工具，如数据包/作业扫描，与工作负载调度，它不使用任何沉重的资源消耗工具，例如，密码学或非线性优化。更具体地说，该框架使用了一种新的目标函数来分配工作到服务器，并不断决定哪些工作扫描的基础上与目标函数的公式。我们展示了如何建立目标函数和相应的扫描程序，使系统可证明稳定，只要它满足一个特定的稳定性条件。因此，我们表明，我们的框架保证云的稳定性，即使天真的扫描所有和扫描无策略是不稳定的。我们扩展的框架，分散调度和评估它在几个流行的路由程序。
2017-05-07 cs.DC
Adaptive Fault Tolerance Mechanisms of Large Language Models in Cloud Computing Environments
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对云计算中LLM面临的资源故障、网络问题和计算开销，本文提出融合实时故障预测、动态资源分配及自适应检查点恢复的混合容错机制，使停机时间降低30%。
2025-03-15 cs.AI cs.DC
Let's Wait Awhile: How Temporal Workload Shifting Can Reduce Carbon Emissions in the Cloud
根据能源来源和需求，公共电网的碳强度随时间波动。利用这种可变性是减少数据中心排放的重要因素。然而，低碳能源供应的区域差异使得很难提供何时消费电力的一般最佳做法。此外，该领域的现有研究主要集中在跨地理分布式数据中心的碳感知工作负载迁移，或者纯粹从电网稳定性和成本的角度解决需求响应。在本文中，我们研究了将计算工作量转移到能源供应预计碳密集度较低的时间的潜在影响。为此，我们确定了延迟容忍工作负载的特征，并分析了2020年德国，英国，法国和加利福尼亚州的时间工作负载转移的潜力。此外，我们实验评估两个工作量转移的情况下，在模拟调查的时间限制，调度策略，和碳强度预测的准确性的影响。为了加速碳感知计算领域的研究，并支持新的调度算法的评估，我们的模拟框架和数据集是公开的。
2021-10-25 cs.DC
PnyxDB: a Lightweight Leaderless Democratic Byzantine Fault Tolerant Replicated Datastore
拜占庭容错（BFT）系统正在迅速成为生产级系统的可行技术，特别是在金融和供应链应用的封闭联盟部署中。不幸的是，大多数算法提出到目前为止，协调这些系统遭受实质性的可扩展性问题，并缺乏重要的功能，实现互联网规模的治理机制。在本文中，我们观察到，许多应用程序的工作负载提供很少的并发性，并提出PnyxDB，一个最终一致的拜占庭容错复制数据库，具有高可扩展性和低延迟。我们的方法是基于有条件的背书，允许节点指定一组交易，必须不提交背书是有效的。除了其高可扩展性外，PnyxDB还支持应用程序级投票，即各个节点能够根据应用程序定义的策略支持或拒绝事务，而不会影响一致性。我们提供了对BFTSMaRt和Tendermint的比较，这两个竞争对手具有不同的设计目标，并表明我们的实现将提交延迟加速了11倍，在全球180个节点的地理分布部署中保持在5秒以下。
2019-11-08 cs.DB cs.DC
Checkpoint, Restore, and Live Migration for Science Platforms
我们展示了一个完整的功能实现（每用户）检查点，恢复，和实时迁移功能的XuanyterHub平台。检查点--冻结和挂起磁盘运行状态（内存、寄存器、打开的文件等内容）的能力。--使系统能够将用户的HTTP会话快照到永久存储中。恢复功能将检查点会话带回到运行状态，以便以后在其他机器上继续执行。最后，实时迁移允许在不同的机器之间移动正在运行的Xueyter Notebook服务器，对分析代码透明，并且不断开用户连接。我们对这些功能的实现在系统级工作，几乎没有限制，典型的检查点/恢复时间为O（10秒），实时迁移的路径为O（1秒）。它开启了无数有趣的用例，特别是对于基于云的部署：从检查点空闲会话w/o中断用户的工作（实现4倍或更多的成本降低），在现场执行实例w。从回收时的透明迁移（额外成本降低高达3倍），到将工作负载自动迁移到理想的实例（例如，根据观察到的资源利用率，将分析迁移到具有更多或更少RAM或内核的机器）。我们展示的功能可以使科学平台完全具有弹性，同时保持出色的用户体验。
2021-01-14 astro-ph.IM cs.DC
DeLIAP e DeLIAJ: Interfaces de biblioteca de Dependabilidade para Python e Julia
本文提出封装器 DeLIAP 和 DeLIAJ 将容错库 DeLIA 扩展至 Python 和 Julia，并在 4D 全波形反演方法中验证有效性，引入的中位数开销为 1.4%。
2025-02-02 cs.DC
BlockRaFT: A Distributed Framework for Fault-Tolerant and Scalable Blockchain Nodes
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
BlockRaFT通过RAFT共识协议提升区块链节点的可扩展性和可靠性，采用状态化与非状态化操作分离策略，并引入并发Merkle树优化以提升性能。
2026-04-17 cs.DC
PreGAN: Preemptive Migration Prediction Network for Proactive Fault-Tolerant Edge Computing
Imperial College London（伦敦帝国学院）；Loughborough University（拉夫堡大学）
由于边缘设备的不可靠性和现代应用的严格服务期限，构建一个可以快速响应节点过载或故障的容错边缘系统具有挑战性。此外，不必要的任务迁移可能会给系统网络带来压力，从而需要一个智能和简约的故障恢复方案。以前的方法通常无法适应高度不稳定的工作负载或准确地检测和诊断故障以进行最佳补救。因此，有必要建立一个健全和主动的容错机制，以满足服务水平的目标。在这项工作中，我们提出了PreGAN，这是一种使用生成对抗网络（GAN）的复合AI模型，用于预测抢先迁移决策，以实现容器化边缘部署中的主动容错。预GAN与GAN一起使用协同仿真来学习Few-Shot异常分类器，并主动预测迁移决策以进行可靠的计算。在基于Raspberry-Pi的边缘环境上进行的大量实验表明，PreGAN在故障检测、诊断和分类方面的性能优于最先进的基线方法，从而实现了高服务质量。与所考虑的基线中的最佳方法相比，PreGAN通过5.1%的更准确的故障检测，更高的诊断分数和23.8%的更低的开销来实现这一目标。
2021-12-04 cs.DC cs.LG
Byz-GentleRain: An Efficient Byzantine-tolerant Causal Consistency Protocol
因果一致性是一种广泛使用的弱一致性模型，它允许高可用性，尽管网络分区。有大量的研究原型和工业部署的因果一致的分布式系统。然而，据我们所知，他们都没有考虑拜占庭故障，除了Byz-RCM提出的Tseng等人。Byz-RCM实现因果一致性的客户端-服务器模型与$3f + 1$服务器，其中多达$f$服务器可能遭受拜占庭故障，但假设客户端是非拜占庭。在这项工作中，我们提出了Byz-Gentlerain，这是第一个因果一致性协议，它最多可以容忍每个分区中的$3f + 1$服务器和任何数量的拜占庭客户端中的$f$拜占庭服务器。Byz-GentleRain的灵感来自GentleRain的稳定机制，以实现因果一致性。为了防止由于拜占庭故障而导致的因果违规，Byz-GentleRain依赖PBFT来在服务器之间就全局稳定时间和更新的序列达成一致，并且只有时间戳小于或等于这种公共全局稳定时间的更新对客户端可见。我们证明了Byz-GentleRain实现Byz-CC，在拜占庭故障的存在下的因果一致性变量。我们在阿里云上评估Byz-GentleRain。初步结果表明，Byz-GentleRain在典型工作负载上是有效的。
2021-09-29 cs.DC
MeCeFO: Enhancing LLM Training Robustness via Fault-Tolerant Optimization
Peking University（北京大学）；HKUST（香港科技大学）；Zhejiang Lab（浙江实验室）；AI for Science Institute, Beijing, China（北京智源人工智能研究院）
本文提出 MeCeFO 容错优化算法，通过跳层、重计算与低秩梯度近似降低节点故障接管开销，并在保持收敛率的同时显著提升 LLM 分布式训练弹性。
2025-10-18 cs.DC
Hoplite: Efficient and Fault-Tolerant Collective Communication for Task-Based Distributed Systems
University of California, Berkeley（加州大学伯克利分校）；Duke University（杜克大学）
基于任务的分布式框架（例如，Ray，Dask，Hydro）在包含异步和动态工作负载的分布式应用程序中越来越受欢迎，这些工作负载包括异步梯度下降、强化学习和模型服务。随着越来越多的数据密集型应用程序运行在基于任务的系统之上，集体通信效率已成为一个重要问题。不幸的是，传统的集体通信库（例如，MPI、Horovod、NCCL）是不合适的，因为它们要求在运行前知道通信调度，并且它们不提供容错。我们设计并实现了Hoplite，一个有效的和容错的集体通信层的任务为基础的分布式系统。我们的关键技术是计算的数据传输时间表的飞行和执行的时间表，通过细粒度的流水线有效地。与此同时，当一个任务失败时，数据传输计划会快速调整，以允许其他任务继续前进。我们将Hoplite应用于一个流行的基于任务的分布式框架Ray。我们证明了Hoplite可以分别将异步随机梯度下降、强化学习和机器学习模型的集成速度提高7.8倍、3.9倍和3.3倍，而这些模型在传统的集体通信中难以有效执行。
2021-09-28 cs.DC cs.LG cs.NI
Byzantine Fault Tolerant Protocols with Near-Constant Work per Node without Signatures
本文提出无需签名、每节点近常数通信复杂度的随机化拜占庭容错协议，通过预计算见证委员会系统实现可靠聚合、广播、共识与公共硬币计算，可容忍恒定比例拜占庭故障。
2025-02-07 cs.DC
Saarthi: An End-to-End Intelligent Platform for Optimising Distributed Serverless Workloads
Saarthi是一个端到端无服务器框架，通过输入感知的资源预测、智能请求编排、容错冗余和多目标ILP优化，在OpenFaaS上实现1.45倍吞吐量提升和1.84倍成本降低。
2025-11-10 cs.DC
Serial Parallel Reliability Redundancy Allocation Optimization for Energy Efficient and Fault Tolerant Cloud Computing
Administrative Staff College of India（印度行政人员学院）
本文研究云计算中的固定串并联可靠性冗余分配问题，提出创新混合优化技术以寻找提升可用性与容错能力的最佳冗余配置，并与已有研究结果比较验证。
2024-02-16 cs.AI cs.DC
Byzantine Cluster-Sending in Expected Constant Communication
传统的弹性系统在完全复制的容错集群上运行，这限制了它们的可扩展性和性能。迈向能够处理巨大工作负载的弹性高性能系统的一种方法是使独立的容错集群能够有效地相互通信和协作，因为这也可以使用高性能技术，如分片和并行处理。最近，这种集群间的通信被形式化为拜占庭集群发送问题，并提出了解决这个问题的最坏情况下的最优协议。不幸的是，这些协议在所涉及的簇的大小方面具有全情况线性复杂度。在本文中，我们提出了概率集群发送技术，可以可靠地发送消息从一个拜占庭容错集群到另一个只有一个预期的恒定的消息复杂性，这独立的集群的大小。根据所涉及的集群的鲁棒性，我们的技术只需要两到四个消息往返。此外，我们的协议可以支持最坏情况下的集群之间的线性通信，这是最佳的，并处理异步和不可靠的通信。因此，我们的工作为进一步开发弹性高性能系统奠定了坚实的基础。
2021-08-19 cs.DB cs.DC
Simple and Optimal Randomized Fault-Tolerant Rumor Spreading
我们重新讨论在一组$n$全连接处理器中传播一段信息的经典问题。通过在Gasienic和Pelc（1996）的协议中适当地添加少量的随机性，我们首次导出了（i）使用线性数量的消息的协议，（ii）即使当任意数量的对立选择的处理器不参与该过程时也是正确的协议，以及（iii）当至少任意小的恒定部分的处理器正在工作时，具有高概率地具有$O(\log n)$的渐近最优运行时间。此外，我们的协议不要求系统同步，也不要求所有处理器在零时同时唤醒，它们完全基于推操作，并且它们不需要对故障节点的数量进行先验估计。因此，我们的协议克服了两种已知方法的典型缺点，基于随机八卦的算法（由于其无组织的性质，通常需要大量的消息）和基于公平的工作负载分割的算法（这不是时间效率或需要复杂的预处理步骤加上同步）。
2015-01-05 cs.DC cs.DS
FLStore: Efficient Federated Learning Storage for non-training workloads
针对联邦学习非训练工作负载的高延迟与高成本问题，提出无服务器框架FLStore，通过统一数据与计算平面并采用定制缓存策略实现位置感知执行，显著降低延迟与成本并保持高可扩展性。
2025-03-01 cs.AI cs.DC cs.LG
signSGD with Majority Vote is Communication Efficient And Fault Tolerant
Caltech（加州理工学院）；UC Irvine（加州大学欧文分校）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在大型数据集上训练神经网络可以通过将工作负载分布在机器网络上来加速。随着数据集越来越大，数百或数千台机器的网络在经济上变得可行。传送梯度的时间成本限制了使用如此大的机器数量的有效性，因为可能增加网络故障的机会。我们探索了一种特别简单的算法，用于强大的，通信高效的学习-signSGD。工作进程只将其梯度向量的符号传输到服务器，整体更新由多数投票决定。与全精度分布式SGD相比，该算法每次迭代使用的$32\times$通信更少。在自然条件下，通过实验验证，我们证明了signSGD收敛在大型和小型批量设置，建立收敛的亚当作为副产品的参数制度。通过多数投票来聚合符号梯度意味着没有任何个体工人拥有太多的权力。我们证明，不像新加坡元，多数票是强大的，当高达50%的工人的行为敌对。我们考虑的一类对手包括那些反转或随机化其梯度估计的特殊情况。在实践方面，我们在Pytorch中构建了我们的分布式培训系统。以最先进的集体通信库（NCCL）为基准，我们的框架-参数服务器完全位于一台机器上-使用15台AWS p3.2xlarge机器时，在Imagenet上训练resnet 50的时间减少了25%。
2019-02-22 cs.AI cs.DC cs.LG
push0: Scalable and Fault-Tolerant Orchestration for Zero-Knowledge Proof Generation
Zircuit
push0是一种可扩展且容错的零知识证明生成编排系统，通过解耦证明者二进制与调度基础设施，实现了高效的区块顺序证明和并行处理，显著降低了编排开销并提升了容错能力。
2026-02-18 cs.CR cs.DC
DeepFT: Fault-Tolerant Edge Computing using a Self-Supervised Deep Surrogate Model
Imperial College London（帝国理工学院）；ARM Research（ARM研究院）；Loughborough University（拉夫堡大学）
延迟关键型AI应用的出现得到了边缘计算范式演变的支持。然而，边缘解决方案通常是资源受限的，由于对计算和通信能力的竞争加剧以及在过载条件下的错误应用行为，从而带来可靠性挑战。虽然可以挖掘大量生成的日志数据用于故障预测，但标记这些数据用于训练是一个手动过程，因此是自动化的限制因素。因此，许多公司采用无监督容错模型。然而，当这种故障模型需要适应非静态工作负载和不同的主机特性时，可能会导致准确性损失。为了解决这个问题，我们提出了一种新的建模方法，称为DeepFT，通过优化任务调度和迁移决策来主动避免系统过载及其不利影响。DeepFT使用深度代理模型来准确预测和诊断系统中的故障，并使用基于协同仿真的自监督学习来动态适应波动环境中的模型。它提供了一个高度可扩展的解决方案，因为模型大小的扩展仅为活动任务和主机数量每增加一个单位的3%和1%。在基于Raspberry-Pi的边缘集群上进行的大量实验表明，DeepFT在故障检测和QoS指标方面的表现优于最先进的基线方法。具体来说，DeepFT在故障检测方面给出了最高的F1分数，将服务期限违规减少了37%，同时将响应时间提高了9%。
2022-12-02 cs.AI cs.DC
Reliable Provisioning of Spot Instances for Compute-intensive Applications
云计算提供商现在正在现货市场上提供其未使用的资源，这被认为是迈向计算资源全面市场经济的第一步。Spot实例是虚拟机（VM），其价格低于标准的按需实例。只要当前价格低于用户每小时愿意支付的最高投标价格，这些虚拟机就将运行。Spot实例越来越多地用于执行计算密集型应用程序。尽管有明显的经济优势，但由于可投标资源的间歇性，应用程序执行时间可能会延长，或者根本无法完成。本文提出了一种资源分配策略，解决了在间歇性虚拟机池上运行计算密集型作业的问题，同时也旨在以快速和经济的方式运行应用程序。为了减轻潜在的不可用期，提出了一个多方面的故障感知资源供应政策。我们的解决方案采用价格和运行时间估计机制，以及三个容错技术，即检查点，任务复制和迁移。我们使用跟踪驱动的模拟来评估我们的策略，该模拟将实际价格变化跟踪以及来自并行数据库存档的应用程序跟踪作为输入。我们的研究结果表明，现场实例上执行应用程序的有效性，尊重QoS约束，尽管偶尔失败。
2011-10-27 cs.DC
BAASH: Enabling Blockchain-as-a-Service on High-Performance Computing Systems
管理区块链的最先进方法是在无共享环境中处理交易块。尽管区块链有可能为高性能计算（HPC）系统提供各种服务，但在以下两个缺失部分可用之前，HPC将无法接受区块链：（i）意识到HPC中的共享存储架构的新共识协议，以及（ii）新的容错机制，用于补偿HPC的编程模型-消息传递接口（MPI）-对于类似区块链的工作负载来说是脆弱的。为此，我们设计了一套新的共识协议的HPC平台和一个新的容错子系统补偿错误的MPI进程所造成的故障。在新协议和容错机制的基础上，在500核HPC集群上实现了一个原型系统，并使用200万个事务进行了评估，结果显示$6\times$、$12\times$和$75\times$的吞吐量分别高于Hyperldeger、Ethereum和Parity。
2020-01-20 cs.DC
Characterization of Large Language Model Development in the Datacenter
Shanghai AI Laboratory（上海人工智能实验室）；Peking University（北京大学）；NTU（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；CUHK（香港中文大学）
本文基于 Acme GPU 数据中心六个月的 LLM 开发轨迹，分析其与传统 DL 工作负载的差异、资源利用及故障影响，并提出容错预训练与评估解耦调度两项系统优化。
2024-04-03 cs.DC cs.LG
Quantifying Autoscaler Vulnerabilities: An Empirical Study of Resource Misallocation Induced by Cloud Infrastructure Faults
Okestro AI Research Center（Okestro 人工智能研究中心）
本文通过实证研究发现，云基础设施故障会导致自动扩展策略出现资源误分配，其中存储故障带来最大成本开销，路由异常导致资源不足，且水平扩展策略对临时异常更敏感。
2026-01-08 cs.DC
FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library
IISc（印度科学学院）
本文提出FTHP-MPI，一种结合检查点/重启与复制机制的新型容错MPI库，在非容错原生MPI库中实现高故障率下的高效容错，并通过实验证明在故障间隔短于1小时的大规模系统中，基于复制的库比纯检查点方法效率更高，且无故障时额外开销可忽略。
2026-06-01 cs.DC
