BitIR: Cross-Architecture Fault Injection for Resilience Analysis of Heterogeneous GPU Applications
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
本文提出跨架构故障注入框架BitIR,在LLVM IR层注入单比特故障,对比NVIDIA、Intel、AMD GPU上的韧性表现,发现故障行为因后端而异,强调需后端与工作负载感知的故障缓解。
2026-10-06 cs.DC
Characterization-Guided GPU Fault Resilience in NVIDIA MPS
Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
针对 NVIDIA MPS 容错性弱的问题,通过系统分析 GPU 故障特征,设计了故障隔离和基于虚拟内存的快速恢复两种机制,有效处理故障且开销小。
2026-10-05 cs.DC
Resilience Bounds of Sensing-Based Network Clock Synchronization
最近的研究利用外部周期性同步信号来同步一对网络节点,以解决节点之间的通信延迟的威胁。然而,基于传感器的同步可能会产生故障,由于非恶意信号和传感器噪声。本文考虑了一个N个节点的系统,将他们的对等同步结果融合,以纠正故障。我们的分析给出了系统可以容忍的故障数的下限时,N是高达12。如果故障的数目不大于下限,则可以识别和校正故障。我们还证明了该系统不能容忍超过N-2故障。我们的研究结果可以指导弹性感知的时钟同步系统的设计。
2018-09-10 cs.DC
DuoBFT: Resilience vs. Performance Trade-off in Byzantine Fault Tolerance
本文提出了DuoBFT,拜占庭容错协议,使用可信组件提供提交决策的混合故障模型,除了提交决策的BFT模型。通过这样做,它使客户端能够为其命令选择响应故障模型。在内部,DuoBFT在混合模型和拜占庭模型下提交每个客户端命令,但由于混合提交比BFT提交需要更少的通信步骤,并且使用更小的法定人数,因此客户端可以从混合模型中的低延迟提交中受益。DuoBFT使用通用的视图更改协议来处理两种故障模型。为了实现这一目标,我们启用了一个概念,称为灵活的法定人数在混合故障模型中,通过重新审视混合协议中的法定人数交集要求。灵活的法定人数技术使得能够具有与BFT视图改变法定人数相同大小的混合视图改变法定人数。这为在单个统一协议中有效地组合两种故障模型铺平了道路。我们对广域部署的评估表明,DuoBFT可以在不牺牲吞吐量的情况下提供比现有协议低30%延迟的混合提交。就绝对值而言,DuoBFT在地理上复制的部署中提供低于200毫秒的延迟。
2022-02-08 cs.DC
Fault Tolerance for Remote Memory Access Programming Models
远程内存访问(RMA)是一种新兴的高性能计算机和嵌入式系统编程机制。然而,关于基于风险管理的应用程序和系统的复原力计划的工作很少。在本文中,我们分析了容错的RMA,并表明它是从根本上不同的弹性机制,针对消息传递(MP)模型。我们设计了一个模型的推理容错的RMA,解决平面和层次化的硬件。我们使用这个模型来构建几个高度可扩展的机制,提供高效的低开销的内存中的检查点,透明的远程内存访问日志记录,并透明恢复失败的进程的计划。我们的协议考虑到每个核心的内存减少量,这是未来艾级机器的主要特征之一。我们的容错方案的实施需要微不足道的额外开销。我们的可靠性模型表明,内存中的检查点和日志记录提供了高弹性。该研究为RMA提供了高度可扩展的弹性机制,填补了容错和新兴RMA编程模型之间的研究空白。
2020-10-18 cs.DC
Rolex: Resilience-Oriented Language Extensions for Extreme-Scale Systems
未来的亿级高性能计算(HPC)系统将由VLSI设备构建,这些设备的可靠性将低于今天使用的设备,故障将成为常态,而不是例外。这将给系统设计师和程序员带来重大问题,半个世纪以来,他们一直享受着由底层计算系统承担正确行为的执行模型。系统的平均故障前时间(MTTF)与系统中的组件的数量成反比,因此,随着系统在所使用的处理器核和存储器模块的数量方面的扩展,故障和所导致的系统级故障将增加。然而,检测到的每个错误不一定会导致灾难性的故障。许多HPC应用程序具有固有的故障恢复能力。然而,正是应用程序员拥有这些知识,但缺乏将其传达给系统的机制。在本文中,我们提出了新的弹性导向的语言扩展(劳力士),便于纳入故障恢复作为一个内在属性的应用程序代码。我们描述的语法和语义的语言扩展,以及支持编译器的基础设施和运行时系统的实现。我们的实验表明,一种方法,利用程序员的洞察力,原因的上下文和意义的故障的应用程序的结果显着提高了概率,应用程序运行到一个成功的结论。
2016-05-23 cs.DC
Soft Error Resilience and Failure Recovery for Continuum Dynamics Applications
当今大规模计算系统的持续增长的弹性问题不仅需要通用的容错方法,而且由于苛刻的效率和各种特定于域的要求,还需要应用级弹性。特定领域内的科学应用程序通常遵守领域守恒定律,这可以作为错误检测标准来研究共享类似程序特性的应用程序的该领域的弹性。然而,实现应用程序弹性是具有挑战性的:(a)如何识别给定应用程序域的不变量,知道守恒律,以及(b)如何利用不变量有效地检测应用程序运行中的故障并从故障中恢复。在这项工作中,我们针对几个连续动态软件包,FleCSALE [1]和CODY [2](在计算过程中具有内在不变量),研究它们对在线软错误的弹性(使用开源故障注入器注入),并调查非侵入性和轻量级故障恢复(基于校验和的不变式检查)的机会。我们提出了一种校验和重试的方法来实现我们的目标,并在虚拟化平台上进行了广泛的故障注入活动的实验结果证明了所提出的方法的有效性和效率。
2019-11-05 cs.DC
Resilience Evaluation of Kubernetes in Cloud-Edge Environments via Failure Injection
本文提出一种结合 Chaos Mesh、Gremlin、ChaosBlade 等故障注入工具与自动化负载生成的框架,系统评估云边 Kubernetes 弹性,并基于 11,965 个故障场景构建首个混合云边弹性数据集,定量揭示云边与纯云部署在不同故障下的弹性差异。
2025-07-21 cs.DC
Resilience Against Soft Faults through Adaptivity in Spectral Deferred Correction
Hamburg University of Technology(汉堡工业大学)
针对超级计算机硬件复杂度提升带来的瞬态故障问题,利用谱延迟校正(SDC)的自适应步长选择进展,证明自适应SDC可检测校正瞬态故障,性能媲美专用弹性策略Hot Rod。
2025-04-15 cs.DC cs.NA math.NA
Byzantine Fault-Tolerance in Peer-to-Peer Distributed Gradient-Descent
我们考虑的问题,拜占庭容错的对等(P2P)分布式梯度下降法-一个突出的算法,在P2P系统中的分布式优化。在这个问题中,系统由多个代理人组成,每个代理人都有一个本地成本函数。在无故障的情况下,当所有的代理都是诚实的,P2P分布式梯度下降方法允许所有的代理达成共识的解决方案,最大限度地减少他们的总成本。然而,我们考虑的情况下,一定数量的代理可能是拜占庭故障。这样的错误代理可能不正确地遵循算法,并且可能共享任意的不正确信息以防止其他非错误代理解决优化问题。在拜占庭故障代理的存在下,一个更合理的目标是允许所有的非故障代理达成共识的解决方案,最大限度地减少所有的非故障代理的总成本。我们将此容错目标称为$f$ -弹性,其中$f$是$n$代理系统中拜占庭故障代理的最大数量,其中$f < n$。P2P分布式优化中的大多数现有容错工作仅考虑近似容错,其中,与$f$弹性不同,所有非故障代理计算其成本函数的非均匀加权聚合的最小点。我们提出了一个容错机制,赋予可证明的$f$ -弹性的P2P分布式梯度下降方法,提供了非故障代理满足必要条件的$2f$ -冗余,稍后在本文中定义。此外,与以前的工作相比,我们的算法是适用于更大的一类高维凸分布优化问题。
2021-01-28 cs.DC
Resilience in Collaborative Optimization: Redundant and Independent Cost Functions
本文研究了多智能体协同优化中的拜占庭容错问题。在这个问题中,每个代理都有一个局部成本函数。协同优化算法的目标是计算代理成本函数的最小值。我们考虑的情况下,一定数量的代理可能是拜占庭式的故障。这种错误的代理可能不遵循规定的算法,并且它们可能发送关于其本地成本函数的任意或不正确的信息。一个合理的目标,在存在这样的故障代理是最小化的总成本的非故障代理。在这份报告中,我们表明,这一目标可以实现,当且仅当成本函数的非故障代理有一个最小的冗余属性。我们提出了不同的算法,实现这种宽容对故障代理,并证明了算法的复杂性和代理的成本函数的属性之间的权衡。此外,我们还考虑的情况下,成本函数是独立的或不满足最小冗余属性。在这种情况下,我们通过引入一个称为弱弹性的度量来量化对错误代理的容忍度。我们提出了一个算法,达到弱弹性时,有故障的代理人是少数和成本函数是非负的。
2020-03-31 cs.DC cs.MA
Revisiting Optimal Resilience of Fast Byzantine Consensus (Extended Version)
人们普遍认为,拜占庭容错解决方案的共识是显着慢于他们的崩溃容错同行。事实上,在最广为人知的拜占庭容错共识协议PBFT中,需要三个消息延迟来决定一个值,而Paxos中只有两个。这激发了对快速拜占庭共识算法的搜索,该算法可以在仅仅两个消息延迟\emph{in the common case}之后产生决策,例如,假设当前的领导者是正确的,并且没有被正确的过程所怀疑。(最佳)两步延迟带来了较低的弹性成本:快速拜占庭共识需要更多的进程来容忍相同数量的故障。特别是,$5f+1$进程被认为是容忍$f$拜占庭失败所必需的。在本文中,我们提出了一个快速的拜占庭共识算法,依赖于$5f-1$进程。此外,我们证明了$5f-1$是紧下界,纠正了早期工作中的一个错误。虽然对于大的$f$值,$2$过程的差异可能看起来微不足道,但对于较小规模的系统,它可能是至关重要的。特别是,对于$f=1$,我们的算法只需要$4$进程,这是最佳的任何(不一定是快速的)部分同步拜占庭共识算法。
2021-07-27 cs.DC
Byzantine Agreement in Polynomial Time with Near-Optimal Resilience
自20世纪80年代初以来,人们已经知道,完全信息异步模型中的拜占庭协议不可能针对甚至一个崩溃故障确定性地解决[FLP85],但它可以以概率1解决[Ben83],即使是针对控制所有消息的调度并破坏$f<n/3$播放器的对手[Bra87]。[Ben83,Bra87]的主要缺点是,每当$f=Θ(n)$出现时,它们都会在预期的$2^{Θ(n)}$回合中终止。King和Saia [KS16,KS18(arXiv:1812.10169)]开发了一种多项式协议(多项式轮,多项式计算),它对$f < (1.14\times 10^{-9})n$拜占庭故障具有弹性。他们协议中的新想法是通过分析这些玩家在多轮比赛中产生的随机变量的偏差来检测并将可能是坏玩家的联盟列入黑名单。在这项工作中,我们设计了一个简单的集体抛硬币协议,这样,如果任何联盟的错误球员反复不遵守协议,那么他们最终将被检测到的两个简单的统计测试之一。使用这种硬币翻转协议,我们解决拜占庭协议在一个多项式轮数,即使在存在高达$f<n/4$拜占庭故障。这接近最大故障数的$f<n/3$上限[BT85、FLM86、LSP82]。
2022-02-27 cs.DC
CROWDio: A Practical Mobile Crowd Computing Framework with Developer-Oriented Design, Adaptive Scheduling, and Fault Resilience
University of Moratuwa(莫鲁图瓦大学)
本文提出CROWDio框架,通过声明式SDK、分层检查点机制和可插拔调度框架,实现设备异构性管理、故障容忍和连接波动的透明处理,实验表明其调度策略可将执行时间减少56.9%。
2026-04-21 cs.DC
Approximate Byzantine Fault-Tolerance in Distributed Optimization
针对分布式优化中的拜占庭故障,本文提出 (f,ε)-弹性近似容错概念,给出其充要条件,并分析可微代价下鲁棒梯度聚合分布式梯度下降的条件。
2024-05-21 cs.DC
Resilience Design Patterns - A Structured Approach to Resilience at Extreme Scale (version 1.0)
在本文档中,我们开发了一种结构化的方法来管理HPC弹性的基础上的概念,基于顺应性的设计模式。设计模式是针对常见问题的通用可重复解决方案。我们确定了用于处理HPC系统中的故障,错误和故障的常见问题和解决方案。弹性设计模式目录为设计人员提供了可重用的设计元素。我们定义了一个设计框架,以增强我们对部署在系统堆栈各个层的解决方案的重要约束和机会的理解。该框架可用于建立机制和接口,以协调跨硬件和软件组件的灵活故障管理。该框架还可以优化性能、弹性和功耗之间的成本效益权衡。这项工作的总体目标是为极端规模HPC系统中的弹性技术的设计和评估提供一种系统化的方法,这些方法可以使科学应用程序以及时和具有成本效益的方式运行到正确的解决方案,尽管频繁发生故障,错误和各种类型的故障。
2016-12-28 cs.DC cs.SE
Hard Shell, Reliable Core: Improving Resilience in Replicated Systems with Selective Hybridization
本文提出ShellFT框架,利用微复制实现选择性混合化,允许自由选择复制逻辑中需拜占庭容错的部分,相比传统方法降低多样化成本超70%。
2025-08-13 cs.DC
MPGemmFI: A Fault Injection Technique for Mixed Precision GEMM in ML Applications
针对深度学习加速器混合精度GEMM的错误恢复能力,提出故障注入框架MPGemmFI,并开发轻量级错误检测与纠正方案,显著提升模型在硬件故障下的精度。
2023-11-09 cs.DC
A Survey of Fault-Tolerance and Fault-Recovery Techniques in Parallel Systems
今天的超级计算系统通常以大量商品系统的形式连接在一起成为计算集群。这些系统,像任何分布式系统一样,可以有大量的独立硬件组件在计算上进行协作或合作。不幸的是,这些数量庞大的组件中的任何一个都可能在任何时候发生故障,从而导致潜在的错误输出。为了提高超级计算应用程序在故障情况下的鲁棒性,已经开发了许多技术来提供对这些类型的系统故障的弹性。本调查提供了这些不同的容错技术的概述。
2005-01-01 cs.DC
A Pattern Language for High-Performance Computing Resilience
高性能计算系统(HPC)为广泛的计算问题提供了强大的建模、仿真和数据分析功能。它们通过聚合数百万个计算、内存、网络和存储组件的能力,实现每秒四进制浮点算术计算数量级的极端性能。随着HPC系统的规模和复杂性迅速增长,以实现更高的性能,确保其在系统降级和故障面前的可靠运行是一个关键的挑战。系统故障事件经常导致科学应用产生错误的结果,甚至可能导致其过早终止。现代极端规模HPC系统中的组件数量庞大,硬件和软件组件、应用程序和物理环境之间的交互和依赖关系复杂,这使得设计支持故障恢复的实用解决方案成为一项复杂的任务。为了管理这种复杂性,我们开发了一种使用设计模式设计HPC弹性解决方案的方法。我们将过去三十年来设计、应用和改进的用于处理故障、错误和失败的著名技术以设计模式的形式进行了整理。在本文中,我们提出了一种模式语言,使结构化的方法来开发HPC弹性解决方案。模式语言揭示了弹性模式之间的关系,并提供了一种手段,探索替代技术处理特定的故障模型,可能有不同的效率和复杂性的特点。使用模式语言可以将全面的弹性解决方案设计和实现为一组相互关联的弹性模式,这些模式可以跨系统堆栈的各个层进行实例化。
2017-10-31 cs.DC cs.SE
Improving the Performance and Resilience of MPI Parallel Jobs with Topology and Fault-Aware Process Placement
HPC系统的规模不断增长,以满足对性能和计算资源不断增长的需求。除了提高性能外,大型系统还面临两个阻碍进一步增长的挑战:能源效率和弹性。与此同时,寻求提高性能的应用程序依赖于先进的并行性来利用系统资源,这导致了系统互连压力的增加。在大系统规模下,增加通信局部性在应用性能和能耗方面都是有益的。朝着这个方向,一些研究集中在导出一个映射的应用程序的进程到系统节点的方式,通信成本降低。一种常见的方法是将应用程序的通信模式和系统架构都表示为图,然后解决相应的映射问题。除了通信成本,作业的完成时间也会受到节点故障的影响。节点故障可能导致作业中止,需要重新启动作业。在本文中,我们解决的问题,分配进程的系统资源的目标是减少通信成本,同时也考虑到节点故障。所提出的方法已集成到Slurm资源管理器中。评估结果表明,在场景中,很少的节点有一个低的中断概率,所提出的进程放置方法实现了显着减少批量MPI作业的完成时间。与Slurm中的默认进程放置方法相比,对于两个不同的MPI应用程序,分别减少了18.9%和31%。
2021-01-05 cs.DC
Flexible Byzantine Fault Tolerance
本文介绍了灵活的BFT,围绕两个支柱,更强的弹性和多样性的BFT共识解决方案设计的新方法。第一个支柱,更强的弹性,涉及一个新的断层模型,称为活的,但腐败的断层。存活但损坏的副本可以任意地偏离协议以试图破坏协议的安全性。但是,如果它们不能破坏安全性,它们就不会试图阻止协议的活动性。将活跃但损坏的故障组合到模型中,Flexible BFT比纯拜占庭故障模型更能适应更高的损坏级别。第二个支柱,多样性,设计共识解决方案,其协议记录用于在不同的信念下绘制不同的提交决策。通过这种分离,相同的灵活BFT解决方案支持同步和异步信念,以及拜占庭和存活但损坏的故障的不同弹性阈值组合。在技术层面上,Flexible BFT使用两个新想法实现了上述结果。首先,它介绍了一个同步BFT协议,其中只有提交步骤需要知道网络延迟的界限,因此副本执行协议没有任何同步的假设。其次,它引入了一个概念,称为灵活的拜占庭法定人数解剖不同的法定人数在现有的共识协议中的作用。
2019-05-30 cs.CR cs.DC
Characterizing Impacts of Storage Faults on HPC Applications: A Methodology and Insights
近年来,科学模拟的复杂性日益增加,训练重型人工智能模型的需求不断增加,这就要求高性能计算(HPC)平台必须配备更先进的存储基础设施,如固态硬盘(SSD)。虽然SSD提供高性能I/O,但HPC应用程序在SSD相关故障下面临的可靠性挑战仍不清楚,特别是导致数据损坏的故障。本文的目标是了解SSD相关故障对复杂HPC应用程序行为的影响。为此,我们提出了FFIS,一个基于FUSE的故障注入框架,系统地将存储故障引入应用层,以模拟来自SSD的错误。FFIS能够将不同的I/O相关故障植入从底层文件系统返回的数据中,这使得能够对科学文件格式的错误恢复特性进行调查。我们演示了使用FFIS与三个代表性的真正的HPC应用程序,显示每个应用程序如何对数据损坏的反应,并提供了广泛采用的HDF 5文件格式的HPC应用程序的错误恢复能力的见解。
2021-08-02 cs.DC
TensorFI: A Flexible Fault Injection Framework for TensorFlow Applications
University of British Columbia(不列颠哥伦比亚大学);University of Illinois(伊利诺伊大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
随着机器学习(ML)在安全关键领域(例如,自动驾驶汽车),ML系统的可靠性也变得越来越重要。虽然先前的研究已经提出了实现有效的差错恢复技术的技术(例如,选择性指令复制),实现这些技术的基本要求是对应用的弹性的详细理解。在这项工作中,我们提出了TensorFI,一个基于TensorFlow的应用程序的高级故障注入(FI)框架。TensorFI能够在一般的TensorFlow程序中注入硬件和软件故障。TensorFI是一个可配置的FI工具,灵活,易于使用和便携。它可以集成到现有的TensorFlow程序中,以评估它们对不同故障类型的弹性(例如,特别是操作员的错误)。我们使用TensorFI来评估12个ML程序的弹性,包括自动驾驶汽车领域使用的DNN。我们的工具可在https://github.com/DependableSystemsLab/TensorFI上公开获取。
2020-04-03 cs.CV cs.DC cs.LG
Resilience Design Patterns: A Structured Approach to Resilience at Extreme Scale
可靠性是未来超大规模高性能计算(HPC)系统的一个严重问题。虽然HPC社区已经开发了各种弹性解决方案,但解决方案空间仍然分散。没有正式的方法和指标将各种HPC弹性技术集成到复合解决方案中,也没有方法从保护范围以及性能和能效特性方面全面评估此类解决方案的充分性和有效性。在本文中,我们开发了一个结构化的方法来设计,评估和优化的HPC弹性使用的设计模式的概念。设计模式是针对常见问题的通用可重复解决方案。我们确定的各种类型的故障,错误和HPC系统中的故障和用于处理这些事件的技术所造成的问题。每个解决特定HPC弹性挑战的众所周知的解决方案都以模式的形式描述。我们开发了一个完整的目录,这种弹性设计模式,可用作设计和部署弹性解决方案时的基本构建块。我们还开发了一个设计框架,提高了设计师的理解的机会,集成多个模式跨层的系统堆栈和重要的限制,在实施过程中的个人模式。它还可用于定义机制和接口,以协调跨硬件和软件组件的灵活故障管理。这项工作的总体目标是建立一种系统化的方法,用于设计和评估极端规模HPC系统中的弹性技术,以及时和经济高效的方式保持科学应用程序运行到正确的解决方案,尽管频繁的故障,错误和各种类型的故障。
2017-08-23 cs.DC cs.SE
Resilience for Exascale Enabled Multigrid Methods
随着部件数量的增加和进一步小型化,超级计算机的平均故障间隔时间将缩短。系统级的容错技术是昂贵的并且耗费能量,因为它们通常基于冗余。此外,当将系统状态存储到备份存储器的时间变得过多时,经典的检查点重启技术达到其极限。因此,基于算法的容错机制可以成为一个有吸引力的替代方案。本文研究椭圆型偏微分方程的有限元离散解法。故障发生在并行几何多重网格求解器进行了研究,在各种模型的情况下。在标准的域划分方法中,核心或节点的故障的影响将影响一个或多个子域。不同的策略开发,以补偿这种故障的算法的影响。恢复是通过解决一个局部子问题的Dirichlet边界条件,使用局部多重网格循环算法。此外,我们提出了一个超人的战略,额外的计算能力,以尽量减少恢复过程的时间。
2015-01-29 cs.CE cs.DC
XFT: Practical Fault Tolerance Beyond Crashes
尽管经过多年的深入研究,拜占庭容错(BFT)系统尚未在实践中采用。这是由于与崩溃容错(CFT)相比,BFT在资源、协议复杂性和性能方面的额外成本。BFT的这种开销来自于这样的假设:强大的对手不仅可以完全控制拜占庭式的故障机器,而且同时还可以完全控制整个网络的消息传递时间表,从而有效地诱导通信异步并随意划分其他正确的机器。然而,对许多从业者来说,这种强烈的攻击似乎无关紧要。在本文中,我们介绍了交叉容错或XFT,一种新的方法来建立可靠和安全的分布式系统,并将其应用到经典的状态机复制(SMR)问题。简而言之,XFT SMR协议提供了广泛使用的异步CFT SMR协议(如Paxos和Raft)的可靠性保证,但也容忍拜占庭故障与网络冗余的组合,只要大多数副本是正确的并同步通信。这允许以CFT的价格(在实践中已经支付)开发XFT系统,但具有比CFT更强的弹性-有时甚至比BFT本身更强。作为XFT的展示,我们展示了第一个XFT SMR协议XPaxos,并将其部署在地理复制设置中。虽然它在没有额外资源成本的情况下提供了比CFT SMR更强的弹性,但XPaxos的性能与最先进的CFT协议相匹配。
2016-11-08 cs.DC
Strengthened Fault Tolerance in Byzantine Fault Tolerant Replication
拜占庭容错(BFT)状态机复制(SMR)是构建许可区块链系统的重要构建块。与Nakamoto Consensus相比,任何区块都可以在区块链中获得更高的保证,在BFT SMR中,任何提交的区块都是安全的,具有固定的弹性阈值。在本文中,我们研究加强容错(SFT)在BFT SMR部分同步下,它提供了逐渐增加的弹性保证(如中本共识)在一个乐观的时期,当网络同步和拜占庭故障的数量是小的。此外,即使在乐观期之后,已提交的块也可以容忍超过三分之一(高达三分之二)的腐败。与需要二次消息复杂度的现有最佳解决方案灵活BFT相比,我们的解决方案保持了最先进的BFT SMR协议的线性消息复杂度,并且只需要边际簿记开销。我们实现了我们的解决方案在开源的Diem项目,并给出实验结果,证明其效率在现实世界的情况下。
2021-01-11 cs.CR cs.DC
Model-based Reinforcement Learning for Service Mesh Fault Resiliency in a Web Application-level
Northwestern University(西北大学);Nokia Bell Labs(诺基亚贝尔实验室);Amazon Web Services(亚马逊云科技)
基于微服务的架构使Web应用程序的不同方面能够独立创建和更新,即使在部署之后也是如此。相关的技术(如服务网格)通过属性配置提供了应用程序级的故障恢复能力,这些属性配置在出现故障时控制请求-响应服务的行为以及它们之间的交互。虽然这提供了极大的灵活性,但这些属性的配置值以及它们之间的关系可能会显著影响整个应用程序的性能和故障恢复能力。此外,由于底层分布式系统的复杂性和许多可能的属性值组合,不可能通过测试确定关于故障弹性的属性值的最佳和最差组合。在本文中,我们提出了一个基于模型的强化学习工作流程,对服务网格故障弹性。我们的方法可以预测最重要的故障恢复能力的行为在Web应用程序级别,从单一的服务抓挠到聚合的多服务管理与高效的代理协作。
2021-10-21 cs.AI cs.DC cs.LG
Half a Century of Distributed Byzantine Fault-Tolerant Consensus: Design Principles and Evolutionary Pathways
本文系统梳理了半个世纪以来分布式拜占庭容错共识的历史演进与设计原则,涵盖PBFT、SMR、部分同步/异步协议及DAG共识等关键进展,并展望无线与区块链场景下的未来研究方向。
2025-05-10 cs.DC
Blockchain Consensus Protocols in the Wild
区块链是一种用于记录交易的分布式账本,由许多节点通过分布式加密协议在没有中央权威的情况下维护。所有节点都验证要添加到区块链的信息,共识协议确保节点同意添加条目的唯一顺序。容忍拜占庭故障的共识协议已经重新受到关注,因为它们也解决了区块链系统。这项工作讨论了评估和获得信心的共识协议暴露于故障和敌对节点的弹性的过程。我们提倡遵循密码学和计算机安全的既定做法,依赖于公众评论,详细的模型和正式的证明;几个实际系统的设计者似乎没有意识到这一点。此外,我们回顾了一些著名的许可区块链平台中的共识协议,以及它们的故障模型和对攻击的弹性。协议比较涵盖Hyperledger Fabric、Tendermint、Symbiont、R3~Corda、Iroha、Kadena、Chain、Quorum、MultiChain、Sawtooth Lake、Ripple、Stellar和IOTA。
2017-07-07 cs.DC
Cluster-based Network Time Synchronization for Resilience with Energy Efficiency
提出基于聚类的去中心化时间同步协议C-sync,通过引入多参考节点限制跳数并隔离故障,在保证精度的同时显著降低了能耗并提升了弹性与可扩展性。
2024-09-22 cs.DC cs.NI cs.SY
Byzantine Fault Tolerance of Regenerating Codes
近年来,出现了大量为网络存储系统定制的编码技术。在这些新时代的以存储为中心的编码中,网络编码启发的再生码是最多产的研究。已经投入了大量的努力来理解存储和带宽使用的基本可实现的权衡,以在存在不同故障模型的情况下保持冗余,展示了相对于传统纠删编码技术的重新生成代码的功效。然而,为了在开放和对抗性环境中的实际可用性,正如在对等系统中的典型情况一样,我们不仅需要对擦除的弹性,而且还需要对(对抗性)错误的弹性。在本文中,我们研究了广义再生码(支持多修复,使用新人之间的合作)在两类拜占庭节点,相对良性的自私(非合作)的节点,以及更积极的,恶意的污染节点的存在下的弹性。我们给出了再生代码的弹性能力的上限,并表明协作修复的优势,可以变成有害的拜占庭节点的存在。我们进一步展示了系统机制可以与再生代码相结合,以减轻流氓节点的影响。
2011-06-12 cs.CR cs.DC
Influence of A-Posteriori Subcell Limiting on Fault Frequency in Higher-Order DG Schemes
随着现代架构在低电压下需要越来越小的特征,软错误率正在增加。由于HPC架构中使用了大量组件,这些组件特别容易受到软错误的影响。因此,当设计在大型机器上长时间运行的应用程序时,必须考虑算法的弹性。在本文中,我们分析了固有的弹性的后验限制程序的上下文中的显式ADER DG双曲PDE求解器ExaHyPE。后验限制器检查元素本地高阶DG解决方案的物理容许性,因此可以预期也检测硬件引起的错误。从算法上讲,它可以被解释为在精细子网格上使用更鲁棒的有限体积格式对求解器进行元素局部检查点和重新启动。我们表明,限制器确实增加了DG算法的弹性,特别是检测和纠正那些故障,否则会导致致命的故障。
2019-05-21 cs.DC physics.comp-ph
MODC: Resilience for disaggregated memory architectures using task-based programming
非聚合存储器架构为应用程序提供了传统横向扩展环境之外的好处,例如计算和存储器资源的独立扩展。它们还提供了一个独立的故障模型,其中计算或它们运行的计算节点可能会独立于分解内存而失败;因此,驻留在分解内存中的数据不受计算故障的影响。盲目应用传统的复原力技术(例如,检查点或数据复制)没有利用这些体系结构。为了证明这些架构的弹性的潜在好处,我们开发了面向内存的分布式计算(MODC),编程分解架构,借用和适应基于任务的编程模型,并发编程技术,和无锁数据结构的想法框架。该框架包括一个基于任务的应用程序编程模型和一个运行时系统,该系统提供调度、协调和容错机制。我们提出了我们的MODC原型的亮点和实验结果表明,MODC式的弹性优于基于检查点的方法,在面对故障。
2021-09-11 cs.DC
Havens: Explicit Reliable Memory Regions for HPC Applications
在未来的百万亿级超级计算系统中支持错误恢复是一个关键的挑战。由于晶体管缩放趋势和不断增加的存储器密度,科学模拟预计将经历更多由系统存储器中的瞬态错误引起的中断。现有的基于硬件的检测和恢复技术将不足以管理高存储器故障率的存在。本文提出了一种基于区域存储管理的部分存储保护方案。我们定义的概念区域称为避风港,提供故障保护的程序对象。我们通过基于软件的奇偶校验保护机制为区域提供可靠性。我们的方法使关键的程序对象被放置在这些避风港。与基于算法的容错技术不同,我们的方法提供的故障覆盖率是应用程序不可知的。
2016-10-26 cs.DC
Fault Tolerance of Small-World Regular and Stochastic Interconnection Networks
研究了随机和规则(确定性)小世界互连网络最重要性质的弹性。结果表明,在故障节点的分数的值的宽范围内,所考虑的网络具有高的容错,确定性网络略优于随机网络。
2014-01-13 cs.DC cs.SI physics.soc-ph
Modifying the Asynchronous Jacobi Method for Data Corruption Resilience
针对边缘计算环境数据易损坏的问题,本文提出一种基于收敛理论边界拒绝邻居解近似的异步雅可比方法变体,结合最短路径近似实现数据损坏弹性,实验验证了其有效性,结论可推广到其他异步算法的容错研究。
2024-04-25 cs.DC cs.NA math.NA
Near-zero Downtime Recovery from Transient-error-induced Crashes
由于系统缩放,由外部噪声引起的瞬态误差,例如,热通量和粒子撞击已经成为当前和即将到来的极端规模高性能计算(HPC)系统的日益关注的问题。然而,由于与无故障情况相比,这样的错误仍然非常罕见,因此期望的解决方案要求低/无开销系统,其在无故障条件下不损害性能并且还允许非常快速的故障恢复以最小化停机时间。在本文中,我们提出了IterPro,一个轻量级的编译器辅助的弹性技术,快速,准确地从瞬态错误引起的崩溃恢复进程。IterPro在发生错误时即时修复损坏的进程状态,使应用程序能够继续执行而不是终止。IterPro还利用基于归纳变量的代码优化技术引入的副作用来提高其恢复能力。为此,引入了两个新的代码转换通道,以暴露用于恢复目的的副作用。我们使用4个科学工作负载以及NPB基准测试套件评估了IterPro。在正常执行期间,IterPro几乎没有运行时开销,只有一个小的固定的27 MB内存开销。与此同时,IterPro可以在几十毫秒内恢复平均83.55%的导致崩溃的错误,停机时间可以忽略不计。有了这样一个有效的恢复机制,IterPro可以极大地减轻未来极端规模系统中弹性子系统的开销和资源需求。
2021-03-09 cs.DC cs.SY eess.SY
Enabling Software Resilience in GPGPU Applications via Partial Thread Protection
图形处理单元(GPU)被广泛领域中的各种应用广泛使用以加速其计算,但仍然容易受到可能容易损害应用输出的瞬时硬件故障(软错误)的影响。通过利用线程、线程束和协作线程阵列中的通用GPU应用程序分层组织,我们提出了一种识别线程弹性的方法,旨在将具有相同弹性特征的线程映射到相同的线程束。这允许接合部分复制机制以用于在扭曲级别处的错误检测/校正。通过探索12个基准测试(17个内核)从4个基准套件,我们说明了线程可以重新映射到可靠或不可靠的线程束,只有1.63%的引入开销(平均),然后通过复制到那些组的线程,真正需要它启用选择性保护。此外,我们表明,线程重新映射到不同的线程束不会牺牲应用程序的性能。我们展示了这种重新映射如何促进翘曲复制错误检测和/或纠正,并实现了平均减少20.61%和27.15%的执行周期,分别与标准的重复/三重。
2021-03-29 cs.DC cs.SE
Bio-inspired Agentic Self-healing Framework for Resilient Distributed Computing Continuum Systems
University of Oulu(奥卢大学);EURECOM(欧洲通信学院);RISE Research Institutes of Sweden(瑞典RISE研究院);Peking University(北京大学);TU Wien(维也纳工业大学);ICREA(加泰罗尼亚研究与高等教育学院)
ReCiSt通过生物启发的代理自修复框架,实现分布式计算连续系统的快速自我修复与韧性提升。
2026-01-01 cs.AI cs.DC cs.ET