DCDB Wintermute: Enabling Online and Holistic Operational Data Analytics on HPC Systems
Leibniz Supercomputing Centre(莱布尼茨超级计算中心);Technical University of Munich(慕尼黑工业大学)
随着我们进入亿亿级时代,HPC系统的规模和复杂性不断增加,引发了人们对其可持续性和可持续性的担忧。因此,越来越多的HPC中心正在尝试细粒度监控与操作数据分析(ODA)相结合,以优化系统操作的效率和有效性。然而,虽然监测是高性能计算中的一个普遍现实,但没有明确和全面的要求清单,也没有配套的框架来支持整体和在线官方发展援助。这导致孤立的临时解决方案,每个解决方案只解决问题的具体方面。在本文中,我们提出了Wintermute,一种新的通用框架,使在线ODA的大规模HPC安装。它的设计是基于对共同业务要求的文献调查结果。我们在整体DCDB监控系统的基础上实施Wintermute,提供多种配置选项,以满足ODA应用的不同要求。此外,Wintermute基于一组逻辑抽象,以简化大规模模型的配置并最大限度地提高代码重用。我们通过一系列实际案例研究来突出Wintermute的灵活性,每个案例针对HPC系统管理的不同方面,然后展示我们实施的小资源占用。
2020-04-18 cs.DC cs.LG
Towards Management of Energy Consumption in HPC Systems with Fault Tolerance
高性能计算不断提高其计算能力和能源效率。然而,能源消耗持续上升,找到限制和/或减少能源消耗的方法是当前研究的关键点。对于高性能MPI应用程序,存在基于回滚恢复的容错方法,例如不协调的检查点。这些方法只允许一些进程在遇到故障时返回,而其余的进程继续运行。在这篇文章中,我们专注于继续执行的进程,并提出了一系列的策略来管理能源消耗时,发生故障和不协调的检查点使用。我们提出了一个能量模型来评估策略,并通过仿真分析了应用程序在不同配置和故障时间下的行为。因此,我们展示了在HPC系统中存在故障时提高能效的可行性。
2021-08-17 cs.DC
Havens: Explicit Reliable Memory Regions for HPC Applications
在未来的百万亿级超级计算系统中支持错误恢复是一个关键的挑战。由于晶体管缩放趋势和不断增加的存储器密度,科学模拟预计将经历更多由系统存储器中的瞬态错误引起的中断。现有的基于硬件的检测和恢复技术将不足以管理高存储器故障率的存在。本文提出了一种基于区域存储管理的部分存储保护方案。我们定义的概念区域称为避风港,提供故障保护的程序对象。我们通过基于软件的奇偶校验保护机制为区域提供可靠性。我们的方法使关键的程序对象被放置在这些避风港。与基于算法的容错技术不同,我们的方法提供的故障覆盖率是应用程序不可知的。
2016-10-26 cs.DC
ClusterRCA: An End-to-End Approach for Network Fault Localization and Classification for HPC System
National University of Defense Technology(国防科技大学);Huawei(华为);Tianjin Key Laboratory of Software Experience(天津软件体验与人机交互重点实验室);Haihe Laboratory of Information Technology Application Innovation(海河信息科技应用创新实验室)
ClusterRCA提出一种端到端HPC网络故障诊断框架,通过从NIC对提取多模态特征并结合分类器与图随机游走方法,实现故障节点定位与类型判定,在真实数据集上取得高准确率和稳健性。
2025-09-22 cs.AI cs.DC
Exploring Energy Saving Opportunities in Fault Tolerant HPC Systems
本研究扩展了故障时能耗管理策略,通过模拟非阻塞通信和级联分析,在容错HPC系统中实现最高90%的节能,证明了故障场景下提升能效的可行性。
2023-11-14 cs.DC
A New and Efficient Algorithm-Based Fault Tolerance Scheme for A Million Way Parallelism
高性能计算(HPC)应用的容错开销对于大规模HPC系统的有效利用变得至关重要。HPC应用程序通常通过检查点来容忍故障-停止故障。另一种有前途的方法是在算法层面,称为算法恢复。这两种方法在系统规模不是很大时可以达到很高的效率,但当系统规模接近Exaflops时,即系统中包含的处理器数量达到100万时,这两种方法都将失去有效性。本文提出了一种新的高效的基于算法的高性能计算容错方案。当执行过程中出现故障时,我们不会停下来等待恢复损坏的数据,而是用相应的冗余数据替换它们并继续执行。同时提出了一种后台加速恢复方法来重建冗余以容忍执行过程中的多次故障。为了证明我们新方案的可行性,我们将其纳入了高性能Linpack。理论分析表明,我们的新的容错方案仍然可以有效,即使系统规模达到Exaflops。在SiCortex SC 5832上进行的实验验证了该方案的可行性,并表明该方案的优点在小规模下也能体现出来。
2011-06-21 cs.DC
A Study of Checkpointing in Large Scale Training of Deep Neural Networks
深度学习(DL)应用越来越多地部署在HPC系统上,以利用这些系统的大规模并行性和计算能力进行DL模型训练。虽然DL框架已经投入了大量的努力来促进分布式训练,但容错在很大程度上被忽视了。在这项工作中,我们评估检查点重新启动,一个常见的容错技术在HPC工作负载。我们使用HPC Chainer、PyTorch和TensorFlow中常见的三种最先进的DL框架进行实验。我们评估检查点的计算成本,文件格式和文件大小,规模的影响,和确定性检查点。我们的评估显示了检查点机制的一些关键差异,并暴露了现有检查点实现中的几个瓶颈。我们提供的讨论点,可以帮助用户选择一个容错的框架中使用的HPC。我们还提供了框架开发人员可以使用的要点,以促进HPC中DL工作负载的更好检查点。
2021-03-29 cs.DC
RedThreads: An Interface for Application-level Fault Detection/Correction through Adaptive Redundant Multithreading
在加速故障率的存在下,这预计将成为未来艾级系统的标准,高性能计算(HPC)应用程序将变得越来越难以完成有用的计算。由于当前HPC编程范例和执行环境的故障不经意性质,HPC应用不足以处理错误。我们认为,HPC应用程序应该能够主动搜索和纠正计算中的错误。冗余多线程(RMT)方法在单个应用进程的上下文中提供程序指令的轻量级复制执行流。然而,使用完全冗余会对应用程序性能产生显著的开销。在本文中,我们提出了RedThreads,一个接口,提供应用程序级的故障检测和纠正的基础上RMT,但适用于线程级的冗余自适应。我们描述了RedThreads的语法和语义,以及支持编译器的基础设施和运行时系统。我们的方法使应用程序员的范围内的冗余计算。另外,运行时系统允许基于应用的弹性需求和系统的状态来动态地启用或禁用RMT的使用。我们的实验结果表明,自适应RMT如何利用程序员的洞察力和运行时推理,动态导航应用程序的弹性覆盖和冗余计算的相关性能开销之间的权衡空间。
2017-01-17 cs.DC
Online Job Failure Prediction in an HPC System
CINECA(奇内卡国家计算中心)
本研究针对HPC系统中的作业失败预测问题,提出结合经典机器学习与NLP的在线预测方法,在提交时识别高风险作业,以减少资源浪费并提升系统性能与能效,实验验证了其有效性。
2023-06-30 cs.AI cs.DC cs.LG
Characterization and Comparison of Application Resilience for Serial and Parallel Executions
兆级应用的软错误是现代高性能计算面临的一个挑战性问题。为了量化应用程序的弹性和脆弱性,应用程序级故障注入方法被HPC用户广泛采用。然而,这并不容易,因为用户需要注入大量的故障,以确保统计意义,特别是对于并行版本的程序。通常,并行执行比串行执行更复杂,需要更多的硬件资源。因此,根据并行应用程序的串行版本来预测并行应用程序的出错率是非常必要的。在这张海报中,我们描述了串行和并行执行中的故障模式。首先,我们发现在串行和并行执行中有相同的故障源。其次,与串行执行相比,并行执行也有一些独特的故障源。这些独特的故障源对于我们理解串行和并行执行之间的故障模式的差异是非常重要的。
2018-08-03 cs.DC
Online Anomaly Detection in HPC Systems
可靠性是高性能计算系统和数据中心发展中的一个棘手问题。在操作期间,可能出现几种类型的故障状况或异常,范围从故障硬件到不正确的配置或不完善的软件。目前,系统管理员和最终用户必须手动发现它。显然,这种方法不能扩展到大规模的超级计算机和设施:需要自动化的方法来检测故障和不健康的条件。我们的方法使用一种称为autoncoder的神经网络,它被训练来学习真实的生产HPC系统的正常行为,并部署在每个计算节点的边缘。我们得到了一个非常好的准确性(值范围在90%和95%之间),我们还表明,该方法可以部署在超级计算机节点上,而不会对计算单元的性能产生负面影响。
2019-02-22 cs.DC
To Repair or Not to Repair: Assessing Fault Resilience in MPI Stencil Applications
本文提出基于 User Level Fault Mitigation 扩展和 Legio 框架的故障弹性方法,在 MPI 模板应用中通过仅执行未失败进程以牺牲精度换取快速恢复,实验证明其产出的结果可用于科研。
2024-10-11 cs.DC
A Pattern Language for High-Performance Computing Resilience
高性能计算系统(HPC)为广泛的计算问题提供了强大的建模、仿真和数据分析功能。它们通过聚合数百万个计算、内存、网络和存储组件的能力,实现每秒四进制浮点算术计算数量级的极端性能。随着HPC系统的规模和复杂性迅速增长,以实现更高的性能,确保其在系统降级和故障面前的可靠运行是一个关键的挑战。系统故障事件经常导致科学应用产生错误的结果,甚至可能导致其过早终止。现代极端规模HPC系统中的组件数量庞大,硬件和软件组件、应用程序和物理环境之间的交互和依赖关系复杂,这使得设计支持故障恢复的实用解决方案成为一项复杂的任务。为了管理这种复杂性,我们开发了一种使用设计模式设计HPC弹性解决方案的方法。我们将过去三十年来设计、应用和改进的用于处理故障、错误和失败的著名技术以设计模式的形式进行了整理。在本文中,我们提出了一种模式语言,使结构化的方法来开发HPC弹性解决方案。模式语言揭示了弹性模式之间的关系,并提供了一种手段,探索替代技术处理特定的故障模型,可能有不同的效率和复杂性的特点。使用模式语言可以将全面的弹性解决方案设计和实现为一组相互关联的弹性模式,这些模式可以跨系统堆栈的各个层进行实例化。
2017-10-31 cs.DC cs.SE
Using Machine Learning at Scale in HPC Simulations with SmartSim: An Application to Ocean Climate Modeling
Hewlett Packard Enterprise(慧与公司);National Center for Atmospheric Research(美国国家大气研究中心);University of Victoria(维多利亚大学)
我们展示了第一个气候尺度的数值海洋模拟,通过使用SmartSim的深度神经网络(DNN)的分布式在线推理得到改进。SmartSim是一个专门用于为传统HPC模拟启用在线分析和机器学习(ML)的库。在本文中,我们详细介绍了SmartSim架构,并提供了基准测试,包括在异构HPC系统上使用共享ML模型进行在线推理。我们通过使用SmartSim运行一个由12个成员组成的全球规模高分辨率海洋模拟集合来展示SmartSim的能力,每个集合跨越19个计算节点,在每个模拟时间步都与相同的ML架构进行通信。总共有9700亿个推论通过运行总共120个模拟年的集合来共同服务。最后,我们证明了我们的解决方案在模型集成的整个持续时间内是稳定的,并且包含机器学习对模拟运行时的影响最小。
2021-04-13 cs.CE cs.DC cs.LG
Resilience Design Patterns: A Structured Approach to Resilience at Extreme Scale
可靠性是未来超大规模高性能计算(HPC)系统的一个严重问题。虽然HPC社区已经开发了各种弹性解决方案,但解决方案空间仍然分散。没有正式的方法和指标将各种HPC弹性技术集成到复合解决方案中,也没有方法从保护范围以及性能和能效特性方面全面评估此类解决方案的充分性和有效性。在本文中,我们开发了一个结构化的方法来设计,评估和优化的HPC弹性使用的设计模式的概念。设计模式是针对常见问题的通用可重复解决方案。我们确定的各种类型的故障,错误和HPC系统中的故障和用于处理这些事件的技术所造成的问题。每个解决特定HPC弹性挑战的众所周知的解决方案都以模式的形式描述。我们开发了一个完整的目录,这种弹性设计模式,可用作设计和部署弹性解决方案时的基本构建块。我们还开发了一个设计框架,提高了设计师的理解的机会,集成多个模式跨层的系统堆栈和重要的限制,在实施过程中的个人模式。它还可用于定义机制和接口,以协调跨硬件和软件组件的灵活故障管理。这项工作的总体目标是建立一种系统化的方法,用于设计和评估极端规模HPC系统中的弹性技术,以及时和经济高效的方式保持科学应用程序运行到正确的解决方案,尽管频繁的故障,错误和各种类型的故障。
2017-08-23 cs.DC cs.SE
Algorithm-Based Fault Tolerance for Parallel Stencil Computations
HPC系统尺寸和复杂性的增加,以及片上晶体管密度、功率限制和组件数量的增加,使得现代HPC系统容易出现软错误。无声数据损坏(SDC)通常由存储器子系统中的位翻转形式的这种软错误引起,并且阻碍科学应用的正确性。这项工作解决的问题,保护一类迭代计算内核,称为stenetron,对SDC在并行HPC系统上执行时。现有的SDC检测和纠正方法通常要么不准确、效率低下,要么针对不包括模板的特定应用程序类。这项工作提出了一种新的基于算法的容错(ABFT)方法,以保护科学应用程序,包含任意模板计算对SDC。ABFT方法可以在线和离线应用,以准确地检测和校正2D和3D并行模板计算中的SDC。我们提出了一个正式的模型,所提出的方法,包括定理和相关的校验和的计算,以及错误检测和纠正证明。我们实验评估使用建议的ABFT方法在一个真正的三维模板为基础的应用程序(HotSpot3D)通过故障注入,检测和校正活动。结果表明,所提出的ABFT方法实现了不到8%的开销相比,未受保护的模板应用程序的性能。此外,它可以准确地检测和纠正SDC。虽然离线ABFT版本更准确地纠正错误,但它可能会比在线版本产生少量额外开销。
2019-09-02 cs.DC cs.PF
Resilience Design Patterns - A Structured Approach to Resilience at Extreme Scale (version 1.0)
在本文档中,我们开发了一种结构化的方法来管理HPC弹性的基础上的概念,基于顺应性的设计模式。设计模式是针对常见问题的通用可重复解决方案。我们确定了用于处理HPC系统中的故障,错误和故障的常见问题和解决方案。弹性设计模式目录为设计人员提供了可重用的设计元素。我们定义了一个设计框架,以增强我们对部署在系统堆栈各个层的解决方案的重要约束和机会的理解。该框架可用于建立机制和接口,以协调跨硬件和软件组件的灵活故障管理。该框架还可以优化性能、弹性和功耗之间的成本效益权衡。这项工作的总体目标是为极端规模HPC系统中的弹性技术的设计和评估提供一种系统化的方法,这些方法可以使科学应用程序以及时和具有成本效益的方式运行到正确的解决方案,尽管频繁发生故障,错误和各种类型的故障。
2016-12-28 cs.DC cs.SE
Linking Scientific Instruments and HPC: Patterns, Technologies, Experiences
现代实验设施中的强大探测器通常以多GB/s的速度收集数据。需要在线分析方法,以便能够收集这些大规模数据流中仅感兴趣的子集,例如通过明确丢弃某些数据元素或将仪器引导到实验空间的相关区域。这种在线分析需要配置和运行高性能分布式计算管道(我们称之为流)的方法,连接仪器、HPC(例如,用于分析、模拟、AI模型训练)、边缘计算(用于分析)、数据存储、元数据目录和高速网络。在本文中,我们将回顾与此类流相关的常见模式,并描述实例化这些模式的方法。我们还介绍了将这些方法应用于处理来自五种不同科学仪器的数据的经验,每种仪器都需要HPC资源进行数据反演、机器学习模型训练或其他目的。我们还讨论了这些新方法的操作员和用户的科学设施的影响。
2022-08-22 cs.DC
FTHP-MPI: Towards Providing Replication-based Fault Tolerance in a Fault-Intolerant Native MPI Library
IISc(印度科学学院)
本文提出FTHP-MPI,一种结合检查点/重启与复制机制的新型容错MPI库,在非容错原生MPI库中实现高故障率下的高效容错,并通过实验证明在故障间隔短于1小时的大规模系统中,基于复制的库比纯检查点方法效率更高,且无故障时额外开销可忽略。
2026-06-01 cs.DC
Shrink or Substitute: Handling Process Failures in HPC Systems using In-situ Recovery
当今具有复杂硬件和软件组件的高性能计算(HPC)系统的高效利用要求HPC应用被设计为在运行时容忍进程故障。由于当前和未来HPC系统的平均故障时间(MTTF)较低,在这些系统上长时间运行的模拟需要应用程序本身优雅地处理进程故障的能力。在本文中,我们探讨了使用容错扩展的消息传递接口(MPI)称为用户级故障缓解(ULFM)处理过程中的故障,而不需要放弃的应用程序所取得的进展。我们探讨了两种替代的恢复策略,使用ULFM以及应用程序驱动的内存中检查点。在第一种情况下,仅用存活的进程来恢复应用程序,而在第二种情况下,使用备用进程来替换故障进程,从而恢复应用程序的原始配置。我们的实验结果表明,优雅的退化是一个可行的替代方案,在环境中的备件可能无法使用的恢复。
2018-01-14 cs.DC
Scalable Systems and Software Architectures for High-Performance Computing on cloud platforms
本文针对HPC应用规模增长带来的架构需求,综述本地HPC架构及构建挑战,研究云平台可扩展HPC系统的设计原则、挑战与趋势,为云HPC可扩展方案提供洞见。
2024-08-18 cs.DC cs.PF
Rolex: Resilience-Oriented Language Extensions for Extreme-Scale Systems
未来的亿级高性能计算(HPC)系统将由VLSI设备构建,这些设备的可靠性将低于今天使用的设备,故障将成为常态,而不是例外。这将给系统设计师和程序员带来重大问题,半个世纪以来,他们一直享受着由底层计算系统承担正确行为的执行模型。系统的平均故障前时间(MTTF)与系统中的组件的数量成反比,因此,随着系统在所使用的处理器核和存储器模块的数量方面的扩展,故障和所导致的系统级故障将增加。然而,检测到的每个错误不一定会导致灾难性的故障。许多HPC应用程序具有固有的故障恢复能力。然而,正是应用程序员拥有这些知识,但缺乏将其传达给系统的机制。在本文中,我们提出了新的弹性导向的语言扩展(劳力士),便于纳入故障恢复作为一个内在属性的应用程序代码。我们描述的语法和语义的语言扩展,以及支持编译器的基础设施和运行时系统的实现。我们的实验表明,一种方法,利用程序员的洞察力,原因的上下文和意义的故障的应用程序的结果显着提高了概率,应用程序运行到一个成功的结论。
2016-05-23 cs.DC
Fault Tolerant Adaptive Parallel and Distributed Simulation through Functional Replication
介绍了一种基于软件的容错并行分布仿真中间件FT-GAIA。FT-GAIA旨在可靠地处理并行和分布式仿真(PADS)模型,这些模型需要正确模拟和分析任何科学或工程领域中出现的复杂系统。PADS利用多核处理器、工作站集群或HPC系统中运行的多个执行单元。然而,大型计算系统(诸如包括数十万个计算节点的HPC系统)必须处理某些组件的频繁故障。为了解决这个问题,FT-GAIA透明地复制仿真实体,并将它们分布在多个执行节点上。这允许模拟容忍计算节点的崩溃故障。此外,FT-GAIA提供了一些针对拜占庭故障的保护,因为模拟实体之间的交互消息也被复制,因此接收实体可以识别并丢弃损坏的消息。从分析模型和实验评估的结果表明,FT-GAIA提供了高度的容错,在执行单元的计算负荷适度增加的成本。
2019-03-26 cs.DC cs.MA cs.PF
Quantum-HPC Software Stacks and the openQSE Reference Architecture: A Survey
Oak Ridge National Laboratory(橡树岭国家实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Munich Quantum Software Company(慕尼黑量子软件公司)
本文分析九个生产级QHPC软件栈,识别通用设计模式与需求,提出openQSE参考架构以统一实践,支持NISQ与FTQC工作负载。
2026-06-17 cs.DC cs.ET cs.SE
Let's HPC: A web-based interactive platform to aid High Performance Computing education
Let's HPC(www.letshpc.org)是一个开放的在线平台,以补充传统的面向课堂的高性能计算(HPC)和并行和分布式计算(PDC)教育。基于Web的平台提供在线绘图和分析工具,允许用户从系统的角度学习,评估,教学和查看并行算法的性能。用户可以定量地比较和理解影响并行程序性能的软件和硬件的许多确定性和非确定性因素的重要性。该平台的核心是一个数据库,用于归档使用不同编程环境在不同计算架构上执行的标准并行算法的性能和执行环境相关数据,这些数据由HPC社区的各个利益相关者提供。我们平台的绘图和分析工具可以与数据库无缝结合,以帮助自学,教学,评估和讨论不同的HPC相关主题。HPC/PDC相关课程的教师可以使用该平台的工具来说明正确分析对理解影响性能的因素的重要性,鼓励学生之间的同伴学习,以及允许学生准备标准的实验室/项目报告,以帮助教师进行统一评估。该平台的模块化设计使其能够轻松地包含来自贡献者的性能相关数据,并在未来添加新功能。
2017-01-23 cs.CY cs.DC
High-Quality Fault-Resiliency in Fat-Tree Networks (Extended Abstract)
将规则的拓扑结构与优化的路由算法相结合是提高高性能计算系统互连网络性能的关键。在本文中,我们提出了Dmodc,一个快速的确定性路由算法并行广义胖树(PGFTs),即使在大规模的拓扑结构退化造成的设备故障,最大限度地减少拥塞风险。它应用基于模的计算更接近目的地的交换机之间的转发表,仅使用子树的知识进行预模划分。Dmodc允许在不到一秒的时间内对具有数万个节点的拓扑进行完整的重新路由,这极大地帮助了集中式交换矩阵管理通过高质量的路由表对故障做出反应,并且不会影响当前和未来超大规模HPC集群中正在运行的应用程序。我们比较Dmodc对路由算法可在InfiniBand控制软件(OpenSM)的路由执行时间,以显示规模的可行性,然后在降级的拥塞风险,以证明鲁棒性。后一个比较是使用随机排列(RP)、移位排列(SP)和全对全(A2A)流量模式下的路由表的静态分析完成的。Dmodc的结果表明,A2A和RP拥塞风险相似的严重退化的最稳定的算法相比,和接近最佳的SP拥塞风险高达1%的随机退化。
2022-11-21 cs.DC cs.NI
Analysis and Modeling of Social Influence in High Performance Computing Workloads
用户之间的社会影响(例如,项目协作)在底层高性能计算(HPC)工作负载中产生突发行为。本文使用代表性的HPC和群集工作负载日志,识别、分析和量化HPC用户的社会影响力水平。我们展示了一个社交图的存在,其特征在于主导用户和追随者的模式。这种模式也遵循幂律分布,这与在主流社交网络中观察到的一致。鉴于其对HPC工作负载预测和调度的潜在影响,我们提出了一种快速收敛,计算效率高的在线学习算法,用于识别社会群体。广泛的评估表明,我们的在线算法可以(1)快速识别社会关系,通过使用一小部分传入的工作和(2)可以有效地跟踪随着时间的推移群体的演变。
2016-10-15 cs.DC cs.SI
Fault-Tolerant Adaptive Parallel and Distributed Simulation
离散事件仿真是一种广泛应用于科学和工程领域的复杂系统建模和分析技术。越来越大的模拟模型的大小提出了一个严重的计算挑战,因为运行模拟所需的时间可能是惊人的大。因此,并行和分布式仿真技术被提出来利用多核处理器、工作站集群或HPC系统中的多个执行单元。当前一代HPC系统包括数十万个计算节点和大量辅助组件。尽管制造工艺有所改进,但一些组件的故障仍然频繁发生,随着更大系统的建立,情况将变得更糟。在本文中,我们描述了FT-GAIA,一个基于软件的容错扩展的GAIA/ARTMENS并行仿真中间件。FT-GAIA透明地复制仿真实体并将其分布在多个执行节点上。这允许模拟容忍计算节点的崩溃故障;此外,FT-GAIA还提供了一些针对拜占庭故障的保护,因为同步消息也被复制,因此接收实体可以识别并丢弃损坏的消息。我们提供了一个运行的原型FT-GAIA的实验评估。结果表明,可以实现高度的容错,在执行单元的计算负荷的适度增加的成本。
2016-12-29 cs.DC cs.MA cs.PF
A Scalable Pattern Mining Workflow for Interpretable Machine Log Analysis in High-Performance Computing Environments
Argonne National Laboratory(阿贡国家实验室);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究高性能计算环境中机器日志分析问题,结合先进模式匹配与挖掘技术,利用系统层次结构和消息优先级提取模式序列,关联聚类错误序列与作业日志,经案例研究证明该方法可释放日志数据潜力,助力HPC系统优化。
2026-07-22 cs.DC
Online Fault-Tolerant Dynamic Event Region Detection in Sensor Networks via Trust Model
针对无线传感器网络中的在线容错动态事件区域检测问题,提出了一种贝叶斯建模方法。在我们的模型中,每个网络节点都与一个虚拟社区和一个信任指数,它定量地衡量这个节点在其社区的可信度。如果传感器节点的信任值小于阈值,则表明该节点遇到故障,因此此时其传感器读数不可信任。传感器节点信任的这个概念将我们的模型与其他替代方案区分开来,例如,马尔可夫随机场实际问题,包括邻居节点的传感器读数的时空相关性,传感器故障的存在和在线处理的要求被连接在一起的概念信任,并考虑在建模阶段。基于该模型,每个节点的信任值在线更新的粒子滤波算法的到来时,新的观察。关于节点是否位于事件区域中的决定是基于该节点的信任值的当前估计来做出的。实验结果表明,该方法在事件区域检测的出错率方面明显优于现有方法。
2016-12-16 cs.DC
Soft Errors Detection and Automatic Recovery based on Replication combined with different Levels of Checkpointing
处理故障是高性能计算中日益关注的问题。在未来的艾级系统中,预计一天会发生几次无声的未检测到的错误,从而增加了损坏结果的发生率。在这篇文章中,我们提出了SEDAR,这是一种方法,提高系统的可靠性,对瞬时故障时,运行并行消息传递应用程序。我们的方法,基于过程复制检测,结合不同级别的检查点自动恢复,有帮助用户的科学应用程序,以获得正确的结果执行的目标。SEDAR的结构分为三个级别:(1)仅检测和安全停止并通知;(2)基于多个系统级检查点的恢复;以及(3)基于单个有效的用户级检查点的恢复。由于每一种变体都提供了特定的覆盖范围,但涉及限制和实施成本,因此SEDAR可以适应系统的需要。在这项工作中,描述的方法,并采用每个SEDAR策略的时间行为的数学描述,无论是在存在和不存在故障。一个模型,考虑了所有的故障情况下的测试应用程序中引入的检测和恢复机制的有效性。每个变量的开销评估与涉及不同通信模式的应用程序一起执行;这也用于提取关于何时采用每个SEDAR保护级别是有益的指导方针。其结果是,我们表现出它的有效性和可行性,容忍在目标HPC环境中的瞬时故障。
2020-07-27 cs.DC
FT-Transformer: Resilient and Reliable Transformer with End-to-End Fault Tolerant Attention
University of California, Riverside(加州大学河滨分校)
本文提出FT-Transformer,通过端到端容错注意力实现模块级保护,解决传统操作级容错的开销问题,在非线性计算中提供全面覆盖,对线性模块设计避免线程通信的ABFT算法,实现7.56倍加速和13.9%平均开销。
2025-08-13 cs.AI cs.DC cs.LG
StreamGuard: Low-Overhead Resilience for Real-time HPC Data Streams
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
针对实时科学工作流在故障频发基础设施上的弹性需求,提出动态异步非阻塞检查点与进度感知负载重分配两种互补技术,在引入低于1%开销的同时将故障影响降低6倍。
2026-07-01 cs.DC
High-Quality Fault Resiliency in Fat Trees
将规则拓扑结构与优化的路由算法相结合是提高超级计算机互连网络性能的关键。一个快速的确定性路由算法并行广义胖树(PGFTs),即使在设备故障造成的大规模网络退化,最大限度地减少拥塞风险。Dmodc计算转发表与一个封闭的,通过快速预处理阶段形成算法公式。这允许在不到一秒的时间内完成数万个节点的网络重新路由。反过来,这极大地帮助了集中式结构管理对具有高质量路由表的故障做出反应,并且对当前和未来的超大规模HPC集群中正在运行的应用程序没有影响。
2022-11-23 cs.DC cs.NI
Reinit++: Evaluating the Performance of Global-Restart Recovery Methods For MPI Fault Tolerance
由于硬件组件数量的增加,扩展超级计算机的故障率也随之增加。在标准实践中,通过设置检查点数据并在发生故障后重新启动执行以从最新检查点恢复,使应用程序具有弹性。但是,重新部署应用程序会导致系统开销,因为它会拆除和重新启动执行,并可能限制从慢速永久存储中进行检查点检索。在本文中,我们提出了Reinit++,一个新的设计和实现的Reinit方法的全局重启恢复,避免应用程序重新部署。我们广泛地评估了Reinit++与ULFM的领先MPI容错方法的对比,实现全局重启恢复,以及重启应用程序的典型实践,以获得对性能的新见解。对三种不同的HPC代理应用程序进行的实验表明,Reinit++的恢复速度比重新启动快得多,最高可达6倍,或者ULFM,最高可达3倍,并且随着MPI进程数量的增加,它可以出色地扩展。
2021-02-13 cs.DC
Online Job Scheduler for Fault-tolerant Quantum Multiprogramming
Department of Physics and Astronomy, University College London(伦敦大学学院物理与天文系);Graduate School of Informatics, Kyoto University(京都大学情报学研究科);Graduate School of Media and Governance, Keio University(庆应义塾大学媒体治理学研究科);Center for Quantum Computing, RIKEN(理化学研究所量子计算中心)
本研究提出一种面向容错量子多任务处理的在线作业调度器,通过近似晶格手术程序和引入碎片整理机制,提高量子处理器的利用率和调度效率。
2025-05-10 cs.DC cs.OS quant-ph
Holistic Approach for Fault-Tolerant Network-on-Chip based Many-Core Systems
在本文中,我们描述了一个整体的容错片上网络(NoC)为基础的众核系统,它包括一个系统健康监测单元(SHMU),收集所有的故障信息,从系统,分类,并提供不同的解决方案,为不同的故障类别。映射器/调度单元(MSU)用于基于系统的当前故障配置在线生成不同的映射和调度解决方案。对于故障检测,我们利用了并发在线检查器,能够以低检测延迟捕获故障,并为SHMU提供故障信息,这些信息可以稍后用于恢复过程。实验设置在一个开源工具中执行,能够执行系统的映射,调度和模拟。
2016-01-26 cs.DC
Prediction of High-Performance Computing Input/Output Variability and Its Application to Optimization for System Configurations
性能可变性是衡量高性能计算系统可靠性的重要指标。性能可变性受到许多因素之间复杂交互的影响,例如CPU频率、输入/输出(IO)线程数和IO调度程序。在本文中,我们专注于HPC IO可变性。预测HPC的可变性是一个具有挑战性的问题,在工程的HPC系统,有很少的统计工作,这个问题的日期。虽然有许多方法可在计算机实验文献中,现有的方法HPC性能变化的适用性需要调查,特别是,当目标是预测性能变化的内插和外推设置。一个数据分析框架的开发,从大规模的实验收集的数据建模。各种有前途的方法被用来建立预测模型的变化HPC系统。我们通过测量预测精度在以前看不见的系统配置的方法的性能进行评估。我们还讨论了优化系统配置的方法,使用估计的变异图。本文中的方法比较和开发的工具集的结果产生了新的见解现有的统计方法,可以是有益的HPC变异性管理的实践。本文在线提供补充材料。
2020-12-14 cs.DC stat.AP
Online Distributed Scheduling on a Fault-prone Parallel System
我们考虑一个并行系统的$m$相同的机器容易发生不可预测的崩溃和重新启动,试图应付不断到来的任务要执行。任务具有不同的计算要求(即,处理时间或大小)。任务的流程、大小以及机器的崩溃和重启都被假设为由对手控制。然后,我们重点研究了在线分布式算法的任务的有效调度。我们使用竞争分析,考虑作为效率度量的完成负载,即,已完成任务的聚合大小。我们首先提出了最佳的完成负载竞争力算法时,可以注入的对手的不同的任务大小的数量是有界的。(It众所周知,如果没有限制,竞争力是无法实现的。我们首先考虑只有两种不同的任务大小,然后进行$k$不同的,在这两种情况下,最佳的完成负载的竞争力可以实现。然后,我们考虑有某种形式的资源增加的可能性,允许调度算法运行加速$s \geq 1$。在这种情况下,我们表明,所有的工作保存调度算法的竞争力可以通过使用足够大的加速比增加。
2016-03-18 cs.DC
What Artificial Intelligence can do for High-Performance Computing systems?
University of Luxembourg(卢森堡大学)
本文探讨人工智能在提升高性能计算系统效率中的作用,涵盖调度、性能优化、故障检测等六个应用领域,并指出LLM在自动化任务中的优势及MLOps的发展需求。
2026-01-03 cs.AI cs.DC
Real-time decoding of quantum error correction codes using high-performance computing
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
本研究提出基于高性能计算的THQLink架构,实现表面码等量子纠错码的实时解码,平均往返延迟2.944μs,可支持量子中心超级计算机的混合量子-经典算法等工作负载。
2026-08-05 cs.DC quant-ph
FT-BLAS: A High Performance BLAS Implementation With Online Fault Tolerance
基本线性代数子程序(BLAS)是科学计算和机器学习中的核心库。本文介绍了FT-BLAS,BLAS例程的一个新的实现,不仅容忍软错误的飞行,但也提供了现代国家的最先进的BLAS库的性能,广泛使用的处理器,如英特尔Skylake和Cascade Lake。为了适应BLAS的特点,其中包含内存绑定和计算绑定的例程,我们提出了一种混合策略,将容错到我们的全新的BLAS实现:复制计算指令的内存绑定的第1级和第2级BLAS例程,并将基于XML的容错机制计算绑定的第3级BLAS例程。我们的高性能和低开销是从微妙的汇编级优化和内核融合的方法来计算内核。实验结果表明,FT-BLAS提供了高可靠性和高性能--即使在每分钟注入数百个错误的情况下,对于跨越我们进行基准测试的所有三个级别的BLAS的例程,FT-BLAS也比英特尔MKL、OpenBLAS和BLIS分别快3.50%、22.14%和21.70%。
2021-04-07 cs.DC cs.PF
Anatomy of High-Performance GEMM with Online Fault Tolerance on GPUs
针对大规模计算平台下GEMM的可靠性问题,本文提出GPU上的多层级容错高性能GEMM设计,采用内核融合降延迟、模板化自动代码生成适配多矩阵形状,实验显示其性能优于cuBLAS且容错开销极低。
2023-05-01 cs.DC cs.PF
CRAFT: A library for easier application-level Checkpoint/Restart and Automatic Fault Tolerance
为了有效地使用未来几代超级计算机,容错和功耗是高性能计算(HPC)社区预期的两个主要挑战。检查点/重启(Checkpoint/Restart,CR)一直是并且仍然是处理硬故障的最广泛使用的技术。应用程序级的CR是最有效的CR技术在开销效率方面,但它需要大量的实现工作。这项工作提出了我们的C++为基础的库CRAFT(检查点重新启动和自动容错),它有两个目的的实现。首先,它提供了一个可扩展的库,大大简化了应用程序级检查点的实现。最基本和最常用的检查点数据类型已经是CRAFT的一部分,可以直接使用。该库可以很容易地扩展以添加更多的数据类型。为了减少开销,该库提供了一个内置的异步检查点机制,并且还支持用于节点级检查点的可扩展检查点/重启(SCR)库。其次,CRAFT为基于用户级故障缓解(ULFM)的动态进程恢复提供了一个更简单的接口,大大降低了故障检测和通信恢复机制的复杂性和工作量。通过同时使用这两种功能,应用程序可以编写应用程序级检查点,并通过非常有限的编程工作从进程故障中动态恢复。本工作详细介绍了我们图书馆的设计和使用。使用几个基准彻底分析了相关的开销。
2017-08-07 cs.DC
Periodic I/O scheduling for super-computers
随着HPC应用对数据需求的不断增长,I/O级的拥塞问题成为超级计算机的关键问题。诸如突发缓冲区和预取之类的架构增强被添加到机器中,但不足以防止拥塞。最近的在线I/O调度策略已经到位,但他们增加了额外的拥塞点和开销的计算应用程序。在这项工作中,我们将展示如何利用HPC应用程序的周期性,以制定有效的定期调度策略,为他们的I/O传输。我们的策略在作业调度阶段计算一次模式,它定义了每个应用程序的I/O行为,之后应用程序独立运行,在指定的时间传输它们的I/O。我们的策略限制了I/O节点级别的I/O拥塞量,并且可以很容易地集成到当前的作业调度器中。我们通过大量的模拟和实验来验证这个模型,并将其与最先进的在线解决方案进行比较,结果表明,我们的调度器不仅具有分散的优势,从而克服了在线调度器的开销,而且它的性能优于这些解决方案,将应用程序扩展提高了13%,最大系统效率提高了18%。
2017-02-22 cs.DC
PartRePer-MPI: Combining Fault Tolerance and Performance for MPI Applications
提出PartRePer-MPI库,通过部分复制MPI进程并融合ULFM容错框架与原生MPI高性能通信,实现低开销的容错支持。
2026-06-02 cs.DC
Fault Tolerance for Stream Processing Engines
KTH Royal Institute of Technology(瑞典皇家理工学院)
本综述研究分布式流处理引擎(DSPEs)的容错问题,分析2016年先进流处理引擎的容错技术,归类为主动复制等三类方法,探讨其对不同流应用需求的影响,还修正原稿并总结后续发展。
2026-10-21 cs.DC
DXRAM's Fault-Tolerance Mechanisms Meet High Speed I/O Devices
内存中的键值存储为所有对象提供一致的低延迟访问,这对于社交媒体网络或在线图形分析等交互式大规模应用非常重要,也开辟了新的应用领域。但是,当将数据存储在数千台服务器上的RAM中时,必须考虑服务器故障。只有少数内存中的键值存储提供故障服务器的自动在线恢复。这些系统中最突出的例子是RAMCloud。另一个具有复杂容错机制的系统是DXRAM,它针对小数据对象进行了优化。在这份报告中,我们详细介绍了基于日志的远程复制过程,调查这些日志的重组选择策略,并评估DXRAM中顺序,随机,zipf和冷热分布的重组性能。这也是DXRAM的备份系统首次使用高速I/O设备进行评估,特别是使用56 GBit/s InfiniBand互连和PCI-e SSD。此外,我们讨论了副本集副本分布,以减少数据丢失的概率和适应DXRAM的原始方法。
2018-07-14 cs.DC
Developing Distributed High-performance Computing Capabilities of an Open Science Platform for Robust Epidemic Analysis
针对疫情分析中计算能力差距,提出开放科学平台OSPREY,实现集成算法驱动的HPC工作流架构,支持可扩展容错任务执行、异步API和多语言方法,以提升流行病分析的稳健性。
2023-05-10 cs.DC
TurboFFT: Co-Designed High-Performance and Fault-Tolerant Fast Fourier Transform on GPUs
针对现有GPU FFT库效率低、缺乏软错误容错能力的问题,提出协同设计高性能与在线容错的TurboFFT,通过架构感知优化和多策略ABFT实现性能优于主流库且容错开销低。
2024-12-08 cs.DC
Improving the Performance and Resilience of MPI Parallel Jobs with Topology and Fault-Aware Process Placement
HPC系统的规模不断增长,以满足对性能和计算资源不断增长的需求。除了提高性能外,大型系统还面临两个阻碍进一步增长的挑战:能源效率和弹性。与此同时,寻求提高性能的应用程序依赖于先进的并行性来利用系统资源,这导致了系统互连压力的增加。在大系统规模下,增加通信局部性在应用性能和能耗方面都是有益的。朝着这个方向,一些研究集中在导出一个映射的应用程序的进程到系统节点的方式,通信成本降低。一种常见的方法是将应用程序的通信模式和系统架构都表示为图,然后解决相应的映射问题。除了通信成本,作业的完成时间也会受到节点故障的影响。节点故障可能导致作业中止,需要重新启动作业。在本文中,我们解决的问题,分配进程的系统资源的目标是减少通信成本,同时也考虑到节点故障。所提出的方法已集成到Slurm资源管理器中。评估结果表明,在场景中,很少的节点有一个低的中断概率,所提出的进程放置方法实现了显着减少批量MPI作业的完成时间。与Slurm中的默认进程放置方法相比,对于两个不同的MPI应用程序,分别减少了18.9%和31%。
2021-01-05 cs.DC
Online Test Vector Insertion: A Concurrent Built-In Self-Testing (CBIST) Approach for Asynchronous Logic
在任务时间较长的容错系统中,用在线测试补充并发检查对于防止故障积累至关重要。虽然在同步环境中实现非侵入式在线测试很麻烦,但在异步设计中,这项任务变得更具挑战性。后者受到越来越多的关注,主要是由于其弹性定时行为;然而,与其测试相关的问题仍然是其广泛采用的关键障碍。在本文中,我们提出了一种新的方法来测试异步电路,利用冗余存在于传统的4阶段协议实现一个完全透明的,完全并发的测试过程。其关键思想是使用协议的无效NULL阶段来处理测试向量,从而以2阶段的方式有效地将传入的4阶段数据流与测试数据流交织。我们提出了所需的基本构建块的实现模板,并通过一个示例应用程序给出了概念验证,该示例应用程序还可以作为评估我们的解决方案的开销的平台,结果证明是适度的。
2020-06-05 cs.DC
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的,然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流,分布式流处理系统,解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上,其思想是通过自适应地发布备份来减轻备份开销,同时确保故障时的错误与理论保证有一定的界限。具体来说,AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型,将一般的流算法,以及出口只有几个阈值参数配置近似容错。此外,我们正式证明,AF流保留高算法特定的流算法的准确性,特别是在线学习的收敛保证。实验表明,AF-Stream在各种流算法下都能保持较高的性能(与无容错相比)和多次故障后的高准确率(与无故障相比)。
2019-08-12 cs.DC
CARAT: Client-Side Adaptive RPC and Cache Co-Tuning for Parallel File Systems
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Iowa State University(爱荷华州立大学)
CARAT通过基于机器学习的框架实现客户端远程过程调用与缓存参数的联合调优,提升并行文件系统在动态环境下的性能表现。
2026-02-25 cs.DC cs.PF