Autonomy Loops for Monitoring, Operational Data Analytics, Feedback, and Response in HPC Operations
本文针对HPC领域MODA自主反馈循环进展受限的问题，基于MAPE-K循环形式化体系，结合达格斯图尔研讨会成果，提出开发通用自主循环的路径，以推动跨站点互操作与行业普及。
2024-01-30 cs.DC
Extracting Practical, Actionable Energy Insights from Supercomputer Telemetry and Logs
针对超级计算机规模扩大带来的GPU功耗能效挑战，提出融合多步骤处理的协同分析方法，基于Polaris超级计算机数据实现94%数据量压缩，发掘多项功耗优化契机，提供可执行能效洞察与实用可复现的系统性能优化路径。
2025-05-20 cs.DC cs.PF
Defining a Comprehensive Threat Model for High Performance Computational Clusters
在过去的十年中，高性能计算（HPC）集群已经成为学术和工业环境中的主流，作为可访问的计算手段。在其扩散过程中，HPC安全性一直是性能的次要问题。然而，很明显，确保HPC安全性所面临的挑战与处理传统网络时所面临的挑战不同。要为高性能计算设计合适的安全措施，必须首先认识到这种环境所面临的威胁。这一任务可以通过构建一个全面的威胁模型来完成。据我们所知，集群计算不存在这样的威胁模型。在本文中，我们探讨了安全HPC的独特挑战，并提出了一个基于经典的机密性，完整性和可用性安全原则的威胁模型。
2005-10-16 cs.CR cs.DC
Comprehensive Resource Measurement and Analysis for HPC Systems with TACC_Stats
高性能计算（HPC）系统是软件、处理器、内存、网络和存储系统的复杂组合，其特征在于频繁的颠覆性技术进步。异常行为必须通过不完整和稀疏的数据进行手动诊断和补救。用户要评估他们使用现有资源的有效性也需要大量的努力。可用于系统级分析的数据来自多个来源，并以不同的格式出现（从Linux“sysstat”和会计到调度程序/内核日志）。Sysstat不按作业解析其度量，因此面向作业的分析需要单独的度量。有许多面向用户的性能检测和分析工具，但它们需要广泛的系统知识、代码更改和重新编译，因此没有得到广泛使用。为了解决这个问题，我们开发TACC_Stats，一个面向作业和逻辑结构的版本，传统的Linux的“sysstat/sar”系统范围的性能监视器。我们使用TACC_Stats收集的数据从一个超级计算机“游侠”，以证明其有效性的两个案例研究。
2013-02-17 cs.DC cs.PF
Algorithm-Directed Crash Consistence in Non-Volatile Memory for HPC
容错是高性能计算的主要设计目标之一。非易失性存储器（NVM）的出现为构建容错HPC提供了解决方案。由于NVM的非易失性，基于NVM的主存储器中的数据在系统崩溃时不会丢失。然而，由于易失性高速缓存，数据必须被记录并显式地从高速缓存刷新到NVM中，以确保在崩溃之前的一致性和正确性，这可能导致较大的运行时开销。在本文中，我们介绍了一种基于算法的方法来建立崩溃的一致性在NVM的HPC应用程序。我们稍微扩展应用程序数据结构或稀疏地刷新缓存块，这会引入可扩展的运行时开销。这种扩展或缓存刷新允许我们使用算法知识来\textit{reason}数据一致性或在应用程序崩溃时纠正不一致的数据。我们证明了我们的方法的有效性，三种算法，包括迭代求解器，稠密矩阵乘法，和蒙特卡洛模拟。在多种测试环境下的综合性能评估结果表明，该方法具有很小的运行时间开销（最多为8.2%，大多数情况下小于3%），远小于传统检查点方法，而具有相同或更少的重新计算开销.
2017-05-16 cs.DC
Parallel Paradigms in Modern HPC: A Comparative Analysis of MPI, OpenMP, and CUDA
本文比较了MPI、OpenMP和CUDA三种HPC并行模型，分析其架构、性能与适用性，指出混合方法在异构环境中效果最佳，选择需依应用、硬件和开发约束而定。
2025-06-18 cs.DC
Scalable Systems and Software Architectures for High-Performance Computing on cloud platforms
本文针对HPC应用规模增长带来的架构需求，综述本地HPC架构及构建挑战，研究云平台可扩展HPC系统的设计原则、挑战与趋势，为云HPC可扩展方案提供洞见。
2024-08-18 cs.DC cs.PF
DCDB Wintermute: Enabling Online and Holistic Operational Data Analytics on HPC Systems
Leibniz Supercomputing Centre（莱布尼茨超级计算中心）；Technical University of Munich（慕尼黑工业大学）
随着我们进入亿亿级时代，HPC系统的规模和复杂性不断增加，引发了人们对其可持续性和可持续性的担忧。因此，越来越多的HPC中心正在尝试细粒度监控与操作数据分析（ODA）相结合，以优化系统操作的效率和有效性。然而，虽然监测是高性能计算中的一个普遍现实，但没有明确和全面的要求清单，也没有配套的框架来支持整体和在线官方发展援助。这导致孤立的临时解决方案，每个解决方案只解决问题的具体方面。在本文中，我们提出了Wintermute，一种新的通用框架，使在线ODA的大规模HPC安装。它的设计是基于对共同业务要求的文献调查结果。我们在整体DCDB监控系统的基础上实施Wintermute，提供多种配置选项，以满足ODA应用的不同要求。此外，Wintermute基于一组逻辑抽象，以简化大规模模型的配置并最大限度地提高代码重用。我们通过一系列实际案例研究来突出Wintermute的灵活性，每个案例针对HPC系统管理的不同方面，然后展示我们实施的小资源占用。
2020-04-18 cs.DC cs.LG
AI-focused HPC Data Centers Can Provide More Power Grid Flexibility and at Lower Cost
本研究首次分析聚焦AI的GPU型HPC数据中心的电网灵活性供给能力与成本，提出考虑计算价值的成本模型，经真实数据验证其灵活性更强、成本比通用HPC数据中心低50%，且具备盈利性与可扩展性。
2024-12-13 cs.DC cs.SY eess.SY
Rethinking High Performance Computing Platforms: Challenges, Opportunities and Recommendations
一类新的第二代高性能计算应用具有异构性、动态性和数据密集性的特性，其需求扩展到应用部署、资源分配、控制和I/O调度。当前的生产HPC平台模型和策略无法满足这些要求。这导致新的计算方法和工具的机会、生产力和创新的损失。它还降低了平台提供商的有效系统利用率，因为在应用程序空间中实现了无监督的解决方案和流氓资源管理策略。在本文中，我们批判性地讨论了占主导地位的HPC平台模型，并描述了第二代应用程序，因为它的不对称的资源视图，接口和软件部署策略所带来的挑战。我们提出了一个扩展的，更对称和以应用程序为中心的平台模型，增加了分散部署，内省，双向控制和信息流和更全面的资源调度。我们描述cHPC：基于Linux容器（LXC）的非中断实现的早期原型。它可以与现有的批处理排队系统一起运行，并公开一个对称平台API，而不会干扰现有的应用程序和使用模式。我们认为我们的方法是HPC平台发展的一个可行的、渐进的下一步，使应用程序和平台提供商都受益。为了进一步证明这一点，我们为未来的研究和实验评估制定了路线图。
2017-02-27 cs.DC
GrapheonRL: A Graph Neural Network and Reinforcement Learning Framework for Constraint and Data-Aware Workflow Mapping and Scheduling in Heterogeneous HPC Systems
本文提出GrapheonRL框架，整合图神经网络与强化学习，用于异构HPC系统中的约束与数据感知工作流映射及调度，在保证接近ILP最优解质量的同时大幅缩短执行时间，实现稳健可扩展的调度。
2025-05-30 cs.DC cs.ET
Comprehensive Performance Modeling and System Design Insights for Foundation Models
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Stony Brook University（石溪大学）
本文通过性能建模分析不同transformer类型对并行策略和HPC系统特征的敏感性，揭示LLM适合3D并行而长序列科学基础模型需4D并行，为系统设计提供指导。
2024-09-30 cs.DC cs.LG
A Comprehensive Analysis of Process Energy Consumption on Multi-Socket Systems with GPUs
针对共享HPC节点难以按进程核算能耗的问题，本文提出基于节点总能耗、进程占用及CPU/GPU指令类型概率向量的两个数学模型，CPU与GPU预测误差分别低至1.9%和9.7%。
2024-09-08 cs.DC cs.PF
Case study of SARS-CoV-2 transmission risk assessment in indoor environments using cloud computing resources
复杂的流模拟通常在HPC集群上执行。然而，HPC资源的有限可用性和在传统超级计算机基础设施上执行的陡峭学习曲线引起了人们对在云上部署流模拟软件的关注。我们展示了一个复杂的计算框架-可以评估COVID-19在各种室内教室场景中的传播风险-可以抽象并部署在云服务上。这种基于云的个性化规划工具的可用性可以使教育机构、医疗机构、公共部门工作人员（法院、警察局、机场等），以及其他实体来综合评估各种面对面交互场景的传输风险。我们利用Dendro-kT网格生成工具和PETSc求解器将模拟框架部署在Azure云框架上。云抽象由RocketML云基础设施提供。我们将云计算机器的性能与最先进的HPC机器TACC Frontera进行了比较。我们的研究结果表明，基于云的HPC资源是一个可行的战略，为不同的最终用户快速，高效地部署仿真软件。
2021-11-17 cs.CE cs.CY cs.DC
Characterization and Architectural Implications of Big Data Workloads
大数据领域正在快速扩展，工作负载和运行时系统不断增加，这种情况对工作负载表征提出了严峻的挑战，而工作负载表征是创新系统和架构设计的基础。以往的大数据基准测试要么提出全面但数量庞大的工作负载，要么只根据所谓的流行度选择少数工作负载，这可能导致部分甚至有偏见的观察。本文在一个全面的大数据基准测试套件BigDataBench的基础上，从微架构的角度将77个工作负载缩减为17个代表性工作负载。在一个典型的实践平台-Intel Xeon E5645上，我们将代表性的大数据工作负载与SPECINT，SPECCFP，PARSEC，CloudSuite和HPCC进行了比较。在全面的工作负载特征描述之后，我们有以下观察结果。首先，大数据工作负载是以数据移动为主的计算，具有更多的分支操作，在指令组合方面占高达92%的百分比，这使它们与桌面（SPEC CPU 2006），CMP（PARSEC），HPC（HPCC）工作负载不同。第二，证实了以前的工作，基于Hadoop和Spark的大数据工作负载具有更高的前端失速。与传统的工作负载相比，e. PARSEC，大数据工作负载具有更大的指令占用空间。但我们也注意到，除了不同的指令级并行之外，不同大数据工作负载之间的前端效率也存在显著差异。第三，我们发现，复杂的软件栈无法有效地使用实践状态的处理器是导致前端停滞的主要因素之一。对于相同的工作负载，L1 I缓存未命中…
2015-06-26 cs.DB cs.DC cs.PF
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa（帕尔米斯大学计算机科学系）；ISTI – National Research Council（国家研究理事会ISTI）
本文系统综述了122篇论文，提出八个研究方向和九个用例领域，分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
Towards Lightweight Data Integration using Multi-workflow Provenance and Data Observability
Oak Ridge National Lab（橡树岭国家实验室）
本文提出MIDA轻量级运行时多工作流集成数据分析方法，通过数据可观测性、适配器和溯源实现无插桩统一数据集成，并在大规模HPC与材料科学深度学习场景中验证其近零开销。
2023-08-17 cs.AI cs.DB cs.DC
HiCOPS: High Performance Computing Framework for Tera-Scale Database Search of Mass Spectrometry based Omics Data
数据库搜索算法，从质谱（MS）数据推断肽，试图提高计算效率，以完成更大，更复杂的系统生物学研究。已知现有的串行和高性能计算（HPC）搜索引擎在其他方面非常成功，但随着现代非模型、多物种的基于MS的组学分析的复杂性增加所需的理论搜索空间的大小增加而表现出较差的可扩展性。因此，计算技术的瓶颈是在存储器或处理单元的层次结构之间移动数据的通信成本，而不是算术运算。这种后摩尔架构的变化，以及现代系统生物学实验的需求，削弱了现有HPC工作流程的整体有效性。我们提出了一种新的高效的并行计算方法，其内存分布式架构上的肽识别工具称为HiCOPS，使超过100倍的速度提高了大多数现有的HPC蛋白质组数据库搜索工具的实现。HiCOPS使超级计算数据库搜索概念能够在合理的时间范围内全面识别肽及其所有修饰形式。我们通过针对TB数据库搜索100字节的实验MS数据来证明这一点，其中HiCOPS使用72个并行节点（1728个核心）在几分钟内完成肽鉴定，而使用1个节点（24个核心）的现有最先进的工具需要几周; 100分钟vs 5周; 500倍加速。最后，我们制定了一个理论框架，我们的开销避免策略，并报告优越的性能评估结果的关键指标，包括执行时间，CPU利用率，加速和I/O效率。该软件将在hicops.github.io上提供
2021-02-05 cs.DC q-bio.MN
From Facility to Application Sensor Data: Modular, Continuous and Holistic Monitoring with DCDB
当今的HPC安装是高度复杂的系统，随着我们向百亿亿级及更高级别发展，其复杂性只会增加。在每一层，从设施到系统，从运行时到应用程序，都必须做出广泛的调优决策，以实现高效的操作。然而，这需要系统地和连续地监视系统和用户数据。虽然存在许多孤立的解决方案，但当前HPC生态系统中仍然缺乏整体和设施范围的监控系统。在本文中，我们介绍了DCDB，一个全面的监测系统，能够集成来自所有系统级别的数据。它被设计为基于插件基础设施的模块化和高度可扩展的框架。所有监控的数据都聚集在分布式noSQL数据存储中，用于分析和跨系统关联。我们展示了DCDB的性能和可扩展性，并描述了两个用例在能源管理和表征领域。
2019-08-14 cs.DC cs.SY eess.SY
EfiMon: A Process Analyser for Granular Power Consumption Prediction
本文提出非侵入式工具EfiMon，通过提取进程执行与系统指标数据，结合回归模型预测共享资源环境下的细粒度进程功耗，在Intel和AMD系统上最大偏差仅4.4%，有效提升HPC能耗核算精度。
2024-09-25 cs.DC cs.PF
