ARC-V: Vertical Resource Adaptivity for HPC Workloads in Containerized Environments
本文针对容器化环境中HPC工作负载的动态资源消耗问题，提出ARC-V策略，通过结合KubernetesPod的实时资源更新和HPC应用的内存消耗模式，实现节点级别的弹性内存资源配置，有效减少内存使用并避免内存溢出。
2025-05-05 cs.DC
Dynamic Resource Management in Production HPC Clusters
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
针对生产HPC集群中刚性固定分配的问题，提出一种基于MPI可塑性的动态资源管理方法，通过DMR框架实现非侵入式集成，在三个TOP500超算上验证了与静态基线相当的性能并显著减少节点小时消耗。
2026-07-22 cs.DC
Analyzing Resource Utilization in an HPC System: A Case Study of NERSC Perlmutter
HPC应用程序的资源需求差异很大。然而，HPC系统通常主要在每个节点的基础上分配资源，以防止来自协同工作负载的干扰。粗粒度资源分配与变化的资源需求之间的这种差距可能导致HPC资源未被充分利用。在这项研究中，我们分析了NERSC的Perlmutter的资源使用和应用程序的行为，这是一个最先进的开放科学HPC系统，具有CPU和GPU加速的节点。我们一个月的使用分析显示，CPU通常没有得到充分利用，特别是对于启用GPU的作业。此外，大约64%的启用CPU和GPU的作业使用了50%或更少的可用主机内存容量。此外，大约50%的启用GPU的作业使用了高达25%的GPU内存，并且内存容量在某些方面并没有被所有作业充分利用。虽然我们的研究是在Perlmutter生命周期的早期进行的，因此策略和应用程序工作负载可能会发生变化，但它提供了有关性能表征、应用程序行为的有价值的见解，并激励系统进行更细粒度的资源分配。
2023-03-13 cs.DC
Characterizing Impacts of Storage Faults on HPC Applications: A Methodology and Insights
近年来，科学模拟的复杂性日益增加，训练重型人工智能模型的需求不断增加，这就要求高性能计算（HPC）平台必须配备更先进的存储基础设施，如固态硬盘（SSD）。虽然SSD提供高性能I/O，但HPC应用程序在SSD相关故障下面临的可靠性挑战仍不清楚，特别是导致数据损坏的故障。本文的目标是了解SSD相关故障对复杂HPC应用程序行为的影响。为此，我们提出了FFIS，一个基于FUSE的故障注入框架，系统地将存储故障引入应用层，以模拟来自SSD的错误。FFIS能够将不同的I/O相关故障植入从底层文件系统返回的数据中，这使得能够对科学文件格式的错误恢复特性进行调查。我们演示了使用FFIS与三个代表性的真正的HPC应用程序，显示每个应用程序如何对数据损坏的反应，并提供了广泛采用的HDF 5文件格式的HPC应用程序的错误恢复能力的见解。
2021-08-02 cs.DC
BayesPerf: Minimizing Performance Monitoring Errors Using Bayesian Statistics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
硬件性能计数器（HPC）测量低级架构和微架构事件，提供有关系统状态的动态上下文信息。然而，HPC测量由于非确定性（例如，由于事件多路复用或OS中断处理行为而导致的计数不足）。在本文中，我们提出了BayesPerf，一个系统，用于量化HPC测量的不确定性，通过使用域驱动的贝叶斯模型，捕获HPC之间的微架构关系，共同推断其值的概率分布。我们提供了一个加速器的设计和实现，该加速器允许x86和ppc64 CPU的BayesPerf模型的低延迟和低功耗推理。当事件被多路复用时，BayesPerf将HPC测量的平均误差从40.1%降低到7.6%。BayesPerf在实时决策中的价值通过PCIe传输调度的简单示例来说明。
2021-02-22 cs.AI cs.AR cs.DC
NVision-PA: A Tool for Visual Analysis of Command Behavior Based on Process Accounting Logs (with a Case Study in HPC Cluster Security)
在UNIX/Linux环境中，内核可以使用进程记帐记录每个用户创建的每个命令进程。因此，进程记帐日志有许多潜在的用途，特别是安全事件的监视和取证调查。以前的工作成功地利用进程记帐日志来识别难以检测和破坏高性能计算（HPC）集群的入侵，伪装攻击，其中入侵者伪装成具有窃取的身份验证凭据的合法用户。虽然发现HPC集群上的伪装者可以以高准确度（大于90%）识别，但这种准确度对于需要大于99%准确度的HPC生产环境仍然不够高。本文逐步推进的目标，更准确地识别masqueraders HPC集群，寻求识别功能的命令集内区分masqueraders。为了实现这一目标，我们创建了NVision-PA，这是一个软件工具，可以生成描述输入处理会计日志的文本和图形统计摘要。我们报告的NVision-PA结果描述了两个不同的进程记帐日志;一个来自Internet使用，一个来自HPC群集使用。这些结果确定了互联网用户的显着特点（作为代理的masqueraders）冒充集群用户。这项研究是为生产HPC集群创建实时伪装检测传感器的下一步，也是为系统管理员提供另一种工具，用于统计监视和管理HPC环境中的合法工作负载（如命令使用情况所示）。
2006-06-20 cs.CR cs.DC
Integrating LHCb workflows on HPC resources: status and strategies
高性能计算（HPC）超级计算机预计将在未来几年的HEP计算中发挥越来越重要的作用。虽然HPC资源不一定是HEP工作流程的最佳选择，但HPC中心的计算时间在机会主义的基础上已经可用于LHC实验一段时间了，并且将来也可能将部分承诺的计算资源作为HPC中心的CPU时间分配提供。因此，集成实验工作流程以最有效地利用HPC资源至关重要。本文介绍了在一个特定的HPC网站，Marconi-A2系统在意大利CINECA，LHCb受益于联合PRACE（合作伙伴关系在欧洲先进计算）分配与其他大型强子对撞机（LHC）实验集成LHCb工作流程所必需的工作。这需要解决两种类型的挑战：软件应用程序工作负载，优化其在众核硬件架构上的性能，该架构与WLCG中传统使用的架构有很大不同（全球大型强子对撞机计算网格），通过使用多进程方法减少内存占用;以及在分布式计算领域，用于提交这些工作负载，每个作业使用多个逻辑处理器，这在LHCb中从未实现过。
2020-06-24 cs.DC hep-ex physics.ins-det
Evaluating Emerging CXL-enabled Memory Pooling for HPC Systems
当前的HPC系统提供静态配置并与计算节点紧密耦合的存储器资源。然而，HPC系统上的工作负载正在不断发展。不同的工作负载导致需要可配置的内存资源来实现高性能和高利用率。在这项研究中，我们评估的内存子系统设计利用CXL启用内存池。研究了组合存储器子系统的两个有前途的用例-细粒度容量供应和可扩展带宽供应。我们开发了一个模拟器来探索各种内存组合对性能的影响。我们还提供了一个分析器来识别应用程序中的内存使用模式及其优化机会。七个科学和六个图形应用程序进行评估各种模拟内存配置。当池内存支持75%的内存占用时，七分之三的科学应用程序的性能影响小于10%。结果还表明，动态配置的高带宽系统可以有效地支持带宽密集型的非结构化网格为基础的应用程序，如OpenFOAM。最后，我们确定通过共享内存池作为一个实际的挑战，采用HPC系统的干扰。
2022-11-04 cs.DC
JuPyLive: Seamless Migration of Jupyter Notebook Resources from Laptop to HPC
TUD Dresden University of Technology（德累斯顿工业大学）；Center for Interdisciplinary Digital Sciences (CIDS)（跨学科数字科学中心）；Center for Information Services and High Performance Computing (ZIH)（信息服务与高性能计算中心）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心）
JuPyLive可在Jupyter笔记本环境内一键实现本地与HPC资源间的双向无缝迁移，无需用户修改代码或配置，助力跨学科研究人员便捷使用HPC集群扩展资源密集型工作流。
2026-09-04 cs.DC
An Elastic Job Scheduler for HPC Applications on the Cloud
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
提出基于优先级的弹性作业调度器，利用Charm++可迁移对象特性在Kubernetes上动态调整HPC作业规模，最大化集群利用率并减少高优先级作业响应时间，相比静态调度器性能显著提升。
2025-10-16 cs.DC
Power-Aware Scheduling for Multi-Center HPC Electricity Cost Optimization
该研究提出功耗感知调度器 TARDIS，利用 GNN 预测作业功耗，并联合时间错峰与跨地域多中心分配降低 HPC 电费，模拟显示成本最高降低 20%。
2025-03-14 cs.DC
Kub: Enabling Elastic HPC Workloads on Containerized Environments
提出Kub方法，在Kubernetes上实现HPC工作负载的弹性执行，通过动态扩展资源并最大化资源重用，在GROMACS和CM1等应用中实现高达2倍加速。
2024-10-14 cs.DC
Job Placement Advisor Based on Turnaround Predictions for HPC Hybrid Clouds
一些公司和研究机构正在将其CPU密集型应用程序迁移到混合高性能计算（HPC）云环境中。这种转变取决于软件系统的创建，这些软件系统可以帮助用户考虑执行时间和访问本地集群的队列等待时间来决定应该将作业放置在哪里。盲目依赖周转预测技术将对HPC云环境内部的响应时间产生负面影响。本文介绍了一种工具，使HPC混合云环境中的工作安排决策，考虑到执行和等待时间预测的不准确性。我们使用来自真实超级计算中心的作业跟踪来运行我们的实验，并使用真实的加速比曲线来比较环境之间的性能。我们还扩展了最先进的基于机器学习的预测器，以处理来自集群调度器的数据。我们的主要发现是：（i）取决于工作负载特性，存在一个转折点，在该转折点处，预测应该被忽略，以支持更保守的决策，以最小化作业周转时间;（ii）调度器数据在使用作业跟踪数据改进机器学习生成的预测方面起着关键作用--我们的实验显示预测准确度提高了约20%。
2016-08-26 cs.DC
OCCAM: a flexible, multi-purpose and extendable HPC cluster
用于高级数据操作的开放计算集群（OCCAM）是一个多用途的灵活HPC集群，由都灵大学和国家核物理研究所的都灵学院合作设计和运营。它旨在提供灵活、可重新配置和可扩展的基础设施，以满足各种不同的科学计算用例，包括固态化学、高能物理、计算机科学、大数据分析、计算生物学、基因组学等。此外，它将作为计算技术本身的研发活动的平台，主题从GPU加速到云计算技术。像这样的异构和可重新配置的系统提出了与异构硬件资源可能改变其可用性和可共享性状态的频率相关的许多挑战，这进而影响分配、管理、优化、计费、监视VM、容器、虚拟场、作业、交互式裸机会话、本文描述了一些促使HPC集群设计和构建的用例，其体系结构和资源配置模型，以及通过一些综合基准测试工具和一些实际用例测试对其性能的第一次表征。
2017-09-12 cs.DC
Towards an Adaptive Runtime System for Cloud-Native HPC
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM 托马斯·J·沃森研究中心）
本文提出基于Charm++的自适应运行时系统，通过异步消息驱动模型解决云环境下的HPC应用效率与容错问题，实现高效、可靠且经济的云上性能。
2026-03-15 cs.DC
Optimized Memoryless Fair-Share HPC Resources Scheduling using Transparent Checkpoint-Restart Preemption
超级计算系统中常用的资源管理方法通常包括硬划分、封顶和配额分配。这些方法，尽管它们的“缺点”，有一些已知的严重缺点，包括未优化利用昂贵的设施，偶尔仍然需要动态重新调度和重新分配的资源。因此，这些方法涉及糟糕的供需管理，而不是最终提高系统利用率和生产力的自由市场。在这项工作中，我们提出了新的优化无内存公平共享HPC资源调度使用透明的检查点重启抢占，其中社会福利增加使用免费的成本可互换的专有占有计划。因此，我们在资源分配的公平性方面永久保持现状，同时最大限度地提高所有用户在更长时间内实现更多CPU和CPU小时数的能力，而无需任何非直接成本，处罚或额外的人为干预。
2021-02-25 cs.DC
A Contention-Free Model for Converged Kubernetes on HPC
本文提出一种融合计算新范式，将传统HPC工作负载管理器Flux与用户空间Kubernetes Usernetes无缝集成，以服务化、模块化架构支持复杂科学工作负载，并通过实验验证性能与网络，提供可复现设置。
2025-06-23 cs.DC
ClusterRCA: An End-to-End Approach for Network Fault Localization and Classification for HPC System
National University of Defense Technology（国防科技大学）；Huawei（华为）；Tianjin Key Laboratory of Software Experience（天津软件体验与人机交互重点实验室）；Haihe Laboratory of Information Technology Application Innovation（海河信息科技应用创新实验室）
ClusterRCA提出一种端到端HPC网络故障诊断框架，通过从NIC对提取多模态特征并结合分类器与图随机游走方法，实现故障节点定位与类型判定，在真实数据集上取得高准确率和稳健性。
2025-09-22 cs.AI cs.DC
Scalable HPC Job Scheduling and Resource Management in SST
本文在SST中引入了一个可扩展的HPC作业调度与资源管理组件，支持工作流任务依赖与资源分配仿真，并在多项指标上验证了其高精度与良好的并行性能。
2025-01-30 cs.DC
A Study of Checkpointing in Large Scale Training of Deep Neural Networks
深度学习（DL）应用越来越多地部署在HPC系统上，以利用这些系统的大规模并行性和计算能力进行DL模型训练。虽然DL框架已经投入了大量的努力来促进分布式训练，但容错在很大程度上被忽视了。在这项工作中，我们评估检查点重新启动，一个常见的容错技术在HPC工作负载。我们使用HPC Chainer、PyTorch和TensorFlow中常见的三种最先进的DL框架进行实验。我们评估检查点的计算成本，文件格式和文件大小，规模的影响，和确定性检查点。我们的评估显示了检查点机制的一些关键差异，并暴露了现有检查点实现中的几个瓶颈。我们提供的讨论点，可以帮助用户选择一个容错的框架中使用的HPC。我们还提供了框架开发人员可以使用的要点，以促进HPC中DL工作负载的更好检查点。
2021-03-29 cs.DC
DCDB Wintermute: Enabling Online and Holistic Operational Data Analytics on HPC Systems
Leibniz Supercomputing Centre（莱布尼茨超级计算中心）；Technical University of Munich（慕尼黑工业大学）
随着我们进入亿亿级时代，HPC系统的规模和复杂性不断增加，引发了人们对其可持续性和可持续性的担忧。因此，越来越多的HPC中心正在尝试细粒度监控与操作数据分析（ODA）相结合，以优化系统操作的效率和有效性。然而，虽然监测是高性能计算中的一个普遍现实，但没有明确和全面的要求清单，也没有配套的框架来支持整体和在线官方发展援助。这导致孤立的临时解决方案，每个解决方案只解决问题的具体方面。在本文中，我们提出了Wintermute，一种新的通用框架，使在线ODA的大规模HPC安装。它的设计是基于对共同业务要求的文献调查结果。我们在整体DCDB监控系统的基础上实施Wintermute，提供多种配置选项，以满足ODA应用的不同要求。此外，Wintermute基于一组逻辑抽象，以简化大规模模型的配置并最大限度地提高代码重用。我们通过一系列实际案例研究来突出Wintermute的灵活性，每个案例针对HPC系统管理的不同方面，然后展示我们实施的小资源占用。
2020-04-18 cs.DC cs.LG
Prediction of High-Performance Computing Input/Output Variability and Its Application to Optimization for System Configurations
性能可变性是衡量高性能计算系统可靠性的重要指标。性能可变性受到许多因素之间复杂交互的影响，例如CPU频率、输入/输出（IO）线程数和IO调度程序。在本文中，我们专注于HPC IO可变性。预测HPC的可变性是一个具有挑战性的问题，在工程的HPC系统，有很少的统计工作，这个问题的日期。虽然有许多方法可在计算机实验文献中，现有的方法HPC性能变化的适用性需要调查，特别是，当目标是预测性能变化的内插和外推设置。一个数据分析框架的开发，从大规模的实验收集的数据建模。各种有前途的方法被用来建立预测模型的变化HPC系统。我们通过测量预测精度在以前看不见的系统配置的方法的性能进行评估。我们还讨论了优化系统配置的方法，使用估计的变异图。本文中的方法比较和开发的工具集的结果产生了新的见解现有的统计方法，可以是有益的HPC变异性管理的实践。本文在线提供补充材料。
2020-12-14 cs.DC stat.AP
Generic and ML Workloads in an HPC Datacenter: Node Energy, Job Failures, and Node-Job Analysis
本研究基于国家级HPC数据中心的长期运行数据，对比分析ML与通用作业对数据中心性能、故障、能耗等的影响，得出多项关键结论并开源数据与工具，助力运维优化与系统研究。
2024-09-13 cs.AR cs.DC
Incisor: Ex Ante Cloud Instance Selection for HPC Jobs
Institute for Software Integrated Systems Vanderbilt University（范德堡大学软件集成系统研究所）
Incisor通过结合程序分析工具和LLM引导推理，自动选择适合HPC作业的云实例，提升作业运行效率和成本效益。
2026-04-27 cs.DC
PROV-IO+: A Cross-Platform Provenance Framework for Scientific Data on HPC Systems
本文提出跨平台溯源框架PROV-IO+，通过以I/O为中心的溯源模型精确描述科学数据及其I/O操作，在HPC系统上以低于3.5%的开销实现端到端溯源支持，性能优于ProvLake。
2023-08-02 cs.DC
SciChain: Trustworthy Scientific Data Provenance
在高性能计算（HPC）系统上审计和再现科学应用的最新技术是通过数据出处子系统。虽然最近在数据出处方面的进展在于减少性能开销和提高用户的查询灵活性，但数据出处的保真度往往被忽视：没有这样的方法来确保出处数据本身没有被捏造或伪造。本文主张利用区块链提供不可变和自主的数据来源服务，使科学数据值得信赖。将区块链应用于HPC的挑战包括设计一个与HPC平台兼容的新区块链架构，更重要的是，为区块链上的科学应用设计一套新的共识协议。为此，我们设计了可扩展性证明（POST）协议，并在区块链原型中实现了它，即SciChain，这是HPC的第一个区块链系统。我们通过与多个最先进的系统进行比较来评估SciChain;实验结果表明，SciChain保证了可信的数据，同时降低了几个数量级的开销。
2020-02-01 cs.DC
MEMPOWER: Efficient Power Management with Fine-grained Memory Analysis and Modeling for HPC Workloads
Oregon State University（俄勒冈州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对HPC应用的计算与数据移动不平衡问题，提出基于细粒度内存行为建模的MEMPOWER框架，可降低6%-42%的EDP且对执行时间影响小。
2026-08-24 cs.DC
Data Engineering for HPC with Python
随着深度学习和机器学习的采用，数据工程正在成为科学发现中越来越重要的一部分。数据工程涉及各种数据格式、存储、数据提取、转换和数据移动。数据工程的一个目标是将数据从原始数据转换为深度学习和机器学习应用程序接受的向量/矩阵/张量格式。在这些数据工程阶段，有许多结构（如表、图和树）来表示数据。其中，表格是加载和处理数据的通用且常用的格式。在本文中，我们提出了一个分布式的Python API的基础上表抽象表示和处理数据。与现有的纯用Python编写的最先进的数据工程工具不同，我们的解决方案采用C++中的高性能计算内核，具有基于Cython的Python绑定的内存表表示。在核心系统中，我们使用MPI进行分布式内存计算，并采用数据并行方法处理HPC集群中的大型数据集。
2020-10-13 cs.CY cs.DC cs.PF
Resource Optimization with MPI Process Malleability for Dynamic Workloads in HPC Clusters
针对HPC环境中可延展性资源管理技术落地难的问题，研究扩展DMR框架并整合Proteo框架的MaM模块方法，提出合并MPI通信子、异步重配置等新策略，经超级计算机验证可显著缩短工作负载完成时间、提升资源利用率。
2025-06-17 cs.DC
Machine Learning Algorithms for Active Monitoring of High Performance Computing as a Service (HPCaaS) Cloud Environments
Pacific Northwest National Laboratory（西北太平洋国家实验室）
云计算提供了对可以满足任何计算需求的大量可重构资源的无处不在和按需访问。许多服务模型都是可用的，但是基础设施即服务（IaaS）模型通过联网大量的云计算节点而特别适合作为高性能计算（HPC）平台来操作。我们使用太平洋西北国家实验室（PNNL）的云计算环境来执行我们的实验。许多云计算提供商（如Amazon Web Services、Microsoft Azure或IBM Cloud）都提供灵活且可扩展的计算资源。本文探讨的可行性识别类型的工程应用程序上运行的云基础设施配置为HPC平台使用隐私保护功能作为输入到统计模型。在这项工作中考虑的工程应用程序包括MCNP 6，由洛斯阿拉莫斯国家实验室开发的辐射传输代码，OpenFOAM，一个开源的计算流体动力学代码，和CADO-NFS，用于素数分解的一般数域筛算法的数值实现。我们的实验使用OpenStack云管理工具来创建一个云HPC环境和隐私保护Ceilometer计费表作为分类功能，以证明这些应用程序的识别。
2020-09-26 cs.DC cs.LG
Unsupervised KPIs-Based Clustering of Jobs in HPC Data Centers
Arab Academy for Science Technology and Maritime Transport（阿拉伯科学技术与海运学院）；Universidade de Vigo（维戈大学）
本文面向 HPC 作业行为分类，使用 CESGA 真实数据比较划分式与层次聚类，发现网络流量 KPI 最具区分力且层次聚类效果最佳。
2023-12-11 cs.AI cs.DC
SPARS: A Reinforcement Learning-Enabled Simulator for Power Management in HPC Job Scheduling
Universitas Gadjah Mada（加查马达大学）；Universitas Ahmad Dahlan（艾哈迈德·达兰大学）；Institut Bisnis dan Teknologi Indonesia（印度尼西亚商业技术学院）；National Taiwan University of Science and Technology（台湾科技大学）；Tohoku University（东北大学）
提出SPARS模拟器，通过强化学习动态管理节点电源状态，在HPC作业调度中权衡能耗与性能，支持可配置工作负载和平台，提供轻量级事件处理和可视化。
2026-05-26 cs.DC
SDN helps Big Data to optimize access to data
本章介绍了高性能计算（HPC）与大数据分析相结合这一新兴领域的最新技术。为了了解这个新领域，本章首先调查了将HPC与大数据集成的现有方法。接下来，本章介绍了几种优化解决方案，重点是如何最大限度地减少从计算密集型应用程序到分析密集型应用程序的数据传输时间，以及最大限度地减少端到端解决方案的时间。该解决方案利用SDN自适应地使用高速互连网络和高性能并行文件系统来优化应用性能。设计和开发了一个名为DataBroker的计算框架，以实现HPC与数据分析的紧密集成。多种类型的实验已经进行了显示不同的性能问题，在消息传递和并行文件系统，并验证所提出的研究方法的有效性。
2020-12-30 cs.DC cs.NI cs.PF
Taking back control of HPC file systems with Robinhood Policy Engine
如今，最大的Lustre文件系统存储数十亿个条目。在这样的系统上，基于名称空间扫描的经典工具变得无法使用。诸如管理文件生存期、调度数据副本和生成整体文件系统统计信息等操作变得非常痛苦，因为它们需要收集、排序和聚合数十亿条记录的信息。Robinhood Policy Engine是一个开源软件，旨在解决这些挑战。它使得在大量文件系统条目上调度自动操作成为可能。它还通过提供有关数据所有权、年龄和大小配置文件的总体统计信息，对文件系统内容有了综合的了解。即使它可以与任何POSIX文件系统一起使用，Robinhood也支持Lustre特定的功能，如OST，池，HSM，ChangePath和DNE。它实现了对这些特性的特定支持，并利用它们来有效地管理Lustre文件系统。
2015-05-06 cs.DC cs.OS
EPOBF: Energy Efficient Allocation of Virtual Machines in High Performance Computing Cloud
云计算在为高性能计算（HPC）用户提供虚拟机（VM）抽象下的计算资源以运行其应用方面已经变得更加流行。HPC云就是这样的云计算环境。HPC云中VM的能量高效资源分配的挑战之一是在最小化物理机（PM）的总能量消耗和满足服务质量（例如性能）之间进行权衡。一方面，云提供商希望通过降低电力成本（例如使用最少数量的运行PM）来最大化其利润。另一方面，云客户（用户）希望其应用程序具有最高性能。在本文中，我们关注的场景，调度程序不知道全局信息的用户作业和用户应用程序的未来。用户将在固定的开始时间和不间断的持续时间请求短期资源。然后，我们提出了一个新的分配启发式（命名为能量感知和性能每瓦定向Bestfit（EPOBF）），使用性能每瓦的度量来选择最节能的PM映射每个VM（例如，最大MIPS每瓦）。使用信息从Feitelson的并行计算存档模型HPC作业，我们比较了建议EPOBF的最先进的异构PM（每个PM有多核CPU）的并行计算。仿真结果表明，EPOBF可以减少显着的总能耗相比，最先进的分配算法。
2014-09-15 cs.DC cs.NI cs.PF
HPC Storage Service Autotuning Using Variational-Autoencoder-Guided Asynchronous Bayesian Optimization
Argonne National Laboratory（阿贡国家实验室）；Université Paris-Saclay（巴黎萨克雷大学）；University of Oregon（俄勒冈大学）
为特定应用定制的分布式数据存储服务在高性能计算（HPC）社区中越来越流行，作为解决I/O和存储挑战的一种方式。这些服务提供了各种特定的接口、语义和数据表示。它们还公开了许多调优参数，使得用户很难找到给定工作负载和平台的最佳配置。为了解决这个问题，我们开发了一种新的变分自编码器引导的异步贝叶斯优化方法来调整HPC存储服务参数。我们的方法使用迁移学习来利用先前的调优结果，并使用动态更新的代理模型来系统地探索大参数搜索空间。我们在DeepHyper开源框架内实现了我们的方法，并将其应用于阿贡的Theta超级计算机上的高能物理工作流程的自动调整。我们表明，我们的迁移学习方法，使一个以上的$40\times$搜索加速随机搜索相比，与$2.5\times$到$10\times$加速时，不使用迁移学习。此外，我们表明，我们的方法是与国家的最先进的自动调优框架的速度和优于他们的资源利用率和并行化能力。
2022-10-03 cs.DC cs.LG
A Spatially Correlated Competing Risks Time-to-Event Model for Supercomputer GPU Failure Data
图形处理单元（GPU）广泛用于许多高性能计算（HPC）应用，例如成像/视频处理和人工智能中的深度学习模型训练。安装在HPC系统中的GPU通常被大量使用，并且GPU故障发生在HPC系统操作期间。因此，GPU的可靠性对于HPC系统的整体可靠性是有意义的。克雷XK 7泰坦超级计算机是世界十大超级计算机之一。Titan中超过30，000个GPU的故障事件时间被记录下来，之前的数据分析表明，GPU的故障时间可能会受到GPU在超级计算机内部的连接位置以及其他因素的影响。在本文中，我们进行了深入的GPU故障时间的统计建模，以研究在具有协变量和空间相关随机效应的竞争风险下，位置对GPU故障的影响。特别是，两个主要的故障类型的GPU在泰坦被认为是。机柜的连接位置被建模为空间相关的随机效应，并且每个机柜内的GPU的位置被视为协变量。贝叶斯框架用于统计推断。我们还比较了不同的估计方法，如极大似然，这是通过一个期望最大化算法。我们的研究结果提供了有趣的见解GPU故障HPC系统。
2023-03-29 cs.DC stat.AP
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Evaluating the Arm Ecosystem for High Performance Computing
近年来，基于ARM的处理器已经出现在HPC领域，为现有的现状提供了一种替代方案，这种现状主要由x86处理器主导。在本文中，我们通过对使用Marvell ThunderX2处理器的生产HPC平台进行基准测试，评估Arm生态系统，包括硬件产品和用户可用的软件堆栈。我们调查了跨多个节点的复杂科学应用程序的性能，我们还从用户的角度评估了软件堆栈的成熟度和易用性。本文发现，我们的基准测试应用程序的性能通常与成熟的平台一样好，甚至更好，我们可以从我们的经验中得出结论，没有任何重大障碍可能会阻碍HPC社区更广泛地采用这个生态系统。
2019-04-08 cs.DC
Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture
本研究提出基于SLURM的HPC架构及可扩展推理引擎，通过动态调度与容器化微服务管理资源，测试不同规模Llama模型性能，证实架构在批量和交互式场景的可靠性与低开销，为LLM推理部署提供高效方案。
2025-08-25 cs.AI cs.DC
Multi-GPU-Enabled Hybrid Quantum-Classical Workflow in Quantum-HPC Middleware: Applications in Quantum Simulations
Imperial College London（帝国理工学院）；University of Waterloo（滑铁卢大学）；NVIDIA Corp.（英伟达公司）；National Taiwan University（台湾大学）
本研究提出分布感知的QCQ架构，融合量子算法与多GPU经典计算，实现量子模拟中相变分类任务高达十倍加速及99.5%准确率，解决量子-高性能计算瓶颈。
2024-03-18 cs.AI cs.AR cs.DC
Diamond Agent: Agentic Control of Federated HPC Resources as a Service
Rutgers University（罗格斯大学）；University of Rochester（罗切斯特大学）；National Center for Supercomputing Applications（国家超级计算应用中心）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
Diamond Agent通过类型化技能和事件驱动机制，实现跨异构HPC集群的智能工作流执行，将中位额外完成时间降低10.5倍。
2026-09-09 cs.AI cs.DC
Quantum-HPC Software Stacks and the openQSE Reference Architecture: A Survey
Oak Ridge National Laboratory（橡树岭国家实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Munich Quantum Software Company（慕尼黑量子软件公司）
本文分析九个生产级QHPC软件栈，识别通用设计模式与需求，提出openQSE参考架构以统一实践，支持NISQ与FTQC工作负载。
2026-06-17 cs.DC cs.ET cs.SE
Correlation-wise Smoothing: Lightweight Knowledge Extraction for HPC Monitoring Data
Leibniz Supercomputing Centre（莱布尼茨超级计算中心）；Technical University of Munich（慕尼黑工业大学）；Fujitsu Enabling Software Technology GmbH（富士通使能软件技术有限公司）
现代高性能计算（HPC）和数据中心运营商越来越依赖数据分析技术来提高其运营的效率和可靠性。它们采用的模型可以摄取时间序列监测传感器数据，并将其转换为可操作的知识用于系统调优：这一过程称为操作数据分析（ODA）。然而，监测数据具有高维度，依赖于硬件并且难以解释。这一点，加上ODA的严格要求，使得大多数传统的数据采掘方法不切实际，反过来又使得这种类型的数据处理繁琐。大多数当前的ODA解决方案使用非通用的ad-hoc处理方法，对传感器的特征敏感并且不适合可视化。在本文中，我们提出了一种新的方法，称为相关平滑（CS），提取描述性签名的时间序列监测数据中的通用和轻量级的方式。我们的CS方法利用数据维度之间的相关性来形成组，并产生可以轻松操作，可视化和比较的图像状签名。我们在HPC-ODA上评估了CS方法，HPC-ODA是我们与这项工作一起发布的数据集集合，并表明它与大多数最先进的方法具有相同的性能，同时产生的签名最多可以小十倍，速度最多可以快十倍，同时获得可视化，跨系统的可移植性和清晰的缩放特性。
2021-02-19 cs.DC cs.LG cs.SY
Predicting batch queue job wait times for informed scheduling of urgent HPC workloads
EPCC（爱丁堡并行计算中心）；University of Edinburgh（爱丁堡大学）
人们对使用HPC机器处理紧急工作负载以帮助应对灾难的兴趣越来越大。虽然批处理队列系统在支持这样的工作负载方面并不理想，但可以通过准确预测等待作业何时开始运行来解决许多缺点。然而，在实现具有高精度的这种预测方面存在许多挑战，尤其是因为队列的状态可以快速变化并且取决于许多因素。在这项工作中，我们探索了一种新的机器学习方法来预测队列等待时间，假设这样的模型可以捕捉到复杂的行为所产生的队列策略和其他相互作用，以产生准确的作业开始时间。对于ARCHER 2（HPE Cray EX）、Cirrus（HPE 8600）和4-cabinet（HPE Cray EX），我们探索了不同的机器学习方法和技术如何提高我们预测的准确性，并与Slurm生成的估计进行了比较。我们证明了我们的技术在我们感兴趣的机器上提供了最准确的预测，这项工作的结果是能够在实际开始时间的一分钟内预测ARCHER 2和4-cabinet上大约65%的作业和Cirrus上76%的作业的作业开始时间。与Slurm相比，这意味着ARCHER 2的准确性提高了3.8倍，Cirrus提高了18倍。在ARCHER 2和4-cabinet上，我们的方法可以准确地预测四分之三的作业的开始时间，而在Cirrus上，我们的方法可以准确地预测90%的作业的开始时间。虽然这项工作的驱动因素是更好地促进在HPC机器上放置紧急工作负载，但所获得的见解可用于为…
2022-04-28 cs.DC cs.LG
DaVE -- A Curated Database of Visualization Examples
本文提出精选可视化示例数据库 DaVE，依据用户描述推荐 HPC 场景中的可视化技术，并提供示例、代码、容器模板与集成资源，支持社区扩展。
2024-12-03 cs.DC cs.GR cs.HC
