Scalable HPC Job Scheduling and Resource Management in SST
本文在SST中引入了一个可扩展的HPC作业调度与资源管理组件，支持工作流任务依赖与资源分配仿真，并在多项指标上验证了其高精度与良好的并行性能。
2025-01-30 cs.DC
DRAS-CQSim: A Reinforcement Learning based Framework for HPC Cluster Scheduling
Illinois Institute of Technology（伊利诺伊理工学院）
几十年来，系统管理员一直在努力设计和调整集群调度策略，以提高高性能计算（HPC）系统的性能。然而，日益复杂的HPC系统与高度多样化的工作负载相结合，使得这种手动过程具有挑战性，耗时且容易出错。提出了一个基于强化学习的HPC调度框架DRAS-CQSim，用于自动学习最优调度策略。DRAS-CQSim封装了仿真环境、代理、超参数调优选项和不同的强化学习算法，允许系统管理员快速获得自定义的调度策略。
2021-05-16 cs.AI cs.DC
nOS-V: Co-Executing HPC Applications Using System-Wide Task Scheduling
未来的Exascale系统将具有大规模并行性，众核处理器和异构体系结构。在这种情况下，HPC应用程序越来越难以充分和有效地利用系统节点中的资源。此外，增加的并行性加剧了当前应用程序中现有的低效率的影响。研究表明，协同调度应用程序以共享系统节点，而不是单独执行每个应用程序，可以提高资源利用率和效率。然而，目前的超额认购和共址技术共享节点有几个缺点，限制了他们的适用性，使他们非常依赖于应用程序。本文介绍了通过系统范围内的调度协同执行。协同执行是一种新颖的细粒度技术，可在同一节点上同时执行多个HPC应用程序，性能优于当前最先进的方法。我们在nOS-V中实现了这种技术，nOS-V是一个轻量级的任务库，通过系统范围的任务调度支持协同执行。此外，nOS-V可以很容易地与现有的编程模型集成，无需更改用户应用程序。我们展示了如何与nOS-V的共同执行显着减少了单节点和分布式环境中的几个应用程序的时间表完工时间，优于以前的节点共享技术。
2022-04-22 cs.DC
Evaluating Malleable Job Scheduling in HPC Clusters using Real-World Workloads
University of Kassel（卡塞尔大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本文通过真实工作负载评估HPC集群中可变作业调度的效率提升，发现可变作业能显著降低作业周转时间、makespan和等待时间，提高节点利用率。
2026-02-19 cs.DC
Optimized Memoryless Fair-Share HPC Resources Scheduling using Transparent Checkpoint-Restart Preemption
超级计算系统中常用的资源管理方法通常包括硬划分、封顶和配额分配。这些方法，尽管它们的“缺点”，有一些已知的严重缺点，包括未优化利用昂贵的设施，偶尔仍然需要动态重新调度和重新分配的资源。因此，这些方法涉及糟糕的供需管理，而不是最终提高系统利用率和生产力的自由市场。在这项工作中，我们提出了新的优化无内存公平共享HPC资源调度使用透明的检查点重启抢占，其中社会福利增加使用免费的成本可互换的专有占有计划。因此，我们在资源分配的公平性方面永久保持现状，同时最大限度地提高所有用户在更长时间内实现更多CPU和CPU小时数的能力，而无需任何非直接成本，处罚或额外的人为干预。
2021-02-25 cs.DC
SPARS: A Reinforcement Learning-Enabled Simulator for Power Management in HPC Job Scheduling
Universitas Gadjah Mada（加查马达大学）；Universitas Ahmad Dahlan（艾哈迈德·达兰大学）；Institut Bisnis dan Teknologi Indonesia（印度尼西亚商业技术学院）；National Taiwan University of Science and Technology（台湾科技大学）；Tohoku University（东北大学）
提出SPARS模拟器，通过强化学习动态管理节点电源状态，在HPC作业调度中权衡能耗与性能，支持可配置工作负载和平台，提供轻量级事件处理和可视化。
2026-05-26 cs.DC
Energy hardware and workload aware job scheduling towards interconnected HPC environments
新的HPC机器正在接近艾级。这些机器的功耗一直在增加，研究人员正在研究降低功耗的方法。第二个趋势是HPC机器越来越复杂，越来越多的异构硬件组件和不同的集群架构在同一台机器中协作。我们将这些环境称为异构多集群环境。为了在这些环境中优化性能和能耗，本文提出了一种能量感知的多集群（EAMC）作业调度策略。EAMC策略能够通过预测不同硬件架构和处理器频率下到达作业的性能和能耗来优化作业的调度和放置，从而减少工作负载的能耗、完工时间和响应时间。该策略为每个作业-资源组合分配不同的优先级，以便优先考虑效率最高的作业-资源组合，而效率较低的作业-资源组合仍然在可变程度上被考虑，从而减少响应时间并提高集群利用率。我们在Slurm中实现了EAMC策略，并评估了两个CPU集群在同一台机器上协作的场景。模拟工作负载运行的应用程序从现实世界中建模显示，响应时间和完工时间减少了25%和6%，同时节省了高达20%的总能源消耗相比，最大限度地减少运行时间的政策，并通过49%，26%，和6%相比，最小限度地减少能源。
2021-06-22 cs.DC
DECICE: AI-Driven Scheduling and Digital Twin Integration for the Cloud-HPC-Edge Compute Continuum
Georg-August-Universität Göttingen（哥廷根大学）；GWDG mbH, Göttingen, Germany（德国哥廷根GWDG有限公司）；NAG, Oxford, UK（英国牛津NAG）；Università di Bologna, Italy（意大利博洛尼亚大学）
本文介绍DECICE项目，开发了一个开源框架，通过集成AI调度器（基于RNN预测和形式化工作流建模）和数字孪生（聚合实时指标、碳强度和异常预测），实现云-HPC-边缘计算连续体中的智能工作负载调度。
2026-05-24 cs.DC
Bidding policies for market-based HPC workflow scheduling
本文研究了分布式、异构高性能计算（HPC）集群上的作业调度问题。众所周知，基于市场的办法能够有效地将有限的资源分配给最愿意支付的国家。此上下文适用于平台过载的HPC或云计算场景。在本文中，工作是由相关的任务。每个工作都有一个非递增的时间价值曲线与之相关联。工作被提交给市场清算集中拍卖人并由其安排。本文比较了几种生成任务出价的策略的性能。这里研究的目的是最大化平台提供商的价值，同时最大限度地减少未完成（或饥饿）的工作数量。它被发现，预计剩余价值投标政策给出了一个典型的过载情况下的最高水平的价值，并给出了最低数量的饥饿的任务在整个空间的利用率检查。它通过尝试捕获队列中任务的紧急性来实现这一点。在高水平的过载下，一些替代算法产生的价值略高，但代价是大量的饥饿工作流。
2016-01-26 cs.DC
HPCAdvisor: A Tool for Assisting Users in Selecting HPC Resources in the Cloud
本文提出HPCAdvisor工具，通过考虑应用输入帮助用户在云中选择合适的VM类型和节点数量，以优化HPC集群的性能与成本。
2024-11-23 cs.DC
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题，提出基于MILP和启发式方法的自动化调度框架，可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
Deep Reinforcement Agent for Scheduling in HPC
Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）；Northern Illinois University（北伊利诺伊大学）
集群调度器是高性能计算中的关键技术。它决定何时以及哪些用户作业应该分配给可用的系统资源。现有的集群调度算法是由人类专家根据他们对特定HPC系统和工作负载的经验开发的。然而，计算系统的日益复杂性和应用程序工作负载的高度动态性给手动设计和调整的调度算法带来了巨大的负担。HPC中的集群调度需要更积极的优化和自动化。在这项工作中，我们提出了一个自动化的HPC调度代理DRAS（深度强化代理调度），利用深度强化学习。DRAS是建立在一个新的，分层的神经网络纳入特殊的HPC调度功能，如资源预留和调度。提出了一种独特的训练策略，使DRAS能够快速学习目标环境。一旦系统管理员给出了一个特定的调度目标，DRAS自动学习，以改善其政策，通过与调度环境的互动，并动态调整其政策的工作负载的变化。不同生产负载的实验表明，DRAS优于现有的启发式和优化方法高达45%。
2021-04-19 cs.AI cs.DC cs.LG
Running Cloud-native Workloads on HPC with High-Performance Kubernetes
本文提出一种实用设计，通过高性能 Kubernetes 使未修改的云原生工作负载直接在主 HPC 集群上运行，避免资源分区并保留现有作业管理与计费策略。
2024-09-25 cs.DC
Probabilistic Scheduling of Dynamic I/O Requests via Application Clustering for Burst-Buffer Equipped HPC
突发缓冲是一种很有前途的存储解决方案，它引入了一个中间的高吞吐量存储缓冲层，以缓解当前高性能计算（HPC）平台所面临的I/O瓶颈问题。现有的基于马尔可夫链的概率I/O调度利用突发缓冲器的负载状态和应用程序的周期性特性来减少由于突发缓冲器容量有限而导致的I/O拥塞。然而，这种概率方法需要一致的I/O特性的应用程序，包括类似的I/O持续时间和长的应用程序长度，以获得准确的I/O负载估计。这些一致性条件在现实情况中往往不成立。在本文中，我们提出了一个通用的框架，基于应用程序聚类的动态概率I/O调度（DPSAC），使应用程序满足一致性要求。根据每个应用程序的I/O短语长度，我们的计划首先部署一个一维的K-均值聚类算法聚类成集群的应用程序。然后，通过应用的概率模型计算每个集群的期望工作负载，然后按比例划分Burst-Buffer。然后，处理动态变化（加入和退出）的应用程序，它更新的启发式策略的基础上的集群。最后，采用基于应用负载分布和Burst-Buffer状态的概率I/O调度方法，对所有并发应用进行I/O调度，以缓解I/O拥塞。在合成数据上的仿真结果表明，该算法是有效的。
2022-10-14 cs.DC
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG（哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心）
本文综述 2017–2024 年 66 篇研究，分析异构 HPC 工作负载映射与调度工具，指出 NP-hard 难题及启发式局限，并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
Towards Energy Efficient Co-Scheduling in HPC
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
本文提出EcoSched调度器，通过联合优化GPU数量选择与应用协同调度，提升多GPU系统的任务效率，实现14.8%的能耗节省和30.1%的作业跨度提升。
2026-04-19 cs.DC
A Performance Analysis of Task Scheduling for UQ Workflows on HPC Systems
针对HPC系统上UQ工作负载原生调度低效的问题，提出结合UQ and Modelling Bridge与HyperQueue的负载均衡框架，无需系统级更改即可将调度开销降低三个数量级，并使长时间运行模拟的CPU时间最多减少38%。
2025-04-01 cs.DC
An Empirical Evaluation of Quantum-Inspired QUBO Methods for Heterogeneous HPC Workflow Mapping and Scheduling
Institute of Computer Science, Georg-August-Universität Göttingen（哥廷根大学计算机科学研究所）；GWDG mbH（GWDG有限责任公司）
通过系统实验评估三种量子启发式QUBO变体（单次模拟退火、多次尝试退火和分层QAOA启发调度）在异构HPC工作流调度中的可行性、makespan和资源利用率，并与MILP、CP-SAT、GA和HEFT等经典基线比较，发现QUBO方法在任务数超过15时可行性下降，经典方法在现有求解器能力下仍更可靠。
2026-05-25 cs.DC
Scale Ratio Tuning of Group Based Job Scheduling in HPC Systems
本文研究HPC作业分组调度中规模比例参数对工作负载管理器效率指标的影响，通过基于Alea的模拟模型进行多组实验，为管理员在相互矛盾的效率指标间取得平衡提供调优依据。
2023-11-29 cs.DC
The Case for Non-Volatile RAM in Cloud HPCaaS
HPC即服务（HPCaaS）是一种通过云服务公开HPC资源的新方式。然而，由于网络延迟，将具有高处理器间通信的大规模紧密耦合应用同步地移植到多个（和许多）节点的持续努力（如在内部部署的超级计算机中）仍然远远不能令人满意。因此，在上述情况下，建议将HPCaaS用于一个或几个实例。在本文中，我们声称新的内存硬件，即非易失性RAM（NVRAM），可以允许此类计算扩展到一个数量级，与RAM相比，损失较小。此外，我们建议将NVRAM引入HPCaaS可以以多种形式对用户和供应商具有成本效益。
2022-08-03 cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象，Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行，该“启动器”（i）确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行，（ii）不需要修改用户应用程序，（iii）容忍任务级故障并提供若干错误恢复选项，（iv）存储起源数据（v）支持动态工作流，其中在运行时创建或终止任务。在这里，我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性：深度神经网络的超参数优化和高通量单点量子化学计算。我们发现，灵活的作业包装和自动化调度与动态（试点管理）执行的独特组合，有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少，加快了工作流的开发和执行。
2019-09-18 cs.DC
HPC Cloud for Scientific and Business Applications: Taxonomy, Vision, and Research Challenges
高性能计算（HPC）云正在成为执行科学应用程序和业务分析服务的内部部署群集的替代方案。HPC云的大多数研究工作旨在了解将资源密集型应用程序从内部环境迁移到公共云平台的成本效益。行业趋势表明，混合环境是充分利用内部部署和云资源的自然途径--稳定（和敏感）的工作负载可以在内部部署资源上运行，峰值需求可以以按需付费的方式利用远程资源。尽管如此，HPC云中仍有许多问题需要回答，从如何提取未知底层平台的最佳性能，到哪些服务是使其使用更容易的关键。此外，关于适合小型和大型用户的正确定价和合同模式的讨论与HPC云的可持续性有关。本文对HPC云的工作进行了调查和分类，并对我们认为未来的前景进行了展望，包括一系列研究挑战，这些挑战一旦得到解决，就可以帮助推进业务和科学发现。由于来自大数据和人工智能的新HPC应用程序的快速增长浪潮，这一点变得尤为重要。
2018-02-02 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Operational Strategies for Non-Disruptive Scheduling Transitions in Production HPC Systems
The George Washington University（乔治华盛顿大学）
本文研究了将生产学术HPC集群从节点独占式调度转为可消费资源调度的非干扰策略，通过兼容层、可观测性反馈和用户参与，减少对现有工作流的干扰，并降低队列等待时间。
2026-03-29 cs.DC cs.PF
Job Scheduling in High Performance Computing
近几十年来，超级计算机不断增长的处理能力使我们能够探索越来越复杂的科学问题。有效地调度这些作业对单个作业的性能和系统效率至关重要。传统的高性能计算（HPC）中的作业调度器是简单的，集中在提高CPU利用率。新的硬件资源和新的硬件结构的出现对传统的嵌入式系统提出了严峻的挑战。日益多样化的工作负载（包括计算密集型和数据密集型应用程序）需要更高效的数据处理器。更糟糕的是，上述两个因素相互作用，这使得调度问题更具挑战性。近年来，许多研究探讨了新的调度方法，以应对系统快速变化带来的问题。在这项研究中，我们调查了HPC调度和最先进的调度方法所面临的挑战，以克服这些挑战。此外，我们提出了一个智能调度框架，以减轻现代作业调度中遇到的问题。
2021-09-20 cs.DC
Understanding Layered Portability from HPC to Cloud in Containerized Environments
该研究在三个 ARM 平台上用六个 HPC 应用评估容器虚拟化、主机 OS/内核及执行模式对 HPC 向云迁移的性能影响，发现多数应用开销较低，且无根与特权模式差异可忽略。
2024-06-17 cs.DC
An SLA-based Advisor for Placement of HPC Jobs on Hybrid Clouds
一些科学和工业应用需要高性能计算（HPC）资源来处理和/或模拟复杂的模型。不久前，公司、研究机构和大学还习惯于购买和维护本地计算机集群;但最近，云计算已成为HPC应用程序子集的替代方案。这给最终用户带来了挑战，他们必须决定在哪里运行他们的作业：在本地集群上还是突发到远程云服务提供商。虽然目前对HPC云的研究主要集中在比较内部部署集群与云资源的性能，但我们在现有工作的基础上，引入了一项咨询服务，以帮助用户在考虑混合云的资源成本、性能和可用性的权衡后做出这一决定。我们使用基于全波形反演的地震处理应用程序的真实测试台评估了我们的服务;全波形反演是石油和天然气行业和地震预测中地震学家使用的技术。我们还讨论了如何将Advisor用于其他应用程序，并强调了构建此服务以降低成本和周转时间的主要经验教训。
2015-07-20 cs.DC
Exploring the Relation Between Two Levels of Scheduling Using a Novel Simulation Approach
现代高性能计算（HPC）系统在节点数量的“水平”以及每个节点的核数量的“垂直”方面都表现出尺寸的快速增长。因此，它们提供了额外级别的硬件并行性。每个这样的级别需要并采用算法来适当地调度相应级别处的计算工作。目前的工作探讨了两个调度层次：批处理和应用程序之间的关系。理解这种关系对于提高在HPC系统上批量调度和执行的科学应用程序的性能非常重要。批处理和应用级调度之间的关系在文献中研究得不够。要了解这两个调度层次之间的关系和相互作用，需要在运行过程中同时分析它们。在这项工作中，这样的分析是通过同时模拟批处理和应用程序级调度的一些情况下进行的。一个通用的模拟方法，桥梁两个现有的模拟器从两个调度水平。介绍了一种新的两级模拟器，实现所提出的方法。两级仿真器被用来模拟三个批调度算法和四个应用程序调度算法的所有组合。这些组合被认为是分配资源和执行两个生产HPC系统的两个批次的并行作业。调度实验的结果揭示了两个调度层次之间的密切关系和它们之间的相互影响。作为对模拟的补充，两级模拟器产生标准的并行执行跟踪，可以直观地检查并说明不同作业的执行情况，并且对于每个作业，分别在节点和核心级别执行其任务。
2018-11-04 cs.DC
Towards an Adaptive Runtime System for Cloud-Native HPC
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM 托马斯·J·沃森研究中心）
本文提出基于Charm++的自适应运行时系统，通过异步消息驱动模型解决云环境下的HPC应用效率与容错问题，实现高效、可靠且经济的云上性能。
2026-03-15 cs.DC
ODRE Workshop: Probabilistic Dynamic Hard Real-Time Scheduling in HPC
工业4.0正在从根本上改变工业过程中收集、存储和分析数据的方式。虽然这一变化使新的应用，如高度定制的产品的灵活制造，这些过程的实时的【形】控制，然而，尚未实现其全部潜力。我们相信，现代虚拟化技术，特别是应用程序容器，提供了一个独特的机会，从相关的硬件解耦控制功能。通过它，我们可以充分实现高度分布式和可转移的工业过程的潜力，即使有实时的【形】约束所产生的时间关键的子过程。在本文中，我们提出了一个专门开发的编排工具，以管理将工业控制软件从专用硬件转移到裸机服务器或（边缘）云计算平台的挑战和机遇。使用现成的技术，所提出的工具可以管理共享资源上的容器化应用程序的执行，而不损害硬实时的【形】执行确定性。通过第一次实验结果，我们证实了资源共享系统的可行性，并分析了严格的实时的【形】要求的行为。然后，我们描述了实验，以提供预期的结果，并收集性能，应用范围和所提出的方法的限制。
2020-05-09 cs.DC
Evaluating the Efficacy of LLM-Based Reasoning for Multiobjective HPC Job Scheduling
University of Tennessee, Knoxville\ Ridge National Laboratory Oak Ridge, TN USA；Argonne National Laboratory Lemont, IL USA；University of Southern California Los Angeles, CA USA；Oak Ridge National Laboratory Oak Ridge, TN USA；University of Tennessee, Knoxville\ Ridge National Laboratory；Argonne National Laboratory；University of Southern California；Oak Ridge National Laboratory
针对传统HPC作业调度方法难以同时优化多目标、适应性不足的问题，提出基于ReAct框架的LLM调度器，经多场景验证可平衡多目标但存在计算开销权衡，为相关研究提供新思路。
2025-09-03 cs.AI cs.DC
Assessing the Elephant in the Room in Scheduling for Current Hybrid HPC-QC Clusters
针对当前混合HPC-QC集群调度中混合资源分配和作业调度等关键挑战受关注不足的问题，考虑量子技术的成熟度与异构性，提出概念性策略以推进实用集成。
2025-04-11 cs.DC cs.ET quant-ph
Efficient Generation of Parallel Spin-images Using Dynamic Loop Scheduling
高性能计算（HPC）系统在其处理能力方面经历了显著的增长。现代HPC系统结合了大量的同构和异构计算资源。因此，可扩展性是科学应用的一个重要方面，以有效地利用现代HPC系统的大规模并行性。这项工作介绍了一个有效的版本的并行自旋图像算法（PSIA），称为EPSIA。PSIA是自旋图像算法（SIA）的并行版本。（P）SIA被用于各种领域，诸如3D对象识别、分类和3D面部识别。EPSIA是指PSIA的扩展版本，它集成了各种众所周知的动态循环调度（DLS）技术。目前的工作：（1）提出了一种新的灵活的PSIA版本EPSIA;（2）展示了应用DLS技术优化PSIA性能的好处;（3）通过进行几个可扩展性实验来评估所提出的EPSIA的性能。性能结果是有希望的，并表明，使用众所周知的DLS技术，性能的EPSIA优于性能的PSIA的一个因素为1.2和2的同构和异构的计算资源，分别。
2018-11-02 cs.DC
ElasticBroker: Combining HPC with Cloud to Provide Realtime Insights into Simulations
对于大规模的科学模拟，存储原始模拟结果以执行后分析是昂贵的。为了最大限度地减少昂贵的I/O，通常使用“原位”分析，其中分析应用程序与科学模拟紧密耦合，并且可以在内存中访问和处理模拟结果。科学领域越来越多地采用大数据方法来分析科学发现的模拟。然而，在两个语义不同的生态系统（HPC和云系统）之间大规模组织、转换和传输数据仍然是一个挑战。为了应对这些挑战，我们设计并实现了ElasticBroker软件框架，该框架将HPC和云应用程序连接起来，形成一个“原位”科学工作流程。ElasticBroker不是将模拟结果写入并行文件系统，而是执行数据过滤、聚合和格式转换，以缩小HPC生态系统和不同云生态系统之间的差距。为了实现这一目标，ElasticBroker将模拟快照重组为连续的数据流，并将其发送到云端。在云中，我们部署分布式流处理服务来执行在线数据分析。在我们的实验中，我们使用ElasticBroker设置和执行跨生态系统的科学工作流，其中包括在超级计算机上运行的并行计算流体动力学（CFD）模拟，以及在云计算平台上运行的并行动态模式分解（DMD）分析应用程序。我们的研究结果表明，使用ElasticBroker在其原生环境中运行由解耦的HPC和大数据作业组成的科学工作流，可以实现高服务质量，良好的可扩展性，并为正在进行的模拟提供高质量的分析。
2020-11-30 cs.DC
A Real-Time Digital Twin for Adaptive Scheduling
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
SchedTwin通过实时数字孪生技术实现自适应调度，优于传统静态策略并保持低开销。
2025-12-21 cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
Enhancing Energy Efficiency in Scientific Workflows through CFD based PIVAEs
University of Leicester（莱斯特大学）；Rutherford Appleton Laboratory, Science and Technology Facilities Council (STFC–UKRI)（鲁瑟福阿普顿实验室，科学与工程设施委员会（STFC-UKRI））
提出一种结合计算流体动力学与物理信息变分自编码器的AI辅助调度框架，通过生成物理真实的合成工作负载数据，在HPC环境中实现能效优化，实验表明适度降低CPU性能可显著节能。
2026-05-22 cs.DC
GrapheonRL: A Graph Neural Network and Reinforcement Learning Framework for Constraint and Data-Aware Workflow Mapping and Scheduling in Heterogeneous HPC Systems
本文提出GrapheonRL框架，整合图神经网络与强化学习，用于异构HPC系统中的约束与数据感知工作流映射及调度，在保证接近ILP最优解质量的同时大幅缩短执行时间，实现稳健可扩展的调度。
2025-05-30 cs.DC cs.ET
HPC Digital Twins for Evaluating Scheduling Policies, Incentive Structures and their Impact on Power and Cooling
Oak Ridge National Laboratory（橡树岭国家实验室）；Texas State University（德克萨斯州立大学）；National Renewable Energy Laboratory（国家可再生能源实验室）；Colorado State University（科罗拉多州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本研究首次将HPC调度与数字孪生集成，构建带调度功能的数字孪生元框架，集成多套顶级HPC系统与外部调度模拟器，可评估激励结构、机器学习调度等对系统物理资产与可持续性的影响。
2025-08-28 cs.AI cs.DC cs.ET
Job Placement Advisor Based on Turnaround Predictions for HPC Hybrid Clouds
一些公司和研究机构正在将其CPU密集型应用程序迁移到混合高性能计算（HPC）云环境中。这种转变取决于软件系统的创建，这些软件系统可以帮助用户考虑执行时间和访问本地集群的队列等待时间来决定应该将作业放置在哪里。盲目依赖周转预测技术将对HPC云环境内部的响应时间产生负面影响。本文介绍了一种工具，使HPC混合云环境中的工作安排决策，考虑到执行和等待时间预测的不准确性。我们使用来自真实超级计算中心的作业跟踪来运行我们的实验，并使用真实的加速比曲线来比较环境之间的性能。我们还扩展了最先进的基于机器学习的预测器，以处理来自集群调度器的数据。我们的主要发现是：（i）取决于工作负载特性，存在一个转折点，在该转折点处，预测应该被忽略，以支持更保守的决策，以最小化作业周转时间;（ii）调度器数据在使用作业跟踪数据改进机器学习生成的预测方面起着关键作用--我们的实验显示预测准确度提高了约20%。
2016-08-26 cs.DC
Build and Execution Environment (BEE): an Encapsulated Environment Enabling HPC Applications Running Everywhere
高性能计算（HPC）系统软件配置的变化意味着应用程序通常是针对特定HPC环境配置和构建的。构建应用程序可能需要应用程序用户投入大量的时间和精力，并且需要应用程序用户具有额外的技术知识。Docker和Charliecloud等Linux容器技术为应用程序开发、构建和部署过程带来了巨大的好处。虽然云平台已经广泛支持容器，但HPC系统对容器技术的支持仍然不统一。在这项工作中，我们提出了一个统一的运行时框架-构建和执行环境（BEE）在HPC和云平台，允许用户在所有支持的平台上运行他们的容器化HPC应用程序，而无需修改。我们为四种不同类别的HPC或云平台设计了四个BEE后端，以便它们共同覆盖HPC用户的大多数主流计算平台。评估表明，BEE提供了一个易于使用的统一的用户界面，执行环境，和可比的性能。
2021-02-27 cs.DC
Towards Accommodating Real-time Jobs on HPC Platforms
科学实验中不断增加的数据量需要使用高性能计算（HPC）资源进行数据分析。在许多科学领域，必须快速分析科学仪器和超级计算机模拟产生的数据。事实上，对准即时反馈的需求正在增长。科学家们希望利用一个实验的结果来指导下一个实验的选择，甚至改进单个实验的过程。当前的HPC系统通常是在策略下批调度的，在该策略中，到达的作业只有在足够的资源可用时才立即运行;否则，它将排队。这些系统很难支持实时的【形】作业。实时的【形】作业，为了满足他们的要求，有时应该抢占批处理作业和/或被安排在较早提交的批处理作业之前。中断实时的【形】作业也可能对系统利用率产生负面影响，特别是在涉及抢占/重新启动批处理作业时。我们首先探讨了几种现有的调度策略，使实时的【形】作业更有可能在适当的时间被调度。然后，我们严格制定的问题作为一个混合整数线性规划离线调度和开发新的调度算法在线调度。我们进行模拟研究，使用跟踪日志的米拉，IBM的BG/Q系统在阿贡国家实验室，以量化的实时的【形】作业的影响，批处理作业的性能为各种百分比的实时的【形】作业的工作量。我们提出了新的见解，从分组作业到不同类别的基础上运行时间和使用的节点数量和研究每个类别的性能。我们的研究结果表明，与10%的实时的【形】作业百分比，即时检查点结合我们的启发式可以提高35%的实时的【形】作业的减速，同时限制批处理作业的减速增加到10%。
2021-03-24 cs.DC
An Elastic Job Scheduler for HPC Applications on the Cloud
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
提出基于优先级的弹性作业调度器，利用Charm++可迁移对象特性在Kubernetes上动态调整HPC作业规模，最大化集群利用率并减少高优先级作业响应时间，相比静态调度器性能显著提升。
2025-10-16 cs.DC
Sarus Suite: Cloud-native Containers for HPC
ETH Zurich（苏黎世联邦理工学院）；Swiss National Supercomputing Centre（瑞士国家超级计算中心）
Sarus Suite通过改进的集成层和云原生架构，实现了高性能计算中的快速软件栈支持，同时保持调度器控制和生产性能。
2026-04-18 cs.DC
The Flux Operator
融合计算将高性能计算（HPC）和云原生社区的两个世界的最佳结合在一起。事实上，云计算的经济影响，以及对可移植性、灵活性和可扩展性的需求，使其不重要，但不可避免。在这个未知的领域中航行不仅需要技术领域的创新，还需要努力进行合作和分享想法。考虑到这些目标，这项工作首先解决了运行批处理工作流的核心组件，无论是在云中还是在HPC中：工作负载管理器。对于云计算，Kubernetes已经成为这种批处理编排的事实上的工具。对于HPC，下一代HPC工作负载管理器Flux Framework是类似的-将完全分层的资源管理和基于图形的调度相结合，以支持智能调度和作业管理。这些管理器的融合将意味着在Kubernetes内部实现Flux，允许分层资源管理和调度，在不增加Kubernetes调度器本身负担的情况下进行令人印象深刻的扩展。本文介绍了Flux Operator --一种易于在Kubernetes中部署的按需HPC工作负载管理器。这里的工作重点是设计决策，环境之间的组件映射，实验功能，并分享实验结果，将性能与空间中的等效运算符MPI运算符进行比较。最后，讨论结束时回顾了仍然存在的挑战，并对未来改进技术创新和合作的希望。
2023-09-29 cs.DC
Containerisation for High Performance Computing Systems: Survey and Prospects
容器提高了应用程序部署的效率，因此在云计算和最近的高性能计算（HPC）环境中得到了广泛的应用。容器将复杂的程序及其依赖项封装在隔离的环境中，使应用程序更具兼容性和可移植性。通常，HPC系统具有比云系统更高的安全级别，这限制了用户自定义环境的能力。因此，HPC上的容器需要包含大量的库，这使得它们的大小相对较大。这些库通常针对硬件进行了专门优化，这会损害容器的可移植性。相反，云容器体积更小，更便携。此外，容器将受益于编排，便于大规模部署和管理容器。与HPC系统相反，云系统在实践中通常包含复杂的容器编排机制。尽管如此，一些解决方案，使容器编排HPC系统已被提出在最先进的状态。本文给出了一个调查和分类的努力，在容器化和编排策略的HPC系统。它强调了云和HPC之间的差异。最后，挑战进行了讨论，研究和工程的潜力进行了展望。
2022-12-16 cs.DC
Agentic Orchestration of HPC Applications in Cloud
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
研究利用智能代理实现HPC应用程序在云环境中实验运行的全生命周期管理，通过四个知名HPC应用构建多平台镜像并优化，展示成功线性缩放等成果及提出最佳实践。
2026-07-07 cs.DC
Scheduling on Grid with communication Delay
并行处理是高性能计算（HPC）的核心，过去是，现在仍然是提高计算机系统速度的最有效途径。在过去的几年里，处理器的计算能力和网络速度的大幅发展已经显著改变了HPC的格局。地理分布的异构系统现在可以合作和共享资源来执行一个应用程序。这种计算基础设施被称为计算网格或网格计算。网格可以看作是一种分布式的大规模集群计算。从另一个角度来看，它构成了云计算系统的主要部分，除了瘦客户端和实用计算[1，2，3]。因此，网格计算吸引了众多的研究者[4]。人们对网格计算的兴趣已经超越了传统的网格计算的范式，转向了无线网格计算[5，6]。
2015-12-09 cs.DC
A Smallest-Need-First Job Scheduling Framework with Adaptive Optimization of Idle Node Counts for Energy-Efficient HPC Systems
Universitas Gadjah Mada（加查马达大学）；Universitas Ahmad Dahlan（艾哈迈德·达兰大学）；Tohoku University（东北大学）
本文提出SNF-ICON调度框架，结合SNF组调度、预测唤醒定时与自适应热备用控制，经多场景实验验证其可降低平均等待时间，且不存在适用于所有场景的最优策略。
2026-09-01 cs.DC
Attempt to Salvage Multi-million Dollars of Ill-conceived HPC System Investment by Creating Academic Cloud Computing Infrastructure. A Tale of Errors and Belated Learning
本研究针对华沙大学ICM中心OCEAN项目中部分HPC系统规划不佳、投资回报率低的问题，将两套系统重构为混合多云学术云A-CHOICeM，大幅拓展用户群体，同时梳理了设计流程与实施障碍。
2023-05-02 cs.DC
A HPC Co-Scheduler with Reinforcement Learning
本文提出一种基于自适应强化学习的HPC协同调度算法，结合应用性能分析与集群监控，利用决策树建模实际资源使用，集成Slurm与Mesos，实验显示集群利用率最高提升51%，低负载下平均队列makespan减少55%。
2024-01-18 cs.DC
Hybrid Cloud and HPC Approach to High-Performance Dataframes
数据预处理是任何数据驱动应用程序中的基本组件。随着数据处理操作的复杂性和数据量的增加，Cylon是一个分布式的嵌入式框架系统，它被开发来促进数据处理，既可以作为一个独立的应用程序，也可以作为一个库，特别是对于Python应用程序。虽然Cylon表现出了良好的性能，但我们在尝试与传统消息传递接口（MPI）不兼容的框架集成时遇到了困难。虽然MPI实现包含可扩展和高效的通信例程，但它们的进程启动机制与主流HPC系统配合良好，但与采用自己的资源管理系统的某些环境不兼容。在这项工作中，我们通过直接集成统一通信X（UCX）框架来缓解这个问题，该框架支持各种经典的HPC和非HPC进程引导机制作为我们的通信框架。当我们在Cylon上试验我们的方法时，同样的技术可以用于将MPI通信带到其他不使用MPI内置进程管理方法的应用程序中。
2022-12-29 cs.DC
Holistic Slowdown Driven Scheduling and Resource Management for Malleable Jobs
在作业调度中，延展性的概念在很多年前就已经被探索过了。研究表明，可延展性提高了系统性能，但它在HPC中的使用从未得到广泛应用。原因是开发可延展应用程序的困难，以及HPC软件堆栈的不同层缺乏支持和集成。然而，在过去的几年中，由于硬件和工作负载的复杂性增加，作业调度的延展性变得越来越重要。在这种情况下，在独占模式下使用节点并不总是最有效的解决方案，因为在传统的HPC作业中，应用程序针对静态分配进行了高度调整，但对动态执行的灵活性为零。本文提出了一种新的全局的、动态的作业调度策略--慢化驱动策略（SD-Policy），它利用应用程序的可延展性作为降低作业平均慢化和响应时间的关键技术。SD-Policy基于回填和节点共享。它将延展性应用于运行作业，以便为将使用减少的资源集运行的作业腾出空间，只有当估计的减速比静态方法有所改善时。我们在SLURM中实现了SD-Policy，并在真实的生产环境中进行了评估，并使用模拟器使用高达198 K作业的工作负载。结果表明，更好的资源利用率与减少的最大完工时间，响应时间，减速，和能源消耗，分别高达7%，50%，70%，和6%，为评估的工作负载。
2020-02-19 cs.DC
Incisor: Ex Ante Cloud Instance Selection for HPC Jobs
Institute for Software Integrated Systems Vanderbilt University（范德堡大学软件集成系统研究所）
Incisor通过结合程序分析工具和LLM引导推理，自动选择适合HPC作业的云实例，提升作业运行效率和成本效益。
2026-04-27 cs.DC
