Evaluating Malleable Job Scheduling in HPC Clusters using Real-World Workloads
University of Kassel（卡塞尔大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本文通过真实工作负载评估HPC集群中可变作业调度的效率提升，发现可变作业能显著降低作业周转时间、makespan和等待时间，提高节点利用率。
2026-02-19 cs.DC
Enabling Loosely-Coupled Serial Job Execution on the IBM BlueGene/P Supercomputer and the SiCortex SC5832
我们的工作解决了使执行高度并行计算组成的松散耦合的串行作业，没有修改各自的应用程序，在大规模的系统。这种方法允许新的（可能更大的）应用程序类别利用IBM Blue Gene/P超级计算机和类似的新兴千万亿次架构等系统。我们在这里提出的I/O性能遇到的挑战，使这个模型实用，并显示结果使用两个大规模的系统，BG/P和SiCortex SC 5832上的微基准和实际应用。我们的初步基准测试表明，我们可以扩展到4096处理器的蓝色基因/P和5832处理器的SiCortex的高效率，并可以实现数千任务/秒的持续执行速率的并行工作负载的普通串行应用程序。我们测量了两个领域的应用，经济能源建模和分子动力学。
2008-08-26 cs.DC
Holistic Slowdown Driven Scheduling and Resource Management for Malleable Jobs
在作业调度中，延展性的概念在很多年前就已经被探索过了。研究表明，可延展性提高了系统性能，但它在HPC中的使用从未得到广泛应用。原因是开发可延展应用程序的困难，以及HPC软件堆栈的不同层缺乏支持和集成。然而，在过去的几年中，由于硬件和工作负载的复杂性增加，作业调度的延展性变得越来越重要。在这种情况下，在独占模式下使用节点并不总是最有效的解决方案，因为在传统的HPC作业中，应用程序针对静态分配进行了高度调整，但对动态执行的灵活性为零。本文提出了一种新的全局的、动态的作业调度策略--慢化驱动策略（SD-Policy），它利用应用程序的可延展性作为降低作业平均慢化和响应时间的关键技术。SD-Policy基于回填和节点共享。它将延展性应用于运行作业，以便为将使用减少的资源集运行的作业腾出空间，只有当估计的减速比静态方法有所改善时。我们在SLURM中实现了SD-Policy，并在真实的生产环境中进行了评估，并使用模拟器使用高达198 K作业的工作负载。结果表明，更好的资源利用率与减少的最大完工时间，响应时间，减速，和能源消耗，分别高达7%，50%，70%，和6%，为评估的工作负载。
2020-02-19 cs.DC
Components and Interfaces of a Process Management System for Parallel Programs
并行作业不同于顺序作业，需要不同类型的进程管理。我们在这里提出了一个进程管理系统的并行程序，如那些使用MPI编写的。我们称之为MPD（多用途守护程序）的系统的主要目标是可扩展。这意味着由数千个进程组成的交互式并行作业的启动是快速的，信号可以快速传递到进程，并且stdin，stdout和stderr可以直观地管理。我们的主要目标是由SMP集群组成的并行机，但该系统在更紧密集成的环境中也很有用。我们描述了MPD如何使更快的启动和更好的并行作业的运行时管理。我们展示了如何密切控制stdio可以支持一些方便的系统实用程序，甚至是并行调试器的简单实施。我们描述了一个简单但通用的接口，可用于将任何进程管理器从并行库中分离出来，我们使用该并行库来保持MPD与MPICH分离。
2001-02-21 cs.DC
Towards Accommodating Real-time Jobs on HPC Platforms
科学实验中不断增加的数据量需要使用高性能计算（HPC）资源进行数据分析。在许多科学领域，必须快速分析科学仪器和超级计算机模拟产生的数据。事实上，对准即时反馈的需求正在增长。科学家们希望利用一个实验的结果来指导下一个实验的选择，甚至改进单个实验的过程。当前的HPC系统通常是在策略下批调度的，在该策略中，到达的作业只有在足够的资源可用时才立即运行;否则，它将排队。这些系统很难支持实时的【形】作业。实时的【形】作业，为了满足他们的要求，有时应该抢占批处理作业和/或被安排在较早提交的批处理作业之前。中断实时的【形】作业也可能对系统利用率产生负面影响，特别是在涉及抢占/重新启动批处理作业时。我们首先探讨了几种现有的调度策略，使实时的【形】作业更有可能在适当的时间被调度。然后，我们严格制定的问题作为一个混合整数线性规划离线调度和开发新的调度算法在线调度。我们进行模拟研究，使用跟踪日志的米拉，IBM的BG/Q系统在阿贡国家实验室，以量化的实时的【形】作业的影响，批处理作业的性能为各种百分比的实时的【形】作业的工作量。我们提出了新的见解，从分组作业到不同类别的基础上运行时间和使用的节点数量和研究每个类别的性能。我们的研究结果表明，与10%的实时的【形】作业百分比，即时检查点结合我们的启发式可以提高35%的实时的【形】作业的减速，同时限制批处理作业的减速增加到10%。
2021-03-24 cs.DC
Leveraging Hardware Performance Counters for Predicting Workload Interference in Vector Supercomputers
本文针对SX-Aurora TSUBASA异构超级计算机中向量主机与向量引擎间的资源争用问题，提出利用硬件性能计数器和机器学习算法构建预测模型，以准确分类和预测工作负载干扰，为优化作业调度和资源分配提供依据。
2024-10-17 cs.DC
Virtualizing the Stampede2 Supercomputer with Applications to HPC in the Cloud
在得克萨斯州高级计算中心（TACC）开发的方法进行了描述和演示，用于自动化的弹性，虚拟集群模拟冲压2高性能计算（HPC）系统的建设。该集群可以在几分钟内在Jetstream自助云系统上构建和/或扩展，并共享原始Stampede 2的许多属性，包括：i）通用身份管理，ii）访问相同的文件系统，iii）等效的软件应用程序堆栈和模块系统，iv）通过Slurm的类似作业调度界面。我们测量了我们的虚拟集群上的一些常见的科学应用程序的解决方案的时间与Stampede 2上的等效运行，并开发了性能相似或可接受的应用程序配置文件。对于这样的应用程序，虚拟集群提供了一种有效的“云爆发”形式，有可能显著改善总体周转时间，特别是当Stampede 2遇到长队列等待时间时。此外，虚拟集群可用于测试和调试，而不会直接影响Stampede 2。最后，我们讨论了科学网关如何利用TACC Jobs API Web服务来透明地向最终用户集成这种云爆发技术。
2018-07-12 cs.DC
NBI-Slurm: Simplified submission of Slurm jobs with energy saving mode
Quadram Institute Bioscience（夸德姆研究所生命科学）；Center for Microbial Interactions（微生物相互作用中心）
NBI-Slurm通过提供Perl模块和命令行工具简化SLURM集群作业管理，支持图形界面、工具封装及节能模式，帮助科研机构减少计算碳足迹。
2026-04-06 cs.DC
Plan-based Job Scheduling for Supercomputers with Shared Burst Buffers
HPC平台中计算和I/O性能之间的差距不断扩大，再加上新型NVMe存储设备（NVRAM）的发展，导致突发缓冲区概念的出现-一种逻辑上位于随机存取主存储器和并行文件系统之间的中间持久性存储层。尽管现实世界的体系结构以及研究概念的发展，资源和作业管理系统，如Slurm，只提供边际支持调度作业与突发缓冲区的要求，特别是忽略突发缓冲区时，中断。我们研究了突发缓冲区预留对在线作业调度的总体效率的影响，常见的算法：先来先服务（FCFS）和最短的作业优先（SJF）EASY-EQUIPMENT。我们评估的算法在一个详细的模拟与I/O的副作用。我们的研究结果表明，缺乏突发缓冲区预留的调度可能会显着恶化。我们还表明，这些算法可以很容易地扩展到支持突发缓冲区。最后，我们提出了一个突发缓冲区感知的计划为基础的调度算法与模拟退火优化，提高了超过20%的平均等待时间和平均有界减速27%相比，突发缓冲区感知的SJF-EASY-ESTA。
2022-01-08 cs.DC
Venn: Resource Management for Collaborative Learning Jobs
University of Michigan（密歇根大学）
提出Venn，一种协作学习资源管理器，通过形式化交集资源调度问题并设计感知争用的调度与匹配启发式，高效调度短暂异构设备，将平均作业完成时间提升高达1.88倍。
2025-04-30 cs.DC cs.LG
Toward Real-time Analysis of Experimental Science Workloads on Geographically Distributed Supercomputers
科学基础设施的大规模升级正在推动数据速度的上升，同时刺激采用越来越多的数据密集型分析。虽然下一代百亿亿次超级计算机承诺为I/O密集型工作流提供强有力的支持，但HPC在很大程度上仍未被现场实验所利用，因为在面对稀缺的仪器时间时，数据传输和不同的批处理策略是禁止的。为了弥合这一鸿沟，我们引入了Balsam：一个分布式编排平台，使边缘工作流能够安全有效地触发用户管理的HPC执行站点联合会的分析任务。我们描述的香脂服务，它提供了一个工作流管理API的体系结构，和分布式站点，提供资源和调度可扩展的，容错的执行。我们展示了Balsam如何有效地将两个DOE光源的实时的【形】分析同时扩展到三台超级计算机（Theta，Summit和Cori）上，同时保持按需计算的低开销，并提供Python库与现有的数据分析工具生态系统无缝集成。
2021-07-02 cs.DC
The EU DataGrid Workload Management System: towards the second major release
在欧洲数据网格项目的第一阶段，“工作量管理”包（WP 1）实现了一个工作原型，为用户提供了一个环境，允许定义和提交作业到网格，并能够找到和使用这些作业的"最佳“资源。应用程序用户现在已经体验了大约一年的工作负载管理系统的第一个版本。所获得的经验、用户收到的反馈以及插入实现新功能的新组件的需要，触发了对现有架构的更新。对这一经过修订和补充的工作量管理系统作了说明。
2003-06-13 cs.DC
Adaptive parallelism with RMI: Idle high-performance computing resources can be completely avoided
在实践中，并行计算作业的标准调度几乎总是留下可用硬件的显著部分未被使用，即使许多作业仍在队列中等待。原因很简单，这些等待作业的资源请求是固定的，与可用的、未使用的资源不匹配。然而，利用替代的但现有的和完善的技术，可以实现不需要预设的固定资源的完全自动化的自适应并行。在这里，我们证明了这样的自适应并行程序确实可以填补所有这样的调度差距，即使在现实生活中的情况下，大型超级计算机。
2019-02-01 cs.DC physics.chem-ph physics.comp-ph
Differential Approximation and Sprinting for Multi-Priority Big Data Engines
今天基于MapReduce范式的大数据集群能够执行具有多个优先级的分析作业，提供差异延迟保证。来自生产系统的跟踪表明，高优先级作业的延迟优势是以低优先级作业的严重延迟退化以及低优先级作业的重复驱逐和重新执行造成的巨大资源浪费为代价的。我们提倡一种新的资源管理设计，利用差分近似和冲刺的想法。近似和冲刺的独特组合避免了低优先级作业的驱逐以及随之而来的延迟退化和资源浪费。为此，我们设计、实现并评估了DiAS，这是Spark处理引擎的一个扩展，通过丢弃任务来支持放气作业，并支持冲刺作业。我们的实验与两个和三个优先级的场景表明，DiAS实现了高达90%和60%的延迟降低低优先级和高优先级的工作，分别。DiAS不仅消除了资源浪费，而且（令人惊讶地）降低了高达30%的能耗，对于低优先级的作业，精度损失很小。
2019-09-16 cs.DC
An Elastic Job Scheduler for HPC Applications on the Cloud
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
提出基于优先级的弹性作业调度器，利用Charm++可迁移对象特性在Kubernetes上动态调整HPC作业规模，最大化集群利用率并减少高优先级作业响应时间，相比静态调度器性能显著提升。
2025-10-16 cs.DC
Energy-aware Allocation of Graph Jobs in Vehicular Cloud Computing-enabled Software-defined IoV
软件定义的车联网（SDIoV）已经成为下一代汽车运输系统实现灵活和全面的资源管理的一个有前途的范例。本文研究了一种基于车载云计算的SDIoV框架，将传输功率和图作业的联合分配问题转化为一个非线性整数规划问题。为了有效地解决这个问题，提出了一种基于结构保持的两阶段分配方案，将模板搜索与功率分配相结合。具体而言，一个层次树为基础的随机子图同构机制，在第一阶段中应用，通过识别潜在的映射（模板）之间的组件的图形作业和服务提供商。第二阶段采用基于结构保持模拟退火的功率分配算法，以实现作业完成时间和能量消耗之间的折衷。大量的仿真进行了验证所提出的算法的性能。
2020-04-07 cs.DC
Scheduler Technologies in Support of High Performance Data Analysis
作业调度器是可伸缩计算基础设施的关键组件。它们协调在计算基础设施上执行的所有工作，并直接影响系统的有效性。最近，工作负载已经多样化，从长时间运行，同步并行模拟，包括短时间，独立并行高性能数据分析（HPDA）的工作。这些作业类型中的每一种都需要不同的功能和调度程序调优才能有效运行。已经开发了许多并行计算器来解决作业工作负载和计算系统异构性。高性能计算（HPC）调度器被设计为在超级计算机上调度大规模科学建模和模拟。大数据调度器旨在在集群上调度数据处理和分析工作。本白皮书比较和对比了HPC和大数据处理器的功能，重点是同时适应科学计算和高性能数据分析工作负载。作业延迟对于可扩展计算基础设施的有效利用至关重要，本文介绍了几个当前集群的作业启动基准测试结果：Slurm，网格引擎之子，Mesos和Yarn。我们发现，所有这些调度器都具有较低的短期运行作业的利用率。此外，采用多级调度显着提高了利用率在所有的集群。
2016-07-22 cs.DC
Managing Deadline-constrained Bag-of-Tasks Jobs on Hybrid Clouds
将作业外包给公共云是解决本地云资源不足时满足峰值资源需求问题的一种经济有效的方法。在本文中，我们研究了在混合云上管理有期限约束的任务袋作业。我们提出了一个二元非线性规划（BNP）问题来模拟混合云管理，当本地资源足以满足作业的最后期限约束时，本地云/集群中的物理机（PM）的利用率最大化，而当本地资源不足以满足作业的最后期限约束时，公共云的租金成本最小化。为了在多项式时间内求解此BNP问题，提出了一种启发式算法.其主要思想是将最接近其截止期的任务分配给当前核，直到该核在截止期内无法完成任何任务。当没有可用的核心时，该算法增加一个可用的PM具有最大的容量或租用一个新的虚拟机具有最高的性价比。大量的实验结果表明，我们的启发式算法节省了16.2%-76%的租金成本，提高了47.3%-182.8%的资源利用率满足期限约束相比，第一次适合减少算法。
2016-04-28 cs.DC
Duration-Informed Workload Scheduler
University of Bologna（博洛尼亚大学）
本文提出一种增强型作业调度器，通过机器学习预测作业持续时间，减少平均等待时间11%，提升用户体验和系统效率。
2026-03-07 cs.AI cs.DC
A new job migration algorithm to improve data center efficiency
计算中心的主要问题之一是资源利用不足。不断增长的计算能力的需求必然需要更复杂的方法在管理的计算资源，特别是注意批处理队列系统调度。在可用于串行单核进程和并行多核作业的异构批处理队列系统中，可能发生的是，组成集群的一个或多个计算节点未被完全占用，运行低于其实际能力的作业数量。一个典型的情况是，多个单核作业在不同的多核服务器上运行，而更多的并行作业（需要主机的所有可用内核）排队。在运行时执行的作业重排能够释放额外的资源，以便托管新进程。提出了一种有效的方法来提高计算资源的利用率。
2012-04-30 cs.DC
DMRlib: Easy-coding and Efficient Resource Management for Job Malleability
Universitat Jaume I（豪梅一世大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
DMRlib通过提供简洁的MPI-like语法和预定义通信模式，简化了可变性应用的开发，并通过实验验证了其在资源利用率和全局吞吐量上的显著提升。
2026-04-29 cs.DC
Scale Ratio Tuning of Group Based Job Scheduling in HPC Systems
本文研究HPC作业分组调度中规模比例参数对工作负载管理器效率指标的影响，通过基于Alea的模拟模型进行多组实验，为管理员在相互矛盾的效率指标间取得平衡提供调优依据。
2023-11-29 cs.DC
Enabling and Optimizing Pilot Jobs using Xen based Virtual Machines for the HPC Grid Applications
采用虚拟化的主要动机是资源隔离、容量管理和资源定制：隔离和容量管理允许提供商将用户与站点隔离并控制其资源使用，而定制允许最终用户轻松地将所需环境投影到各种站点上。已经采取了各种方法来集成虚拟化和网格技术。在本文中，我们提出了一种方法，结合虚拟化现有的软件基础设施，如试点工作与资源提供商的一部分最小的变化。
2009-06-05 cs.DC cs.PF cs.SE
MultiCloud Resource Management using Apache Mesos for Planned Integration with Apache Airavata
我们讨论了初步的结果和我们计划的方法，将Apache Mesos的资源管理，这将使设计和开发的调度策略的Apache Airavata的工作，使他们可以在多个云，其中几个虚拟机没有公共IP地址启动。我们目前的初步工作和下一步的设计使用Apache Mesos的元调度程序。Apache Mesos提供了跨多个云和集群的可用资源的统一视图。我们的元调度器可以潜在地检查和识别多个小作业由同一科学家提交的情况，然后将作业从同一社区帐户或用户重定向到不同的集群。我们的方法使用NAT防火墙使节点/虚拟机，没有公共IP，可见的Mesos的统一视图。
2020-10-05 cs.DC cs.PF
Characterizing Co-located Datacenter Workloads: An Alibaba Case Study
仓库规模的云计算中心将具有不同且通常互补特征的工作负载放在一起，以提高资源利用率。为了更好地理解在提供有质量保证的资源编排和用户体验的同时管理如此复杂的异构工作负载所面临的挑战，我们分析了阿里巴巴的协同工作负载跟踪，这是第一个公开的数据集，其中包含有关每个作业类别的精确信息。两种类型的工作负载--长时间运行的、面向用户的、容器化的生产作业，以及瞬态的、高度动态的、非容器化的、非生产批处理作业--正在一个由1313台机器组成的共享集群上运行。我们的多方面分析揭示了我们认为对从事集群管理系统的系统设计人员和IT从业人员有用的见解。
2018-08-15 cs.DC
Just-in-Time Aggregation for Federated Learning
随着联邦学习（FL）作业数量和规模的不断增加，需要对聚合进行资源高效的调度和管理，以实现云托管聚合的经济性。现有的FL研究主要集中在FL算法的设计和优化上，而对聚集的有效性研究较少。现有的FL平台通常采用主动等待模型更新的聚合器。这浪费了云上的计算资源，特别是在大规模的FL设置中，其中各方间歇性地可用于训练。在本文中，我们提出了一种新的FL聚合范式-“即时”（JIT）聚合，利用FL作业的独特属性，特别是模型更新的周期性，尽可能推迟聚合，并为其他FL作业或其他数据中心工作负载释放计算资源。我们描述了一种新的方式来优先考虑FL工作的聚合，并使用多个数据集，模型和FL聚合算法，我们的技术可以减少资源使用60+\%相比，在现有的FL平台使用的渴望聚合。我们还证明了使用JIT聚合对FL作业的延迟的开销和影响可以忽略不计。
2022-08-20 cs.DC
Dynamic Resource Management in Production HPC Clusters
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
针对生产HPC集群中刚性固定分配的问题，提出一种基于MPI可塑性的动态资源管理方法，通过DMR框架实现非侵入式集成，在三个TOP500超算上验证了与静态基线相当的性能并显著减少节点小时消耗。
2026-07-22 cs.DC
Extending SLURM for Dynamic Resource-Aware Adaptive Batch Scheduling
随着对功率预算的日益增长的限制和增加的硬件故障率，未来的艾级系统的操作面临着几个挑战。为此，HPC社区积极研究了通过启用可延展作业来实现资源感知和适应性。可延展作业可以在运行时更改其计算资源，并可以显著提高HPC系统性能。然而，由于流行的并行编程范例（如MPI）的刚性，以及缺乏对批处理系统中动态资源管理的支持，延展性作业在很大程度上没有实现。在本文中，我们扩展了SLURM批处理系统，以支持可延展作业的执行和批调度。可延展的应用程序是使用一种新的自适应并行范式称为侵入式MPI，它扩展了MPI标准，以支持在运行时的资源自适应。我们提出了两个可延展的作业调度策略，以支持性能感知和功耗感知的动态重配置决策在运行时。我们实施的战略，在SLURM和评估他们的生产HPC系统。我们的性能感知调度策略的结果表明，与其他调度策略相比，在最大完工时间，平均系统利用率，平均响应和等待时间的改善。此外，我们展示了动态电力走廊管理使用我们的功率感知策略。
2021-05-20 cs.DC cs.SE
Analysis and Clustering of Workload in Google Cluster Trace based on Resource Usage
在过去的几年里，云计算已经引起了商业组织、研究团体、开发人员和其他个人的兴趣。为了推进数据管理领域的研究和这些数据的处理，我们需要基准数据集和可公开访问的免费数据。Google在2011年5月发布了一个11 k机器集群的跟踪，称为Google Cluster Trace。这个跟踪包含了大约29天的单元格信息。本文提供了这个跟踪中的资源使用和需求分析，并试图深入了解这种类似于云环境中的生产跟踪。本文的主要贡献包括基于资源使用情况、工作流模式的聚类以及基于k-means聚类的工件分类等，虽然已有较早的工作对这一轨迹进行了分析，但我们的分析提供了几个新的发现，如生产轨迹中的工件是三峰的，长工件类型中的任务存在对称性
2015-01-07 cs.DC
Complexity and Scale in AI-Assisted Workflow Management: A Federated Learning Case Study
RENCI, University of North Carolina at Chapel Hill, NC, USA（RENCI，北卡罗来纳大学教堂山分校）；Information Sciences Institute, University of Southern California, Marina del Rey, CA, USA（信息科学研究所，南加州大学马里纳德尔雷耶斯分校）
提出一种AI辅助方法，通过规范驱动的工作流生成、自动化调试和分布式执行，结合Pegasus与MCP层，实现从自然语言到大规模科学工作流的端到端管理。
2026-09-09 cs.AI cs.DC cs.SE
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California（南加州大学）
从便携式嵌入式系统到计算机集群系统，能耗是设计计算设备时最关键的问题之一。此外，在过去的十年中，集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序，其中的性能是非常重要的。然而，由于实时工作负载的不同特点，开发通用的作业调度解决方案，有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中，受到将深度强化学习应用于资源管理问题的最新进展的启发，我们提出了Deep-EAS调度器，该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略，而无需最初了解任何关于手头调度任务的信息。结果表明，Deep-EAS收敛速度快，性能优于标准的手动调整算法，特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
Revisiting Reliability in Large-Scale Machine Learning Research Clusters
FAIR at Meta（Meta FAIR研究院）
本文通过分析两个大规模ML集群中400万个作业和1.5亿GPU小时的数据，建立故障模型并提出有效训练时间比率指标，为提升AI超算集群可靠性提供优化方向。
2025-02-06 cs.DC cs.LG
Diamond Agent: Agentic Control of Federated HPC Resources as a Service
Rutgers University（罗格斯大学）；University of Rochester（罗切斯特大学）；National Center for Supercomputing Applications（国家超级计算应用中心）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
Diamond Agent通过类型化技能和事件驱动机制，实现跨异构HPC集群的智能工作流执行，将中位额外完成时间降低10.5倍。
2026-09-09 cs.AI cs.DC
Advanced Scheduling Strategies for Distributed Quantum Computing Jobs
Tyndall National Institute（廷德尔国家研究所）；University of Parma（帕尔马大学）
本文提出并评估了多种调度策略，以优化分布式量子计算任务的资源利用和执行效率，针对不同任务类型和网络条件进行比较。
2026-08-03 cs.DC cs.PF quant-ph
Fermilab's Transition to Token Authentication
费米实验室率先在生产系统中从X.509证书转向基于JWT的令牌认证，更新了作业提交、文件传输等组件，并保留代理证书以兼容旧站点。
2025-03-31 cs.DC
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中，我们将讨论为什么现有的元调度层次结构有时是不够的网格系统，由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载，这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型，并使用案例研究和数学建模进行评估。我们详细介绍了DIANA（数据密集型和网络意识）调度算法和队列管理系统，以应付负载分布和支持批量作业调度。我们证明，这样的系统是有益的动态，分布式和自组织的资源管理，并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
Hadoop on HPC: Integrating Hadoop and Pilot-based Dynamic Resource Management
传统上，诸如超级计算机之类的高性能计算平台被设计成满足科学应用的计算需求。因此，他们被设计为数据的生产者而不是消费者。Apache Hadoop生态系统已经发展到满足数据处理应用程序的要求，并解决了HPC平台的许多限制。然而，有一类科学应用程序需要传统高性能计算环境和Apache Hadoop生态系统的集体能力。例如，生物分子动力学、基因组学和网络科学等科学领域需要将传统计算与基于Hadoop/Spark的分析相结合。我们调查的关键问题，如何提出的能力，这两个计算环境，这样的科学应用。而这个问题需要在多个层次上的答案，我们专注于资源管理中间件的设计，可能会支持这两个需求。我们建议扩展的试点抽象提供一个统一的资源管理层。这是一个重要的步骤，允许应用程序将HPC阶段（例如模拟）集成到数据分析中。许多超级计算中心已经开始正式支持Hadoop环境，无论是在专用环境中还是使用myHadoop等工具的混合部署中。这通常涉及许多需要掌握的内在的、特定于环境的细节，并且经常淹没概念性问题，例如：如何最好地耦合HPC和Hadoop应用程序阶段？如何探索运行时的权衡（数据位置与数据移动）？本文提供了概念上的理解和实际的解决方案，以集成使用HPC和Hadoop环境。
2016-01-31 cs.DC
Job Management and Task Bundling
高性能计算通常在稀缺和共享的计算资源上执行。为了确保计算机能够充分利用其容量，管理员通常会激励大型工作负载，而这些工作负载在较小的系统上是不可能的。在格点量子色动力学中的测量经常不能按机器大小的工作量进行缩放。通过将任务捆绑在一起，我们可以创建适合巨大分区的大型作业。我们讨论了METAQ和mpi_jm，这是一款用于动态分组计算任务的软件，可以智能地回填以消耗空闲时间，而无需对用户当前的工作流或可执行文件进行实质性更改。
2017-10-05 cs.DC hep-lat physics.comp-ph
Energy-Efficient Real-Time Job Mapping and Resource Management in Mobile-Edge Computing
针对MEC中受截止期限约束且存在通信与计算争用的作业卸载问题，联合调度、资源分配与设备移动性，提出离线近似算法LHJS和在线启发式算法LBS以最大化节能。
2025-06-15 cs.DC
Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks
UCL（伦敦大学学院）
从自然语言处理到基因组测序，大规模机器学习模型正在为广泛的领域带来进步。其中许多模型太大，无法在单台机器上训练，而是必须分布在多个设备上。这激发了能够处理这些任务的新的计算和网络系统的研究。特别是，最近的工作集中在开发管理计划，决定如何分配分布式资源，使一些整体目标，如最小化的作业完成时间（JCT），是最优化的。然而，这样的研究忽略了明确考虑多少工作应该分配，通常假设最大分配是可取的。在这项工作中，我们表明，最大的并行化是次优的用户关键指标，如吞吐量和阻塞率。为了解决这个问题，我们提出了PAC-ML（分区异步计算与机器学习）。PAC-ML利用图神经网络和强化学习来学习划分计算图的程度，以使满足任意用户定义的JCT要求的作业数量最大化。在最近提出的光学架构上的五个真实深度学习计算图的实验中，在四个用户定义的JCT需求分布中，我们证明了PAC-ML在动态作业到达设置中的阻塞率比大多数先前作品使用的规范最大并行化策略低56.2%。
2023-01-31 cs.DC cs.LG
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天，大多数现代网格软件都满足了这一责任，并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的，用户几乎无法控制整个过程。为了解决这个问题，需要一个更具交互性的服务和中间件集，为用户提供更多的信息，网格天气，并给他们更多的控制决策过程。本文介绍了一组服务，已开发的网格分析环境（GAE）正在合作开发的加州理工学院，NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务，它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务，以表明他们确实导致了一个更加互动和强大的系统，以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
PRISM: Dynamic Primitive-Based Forecasting for Large-Scale GPU Cluster Workloads
Southwest Jiaotong University（西南交通大学）；Engineering Research Center of Sustainable Urban Intelligent Transportation（可持续城市智能交通工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
PRISM通过结合字典驱动的时间分解与自适应频谱细化，为大规模GPU集群提供动态预测，显著减少突发阶段误差，提升AI平台资源管理效率。
2026-03-26 cs.DC
Resource Optimization with MPI Process Malleability for Dynamic Workloads in HPC Clusters
针对HPC环境中可延展性资源管理技术落地难的问题，研究扩展DMR框架并整合Proteo框架的MaM模块方法，提出合并MPI通信子、异步重配置等新策略，经超级计算机验证可显著缩短工作负载完成时间、提升资源利用率。
2025-06-17 cs.DC
Scylla: A Mesos Framework for Container Based MPI Jobs
开源云技术为创建定制的计算节点集群以调度任务和管理资源提供了广泛的支持。在用于科学研究的云基础设施（如Jetstream和Chameleon）中，用户可以完全控制分配给他们的虚拟机（VM）。重要的是，用户可以获得对VM的root访问权限。这为HPC用户提供了一个试验新的资源管理技术的机会，如Apache Mesos，这些技术具有经过验证的可扩展性、灵活性和容错能力。为了简化HPC工具在云上的开发和部署，容器化技术已经成熟，并在科学界引起了兴趣。特别是，几个著名的科学代码库现在都有公开的Docker容器。虽然Mesos支持Docker容器单独执行，但它不支持并行或分布式应用程序的容器内部通信或容器编排。在本文中，我们介绍了Mesos框架Scylla的设计、实现和性能分析，Scylla将Mesos与Docker Swarm集成在一起，以便在从Chameleon云[1]获得的VM集群上编排MPI作业。Scylla使用Docker Swarm进行容器化任务（MPI进程）之间的通信，使用Apache Mesos进行资源池和分配。Scylla允许一种策略驱动的方法，根据每个应用程序的CPU、内存和网络吞吐量需求来确定容器应该如何在节点上分布。
2019-05-20 cs.DC cs.PF
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University（南洋理工大学）；SenseTime（商汤科技）
现代GPU开发中心对于在研究社区和行业中提供深度学习（DL）模型和服务至关重要。在运营数据中心时，资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先，我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度，我们发现了一些有趣的结论，这些结论可以促进集群系统的设计。其次，我们引入了一个通用框架，它基于历史数据管理资源。作为案例研究，我们设计：一个准最短的服务优先调度服务，它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务，提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
Optimizing egalitarian performance in the side-effects model of colocation for data center resource management
在数据中心中，多达数十个任务托管在单个物理机器上。机器的使用效率提高了，但任务的性能却下降了，因为托管的任务会争夺共享资源。由于任务是异构的，因此产生的性能依赖关系是复杂的。在我们以前的工作[18]中，我们提出了一个新的组合优化模型，该模型使用任务的两个参数-其大小和类型-来表征任务如何影响分配给同一台机器的其他任务的性能。本文研究了平等主义优化目标：最大化最坏性能。该问题推广了经典的多处理机最大完工时间最小化问题（P|| Cmax）。我们证明了多项式可解的多处理器调度的变种是NP难的，难以近似时，类型的数量是不恒定的。对于一个常数的类型，我们提出了一个PTAS，一个快速近似算法，和一系列的算法。我们模拟算法的实例来自跟踪谷歌集群之一。与求解P问题的算法相比，具有作业类型意识的算法具有更好的性能||Cmax。类型的概念使我们能够对使用标准组合优化方法所导致的性能退化进行建模。类型增加了一层额外的复杂性。然而，我们的结果-近似算法和良好的平均情况下的性能-表明类型可以有效地处理。
2017-08-28 cs.DC
Container-based Cluster Orchestration Systems: A Taxonomy and Future Directions
容器能够实现轻量级的环境和性能隔离，快速灵活的部署以及细粒度的资源共享，除了硬件虚拟化之外，还在更好的应用程序管理和部署方面获得了普及。它们正被组织广泛用于在专有集群或私有云和公共云数据中心中部署来自现代应用程序（如Web服务、大数据和物联网）的日益多样化的工作负载。这导致了容器编排平台的出现，这些平台旨在管理大规模集群中容器化应用程序的部署。这些系统能够在数千台机器上运行数十万个作业。为了有效地做到这一点，他们必须解决几个重要的挑战，包括可伸缩性，容错和可用性，有效的资源利用率，以及请求吞吐量最大化等。本文研究了这些管理系统，并提出了一个分类，确定不同的机制，可用于满足上述挑战。建议的分类，然后应用到各种国家的最先进的系统，导致识别开放的研究挑战和差距，在文献中打算作为未来的研究方向。
2018-11-02 cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Malleable Molecular Dynamics Simulations with GROMACS and DMR
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；KTH Royal Institute of Technology, Stockholm, Sweden（斯德哥尔摩皇家理工学院）
本文通过将DMR中间件集成到GROMACS中，实现分子动力学模拟的动态调整，以适应突发工作负载，减少资源闲置和成本。
2026-05-14 cs.DC
Deep Back-Filling: a Split Window Technique for Deep Online Cluster Job Scheduling
本文针对深度强化学习在线集群作业调度中的窗口停滞问题，提出分割窗口技术，使智能体同时观测队列头部和尾部，从而消除窗口停滞，显著降低平均作业等待时间和队列长度，并支持更小窗口和更快训练。
2024-01-18 cs.DC
ASA -- The Adaptive Scheduling Algorithm
针对 HPC 中预分配浪费资源与动态分配可能延长工作流完成时间的矛盾，本文提出具有收敛保证的 ASA，通过预测队列等待并提前请求资源变更，在两台超级计算机上显著降低等待与完成时间。
2024-01-18 cs.DC
Online Job Failure Prediction in an HPC System
CINECA（奇内卡国家计算中心）
本研究针对HPC系统中的作业失败预测问题，提出结合经典机器学习与NLP的在线预测方法，在提交时识别高风险作业，以减少资源浪费并提升系统性能与能效，实验验证了其有效性。
2023-06-30 cs.AI cs.DC cs.LG
Fifer: Tackling Underutilization in the Serverless Era
数据中心正在见证基于微服务的应用程序采用无服务器功能的快速增长。这些微服务中的绝大多数通常跨度不到一秒，具有严格的SLO要求，并根据应用程序的要求链接在一起。上述特征引入了一系列新的挑战，特别是在容器配置和管理方面，因为在无服务器平台中采用的最先进的资源管理框架倾向于关注基于微服务的应用程序，类似于传统的单片应用程序。因此，这些框架遭受微服务不可知的调度和巨大的容器过度供应，特别是在工作负载波动期间，从而导致资源利用率低下。在这项工作中，我们使用Kubernetes和Brigade无服务器框架管理的多节点集群上的各种工作负载来量化上述缺点。为了解决这些问题，我们提出了\emph{Fifer} -一个自适应资源管理框架，以有效地管理无服务器平台上的功能链。其关键思想是使\emph{Fifer}（i）通过使用功能感知的容器缩放和智能请求调度来有效地将作业装箱到更少的容器，从而使其具有利用率意识;（ii）同时，通过主动生成容器以避免冷启动，从而使其符合SLO，从而最小化整体响应延迟。结合这些优势，与无服务器平台采用的最先进的路由器相比，\emph{Fifer}将容器利用率和集群范围的能耗分别提高了4倍和31%，而不会影响SLO。
2020-08-28 cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象，Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行，该“启动器”（i）确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行，（ii）不需要修改用户应用程序，（iii）容忍任务级故障并提供若干错误恢复选项，（iv）存储起源数据（v）支持动态工作流，其中在运行时创建或终止任务。在这里，我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性：深度神经网络的超参数优化和高通量单点量子化学计算。我们发现，灵活的作业包装和自动化调度与动态（试点管理）执行的独特组合，有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少，加快了工作流的开发和执行。
2019-09-18 cs.DC
