Workload Classification & Software Energy Measurement for Efficient Scheduling on Private Cloud Platforms
目前,为基于私有云的数据中心创建节能工作负载调度程序存在许多障碍。首先,必须研究不同工作负载和功耗之间的关系。其次,当前用于提供能量使用统计的基于硬件的解决方案不适合于仓库规模的数据中心,其中低成本和可扩展性是期望的属性。在本文中,我们讨论了私有云平台中不同工作负载对服务器功耗的影响。当服务器被赋予支配各种资源(CPU、内存、硬盘和网络)的任务时,我们显示出明显的能耗差异。然后,我们使用这种洞察力来开发CloudMonitor,这是一种软件实用程序,在开发动态功耗模型的“训练阶段”之后,能够通过监视工作负载的资源消耗来进行>95%的准确功耗预测。
2011-05-12 cs.DC
Evaluating Malleable Job Scheduling in HPC Clusters using Real-World Workloads
University of Kassel(卡塞尔大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文通过真实工作负载评估HPC集群中可变作业调度的效率提升,发现可变作业能显著降低作业周转时间、makespan和等待时间,提高节点利用率。
2026-02-19 cs.DC
Practical Size-based Scheduling for MapReduce Workloads
我们提出了Hadoop公平逗留协议(HFSP)调度器,它实现了基于大小的调度纪律的Hadoop。基于大小的调度规程的好处在各种环境(计算机网络、操作系统等)中得到了很好的认可,然而,它们对于诸如Hadoop的系统的实际实现提出了许多重要的挑战。与HFSP,这是一个开源项目,我们解决有关的问题,工作规模估计,资源管理和研究各种抢占策略的影响。虽然HFSP的基础架构是适合于任何基于大小的调度纪律,在这项工作中,我们重新审视和扩展的公平逗留协议,它解决了相关的问题,影响FIFO,处理器共享和一系列基于大小的纪律的工作饥饿。在我们的实验中,我们将HFSP与标准Hadoop集群进行了比较,发现平均作业逗留时间(一个衡量作业在系统中花费的总时间的指标,包括等待和服务时间)显着减少,这是我们根据文献中的生产跟踪生成的实际工作负载。
2013-05-03 cs.DC
Sustainable Graph Analytics Workload Scheduling with Evolutionary Reinforcement Learning in Edge-Cloud Systems
Colorado State University(科罗拉多州立大学);IIIT Guwahati(古瓦哈提信息与技术研究所);Hewlett-Packard Labs(惠普实验室)
本文提出MERSEM框架,通过进化搜索与强化学习结合,优化边缘-云计算系统中图分析工作负载的调度,减少SLA违规和碳排放。
2026-05-13 cs.DC
A Case Study on Job Scheduling Policy for Workload Characterization and Power Efficiency
随着云计算的日益普及,云计算中心变得比以往任何时候都更加重要。典型的数据中心通常由大量通过网络连接的同构或异构服务器组成。不幸的是,这些服务器和网络设备往往利用率低,耗电量大。为了提高硬件资源的利用率并使其在嵌入式系统中具有功率效率,工作负载表征和分析是基础。在本文中,我们的特点和分析的作业到达率,到达时间,作业长度,功耗,和温度耗散在现实世界中的数据中心,通过使用统计方法。从表征中,我们发现工作负载中的独特功能可以用于优化调度中心的资源利用率和功耗
2014-05-14 cs.DC
OS Scheduling Algorithms for Memory Intensive Workloads in Multi-socket Multi-core servers
主要的芯片制造商都推出了多核微处理器。由这些处理器构建的多插槽系统通常用于运行各种服务器应用程序。根据系统上运行的应用程序,远程内存访问可能会影响整体性能。本文提出了一种新的操作系统(OS)调度优化,以减少这种远程内存访问的影响。通过观察每个调度量子中每个线程的本地和远程DRAM访问模式并应用不同的算法,我们为下一个量子提出了一个新的线程调度。这种新的调度可能会减少下一个调度量的远程DRAM访问,并提高整体性能。我们提出了三个这样的新算法的不同复杂度的算法,这是一个适应匈牙利算法。我们使用了三种不同的合成工作负载来评估算法。我们还对不同的DRAM延迟进行了敏感性分析。我们表明,这些算法可以减少DRAM访问延迟高达55%,这取决于所使用的算法。从算法中获得的好处取决于它们的复杂性。一般来说,复杂性越高,收益越高。匈牙利算法产生最优解。我们发现,四分之二的算法提供了一个很好的权衡性能和复杂性的工作负载,我们研究。
2018-09-23 cs.DC
Near Linear OS Scheduling Optimization for Memory Intensive Workloads on Multi-socket Multi-core servers
多插槽多核服务器用于解决计算中的一些重要问题。远程DRAM访问可能影响在此类服务器上运行的某些应用程序的性能。本文提出了一种新的近线性操作系统(OS)调度算法,以减少这种远程DRAM访问的影响。通过跟踪本地和远程DRAM访问的数量,使用性能计数器,为每个线程并应用此算法,我为下一个量子提出了一个新的线程调度。这种新的调度减少了远程DRAM访问并提高了整体性能。我还证明了这个算法在最好的情况下实际上是线性的。由于该算法是近线性的,因此它适合于在实际操作系统中实现。
2020-08-06 cs.DC
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题,提出基于MILP和启发式方法的自动化调度框架,可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
OS Scheduling Algorithms for Improving the Performance of Multithreaded Workloads
主要的芯片制造商都推出了多核微处理器。从这些处理器构建的多插槽系统用于运行各种服务器应用程序。然而,据我们所知,当前的商业操作系统没有针对在这样的服务器上运行的多线程工作负载进行优化。缓存到缓存传输和远程内存访问会影响此类工作负载的性能。本文提出了一种统一的方法来优化操作系统调度算法的缓存到缓存传输和远程DRAM访问,也考虑到缓存的亲和力。通过观察每个调度量子中每个线程的本地和远程缓存到缓存传输以及本地和远程DRAM访问的模式,并应用不同的算法,我们提出了一个新的线程计划,为下一个量子考虑缓存亲和力。这种新的调度减少了下一个调度量的远程缓存到缓存传输和远程DRAM访问,并提高了整体性能。我们提出了两种算法的不同复杂度的优化缓存到缓存传输。其中之一是一种新的算法,该算法相对简单,并且在与优化远程DRAM访问的算法相结合时性能更好。为了优化远程DRAM访问,我们提出了两种算法。虽然这两种算法在算法复杂度上有所不同,但我们发现,对于我们的工作负载,它们的性能同样出色。我们使用三种不同的合成工作负载来评估这些算法。我们还进行了灵敏度分析,相对于不同的远程缓存到缓存传输延迟和远程DRAM延迟。我们表明,这些算法可以减少整体延迟高达16.79%,这取决于所使用的算法。
2018-10-21 cs.DC
Analysis of Global Fixed-Priority Scheduling for Generalized Sporadic DAG Tasks
我们考虑全局固定优先级(G-FP)的并行任务调度,其中每个任务表示为一个有向无环图(DAG)。我们总结并强调了G-FP的最新分析的局限性,并提出了一种新的技术,用于限制干扰工作负载,可以直接应用于广义DAG任务。我们的技术通过构建优化问题来工作,其中最优解值作为干扰工作负载的安全和严格的上限。使用建议的工作量绑定技术,我们得到了响应时间分析,并表明它提高了国家的最先进的分析技术G-FP调度。
2019-05-13 cs.DC
Quantifying the Carbon Reduction of DAG Workloads: A Job Shop Scheduling Perspective
本文从作业车间调度角度研究DAG工作负载的碳减排问题,通过建模和求解发现依赖意识方法能显著降低碳排放,且允许更长的完成时间可进一步提升碳节省效果。
2025-12-08 cs.DC
Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展,许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似,调度框架旨在提供高效率,资源隔离,跨用户公平共享等功能。然而,基于深度神经网络(DNN)的工作负载主要在GPU上训练,与传统的大数据分析工作负载有两个显著的不同。首先,从集群利用率的角度来看,GPU代表了一个单一的资源,不能在用户之间以细粒度共享。第二,从工作负载的角度来看,深度学习框架需要群体调度,这降低了调度的灵活性,并使作业本身对运行时的故障缺乏弹性。在本文中,我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联,我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题:(1)组调度和局部性约束对排队的影响,(2)局部性对GPU利用率的影响,以及(3)训练期间的故障。根据我们运行大规模操作的经验,我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
Energy Efficient Scheduling of AI/ML Workloads on Multi Instance GPUs with Dynamic Repartitioning
Columbia University(哥伦比亚大学);IBM TJ Watson Research Center(IBM沃森研究中心)
针对多实例GPU环境,提出结合调度算法与强化学习的动态重分区框架,优化能耗与延迟的多目标问题,相比静态分区节能26%-68%。
2026-06-25 cs.DC
Energy hardware and workload aware job scheduling towards interconnected HPC environments
新的HPC机器正在接近艾级。这些机器的功耗一直在增加,研究人员正在研究降低功耗的方法。第二个趋势是HPC机器越来越复杂,越来越多的异构硬件组件和不同的集群架构在同一台机器中协作。我们将这些环境称为异构多集群环境。为了在这些环境中优化性能和能耗,本文提出了一种能量感知的多集群(EAMC)作业调度策略。EAMC策略能够通过预测不同硬件架构和处理器频率下到达作业的性能和能耗来优化作业的调度和放置,从而减少工作负载的能耗、完工时间和响应时间。该策略为每个作业-资源组合分配不同的优先级,以便优先考虑效率最高的作业-资源组合,而效率较低的作业-资源组合仍然在可变程度上被考虑,从而减少响应时间并提高集群利用率。我们在Slurm中实现了EAMC策略,并评估了两个CPU集群在同一台机器上协作的场景。模拟工作负载运行的应用程序从现实世界中建模显示,响应时间和完工时间减少了25%和6%,同时节省了高达20%的总能源消耗相比,最大限度地减少运行时间的政策,并通过49%,26%,和6%相比,最小限度地减少能源。
2021-06-22 cs.DC
Workload-Aware Scheduling using Markov Decision Process for Infrastructure-Assisted Learning-Based Multi-UAV Surveillance Networks
在现代网络研究中,基础设施辅助的无人驾驶自动驾驶车辆(UAV)被积极考虑用于在意外的3D自由移动和协调下进行基于学习的实时监视和空中数据传输。在该系统模型中,必须考虑无人机的功率限制和基础设施/塔中的自主对象识别(用于异常行为检测)深度学习性能。针对无人机功率受限的问题,提出了一种多无人机与多塔台之间的空中调度算法,由塔台向无人机进行无线功率传输。此外,为了照顾塔中的高性能学习模型训练,我们还提出了一种数据交付方案,该方案使无人机公平地将训练数据交付给塔,以防止由于数据不平衡而导致的问题(例如,由较大的数据传递或较少的数据传递的过拟合引起的巨大计算开销)。为此,提出了一种新的多塔多无人机负载感知调度算法,实现了多塔多无人机联合充电和多无人机联合训练数据传输。为了在单位时间内计算负载感知的最优调度决策,我们基于马尔可夫决策过程(MDP)设计了给定调度问题的求解方法,以处理(i)时变低复杂度计算和(ii)伪多项式最优性。如性能评估结果所示,我们提出的算法确保(i)塔和无人机之间的资源交换有足够的时间,(ii)与其他算法相比,在过程中最均匀和均匀的数据汇集,以及(iii)所有塔的性能收敛到最佳水平。
2023-02-14 cs.DC
Scheduling Data-Intensive Workloads in Large-Scale Distributed Systems: Trends and Challenges
该研究针对大数据背景下数据密集型工作负载的调度挑战,提出了负载分类方法,梳理了大规模分布式系统中的常用调度策略与新型方案,并指明了开放挑战与未来方向。
2025-10-29 cs.DC
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
本文提出了一种基于监督学习的网络感知任务调度框架,通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
OServe: Accelerating LLM Serving via Spatial-Temporal Workload Orchestration
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
OServe通过空间-时间工作负载编排优化大语言模型服务,提升性能2倍
2026-02-12 cs.DC
Resource Allocation and Workload Scheduling for Large-Scale Distributed Deep Learning: A Survey
Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(深圳北理莫斯科大学人工智能研究院);Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University(深圳北理莫斯科大学粤港澳情感智能与普适计算联合实验室);School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院);Department of Electrical and Computer Engineering, The University of British Columbia(不列颠哥伦比亚大学电气与计算机工程系)
该综述系统梳理2019–2024年大规模分布式深度学习在训练与推理中的资源分配和工作负载调度研究,分析资源类型、调度粒度、性能目标、异构性与容错等挑战,并以大语言模型训练为例展望未来方向。
2024-06-12 cs.AI cs.DC
An Adaptive Performance-oriented Scheduler for Static and Dynamic Heterogeneity
随着异构硬件的出现为后摩尔时代铺平了道路,使运行时调度适应平台的异构性变得非常重要。为了增强自适应和响应调度,我们引入了性能跟踪表(PTT)到XiTAO,混合模式并行的弹性调度框架。PTT是每核延迟的可扩展且动态的轻量级清单,可用于指导关键和非关键任务的调度。通过了解每个任务的延迟,PTT可以推断任务性能、应用内干扰以及应用间干扰。我们在NVIDIA Jetson TX 2芯片上运行不同工作负载类别的随机直接非循环图(DAG)作为基准,与标准工作窃取调度程序相比,实现了高达3.25倍的加速。为了验证调度对干扰的适应性,我们在Intel Haswell(2650 v3)多核工作站上以高并行度运行DAG,并分析调度器对来自后台进程的干扰的响应。我们还通过移植基于卷积神经网络(CNN)的VGG-16图像分类框架来展示XiTAO的调度性能。
2020-12-30 cs.DC
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG(哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心)
本文综述 2017–2024 年 66 篇研究,分析异构 HPC 工作负载映射与调度工具,指出 NP-hard 难题及启发式局限,并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
OS4M: Achieving Global Load Balance of MapReduce Workload by Scheduling at the Operation Level
MapReduce的效率与其负载平衡密切相关。现有的MapReduce负载平衡工作集中在粗粒度调度。本研究关注MapReduce操作的细粒度调度,每个操作代表Map或Reduce函数的一次调用。默认情况下,MapReduce采用基于哈希的方法来调度Reduce操作,这通常会导致负载平衡不佳。此外,Reduce任务的复制阶段与Map任务重叠,由于I/O争用,这严重阻碍了Map任务的进度。此外,Reduce任务的三个阶段按顺序运行,同时消耗不同的资源,从而未充分利用资源。为了克服这些问题,我们引入了一套名为OS 4 M(操作调度MapReduce)的机制,以提高MapReduce的性能。OS 4 M通过收集所有Map操作的统计数据来实现负载平衡,并计算全局最优调度来分配Reduce操作。在OS 4 M中,Reduce任务的复制阶段不再与Map任务重叠,Reduce任务的三个阶段根据其操作负载进行流水线处理。OS 4 M已经透明地集成到MapReduce中。对标准基准的评估表明,与Hadoop的基准相比,OS 4 M的作业持续时间可以缩短42%。
2014-06-16 cs.DC
Addressing Variable Heterogeneity in Distributed Multimodal Training with Entrain
University of Michigan(密歇根大学)
提出Entrain框架,通过宏观批次的静态模型并行配置和层次化微批次分配算法,解决多模态大语言模型训练中的数据异构性和变量波动,提升吞吐量达1.40倍。
2026-05-27 cs.DC
Simulating LLM training workloads for heterogeneous compute and network infrastructure
针对现有LLM训练模拟器假设同构基础设施的局限,本文提出异构感知的分布式模拟器,支持自定义设备组配置,以预测异构环境下的训练时间并评估其影响。
2025-08-07 cs.DC
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University(布朗大学)
研究异构人工智能工作负载的调度问题,提出将设备调度制定为三种选项,识别影响延迟的因素,构建智能调度器,该调度器在多种场景下达到最优映射,精度与经典基线匹配且无需离线训练,性能优于其他策略。
2026-07-27 cs.DC
Co-Scheduling Algorithms for High-Throughput Workload Execution
本文研究了处理一组并行应用程序的协同调度算法。而不是一个接一个地执行每个应用程序,使用最大程度的并行性,他们每个人,我们的目标是在调度多个应用程序并发。我们将原始应用程序集划分为一系列的包,这些包被逐个执行。一个包包括几个应用程序,每个应用程序都有一个分配的处理器数量,约束条件是在一个包内分配的处理器总数不超过可用处理器的最大数量。我们的目标是确定一个分区成包,并分配处理器的应用程序,最大限度地减少包的执行时间的总和。我们深入研究了这个优化问题的复杂性,并提出了几种算法,表现出非常好的性能在各种工作负载,其应用程序的执行时间模型配置文件的并行科学代码。我们发现,联合调度导致更快的工作量完成时间和更快的响应时间平均(从而提高系统吞吐量和节省能源),从用户和系统的角度来看,传统的调度显着的好处。
2013-04-29 cs.DC cs.DS
Eventually-Consistent Federated Scheduling for Data Center Workloads
本文扩展联邦式去中心化调度架构 Megha,利用并行性与最终一致全局状态缓解大规模数据中心的次优放置问题,并通过仿真和123节点集群实验证明其可持续降低作业完成延迟。
2023-08-20 cs.DC
Scale Ratio Tuning of Group Based Job Scheduling in HPC Systems
本文研究HPC作业分组调度中规模比例参数对工作负载管理器效率指标的影响,通过基于Alea的模拟模型进行多组实验,为管理员在相互矛盾的效率指标间取得平衡提供调优依据。
2023-11-29 cs.DC
An Improved Scheduling with Advantage Actor-Critic for Storm Workloads
本文面向 Storm 流工作负载,提出结合图神经网络加权嵌入与改进 Advantage Actor-Critic 的调度器,联合优化任务选择和执行器分配,在 TPC-H 与 Alibaba 数据集上分别将完成时间降低近 17% 和 25%。
2023-12-07 cs.DC
FissionReady: Joint Workload and Power Scheduling for Data Centers Powered by Small Modular Reactors
IIT Tirupati(蒂鲁帕蒂印度理工学院);University of Utah(犹他大学);Northeastern University(东北大学)
FissionReady是一种面向SMR供电数据中心的调度器,通过跟踪燃料年龄和氙状态确定运行包络,并采用双时间尺度优化协调负荷跟踪与电网购电,实现零停堆和零截止时间错过,同时大幅降低水耗和电网成本。
2026-10-01 cs.DC
Blox: A Modular Toolkit for Deep Learning Schedulers
针对深度学习调度策略原型构建难、跨技术整合与对比评估难的问题,研究提出模块化工具包Blox,提炼核心抽象复现现有调度器并验证保真度,支持多场景调度评估与低代码扩展新型策略。
2023-12-19 cs.DC
Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision
Nanyang Technological University(南洋理工大学);Peking University(北京大学);SenseTime(商汤科技)
深度学习(DL)在广泛的领域显示出其繁荣。DL模型的开发是一个耗时且资源密集的过程。因此,专用GPU加速器已被共同构建到GPU数据中心中。一个有效的调度器设计这样的GPU数据中心是至关重要的,以降低运营成本和提高资源利用率。然而,为大数据或高性能计算工作负载设计的传统方法不能支持DL工作负载以充分利用GPU资源。最近,提出了大量的GPU并行计算器来定制GPU并行计算器中的DL工作负载。本文调查了现有的研究工作的培训和推理工作量。我们主要介绍现有的调度器如何从调度目标和资源消耗功能促进各自的工作负载。最后,展望了几个有前景的研究方向。更详细的总结与调查文件和代码链接可以在我们的项目网站上找到:https://github.com/S-Lab-System-Group/Awesome-DL-Scheduling-Papers
2022-06-01 cs.AI cs.DC cs.LG
RISA: Round-Robin Intra-Rack Friendly Scheduling Algorithm for Disaggregated Datacenters
针对分解式数据中心的网络资源瓶颈,提出基于启发式的轮询机架内友好调度算法RISA,通过优化工作负载分配显著降低网络使用量,在功耗、延迟和执行时间上均大幅优于现有技术。
2023-10-21 cs.DC
Data Diffusion: Dynamic Resource Provision and Data-Aware Scheduling for Data Intensive Applications
数据密集型应用程序通常涉及需要大量计算和存储资源的大型数据集的分析。虽然专用计算和/或存储场提供良好的任务/数据吞吐量,但它们在不同的工作负载条件下存在资源利用率低的问题。如果我们转而将这些数据移动到分布式计算资源,那么我们会招致昂贵的数据传输成本。在本文中,我们提出了一种数据扩散的方法,结合动态资源配置,按需数据复制和缓存,数据本地感知调度,以实现不同的工作负载下提高资源效率。我们定义了一个抽象的“数据扩散模型“,考虑到工作负载的特点,数据访问成本,应用程序的吞吐量和资源利用率,我们验证模型使用真实世界的大规模天文应用。我们的研究结果表明,数据扩散可以提高性能指数高达34倍,并提高应用程序的响应时间超过506倍,同时实现接近最佳的吞吐量和执行时间。
2008-08-26 cs.DC
Improving virtual host efficiency through resource and interference aware scheduling
现代的云计算结构即服务云在竞争激烈的环境中运行,可以满足任何用户对计算资源的需求。由不同应用共享各种类型的资源提出了一系列挑战,以便优化资源利用,同时避免由应用干扰引起的性能下降。在本文中,我们提出了两种调度方法,执行多核物理机上的整合技术。我们的资源感知和干扰感知调度方案的目的是提高物理主机的效率,同时考虑到主机超额认购和由此产生的工作负载干扰,保持应用程序的性能。我们通过一组代表广泛的现代云应用程序的实际工作负载来验证我们的全面运营框架。实验结果证明了我们的系统在优化资源利用率,从而能源消耗的效率,即使在存在超额认购。这两种方法实现了显着减少的CPU时间消耗,达到高达50%,而在同一时间保持工作负载性能相比,广泛使用的调度方案下的各种代表性的云平台场景。
2016-01-27 cs.DC
Maestro: Workload-Aware Cross-Cluster Scheduling for LLM-Based Multi-Agent Systems
Beihang University(北京航空航天大学);University of Leeds(利兹大学)
提出Maestro调度系统,利用智能体语义预测输出长度和内存使用,通过层次化调度(节点级多模型共置、集群级延迟感知路由、全局工作流感知优先级)在严格GPU预算下优化LLM多智能体服务,减少KV缓存HBM占用67.2%,提高高竞争SLO达标率23.6个百分点。
2026-06-12 cs.DC
PAL: A Variability-Aware Policy for Scheduling ML Workloads in GPU Clusters
针对GPU集群中ML工作负载的性能变异性问题,提出变异性感知调度器PAL,通过刻画应用变异性并平衡局部性,显著提升作业完成时间、利用率和完工时间。
2024-09-19 cs.DC
Learning Interpretable Scheduling Algorithms for Data Processing Clusters
针对数据处理集群中DAG作业调度,提出从复杂深度学习模型行为中蒸馏简单调度策略的方法,实现可解释性并易于适应边缘情况,且保真度高、性能优于原模型。
2024-05-29 cs.DC
LLMSched: Uncertainty-Aware Workload Scheduling for Compound LLM Applications
本文提出面向复合LLM应用的不确定性感知调度框架LLMSched,通过基于DAG的模型、贝叶斯网络画像与基于熵的机制量化并降低不确定性,结合JCT高效策略,将平均作业完成时间降低了14~79%。
2025-04-07 cs.DC
Energy-Optimized Scheduling for AIoT Workloads Using TOPSIS
本文提出基于TOPSIS的GreenPod调度器,通过多准则优化Pod放置,在异构Kubernetes集群上实现最高39.1%的能效提升,有效平衡AIoT应用的可持续性与性能。
2025-06-05 cs.DC cs.PF cs.SY
Rethinking Thread Scheduling under Oversubscription: A User-Space Framework for Coordinating Multi-runtime and Multi-process Workloads
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本文提出用户空间调度框架USF和SCHED_COOP,通过减少线程切换干扰提升多进程在超订情况下的性能表现。
2026-01-28 cs.DC cs.OS
Topology-aware Preemptive Scheduling for Co-located LLM Workloads
Baichuan-Inc(百川公司)
针对共置 LLM 工作负载中抢占调度缺乏拓扑感知导致资源不匹配的问题,提出细粒度拓扑感知抢占式调度方法,使释放资源满足高优先级任务拓扑亲和性需求,将整体调度性能提升 55%。
2024-11-18 cs.AI cs.DC
Scheduling Data Intensive Workloads through Virtualization on MapReduce based Clouds
MapReduce已经成为在云上运行数据密集型应用程序的流行编程模型。用户设置的MapReduce作业的完成时间目标或截止日期在现有的基于云的数据处理环境(例如Hadoop)中变得至关重要。在调度MR作业以满足最后期限和“数据局部性”(将任务分配给包含其输入数据的节点)之间存在冲突。为了满足最后期限,可以在没有用于该任务的本地输入数据的节点上调度任务,从而导致从远程节点的昂贵数据传输。在本文中,提出了一种新的调度器,以解决上述问题,主要是基于动态资源重新配置的方法。它有两个组成部分:1)资源预测器:其动态地确定每个作业满足完成时间保证所需的Map/Reduce时隙的数量; 2)资源重新配置器:其通过动态地增加或减少各个VM来调整CPU资源,同时不违反用户的完成时间目标,以最大化数据局部性,并且还最大化活动作业之间的系统内的资源的使用。建议的调度程序已被评估对公平的虚拟集群上建立在一个物理集群的20台机器。结果表明,作业吞吐量增加了约12
2012-08-09 cs.DC
Fair Comparison of Scheduling Algorithms on Heterogeneous Edge Clusters: A Continuous Adaptive Benchmark
TU Wien(维也纳工业大学);Universitat Pompeu Fabra(庞培法布拉大学);Universidad de Extremadura(埃斯特雷马杜拉大学);ICREA(加泰罗尼亚高级研究院)
提出一种开源基准平台,用于公平比较异构边缘集群上的连续多模式调度算法,通过统一接口、闭环工作负载驱动器和双指标SLO评分,揭示控制器排名强烈依赖配置,且原始SLO与稳态SLO分离可暴露切换成本。
2026-06-11 cs.DC
Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach
Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Nanyang Technological University(南洋理工大学)
本文提出一种基于多智能体强化学习与actor-critic的调度算法,用于地理分布式数据中心中可持续AIGC工作负载调度,在真实云环境中实现GPU利用率提升、成本降低和碳减排,系统效用最高提升28.6%。
2023-04-17 cs.AI cs.DC cs.LG
Mage: Online Interference-Aware Scheduling in Multi-Scale Heterogeneous Systems
作为一种提高性能和能源效率的方法,异构网络在核心和服务器级别都越来越受欢迎。然而,尽管有这些好处,调度应用程序在异构机器仍然具有挑战性。此外,当这些异构资源容纳多个应用程序以提高利用率时,资源容易发生争用、破坏性干扰和不可预测的性能。现有的解决方案检查服务器之间或服务器内部的异构性,导致错失性能和效率机会。我们目前的法师,一个实用的干扰感知运行时,优化系统的性能和效率与内部和服务器间的异质性。Mage利用快速和在线数据采掘来快速探索应用程序放置的空间,并确定最大限度地减少共存应用程序之间的破坏性干扰的空间。Mage持续监控活动应用程序的性能,并在检测到QoS违规时,考虑到迁移的任何开销,确定替代放置是否会更有益。在异构CMP上的350个应用程序混合中,Mage将性能提高了38%,与贪婪调度器相比,性能提高了2倍。在异构集群上的160个混合中,Mage平均提高了30%的性能,比贪婪调度器提高了52%,比Paragon [15]的组合提高了11%,用于服务器间和服务器内异构性。
2018-04-17 cs.DC
Data Scheduling Algorithm for Scalable and Efficient IoT Sensing in Cloud Computing
针对IoT-云中动态工作负载与网络变化导致的调度难题,本文提出深度RL与ACO结合的混合数据调度算法,实验证明其在响应时间、资源利用率、能耗及SLA合规性方面均有显著提升。
2025-09-29 cs.DC
Rank-Aware CPU Reservation and In-Place Adjustment for MPI CFD on Kubernetes
Purdue University(普渡大学);School of Aeronautics and Astronautics(航空与航天学院)
本文提出基于Kubernetes的秩感知资源调度方法,通过动态调整CPU资源分配,优化低负载子域的资源预留,提升集群利用率而不显著影响性能。
2026-10-30 cs.DC
An Efficient Online Prediction of Host Workloads Using Pruned GRU Neural Nets
本文提出一种基于剪枝GRU的多变量多步主机负载在线预测模型,利用L1范数与随机剪枝提升预测速度,并通过在线学习适应新旧工作负载模式。
2023-04-25 cs.DC
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
JASDA: Introducing Job-Aware Scheduling in Scheduler-Driven Job Atomization
针对MIG GPU上工作负载复杂多变对集中式调度的挑战,提出JASDA范式,将作业原子化扩展为去中心化协商,通过作业生成子作业与调度器策略清算的迭代交互,平衡利用率、公平性与响应性,实现自适应透明调度。
2025-10-16 cs.DC
EcoKube: Simulating Carbon-Aware Scheduling Policies in Heterogeneous Edge-Cloud Environments
University of Amsterdam(阿姆斯特丹大学)
针对云与边缘计算能源需求增长及碳排放问题,提出EcoKube框架,用于在异构边缘云环境中评估可持续性感知调度策略,含事件驱动模拟器等,通过合成批处理工作负载评估,可在部署前比较策略。
2026-07-13 cs.DC
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近,深度学习一直是一个激烈的研究领域。然而,作为一种计算密集型任务,深度学习高度依赖于GPU内存的规模,这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作,但是它们难以应用于具有多个动态工作负载的系统,例如数据库内机器学习系统。在本文中,我们展示了TENSILE,一种在张量粒度下管理GPU内存的方法,以降低GPU内存峰值,考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile,并对其性能进行了评估。实验结果表明,在单负载和多负载的动态环境下,TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore(新加坡国立大学);ByteDance(字节跳动)
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要,因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而,由于缺乏弹性,它们很难达到最佳效率。为了解决这个问题,我们提出了ONES,一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性,从而最大化GPU利用率,提高调度效率。它通过在线进化搜索确定每个作业的批量大小,可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明,ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG