FIKIT: Priority-Based Real-time GPU Multi-tasking Scheduling with Kernel Identification
University of Chicago（芝加哥大学）
针对云GPU共享中现有方案缺乏内核级优先级优化的问题，提出FIKIT内核级调度策略，利用高优任务内核间空闲执行低优任务，显著加速高优任务且开销低于5%。
2024-02-01 cs.DC cs.LG
Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters
Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；VMware Research（威睿研究院）
训练深度神经网络（DNN）是企业和云数据中心中广泛流行的工作负载。现有的DNN训练算法将GPU视为主要资源，并根据作业请求的GPU数量分配其他资源，如CPU和内存。不幸的是，这些配置器没有考虑作业对CPU、内存和存储资源分配的敏感性的影响。在这项工作中，我们提出了协同，一个资源敏感的调度共享GPU集群。Synergy使用乐观分析来推断DNN对不同资源的敏感性;一些作业可能会受益于超过GPU比例的分配，而一些作业可能不会受到小于GPU比例的分配的影响。Synergy使用一种新的接近最优的在线算法，在共享多租户集群上调度的一组作业中执行此类多资源工作负载感知分配。我们的实验表明，与传统的GPU比例调度相比，工作负载感知的CPU和内存分配可以提高平均JCT高达3.4倍。
2022-08-24 cs.DC cs.LG
Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision
Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；SenseTime（商汤科技）
深度学习（DL）在广泛的领域显示出其繁荣。DL模型的开发是一个耗时且资源密集的过程。因此，专用GPU加速器已被共同构建到GPU数据中心中。一个有效的调度器设计这样的GPU数据中心是至关重要的，以降低运营成本和提高资源利用率。然而，为大数据或高性能计算工作负载设计的传统方法不能支持DL工作负载以充分利用GPU资源。最近，提出了大量的GPU并行计算器来定制GPU并行计算器中的DL工作负载。本文调查了现有的研究工作的培训和推理工作量。我们主要介绍现有的调度器如何从调度目标和资源消耗功能促进各自的工作负载。最后，展望了几个有前景的研究方向。更详细的总结与调查文件和代码链接可以在我们的项目网站上找到：https://github.com/S-Lab-System-Group/Awesome-DL-Scheduling-Papers
2022-06-01 cs.AI cs.DC cs.LG
Network Contention-Aware Cluster Scheduling with Reinforcement Learning
Seoul National University（首尔大学）
本文提出一种基于强化学习的GPU集群调度方法，通过学习网络争用感知策略动态调整调度决策，相比常用策略将平均作业完成时间最多降低18.2%，尾部完成时间最多降低20.7%。
2023-10-31 cs.DC cs.LG
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait（科威特大学）；Northwestern Polytechnical University, China（西北工业大学）
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度，提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers
KAIST（韩国科学技术院）
在云机器学习（ML）推理系统中，为最终用户提供低延迟至关重要。然而，最大限度地提高服务器利用率和系统吞吐量对于ML服务提供商来说也是至关重要的，因为它有助于降低总拥有成本。GPU经常因ML推理的使用而受到批评，因为其庞大的计算和内存吞吐量在低批量推理场景下难以充分利用。为了解决这种限制，NVIDIA最近发布的Ampere GPU架构提供了将一个大型单片GPU“重新配置”为多个较小的“GPU分区”的功能。这一特性为云机器学习服务提供商提供了利用可重配置GPU的能力，不仅可以进行大批量训练，还可以进行小批量推理，从而实现高资源利用率。在本文中，我们研究了这种新兴的GPU架构与可重构性，以开发一个高性能的多GPU ML推理服务器。我们的第一个命题是一个复杂的可重构GPU的分区算法，系统地确定一组异构的多粒度GPU分区，最适合推理服务器的部署。此外，我们共同设计了一个弹性调度算法，为我们的异构分区GPU服务器，有效地平衡低延迟和高GPU利用率。
2022-02-27 cs.AI cs.AR cs.DC
GPU Cluster Scheduling for Network-Sensitive Deep Learning
Computer Science and Engineering, The Pennsylvania State University（计算机科学与工程系，宾夕法尼亚州立大学）；Engineering, The Pennsylvania State University（工程系，宾夕法尼亚州立大学）
本文提出一种网络敏感型GPU集群调度器，通过延迟调度、网络敏感抢占和自动调优机制实现邻近资源整合，并借助数据驱动仿真平台验证其在真实负载下显著缩短完工时间、降低通信开销。
2025-11-09 cs.DC cs.LG cs.PF
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近，深度学习一直是一个激烈的研究领域。然而，作为一种计算密集型任务，深度学习高度依赖于GPU内存的规模，这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作，但是它们难以应用于具有多个动态工作负载的系统，例如数据库内机器学习系统。在本文中，我们展示了TENSILE，一种在张量粒度下管理GPU内存的方法，以降低GPU内存峰值，考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile，并对其性能进行了评估。实验结果表明，在单负载和多负载的动态环境下，TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
FineServe: Precision-Aware KV Slab and Two-Level Scheduling for Heterogeneous Precision LLM Serving
Cloud Research Team, Samsung SDS（三星SDS云研究团队）
针对量化LLM服务中的内存碎片化和资源调度低效问题，提出混合精度推理框架FineServe，通过精度感知的KV Slab内存管理和两级调度机制，显著提升了SLO达成率与生成吞吐量。
2025-09-15 cs.DC cs.LG
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley（加州大学伯克利分校）
提出DriftSched框架，通过运行时反馈驱动的漂移补偿和自适应偏差校正，解决多租户LLM推理中令牌漂移导致的调度问题，在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices
School of Computer Science, Nanjing University（南京大学计算机科学学院）
研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题，提出ATSInfer系统，通过结合静态张量放置与负载感知动态传输及异步协调，在代表性平台评估，相比现有系统显著提升吞吐量、利用率等，改善本地大语言模型部署体验。
2026-07-15 cs.AI cs.DC cs.LG
Spexis: Speculative Lookahead Scheduling for LLM Inference
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
Spexis通过投机并行与前瞻调度，在不增加KV缓存内存的前提下引入新并行维度，提升多GPU LLM推理效率，较最优基线加速达34%。
2026-09-29 cs.DC cs.LG
HybriMoE: Hybrid CPU-GPU Scheduling and Cache Management for Efficient MoE Inference
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Integrated Circuits, Peking University（北京大学集成电路学院）；Institute of Electronic Design Automation, Peking University（北京大学电子设计自动化研究院）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
HybriMoE 提出动态层内调度、影响驱动层间预取和基于评分的缓存管理，解决混合 CPU-GPU MoE 推理中专家激活不稳定与调度复杂问题，在 prefill 和 decode 阶段分别实现 1.33 倍和 1.70 倍平均加速。
2025-04-08 cs.DC cs.LG
Enabling Disaggregated Multi-Stage MLLM Inference via GPU-Internal Scheduling and Resource Sharing
Wuhan University（武汉大学）
通过GPU内部调度和资源共享实现解耦的多阶段MLLM推理，提升吞吐量和延迟性能
2025-12-19 cs.DC cs.LG
Memory-aware Scheduling for Complex Wired Networks with Iterative Graph Optimization
Peking University（北京大学）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）
针对复杂拓扑下资源受限设备的DNN推理内存感知调度难、现有算法可扩展性差的问题，提出基于迭代图优化的调度框架，通过图融合与拓扑感知剪枝的整数规划实现调度，在基准测试中峰值内存降低13.4%，可扩展性更优。
2023-08-26 cs.DC cs.LG
Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach
Technical University of Munich（慕尼黑工业大学）
针对现代GPU单程序资源利用率低的问题，提出基于强化学习的分层资源划分与作业协同调度组协同优化方法，结合NVIDIA GPU的MPS与MIG特性，相比分时调度最高提升1.87倍吞吐量。
2024-05-14 cs.AR cs.DC cs.LG
Communication Contention Aware Scheduling of Multiple Deep Learning Training Jobs
Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）
分布式深度学习（Distributed Deep Learning，缩写缩写为EML）由于有助于提高高性能GPU集群上的训练性能而迅速普及。当同时训练多个作业时，有效的作业调度对于最大化集群的整体性能是必不可少的。然而，现有的调度算法没有考虑来自不同分布式训练作业的多个通信任务之间的通信竞争，这会降低系统性能，延长作业完成时间。在本文中，我们首先建立了一个新的调度框架，该框架将并行作业组织为有向无环图（DAG），并考虑节点之间的通信竞争。然后，我们提出了一个有效的算法，LWF- $κ$，以平衡GPU的利用率和合并分配的GPU为每个作业。当调度这些通信任务时，我们观察到，避免所有的竞争或盲目接受它们都不是最佳的，以最小化作业完成时间。因此，我们提出了一个可证明的算法，AdaDUAL，有效地调度这些通信任务。在AdaDUAL的基础上，我们提出了Ada-SRSF算法来解决并行作业调度问题。在10 Gbps以太网连接的64-GPU集群上的仿真结果表明，LWF- $κ$比经典的首次拟合算法有最多$1.59\times$的改进.更重要的是，与SRSF（1）方案（避免所有竞争）和SRSF（2）方案（盲目接受所有双向通信竞争）相比，Ada-SRSF分别将平均作业完成时间减少了$20.1\%$和$36.7\%$。
2020-02-24 cs.CV cs.DC cs.LG
Optimizing Attention on GPUs by Exploiting GPU Architectural NUMA Effects
Department of ECE, Duke University（电子工程系，杜克大学）；Advanced Micro Devices Inc.（先进微器件公司）；Department of Computer Science, Duke University（计算机科学系，杜克大学）
针对分解式 GPU 中 NUMA 效应影响注意力机制性能的问题，提出空间感知调度策略 Swizzled Head-first Mapping，在 MI300X 上实现高达 50% 性能提升和高缓存命中率。
2025-11-03 cs.AR cs.DC cs.LG
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California（南加州大学）
从便携式嵌入式系统到计算机集群系统，能耗是设计计算设备时最关键的问题之一。此外，在过去的十年中，集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序，其中的性能是非常重要的。然而，由于实时工作负载的不同特点，开发通用的作业调度解决方案，有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中，受到将深度强化学习应用于资源管理问题的最新进展的启发，我们提出了Deep-EAS调度器，该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略，而无需最初了解任何关于手头调度任务的信息。结果表明，Deep-EAS收敛速度快，性能优于标准的手动调整算法，特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
Is the GPU Half-Empty or Half-Full? Practical Scheduling Techniques for LLMs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Databricks（Databricks公司）
本文调研了LLM服务系统中的调度技术，发现文献方法性能好但复杂，实际部署方法易用但留有性能提升空间，并提出两种易于实现且在生产工作负载上优于现有技术的新调度方法。
2025-01-28 cs.LG
SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters
The University of Hong Kong（香港大学）；Brain Investing Limited（脑投有限公司）；Stellaris AI Limited（Stellaris AI有限公司）
SAGA通过工作流级调度减少任务完成时间1.64倍，提升GPU内存利用率1.22倍，同时在多租户环境下达成99.2%的服务水平目标，但牺牲了30%的峰值吞吐量。
2026-06-23 cs.AI cs.DC cs.LG
Differentiable Initialization-Accelerated CPU-GPU Hybrid Combinatorial Scheduling
University of Maryland, College Park（马里兰大学帕克分校）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
本文提出一种混合CPU-GPU框架，用于解决以整数线性规划（ILP）形式化的组合调度问题。通过结合可微优化与经典ILP求解，利用可微预处理快速生成高质量部分解，作为商业ILP求解器的热启动，从而显著提升早期剪枝效果。
2026-03-30 cs.AI cs.AR cs.LG
ML Inference Scheduling with Predictable Latency
Inria（法国国家信息与自动化研究所）；Sorbonne University Paris（巴黎索邦大学）
针对ML推理中并发任务干扰导致调度不可预测的问题，提出细粒度动态干扰预测方法，提高GPU利用率的同时满足SLO。
2026-06-16 cs.LG
Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution
University of Southern California（南加州大学）
本文提出一种分区感知的DAG调度框架，联合优化算子分区、设备分配与执行顺序，在移动异构平台上实现接近离线最优的推理延迟，且调度开销极低。
2026-09-15 cs.DC cs.LG cs.PF
Optimizing Mixture-of-Experts Inference Time Combining Model Deployment and Communication Scheduling
本文提出 Aurora 方法，通过联合优化 MoE 模型的部署与全对全通信调度，在多种 GPU 集群场景下最小化推理时间，并在同构和异构环境中分别实现最高 2.38 倍和 3.54 倍加速。
2024-10-22 cs.LG cs.NI
Age Aware Scheduling for Differentially-Private Federated Learning
Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通信工程研究所）；Simula UiB（西挪威应用科技大学西蒙研究所）；Department of Communication Engineering, National Taipei University（国立台北大学通信工程学系）
本文研究时变数据库下差分隐私联邦学习中的年龄、准确性与隐私权衡问题，提出年龄感知调度方案以最小化模型损失差异，并通过仿真验证其优于经典差分隐私联邦学习。
2024-07-05 cs.CR cs.DC cs.LG
PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs
Muhammad Ahmed（穆罕默德·阿赫姆）
针对长上下文LLM服务中KV缓存移动成为瓶颈的问题，提出PersistentKV引擎，通过页面感知调度和分组查询注意力优化解码，在RTX 3060上实现1.06-1.40倍吞吐提升。
2026-07-02 cs.LG
Kant: An Efficient Unified Scheduling System for Large-Scale AI Clusters
ZTE Corporation（中兴通讯股份有限公司）
针对大规模AI集群传统调度系统的平衡难题，本文提出支持训练推理协同调度的Kant统一调度平台，定义多维度评估指标，采用Backfill与E-Binpack策略提升资源利用与调度效率，已落地多数据中心，为AI原生调度基建提供工程方案。
2025-09-25 cs.AI cs.DC cs.IT
Nautilus: An Auto-Scheduling Tensor Compiler for Efficient Tiled GPU Kernels
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nautilus是一种新型张量编译器，通过端到端系统联合应用高层优化、表达式重写和瓷砖优化，实现从数学描述自动发现FlashAttention-3类内核，提升GPU性能。
2026-04-16 cs.LG cs.PL
Improving Pattern Recognition of Scheduling Anomalies through Structure-Aware and Semantically-Enhanced Graphs
Carnegie Mellon University（卡内基梅隆大学）；Illinois Institute of Technology（伊利诺伊理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）；Northeastern University（东北大学）
本文提出一种结构感知和语义增强的调度图建模方法，用于提高复杂系统调度异常的识别能力。
2025-12-21 cs.LG
Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints
Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Alibaba Group（阿里巴巴集团）
本文提出流引导在线调度方法，通过等待阈值算法和嵌套等待算法，在内存约束下优化大语言模型推理的延迟和容量，减少过载时的延迟。
2026-06-16 cs.AI cs.DC cs.LG
MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems
Duke University（杜克大学）
提出MARS协同调度系统，通过统一信息流全局协调GPU推理与CPU工具执行，解耦准入与执行防止资源过载，并采用智能体中心调度器最小化端到端延迟，实验显示延迟降低5.94倍。
2026-06-16 cs.DC cs.LG cs.MA
Buffer Pool Aware Query Scheduling via Deep Reinforcement Learning
Brandeis University（布兰迪斯大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Intel Labs（英特尔实验室）
在这个扩展的摘要中，我们提出了一种新的查询调度技术，其明确的目标是减少磁盘读取，从而隐式地提高查询性能。我们引入SmartQueue，一个学习调度器，利用传入查询之间的重叠数据读取，并学习调度策略，提高缓存命中。SmartQueue依赖于深度强化学习来生成特定于工作负载的调度策略，这些策略专注于长期性能优势，同时适应以前看不到的数据访问模式。我们提出的结果，从一个概念验证原型，证明了学习的调度器可以提供显着的性能改进手工制作的调度算法。最终，我们证明这是机器学习和数据库交叉的一个有前途的研究方向。
2022-07-27 cs.DB cs.LG
Uplink Scheduling in Federated Learning: an Importance-Aware Approach via Graph Representation Learning
University of Bologna（博洛尼亚大学）；University of Ottawa（渥太华大学）
针对6G无线联邦学习中资源受限信道的大规模客户端上行调度问题，本文利用UGRL提出无需训练反馈、节能且重要性感知的关系型调度指标，在空间关系场景下最高提升10%准确率和17倍能效。
2023-01-27 cs.LG cs.NI
MOSAIC: Efficient Mixture-of-Agent Scheduling via Adaptive Aggregation and Inference Concurrency
University of California, Irvine, USA（加州大学 Irvine 分校）；University of Southern California, Los Angeles, USA（南加州大学洛杉矶分校）；Intel, USA（英特尔公司）
针对混合智能体系统在有限GPU资源下的负载不均衡问题，提出基于整数线性规划调度器和置信度感知自适应聚合的MOSAIC框架，实现最高2.5倍专家阶段、4.23倍聚合阶段和1.7~2.3倍端到端加速，精度损失在0.1个百分点内。
2026-11-10 cs.AR cs.LG
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies（华为技术有限公司）
本文对蜂窝网络下行分组调度问题进行了建模，使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习（DRL）框架。在该框架中采用了几种方法来提高采样和训练效率，并使算法适应特定的调度问题。数值结果表明，DRL优于基线算法，并达到类似的性能基因辅助方法，而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
Load-Aware Training Scheduling for Model Circulation-based Decentralized Federated Learning
School of Engineering, Institute of Science Tokyo, Meguro, Tokyo, Japan（东京科学研究所工程学院，东京目黑区，日本）
针对去中心化联邦学习的训练时长优化问题，本文提出Load-aware Tram-FL方法，通过将全局调度优化分解为节点子问题、加入方差约束平衡非IID数据利用，实现训练延迟最小化，实验验证其能有效缩短训练时间、加快收敛。
2025-06-11 cs.AI cs.LG
MoSAIC: Learning DAG Scheduling Heuristics from Optimal Schedules through Motif-Aware Recovery and LLM-Guided Reasoning
Stony Brook University（石溪大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Hofstra University（霍夫斯特拉大学）
MoSAIC是一种基于学习的DAG调度框架，结合LLM推理与最优调度监督，学习的启发式算法优于HEFT等经典方法，可实现高效自适应任务调度。
2026-10-14 cs.AR cs.IR cs.LG
Semantic-aware Transmission Scheduling: a Monotonicity-driven Deep Reinforcement Learning Approach
The University of Sydney（悉尼大学）；Queensland University of Technology (QUT)（昆士兰科技大学）
针对6G信息物理系统中语义感知传输调度决策空间巨大、现有算法难以求得最优策略的问题，本文分析最优策略性质并据此提出单调性驱动的DRL算法，显著减少训练时间并提升性能。
2023-09-21 cs.AI cs.IT cs.LG
