Preble: Efficient Distributed Prompt Scheduling for LLM Serving
University of California, San Diego（加利福尼亚大学圣迭戈分校）
Preble 是首个面向提示共享的分布式 LLM 服务平台，通过新调度算法和分层调度机制协同优化 KV 状态重用与负载均衡，在真实负载下平均延迟和 p99 延迟显著优于现有系统。
2024-10-03 cs.DC cs.LG
Apt-Serve: Adaptive Request Scheduling on Hybrid Cache for Scalable LLM Inference Serving
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
Apt-Serve通过混合缓存与自适应调度机制突破KV缓存和先到先服务策略的限制，在13B至66B LLM上实现最高8.8倍有效吞吐量提升。
2025-04-10 cs.LG
TokenFlow: Responsive LLM Text Streaming Serving under Request Burst via Preemptive Scheduling
Shanghai Jiao Tong University（上海交通大学）；George Mason University（乔治·马歇尔大学）；China Telecom Corporation Limited Shanghai Branch（中国电信股份有限公司上海分公司）
针对请求突发下标准LLM服务系统响应性差、并行度低的问题，提出基于抢占式调度与主动KV缓存管理的TokenFlow系统，可在不降低整体令牌吞吐量的同时大幅提升有效吞吐量并缩短首令牌时间。
2025-10-03 cs.LG
From Tokens to Layers: Redefining Stall-Free Scheduling for MoE Serving with Layered Prefill
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
本文提出分层预填调度方法，通过将Transformer层组作为调度单元，减少MoE模型中的专家权重重复加载，提升TTFT和TBT性能，降低能耗和带宽需求。
2026-04-16 cs.DC cs.LG
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院）
本文针对跨GPU架构的连续批处理LLM服务，实现轻量级调度策略，通过多GPU、多模型的1152组实验，发现老化最短prompt优先是多数场景的实用基线，相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs
Muhammad Ahmed（穆罕默德·阿赫姆）
针对长上下文LLM服务中KV缓存移动成为瓶颈的问题，提出PersistentKV引擎，通过页面感知调度和分组查询注意力优化解码，在RTX 3060上实现1.06-1.40倍吞吐提升。
2026-07-02 cs.LG
Locality-aware Fair Scheduling in LLM Serving
UC Berkeley（加州大学伯克利分校）；LMSYS（大型语言模型系统实验室）
本文提出首个局部性感知的公平调度算法 DLPM 及其分布式扩展 D$^2$LPM，在保证公平性的同时提升前缀缓存命中率，实现高吞吐和低延迟。
2025-01-24 cs.DC cs.LG
HAServe: Horizon-Aware Scheduling and Memory Co-Design for Efficient LLM Serving
School of Computer Science, Wuhan University（武汉大学计算机学院）
PRISM通过协同设计调度与内存管理，优化LLM服务响应时间，减少TTFT并提升缓存命中率。
2026-10-16 cs.LG
Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
Xiamen University（厦门大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Tsinghua University（清华大学）
本文提出SliceScheduler系统，通过全局映射图、全局仿真器等组件实现算子级调度，在维持SLA违规率低于9%的同时，将多租户LLM服务的令牌吞吐量提升1.10-2.29倍，有效提高GPU利用率。
2026-08-18 cs.DC cs.LG cs.OS
Observation, Not Prediction: Conversation-Level Disaggregated Scheduling for Agentic Serving
Anonymous Authors（匿名作者）
提出将调度单元从单轮提升至整个对话，利用对话中首轮计算密集与后续内存密集的两阶段可观察特性，实现无需预测的解耦调度，显著降低延迟并提升能效。
2026-06-01 cs.AR cs.DC cs.LG
FineServe: Precision-Aware KV Slab and Two-Level Scheduling for Heterogeneous Precision LLM Serving
Cloud Research Team, Samsung SDS（三星SDS云研究团队）
针对量化LLM服务中的内存碎片化和资源调度低效问题，提出混合精度推理框架FineServe，通过精度感知的KV Slab内存管理和两级调度机制，显著提升了SLO达成率与生成吞吐量。
2025-09-15 cs.DC cs.LG
FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Vanderbilt University（范德比大学）；HKUST（香港科技大学）；NVIDIA（英伟达）；Texas A&M University（德克萨斯农工大学）
研究针对扩散模型服务效率低的问题，提出FlashDiff系统，通过自适应区域执行和调度，利用扩散细化特性及三种机制，有效降低端到端服务延迟，提高吞吐量。
2026-10-30 cs.DC cs.LG
Is the GPU Half-Empty or Half-Full? Practical Scheduling Techniques for LLMs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Databricks（Databricks公司）
本文调研了LLM服务系统中的调度技术，发现文献方法性能好但复杂，实际部署方法易用但留有性能提升空间，并提出两种易于实现且在生产工作负载上优于现有技术的新调度方法。
2025-01-28 cs.LG
Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving
UC Berkeley（加州大学伯克利分校）
本研究扩展Llumnix的优先级模型支持任意层级，在Vidur模拟器中对比多基线，发现四层优先级调度成本效益最优，10层时仍能维持收益且无尾部延迟崩溃。
2026-08-18 cs.AR cs.DC cs.LG
Efficient LLM Scheduling by Learning to Rank
UCSD（加州大学圣迭戈分校）；Tsinghua University（清华大学）；Snowflake（雪花公司）；UC Berkeley（加州大学伯克利分校）
针对LLM推理中因输出长度未知导致的FCFS调度队头阻塞问题，提出基于learning to rank预测输出长度相对排名的新颖调度器，近似SJF调度，在聊天机器人等服务中显著降低延迟并提升吞吐量。
2024-08-28 cs.LG
Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
提出PARS调度器，通过成对排序预测任务响应长度，近似最短作业优先调度，减少队头阻塞，在vLLM上实现高达15.7倍延迟降低。
2026-06-29 cs.AI cs.DC cs.LG
ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling
School of Electronic Science and Engineering, Nanjing University, China.（南京大学电子科学与工程学院）；National Key Laboratory for Novel Software Technology, Nanjing University, China.（南京大学新型软件技术国家重点实验室）
提出ZipMoE系统，通过缓存-调度协同设计利用边缘设备硬件特性和MoE参数统计冗余，实现无损且高效的设备端MoE推理，显著降低延迟并提升吞吐量。
2026-05-22 cs.AI cs.DC cs.LG
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington（华盛顿大学）；Duke University（杜克大学）；Microsoft（微软公司）
本文提出 Symphony DNN 服务系统，通过可调度窗口与跨加速器细粒度协调实现延迟批量调度，在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
BlockServe: Block-Grained Continuous Batching for High-Throughput Diffusion LLM Serving
研究针对扩散大语言模型服务的收敛异质性问题，提出BlockServe框架，集成块粒度调度、混合状态执行及计算感知准入控制器，在五个基准测试中实现高吞吐量，确立块粒度调度为高吞吐量离线dLLM推理基础。
2026-07-13 cs.LG
GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
Shanghai Jiao Tong University（上海交通大学）；Guizhou University（贵州大学）
提出GF-DiT，一种策略可编程运行时，通过动态调整请求并行度来优化扩散Transformer服务，利用无组集合通信实现低开销在线重配置，显著提升吞吐量和降低延迟。
2026-07-03 cs.DC cs.LG cs.PF
HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Ulsan（蔚山大学）
本文提出HYDRA框架，针对异构小芯片系统上混合LLM服务的设计空间开展联合探索，实现了吞吐量与首token生成时间的显著提升，凸显架构与运行时策略协同设计的重要性。
2026-08-21 cs.AI cs.AR cs.LG
Adaptive Scheduling for Edge-Assisted DNN Serving
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research Asia（微软亚洲研究院）
本文针对边缘辅助DNN服务的多客户端实时处理需求，提出利用批处理增益的通用调度算法并扩展支持异构DNN，结合客户端本地自适应协同处理，在多种请求分布下有效提升了处理性能。
2023-05-02 cs.DC cs.LG cs.NI
Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels
Huawei（华为）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）
针对生产级LLM服务中动态输入输出长度导致的工作负载可变性问题，本文提出Ascend原生的XY-Serve系统，通过统一细粒度元原语抽象和混合预填充/解码/验证调度，实现端到端吞吐量提升高达89%。
2024-12-24 cs.AI cs.DC cs.LG
Staggered Batch Scheduling: Co-optimizing Time-to-First-Token and Throughput for High-Efficiency LLM Inference
本文提出交错批次调度方法，通过缓冲请求优化执行批次，降低TTFT并提升吞吐量，应用于高效大语言模型推理。
2025-12-18 cs.DC cs.LG
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出Echo系统，通过调度器、KV cache管理器和估算工具包协同工作，在满足在线任务SLO的同时最大化离线任务吞吐量，提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
Semantic Parallelism: Redefining Efficient MoE Inference via Model-Data Co-Scheduling
Huawei Technologies（华为技术有限公司）；Sun Yat-Sen University（中山大学）
本文提出语义并行范式，通过模型-数据协同调度减少MoE推理中的通信成本，提升推理效率。
2026-02-27 cs.AI cs.DC cs.LG
ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor
Cloud Research Team, Samsung SDS（三星SDS云研究团队）
针对 LLM 服务中的队头阻塞问题，本文提出 ELIS，利用 BGE 响应长度预测器和 ISRTF 迭代调度优化推理任务排序，并在 Kubernetes 与真实轨迹仿真中验证其最高可降低 19.6% 平均作业完成时间。
2025-05-14 cs.AI cs.DC cs.LG
Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs
University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）；University of California, Santa Barbara（加州大学圣芭芭拉分校）
Chimera通过语义路由和预测调度优化多智能体工作流服务，提升端到端延迟与任务性能，减少1.2-2.4倍延迟并提高8.0-9.5个百分点性能。
2026-03-23 cs.LG
Niyama : Breaking the Silos of LLM Inference Serving
Microsoft Research India（微软研究院印度分部）
Niyama通过细粒度QoS分类、动态分块和混合优先级策略，在共享基础设施上协同调度LLM推理工作负载，提升服务容量32%，并将极端负载下的SLO违规减少一个数量级。
2025-03-28 cs.AI cs.DC cs.LG
Justitia: Fair and Efficient Scheduling of Task-parallel LLM Agents with Selective Pampering
本文提出Justitia调度器，通过内存导向的成本量化和轻量预测方法，实现任务并行LLM代理的公平高效调度，实验表明其能显著提升调度效率并保持公平性。
2026-03-14 cs.AI cs.DC cs.LG
SpecBox: Speculative Sandbox Scheduling for Efficient LLM Agent Serving
Beihang University（北京航空航天大学）；University of Leeds（利兹大学）；The University of Sydney（悉尼大学）
研究大语言模型智能体服务中沙盒部署的资源利用与延迟矛盾，提出SpecBox，通过推测性沙盒预分配、上下文感知随机预取及相关优化，有效降低端到端延迟并削减峰值内存消耗。
2026-08-06 cs.AI cs.DC cs.LG
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
KTH Royal Institute of Technology（瑞典皇家理工学院）
Blink通过将服务栈责任转移至GPU和智能网卡，消除主机CPU在推理路径中的作用，从而提升LLM推理性能，减少延迟并提高吞吐量。
2026-04-08 cs.DC cs.LG cs.OS
Beyond Prediction: Tail-Aware Scheduling for LLM Inference
Cornell University, Computer Science Department（康奈尔大学计算机科学系）；Cornell University, Electrical and Computer Engineering Department（康奈尔大学电气与计算机工程系）；Cornell University, Operations Research and Information Engineering Department（康奈尔大学运筹学与信息工程系）；Microsoft Azure System Research（微软Azure系统研究）；NVIDIA Corporation（英伟达公司）
针对LLM推理中长度预测调度在分布偏移和尾延迟控制上的脆弱性，提出无预测的分布感知调度框架，通过轻量统计信号实现软优先级提升，结合缓存感知抢占，在多种工作负载下将P99 TTLT降低35-50%，TTFT降低34-47%。
2026-06-18 cs.DC cs.LG
Fairness in Serving Large Language Models
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Duke University（杜克大学）
本文针对LLM服务因请求长度不可预测和并行加速器批处理特性带来的公平性挑战，基于处理token数量的成本函数定义了公平性，并提出基于连续批处理的新颖调度算法VTC，证明了2倍紧致上界且实验验证其性能卓越。
2024-06-05 cs.AI cs.LG cs.PF
PolyServe: Efficient Multi-SLO Serving at Scale
University of Washington（华盛顿大学）；ByteDance（字节跳动）
针对 LLM 服务中多延迟 SLO 难以兼顾尾延迟、利用率和自动扩缩容的问题，本文提出 PolyServe，通过 SLO 分箱、负载梯度路由、跨层共享及分块调度实现 1.23 倍有效吞吐量提升。
2025-07-17 cs.DC cs.LG
TimelyLLM: Segmented LLM Serving System for Time-sensitive Robotic Applications
Yale University（耶鲁大学）
本文提出TimelyLLM系统，通过分段生成与调度机制利用规划与执行阶段间的冗余，解决大语言模型服务在时间敏感机器人应用中的FCFS批处理缺陷，实现时间效用最高提升1.97倍、等待时间降低84%。
2024-12-24 cs.DC cs.LG cs.RO
LLM Serving Optimization with Variable Prefill and Decode Lengths
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Department of Industrial Engineering and Decision Analytics, HKUST（香港科技大学工业工程与决策分析系）
研究在固定KV缓存内存预算下，异构提示和响应长度的离线调度问题，提出Sorted-F算法以平衡批次大小与下游解码成本，实现常数因子近似保证。
2026-09-30 cs.AI cs.LG math.OC
Scheduling Mixed RL Rollouts Beyond Prefix Locality
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；StepFun（阶跃星辰）
针对混合RL回滚调度的异构性问题，提出MISA-T策略，在多基准实验中显著提升回滚吞吐量并降低平均轮次时间，同时维持缓存命中率与工作负载混合比例。
2026-08-12 cs.DC cs.LG
Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
该综述聚焦大语言模型服务中系统感知的键值缓存优化，从执行与调度、放置与迁移、表示与保留三个维度回顾相关工作，分析跨行为协同设计及行为与目标联系，为理解和创新键值缓存设计提供基础。
2026-07-10 cs.AI cs.CL cs.LG
Optimal Scheduling Algorithms for LLM Inference: Theory and Practice
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SLAI调度器，通过动态资源分配和实时测量优化LLM推理的吞吐量和延迟，减少TTFT并提高服务容量。
2025-12-01 cs.DC cs.LG
InstGenIE: Generative Image Editing Made Efficient with Mask-aware Caching and Scheduling
Hong Kong University of Science and Technology（香港科学与技术大学）；Alibaba Group（阿里巴巴集团）
InstGenIE通过掩码感知的缓存复用、无气泡流水线、连续批处理与负载均衡，高效服务扩散模型图像编辑，实现高达3倍吞吐提升和14.7倍延迟降低。
2025-05-27 cs.AI cs.DC cs.LG
MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe通过运行时量化层交换和KV缓存调整，有效提升动态负载下的LLM服务效率和稳定性。
2026-01-07 cs.DC cs.LG
Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use
Hugging Face
本文研究了LLM推理能耗中的量化、批量和服务策略，发现低精度和批量处理可显著降低能耗，同时强调服务堆栈的协调对可持续部署的重要性。
2026-01-29 cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University（卡内基梅隆大学）
本文提出Helix分布式系统，通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度，显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction
IBM Research（IBM研究院）
本文提出投机性最短作业优先（SSJF）调度器，利用轻量级代理模型预测LLM输出序列长度，在不改变内存管理和批处理策略的情况下，显著降低作业完成时间并提升吞吐量。
2024-11-25 cs.CL cs.DC cs.LG
DSD: A Distributed Speculative Decoding Solution for Edge-Cloud Agile Large Model Serving
DSD提出了一种分布式推测解码框架，通过自适应窗口控制策略提升边缘-云环境下大模型服务的性能和扩展性。
2025-12-01 cs.DC cs.LG
Sangam: Efficiently Serving Diffusion LLMs with the AR Stack
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cisco Research（思科研究）
研究扩散语言模型服务问题，提出Sangam系统，用赤字令牌预算调度器实现摊还无停顿调度，采用混合服务策略缓解预填充资源不足，揭示服务设计空间受预填充-解码干扰等因素影响。
2026-07-07 cs.DC cs.LG
AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
Carnegie Mellon University（卡内基梅隆大学）；Tongji University（同济大学）；EPFL（苏黎世联邦理工学院）；Amazon Web Services（亚马逊网络服务）
针对现有LLM服务系统难以同时满足异构SLO的问题，提出支持SLO定制化投机解码的AdaServe系统，通过硬件感知投机树构建、动态参数调整等实现低SLO违反率与高有效吞吐量。
2025-05-17 cs.AI cs.CL cs.DC
Spexis: Speculative Lookahead Scheduling for LLM Inference
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
Spexis通过投机并行与前瞻调度，在不增加KV缓存内存的前提下引入新并行维度，提升多GPU LLM推理效率，较最优基线加速达34%。
2026-09-29 cs.DC cs.LG
Efficient Serving of LLM Applications with Probabilistic Demand Modeling
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud（华为云）；Unaffiliated（无隶属机构）
本文提出Hermes系统，利用概率需求图建模LLM应用资源需求，采用Gittins策略优化调度顺序，预热冷后台，提升服务效率，减少平均完成时间70%以上，P95完成时间80%以上。
2025-06-17 cs.AI cs.DC cs.LG
MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment
针对边缘LLM重训练与推理的资源冲突问题，提出迭代级调度的混合系统MACE，同驻推理与微调任务并智能分配GPU资源，在保障SLO下兼顾延迟、吞吐量与模型更新时效性。
2025-09-28 cs.AI cs.CL cs.DC
Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
University of Maryland（马里兰大学）；New York University（纽约大学）
本文提出GRIEF模糊器，通过时间多请求追踪发现LLM服务层漏洞，包括15个漏洞，10个已确认，涉及缓存隔离失败、跨请求性能干扰和崩溃问题。
2026-05-11 cs.AI cs.CR cs.LG
FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
NVIDIA（英伟达公司）；Perplexity AI（Perplexity AI公司）
FlashInfer通过块稀疏格式、可定制模板和负载均衡调度，为LLM推理提供高效注意力引擎，显著降低延迟并提升性能。
2025-04-21 cs.AI cs.DC cs.LG
Scheduling Jobs with Stochastic Holding Costs
KAIST（韩国科学技术院）；London School of Economics（伦敦政治经济学院）
我们研究了一个单服务器调度问题的目标是最小化的预期累积持有成本的工作，其中参数定义的随机作业持有成本是未知的调度程序。我们考虑一个一般的设置，允许不同的工作类，在同一类的工作具有统计上相同的持有成本和服务时间，与任意数量的跨类工作。在每个时间步中，服务器可以处理一个作业，并观察尚未完成的作业的随机持有成本。我们考虑一个基于学习的$cμ$规则调度开始与抢占期的固定时间，作为一个学习阶段，并收集有关作业的数据，它切换到非抢占式调度。我们的算法的目的是处理实例的平均作业持有成本的大，小差距，并实现接近最佳的性能保证。算法的性能用后悔来评价，基准是作业参数已知时，按$cμ$规则调度策略所能达到的最小可能总保持成本.我们表现出遗憾的下限和算法，实现几乎匹配的遗憾上限。我们的数值结果表明，我们的算法的有效性，并表明我们的遗憾分析是近紧。
2022-09-21 cs.DS cs.LG math.OC
