GENSERVE: Efficient Co-Serving of Heterogeneous Diffusion Model Workloads
Rice University（莱斯大学）；University of Waterloo（滑铁卢大学）；NVIDIA（英伟达）；Cisco Research（思科研究）；University of Washington（华盛顿大学）
GENSERVE通过利用扩散过程的可预测性，优化共服务效率，解决异构工作负载下的延迟SLA问题，实验表明其在多种配置下将SLA达成率提升44%。
2026-04-08 cs.DC
Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
University of Macau（澳门大学）
本文提出OmniServe系统，利用CPU和GPU资源缓解LLM服务间的干扰，提升吞吐量。通过注意力并行机制将BE服务的注意力计算卸载到CPU，同时动态批处理策略提升密集模块计算效率，实验表明在满足LS服务SLO的同时，BE服务吞吐量提升达9.85倍。
2026-03-17 cs.DC
AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
Carnegie Mellon University（卡内基梅隆大学）；Tongji University（同济大学）；EPFL（苏黎世联邦理工学院）；Amazon Web Services（亚马逊网络服务）
针对现有LLM服务系统难以同时满足异构SLO的问题，提出支持SLO定制化投机解码的AdaServe系统，通过硬件感知投机树构建、动态参数调整等实现低SLO违反率与高有效吞吐量。
2025-05-17 cs.AI cs.CL cs.DC
Hierarchical Autoscaling for Large Language Model Serving with Chiron
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对现有LLM服务自动扩缩容器未考虑请求SLO导致资源利用率低的问题，提出基于分层背压的Chiron自动扩缩容器，显著提升SLO达成率和GPU效率。
2025-01-14 cs.AI cs.DC
Graft: Efficient Inference Serving for Hybrid Deep Learning with SLO Guarantees via DNN Re-alignment
针对混合深度学习中 DNN 划分片段非均匀导致服务器服务低效的问题，Graft 通过 DNN 重对齐、细粒度 GPU 共享及片段合并分组算法，在保证延迟 SLO 的同时将资源效率最高提升 70%。
2023-12-17 cs.DC
Prefill-Decode Aggregation or Disaggregation? Unifying Both for Goodput-Optimized LLM Serving
本文提出TaiChi系统，统一预填充-解码聚合与分离架构，通过延迟转移和双调度机制，在平衡TTFT和TPOT SLO下将goodput提升77%。
2025-08-04 cs.DC
BrownoutServe: SLO-Aware Inference Serving under Bursty Workloads for MoE-based LLMs
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Southern University of Science and Technology（南方科技大学）；State Key Lab of IOTSC, University of Macau（澳门大学物联网智能计算国家重点实验室）
BrownoutServe 是一种面向 MoE 模型的推理服务框架，通过动态调整和联合专家机制提升效率并保障 SLO。
2025-07-23 cs.DC
Queue management for slo-oriented large language model serving
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
提出QLM队列管理系统，通过请求等待时间估计和全局调度优化LLM服务中的批量与交互请求排序，提升SLO达成率40-90%和吞吐量20-400%。
2025-02-25 cs.CL cs.DC cs.LG
EconoServe: Maximizing Multi-Resource Utilization with SLO Guarantees in LLM Serving
针对现有LLM服务调度器无法同时优化GPU计算与KVC资源利用率的问题，提出EconoServe系统，通过双队列调度、KVC预分配与流水线等机制，在保障SLO的同时大幅提升多资源利用率与系统性能。
2025-03-24 cs.DC
HFX: Joint Design of Algorithms and Systems for Multi-SLO Serving and Fast Scaling
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）；Simon Fraser University（西蒙弗雷泽大学）；École de technologie supérieure（高等技术学院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
HFX通过联合优化请求调度与弹性扩展，满足多样化的SLO，实验显示在延迟、成本等方面优于现有系统。
2026-04-23 cs.AI cs.DC
Trusted Floors Under Untrusted Learners: A Runtime Assured-SLO Guard for ML Serving
National Yang Ming Chiao Tung University（国立阳明交通大学）
研究在机器学习服务中，不可信学习者可能导致服务水平协议失效的问题。提出用小型可信防护机制包裹不可信学习者，将租户服务水平协议义务分两部分处理，通过实验验证该机制能有效保证服务质量，还刻画了廉价静态筛选的可信情况。
2026-07-21 cs.DC
A Predictive and Synergistic Two-Layer Scheduling Framework for LLM Serving
针对LLM服务双层架构的信息鸿沟导致的低效问题，提出预测性协同调度框架NexusSched，通过在线性能模型支撑双层协同优化，显著提升SLO达成率与吞吐量，并经生产环境验证。
2025-10-01 cs.DC
DynaServe: Unified and Elastic Execution for Dynamic Disaggregated LLM Serving
针对LLM推理中同址与分解式部署难以兼顾低尾延迟和高吞吐量的问题，提出基于vLLM的DynaServe系统，通过微请求拆分与两级调度实现弹性统一执行，显著提升SLO约束下的服务性能。
2025-05-22 cs.DC
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出 HyGen，一个感知干扰的 LLM 服务系统，通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略，实现在线与离线工作负载的高效共置，在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
UELLM: A Unified and Efficient Approach for LLM Inference Serving
本文提出UELLM，一种统一高效的LLM推理服务方法，包含资源分析器、批处理调度器和LLM部署器三个组件，有效降低推理延迟、提升GPU利用率和吞吐量，并减少SLO违规率。
2024-09-24 cs.DC
CacheSmith: Accurate RAG Serving under Latency SLOs with Adaptive KV Reuse
POSTECH（浦项工科大学）；Microsoft Research（微软研究院）
本文提出CacheSmith系统，通过三阶段动态配置的选择性重计算及SLO感知调度、预算感知规划，在四个基准测试中使RAG服务的质量门控SLO达成率较基线提升最多27.5%。
2026-10-13 cs.AR cs.DC
ProServe: Unified Multi-Priority Request Scheduling for LLM Serving
USTC（中国科学技术大学）
针对LLM服务中多优先级请求的SLO保障问题，提出ProServe框架，通过引擎层滑动批处理和块管理优化及服务层增益导向调度，最大化服务增益。
2026-06-15 cs.DC
TetriServe: Efficiently Serving Mixed DiT Workloads
University of Michigan（密歇根大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Nanyang Technological University（南洋理工大学）
针对混合分辨率与截止时间的异构DiT工作负载，提出基于步骤级序列并行的TetriServe系统，通过轮次调度与自适应并行度，在保证图像质量下将SLO达成率提升32%。
2026-06-19 cs.DC cs.LG
VoltanaLLM: Energy-Efficient and SLO-Aware Disaggregated LLM Serving via Adaptive Frequency Control and State-Space Routing
Siebel School of Computing（计算与数据科学学院）；Department of Precision Instrument, Tsinghua University（清华大学精密仪器系）
提出VoltanaLLM系统，利用控制理论，通过每实例迭代级频率选择和状态空间路由，在满足延迟SLO下降低LLM推理能耗，实验显示最高节能36.3%。
2026-06-24 cs.AI cs.DC cs.LG
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne（墨尔本大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度，在满足延迟SLO的同时提升GPU利用率，显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
SLO-Guard: Crash-Aware, Budget-Consistent Autotuning for SLO-Constrained LLM Serving
Inland Norway University of Applied Sciences（内陆挪威应用科学大学）；University of California, Berkeley（加州大学伯克利分校）
SLO-Guard通过结合热预算退火与树结构帕泽估计器，实现崩溃感知的自动调优，提升LLM服务在SLO约束下的预算一致性与稳定性。
2026-04-19 cs.DC cs.LG cs.PF
Xema: Efficient Diffusion Serving through Fine-Grained Memory Management and Auto-Configuration
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
研究针对扩散模型服务受GPU内存限制问题，提出Xema系统，通过细粒度内存管理和自动配置，利用可预测张量生命周期优化内存，引入离线规划器联合选择参数，实现高效扩散服务，相比现有配置提升SLO达成率并降低规划成本。
2026-07-14 cs.DC
DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs
McGill University（麦吉尔大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nutanix, Inc.（Nutanix公司）
DeltaServe是一种主机无关式LLM推理与微调协同服务设计，可利用闲置GPU算力提升LoRA微调吞吐量，已集成至vLLM等框架，在保持100%推理SLO合规的前提下，微调吞吐量较现有方案显著提升。
2026-08-03 cs.DC cs.LG
Memory Offloading for Large Language Model Inference with Latency SLO Guarantees
针对现有LLM推理内存卸载机制未考虑延迟SLO导致违规或内存利用不足的问题，提出Select-N系统，利用LLM解码器层计算时间确定性，通过两阶段方法选最优卸载间隔，实现SLO满足并将吞吐量提升1.85倍。
2025-02-12 cs.DC
WISP: Waste- and Interference-Suppressed Distributed Speculative LLM Serving at the Edge via Dynamic Drafting and SLO-Aware Batching
University College Dublin（都柏林大学学院）；National Technical University of Athens（雅典国家技术大学）；Queen's University Belfast（贝尔法斯特女王大学）
本文提出WISP系统，通过动态草稿和SLO感知批处理优化边缘和云的负载平衡，提升系统容量和吞吐量。
2026-04-07 cs.AI cs.DC
JITServe: SLO-aware LLM Serving with Imprecise Request Information
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
JITServe通过即时调度和优化资源分配，提升LLM服务吞吐量并实现资源节省。
2025-12-22 cs.DC cs.LG cs.SY
Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
The University of British Columbia（不列颠哥伦比亚大学）；Microsoft Azure Research（微软Azure研究院）；NVIDIA（英伟达）
Cascade是一款LLM服务系统，利用单请求延迟预算协同调度与KV缓存管理，在保留异构请求公平性的同时，使LLM推理服务吞吐量最高提升2.4倍，SLO违规率降低40%。
2026-08-10 cs.DC cs.LG
Efficient Vision-Language-Action Management and Serving for Robot Factories
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对机器人工厂中VLA模型推理的延迟关键性，提出Robion系统，通过GPU内流分离和智能调度，在边缘服务器上高效服务多机器人多模型，显著提升SLO达成率下的负载能力。
2026-09-14 cs.AR cs.DC cs.LG
FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）；Anthropic PBC（Anthropic 公益公司）；Stanford University（斯坦福大学）；Mistral AI；Amazon Web Services（亚马逊云科技）
FlexLLM通过令牌级计算融合与混合调度，在共享GPU上协同服务LLM推理和PEFT微调，实现高达80%内存节省、SLO保证及最高6.8倍微调吞吐量提升。
2025-10-23 cs.CL cs.DC cs.LG
PolyServe: Efficient Multi-SLO Serving at Scale
University of Washington（华盛顿大学）；ByteDance（字节跳动）
针对 LLM 服务中多延迟 SLO 难以兼顾尾延迟、利用率和自动扩缩容的问题，本文提出 PolyServe，通过 SLO 分箱、负载梯度路由、跨层共享及分块调度实现 1.23 倍有效吞吐量提升。
2025-07-17 cs.DC cs.LG
eLLM: Elastic Memory Management Framework for Efficient LLM Serving
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
eLLM提出一种弹性内存管理框架，通过虚拟张量抽象、弹性内存机制和轻量调度策略，提升LLM服务的内存利用效率，实现在动态负载下的更高吞吐量和更大批次大小。
2026-05-06 cs.DC
MoDM: Efficient Serving for Image Generation via Mixture-of-Diffusion Models
针对扩散文本到图像生成模型速度与质量难以兼顾的问题，提出基于缓存的MoDM服务系统，通过混合大小扩散模型、全局GPU资源调度，在保画质的同时将平均服务时间缩短2.5倍，实现高效可扩展部署。
2025-08-02 cs.DC
Dissecting the Carbon-SLO Tension in Geo-Distributed LLM Serving
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对地理分布式LLM服务中碳减排与延迟SLO的张力，设计校准后的推理模拟器，提出多类调度器，发现MILP调度器可减碳60%且SLO违反率仅3%，明确减排与SLO的影响因素。
2026-10-14 cs.DC cs.LG cs.PF
SLO-aware GPU Frequency Scaling for Energy Efficient LLM Inference Serving
ETH Zürich（苏黎世联邦理工学院）；National Technical University of Athens（雅典国家技术大学）
throttLL'eM通过预测KV缓存使用和批处理大小，利用机器学习模型减少GPU频率和实例规模，从而在满足SLOs的前提下降低LLM推理的能耗达43.8%并提升能效1.71倍。
2025-12-03 cs.AI cs.AR cs.DC
BucketServe: Bucket-Based Dynamic Batching for Smart and Efficient LLM Inference Serving
Southern University of Science and Technology（南方科技大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院）
BucketServe通过基于桶的动态分组优化LLM推理性能，提升吞吐量并确保服务等级目标合规。
2025-07-23 cs.AI cs.DC
TridentServe: A Stage-level Serving System for Diffusion Pipelines
针对现有扩散模型流水线服务系统静态流水线级资源分配效率低的问题，提出动态阶段级服务范式并开发TridentServe系统，通过协同优化放置与调度方案，显著提升SLO达成率并降低延迟。
2025-10-03 cs.DC
Harmonia: End-to-End RAG Serving Optimization
UT Austin（德克萨斯大学奥斯汀分校）；Cisco Research（思科研究）；Cisco Systems（思科系统）
提出Harmonia框架，通过灵活管道接口、异构感知部署和闭环运行时控制器，优化RAG服务，吞吐量提升2.04倍以上，SLO违规减少78.4%。
2026-06-04 cs.AI cs.DC cs.MA
Stage-Aware Communication Scheduling for Disaggregated LLM Serving
iSING Lab, Hong Kong University of Science and Technology（香港科技大学 iSING 实验室）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）
本文提出MFS机制，通过动态优先级调度提升TTFT性能，有效降低网络竞争对SLO的影响。
2026-09-22 cs.DC cs.NI
HADIS: A Hybrid Architecture for Query-Aware Diffusion Model Serving
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Akamai Tech（Akamai科技）
HADIS通过混合自适应架构优化扩散模型服务，提升响应质量和降低延迟违规率
2026-09-28 cs.DC
Native Dual Pools or Shared Paging? Memory Organization for Concurrent Hybrid LLM Serving
Electronics and Telecommunications Research Institute (ETRI)（电子电信研究所）
该研究对比了四种内存组织方案，优化混合LLM服务的内存管理，发现S0-S1-S2优化可提升吞吐量与完成时间，D0性能随内存等因素变化，为相关内存管理设计提供依据。
2026-10-15 cs.DC
HydraInfer: Hybrid Disaggregated Scheduling for Multimodal Large Language Model Serving
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
HydraInfer提出混合编码-预填充-解码分离架构，将MLLM推理三阶段调度到异构实例并支持阶段级批处理，在8xH800集群上实现最高4倍吞吐量提升。
2025-11-10 cs.DC
MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment
针对边缘LLM重训练与推理的资源冲突问题，提出迭代级调度的混合系统MACE，同驻推理与微调任务并智能分配GPU资源，在保障SLO下兼顾延迟、吞吐量与模型更新时效性。
2025-09-28 cs.AI cs.CL cs.DC
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving
DistServe 通过将 LLM 服务的预填充与解码阶段分离到不同 GPU，并协同优化资源分配与并行策略，消除了阶段间干扰，在满足 TTFT 和 TPOT 延迟约束下将可服务请求速率提升 7.4 倍或实现 12.6 倍更严格的 SLO。
2024-06-06 cs.DC
CoLLM: Continuous Adaptation for SLO-Aware LLM Serving on Shared GPU Clusters
Tianjin University（天津大学）；King's College London（伦敦大学国王学院）；Paiou Cloud Computing (Shanghai) Company, Ltd.（上海帕优云计算有限公司）
CoLLM通过统一联邦参数高效微调与推理，实现LLM服务在共享GPU集群中的连续适应，提升模型质量和效率，实验显示其在吞吐量上表现优异。
2026-05-15 cs.AI cs.DC cs.LG
Harli: SLO-Aware Co-location of LLM Inference and PEFT-based Finetuning on Model-as-a-Service Platforms
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Chinese Academy of Science（中国科学院）
针对MaaS平台中LLM解码实例GPU利用率低的问题，提出Harli系统，通过统一内存分配、两阶段延迟预测和QoS保障调度实现PEFT任务与解码实例共址，在保障推理QoS的同时大幅提升微调吞吐量。
2025-11-19 cs.DC cs.LG
LayerKV: Optimizing Large Language Model Serving with Layer-wise KV Cache Management
Ant Group（蚂蚁集团）
针对大语言模型上下文扩展导致首令牌生成时间（TTFT）飙升的问题，提出分层KV缓存管理方法LayerKV，通过细粒度内存控制与SLO感知调度，在不增硬件、不降性能的前提下大幅降低TTFT与SLO违反率。
2024-10-09 cs.AI cs.DC cs.LG
KunServe: Parameter-centric Memory Management for Efficient Memory Overloading Handling in LLM Serving
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究所，上海交通大学）
KunServe提出参数中心内存管理，通过选择性丢弃复制参数应对LLM服务内存过载，结合流水线并行，将尾部TTFT降低高达72.2倍。
2025-10-08 cs.AI cs.DC
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出Echo系统，通过调度器、KV cache管理器和估算工具包协同工作，在满足在线任务SLO的同时最大化离线任务吞吐量，提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
ServerlessT2I: Efficient Text-to-Image Workflow Serving on a Serverless Platform
Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）
ServerlessT2I是将T2I工作流分解为独立模型函数的无服务器系统，通过优化调度与内存利用，在相同GPU预算下提升请求率2倍，固定请求率下节省GPU资源达3倍。
2026-07-30 cs.AI cs.DC
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
Dell Technologies Inc.（戴尔科技有限公司）
本文提出框架，通过TTFT-ITL可行集等揭示LLM并行配置随工作负载、SLO、上下文长度的转变规律，为感知SLO的并行选择提供方法。
2026-10-14 cs.AI cs.DC cs.LG
GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
Shanghai Jiao Tong University（上海交通大学）；Guizhou University（贵州大学）
提出GF-DiT，一种策略可编程运行时，通过动态调整请求并行度来优化扩散Transformer服务，利用无组集合通信实现低开销在线重配置，显著提升吞吐量和降低延迟。
2026-07-03 cs.DC cs.LG cs.PF
Efficiently Serving Large Multimodal Models Using EPD Disaggregation
Huawei Technologies Canada, BC, Canada（华为加拿大技术有限公司）；Simon Fraser University, BC, Canada（西蒙弗雷泽大学）；Huawei Cloud, China（华为云）
提出 EPD 解耦框架，将大型多模odal模型的编码、预填充和解码阶段分离到专用资源，通过缓存多媒体 token、并行化编码负载等优化，显著提升内存效率、批处理大小及 SLO 达成率。
2025-06-28 cs.AI cs.CV cs.DC
