Serving DNNs like Clockwork: Performance Predictability from the Bottom Up
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Emory University（埃默里大学）
机器学习推理正在成为交互式Web应用程序的核心构建块。因此，这些应用程序所依赖的底层模型服务系统必须始终满足低延迟目标。现有的模型服务架构使用众所周知的反应式技术来缓解常见的延迟源，但不能有效地减少不可预测的执行时间引起的尾部延迟。然而，底层的执行时间并不是根本不可预测的-相反，我们观察到使用深度神经网络（DNN）模型的推理具有确定性性能。在这里，从各个DNN推理的可预测执行时间开始，我们采用了一种原则性的设计方法，成功地构建了一个完全分布式的模型服务系统，实现了可预测的端到端性能。我们使用生产跟踪工作负载评估了我们的实现Clockwork，并表明Clockwork可以支持数千种模型，同时满足99.9999%请求的100 ms延迟目标。我们进一步证明了Clockwork利用可预测的执行时间来实现严格的请求级服务级目标（SLO）以及高度的请求级性能隔离。
2020-10-26 cs.DC cs.LG
Optimizing Prediction Serving on Low-Latency Serverless Dataflow
预测服务系统被设计为提供大量的低延迟推理机器学习模型。这些系统混合了数据处理和计算密集型模型推理，并受益于多个异构处理器和分布式计算资源。在本文中，我们认为一个熟悉的Repllow API非常适合这种延迟敏感的任务，并且即使使用未经修改的黑盒ML模型也可以进行优化。我们提出了Cloudflow的设计，该系统提供了此API，并在自动扩展的无服务器后端上实现了它。Cloudflow透明地实现了性能关键型优化，包括运营商融合和竞争执行。我们的评估表明，Cloudflow的优化在合成工作负载上产生了显着的性能改进，并且Cloudflow在现实世界的预测管道上的性能比最先进的预测服务系统高出2倍，满足了实时视频分析等要求苛刻的应用程序的延迟目标。
2020-07-11 cs.DC
Harpagon: Minimizing DNN Serving Cost via Efficient Dispatching, Scheduling and Splitting
Tianjin University（天津大学）；Stevens Institute of Technology（史蒂文斯理工学院）
Harpagon通过高效调度、调度和分割策略，有效降低多DNN应用的服务成本，同时满足延迟约束。
2024-12-09 cs.DC
Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving
针对低延迟、小批量、设备端物理AI服务场景，提出执行状态胶囊机制，通过图绑定检查点与恢复完整可恢复状态，在RTX 5090上实现亚毫秒级恢复，TTFT加速比达3.9倍至27倍。
2026-06-19 cs.DC cs.LG
Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading
Stevens Institute of Technology（史蒂文斯理工学院）；Rice University（Rice大学）；University of Waterloo（多伦多大学）；Rutgers University（罗格斯大学）
针对基于MoE的大语言模型服务中粗粒度专家卸载存在的延迟与内存权衡问题，提出细粒度专家卸载系统FineMoE，利用专家选择模式和输入语义指导卸载决策，显著降低推理延迟并提升专家命中率。
2025-10-04 cs.AI cs.DC cs.LG
HydraServe: Minimizing Cold Start Latency for Serverless LLM Serving in Public Clouds
HydraServe通过主动分发模型、重叠冷启动阶段、策略性放置工作节点及流水线整合，在公有云中最小化无服务器LLM服务的冷启动延迟，并提升SLO达成率。
2025-09-25 cs.DC
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出 HyGen，一个感知干扰的 LLM 服务系统，通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略，实现在线与离线工作负载的高效共置，在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
The University of British Columbia（不列颠哥伦比亚大学）；Microsoft Azure Research（微软Azure研究院）；NVIDIA（英伟达）
Cascade是一款LLM服务系统，利用单请求延迟预算协同调度与KV缓存管理，在保留异构请求公平性的同时，使LLM推理服务吞吐量最高提升2.4倍，SLO违规率降低40%。
2026-08-10 cs.DC cs.LG
Fast Distributed Inference Serving for Large Language Models
Peking University（北京大学）
针对LLM推理服务中的队头阻塞和高延迟问题，提出分布式推理系统FastServe，采用基于输出token粒度的抢占式调度和跳过连接多级反馈队列调度器，并设计高效GPU内存管理机制，在相同延迟要求下相比vLLM显著提升吞吐量。
2024-09-25 cs.DC cs.LG
Kairos: Low-latency Multi-Agent Serving with Shared LLMs and Excessive Loads in the Public Cloud
针对公有云中多智能体应用共享LLM过载及调度忽略延迟与资源差异的问题，提出多智能体编排系统Kairos，通过工作流编排器、优先级调度器和内存感知调度器优化端到端延迟，相比最先进工作降低17.8%至28.4%。
2025-08-09 cs.DC
SuperServe: Fine-Grained Inference Serving for Unpredictable Workloads
Georgia Tech（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）；Adobe（Adobe公司）
本文提出SuperServe系统，通过SubNetAct机制在权重共享超级网络中动态路由请求，同时服务延迟-准确性权衡空间中的整个模型范围，实现细粒度反应式调度，显著提升准确性和SLO达成率。
2023-12-27 cs.DC cs.LG
Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
提出PARS调度器，通过成对排序预测任务响应长度，近似最短作业优先调度，减少队头阻塞，在vLLM上实现高达15.7倍延迟降低。
2026-06-29 cs.AI cs.DC cs.LG
Parallelizing Tool Execution and LLM Generation for Low-Latency Agent Serving
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；Stevens Institute of Technology（Stevens 工程学院）；Google（谷歌）；Hong Kong University of Science and Technology（香港科学与技术大学）
提出PASTE系统，通过预测性执行未来工具调用与LLM生成并行，减少任务完成时间43.5%。
2026-06-17 cs.AI cs.DC
OOCO: Latency-disaggregated Architecture for Online-Offline Co-locate LLM Serving
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；JD Company（京东集团）
OOCO提出一种延迟分解架构，通过分离集群资源为严格和宽松延迟池，解决在线-离线协同LLM服务中的负载不平衡问题，提升离线吞吐量3倍并保持在线性能。
2025-11-26 cs.DC
Apparate: Rethinking Early Exits to Tame Latency-Throughput Tensions in ML Serving
Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出 Apparate 系统，通过自动管理 ML 模型早退机制并利用持续反馈驱动运行时监控与自适应策略，有效缓解了推理服务中吞吐量与延迟的矛盾。
2024-09-23 cs.DC cs.LG
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Alibaba Group（阿里巴巴集团）
Quiver是一个分布式GPU GNN服务系统，通过工作负载感知指标预测计算不规则性，智能调度GPU图采样与特征聚合，实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
RouterWise: Joint Resource Allocation and Routing for Latency-Aware Multi-Model LLM Serving
DisNet Lab, School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息学院）；School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息学院）；Department of Data Science & AI, Monash University（莫纳什大学数据科学与人工智能系）
针对延迟敏感的多模型LLM服务，RouterWise通过联合资源分配与路由策略优化，提升输出质量并满足延迟目标。
2026-06-22 cs.DC cs.NI
Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference Serving Systems
Iran University of Science and Technology（伊朗科技大学）；Queen Mary University of London（伦敦玛丽女王大学）；Technical University of Darmstadt（达姆施塔特工业大学）；University of South Carolina（南卡罗来纳大学）
针对动态工作负载下ML推理服务难以兼顾准确性、延迟与成本的问题，提出InfAdapter，通过主动选择模型变体及资源分配以最大化准确性与成本目标，显著降低SLO违规与成本。
2023-04-24 cs.DC cs.LG cs.SY
MoDM: Efficient Serving for Image Generation via Mixture-of-Diffusion Models
针对扩散文本到图像生成模型速度与质量难以兼顾的问题，提出基于缓存的MoDM服务系统，通过混合大小扩散模型、全局GPU资源调度，在保画质的同时将平均服务时间缩短2.5倍，实现高效可扩展部署。
2025-08-02 cs.DC
EdgeServing: Deadline-Aware Multi-DNN Serving at the Edge
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；New Jersey Institute of Technology（新泽西理工学院）；University of Windsor（温莎大学）；University of Delaware（特拉华大学）
本文提出EdgeServing系统，通过时间分片GPU共享和早退出推理提高预测性，引入稳定性评分量化调度决策对队列状态的影响，实验证明其在SLO违反率和P95延迟方面优于现有方法。
2026-05-07 cs.DC
StreamServe: Adaptive Speculative Flows for Low-Latency Disaggregated LLM Serving
StreamServe通过结合计算通道的指标感知路由和自适应推测解码，平衡吞吐量和延迟，实现低延迟的大语言模型服务。
2026-02-11 cs.AI cs.DC
FLYING SERVING: On-the-Fly Parallelism Switching for Large Language Model Serving
Oregon State University（俄勒冈州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
Flying Serving通过实时切换数据并行与张量并行，提升大语言模型服务在高负载和低负载下的性能，同时支持多样化的请求需求。
2026-03-02 cs.DC
CascadeInfer: Length-Aware Scheduling of LLM Serving with Low Latency and Load Balancing
Peking University（北京大学）；ScitiX AI
CascadeInfer通过动态调度请求降低LLM服务延迟和负载不均，提升系统吞吐量，减少端到端延迟达67%。
2026-05-15 cs.DC
OmniInfer: System-Wide Acceleration Techniques for Optimizing LLM Serving Throughput and Latency
Leibniz, Central Research Institute, 2012 Labs, Huawei Technology Co., Ltd.（华为技术有限公司中央研究院 Leibniz 实验室 2012 实验室）
OmniInfer通过统一框架优化LLM服务吞吐量和延迟，减少TPOT和TTFT，提升系统整体性能。
2026-08-10 cs.DC
Fairness-Aware and Latency-Controllable Scheduling for Chunked-Prefill LLM Serving
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）
针对分块预填充LLM服务中的调度公平性与延迟稳定性问题，提出基于老化策略的动态优先级调度、延迟预测请求调度和主动预填充控制，在NVIDIA GPU和Ascend加速器上实验表明，相比FCFS，平均端到端延迟降低10%以上，P99尾延迟显著减少。
2026-06-08 cs.DC cs.PF
PolyServe: Efficient Multi-SLO Serving at Scale
University of Washington（华盛顿大学）；ByteDance（字节跳动）
针对 LLM 服务中多延迟 SLO 难以兼顾尾延迟、利用率和自动扩缩容的问题，本文提出 PolyServe，通过 SLO 分箱、负载梯度路由、跨层共享及分块调度实现 1.23 倍有效吞吐量提升。
2025-07-17 cs.DC cs.LG
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
University of California, San Diego（加州大学圣迭戈分校）；Columbia University（哥伦比亚大学）；Yonsei University（延世大学）；NVIDIA（NVIDIA公司）；Samsung Semiconductor, Inc.（三星半导体公司）
AMMA是一种面向低延迟1M上下文注意力服务的多芯片片内存架构，通过提高内存带宽和优化并行计算方案，显著降低注意力延迟和能耗。
2026-11-02 cs.AI cs.AR cs.DC
FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
NVIDIA（英伟达公司）；Perplexity AI（Perplexity AI公司）
FlashInfer通过块稀疏格式、可定制模板和负载均衡调度，为LLM推理提供高效注意力引擎，显著降低延迟并提升性能。
2025-04-21 cs.AI cs.DC cs.LG
CacheSmith: Accurate RAG Serving under Latency SLOs with Adaptive KV Reuse
POSTECH（浦项工科大学）；Microsoft Research（微软研究院）
本文提出CacheSmith系统，通过三阶段动态配置的选择性重计算及SLO感知调度、预算感知规划，在四个基准测试中使RAG服务的质量门控SLO达成率较基线提升最多27.5%。
2026-10-13 cs.AR cs.DC
Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI
Baltimore, MD, USA（美国马里兰州巴尔的摩）
本文比较了vLLM和HuggingFace TGI在大语言模型推理服务中的性能，发现vLLM在高并发场景下吞吐量更高，而TGI在交互式应用中延迟更低。
2025-11-17 cs.DC cs.LG cs.PF
PRETZEL: Opening the Black Box of Machine Learning Prediction Serving Systems
Seoul National University（首尔国立大学）；Politecnico di Milano（米兰理工大学）；Microsoft（微软）
机器学习模型通常由转换管道组成。虽然这种设计允许在训练时有效地执行单个模型组件，但预测服务具有不同的要求，例如低延迟，高吞吐量和重负载下的适度性能下降。当前的预测服务系统将模型视为黑盒，从而忽略了预测时间特定的优化以便于部署。在本文中，我们提出了PRETZEL，预测服务系统引入了一种新的白盒架构，使端到端和多模型优化。使用类似生产的模型管道，我们的实验表明，PRETZEL能够在不同的维度上引入性能改进;与最先进的方法相比，PRETZEL平均能够将第99百分位延迟减少5.5倍，同时将内存占用减少25倍，并将吞吐量增加4.7倍。
2018-10-14 cs.DC cs.LG stat.ML
Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving
Xenoscube, Inc.（Xenoscube公司）
针对分离式LLM服务，提出相位解耦、模型校准的功耗控制方法，通过延迟门控校准分别优化预填充和解码通道，在MoE模型上实现帕累托改进的能效提升。
2026-09-11 cs.DC cs.LG
BARISTA: Efficient and Scalable Serverless Serving System for Deep Learning Prediction Services
Vanderbilt University（范德堡大学）
预训练的深度学习模型越来越多地用于提供各种计算密集型预测分析服务，如健身跟踪、语音和图像识别。深度学习模型的无状态和高度并行化的性质使其非常适合无服务器计算范式。然而，由于动态工作负载和具有部署和管理成本的各种可用资源配置，为这些服务做出有效的资源管理决策是一个难题。为了应对这些挑战，我们提出了一个分布式的、可扩展的深度学习预测服务系统Barista，并做出了以下贡献。首先，我们提出了一种快速有效的方法，通过识别各种趋势来预测工作负载。其次，我们制定了一个优化问题，以最大限度地减少总成本，同时确保有限的预测延迟与合理的准确性。第三，我们提出了一个有效的启发式，以确定合适的计算资源配置。第四，我们提出了一个智能代理分配和管理计算资源的水平和垂直缩放，以保持所需的预测延迟。最后，使用具有代表性的现实世界的城市交通服务的工作负载，我们展示和验证的Barista的能力。
2019-04-11 cs.DC cs.LG
Understanding Capacity-Driven Scale-Out Neural Recommendation Inference
Facebook（脸书）；Drexel University（德雷塞尔大学）；Tufts University（塔夫茨大学）
深度学习推荐模型已经发展到TB级。传统的服务方案--将整个模型加载到单个服务器--无法支持这种规模。支持这种规模的一种方法是使用分布式服务或分布式推理，它将单个大型模型的内存需求划分到多个服务器上。这项工作是系统研究社区开发新的模型服务解决方案的第一步，考虑到巨大的系统设计空间。大规模深度推荐系统是一种新的工作负载，对研究至关重要，因为它们消耗了数据中心所有推理周期的79%。为此，这项工作描述和表征了使用数据中心服务基础设施的横向扩展深度学习推荐推理。这项工作专门探讨延迟有界推理系统，相比其他最近的作品面向吞吐量的培训系统。我们发现分布式推理的延迟和计算开销主要是由于模型的静态嵌入表分布和输入推理请求的稀疏性。我们进一步评估了三个类DLRM模型的三个嵌入表映射策略，并在端到端延迟，计算开销和资源效率方面指定了具有挑战性的设计权衡。总的来说，当数据中心规模推荐模型以分布式推理方式提供服务时，我们只观察到边际延迟开销-P99延迟在最佳情况配置中仅增加1%。延迟开销很大程度上是由于使用的商品基础设施和嵌入表的稀疏性。更令人惊讶的是，我们还展示了分布式推理如何提高数据中心规模推荐服务的效率。
2020-11-11 cs.DC cs.IR cs.LG
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research India（微软研究院印度分院）
本文提出 Sarathi-Serve 调度器，通过分块预填充与无停顿统一批次调度，在尾延迟约束下显著提升 LLM 推理吞吐和服务容量。
2024-06-17 cs.DC cs.LG
PackServe: SLO-Aware Request Scheduling for Agentic LLM Serving at Scale
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Ant Group（蚂蚁集团）
PackServe通过白盒延迟预测模型指导请求打包，在保留KVC重用和SLO约束下减少GPU资源消耗，在64块H20 GPU上节省高达24.6%的GPU小时，并在生产集群中降低34.7%资源占用。
2026-09-29 cs.DC
Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
Technische Universität München（慕尼黑工业大学）
本文综述了Serverless LLM推理的冷启动问题，重点介绍ServerlessLLM通过多层检查点加载、实时迁移和启动优化调度将启动时间缩短6到8倍，并回顾了Rainbowcake等其他方法及FaaS冷启动应对策略。
2024-11-23 cs.DC cs.LG
InfiniLoRA: Disaggregated Multi-LoRA Serving for Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Bytedance（字节跳动）；Singapore Management University（新加坡管理大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；National University of Singapore（新加坡国立大学）
InfiniLoRA通过解耦LoRA执行与基础模型推理，提升多租户和多任务服务的效率与可扩展性，实验显示在严格延迟SLO下服务请求速率提升3.05倍，LoRA适配器满足SLO的百分比提高54.0%。
2026-11-04 cs.DC
Boosting LLM Serving through Spatial-Temporal GPU Resource Sharing
针对LLM服务中预填充与解码阶段不匹配导致GPU利用率低的问题，提出时空编排系统Bullet，通过阶段并发与动态资源分配，在满足延迟约束下实现最高1.55倍吞吐量提升。
2025-09-26 cs.DC
Parity Models: A General Framework for Coding-Based Resilience in ML Inference
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习模型正在成为许多应用程序的主要工具。生产服务通过预测服务系统部署模型，预测服务系统通过对机器学习模型执行推理来接收查询并返回预测。为了扩展到高查询速率，预测服务系统在集群设置中的许多机器上运行，因此容易出现减速和故障，从而增加尾部延迟并导致违反严格的延迟目标。当前减少尾部延迟的方法对于预测服务的延迟目标是不充分的，引起高资源开销，或者不适用于在推理期间执行的计算。我们提出了ParM，一个新的，通用的框架，利用擦除编码和机器学习的想法，以实现低延迟，资源高效的弹性预测服务系统的减速和故障。ParM将多个查询一起编码为单个奇偶校验查询，并使用奇偶校验模型对奇偶校验查询执行推理。解码器使用奇偶模型的输出来重构不可用预测的近似。ParM使用神经网络来学习奇偶校验模型，使简单，快速的编码器和解码器能够为各种推理任务（如图像分类，语音识别和对象定位）重建不可用的预测。我们建立ParM的开源预测服务系统之上，并通过广泛的评估表明，ParM提高了整体准确性，在面对不可用低延迟，同时使用2-4 $\times$比基于复制的方法减少额外的资源。与使用等量资源同时保持相同中值的方法相比，ParM将第99.9百分位数和中值延迟之间的差距减少了多达$3.5\times$。
2019-09-16 cs.DC cs.IT cs.LG
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving
DistServe 通过将 LLM 服务的预填充与解码阶段分离到不同 GPU，并协同优化资源分配与并行策略，消除了阶段间干扰，在满足 TTFT 和 TPOT 延迟约束下将可服务请求速率提升 7.4 倍或实现 12.6 倍更严格的 SLO。
2024-06-06 cs.DC
DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs
McGill University（麦吉尔大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nutanix, Inc.（Nutanix公司）
DeltaServe是一种主机无关式LLM推理与微调协同服务设计，可利用闲置GPU算力提升LoRA微调吞吐量，已集成至vLLM等框架，在保持100%推理SLO合规的前提下，微调吞吐量较现有方案显著提升。
2026-08-03 cs.DC cs.LG
Cross-Model Autoscaling for Shared LLM Serving
Hunan University（湖南大学）
提出TRE框架，通过Token服务份额信号和跨模型容量协调，在固定GPU预算下优化共享LLM服务的延迟SLO，显著降低P95/P99延迟。
2026-09-25 cs.DC
Quota-Based Aging for Prediction-Guided Scheduling in LLM Serving
Guangdong Prov./Zhuhai Key Lab of IRADS, Beijing Normal-Hong Kong Baptist University（广东省/珠海市智能机器人系统与应用重点实验室，北京师范大学-香港浸会大学联合国际学院）
针对LLM服务中异构响应长度导致的调度问题，提出基于配额的老化（QBA）策略，结合预测短优先准入与配额约束的老化请求提升，可在降低长请求尾部延迟的同时保留平均延迟优势。
2026-10-14 cs.DC
Serving deep learning models in a serverless platform
无服务器计算已经成为开发和部署各种基于事件的云应用程序的引人注目的范例。与此同时，云计算提供商和企业公司正在大量采用机器学习和人工智能，以使自己与众不同，或为客户提供增值服务。在这项工作中，我们评估了无服务器计算环境的适用性大型神经网络模型的推理。我们的实验评估是使用MxNet深度学习框架在AWS Lambda环境上执行的。我们的实验结果表明，虽然推理延迟可以在可接受的范围内，但由于冷启动而导致的较长延迟可能会扭曲延迟分布，从而有可能违反更严格的SLA。
2018-02-09 cs.DC
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度，在异构GPU集群中优化LLM服务，提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University（卡内基梅隆大学）
本文提出Helix分布式系统，通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度，显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
PCR: A Prefetch-Enhanced Cache Reuse System for Low-Latency RAG Serving
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
PCR通过智能预取和流水线数据传输技术，提升RAG服务中KV缓存重用效率，降低TTFT延迟。
2026-03-24 cs.DC
Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines
Imperial College London（伦敦帝国学院）
Scepsy通过聚合LLM管道高效调度多LLM代理工作流，实现高吞吐量和低延迟，相比独立优化或用户指定分配的系统，吞吐量提升2.4倍，延迟降低27倍。
2026-09-30 cs.AI cs.DC
LLM-Emu: Native Runtime Emulation of LLM Inference via Profile-Driven Sampling
University of Cambridge（剑桥大学）
LLM-Emu通过基于性能的采样实现LLM推理的原生运行时仿真，能够准确模拟vLLM服务行为，支持在线实验。
2026-05-01 cs.DC
CoCoScale: Leveraging Layer-wise Scaling to Unlock the Potential of Online LLM Serving
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Alibaba Group Inc（阿里巴巴集团）；State Key Lab of IOTSC, University of Macau（澳门大学物联网与智慧城市国家重点实验室）
研究在线大语言模型服务中动态工作负载问题，提出CoCoScale逐层动态缩放机制，通过利用闲置资源扩展热层并行度，减少冷启动延迟，提升动态适应性和资源效率。
2026-07-07 cs.DC
Cloud Native System for LLM Inference Serving
本文探讨利用容器化、微服务、动态调度及 Kubernetes 自动扩缩容构建云原生 LLM 推理服务系统，以提升资源效率、降低延迟并增强高负载下的吞吐与弹性扩展能力。
2025-07-24 cs.DC
Accuracy Is Speed: Towards Long-Context-Aware Routing for Distributed LLM Serving
IBM Research - Tokyo（IBM 东京研究所）；Delft University of Technology（代尔夫特理工大学）
研究提出通过重试动态将精度转化为速度，引入TTCA指标以衡量首次正确响应所需时间，设计轻量级精度感知路由LAAR以降低TTCA，强调在长上下文分布式服务中将精度作为首要系统目标。
2026-04-17 cs.DC
LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving
University of Michigan（密歇根大学）；ByteDance（字节跳动）
针对多租户LLM服务中联合批处理导致的延迟归因难题，提出基于屋顶线模型的LLMVisor实时延迟归因模型，在微秒级高效运行，相比基线方法大幅降低预填充和解码阶段的相对误差
2026-08-11 cs.AI cs.DC
