Sponge: Inference Serving with Dynamic SLOs Using In-Place Vertical Scaling
本文提出Sponge推理服务系统，通过原地垂直伸缩、动态批处理和请求重排序及整数规划模型，在保证动态SLO的同时最大化资源效率。
2024-04-23 cs.DC
Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling
University of Washington（华盛顿大学）；HKUST（香港科技大学）
本文针对批量LLM服务中异构请求导致的资源分配低效问题，提出ISJL算法，实现高吞吐量的同时对齐最大驱动批次成本与token计量收入，达到3/4的竞争比下界，平衡了FCFS与LJF的优缺点。
2026-08-04 cs.DC cs.SY eess.SY
The Synergy of Speculative Decoding and Batching in Serving Large Language Models
University of Toronto（多伦多大学）；CentML Inc（CentML公司）；Vector Institute（向量研究所）
本文研究大语言模型推理中批处理与投机解码的协同效应，通过定量建模发现最优投机长度取决于批大小，并提出自适应投机解码策略，在不同批大小下达到或超越固定长度方案。
2023-10-28 cs.DC cs.LG
Optimizing LLM Inference Throughput via Memory-aware and SLA-constrained Dynamic Batching
针对静态批处理在内存受限GPU上部署LLM的局限，提出一种内存感知且SLA约束的动态批处理方法，通过动态调度与延迟反馈机制，使吞吐量提升8%-28%、容量提升22%。
2025-03-07 cs.DC
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington（华盛顿大学）；Duke University（杜克大学）；Microsoft（微软公司）
本文提出 Symphony DNN 服务系统，通过可调度窗口与跨加速器细粒度协调实现延迟批量调度，在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
SparseServe: Unlocking Parallelism for Dynamic Sparse Attention in Long-Context LLM Serving
针对动态稀疏注意力长上下文 LLM 服务中的 HBM 容量瓶颈，本文提出 SparseServe，通过 HBM-DRAM 分层 KV 管理、工作集批量控制和层分段预填充提升并行度，显著降低 TTFT 并提高吞吐量。
2025-09-29 cs.DC
Packrat: Automatic Reconfiguration for Latency Minimization in CPU-based DNN Serving
University of Utah（犹他大学）；Microsoft Research（微软研究院）；NVIDIA（英伟达）；Microsoft（微软）
Packrat提出在CPU服务器上以多实例、小批量和少线程替代单实例全线程运行DNN，并自动搜索最优实例数、线程数和批处理大小，作为TorchServe扩展实现延迟降低1.43至1.83倍。
2023-11-30 cs.DC cs.LG
Harpagon: Minimizing DNN Serving Cost via Efficient Dispatching, Scheduling and Splitting
Harpagon通过高效调度、调度和分割策略，有效降低多DNN应用的服务成本，同时满足延迟约束。
2024-12-09 cs.DC
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction
IBM Research（IBM研究院）
本文提出投机性最短作业优先（SSJF）调度器，利用轻量级代理模型预测LLM输出序列长度，在不改变内存管理和批处理策略的情况下，显著降低作业完成时间并提升吞吐量。
2024-11-25 cs.CL cs.DC cs.LG
Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving
针对低延迟、小批量、设备端物理AI服务场景，提出执行状态胶囊机制，通过图绑定检查点与恢复完整可恢复状态，在RTX 5090上实现亚毫秒级恢复，TTFT加速比达3.9倍至27倍。
2026-06-19 cs.DC cs.LG
WISP: Waste- and Interference-Suppressed Distributed Speculative LLM Serving at the Edge via Dynamic Drafting and SLO-Aware Batching
University College Dublin（都柏林大学学院）；National Technical University of Athens（雅典国家技术大学）；Queen's University Belfast（贝尔法斯特女王大学）
本文提出WISP系统，通过动态草稿和SLO感知批处理优化边缘和云的负载平衡，提升系统容量和吞吐量。
2026-04-07 cs.AI cs.DC
LAPS: A Length-Aware-Prefill LLM Serving System
LAPS通过长度感知的调度策略优化LLM服务，降低预填充延迟并减少SLO违规，提升吞吐量。
2026-01-27 cs.AI cs.DC
Batch Query Processing and Optimization for Agentic Workflows
National University of Singapore（新加坡国立大学）
Halo通过统一查询优化与异构LLM服务，提升代理工作流在批量推理和在线服务中的效率，实现3.6倍速度提升和2.6倍吞吐量改进。
2026-01-19 cs.DB cs.DC
Past-Future Scheduler for LLM Serving under SLA Guarantees
提出Past-Future调度器，通过历史分布和未来内存占用精确估计峰值资源，平衡排队与驱逐，在LightLLM框架中实现2-3倍goodput提升。
2025-07-14 cs.DC
CacheFlow: Efficient LLM Serving via Automated 3D-Parallel KV Cache Restoration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出CacheFlow框架，通过3D并行抽象优化KV缓存恢复，减少TTFT时间，提升大语言模型服务效率。
2026-09-26 cs.DC
SLIM: Saturation-Aware Lightweight Performance Modeling for LLM Serving
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya - BarcelonaTech（加泰罗尼亚理工大学）；IBM Research（IBM研究院）
该研究针对LLM服务吞吐量饱和问题，通过GPU剖析明确其源于解码阶段注意力内核的DRAM带宽饱和，提出SLIM半分析性能模型及BCA工具，可高效预测吞吐量与延迟并优化批处理配置。
2026-08-03 cs.DC cs.PF
Batch is back: CasJobs, serving multi-TB data on the Web
斯隆数字巡天（SDSS）科学数据库描述了超过1.4亿个物体，大小超过1.5 TB。SDSS目录存档服务器（CAS）通过SkyServer网站提供了对SDSS数据的几个级别的查询接口。大多数查询在几秒或几分钟内执行。但是，有些查询可能需要数小时或数天的时间，因为它们需要对最大的表进行非索引扫描，或者因为它们请求非常大的结果集，或者因为它们表示非常复杂的数据聚合。这些“怪物查询”不仅花费很长时间，还影响其他所有人的响应时间-其中一个或多个查询可能会阻塞整个系统。为了改善这一问题，我们开发了一个多服务器多队列批量作业提交和跟踪系统的CAS称为CasJobs。通过网络传输查询的非常大的结果集是另一个严重的问题。统计数据表明，这种数据传输大部分是不必要的;用户更愿意将结果存储在本地，以便允许进一步的连接和过滤。为了允许本地分析，开发了一个系统，在服务器端为用户提供他们自己的个人数据库（MyDB）。用户可以将数据传输到他们的MyDB，然后在将其提取到自己的机器之前进行进一步分析。MyDB表还提供了一种与协作者共享查询结果的方便方法，而无需下载它们。CasJobs是使用SOAP XML Web服务构建的，自2004年5月以来一直在运行。
2005-02-17 cs.DB cs.DC
Quota-Based Aging for Prediction-Guided Scheduling in LLM Serving
Guangdong Prov./Zhuhai Key Lab of IRADS, Beijing Normal-Hong Kong Baptist University（广东省/珠海市智能机器人系统与应用重点实验室，北京师范大学-香港浸会大学联合国际学院）
针对LLM服务中异构响应长度导致的调度问题，提出基于配额的老化（QBA）策略，结合预测短优先准入与配额约束的老化请求提升，可在降低长请求尾部延迟的同时保留平均延迟优势。
2026-10-14 cs.DC
Hierarchical Autoscaling for Large Language Model Serving with Chiron
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对现有LLM服务自动扩缩容器未考虑请求SLO导致资源利用率低的问题，提出基于分层背压的Chiron自动扩缩容器，显著提升SLO达成率和GPU效率。
2025-01-14 cs.AI cs.DC
ELMoE-3D: Leveraging Intrinsic Elasticity of MoE for Hybrid-Bonding-Enabled Self-Speculative Decoding in On-Premises Serving
KAIST（韩国科学技术院）；Samsung Electronics（三星电子）；GIST（全南国立大学）
本文提出ELMoE-3D框架，结合缓存加速与推测解码，通过弹性自推测解码实现跨批处理大小的整体加速，提升内存效率与能效。
2026-04-23 cs.AI cs.AR cs.DC
AgentWeave: Efficient Distributed Agent Serving via Flow Decomposition
Sun Yat-sen University（中山大学）；EPFL（瑞士联邦理工学院）
针对分布式智能体服务的请求阻塞问题，提出基于聚合架构的AgentWeave系统，通过流分解与流自适应调度器提升吞吐量、降低延迟，在四类应用上实现1.81倍吞吐量提升等性能增益。
2026-10-14 cs.DC
Pacing Branch Parallelism in LLM Serving
Stanford University（斯坦福大学）；NVIDIA（英伟达）
本文提出TAPER，一种按步骤的准入控制器，通过预测分支外部性来调节分支并行度，提升吞吐量并保持服务级别目标。
2026-11-03 cs.AI cs.CL cs.DC
TurboTransformers: An Efficient GPU Serving System For Transformer Models
Pattern Recognition Center, Wechat AI, Tencent Inc（腾讯微信AI模式识别中心）
Transformer是近年来自然语言处理领域最重要的算法创新。与递归神经网络（RNN）模型不同，Transformers可以并行处理序列长度的维度，因此在长序列上具有更好的准确性。然而，在配备GPU的数据中心中为在线服务高效部署它们并不容易。首先，由Transformer结构引入的更多计算使得满足服务的延迟和吞吐量约束更具挑战性。第二，NLP任务采用可变长度的句子。输入维数的可变性给有效的存储管理和服务优化带来了严重的问题。本文设计了一个Transformer服务系统TurboTransformers，该系统由计算运行时和服务框架两部分组成。三大创新特点使其在同类作品中脱颖而出。提出了一种有效的并行算法，用于基于GPU的批量约简操作，如Softmax和LayerNorm，除了BLAS例程之外的主要热点。针对变长输入的情况，设计了一种内存分配算法，该算法能够更好地平衡内存占用和分配/释放效率。一个服务框架配备了一个新的批处理调度器，使用动态规划实现可变长度的请求的最佳吞吐量。该系统可以实现最先进的Transformer模型，在GPU平台上提供性能，并且可以通过几行代码无缝集成到PyTorch代码中。
2021-02-20 cs.AI cs.DC cs.LG
Lynx: Enabling Efficient MoE Inference through Dynamic Batch-Aware Expert Selection
Georgia Institute of Technology（佐治亚理工学院）
本文提出Lynx系统，通过利用MoE训练中的负载平衡损失特性，减少专家调用总数，从而在不依赖工作负载的情况下实现高效的MoE推理，提升了吞吐量并保持了低的精度损失。
2026-05-18 cs.DC cs.LG
LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving
University of Michigan（密歇根大学）；ByteDance（字节跳动）
针对多租户LLM服务中联合批处理导致的延迟归因难题，提出基于屋顶线模型的LLMVisor实时延迟归因模型，在微秒级高效运行，相比基线方法大幅降低预填充和解码阶段的相对误差
2026-08-11 cs.AI cs.DC
Nitsum: Serving Tiered LLM Requests with Adaptive Tensor Parallelism
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；GenseeAI Inc.（GenseeAI公司）
Nitsum通过自适应张量并行性优化分层LLM服务，提升多租户场景下的吞吐量，实验显示性能提升达5.3倍。
2026-05-06 cs.DC
FastDecode: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines
FastDecode通过将LLM分解为KV-Cache访问和计算两部分，利用多节点CPU处理内存受限部分，减少数据传输并提升GPU吞吐，实现比vLLM高1.88x-5.04x的服务性能。
2024-03-18 cs.DC cs.PF
Staggered Batch Scheduling: Co-optimizing Time-to-First-Token and Throughput for High-Efficiency LLM Inference
本文提出交错批次调度方法，通过缓冲请求优化执行批次，降低TTFT并提升吞吐量，应用于高效大语言模型推理。
2025-12-18 cs.DC cs.LG
Efficient Memory Management for Large Language Model Serving with PagedAttention
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；UC San Diego（加州大学圣地亚哥分校）
针对LLM服务中KV cache内存浪费限制批处理大小的问题，提出受操作系统分页技术启发的PagedAttention算法并构建vLLM系统，实现近乎零内存浪费与灵活共享，在同等延迟下将吞吐量提升2-4倍。
2023-09-12 cs.DC cs.LG
Queue management for slo-oriented large language model serving
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
提出QLM队列管理系统，通过请求等待时间估计和全局调度优化LLM服务中的批量与交互请求排序，提升SLO达成率40-90%和吞吐量20-400%。
2025-02-25 cs.CL cs.DC cs.LG
CacheSmith: Accurate RAG Serving under Latency SLOs with Adaptive KV Reuse
POSTECH（浦项工科大学）；Microsoft Research（微软研究院）
本文提出CacheSmith系统，通过三阶段动态配置的选择性重计算及SLO感知调度、预算感知规划，在四个基准测试中使RAG服务的质量门控SLO达成率较基线提升最多27.5%。
2026-10-13 cs.AR cs.DC
ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）；Shanghai Xingyunzhili Artificial Intelligence Institute（上海行云智人工智能研究所）
针对PD分离MoE服务中解码负载不均衡导致延迟差异的问题，提出ELDR路由方法，利用预填充专家签名预测解码专家激活，通过平衡K-means分区和局部性感知路由，在vLLM上实现中位TPOT降低5.9-13.9%。
2026-07-03 cs.DC
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research India（微软研究院印度分院）
本文提出 Sarathi-Serve 调度器，通过分块预填充与无停顿统一批次调度，在尾延迟约束下显著提升 LLM 推理吞吐和服务容量。
2024-06-17 cs.DC cs.LG
InferLine: ML Prediction Pipeline Provisioning and Management for Tight Latency Objectives
为跨越多个模型和硬件加速器的ML预测管道提供服务是生产机器学习中的一个关键挑战。通过优化配置这些管道以满足严格的端到端延迟目标，由于模型批量大小、硬件加速器的选择以及查询到达过程中的变化之间的相互作用而变得复杂。在本文中，我们介绍了InferLine，这是一个系统，它提供和管理预测管道的各个阶段，以满足端到端的尾部延迟约束，同时最大限度地降低成本。InferLine由低频组合规划器和高频自动缩放调谐器组成。低频规划器利用逐阶段分析、离散事件模拟和约束组合搜索来自动选择流水线中每个阶段的硬件类型、复制和重复参数。高频调谐器使用网络演算来自动缩放每个阶段，以满足尾部延迟目标，以响应查询到达过程中的变化。我们证明，InferLine在成本上优于现有方法高达7.6倍，同时在实际工作负载上实现高达34.5倍的低延迟SLO未命中率，并在最先进的模型服务框架中推广。
2020-08-03 cs.DC
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks
TotalEnergies SE（道达尔能源公司）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
深度神经网络（DNN）的集成已经实现了定性预测，但它们是计算和内存密集型的。因此，要求它们用可用的计算资源来回答繁重的请求工作量的需求正在增长。与最近关于推理服务器和推理框架的举措不同，这些举措专注于单个DNN的预测，我们提出了一个新的软件层，以提供DNN的灵活性和效率。我们的推理系统设计了几个技术创新。首先，我们提出了一个新的过程来找到设备（CPU或GPU）和DNN实例之间的良好分配矩阵。它连续运行最差拟合以将DNN分配到存储器设备中，并运行贪心算法以优化分配设置并加速集成。其次，我们设计的推理系统基于多个进程异步运行：搜索，预测和组合规则与一个有效的内部通信方案，以避免开销。实验表明，在极端情况下的灵活性和效率：它成功地服务于12个重DNN到4个GPU的合奏，相反，一个单一的DNN多线程到16个GPU。它还优于简单的基线，包括优化DNN的批量大小，在图像分类任务上加速高达2.7倍。
2022-08-30 cs.DC cs.LG
TurboServe: Serving Streaming Video Generation Efficiently and Economically
Shanghai Jiao Tong University（上海交通大学）；Shengshu Technology（神思科技）；Tsinghua University（清华大学）
针对流式视频生成的会话时长和用户需求异构性，提出TurboServe系统，通过在线调度联合优化会话放置与GPU配置，采用迁移感知放置和负载驱动自动缩放，降低延迟和成本。
2026-06-18 cs.DC
Clipper: A Low-Latency Online Prediction Serving System
UC Berkeley（加州大学伯克利分校）；The University of Chicago（芝加哥大学）
机器学习正被部署在越来越多的应用程序中，这些应用程序需要在繁重的查询负载下进行实时，准确和鲁棒的预测。然而，大多数机器学习框架和系统只解决模型训练而不是部署。本文介绍了一个通用的低延迟预测服务系统Clipper。Clipper介于最终用户应用程序和各种机器学习框架之间，引入了一种模块化架构，以简化跨框架和应用程序的模型部署。此外，通过引入缓存、缓存和自适应模型选择技术，Clipper在不修改底层机器学习框架的情况下减少了预测延迟，提高了预测吞吐量、准确性和鲁棒性。我们在四个常见的机器学习基准数据集上评估Clipper，并证明其能够满足在线服务应用程序的延迟，准确性和吞吐量需求。最后，我们将Clipper与TensorFlow Serving系统进行了比较，并证明我们能够实现相当的吞吐量和延迟，同时支持模型组合和在线学习，以提高准确性并提供更强大的预测。
2017-02-28 cs.DC cs.LG
Synera: Synergistic LLM Serving across Device and Cloud at Scale
The Chinese University of Hong Kong Hong Kong SAR China（香港中文大学）；Theory Lab, Central Research Institute, 2012 Labs, Huawei Technologies Co. Ltd.（理论实验室、中央研究院、2012实验室、华为技术有限公司）
针对移动LLM部署中生成质量下降和延迟延长的问题，本文提出设备-云协同服务系统Synera，通过选择性卸载、无停顿并行推理等设计，在延迟相当下生成质量提升1.20-5.47倍，云成本降低8.2-16.5%。
2025-10-17 cs.AI cs.DC cs.LG
TimelyLLM: Segmented LLM Serving System for Time-sensitive Robotic Applications
Yale University（耶鲁大学）
本文提出TimelyLLM系统，通过分段生成与调度机制利用规划与执行阶段间的冗余，解决大语言模型服务在时间敏感机器人应用中的FCFS批处理缺陷，实现时间效用最高提升1.97倍、等待时间降低84%。
2024-12-24 cs.DC cs.LG cs.RO
ServerlessLoRA: Enabling Low-Latency Serverless Multi-LoRA Serving
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；Tianjin University（天津大学）
针对无服务器多LoRA服务中的资源浪费和冷启动问题，提出ServerlessLoRA系统，通过状态分离、共享骨干和选择性预热，显著降低延迟并提升效率。
2026-09-22 cs.DC cs.LG
SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
University of Chinese Academy of Sciences（中国科学院大学）
SPLASH提出一种在请求运行期间无缝切换注意力并行布局的服务系统，利用KV缓存与权重分片解耦实现近乎零开销的布局转换，显著提升LLM服务吞吐量。
2026-09-30 cs.AI cs.DC
Adaptive Scheduling for Edge-Assisted DNN Serving
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research Asia（微软亚洲研究院）
本文针对边缘辅助DNN服务的多客户端实时处理需求，提出利用批处理增益的通用调度算法并扩展支持异构DNN，结合客户端本地自适应协同处理，在多种请求分布下有效提升了处理性能。
2023-05-02 cs.DC cs.LG cs.NI
Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms
该研究构建LLM推理分解能耗模型，在NVIDIA H100、H200 GPU上评估密集与MoE模型的能耗特征，发现需同时优化请求与令牌能耗，而非仅降低单位令牌能耗。
2026-08-31 cs.DC cs.LG cs.PF
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出 HyGen，一个感知干扰的 LLM 服务系统，通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略，实现在线与离线工作负载的高效共置，在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
CascadeServe: Unlocking Model Cascades for Inference Serving
MIT（麻省理工学院）；Intel（英特尔公司）；University of Arizona（亚利桑那大学）
针对ML推理服务的高成本与请求波动硬件适配难题，提出分离线在线阶段的CascadeServe系统，通过模型级联实现推理服务优化，相比现有基线可节省2-3倍成本。
2024-06-20 cs.DC cs.LG
KunServe: Parameter-centric Memory Management for Efficient Memory Overloading Handling in LLM Serving
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究所，上海交通大学）
KunServe提出参数中心内存管理，通过选择性丢弃复制参数应对LLM服务内存过载，结合流水线并行，将尾部TTFT降低高达72.2倍。
2025-10-08 cs.AI cs.DC
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley（伯克利大学）；UCLA（洛杉矶大学）；Rice University（里奇大学）；UC Davis（戴维斯大学）；Intel（英特尔公司）
针对LLM服务GPU利用率低的问题，提出ConServe协同服务系统，通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术，实现高吞吐量与在线延迟保障，性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
StreamWise: Serving Multi-Modal Generation in Real-Time at Scale
Microsoft Azure Research（微软Azure研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
StreamWise通过实时播客视频生成，整合LLM、文本转语音和视频音频生成，实现高效多模态实时服务，兼顾延迟、成本和质量。
2026-03-06 cs.AI cs.DC
