ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
Georgia Institute of Technology(佐治亚理工学院);Advanced Micro Devices, Inc.(先进微器件公司)
提出ViBE框架,通过感知硬件的专家放置方法,结合GPU性能建模与专家激活分析,最小化分布式MoE推理中的执行时间不平衡,显著提升SLO达标率并降低P90 TTFT。
2026-05-30 cs.DC cs.LG
HAServe: Horizon-Aware Scheduling and Memory Co-Design for Efficient LLM Serving
School of Computer Science, Wuhan University(武汉大学计算机学院)
PRISM通过协同设计调度与内存管理,优化LLM服务响应时间,减少TTFT并提升缓存命中率。
2026-10-16 cs.LG
Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack
本文提出针对欺诈和反洗钱工作负载的LLMOps栈,通过自托管开源模型提升服务性能,优化吞吐量、降低延迟并提高GPU利用率,展示合规级LLM服务的关键挑战。
2026-05-11 cs.AI cs.LG
SuperServe: Fine-Grained Inference Serving for Unpredictable Workloads
Georgia Tech(佐治亚理工学院);UC Berkeley(加州大学伯克利分校);Adobe(Adobe公司)
本文提出SuperServe系统,通过SubNetAct机制在权重共享超级网络中动态路由请求,同时服务延迟-准确性权衡空间中的整个模型范围,实现细粒度反应式调度,显著提升准确性和SLO达成率。
2023-12-27 cs.DC cs.LG
Analytical Provisioning for Attention-FFN Disaggregated LLM Serving under Stochastic Workloads
Dept. of Industrial Engineering and Decision Analytics HKUST(工业工程与决策分析系香港科技大学);Dept. of Computer Science and Technology Tsinghua University(计算机科学与技术系清华大学);IIIS Tsinghua University(清华大学信息学院);Huawei Hong Kong Research Center(华为香港研发中心);School of Mathematical Sciences Peking University(北京大学数学科学学院)
本文提出在随机负载下,针对注意力-前馈网络解耦架构的分析资源配置框架,通过考虑工作负载统计量θ,确定最优注意力与前馈网络比例,减少阻塞和设备空闲时间。
2026-08-18 cs.AI cs.LG
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院);Department of Computer Science, Purdue University(普渡大学计算机科学系)
本文提出 HyGen,一个感知干扰的 LLM 服务系统,通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略,实现在线与离线工作负载的高效共置,在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Ulsan(蔚山大学)
本文提出HYDRA框架,针对异构小芯片系统上混合LLM服务的设计空间开展联合探索,实现了吞吐量与首token生成时间的显著提升,凸显架构与运行时策略协同设计的重要性。
2026-08-21 cs.AI cs.AR cs.LG
BARISTA: Efficient and Scalable Serverless Serving System for Deep Learning Prediction Services
Vanderbilt University(范德堡大学)
预训练的深度学习模型越来越多地用于提供各种计算密集型预测分析服务,如健身跟踪、语音和图像识别。深度学习模型的无状态和高度并行化的性质使其非常适合无服务器计算范式。然而,由于动态工作负载和具有部署和管理成本的各种可用资源配置,为这些服务做出有效的资源管理决策是一个难题。为了应对这些挑战,我们提出了一个分布式的、可扩展的深度学习预测服务系统Barista,并做出了以下贡献。首先,我们提出了一种快速有效的方法,通过识别各种趋势来预测工作负载。其次,我们制定了一个优化问题,以最大限度地减少总成本,同时确保有限的预测延迟与合理的准确性。第三,我们提出了一个有效的启发式,以确定合适的计算资源配置。第四,我们提出了一个智能代理分配和管理计算资源的水平和垂直缩放,以保持所需的预测延迟。最后,使用具有代表性的现实世界的城市交通服务的工作负载,我们展示和验证的Barista的能力。
2019-04-11 cs.DC cs.LG
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA(约翰霍普金斯大学计算机科学系);Argonne National Laboratory, Lemont, USA(阿贡国家实验室);Parasail, Inc., San Mateo, USA(Parasail公司)
针对LRU策略在多工作负载下缓存失效问题,提出自适应KV缓存,动态分配近期与高频KV块的空间,在合成文档问答中缓存命中率提升10.8%,首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
Scalable AI Inference: Performance Analysis and Optimization of AI Model Serving
Institute of Computer Science(计算机科学研究所);University of Applied Sciences Ruhr West(鲁尔西部应用科学大学);Mülheim an der Ruhr, Germany(鲁尔地区穆尔海姆,德国)
本文研究了基于BentoML的AI推理系统在可扩展模型服务中的性能与优化,通过实验证明了优化策略对响应时间和系统鲁棒性的影响。
2026-04-22 cs.AI cs.LG
WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
School of Computer Science, Peking University(北京大学计算机科学学院);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出WarmServe系统,通过基于工作负载预测的多GPU预热技术,减少LLM服务中的尾部时间到第一个令牌(TTFT)并提高请求吞吐量。
2026-05-21 cs.DC cs.LG
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Alibaba Group(阿里巴巴集团)
Quiver是一个分布式GPU GNN服务系统,通过工作负载感知指标预测计算不规则性,智能调度GPU图采样与特征聚合,实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
本文针对跨GPU架构的连续批处理LLM服务,实现轻量级调度策略,通过多GPU、多模型的1152组实验,发现老化最短prompt优先是多数场景的实用基线,相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University(西江大学);ETRI(韩国电子通信研究院)
针对云环境LLM推理的高GPU成本问题,提出InferSave框架,通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例,实验显示在线场景成本效率提升73.7%,离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Characterizing High Bandwidth Flash for LLM Serving
University of California, Berkeley(加州大学伯克利分校);FuriosaAI;ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
本研究针对LLM服务中的内存瓶颈,提出HBM-HBF-主机分层存储与缓冲缓存感知调度,通过轨迹驱动模拟证明HBF增强系统可显著降低完成时间并延长写入寿命。
2026-11-20 cs.AR cs.DC cs.LG
PrefixBench-H100: Characterizing Prefix Reuse and Time-to-First-Token in H100 LLM Serving
Illinois Institute of Technology(伊利诺伊理工学院);University of Wisconsin–Milwaukee(威斯康星大学密尔沃基分校)
PrefixBench-H100提出一个可复现基准,在H100上系统表征前缀复用对LLM服务性能的影响,识别其收益与受限条件,并揭示跨运行时差异源于调度层。
2026-09-18 cs.LG cs.PF
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
TokenPowerSandbox: Evidence-Gated CPU-First Screening for Energy-Aware LLM Serving
TokenPowerSandbox是面向能源感知LLM服务的证据门控CPU优先筛选工作流,结合CPU投影器、GPU探测等技术,在H100上评估Qwen2.5-7B-Instruct,验证了能源与延迟预测的关联及弃权门控的必要性。
2026-08-20 cs.AI cs.AR cs.DC
Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving
Independent Researcher(独立研究者);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM服务中预填充与解码的冲突资源需求,提出GPU内主动式分解系统Nexus,动态分配资源并考虑带宽争用,显著提升吞吐量并降低延迟。
2025-08-07 cs.DC cs.LG
Strait: Perceiving Priority and Interference in ML Inference Serving
Inria \& Sorbonne University Paris France;Inria Paris France;Inria \& Sorbonne University;Inria
Strait系统通过优先级感知调度和干扰预测,提升高优先级任务的截止期限满足率,降低低优先级任务的开销。
2026-04-30 cs.LG
PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs
Muhammad Ahmed(穆罕默德·阿赫姆)
针对长上下文LLM服务中KV缓存移动成为瓶颈的问题,提出PersistentKV引擎,通过页面感知调度和分组查询注意力优化解码,在RTX 3060上实现1.06-1.40倍吞吐提升。
2026-07-02 cs.LG
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington(华盛顿大学);Duke University(杜克大学);Microsoft(微软公司)
本文提出 Symphony DNN 服务系统,通过可调度窗口与跨加速器细粒度协调实现延迟批量调度,在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
A Deterministic Constant-Competitive Algorithm for Dynamic Mixture-of-Experts Serving
Nth Research Collective(Nth研究集体)
针对动态混合专家服务问题,本文证明其随机原始算法竞争比为Θ(1),给出含量化界的算法,结果在Lean 4中完成机器验证。
2026-09-01 cs.DS cs.LG
GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
Shanghai Jiao Tong University(上海交通大学);Guizhou University(贵州大学)
提出GF-DiT,一种策略可编程运行时,通过动态调整请求并行度来优化扩散Transformer服务,利用无组集合通信实现低开销在线重配置,显著提升吞吐量和降低延迟。
2026-07-03 cs.DC cs.LG cs.PF
Computron: Serving Distributed Deep Learning Models with Model Parallel Swapping
UC Berkeley(加州大学伯克利分校);ShanghaiTech University(上海科技大学);UC San Diego(加州大学圣地亚哥分校)
开发了 Computron 系统,利用模型并行交换设计在共享 GPU 集群上高效服务多个分布式深度学习模型,通过聚合带宽加速参数传输,提高资源利用率,并能容忍突发性和倾斜请求率等现实变异性因素。
2023-06-24 cs.DC cs.LG
AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
Carnegie Mellon University(卡内基梅隆大学);Tongji University(同济大学);EPFL(苏黎世联邦理工学院);Amazon Web Services(亚马逊网络服务)
针对现有LLM服务系统难以同时满足异构SLO的问题,提出支持SLO定制化投机解码的AdaServe系统,通过硬件感知投机树构建、动态参数调整等实现低SLO违反率与高有效吞吐量。
2025-05-17 cs.AI cs.CL cs.DC
Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI
Baltimore, MD, USA(美国马里兰州巴尔的摩)
本文比较了vLLM和HuggingFace TGI在大语言模型推理服务中的性能,发现vLLM在高并发场景下吞吐量更高,而TGI在交互式应用中延迟更低。
2025-11-17 cs.DC cs.LG cs.PF
CascadeServe: Unlocking Model Cascades for Inference Serving
MIT(麻省理工学院);Intel(英特尔公司);University of Arizona(亚利桑那大学)
针对ML推理服务的高成本与请求波动硬件适配难题,提出分离线在线阶段的CascadeServe系统,通过模型级联实现推理服务优化,相比现有基线可节省2-3倍成本。
2024-06-20 cs.DC cs.LG
Niyama : Breaking the Silos of LLM Inference Serving
Microsoft Research India(微软研究院印度分部)
Niyama通过细粒度QoS分类、动态分块和混合优先级策略,在共享基础设施上协同调度LLM推理工作负载,提升服务容量32%,并将极端负载下的SLO违规减少一个数量级。
2025-03-28 cs.AI cs.DC cs.LG
JITServe: SLO-aware LLM Serving with Imprecise Request Information
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
JITServe通过即时调度和优化资源分配,提升LLM服务吞吐量并实现资源节省。
2025-12-22 cs.DC cs.LG cs.SY
Locality-aware Fair Scheduling in LLM Serving
UC Berkeley(加州大学伯克利分校);LMSYS(大型语言模型系统实验室)
本文提出首个局部性感知的公平调度算法 DLPM 及其分布式扩展 D$^2$LPM,在保证公平性的同时提升前缀缓存命中率,实现高吞吐和低延迟。
2025-01-24 cs.DC cs.LG
Conveyor: Efficient Tool-aware LLM Serving with Tool Partial Execution
Duke University(杜克大学)
针对LLM与外部工具集成导致服务复杂度增加的问题,提出高效LLM服务系统Conveyor,通过在LLM解码时进行工具部分执行及引入相关接口与调度器,将请求完成延迟降低高达38.8%。
2024-06-04 cs.CL cs.DC cs.LG
Service-Induced Congestion in Memory-Constrained LLM Serving
Institute for Data, Systems, and Society, Massachusetts Institute of Technology(数据、系统与社会研究所,麻省理工学院);Columbia Business School, Columbia University(哥伦比亚大学商学院);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文通过离散时间动力学模型研究内存受限的大语言模型服务中,因键值缓存增长导致的服务引发拥塞,发现同质负载下无驱逐均衡不稳定且收敛到最坏情况极限环,异质负载下稳定条件与解码长度互质相关,并提出调度设计原则。
2026-10-21 cs.AI cs.LG math.OC
Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference Serving Systems
Iran University of Science and Technology(伊朗科技大学);Queen Mary University of London(伦敦玛丽女王大学);Technical University of Darmstadt(达姆施塔特工业大学);University of South Carolina(南卡罗来纳大学)
针对动态工作负载下ML推理服务难以兼顾准确性、延迟与成本的问题,提出InfAdapter,通过主动选择模型变体及资源分配以最大化准确性与成本目标,显著降低SLO违规与成本。
2023-04-24 cs.DC cs.LG cs.SY
Rethinking Caching for LLM Serving Systems: Beyond Traditional Heuristics
DGIST(大邱庆北科学技术院);POSTECH(浦项工科大学);SK hynix(SK海力士)
针对LLM服务中传统缓存忽视语义的缺陷,提出语义缓存系统SISO,通过质心缓存、局部感知替换和动态阈值,实现高达1.71倍命中率提升并增强SLO达成。
2025-08-26 cs.DB cs.LG
MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs
Shanghai Jiao Tong University(上海交通大学)
MoE-Prism通过模型-系统协同设计将MoE的整体专家分解为细粒度子专家,实现请求级计算弹性,扩展路由工作点数量,提升吞吐量并降低首包时间,验证了实用弹性MoE服务的可行性。
2026-08-11 cs.CL cs.LG
Frontier: Towards Comprehensive and Accurate LLM Inference Simulation
The Chinese University of Hong Kong(香港中文大学);Anuttacon;StepFun
本文提出Frontier,一种用于现代LLM推理服务的离散事件模拟器,通过离散化抽象和对关键运行时优化的建模,实现了对复杂工作负载的准确预测,从而在不同服务场景中提供更精确的计算、通信和内存成本预测。
2026-06-16 cs.AI cs.DC cs.LG
Compass: SLO-aware Query Planner for Compound AI Serving at Scale
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Compass,一种首个面向大规模复合AI工作负载的SLO感知查询计划器,通过分解多查询、多SLO规划问题为可处理的子问题,利用查询间和查询内的计划相似性减少搜索步骤,并通过计划分析器提高每步效率,从而在资源竞争下最大化SLO良好吞吐量。
2026-05-18 cs.DB cs.LG
Serving DNNs like Clockwork: Performance Predictability from the Bottom Up
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Emory University(埃默里大学)
机器学习推理正在成为交互式Web应用程序的核心构建块。因此,这些应用程序所依赖的底层模型服务系统必须始终满足低延迟目标。现有的模型服务架构使用众所周知的反应式技术来缓解常见的延迟源,但不能有效地减少不可预测的执行时间引起的尾部延迟。然而,底层的执行时间并不是根本不可预测的-相反,我们观察到使用深度神经网络(DNN)模型的推理具有确定性性能。在这里,从各个DNN推理的可预测执行时间开始,我们采用了一种原则性的设计方法,成功地构建了一个完全分布式的模型服务系统,实现了可预测的端到端性能。我们使用生产跟踪工作负载评估了我们的实现Clockwork,并表明Clockwork可以支持数千种模型,同时满足99.9999%请求的100 ms延迟目标。我们进一步证明了Clockwork利用可预测的执行时间来实现严格的请求级服务级目标(SLO)以及高度的请求级性能隔离。
2020-10-26 cs.DC cs.LG
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
Dell Technologies Inc.(戴尔科技有限公司)
本文提出框架,通过TTFT-ITL可行集等揭示LLM并行配置随工作负载、SLO、上下文长度的转变规律,为感知SLO的并行选择提供方法。
2026-10-14 cs.AI cs.DC cs.LG
Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels
Huawei(华为);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室)
针对生产级LLM服务中动态输入输出长度导致的工作负载可变性问题,本文提出Ascend原生的XY-Serve系统,通过统一细粒度元原语抽象和混合预填充/解码/验证调度,实现端到端吞吐量提升高达89%。
2024-12-24 cs.AI cs.DC cs.LG
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Alibaba Group(阿里巴巴集团)
本文提出Echo系统,通过调度器、KV cache管理器和估算工具包协同工作,在满足在线任务SLO的同时最大化离线任务吞吐量,提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
How Far Can Disaggregation Go? A Design-Space Exploration of Attention-FFN Disaggregation for Efficient MoE LLM Serving
Georgia Institute of Technology(佐治亚理工学院);Intel(英特尔);Google(谷歌);Google DeepMind(谷歌DeepMind);Infravana
本文系统探索了从分块预填充、预填充-解码解聚到算子级 Attention-FFN 解聚 (AFD) 的不同解聚层次在 MoE 模型推理中的收益与局限,通过融合设备内核测量与高保真网络仿真的框架,在严格 TTFT/TPOT SLO 下 AFD 可在 DeepSeek-V3.2 上维持约 4k tokens/s 的系统吞吐量,并给出了联合优化吞吐与交互性的具体设计原则。
2026-05-27 cs.AI cs.DC cs.LG
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction
IBM Research(IBM研究院)
本文提出投机性最短作业优先(SSJF)调度器,利用轻量级代理模型预测LLM输出序列长度,在不改变内存管理和批处理策略的情况下,显著降低作业完成时间并提升吞吐量。
2024-11-25 cs.CL cs.DC cs.LG
Evaluating Inference Compute for Generative AI: A Framework for Enterprise Workloads
Citigroup Inc.(花旗集团);Ernst & Young LLP(安永会计师事务所);NVIDIA Corporation(英伟达公司)
针对智能体轨迹推理,提出四层评估框架,以有效吞吐量和每次成功回合成本为核心指标,并论证确定性、尾延迟及每步可靠性对长时域任务性能的关键影响。
2026-10-07 cs.AR cs.DC cs.LG
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
University of California, San Diego(加州大学圣迭戈分校);Columbia University(哥伦比亚大学);Yonsei University(延世大学);NVIDIA(NVIDIA公司);Samsung Semiconductor, Inc.(三星半导体公司)
AMMA是一种面向低延迟1M上下文注意力服务的多芯片片内存架构,通过提高内存带宽和优化并行计算方案,显著降低注意力延迟和能耗。
2026-11-02 cs.AI cs.AR cs.DC
Systematic Characterization of LLM Quantization: A Performance, Energy, and Quality Perspective
Purdue University(普渡大学)
本文开发了自动化框架qMeter,系统分析了11种LLM量化方法在4种模型规模和两种GPU上的性能、能耗与质量权衡,揭示了任务依赖性和并行交互复杂性,并给出三个优化案例。
2025-08-22 cs.AI cs.AR cs.DC