ServerlessLoRA: Enabling Low-Latency Serverless Multi-LoRA Serving
Shanghai Jiao Tong University(上海交通大学);Stevens Institute of Technology(斯蒂文斯理工学院);Tianjin University(天津大学)
针对无服务器多LoRA服务中的资源浪费和冷启动问题,提出ServerlessLoRA系统,通过状态分离、共享骨干和选择性预热,显著降低延迟并提升效率。
2026-09-22 cs.DC cs.LG
Cocktail: Leveraging Ensemble Learning for Optimized Model Serving in Public Cloud
Pennsylvania State University(宾夕法尼亚州立大学)
随着对各种应用服务采用ML模型的需求不断增长,服务于这些模型的框架能够以最小的延迟提供高度准确的预测以及降低公共云环境中的部署成本至关重要。尽管高延迟,在这一领域的先前工作是至关重要的限制由个别模型提供的准确性。直观地说,模型集成可以通过智能地并行组合不同的模型来解决精度差距。然而,在运行时动态地选择合适的模型以满足期望的准确性和低延迟,以最小的部署成本是一个不平凡的问题。Cocktail是一个基于集成的模型服务框架,它包括两个关键部分:(1)动态模型选择框架,它减少了集成中的模型数量,同时满足精度和延迟要求;(ii)采用与重要性采样组合的分布式主动自动缩放策略的自适应资源管理(RM)框架,为模特们有效地分配资源。RM框架存储临时虚拟机(VM)实例以降低公共云中的部署成本。Cocktail在AWS EC2平台上的原型实现和使用各种工作负载的详尽评估表明,与最先进的模型服务框架相比,Cocktail可以将部署成本降低1.45倍,同时将延迟降低2倍,并满足高达96%的请求的目标准确性。
2021-06-09 cs.DC cs.LG
Serving DNNs like Clockwork: Performance Predictability from the Bottom Up
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Emory University(埃默里大学)
机器学习推理正在成为交互式Web应用程序的核心构建块。因此,这些应用程序所依赖的底层模型服务系统必须始终满足低延迟目标。现有的模型服务架构使用众所周知的反应式技术来缓解常见的延迟源,但不能有效地减少不可预测的执行时间引起的尾部延迟。然而,底层的执行时间并不是根本不可预测的-相反,我们观察到使用深度神经网络(DNN)模型的推理具有确定性性能。在这里,从各个DNN推理的可预测执行时间开始,我们采用了一种原则性的设计方法,成功地构建了一个完全分布式的模型服务系统,实现了可预测的端到端性能。我们使用生产跟踪工作负载评估了我们的实现Clockwork,并表明Clockwork可以支持数千种模型,同时满足99.9999%请求的100 ms延迟目标。我们进一步证明了Clockwork利用可预测的执行时间来实现严格的请求级服务级目标(SLO)以及高度的请求级性能隔离。
2020-10-26 cs.DC cs.LG
Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
提出PARS调度器,通过成对排序预测任务响应长度,近似最短作业优先调度,减少队头阻塞,在vLLM上实现高达15.7倍延迟降低。
2026-06-29 cs.AI cs.DC cs.LG
Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving
针对低延迟、小批量、设备端物理AI服务场景,提出执行状态胶囊机制,通过图绑定检查点与恢复完整可恢复状态,在RTX 5090上实现亚毫秒级恢复,TTFT加速比达3.9倍至27倍。
2026-06-19 cs.DC cs.LG
An Interpretable Latency Model for Speculative Decoding in LLM Serving
MIT(麻省理工学院);Red Hat AI(红帽人工智能)
本文提出一个可解释的延迟模型,用于LLM服务中的推测解码,通过Little定律推断有效批处理大小,并分解预填充、草稿和验证的请求需求,以解释延迟变化及系统配置影响。
2026-05-14 cs.LG cs.PF
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Alibaba Group(阿里巴巴集团)
Quiver是一个分布式GPU GNN服务系统,通过工作负载感知指标预测计算不规则性,智能调度GPU图采样与特征聚合,实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs
University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft(微软);Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊);University of California, Santa Barbara(加州大学圣芭芭拉分校)
Chimera通过语义路由和预测调度优化多智能体工作流服务,提升端到端延迟与任务性能,减少1.2-2.4倍延迟并提高8.0-9.5个百分点性能。
2026-03-23 cs.LG
AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving
AOSpec是一种动作与观测协同推测的无损框架,通过EVD和JASV技术降低智能体服务延迟,在Terminal-Bench上较基线实现显著延迟缩减,且观测模型可跨基准迁移。
2026-08-04 cs.LG
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院);Department of Computer Science, Purdue University(普渡大学计算机科学系)
本文提出 HyGen,一个感知干扰的 LLM 服务系统,通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略,实现在线与离线工作负载的高效共置,在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
The University of British Columbia(不列颠哥伦比亚大学);Microsoft Azure Research(微软Azure研究院);NVIDIA(英伟达)
Cascade是一款LLM服务系统,利用单请求延迟预算协同调度与KV缓存管理,在保留异构请求公平性的同时,使LLM推理服务吞吐量最高提升2.4倍,SLO违规率降低40%。
2026-08-10 cs.DC cs.LG
Fast Distributed Inference Serving for Large Language Models
Peking University(北京大学)
针对LLM推理服务中的队头阻塞和高延迟问题,提出分布式推理系统FastServe,采用基于输出token粒度的抢占式调度和跳过连接多级反馈队列调度器,并设计高效GPU内存管理机制,在相同延迟要求下相比vLLM显著提升吞吐量。
2024-09-25 cs.DC cs.LG
Duration Aware Scheduling for ASR Serving Under Workload Drift
Sprinklr
本文提出基于持续时间的ASR服务调度方法,通过SJF和HRRN算法在负载漂移下减少E2E延迟并控制尾部延迟,提升服务性能。
2026-03-11 cs.LG
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
University of California, San Diego(加州大学圣迭戈分校);Columbia University(哥伦比亚大学);Yonsei University(延世大学);NVIDIA(NVIDIA公司);Samsung Semiconductor, Inc.(三星半导体公司)
AMMA是一种面向低延迟1M上下文注意力服务的多芯片片内存架构,通过提高内存带宽和优化并行计算方案,显著降低注意力延迟和能耗。
2026-11-02 cs.AI cs.AR cs.DC
SuperServe: Fine-Grained Inference Serving for Unpredictable Workloads
Georgia Tech(佐治亚理工学院);UC Berkeley(加州大学伯克利分校);Adobe(Adobe公司)
本文提出SuperServe系统,通过SubNetAct机制在权重共享超级网络中动态路由请求,同时服务延迟-准确性权衡空间中的整个模型范围,实现细粒度反应式调度,显著提升准确性和SLO达成率。
2023-12-27 cs.DC cs.LG
FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
NVIDIA(英伟达公司);Perplexity AI(Perplexity AI公司)
FlashInfer通过块稀疏格式、可定制模板和负载均衡调度,为LLM推理提供高效注意力引擎,显著降低延迟并提升性能。
2025-04-21 cs.AI cs.DC cs.LG
Apparate: Rethinking Early Exits to Tame Latency-Throughput Tensions in ML Serving
Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
提出 Apparate 系统,通过自动管理 ML 模型早退机制并利用持续反馈驱动运行时监控与自适应策略,有效缓解了推理服务中吞吐量与延迟的矛盾。
2024-09-23 cs.DC cs.LG
Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI
Baltimore, MD, USA(美国马里兰州巴尔的摩)
本文比较了vLLM和HuggingFace TGI在大语言模型推理服务中的性能,发现vLLM在高并发场景下吞吐量更高,而TGI在交互式应用中延迟更低。
2025-11-17 cs.DC cs.LG cs.PF
HOLMES: Health OnLine Model Ensemble Serving for Deep Learning Models in Intensive Care Units
Georgia Institute of Technology(佐治亚理工学院);Childrens Healthcare of Atlanta(亚特兰大儿童保健中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度学习模型已经在医疗保健领域取得了专家级的性能,专注于训练准确的模型。然而,在诸如重症监护室(ICU)的许多临床环境中,实时模型服务与准确性同等重要(如果不是更重要的话),因为在ICU中,患者护理同时更紧急且更昂贵。因此,临床决策及其及时性直接影响患者的预后和护理成本。为了及时做出决策,我们认为底层的服务系统必须是延迟感知的。为了应对挑战,健康分析应用程序通常需要组合模型而不是单个模型,以便更好地针对不同目标、多模态数据、不同预测窗口和潜在的个性化预测来专门化单个模型。为了解决这些挑战,我们提出了HOLMES-一个在线模型集成服务框架的医疗应用。HOLMES动态识别性能最佳的模型集,以实现最高的准确性,同时还满足端到端预测的亚秒级延迟约束。我们证明了HOLMES能够有效地导航准确性/延迟权衡,组成合奏,并服务于模型合奏管道,扩展到同时流数据从100名患者,每个产生波形数据在250赫兹。HOLMES优于传统的离线批处理推理相同的临床任务的准确性和延迟(数量级)。HOLMES在儿科心脏ICU数据的风险预测任务上进行了测试,预测准确率超过95%,64床模拟的延迟低于秒。
2020-08-10 cs.LG stat.ML
Parity Models: A General Framework for Coding-Based Resilience in ML Inference
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
机器学习模型正在成为许多应用程序的主要工具。生产服务通过预测服务系统部署模型,预测服务系统通过对机器学习模型执行推理来接收查询并返回预测。为了扩展到高查询速率,预测服务系统在集群设置中的许多机器上运行,因此容易出现减速和故障,从而增加尾部延迟并导致违反严格的延迟目标。当前减少尾部延迟的方法对于预测服务的延迟目标是不充分的,引起高资源开销,或者不适用于在推理期间执行的计算。我们提出了ParM,一个新的,通用的框架,利用擦除编码和机器学习的想法,以实现低延迟,资源高效的弹性预测服务系统的减速和故障。ParM将多个查询一起编码为单个奇偶校验查询,并使用奇偶校验模型对奇偶校验查询执行推理。解码器使用奇偶模型的输出来重构不可用预测的近似。ParM使用神经网络来学习奇偶校验模型,使简单,快速的编码器和解码器能够为各种推理任务(如图像分类,语音识别和对象定位)重建不可用的预测。我们建立ParM的开源预测服务系统之上,并通过广泛的评估表明,ParM提高了整体准确性,在面对不可用低延迟,同时使用2-4 $\times$比基于复制的方法减少额外的资源。与使用等量资源同时保持相同中值的方法相比,ParM将第99.9百分位数和中值延迟之间的差距减少了多达$3.5\times$。
2019-09-16 cs.DC cs.IT cs.LG
PRETZEL: Opening the Black Box of Machine Learning Prediction Serving Systems
Seoul National University(首尔国立大学);Politecnico di Milano(米兰理工大学);Microsoft(微软)
机器学习模型通常由转换管道组成。虽然这种设计允许在训练时有效地执行单个模型组件,但预测服务具有不同的要求,例如低延迟,高吞吐量和重负载下的适度性能下降。当前的预测服务系统将模型视为黑盒,从而忽略了预测时间特定的优化以便于部署。在本文中,我们提出了PRETZEL,预测服务系统引入了一种新的白盒架构,使端到端和多模型优化。使用类似生产的模型管道,我们的实验表明,PRETZEL能够在不同的维度上引入性能改进;与最先进的方法相比,PRETZEL平均能够将第99百分位延迟减少5.5倍,同时将内存占用减少25倍,并将吞吐量增加4.7倍。
2018-10-14 cs.DC cs.LG stat.ML
Understanding Capacity-Driven Scale-Out Neural Recommendation Inference
Facebook(脸书);Drexel University(德雷塞尔大学);Tufts University(塔夫茨大学)
深度学习推荐模型已经发展到TB级。传统的服务方案--将整个模型加载到单个服务器--无法支持这种规模。支持这种规模的一种方法是使用分布式服务或分布式推理,它将单个大型模型的内存需求划分到多个服务器上。这项工作是系统研究社区开发新的模型服务解决方案的第一步,考虑到巨大的系统设计空间。大规模深度推荐系统是一种新的工作负载,对研究至关重要,因为它们消耗了数据中心所有推理周期的79%。为此,这项工作描述和表征了使用数据中心服务基础设施的横向扩展深度学习推荐推理。这项工作专门探讨延迟有界推理系统,相比其他最近的作品面向吞吐量的培训系统。我们发现分布式推理的延迟和计算开销主要是由于模型的静态嵌入表分布和输入推理请求的稀疏性。我们进一步评估了三个类DLRM模型的三个嵌入表映射策略,并在端到端延迟,计算开销和资源效率方面指定了具有挑战性的设计权衡。总的来说,当数据中心规模推荐模型以分布式推理方式提供服务时,我们只观察到边际延迟开销-P99延迟在最佳情况配置中仅增加1%。延迟开销很大程度上是由于使用的商品基础设施和嵌入表的稀疏性。更令人惊讶的是,我们还展示了分布式推理如何提高数据中心规模推荐服务的效率。
2020-11-11 cs.DC cs.IR cs.LG
DuetServe: Harmonizing Prefill and Decode for LLM Serving via Adaptive GPU Multiplexing
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对LLM服务中预填充与解码阶段的干扰问题,提出DuetServe框架,通过自适应SM级GPU空间多路复用实现单GPU内的阶段隔离,在保证低延迟的同时提升吞吐量。
2026-05-30 cs.LG
IC-Cache: Efficient Large Language Model Serving via In-context Caching
University of Illinois Urbana-Champaign;Google;Google \& University of Washington
针对大语言模型大规模服务的高资源需求与高延迟问题,提出IC-Cache缓存系统,通过复用大模型历史请求-回复对增强小模型能力,结合自适应路由与成本感知缓存优化,在保证回复质量的同时大幅提升吞吐量、降低延迟。
2025-09-04 cs.LG
PolyServe: Efficient Multi-SLO Serving at Scale
University of Washington(华盛顿大学);ByteDance(字节跳动)
针对 LLM 服务中多延迟 SLO 难以兼顾尾延迟、利用率和自动扩缩容的问题,本文提出 PolyServe,通过 SLO 分箱、负载梯度路由、跨层共享及分块调度实现 1.23 倍有效吞吐量提升。
2025-07-17 cs.DC cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
Carnegie Mellon University(卡内基梅隆大学);Tongji University(同济大学);EPFL(苏黎世联邦理工学院);Amazon Web Services(亚马逊网络服务)
针对现有LLM服务系统难以同时满足异构SLO的问题,提出支持SLO定制化投机解码的AdaServe系统,通过硬件感知投机树构建、动态参数调整等实现低SLO违反率与高有效吞吐量。
2025-05-17 cs.AI cs.CL cs.DC
STAG: Enabling Low Latency and Low Staleness of GNN-based Services with Dynamic Graphs
Shanghai Jiao Tong University(上海交通大学);China University of Geosciences(中国地质大学);Alibaba Cloud(阿里云)
针对动态图 GNN 服务中节点表示更新慢导致的高延迟或高陈旧度问题,本文提出 STAG 框架,通过协同服务与基于可加性的增量传播减少邻居爆炸和重复计算,实现最高 90.1 倍更新加速。
2023-09-27 cs.AI cs.LG
Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving
Xenoscube, Inc.(Xenoscube公司)
针对分离式LLM服务,提出相位解耦、模型校准的功耗控制方法,通过延迟门控校准分别优化预填充和解码通道,在MoE模型上实现帕累托改进的能效提升。
2026-09-11 cs.DC cs.LG
BARISTA: Efficient and Scalable Serverless Serving System for Deep Learning Prediction Services
Vanderbilt University(范德堡大学)
预训练的深度学习模型越来越多地用于提供各种计算密集型预测分析服务,如健身跟踪、语音和图像识别。深度学习模型的无状态和高度并行化的性质使其非常适合无服务器计算范式。然而,由于动态工作负载和具有部署和管理成本的各种可用资源配置,为这些服务做出有效的资源管理决策是一个难题。为了应对这些挑战,我们提出了一个分布式的、可扩展的深度学习预测服务系统Barista,并做出了以下贡献。首先,我们提出了一种快速有效的方法,通过识别各种趋势来预测工作负载。其次,我们制定了一个优化问题,以最大限度地减少总成本,同时确保有限的预测延迟与合理的准确性。第三,我们提出了一个有效的启发式,以确定合适的计算资源配置。第四,我们提出了一个智能代理分配和管理计算资源的水平和垂直缩放,以保持所需的预测延迟。最后,使用具有代表性的现实世界的城市交通服务的工作负载,我们展示和验证的Barista的能力。
2019-04-11 cs.DC cs.LG
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
Dell Technologies Inc.(戴尔科技有限公司)
本文提出框架,通过TTFT-ITL可行集等揭示LLM并行配置随工作负载、SLO、上下文长度的转变规律,为感知SLO的并行选择提供方法。
2026-10-14 cs.AI cs.DC cs.LG
Strait: Perceiving Priority and Interference in ML Inference Serving
Inria \& Sorbonne University Paris France;Inria Paris France;Inria \& Sorbonne University;Inria
Strait系统通过优先级感知调度和干扰预测,提升高优先级任务的截止期限满足率,降低低优先级任务的开销。
2026-04-30 cs.LG
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research India(微软研究院印度分院)
本文提出 Sarathi-Serve 调度器,通过分块预填充与无停顿统一批次调度,在尾延迟约束下显著提升 LLM 推理吞吐和服务容量。
2024-06-17 cs.DC cs.LG
MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment
针对边缘LLM重训练与推理的资源冲突问题,提出迭代级调度的混合系统MACE,同驻推理与微调任务并智能分配GPU资源,在保障SLO下兼顾延迟、吞吐量与模型更新时效性。
2025-09-28 cs.AI cs.CL cs.DC
Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
Technische Universität München(慕尼黑工业大学)
本文综述了Serverless LLM推理的冷启动问题,重点介绍ServerlessLLM通过多层检查点加载、实时迁移和启动优化调度将启动时间缩短6到8倍,并回顾了Rainbowcake等其他方法及FaaS冷启动应对策略。
2024-11-23 cs.DC cs.LG
Towards Resiliency in Large Language Model Serving with KevlarFlow
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家);Department of Computer Science, Purdue University, West Lafayette, IN, United States(计算机科学系,普渡大学,西拉法叶,印第安纳,美国)
KevlarFlow通过解耦模型并行初始化、动态流量重路由和背景KV缓存复制,显著提升了大语言模型服务的容错性和恢复效率。
2026-01-30 cs.CL cs.DC cs.LG
semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage
Infini-ai
本文提出新型LLM服务系统semi-PD,通过流多处理器级别的分离计算与统一存储设计,结合低开销资源调整和SLO感知动态分区算法,有效解决了传统分离系统的存储低效问题,在高请求率下显著降低延迟并提升吞吐量。
2025-04-28 cs.CL cs.DC cs.LG
SwiftDiffusion: Efficient Diffusion Model Serving with Add-on Modules
HKUST(香港科技大学);Alibaba Group(阿里巴巴集团)
针对扩散模型附加模块(ControlNet、LoRA)导致的服务延迟问题,SwiftDiffusion通过解耦部署ControlNet、BAL技术和潜在并行优化,在H800 GPU上服务SDXL模型时实现7.8倍延迟降低和1.6倍吞吐量提升。
2024-12-06 cs.AI cs.DC cs.LG
DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs
McGill University(麦吉尔大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nutanix, Inc.(Nutanix公司)
DeltaServe是一种主机无关式LLM推理与微调协同服务设计,可利用闲置GPU算力提升LoRA微调吞吐量,已集成至vLLM等框架,在保持100%推理SLO合规的前提下,微调吞吐量较现有方案显著提升。
2026-08-03 cs.DC cs.LG
EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices
University of Maryland, College Park(马里兰大学)
EdgeLoRA 针对边缘多租户 LLM 服务中的适配器选择复杂和内存开销问题,提出自适应适配器选择、异构内存管理及批量 LoRA 推理三项机制,在 Llama3.1-8B 上实现吞吐量最高 4 倍提升,并能同时服务数量级更多的适配器。
2025-07-02 cs.AI cs.DC cs.LG
Niyama : Breaking the Silos of LLM Inference Serving
Microsoft Research India(微软研究院印度分部)
Niyama通过细粒度QoS分类、动态分块和混合优先级策略,在共享基础设施上协同调度LLM推理工作负载,提升服务容量32%,并将极端负载下的SLO违规减少一个数量级。
2025-03-28 cs.AI cs.DC cs.LG
Learning-based Resource Optimization in Ultra Reliable Low Latency HetNets
Rutgers University(罗格斯大学)
在本文中,用户卸载和资源优化的问题联合解决,以支持超可靠和低延迟通信(URLLC)的HetNet。特别地,考虑具有单个宏基站(MBS)和多个覆盖的小小区基站(SBS)的多层网络,其包括具有不同延迟和可靠性约束的用户。在概率保证的前提下,对用户的时延和可靠性约束进行建模,将URLLC环境下的用户卸载和资源分配(JUR)联合问题转化为MBS服务用户的成本最小化的优化问题.在所考虑的方案中,SBS以给定的价格竞标为其覆盖范围内的URLLC用户提供服务,MBS决定是否在本地为每个用户提供服务或将其卸载到覆盖的SBS之一。由于JUR优化是NP难的,我们提出了一个低复杂度的基于学习的探试法(LHM),其中包括一个支持向量机的用户关联模型和凸资源优化(CRO)算法。为了进一步减少延迟,我们提出了一个交替方向的乘法器(ADMM)为基础的解决方案的CRO问题。仿真结果表明,使用LHM,MBS显着降低了频谱接入延迟的用户(由$\sim$ 93\%)相比,JUR,同时也减少了它的带宽和功率成本,在服务用户(由$\sim$ 33\%)相比,直接服务用户没有卸载。
2019-05-12 cs.LG cs.NI eess.SP
The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving
Advanced Micro Devices Inc. (AMD)(超威半导体公司(AMD));Cornell University(康奈尔大学)
该研究针对混合精度LLM服务的速度-精度权衡问题,构建了考虑计算、权重加载、KV缓存等绑定资源的校准成本模型,将其作为预测器和分配器,通过动态规划选择配置并在三类硬件上验证了效果。
2026-10-14 cs.LG
VoxServe: Streaming-Centric Serving System for Speech Language Models
University of Washington(华盛顿大学);Stanford University(斯坦福大学)
VoxServe是一种面向语音语言模型的流式服务系统,通过模型执行抽象和流式感知调度提高吞吐量和流式传输性能。
2026-11-03 cs.AI cs.DC cs.LG
vSkipper: Translating Dynamic Layer Skipping into LLM Serving Gains
The University of Cambridge(剑桥大学)
vSkipper通过虚拟化层将动态层跳过集成到现代服务引擎,保留连续批处理等特性,在负载拐点降低延迟36.8%(GSM8K),饱和时吞吐提升11.3%,首个实现每token内部层跳过服务收益的系统。
2026-09-30 cs.DC cs.LG
SLO-Guard: Crash-Aware, Budget-Consistent Autotuning for SLO-Constrained LLM Serving
Inland Norway University of Applied Sciences(内陆挪威应用科学大学);University of California, Berkeley(加州大学伯克利分校)
SLO-Guard通过结合热预算退火与树结构帕泽估计器,实现崩溃感知的自动调优,提升LLM服务在SLO约束下的预算一致性与稳定性。
2026-04-19 cs.DC cs.LG cs.PF
Agentic Plan Caching: Test-Time Memory for Fast and Cost-Efficient LLM Agents
Stanford University(斯坦福大学)
Agentic Plan Caching通过测试时间内存提取并重用结构化计划模板,降低LLM代理服务成本和延迟,提升效率。
2026-01-26 cs.AI cs.CL cs.DC
Dissecting the Carbon-SLO Tension in Geo-Distributed LLM Serving
The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对地理分布式LLM服务中碳减排与延迟SLO的张力,设计校准后的推理模拟器,提出多类调度器,发现MILP调度器可减碳60%且SLO违反率仅3%,明确减排与SLO的影响因素。
2026-10-14 cs.DC cs.LG cs.PF
MoEless: Efficient MoE LLM Serving with Serverless Experts
Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校)
MoEless通过无服务器计算实现高效的MoE大语言模型服务,减少推理延迟和成本。
2026-10-01 cs.AI cs.DC cs.LG
TeDiServe: High SLO Attainment Serving for Diffusion Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对扩散语言模型服务中吞吐与延迟SLO的权衡,提出DiLaServe系统,通过置信度阈值调整、质量感知优化和近似KV缓存建模,实现SLO达成率提升56.6个百分点,延迟降低46%。
2026-09-28 cs.LG
iServe: An Intent-based Serving System for LLMs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
iServe是一个基于意图的分布式LLM推理系统,通过轻量级指纹估计配置影响,动态选择最优配置,显著降低延迟、SLO违规和剖析成本,同时提升GPU吞吐量。
2025-01-08 cs.LG cs.SE
Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving
UC Berkeley(加州大学伯克利分校)
本研究扩展Llumnix的优先级模型支持任意层级,在Vidur模拟器中对比多基线,发现四层优先级调度成本效益最优,10层时仍能维持收益且无尾部延迟崩溃。
2026-08-18 cs.AR cs.DC cs.LG
xGR: Efficient Generative Recommendation Serving at Scale
xGR通过分阶段计算和分离KV缓存统一预填充和解码阶段,结合早期排序终止和基于掩码的物品过滤,提升高并发场景下的低延迟性能,实验表明其吞吐量比现有最佳基线高2.89倍。
2026-06-27 cs.LG
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC