LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving
University of Michigan(密歇根大学);ByteDance(字节跳动)
针对多租户LLM服务中联合批处理导致的延迟归因难题,提出基于屋顶线模型的LLMVisor实时延迟归因模型,在微秒级高效运行,相比基线方法大幅降低预填充和解码阶段的相对误差
2026-08-11 cs.AI cs.DC
KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Shanghai Jiao Tong University(上海交通大学)
KVServe通过服务感知和自适应的KV通信压缩框架,提升解耦大语言模型服务的效率,减少延迟和加速时间。
2026-05-13 cs.AI cs.DC cs.NI
MoEless: Efficient MoE LLM Serving with Serverless Experts
Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校)
MoEless通过无服务器计算实现高效的MoE大语言模型服务,减少推理延迟和成本。
2026-10-01 cs.AI cs.DC cs.LG
FP6-LLM: Efficiently Serving Large Language Models Through FP6-Centric Algorithm-System Co-Design
University of Sydney(悉尼大学);Microsoft(微软);Rutgers University(罗格斯大学)
本文提出 TC-FPx 全栈 GPU 内核及 FP6-LLM 推理系统,通过统一 Tensor Core 支持 FP6 等浮点量化权重,解决内存访问与反量化开销问题,并在单 GPU 上高效推理 LLaMA-70b。
2024-03-04 cs.AI cs.AR cs.LG
S-LoRA: Serving Thousands of Concurrent LoRA Adapters
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
S-LoRA通过统一分页、张量并行和定制CUDA内核,在GPU上高效服务数千个LoRA适配器,吞吐量最高提升4倍,适配器数量提升数个数量级。
2024-06-05 cs.AI cs.DC cs.LG
TraceLab: Characterizing Coding Agent Workloads for LLM Serving
University of Washington(华盛顿大学);Wuhan University of Technology(武汉理工大学);Shanghai Jiao Tong University(上海交通大学)
通过收集4300个编码代理会话(含35万LLM步骤和43万工具调用)的真实轨迹,分析发现长自主循环、长上下文短输出、多样化重尾工具调用及高但不完美前缀缓存命中率等特征,为优化服务提供具体方向。
2026-07-01 cs.AI cs.LG cs.PF
RAG-Stack: Co-Optimizing RAG Serving Performance and Quality
ETH Zurich(苏黎世联邦理工学院);Columbia University(哥伦比亚大学);National University of Singapore(新加坡国立大学)
RAG-Stack是可高效发现RAG质量-性能帕累托前沿的框架,其含三个核心组件,在相同优化迭代下,该框架发现的帕累托前沿覆盖的归一化质量-性能空间比最先进方法多52.5%-153.2%。
2026-08-06 cs.AI cs.DB cs.IR
LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention
MIT(麻省理工学院)
LServe通过统一混合稀疏注意力,将一半注意力头转为流式头并分层剪枝KV页面,实现长序列LLM服务预填充2.9倍、解码1.3-2.1倍加速,保持长上下文准确性。
2025-04-21 cs.AI cs.CL cs.DC
DiffServe: Efficiently Serving Text-to-Image Diffusion Models with Query-Aware Model Scaling
本文提出DiffServe系统,通过查询感知的模型缩放自动构建扩散模型级联并动态分配资源,在保证图像质量的同时显著降低服务延迟违规率。
2025-05-09 cs.DC
Efficient Training-Free Online Routing for High-Volume Multi-LLM Serving
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出一种无训练的高效在线路由算法,通过近似最近邻搜索和一次优化,提升多LLM服务的吞吐量、成本效率和整体性能。
2025-12-12 cs.AI cs.DB cs.LG
PreFT: Prefill-only finetuning for efficient inference
Stanford University(斯坦福大学);Tilde Research(Tilde研究)
本文提出PreFT,通过仅在前缀阶段应用适配器以提高多适配器服务的吞吐量,实验显示其在不同任务中均优于传统PEFT。
2026-05-14 cs.AI cs.CL cs.LG
Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
Tandon School of Engineering(工程学院);New York University(纽约大学)
本文提出软硬件协同设计 Kelle,利用高密度 eDRAM 承载边缘 LLM 的 KV 缓存,并通过细粒度逐出、重计算与刷新控制实现 3.9 倍加速和 4.5 倍节能。
2025-10-16 cs.AI cs.AR
Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
本文通过分析KV缓存卸载的瓶颈,提出优化硬件互连、模型架构和调度算法以提升大语言模型推理效率的方法。
2025-12-16 cs.AR cs.DC
ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor
Cloud Research Team, Samsung SDS(三星SDS云研究团队)
针对 LLM 服务中的队头阻塞问题,本文提出 ELIS,利用 BGE 响应长度预测器和 ISRTF 迭代调度优化推理任务排序,并在 Kubernetes 与真实轨迹仿真中验证其最高可降低 19.6% 平均作业完成时间。
2025-05-14 cs.AI cs.DC cs.LG
CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents
University of Washington(华盛顿大学);University of Virginia(弗吉尼亚大学)
针对编码代理会话中大量前缀复用导致KVCache压力的问题,提出CacheWise管理层,结合前缀感知调度和基于工具调用元数据的轻量级预测驱逐策略,减少KVCache驱逐并提升会话完成时间。
2026-06-16 cs.DC cs.OS
Sangam: Efficiently Serving Diffusion LLMs with the AR Stack
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cisco Research(思科研究)
研究扩散语言模型服务问题,提出Sangam系统,用赤字令牌预算调度器实现摊还无停顿调度,采用混合服务策略缓解预填充资源不足,揭示服务设计空间受预填充-解码干扰等因素影响。
2026-07-07 cs.DC cs.LG
Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
Sapienza University of Rome(罗马大学)
本文通过实证研究探讨了不同LLM在不同硬件平台上的行为,重点分析了层卸载和抢占对性能的影响,揭示了卸载和抢占对解码吞吐量的非线性影响以及其在不同模型和硬件平台上的差异,为设计高效的多模型LLM服务系统提供了指导。
2026-05-19 cs.AI cs.DC
LoongServe: Efficiently Serving Long-Context Large Language Models with Elastic Sequence Parallelism
Shanghai AI Lab(上海人工智能实验室)
针对长上下文LLM服务中资源利用率低的问题,提出弹性序列并行范式并构建LoongServe系统,从计算、通信、内存三方面优化,在真实数据集上实现最高5.81倍的吞吐量提升。
2024-10-29 cs.DC cs.LG
TurboServe: Serving Streaming Video Generation Efficiently and Economically
Shanghai Jiao Tong University(上海交通大学);Shengshu Technology(神思科技);Tsinghua University(清华大学)
针对流式视频生成的会话时长和用户需求异构性,提出TurboServe系统,通过在线调度联合优化会话放置与GPU配置,采用迁移感知放置和负载驱动自动缩放,降低延迟和成本。
2026-06-18 cs.DC
TetriServe: Efficiently Serving Mixed DiT Workloads
University of Michigan(密歇根大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Nanyang Technological University(南洋理工大学)
针对混合分辨率与截止时间的异构DiT工作负载,提出基于步骤级序列并行的TetriServe系统,通过轮次调度与自适应并行度,在保证图像质量下将SLO达成率提升32%。
2026-06-19 cs.DC cs.LG
Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models
Georgia Institute of Technology(佐治亚理工学院);Meta;Intel Labs(英特尔实验室);Intel(英特尔);Google(谷歌)
本文提出 GenZ 分析工具,建模多种 LLM 架构、服务优化与硬件平台参数,经真实平台验证后揭示分布式推理的资源需求,以指导下一代 AI 加速器与平台设计。
2025-05-15 cs.AI cs.AR cs.DC
ExpertWeave: Efficiently Serving Expert-Specialized Fine-Tuned Adapters at Scale
针对专家专用微调(ESFT)适配器大规模服务的资源挑战,ExpertWeave通过共享MoE基础模型并发服务多个ESFT适配器,引入虚拟内存管理和融合内核优化,实现内存节省、资源利用率提升及吞吐量增长,兼容现有推理流水线且精度无损。
2025-08-25 cs.DC
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
Dell Technologies Inc.(戴尔科技有限公司)
本文提出框架,通过TTFT-ITL可行集等揭示LLM并行配置随工作负载、SLO、上下文长度的转变规律,为感知SLO的并行选择提供方法。
2026-10-14 cs.AI cs.DC cs.LG
ME-Switch: A Memory-Efficient Expert Switching Framework for Large Language Models
ZIP Lab, Monash University(莫纳什大学ZIP实验室);SenseTime Research(商汤科技研究院);Beihang University(北京航空航天大学);Zhejiang University(浙江大学)
本文提出 ME-Switch 框架,通过显著性感知增量压缩与模型级领域路由,实现多 LLM 专家的低内存、低开销切换服务。
2024-10-26 cs.AI cs.CL cs.LG
PersonalQ: Select, Quantize, and Serve Personalized Diffusion Models for Efficient Inference
School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Nankai University(南开大学)
PersonalQ通过触发令牌连接检查点选择与量化,提升意图对齐并优化压缩质量,实现高效个性化扩散模型服务。
2026-03-24 cs.AI
Serving Recurrent Neural Networks Efficiently with a Spatial Accelerator
Stanford University(斯坦福大学)
递归神经网络(RNN)应用程序构成了AI驱动的低延迟数据中心工作负载的主要类别。大多数RNN加速的执行模型将计算图分解为BLAS内核,这导致了显着的内核间数据移动和资源利用不足。我们表明,通过支持更一般的循环结构,捕获加速器中的设计参数,它可以提高资源利用率,使用跨内核优化,而不牺牲可编程性。这样的抽象级别使得能够进行设计空间搜索,该设计空间搜索可以导致跨问题大小的范围的空间架构上的片上资源的高效使用。我们使用可配置的空间加速器使用DeepBench评估我们在这种抽象上的优化策略。我们证明,这种实现提供了30倍的性能,1.6倍的面积和2倍的功率效率相比,特斯拉V100 GPU的几何加速比,和2倍的几何加速比微软脑波实现Stratix 10 FPGA。
2019-09-26 cs.DC cs.LG cs.PF
Stateful Large Language Model Serving with Pensieve
New York University(纽约大学)
针对现有无状态LLM服务系统处理多轮对话存在重复计算的问题,设计了带多层缓存和改进PagedAttention内核的有状态服务系统Pensieve,吞吐量达vLLM和TensorRT-LLM的1.14-3.0倍且显著降延迟。
2024-10-07 cs.DC cs.LG
APEX: An Extensible and Dynamism-Aware Simulator for Automated Parallel Execution in LLM Serving
提出LLM服务系统模拟器APEX,通过感知动态性建模迭代级批处理并利用模型重复结构缩减设计空间,在CPU上高效寻找最优并行执行计划,速度提升3.37倍且能耗降低45%。
2025-04-29 cs.DC
DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
Peking University(北京大学);DeepSeek-AI(深势科技人工智能)
针对现有投机解码接受率衰减、高并发下吞吐量劣化问题,DSpark采用半自回归架构与置信度调度验证,在实测中显著提升大模型推理速度与系统性能边界。
2026-07-07 cs.AI cs.CL
Lodestar: An Online-Learning LLM Inference Router
UIUC(伊利诺伊大学香槟分校);Bytedance(字节跳动);University of Edinburgh(爱丁堡大学)
提出Lodestar,一种基于在线学习的请求路由系统,通过实时收集集群状态并训练奖励预测器,以最小化TTFT为目标分配推理请求,在异构GPU集群上显著降低延迟。
2026-05-31 cs.AI cs.DC cs.LG
Ragged Paged Attention: A High-Performance and Flexible LLM Inference Kernel for TPU
Google(谷歌)
本文提出RPA,一种用于TPU的高性能注意力内核,通过细粒度分块、定制软件流水线和分布感知编译策略,提升TPU在动态不规则执行模式下的效率,实现在解码和预填充任务中达到86%和73%的利用率。
2026-04-16 cs.AI cs.LG cs.PF
CaraServe: CPU-Assisted and Rank-Aware LoRA Serving for Generative LLM Inference
CaraServe通过CPU辅助预填充和秩感知调度,解决多LoRA适配器服务中GPU冷启动延迟问题,实现最高1.4倍加速和99%的SLO达成率。
2024-01-20 cs.DC
DeltaZip: Efficient Serving of Multiple Full-Model-Tuned LLMs
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
DeltaZip通过压缩模型增量并协同设计服务系统与压缩算法,实现了对多个全参数微调LLM的高效并发服务,吞吐量提升2至12倍。
2025-03-25 cs.DC cs.LG
ModServe: Modality- and Stage-Aware Resource Disaggregation for Scalable Multimodal Model Serving
Microsoft Azure Research(微软Azure研究);Microsoft Research India(微软印度研究);University of Virginia(弗吉尼亚大学);Microsoft M365 Research(微软M365研究)
针对大型多模态模型生产部署的效率难题,提出模块化服务系统ModServe,通过阶段解耦、模态感知调度与自适应扩缩容,在128-GPU集群上实现3.3-5.5倍吞吐量提升与25-41.3%成本节约。
2025-10-22 cs.AI cs.DC
CascadeInfer: Length-Aware Scheduling of LLM Serving with Low Latency and Load Balancing
Peking University(北京大学);ScitiX AI
CascadeInfer通过动态调度请求降低LLM服务延迟和负载不均,提升系统吞吐量,减少端到端延迟达67%。
2026-05-15 cs.DC
Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving
Revati通过时间跳跃技术实现GPU-free的LLM服务性能仿真,比实际GPU执行快5-17倍,预测误差低于5%。
2026-01-01 cs.DC cs.LG
FailSafe: High-performance Resilient Serving
Shanghai Jiao Tong University(上海交通大学);NVIDIA Research(英伟达研究院)
针对张量并行大语言模型推理系统易受GPU故障影响的问题,本文提出容错服务系统FailSafe,通过多项负载均衡与快速恢复技术,在多GPU故障场景下仍能实现高吞吐、低延迟的弹性推理服务。
2025-11-18 cs.DC
AlignedServe: Orchestrating Prefix-aware Batching to Build a High-throughput and Computing-efficient LLM Serving System
Sun Yat-Sen University(中山大学)
针对LLM服务中解码迭代内的气泡问题,提出基于前缀感知批处理的AlignedServe框架,通过分组相似KV缓存长度的请求、CPU内存维护大量飞行请求、批级调度和GPU间预取KV缓存,显著提升解码吞吐量并降低延迟。
2026-05-22 cs.DC
MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe通过运行时量化层交换和KV缓存调整,有效提升动态负载下的LLM服务效率和稳定性。
2026-01-07 cs.DC cs.LG
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度,在异构GPU集群中优化LLM服务,提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne(墨尔本大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度,在满足延迟SLO的同时提升GPU利用率,显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
UniFaaS: Programming across Distributed Cyberinfrastructure with Federated Function Serving
本文提出 UniFaaS 联邦 FaaS 并行编程框架,通过统一接口、广域数据管理和异构感知动态调度,实现跨超级计算机、云与加速器的高性能科学工作流执行。
2024-03-28 cs.DC
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction
IBM Research(IBM研究院)
本文提出投机性最短作业优先(SSJF)调度器,利用轻量级代理模型预测LLM输出序列长度,在不改变内存管理和批处理策略的情况下,显著降低作业完成时间并提升吞吐量。
2024-11-25 cs.CL cs.DC cs.LG
A CXL Memory Rack for Multi-Turn LLM Serving
SK hynix America(SK海力士美国);Virginia Tech(弗吉尼亚理工大学)
研究针对多轮大语言模型服务中键值缓存重用问题,提出HyMCache框架集成CXL混合内存。利用多轮缓存访问特性优化DRAM管理,通过请求级前缀预取等技术,在真实原型上评估,相比其他方案有性能优势且节省DRAM。
2026-08-07 cs.DC
Serving Compound Inference Systems on Datacenter GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
JigsawServe通过自适应模型选择和GPU空间划分,高效优化复合推理系统的延迟、准确率和成本
2026-03-09 cs.DC
ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Electronic Science and Technology of China(电子科技大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型服务中推理开销大、资源利用率低的问题,提出弹性多模态并行范式EMP及系统ElasticMM,通过模态感知负载均衡、弹性分区调度等优化,实现TTFT降低4.2倍、吞吐量提升3.2-4.5倍且满足SLOs。
2025-11-11 cs.DC cs.LG
MuxServe: Flexible Spatial-Temporal Multiplexing for Multiple LLM Serving
本文提出 MuxServe,通过结合受欢迎程度的空分协同部署与 prefill/decoding 分离的时分复用,以及放置算法、自适应批调度和统一资源管理器,显著提升多 LLM 服务的吞吐与 SLO 表现。
2024-06-13 cs.DC
Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
University of Macau(澳门大学)
本文提出OmniServe系统,利用CPU和GPU资源缓解LLM服务间的干扰,提升吞吐量。通过注意力并行机制将BE服务的注意力计算卸载到CPU,同时动态批处理策略提升密集模块计算效率,实验表明在满足LS服务SLO的同时,BE服务吞吐量提升达9.85倍。
2026-03-17 cs.DC
QoS-Efficient Serving of Multiple Mixture-of-Expert LLMs Using Partial Runtime Reconfiguration
Texas A&M University(德克萨斯A&M大学)
针对单GPU多租户服务多个微调MoE-LLM的内存挑战,本文提出基于相似性的专家共享与运行时部分重配置方法,在保持质量和吞吐量的同时显著降低周转时间。
2025-05-10 cs.DC cs.LG
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley(伯克利大学);UCLA(洛杉矶大学);Rice University(里奇大学);UC Davis(戴维斯大学);Intel(英特尔公司)
针对LLM服务GPU利用率低的问题,提出ConServe协同服务系统,通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术,实现高吞吐量与在线延迟保障,性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
INFaaS: A Model-less and Managed Inference Serving System
Stanford University(斯坦福大学)
尽管在机器学习推理服务方面已有工作,但易用性和成本效率在大规模上仍然面临挑战。开发人员必须手动搜索数千个模型变体-已经训练的模型的版本,这些版本在硬件,资源占用,延迟,成本和准确性方面有所不同-以满足不同的应用程序需求。由于需求、查询负载和应用程序本身会随着时间的推移而发展,因此需要为每个推理查询动态地做出这些决策,以避免通过简单的自动缩放产生过多的成本。为了避免在模型变量的大而复杂的权衡空间中导航,开发人员经常在查询中修复一个变量,并在负载增加时复制它。然而,考虑到云中变体和硬件平台的多样性,缺乏对权衡空间的理解可能会给开发人员带来巨大的成本。本文介绍了INFaaS,分布式推理服务的管理和无模型系统,开发人员只需指定其应用程序的性能和准确性要求,而不需要为每个查询指定一个特定的模型变量。INFaaS生成模型变量,并代表开发人员有效地导航模型变量的大权衡空间,以满足特定于应用程序的目标:(a)对于每个查询,它选择一个模型,硬件架构和模型优化,(b)它将VM级水平自动缩放与模型级自动缩放相结合,其中多个不同的模型变量用于在每台机器内服务查询。与AWS EC2上最先进的推理服务系统相比,通过利用不同的变体并跨模型共享硬件资源,INFaaS实现了1.3倍的吞吐量,违反延迟目标的频率降低了1.6倍,并节省了高达21.6倍的成本(平均为8.5倍)。
2020-12-15 cs.DC cs.LG
Graft: Efficient Inference Serving for Hybrid Deep Learning with SLO Guarantees via DNN Re-alignment
针对混合深度学习中 DNN 划分片段非均匀导致服务器服务低效的问题,Graft 通过 DNN 重对齐、细粒度 GPU 共享及片段合并分组算法,在保证延迟 SLO 的同时将资源效率最高提升 70%。
2023-12-17 cs.DC
Recursive Offloading for LLM Serving in Multi-tier Networks
针对多层级网络中LLM服务效率低的问题,提出递归卸载框架RecServe,通过分层置信度评估和滑动窗口动态卸载策略,在八个数据集上优于CasServe并降低超50%通信负担。
2025-05-24 cs.DC cs.NI
TokenDance: Scaling Multi-Agent LLM Serving via Collective KV Cache Sharing
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
TokenDance通过利用All-Gather模式实现集体KV缓存共享,提升多智能体LLM服务的并发数量,减少缓存存储并加快预填充速度。
2026-04-03 cs.DC