PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
Mell: Memory-Efficient Large Language Model Serving via Multi-GPU KV Cache Management
针对大语言模型服务中KV缓存内存占用大、GPU负载不均的问题,本文提出MELL系统,通过自适应请求迁移机制和支持迁移的多GPU调度在线算法,实现内存高效服务,最多可减少31%GPU用量、提升43%GPU利用率。
2025-01-12 cs.DC
GreenLLM: Disaggregating Large Language Model Serving on Heterogeneous GPUs for Lower Carbon Emissions
本文提出GreenLLM框架,通过将LLM服务中的特定计算分解到较旧低性能GPU上,在满足延迟SLO的前提下最多降低40.6%碳排放。
2024-12-29 cs.AR cs.DC
Disaggregated Prefill and Decoding Inference System for Large Language Model Serving on Multi-Vendor GPUs
ZTE Corporation(中兴通讯)
针对多厂商异构 GPU 上 LLM 的 Prefill 与 Decode 混合推理问题,设计分离式推理系统、兼容传输模块及并行策略与实例分配联合优化算法,以低成本获得最优部署。
2025-09-28 cs.DC
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh(匹兹堡大学);HPE Labs(惠普企业实验室)
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题,提出Festina系统,通过协同请求放置、SM分区和GPU工作点调整,在满足TTFT/TBT SLO前提下,实现集群能耗降低高达56%。
2026-10-13 cs.DC
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
Hanyang University(汉阳大学)
提出ShuntServe系统,通过屋顶线模型估计性能和动态规划优化模型放置,在异构竞价型GPU集群上最大化吞吐量,结合输出保留迁移与共享张量存储实现容错,相比基线吞吐量提升1.42倍,成本效率提升31.9%以上。
2026-06-18 cs.DC
DisagFusion: Asynchronous Pipeline Parallelism and Elastic Scheduling for Disaggregated Diffusion Serving
Renmin University of China(中国人民大学);SenseTime(商汤科技);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);Beihang University(北京航空航天大学)
针对扩散模型部署中阶段间负载不均和调度脆弱性问题,提出DisagFusion,通过异步流水线并行和混合实例调度策略,实现吞吐量提升3.4-20.5倍、端到端延迟降低18.5倍。
2026-05-25 cs.DC
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Alibaba Group(阿里巴巴集团)
Quiver是一个分布式GPU GNN服务系统,通过工作负载感知指标预测计算不规则性,智能调度GPU图采样与特征聚合,实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
CaraServe: CPU-Assisted and Rank-Aware LoRA Serving for Generative LLM Inference
CaraServe通过CPU辅助预填充和秩感知调度,解决多LoRA适配器服务中GPU冷启动延迟问题,实现最高1.4倍加速和99%的SLO达成率。
2024-01-20 cs.DC
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne(墨尔本大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度,在满足延迟SLO的同时提升GPU利用率,显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
GoodServe: Globally-coordinated Routing of Agentic LLM Inferences for High Goodput
Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen MSU-BIT University(深圳北理莫斯科大学)
本文提出GoodServe系统,通过预测和修正的方法优化异构资源上的代理LLM推理服务,提高吞吐量。
2026-11-02 cs.DC
JointServe: Serving Multi-Model Agents on Memory-Constrained GPUs
Beihang University(北京航空航天大学)
JointServe是一种服务系统,通过利用智能体工作负载特性优化权重与KV的内存分配,在内存受限GPU上服务多模型智能体,大幅降低会话完成时间并提升SLO达成率。
2026-10-14 cs.DC cs.LG
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度,在异构GPU集群中优化LLM服务,提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
Serving LLMs in HPC Clusters: A Comparative Study of Qualcomm Cloud AI 100 Ultra and NVIDIA Data Center GPUs
University of California, San Diego(加州大学圣地亚哥分校)
本研究在国家研究平台中对比高通Cloud AI 100 Ultra与英伟达A100 GPU的大语言模型推理表现,发现前者能效更优、硬件分配更细粒度,为能源受限的高性能计算大模型部署提供参考。
2025-10-28 cs.AI cs.DC
LLM-Emu: Native Runtime Emulation of LLM Inference via Profile-Driven Sampling
University of Cambridge(剑桥大学)
LLM-Emu通过基于性能的采样实现LLM推理的原生运行时仿真,能够准确模拟vLLM服务行为,支持在线实验。
2026-05-01 cs.DC
PackServe: SLO-Aware Request Scheduling for Agentic LLM Serving at Scale
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Ant Group(蚂蚁集团)
PackServe通过白盒延迟预测模型指导请求打包,在保留KVC重用和SLO约束下减少GPU资源消耗,在64块H20 GPU上节省高达24.6%的GPU小时,并在生产集群中降低34.7%资源占用。
2026-09-29 cs.DC
Energy-Efficient Multimodal Inference Serving with Tri-serve
Department of Computer Science and Engineering, University of California, Riverside(加州大学河滨分校计算机科学与工程系);NVIDIA(英伟达);Department of Computer Science and Engineering, Indian Institute of Technology, Bhubaneswar(布巴内斯瓦尔印度理工学院计算机科学与工程系);Department of Electrical and Computer Engineering, University of California, Riverside(加州大学河滨分校电气与计算机工程系)
针对多模态推理服务中GPU硬件频率管理导致的三种能效问题,提出软件DVFS控制器Tri-serve,联合优化依赖停顿、算术强度影响和热节流,实现22%能效提升且无延迟或吞吐量损失。
2026-09-07 cs.DC
PipeBoost: Resilient Pipelined Architecture for Fast Serverless LLM Scaling
针对无服务器集群下LLM突发请求的低延迟服务需求,提出PipeBoost系统,通过跨模型加载与推理的容错流水线并行及多GPU恢复技术,显著降低推理与冷启动延迟。
2025-03-22 cs.DC
Toward Cost-Efficient Serving of Mixture-of-Experts with Asynchrony
提出异步专家并行(AEP)范式及AMoE服务系统,通过动态排队token和自适应重批处理解耦层执行与同步,缓解GPU空闲和内存带宽浪费,使吞吐量提升2.7倍并实现近线性多节点扩展。
2025-05-29 cs.DC
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington(华盛顿大学);Duke University(杜克大学);Microsoft(微软公司)
本文提出 Symphony DNN 服务系统,通过可调度窗口与跨加速器细粒度协调实现延迟批量调度,在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
KunServe: Parameter-centric Memory Management for Efficient Memory Overloading Handling in LLM Serving
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学)
KunServe提出参数中心内存管理,通过选择性丢弃复制参数应对LLM服务内存过载,结合流水线并行,将尾部TTFT降低高达72.2倍。
2025-10-08 cs.AI cs.DC
UELLM: A Unified and Efficient Approach for LLM Inference Serving
本文提出UELLM,一种统一高效的LLM推理服务方法,包含资源分析器、批处理调度器和LLM部署器三个组件,有效降低推理延迟、提升GPU利用率和吞吐量,并减少SLO违规率。
2024-09-24 cs.DC
Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);National Technical University of Athens(雅典国家技术大学)
LoRAServe通过动态适配器放置和路由框架,有效解决异构LoRA适配器在分布式大语言模型推理中的性能偏斜问题,提升吞吐量并降低延迟。
2025-11-28 cs.AI cs.DC cs.LG
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks
TotalEnergies SE(道达尔能源公司);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
深度神经网络(DNN)的集成已经实现了定性预测,但它们是计算和内存密集型的。因此,要求它们用可用的计算资源来回答繁重的请求工作量的需求正在增长。与最近关于推理服务器和推理框架的举措不同,这些举措专注于单个DNN的预测,我们提出了一个新的软件层,以提供DNN的灵活性和效率。我们的推理系统设计了几个技术创新。首先,我们提出了一个新的过程来找到设备(CPU或GPU)和DNN实例之间的良好分配矩阵。它连续运行最差拟合以将DNN分配到存储器设备中,并运行贪心算法以优化分配设置并加速集成。其次,我们设计的推理系统基于多个进程异步运行:搜索,预测和组合规则与一个有效的内部通信方案,以避免开销。实验表明,在极端情况下的灵活性和效率:它成功地服务于12个重DNN到4个GPU的合奏,相反,一个单一的DNN多线程到16个GPU。它还优于简单的基线,包括优化DNN的批量大小,在图像分类任务上加速高达2.7倍。
2022-08-30 cs.DC cs.LG
LUMEN: Coordinated Failure Recovery for Distributed LLM Serving
The Chinese University of Hong Kong(香港中文大学);Northwestern Polytechnical University(西北工业大学);University of Science and Technology of China(中国科学技术大学)
针对分布式LLM服务中工作节点故障导致KV缓存丢失和请求重算的问题,提出LUMEN系统,通过负载感知的协调恢复策略(检查点放置、中断请求分配、容量恢复)显著提升服务与恢复时间。
2026-06-17 cs.DC
HBM Is Not All You Need: Efficient Disaggregated LLM Serving across Memory-heterogeneous Accelerators
Shanghai Jiao Tong University(上海交通大学);UltraRISC
针对LLM推理中预填充阶段HBM带宽闲置问题,提出HMA-Serve系统,通过分阶段量化、计算-传输流水线和延迟反量化,在GDDR加速器上高效执行预填充,实现3.2倍吞吐提升和4.8倍性价比提升。
2026-06-29 cs.AR cs.DC
When Does Disaggregation Pay? Simulating Prefill--Decode--Attention--FFN Specialization for Agentic LLM Inference
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
该研究提出HeteroPanacea模拟框架,针对智能体LLM推理的预填-解码-注意力-前馈网络拆分,验证其可提升吞吐量,为异构智能体服务系统提供支撑。
2026-08-05 cs.DC
Efficient MoE Serving in the Memory-Bound Regime: Balance Activated Experts, Not Tokens
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
METRO通过平衡每个GPU激活的专家数量而非token数量,在内存受限环境下实现高效MoE服务,减少解码延迟并提升吞吐量。
2025-12-10 cs.AR cs.DC
Perseus: Characterizing Performance and Cost of Multi-Tenant Serving for CNN Models
Worcester Polytechnic Institute(伍斯特理工学院)
深度学习模型越来越多地用于终端用户应用程序,支持面部识别等新功能和Web搜索等传统功能。为了适应高推理吞吐量,通常将单个预训练的卷积神经网络(CNN)托管在具有诸如图形处理单元(GPU)之类的硬件加速器的专用基于云的服务器中。然而,GPU可能比传统的中央处理单元(CPU)服务器贵几个数量级。面对动态工作负载,这些资源也可能未得到充分利用,这可能导致服务成本膨胀。缓解这个问题的一个潜在方法是允许托管模型共享底层资源,我们称之为多租户推理服务。其中一个关键的挑战是最大限度地提高资源效率的多租户服务给定的硬件具有不同的特点,具有独特的响应时间服务水平协议(SLA)的模型,和动态推理工作负载。在本文中,我们提出了珀尔修斯,一个测量框架,为理解多租户模型服务的性能和成本权衡提供了基础。我们在一个名为Nvidia TensorRT Inference Server的流行云推理服务器上用Python实现了Perseus。利用Perseus,我们评估了服务各种模型的推理吞吐量和成本,并证明多租户模型服务可以降低高达12%的成本。
2020-03-30 cs.DC cs.LG cs.PF
WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
School of Computer Science, Peking University(北京大学计算机科学学院);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出WarmServe系统,通过基于工作负载预测的多GPU预热技术,减少LLM服务中的尾部时间到第一个令牌(TTFT)并提高请求吞吐量。
2026-05-21 cs.DC cs.LG
HexGen-2: Disaggregated Generative Inference of LLMs in Heterogeneous Environment
针对异构GPU部署LLM解耦推理范式的开放问题,本文提出HexGen-2分布式系统,通过调度算法优化资源分配与通信效率,在异构环境下实现高效经济的LLM服务,提升吞吐量并降低延迟与成本。
2025-02-11 cs.DC
Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference
Georgia Institute of Technology(佐治亚理工学院)
通过分析多GPU大语言模型推理负载,发现CPU资源不足导致GPU利用率低下,增加CPU核心数可显著提升性能并降低首令牌延迟。
2026-08-28 cs.AR cs.DC
HydraServe: Minimizing Cold Start Latency for Serverless LLM Serving in Public Clouds
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
HydraServe通过主动分发模型、重叠冷启动阶段、策略性放置工作节点及流水线整合,在公有云中最小化无服务器LLM服务的冷启动延迟,并提升SLO达成率。
2025-09-25 cs.DC
NanoFlow: Towards Optimal Large Language Model Serving Throughput
针对LLM服务系统吞吐量受限于设备内异构资源顺序执行的问题,提出NanoFlow框架,通过设备内并行性重叠计算、内存和网络操作,自动优化纳米批次配置,在流行模型上实现1.91倍吞吐量提升。
2025-05-25 cs.DC
Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines
Imperial College London(伦敦帝国学院)
Scepsy通过聚合LLM管道高效调度多LLM代理工作流,实现高吞吐量和低延迟,相比独立优化或用户指定分配的系统,吞吐量提升2.4倍,延迟降低27倍。
2026-09-30 cs.AI cs.DC
OpScale: Operator-level Provisioning and Autoscaling for LLM Serving
Rice University(莱斯大学);Microsoft Research(微软研究院);Microsoft Azure Research(微软Azure研究)
针对LLM服务中粗粒度扩缩容的弊端,提出算子级编排框架OpScale,可在满足SLO的同时降低GPU用量、功耗,或在固定成本下提升吞吐量。
2026-08-14 cs.DC
LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
针对异构 GPU 集群上 LLM 服务成本高、现有方案仅适合同构设备的问题,本文提出 LLM-PQ,通过自适应混合精度量化、阶段感知划分和微批次设置,在满足质量目标下最高提升推理吞吐量 2.88 倍。
2024-03-02 cs.AI cs.DC cs.LG
Fast Recovery for LLM Serving via Decoupled Device Memory Lifetime in Dynamo
NVIDIA(英伟达);NVIDIA Research(英伟达研究院)
针对LLM推理服务中单点故障导致恢复慢的问题,提出基于快照和GPU内存服务解耦设备内存生命周期的方法,实现7秒内恢复,比热重启快13-29倍,可回收79%的GPU小时损失。
2026-09-23 cs.DC
S-HPLB: Efficient LLM Attention Serving via Sparsity-Aware Head Parallelism Load Balance
Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Science(中国科学院);Shenzhen MSU-BIT University(深圳莫斯科国立技术大学)
S-HPLB通过稀疏性感知的头部并行负载平衡策略,有效提升了LLM服务中注意力计算的效率和质量。
2026-03-11 cs.DC
Multi-model Machine Learning Inference Serving with GPU Spatial Partitioning
KAIST(韩国科学技术院)
随着机器学习技术被应用于越来越广泛的应用,高吞吐量的机器学习(ML)推理服务器对于在线服务应用已经变得至关重要。这种ML推理服务器提出了两个挑战:首先,它们必须为每个请求提供有限的延迟,以支持一致的服务级别目标(SLO),其次,它们可以在系统中服务于多个异构ML模型,因为某些任务涉及调用多个模型,并且合并多个模型可以提高系统利用率。针对ML推理服务器的这两个需求,提出了一种新的多模型ML推理服务器的ML推理调度框架。该论文首先表明,在SLO约束下,当前的GPU并未充分用于ML推理任务。为了最大限度地提高推理服务器的资源效率,本文提出的一个关键机制是利用硬件支持的GPU资源的空间划分。通过分区机制,创建了一个新的GPU资源抽象层,并使用可配置的GPU资源。调度器将请求分配给虚拟GPU,称为gpu-lets,具有最有效的资源量。本文还研究了当两个ML任务在GPU中并发运行时潜在干扰影响的补救措施。我们的原型实现证明,空间分区提高吞吐量的平均102.6%,同时满足SLO。
2021-09-01 cs.AI cs.DC
HexGen: Generative Inference of Large Language Model over Heterogeneous Environment
提出HexGen分布式推理引擎,支持异构跨数据中心环境下的非对称并行划分,通过约束优化调度算法,在相同预算下实现高达2.3倍更低延迟或4倍更高请求吞吐。
2024-05-27 cs.DC
ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving
KAIST(韩国科学技术院);Microsoft Research(微软研究院);Shanghai Xingyunzhili Artificial Intelligence Institute(上海行云智人工智能研究所)
针对PD分离MoE服务中解码负载不均衡导致延迟差异的问题,提出ELDR路由方法,利用预填充专家签名预测解码专家激活,通过平衡K-means分区和局部性感知路由,在vLLM上实现中位TPOT降低5.9-13.9%。
2026-11-09 cs.DC
Optimus: Elastic Decoding for Efficient Diffusion LLM Serving
Duke University(杜克大学);National University of Singapore(新加坡国立大学)
提出Optimus系统,通过动态调整解码粒度(分块解码与饱和度感知调度)来平衡GPU利用率和令牌效率,实现扩散LLM的弹性解码,显著提升吞吐量并保持模型精度。
2026-05-24 cs.DC
ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments
Department of Computer Science, Peking University(北京大学计算机系)
本文提出面向异构云环境的LLM服务系统ThunderServe,通过优化部署调度和轻量级重调度机制,在相同预算下显著提升吞吐量并降低延迟,证明云服务更具成本效益。
2025-11-06 cs.DC
Efficient Vision-Language-Action Management and Serving for Robot Factories
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对机器人工厂中VLA模型推理的延迟关键性,提出Robion系统,通过GPU内流分离和智能调度,在边缘服务器上高效服务多机器人多模型,显著提升SLO达成率下的负载能力。
2026-09-14 cs.AR cs.DC cs.LG
R2CC: Reliable and Resilient Collective Communication for Distributed Learning
University of Maryland, College Park(马里兰大学帕克分校)
R$^2$CCL通过多NIC硬件实现无损低开销故障转移,提升LLM训练和推断的可靠性与容错能力。
2026-10-28 cs.DC cs.LG cs.NI
Towards Resource-Efficient Serverless LLM Inference with SLINFER
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
SLINFER通过在异构硬件上实现弹性共享,提高小型至中型LLM推断的资源效率,实验显示服务容量提升达86%-154%
2025-12-15 cs.DC
Taming the Memory Footprint Crisis: System Design for Production Diffusion LLM Serving
dLLM-Serve通过优化内存占用、计算调度和生成质量,解决了扩散大语言模型在生产中的内存占用危机,实现了更高的吞吐量和更低的延迟。
2026-01-14 cs.DC
EcoServe: Enabling Cost-effective LLM Serving with Proactive Intra- and Inter-Instance Orchestration
EcoServe采用部分分离策略,通过时间分离和滚动激活实现实例内与实例间编排,在普通互联集群上经济高效地服务LLM,显著提升有效吞吐量。
2025-04-25 cs.DC
Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
China Telecom Cloud Computing Research Institute(中国电信云计算研究院);Xidian University(西安电子科技大学);University of Science and Technology of China(中国科学技术大学)
AFlex框架通过全局调度器、局部DVFS控制器及交错A/F流水线,优化解耦A/F服务的资源配置与GPU频率,在满足SLO的同时将每token能耗降低最高49%
2026-08-04 cs.AI cs.DC
CacheFlow: Efficient LLM Serving via Automated 3D-Parallel KV Cache Restoration
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出CacheFlow框架,通过3D并行抽象优化KV缓存恢复,减少TTFT时间,提升大语言模型服务效率。
2026-09-26 cs.DC
Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving
Revati通过时间跳跃技术实现GPU-free的LLM服务性能仿真,比实际GPU执行快5-17倍,预测误差低于5%。
2026-01-01 cs.DC cs.LG
MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
Georgia Institute of Technology(佐治亚理工学院)
针对MoE模型分布式部署中令牌路由与专家激活不均衡、通信尾延迟等问题,提出MoETuner方案,通过ILP优化专家放置并利用层间令牌路由依赖,实现负载均衡与通信优化,单节点和多节点推理速度分别提升9.3%和17.5%。
2025-02-10 cs.DC cs.LG