Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University(浙江大学软件学院)
针对单GPU LLM服务中主机CPU共置干扰问题,提出测量驱动的诊断程序CoTail,通过核心路径尾部指数和核心尾部抑制指标,筛选风险、分析尾部、选择OS级保护并验证SLO,显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
ServerlessT2I: Efficient Text-to-Image Workflow Serving on a Serverless Platform
Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
ServerlessT2I是将T2I工作流分解为独立模型函数的无服务器系统,通过优化调度与内存利用,在相同GPU预算下提升请求率2倍,固定请求率下节省GPU资源达3倍。
2026-07-30 cs.AI cs.DC
Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning
The Ohio State University(俄亥俄州立大学)
本文针对Frontier超算集群提出3级层次分区策略,优化ZeRO++的通信与内存利用,在20B GPT模型上实现每GPU 1.71倍TFLOPS提升和0.94扩展效率。
2025-02-04 cs.AI cs.DC
FREESH: Fair, Resource- and Energy-Efficient Scheduling for LLM Serving on Heterogeneous GPUs
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Renmin University of China(中国人民大学);University of Washington(华盛顿大学);University of Alberta(阿尔伯塔大学)
FREESH针对异构GPU集群上LLM服务的碳与能耗优化问题,通过联合路由调度、动态频率缩放和LLF策略,在保证延迟与公平性的同时实现28.6%的节能和45.45%的减排。
2025-11-05 cs.DC
ROSE: Rollout On Serving GPUs via Cooperative Elasticity for Agentic RL
HKUST(香港科技大学);Alibaba Group(阿里巴巴集团)
针对代理强化学习中计算密集型多轮rollout资源需求波动的问题,ROSE通过协作弹性机制共享已部署的服务GPU,提高端到端吞吐量并减少rollout时间,同时保障服务SLA。
2026-05-20 cs.DC
Mell: Memory-Efficient Large Language Model Serving via Multi-GPU KV Cache Management
针对大语言模型服务中KV缓存内存占用大、GPU负载不均的问题,本文提出MELL系统,通过自适应请求迁移机制和支持迁移的多GPU调度在线算法,实现内存高效服务,最多可减少31%GPU用量、提升43%GPU利用率。
2025-01-12 cs.DC
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
BOute: Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
BOute通过多目标贝叶斯优化实现高效LLM服务,优化路由和部署策略以提升成本效率。
2026-02-11 cs.DC
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
TurboServe: Serving Streaming Video Generation Efficiently and Economically
Shanghai Jiao Tong University(上海交通大学);Shengshu Technology(神思科技);Tsinghua University(清华大学)
针对流式视频生成的会话时长和用户需求异构性,提出TurboServe系统,通过在线调度联合优化会话放置与GPU配置,采用迁移感知放置和负载驱动自动缩放,降低延迟和成本。
2026-06-18 cs.DC
Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving
Revati通过时间跳跃技术实现GPU-free的LLM服务性能仿真,比实际GPU执行快5-17倍,预测误差低于5%。
2026-01-01 cs.DC cs.LG
HorizonServe: Coordinating Request Scheduling with GPU Sharing for Omni-Model Serving
The University of Sydney(悉尼大学)
HorizonServe是一款单GPU全模态模型服务系统,通过协调请求准入与GPU分配,提升了SLO达成率并降低了首响应延迟,解决了全模态模型统一部署的调度问题。
2026-08-04 cs.DC
Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach
Technical University of Munich(慕尼黑工业大学)
针对现代GPU单程序资源利用率低的问题,提出基于强化学习的分层资源划分与作业协同调度组协同优化方法,结合NVIDIA GPU的MPS与MIG特性,相比分时调度最高提升1.87倍吞吐量。
2024-05-14 cs.AR cs.DC cs.LG
PALS: Power-Aware LLM Serving for Mixture-of-Experts Models
Boston University(波士顿大学);Harvard University School of Engineering(哈佛大学工程与应用科学学院);Harvard University(哈佛大学)
本文提出PALS,一种功率感知的LLM服务运行时,通过将GPU功率上限作为可控制的参数与软件参数如批大小联合优化,提升能效并减少在功率限制下的服务质量违规。
2026-05-20 cs.AI cs.DC
GreenLLM: Disaggregating Large Language Model Serving on Heterogeneous GPUs for Lower Carbon Emissions
本文提出GreenLLM框架,通过将LLM服务中的特定计算分解到较旧低性能GPU上,在满足延迟SLO的前提下最多降低40.6%碳排放。
2024-12-29 cs.AR cs.DC
WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
School of Computer Science, Peking University(北京大学计算机科学学院);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出WarmServe系统,通过基于工作负载预测的多GPU预热技术,减少LLM服务中的尾部时间到第一个令牌(TTFT)并提高请求吞吐量。
2026-05-21 cs.DC cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
Hypergraph Partitioning on GPU with Distinct Incident Hyperedges and Size Constraints
DEIB Politecnico di Milano(米兰理工大学电子、信息与生物工程系)
本文提出了一种基于GPU的多级超图划分算法,针对有限大小和每个分区不同入边超边的约束,利用GPU的层次化并行性,通过在内存中显式化超图的关联结构和唯一邻域,实现了高效的超图划分,实验结果显示在速度和连接性方面均有显著提升。
2026-05-19 cs.DC
Hetis: Serving LLMs in Heterogeneous GPU Clusters with Fine-grained and Dynamic Parallelism
Hetis通过细粒度动态并行和在线负载调度,在异构GPU集群中优化LLM服务,提升吞吐量2.25倍并降低延迟1.49倍。
2025-09-10 cs.DC
Taming GPU Underutilization via Static Partitioning and Fine-grained CPU Offloading
KTH Royal Institute of Technology(皇家理工学院);William & Mary(威廉与玛丽学院)
本文通过静态分区和细粒度CPU卸载技术,减少GPU资源空置,提升系统吞吐量和能效,同时解决多实例GPU在HPC工作负载中的性能干扰问题。
2026-04-09 cs.DC
Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
Google Cloud(谷歌云)
本文首次端到端展示了在TPU硬件上微调和服务Google Gemma 4 31B模型,通过与GPU平台的实证比较,提供了代码级适配方案,并证明TPU在训练速度和成本上具有优势。
2026-06-05 cs.AI cs.DC
Serving Compound Inference Systems on Datacenter GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
JigsawServe通过自适应模型选择和GPU空间划分,高效优化复合推理系统的延迟、准确率和成本
2026-03-09 cs.DC
AgentServe: Algorithm-System Co-Design for Efficient Agentic AI Serving on a Consumer-Grade GPU
The University of Sydney(悉尼大学)
AgentServe通过算法-系统协同设计,在消费级GPU上实现高效代理AI服务,提升延迟稳定性并保持吞吐量。
2026-11-06 cs.DC
GPU-Accelerated Hypergraph Partitioning and Placement to Map SNNs on Neuromorphic Hardware
DEIB, Politecnico di Milano(德伊布,米兰理工大学)
针对神经形态硬件上的SNN映射,提出GPU加速的超图划分与布局流水线,通过多级划分和递归二分优化,显著降低延迟和能耗,并大幅提升映射速度。
2026-09-09 cs.DC
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh(匹兹堡大学);HPE Labs(惠普企业实验室)
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题,提出Festina系统,通过协同请求放置、SM分区和GPU工作点调整,在满足TTFT/TBT SLO前提下,实现集群能耗降低高达56%。
2026-10-13 cs.DC
Optimizing Hardware Resource Partitioning and Job Allocations on Modern GPUs under Power Caps
本文面向功耗受限 HPC,结合现代 GPU 的硬件分区与功耗封顶机制,基于可扩展性和干扰建模联合优化芯片分区、作业分配及功耗配置,从而在多类工作负载下获得近优方案。
2024-05-06 cs.DC
FastDecode: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines
FastDecode通过将LLM分解为KV-Cache访问和计算两部分,利用多节点CPU处理内存受限部分,减少数据传输并提升GPU吞吐,实现比vLLM高1.88x-5.04x的服务性能。
2024-03-18 cs.DC cs.PF
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统,提出基于机器学习的预测性能建模方法,协同优化程序共置调度、CPU/GPU资源划分和功率封顶,在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
Parallel Watershed Partitioning: GPU-Based Hierarchical Image Segmentation
American University of Armenia(亚美尼亚美国大学);University of Oxford(牛津大学)
本文提出三种 GPU 并行流域分割算法,通过迭代生成层次化瀑布区域,在 2D/3D 图像上实现高速处理,并可替代超像素用于语义分割预处理。
2024-10-11 cs.CV cs.DC
FailSafe: High-performance Resilient Serving
Shanghai Jiao Tong University(上海交通大学);NVIDIA Research(英伟达研究院)
针对张量并行大语言模型推理系统易受GPU故障影响的问题,本文提出容错服务系统FailSafe,通过多项负载均衡与快速恢复技术,在多GPU故障场景下仍能实现高吞吐、低延迟的弹性推理服务。
2025-11-18 cs.DC
Boosting LLM Serving through Spatial-Temporal GPU Resource Sharing
Sun Yat-sen University(中山大学)
针对LLM服务中预填充与解码阶段不匹配导致GPU利用率低的问题,提出时空编排系统Bullet,通过阶段并发与动态资源分配,在满足延迟约束下实现最高1.55倍吞吐量提升。
2025-09-26 cs.DC
Contention-Aware GPU Partitioning and Task-to-Partition Allocation for Real-Time Workloads
为了满足时间约束,现代实时的【形】应用需要大规模并行加速器,例如通用图形处理单元(GPGPU)。一代又一代,在新的GPU架构中可用的计算集群的数量正在稳步增加,因此,现在必须研究合适的调度方法。这样的调度方法涉及在GPU计算集群内映射不同的和并发的计算内核,因此将GPU计算集群分组到可并行的分区中。在本文中,我们提出了新的技术来定义GPU分区,这使我们能够定义合适的任务到分区的分配机制,其中任务是GPU计算内核具有不同的时序要求。这种机制将考虑GPU内核在重叠时间窗口中运行时所经历的干扰。因此,一个有效的和简单的方法来量化这种干扰的大小。我们证明了所提出的方法对经典技术,认为GPU作为一个单一的,不可分割的资源的效率。
2021-05-21 cs.DC cs.SY eess.SY
Punica: Multi-Tenant LoRA Serving
University of Washington(华盛顿大学);Duke University(杜克大学)
Punica 是一个多租户 LoRA 服务系统,通过新 CUDA 内核设计实现多 LoRA 模型 GPU 操作批处理,仅保留一份预训练模型副本,在共享 GPU 集群中实现 12 倍吞吐量提升且仅增加 2ms 延迟。
2023-10-28 cs.DC cs.LG
Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications
IBM Research Yorktown Heights, New York(IBM研究院约克镇高地,纽约)
本文重新评估了预填充-解码解耦服务的性能和能耗影响,发现其性能优势依赖于请求负载和KV传输介质,且解耦服务本身能耗较高。
2025-11-14 cs.AI cs.AR cs.DC
Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);National Technical University of Athens(雅典国家技术大学)
LoRAServe通过动态适配器放置和路由框架,有效解决异构LoRA适配器在分布式大语言模型推理中的性能偏斜问题,提升吞吐量并降低延迟。
2025-11-28 cs.AI cs.DC cs.LG
Atlas: Hierarchical Partitioning for Quantum Circuit Simulation on GPUs (Extended Version)
本文提出Atlas,一种基于层次化划分的分布式多GPU量子电路模拟器,通过整数线性规划和动态规划优化通信与吞吐,平均性能优于现有GPU模拟器2倍以上,并支持更大规模电路。
2024-11-04 cs.DC quant-ph
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne(墨尔本大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度,在满足延迟SLO的同时提升GPU利用率,显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
EWSJF: An Adaptive Scheduler with Hybrid Partitioning for Mixed-Workload LLM Inference
Toga Networks (Huawei)(Toga Networks(华为))
EWSJF通过自适应学习调度策略,提升混合负载下LLM推理的吞吐量和响应速度。
2026-01-29 cs.AI cs.DC
Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
University of Macau(澳门大学)
本文提出OmniServe系统,利用CPU和GPU资源缓解LLM服务间的干扰,提升吞吐量。通过注意力并行机制将BE服务的注意力计算卸载到CPU,同时动态批处理策略提升密集模块计算效率,实验表明在满足LS服务SLO的同时,BE服务吞吐量提升达9.85倍。
2026-03-17 cs.DC
SGPRS: Seamless GPU Partitioning Real-Time Scheduler for Periodic Deep Learning Workloads
针对实时 DNN 工作负载中 GPU 资源利用不足的问题,提出 SGPRS 调度器,通过零配置分区切换提升并行任务截止期限满足率并保持临界点后的整体性能。
2024-04-13 cs.DC cs.SE cs.SY
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
本文针对跨GPU架构的连续批处理LLM服务,实现轻量级调度策略,通过多GPU、多模型的1152组实验,发现老化最短prompt优先是多数场景的实用基线,相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
FreeToken是边缘原生MoE服务系统,通过协同设计服务栈实现带宽自适应执行,将个人计算机转化为弹性推理平台,可在边缘硬件上部署大参数MoE模型,拓展了本地AI服务能力。
2026-08-18 cs.DC
MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
University of Michigan(密歇根大学)
针对资源约束下MoE LLM部署中GPU内存不足导致的CPU-GPU混合执行资源优化难题,提出MoE-Lens系统,通过整体性能建模识别硬件瓶颈并优化资源利用率,实现高吞吐量推理,性能平均提升4.6倍且预测准确率达94%。
2025-04-12 cs.AI cs.DC
Dilu: Enabling GPU Resourcing-on-Demand for Serverless DL Serving via Introspective Elasticity
针对无服务器深度学习系统中因静态分配导致的GPU碎片问题,提出Dilu系统,通过内省弹性机制实现二维协同扩缩容,显著降低碎片率并提升吞吐量与QoS保障。
2025-03-07 cs.DC
Predictable LLM Serving on GPU Clusters
本文提出一种主机级控制器,通过动态 MIG 重配置、PCIe 感知放置和轻量级防护机制,在 GPU 集群上降低 LLM 推理的 SLO 违规率和尾部延迟,代价不超过 5% 吞吐量。
2025-08-27 cs.DC
Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving
Independent Researcher(独立研究者);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM服务中预填充与解码的冲突资源需求,提出GPU内主动式分解系统Nexus,动态分配资源并考虑带宽争用,显著提升吞吐量并降低延迟。
2025-08-07 cs.DC cs.LG
AlignedServe: Orchestrating Prefix-aware Batching to Build a High-throughput and Computing-efficient LLM Serving System
Sun Yat-Sen University(中山大学)
针对LLM服务中解码迭代内的气泡问题,提出基于前缀感知批处理的AlignedServe框架,通过分组相似KV缓存长度的请求、CPU内存维护大量飞行请求、批级调度和GPU间预取KV缓存,显著提升解码吞吐量并降低延迟。
2026-05-22 cs.DC
Equinox: Holistic Fair Scheduling in Serving Large Language Models
Shanghai Jiao Tong University(上海交通大学);Cloud Computing Research Institute, China Telecom(云计算研究所,中国电信);Stevens Institute of Technology(史蒂文斯理工学院)
Equinox通过双计数器框架和预测专家混合(MoPE)实现大语言模型服务的整体公平调度,在提升吞吐量、降低延迟的同时保持高GPU利用率和公平性。
2025-08-19 cs.AI cs.DC
LeMix: Unified Scheduling for LLM Training and Inference on Multi-GPU Systems
University of California, Riverside(加州大学河滨分校)
针对LLM训练与推理分离部署导致的GPU低效利用问题,提出整合离线剖析、执行预测与运行时调度的LeMix系统,可动态适配资源分配,显著提升吞吐量、降低推理损失并提高SLO达标率。
2025-07-28 cs.AI cs.CL cs.DC
Mélange: Cost Efficient Large Language Model Serving by Exploiting GPU Heterogeneity
UC Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学)
Mélange提出一个GPU分配框架,通过成本感知装箱优化异构GPU选择,根据服务特征自动推导最小成本分配,对话、文档和混合场景分别降低部署成本77%、33%和51%。
2024-07-22 cs.DC cs.LG
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
KTH Royal Institute of Technology(瑞典皇家理工学院)
Blink通过将服务栈责任转移至GPU和智能网卡,消除主机CPU在推理路径中的作用,从而提升LLM推理性能,减少延迟并提高吞吐量。
2026-04-08 cs.DC cs.LG cs.OS
ScaleSim: Serving Large-Scale Multi-Agent Simulation with Invocation Distance-Based Memory Management
University of California, San Diego(加州大学圣地亚哥分校);Amazon Web Services(亚马逊网络服务)
ScaleSim通过调用距离基于的内存管理,提升大规模多智能体仿真的效率,实现1.74倍速度提升。
2026-01-29 cs.AI cs.DC
Enabling Elastic Model Serving with MultiWorld
针对大模型推理服务动态负载、故障影响用户且传统CCL无法弹性扩缩容的问题,提出支持工作节点级容错与在线扩缩容的MultiWorld方案,多数场景下吞吐量损失仅1.4%-4.3%。
2024-07-12 cs.DC
KAIROS: Stateful, Context-Aware Power-Efficient Agentic Inference Serving
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
本文提出KAIROS,一种基于上下文的节能代理AI服务系统,通过管理GPU频率、实例并发性和请求分配,实现27%的平均能耗降低,同时保持性能。
2026-11-11 cs.AI cs.DC