MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe通过运行时量化层交换和KV缓存调整，有效提升动态负载下的LLM服务效率和稳定性。
2026-01-07 cs.DC cs.LG
OOCO: Latency-disaggregated Architecture for Online-Offline Co-locate LLM Serving
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；JD Company（京东集团）
OOCO提出一种延迟分解架构，通过分离集群资源为严格和宽松延迟池，解决在线-离线协同LLM服务中的负载不平衡问题，提升离线吞吐量3倍并保持在线性能。
2025-11-26 cs.DC
Efficient Multi-round LLM Inference over Disaggregated Serving
Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）；University of Cambridge（剑桥大学）；Peking University（北京大学）；OceanBase, Ant Group（蚂蚁集团 OceanBase）；Computational Social Science, Peking University (Qingdao)（北京大学（青岛）计算社会科学）
AMPD通过自适应协调预填充和解码工作负载，提升多轮LLM推理的服务级别目标达成率。
2026-07-22 cs.DC
BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems
针对LLM服务系统缺乏真实工作负载的问题，提出BurstGPT数据集，包含Azure OpenAI GPT服务213天的1031万条轨迹，从用户、模型和系统角度捕捉特征，用于优化服务系统的评估与部署。
2025-05-26 cs.DC cs.PF
BrownoutServe: SLO-Aware Inference Serving under Bursty Workloads for MoE-based LLMs
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Southern University of Science and Technology（南方科技大学）；State Key Lab of IOTSC, University of Macau（澳门大学物联网智能计算国家重点实验室）
BrownoutServe 是一种面向 MoE 模型的推理服务框架，通过动态调整和联合专家机制提升效率并保障 SLO。
2025-07-23 cs.DC
Agentic AI Workload Characteristics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Gimlet Labs（Gimlet实验室）；Intel Corporation（英特尔公司）
本文通过端到端追踪基础设施，在五个智能体基准测试上刻画 ReAct 风格智能体的 LLM 服务和工具执行特征，发现智能体工作负载并非简单长提示工作负载，其执行以解码为主且依赖长寿命 KV 缓存状态，工具使用具有从读/探索到执行/写的时序结构。
2026-09-22 cs.DC
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne（墨尔本大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度，在满足延迟SLO的同时提升GPU利用率，显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University（浙江大学软件学院）
针对单GPU LLM服务中主机CPU共置干扰问题，提出测量驱动的诊断程序CoTail，通过核心路径尾部指数和核心尾部抑制指标，筛选风险、分析尾部、选择OS级保护并验证SLO，显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents
University of Washington（华盛顿大学）；University of Virginia（弗吉尼亚大学）
针对编码代理会话中大量前缀复用导致KVCache压力的问题，提出CacheWise管理层，结合前缀感知调度和基于工具调用元数据的轻量级预测驱逐策略，减少KVCache驱逐并提升会话完成时间。
2026-06-16 cs.DC cs.OS
Enabling Elastic Model Serving with MultiWorld
针对大模型推理服务动态负载、故障影响用户且传统CCL无法弹性扩缩容的问题，提出支持工作节点级容错与在线扩缩容的MultiWorld方案，多数场景下吞吐量损失仅1.4%-4.3%。
2024-07-12 cs.DC
AgentReplay: Token-Wise Trace Replay Is Essential for Fair Serving System Performance Benchmarking
University of California San Diego（加利福尼亚大学圣地亚哥分校）
针对LLM智能体服务中相同任务产生不同执行轨迹导致性能评估不公平的问题，提出AgentReplay框架，通过令牌级轨迹记录与重放消除工作负载变化，实现更公平的服务系统性能基准测试。
2026-09-29 cs.DC
SageServe: Optimizing LLM Serving on Cloud Data Centers with Forecast Aware Auto-Scaling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；Indian Institute of Science（印度科学学院）；Microsoft（微软）
针对云数据中心LLM混合工作负载的SLA冲突与资源利用率低问题，提出SageServe框架，通过多时间尺度控制、流量预测与ILP优化，实现25%GPU小时节省、80%扩缩浪费减少及每月250万美元潜在成本节省，同时满足SLA。
2025-11-12 cs.DC
MLProxy: SLA-Aware Reverse Proxy for Machine Learning Inference Serving on Serverless Computing Platforms
University of Alberta（阿尔伯塔大学）；York University（约克大学）
在云上提供机器学习推理工作负载在生产层面仍然是一项具有挑战性的任务。由于批量配置、资源配置和可变到达过程之间的复杂交互，在优化基础设施成本的同时满足SLA要求的推理工作负载的最佳配置是非常复杂的。近年来，无服务器计算已经出现，可以自动执行大多数基础设施管理任务。IBM已经揭示了改善机器学习服务工作负载的响应时间和成本效益的潜力。然而，它还没有得到无服务器计算平台的开箱即用支持。我们的实验表明，对于各种机器学习工作负载，通过减少每个请求的处理开销，可极大地提高系统的效率。在这项工作中，我们提出了MLProxy，一个自适应的反向代理，以支持高效的机器学习服务工作负载的无服务器计算系统。MLProxy支持自适应服务器，以确保SLA合规性，同时优化无服务器成本。我们在Knative上进行了严格的实验，以证明MLProxy的有效性。我们发现，MLProxy可以将无服务器部署的成本降低高达92%，同时将SLA违规减少高达99%，这可以在最先进的模型服务框架中推广。
2022-02-23 cs.AI cs.DC cs.LG
Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
University of Bayreuth（拜罗伊特大学）
研究长上下文服务中KV缓存优化，通过工作负载感知基准评估多种优化机制，测量多项指标。发现仅压缩率不能预测性能，不同机制表现各异，为长上下文服务系统提供工作负载感知的KV缓存机制选择及部署指导。
2026-07-08 cs.AI cs.CL cs.DC
TetriServe: Efficiently Serving Mixed DiT Workloads
University of Michigan（密歇根大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Nanyang Technological University（南洋理工大学）
针对混合分辨率与截止时间的异构DiT工作负载，提出基于步骤级序列并行的TetriServe系统，通过轮次调度与自适应并行度，在保证图像质量下将SLO达成率提升32%。
2026-06-19 cs.DC cs.LG
GLM-5 Serving Parameter Tuning for OpenClaw: Single-Deployment MaaS Inference Optimization for Long-Context Agent Workloads
China Unicom（中国联合网络通信集团有限公司）
研究在MaaS多模型推理优化架构中对GLM-5服务参数调优，在单节点优化模块调整相关参数，找到最佳配置，相比基线提升了请求和总令牌吞吐量，降低了平均TTFT和延迟P90，推荐其为默认部署配置。
2026-07-07 cs.AI cs.DC
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley（伯克利大学）；UCLA（洛杉矶大学）；Rice University（里奇大学）；UC Davis（戴维斯大学）；Intel（英特尔公司）
针对LLM服务GPU利用率低的问题，提出ConServe协同服务系统，通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术，实现高吞吐量与在线延迟保障，性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
Demystifying Cost-Efficiency in LLM Serving over Heterogeneous GPUs
本文研究异构GPU上LLM推理服务的成本效率问题，通过基准测试发现GPU组合、部署配置与负载分配可显著优化成本，并提出基于混合整数线性规划的调度算法，在多种场景下优于同构和异构基线。
2025-06-05 cs.DC
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出 HyGen，一个感知干扰的 LLM 服务系统，通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略，实现在线与离线工作负载的高效共置，在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
Georgia Institute of Technology（佐治亚理工学院）；Advanced Micro Devices, Inc.（先进微器件公司）
提出ViBE框架，通过感知硬件的专家放置方法，结合GPU性能建模与专家激活分析，最小化分布式MoE推理中的执行时间不平衡，显著提升SLO达标率并降低P90 TTFT。
2026-05-30 cs.DC cs.LG
Nitsum: Serving Tiered LLM Requests with Adaptive Tensor Parallelism
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；GenseeAI Inc.（GenseeAI公司）
Nitsum通过自适应张量并行性优化分层LLM服务，提升多租户场景下的吞吐量，实验显示性能提升达5.3倍。
2026-05-06 cs.DC
Semantics, Workflows, and Infrastructure: Understanding Agent Serving at Production Scale
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Ant Group（蚂蚁集团）
本文通过分析生产平台1170万条请求和超万块GPU的追踪数据，从任务语义、工作流模式与基础设施需求三层揭示智能体服务负载特征，并提出部署启示与开放问题。
2026-09-29 cs.DC
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh（匹兹堡大学）；HPE Labs（惠普企业实验室）
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题，提出Festina系统，通过协同请求放置、SM分区和GPU工作点调整，在满足TTFT/TBT SLO前提下，实现集群能耗降低高达56%。
2026-10-13 cs.DC
DynaServe: Unified and Elastic Execution for Dynamic Disaggregated LLM Serving
针对LLM推理中同址与分解式部署难以兼顾低尾延迟和高吞吐量的问题，提出基于vLLM的DynaServe系统，通过微请求拆分与两级调度实现弹性统一执行，显著提升SLO约束下的服务性能。
2025-05-22 cs.DC
Xema: Efficient Diffusion Serving through Fine-Grained Memory Management and Auto-Configuration
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
研究针对扩散模型服务受GPU内存限制问题，提出Xema系统，通过细粒度内存管理和自动配置，利用可预测张量生命周期优化内存，引入离线规划器联合选择参数，实现高效扩散服务，相比现有配置提升SLO达成率并降低规划成本。
2026-07-14 cs.DC
SuperServe: Fine-Grained Inference Serving for Unpredictable Workloads
Georgia Tech（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）；Adobe（Adobe公司）
本文提出SuperServe系统，通过SubNetAct机制在权重共享超级网络中动态路由请求，同时服务延迟-准确性权衡空间中的整个模型范围，实现细粒度反应式调度，显著提升准确性和SLO达成率。
2023-12-27 cs.DC cs.LG
FREESH: Fair, Resource- and Energy-Efficient Scheduling for LLM Serving on Heterogeneous GPUs
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Renmin University of China（中国人民大学）；University of Washington（华盛顿大学）；University of Alberta（阿尔伯塔大学）
FREESH针对异构GPU集群上LLM服务的碳与能耗优化问题，通过联合路由调度、动态频率缩放和LLF策略，在保证延迟与公平性的同时实现28.6%的节能和45.45%的减排。
2025-11-05 cs.DC
Cascadia: An Efficient Cascade Serving System for Large Language Models
本文提出 Cascadia 级联服务框架，通过混合整数线性规划部署优化与 Chebyshev 引导的路由协同优化，在保持答案质量的同时显著降低延迟并提升吞吐。
2025-09-29 cs.DC
MuxFlow: Efficient and Safe GPU Sharing in Large-Scale Production Deep Learning Clusters
大规模GPU集群被广泛用于加速延迟关键型（在线）和尽力而为型（离线）深度学习（DL）工作负载。然而，大多数DL集群要么将每个GPU专用于一个工作负载，要么及时共享工作负载，导致GPU资源利用率非常低。我们提出了MuxFlow，第一个生产集群系统，支持DL工作负载的高效和安全的空间共享。NVIDIA MPS提供了在广泛部署的NVIDIA GPU上共享空间中的多个工作负载的机会，但它无法保证在线工作负载的性能和安全性。MuxFlow为内存和计算引入了两级保护机制，以保证在线工作负载的性能。基于我们的实际错误分析，我们设计了一个混合的错误处理机制，以保证在线工作负载的安全性。MuxFlow进一步提出了动态流式多处理器（SM）分配和基于匹配的调度，以提高离线工作负载的效率。MuxFlow已经部署在CompanyX的集群中，拥有超过20，000个GPU。部署结果表明，MuxFlow将GPU利用率从26 $\%$大幅提高到76 $\%$，SM活动从16 $\%$提高到33 $\%$，GPU内存从42 $\%$提高到48 $\%$。
2023-03-24 cs.DC
NanoFlow: Towards Optimal Large Language Model Serving Throughput
针对LLM服务系统吞吐量受限于设备内异构资源顺序执行的问题，提出NanoFlow框架，通过设备内并行性重叠计算、内存和网络操作，自动优化纳米批次配置，在流行模型上实现1.91倍吞吐量提升。
2025-05-25 cs.DC
LAPS: A Length-Aware-Prefill LLM Serving System
LAPS通过长度感知的调度策略优化LLM服务，降低预填充延迟并减少SLO违规，提升吞吐量。
2026-01-27 cs.AI cs.DC
SYMPHONY: Improving Memory Management for LLM Inference Workloads
针对LLM多轮推理中K,V缓存重算冗余和卸载导致的负载不均问题，提出SYMPHONY，通过动态迁移K,V缓存实现细粒度调度，使可处理请求数提升超8倍。
2024-12-21 cs.DC
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出Echo系统，通过调度器、KV cache管理器和估算工具包协同工作，在满足在线任务SLO的同时最大化离线任务吞吐量，提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
Autopoiesis: A Self-Evolving System Paradigm for LLM Serving Under Runtime Dynamics
HKUST（香港科技大学）；Powersense Technology Limited（幂思科技）；Shanghai Jiao Tong University（上海交通大学）
本文提出Autopoiesis，一种自演化系统，使LLM服务从静态策略部署转向持续在线策略演化，通过实时动态驱动策略合成，提升服务在运行时动态下的适应性与效率。
2026-04-08 cs.DC
LLM-Emu: Native Runtime Emulation of LLM Inference via Profile-Driven Sampling
University of Cambridge（剑桥大学）
LLM-Emu通过基于性能的采样实现LLM推理的原生运行时仿真，能够准确模拟vLLM服务行为，支持在线实验。
2026-05-01 cs.DC
CALVO: Improve Serving Efficiency for LLM Inferences with Intense Network Demands
Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）；Huawei（华为）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
CALVO通过将KVCache加载作为首要关注点，优化网络、PCIe和计算资源利用，提升网络密集型LLM推理效率，实验显示其SLO达成率比基线高61.67%。
2026-03-22 cs.DC
CoCoScale: Leveraging Layer-wise Scaling to Unlock the Potential of Online LLM Serving
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Alibaba Group Inc（阿里巴巴集团）；State Key Lab of IOTSC, University of Macau（澳门大学物联网与智慧城市国家重点实验室）
研究在线大语言模型服务中动态工作负载问题，提出CoCoScale逐层动态缩放机制，通过利用闲置资源扩展热层并行度，减少冷启动延迟，提升动态适应性和资源效率。
2026-07-07 cs.DC
On the Limitations of Non-GPU AI Accelerators for Large-Model Inference: A Field Study of MoE and Multimodal Serving on Huawei Ascend
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
研究非 GPU 人工智能加速器在大模型推理中的局限性，通过在华为昇腾系统上部署两个大型推理工作负载进行实地研究，总结平台八类限制及原因，量化相关指标，为评估或操作此类加速器的团队提供可重复参考。
2026-07-10 cs.DC
From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems
Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Bytedance（字节跳动）
本文提出AgentSysBench基准套件，分析智能体工作负载与传统LLM服务的6项差异，据此开展的4项设计探索可实现延迟降低、效率提升、内存减少及冗余调用节省等效果。
2026-08-18 cs.AI cs.DC cs.MA
DeServe: Towards Affordable Offline LLM Inference via Decentralization
University of California, Berkeley（加州大学伯克利分校）
本文提出去中心化离线LLM推理系统DeServe，利用空闲GPU降低成本，并在高延迟网络中通过优化吞吐量实现6.7-12.6倍性能提升。
2025-01-04 cs.AI cs.DC
Unlock the Potential of Fine-grained LLM Serving via Dynamic Module Scaling
本文提出弹性 LLM 服务系统 CoCoServe，通过模块级复制、迁移与自动缩放机制动态分配资源，在保持可用性时降低成本并显著改善延迟和吞吐量。
2025-07-24 cs.DC
vLLM-Omni Technical Report: A Unified Serving Runtime for Omni-Modality Generation
针对全模态生成服务的异构多阶段工作流问题，提出统一服务运行时vLLM-Omni，通过单一编排器管理多阶段流水线，支持文本、语音、图像、视频和动作输出，并在H100/H200上验证了其架构与API。
2026-10-08 cs.DC
Quantifying the Carbon Reduction of DAG Workloads: A Job Shop Scheduling Perspective
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文从作业车间调度角度研究DAG工作负载的碳减排问题，通过建模和求解发现依赖意识方法能显著降低碳排放，且允许更长的完成时间可进一步提升碳节省效果。
2025-12-08 cs.DC
BARISTA: Efficient and Scalable Serverless Serving System for Deep Learning Prediction Services
Vanderbilt University（范德堡大学）
预训练的深度学习模型越来越多地用于提供各种计算密集型预测分析服务，如健身跟踪、语音和图像识别。深度学习模型的无状态和高度并行化的性质使其非常适合无服务器计算范式。然而，由于动态工作负载和具有部署和管理成本的各种可用资源配置，为这些服务做出有效的资源管理决策是一个难题。为了应对这些挑战，我们提出了一个分布式的、可扩展的深度学习预测服务系统Barista，并做出了以下贡献。首先，我们提出了一种快速有效的方法，通过识别各种趋势来预测工作负载。其次，我们制定了一个优化问题，以最大限度地减少总成本，同时确保有限的预测延迟与合理的准确性。第三，我们提出了一个有效的启发式，以确定合适的计算资源配置。第四，我们提出了一个智能代理分配和管理计算资源的水平和垂直缩放，以保持所需的预测延迟。最后，使用具有代表性的现实世界的城市交通服务的工作负载，我们展示和验证的Barista的能力。
2019-04-11 cs.DC cs.LG
WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving
School of Computer Science, Peking University（北京大学计算机科学学院）；Huawei Technologies Co., Ltd（华为技术有限公司）
本文提出WarmServe系统，通过基于工作负载预测的多GPU预热技术，减少LLM服务中的尾部时间到第一个令牌（TTFT）并提高请求吞吐量。
2026-05-21 cs.DC cs.LG
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系）；Argonne National Laboratory, Lemont, USA（阿贡国家实验室）；Parasail, Inc., San Mateo, USA（Parasail公司）
针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
CacheFlow: Efficient LLM Serving via Automated 3D-Parallel KV Cache Restoration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出CacheFlow框架，通过3D并行抽象优化KV缓存恢复，减少TTFT时间，提升大语言模型服务效率。
2026-09-26 cs.DC
RAGO: Systematic Performance Optimization for Retrieval-Augmented Generation Serving
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Google DeepMind（谷歌DeepMind）
针对RAG变体多、工作负载性能差异大导致的高效服务难题，该研究提出结构化抽象RAGSchema，分析不同负载性能差异，并推出系统优化框架RAGO，实现单芯片QPS最高2倍提升、首令牌时延降低55%。
2025-03-21 cs.AI cs.CL cs.DC
Tessera: Demand-Driven KV Cache Management for Retrieval-Augmented LLM Serving
University of California, Santa Cruz（加州大学圣克鲁兹分校）
Tessera通过将检索作为控制平面，实现需求驱动的KV缓存管理，解决RAG和智能体记忆中重复内容的KV重用问题，显著降低TTFT并保持答案质量。
2026-09-29 cs.DC
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Alibaba Group（阿里巴巴集团）
Quiver是一个分布式GPU GNN服务系统，通过工作负载感知指标预测计算不规则性，智能调度GPU图采样与特征聚合，实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
Optimizing Prediction Serving on Low-Latency Serverless Dataflow
预测服务系统被设计为提供大量的低延迟推理机器学习模型。这些系统混合了数据处理和计算密集型模型推理，并受益于多个异构处理器和分布式计算资源。在本文中，我们认为一个熟悉的Repllow API非常适合这种延迟敏感的任务，并且即使使用未经修改的黑盒ML模型也可以进行优化。我们提出了Cloudflow的设计，该系统提供了此API，并在自动扩展的无服务器后端上实现了它。Cloudflow透明地实现了性能关键型优化，包括运营商融合和竞争执行。我们的评估表明，Cloudflow的优化在合成工作负载上产生了显着的性能改进，并且Cloudflow在现实世界的预测管道上的性能比最先进的预测服务系统高出2倍，满足了实时视频分析等要求苛刻的应用程序的延迟目标。
2020-07-11 cs.DC
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院）
本文针对跨GPU架构的连续批处理LLM服务，实现轻量级调度策略，通过多GPU、多模型的1152组实验，发现老化最短prompt优先是多数场景的实用基线，相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
