Optimus: Elastic Decoding for Efficient Diffusion LLM Serving
Duke University(杜克大学);National University of Singapore(新加坡国立大学)
提出Optimus系统,通过动态调整解码粒度(分块解码与饱和度感知调度)来平衡GPU利用率和令牌效率,实现扩散LLM的弹性解码,显著提升吞吐量并保持模型精度。
2026-05-24 cs.DC
Boosting LLM Serving through Spatial-Temporal GPU Resource Sharing
Sun Yat-sen University(中山大学)
针对LLM服务中预填充与解码阶段不匹配导致GPU利用率低的问题,提出时空编排系统Bullet,通过阶段并发与动态资源分配,在满足延迟约束下实现最高1.55倍吞吐量提升。
2025-09-26 cs.DC
Argus: Quality-Aware High-Throughput Text-to-Image Inference Serving System
UC Berkeley(加州大学伯克利分校);Adobe Research(Adobe研究院)
针对文本到图像扩散模型推理时间长导致的高通量系统设计挑战,提出Argus系统,通过为每个提示智能选择合适近似级别与模型,在保持质量的同时,实现10倍更少SLO违规、10%更高平均质量和40%更高吞吐量。
2025-11-10 cs.CV cs.DC
PICE: A Semantic-Driven Progressive Inference System for LLM Serving in Cloud-Edge Networks
针对大语言模型推理成本高、依赖云端的问题,提出云边协同的渐进式推理系统PICE,通过动态调度、集成学习等提升吞吐量与质量,实验验证其吞吐量提升1.5-2倍、延迟最高降43%。
2025-01-16 cs.DC
Clipper: A Low-Latency Online Prediction Serving System
UC Berkeley(加州大学伯克利分校);The University of Chicago(芝加哥大学)
机器学习正被部署在越来越多的应用程序中,这些应用程序需要在繁重的查询负载下进行实时,准确和鲁棒的预测。然而,大多数机器学习框架和系统只解决模型训练而不是部署。本文介绍了一个通用的低延迟预测服务系统Clipper。Clipper介于最终用户应用程序和各种机器学习框架之间,引入了一种模块化架构,以简化跨框架和应用程序的模型部署。此外,通过引入缓存、缓存和自适应模型选择技术,Clipper在不修改底层机器学习框架的情况下减少了预测延迟,提高了预测吞吐量、准确性和鲁棒性。我们在四个常见的机器学习基准数据集上评估Clipper,并证明其能够满足在线服务应用程序的延迟,准确性和吞吐量需求。最后,我们将Clipper与TensorFlow Serving系统进行了比较,并证明我们能够实现相当的吞吐量和延迟,同时支持模型组合和在线学习,以提高准确性并提供更强大的预测。
2017-02-28 cs.DC cs.LG
FailSafe: High-performance Resilient Serving
Shanghai Jiao Tong University(上海交通大学);NVIDIA Research(英伟达研究院)
针对张量并行大语言模型推理系统易受GPU故障影响的问题,本文提出容错服务系统FailSafe,通过多项负载均衡与快速恢复技术,在多GPU故障场景下仍能实现高吞吐、低延迟的弹性推理服务。
2025-11-18 cs.DC
AgentWeave: Efficient Distributed Agent Serving via Flow Decomposition
Sun Yat-sen University(中山大学);EPFL(瑞士联邦理工学院)
针对分布式智能体服务的请求阻塞问题,提出基于聚合架构的AgentWeave系统,通过流分解与流自适应调度器提升吞吐量、降低延迟,在四类应用上实现1.81倍吞吐量提升等性能增益。
2026-11-11 cs.DC
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Alibaba Group(阿里巴巴集团)
Quiver是一个分布式GPU GNN服务系统,通过工作负载感知指标预测计算不规则性,智能调度GPU图采样与特征聚合,实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
Injecting Adrenaline into LLM Serving: Boosting Resource Utilization and Throughput via Attention Disaggregation
Sun Yat-sen University(中山大学);Huawei Cloud(华为云)
针对LLM服务中预填充与解码分离导致的资源利用率低问题,提出Adrenaline注意力分解与卸载机制,将解码阶段注意力计算卸载至预填充实例,提升内存与计算利用率,实现最高1.68倍吞吐量提升。
2025-03-26 cs.DC cs.LG
GLM-5 Serving Parameter Tuning for OpenClaw: Single-Deployment MaaS Inference Optimization for Long-Context Agent Workloads
China Unicom(中国联合网络通信集团有限公司)
研究在MaaS多模型推理优化架构中对GLM-5服务参数调优,在单节点优化模块调整相关参数,找到最佳配置,相比基线提升了请求和总令牌吞吐量,降低了平均TTFT和延迟P90,推荐其为默认部署配置。
2026-07-07 cs.AI cs.DC
Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI
Baltimore, MD, USA(美国马里兰州巴尔的摩)
本文比较了vLLM和HuggingFace TGI在大语言模型推理服务中的性能,发现vLLM在高并发场景下吞吐量更高,而TGI在交互式应用中延迟更低。
2025-11-17 cs.DC cs.LG cs.PF
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
Hanyang University(汉阳大学)
提出ShuntServe系统,通过屋顶线模型估计性能和动态规划优化模型放置,在异构竞价型GPU集群上最大化吞吐量,结合输出保留迁移与共享张量存储实现容错,相比基线吞吐量提升1.42倍,成本效率提升31.9%以上。
2026-06-18 cs.DC
Apparate: Rethinking Early Exits to Tame Latency-Throughput Tensions in ML Serving
Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
提出 Apparate 系统,通过自动管理 ML 模型早退机制并利用持续反馈驱动运行时监控与自适应策略,有效缓解了推理服务中吞吐量与延迟的矛盾。
2024-09-23 cs.DC cs.LG
SLIM: Saturation-Aware Lightweight Performance Modeling for LLM Serving
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya - BarcelonaTech(加泰罗尼亚理工大学);IBM Research(IBM研究院)
该研究针对LLM服务吞吐量饱和问题,通过GPU剖析明确其源于解码阶段注意力内核的DRAM带宽饱和,提出SLIM半分析性能模型及BCA工具,可高效预测吞吐量与延迟并优化批处理配置。
2026-08-03 cs.DC cs.PF
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University(约翰霍普金斯大学);Argonne National Laboraotory(阿贡国家实验室)
PTStore 受 CDN 客户端缓存设计启发,通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理,减少缓存访问延迟与负载不平衡,能大幅扩大 KV 缓存大小,使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines
Imperial College London(伦敦帝国学院)
Scepsy通过聚合LLM管道高效调度多LLM代理工作流,实现高吞吐量和低延迟,相比独立优化或用户指定分配的系统,吞吐量提升2.4倍,延迟降低27倍。
2026-09-30 cs.AI cs.DC
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University(浙江大学软件学院)
针对单GPU LLM服务中主机CPU共置干扰问题,提出测量驱动的诊断程序CoTail,通过核心路径尾部指数和核心尾部抑制指标,筛选风险、分析尾部、选择OS级保护并验证SLO,显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
Optimizing LLM Inference Throughput via Memory-aware and SLA-constrained Dynamic Batching
针对静态批处理在内存受限GPU上部署LLM的局限,提出一种内存感知且SLA约束的动态批处理方法,通过动态调度与延迟反馈机制,使吞吐量提升8%-28%、容量提升22%。
2025-03-07 cs.DC
FLAME: A Serving System Optimized for Large-Scale Generative Recommendation with Efficiency
Netease Cloud Music(网易云音乐)
针对大规模生成式推荐在线部署的高计算与低延迟挑战,提出 FLAME 服务系统,通过 CPU-GPU 解耦及 PDA、FKE、DSO 模块显著提升吞吐、降低延迟。
2025-09-17 cs.DC
BanaServe: Unified KV Cache and Dynamic Module Migration for Balancing Disaggregated LLM Serving in AI Infrastructure
Southern University of Science and Technology(南方科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);State Key Lab of IOTSC, Faculty of Science and Technology, University of Macau(澳门科技大学物联网与感知系统国家重点实验室、理学院);AIOS Team, Alibaba Group Inc(阿里巴巴集团 AIOS 团队)
BanaServe通过统一的KV缓存和动态模块迁移,平衡解耦LLM服务中的计算与内存资源,提升吞吐量和效率。
2025-10-15 cs.DC
HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院);Department of Computer Science, Purdue University(普渡大学计算机科学系)
本文提出 HyGen,一个感知干扰的 LLM 服务系统,通过延迟预测器和 SLO 感知分析器等性能控制机制及离线调度策略,实现在线与离线工作负载的高效共置,在保证延迟 SLO 的同时使吞吐量提升高达 3.9-5.8 倍。
2025-10-30 cs.DC cs.LG
DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs
McGill University(麦吉尔大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nutanix, Inc.(Nutanix公司)
DeltaServe是一种主机无关式LLM推理与微调协同服务设计,可利用闲置GPU算力提升LoRA微调吞吐量,已集成至vLLM等框架,在保持100%推理SLO合规的前提下,微调吞吐量较现有方案显著提升。
2026-08-03 cs.DC cs.LG
Serving Hybrid LLM Loads with SLO Guarantees Using CPU-GPU Attention Piggybacking
University of Macau(澳门大学)
本文提出OmniServe系统,利用CPU和GPU资源缓解LLM服务间的干扰,提升吞吐量。通过注意力并行机制将BE服务的注意力计算卸载到CPU,同时动态批处理策略提升密集模块计算效率,实验表明在满足LS服务SLO的同时,BE服务吞吐量提升达9.85倍。
2026-03-17 cs.DC
PlanetServe: A Decentralized, Scalable, and Privacy-Preserving Overlay for Democratizing Large Language Model Serving
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Nevada, Reno(内华达大学拉森)
PlanetServe通过去中心化叠加层提升大语言模型服务的可扩展性和隐私保护,实现服务效率与安全性的平衡。
2026-02-13 cs.AI cs.DC
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving
UC Berkeley(伯克利大学);UCLA(洛杉矶大学);Rice University(里奇大学);UC Davis(戴维斯大学);Intel(英特尔公司)
针对LLM服务GPU利用率低的问题,提出ConServe协同服务系统,通过令牌级调度、逐层抢占、增量KV缓存三项细粒度技术,实现高吞吐量与在线延迟保障,性能显著优于现有系统。
2025-09-03 cs.DC cs.LG
TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
Virginia Tech(弗吉尼亚理工大学);SK Hynix America(SK海力士美国);SK Hynix(SK海力士)
TraCT通过利用CXL共享内存实现解耦LLM服务,显著降低TTFT、P99延迟并提升吞吐量。
2025-12-20 cs.DC
PRETZEL: Opening the Black Box of Machine Learning Prediction Serving Systems
Seoul National University(首尔国立大学);Politecnico di Milano(米兰理工大学);Microsoft(微软)
机器学习模型通常由转换管道组成。虽然这种设计允许在训练时有效地执行单个模型组件,但预测服务具有不同的要求,例如低延迟,高吞吐量和重负载下的适度性能下降。当前的预测服务系统将模型视为黑盒,从而忽略了预测时间特定的优化以便于部署。在本文中,我们提出了PRETZEL,预测服务系统引入了一种新的白盒架构,使端到端和多模型优化。使用类似生产的模型管道,我们的实验表明,PRETZEL能够在不同的维度上引入性能改进;与最先进的方法相比,PRETZEL平均能够将第99百分位延迟减少5.5倍,同时将内存占用减少25倍,并将吞吐量增加4.7倍。
2018-10-14 cs.DC cs.LG stat.ML
Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving
State Key Laboratory of Complex & Critical Software Environment, National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology(复杂与关键软件环境国家重点实验室、平行与分布式计算国家实验室、计算机科学与技术学院、国防科技大学)
提出Nightjar框架,通过动态调整推测长度和主动禁用推测解码,在高低负载下优化吞吐量,最高提升14.76%。
2026-06-16 cs.AI cs.DC
JigSLO: Solving the Resource Puzzle for Efficient Multi-LLM Serving
Cloud Research Team, Samsung SDS(三星SDS云研究团队)
针对量化LLM服务中的内存碎片化和资源调度低效问题,提出混合精度推理框架FineServe,通过精度感知的KV Slab内存管理和两级调度机制,显著提升了SLO达成率与生成吞吐量。
2026-11-18 cs.DC cs.LG
Cloud Native System for LLM Inference Serving
本文探讨利用容器化、微服务、动态调度及 Kubernetes 自动扩缩容构建云原生 LLM 推理服务系统,以提升资源效率、降低延迟并增强高负载下的吞吐与弹性扩展能力。
2025-07-24 cs.DC
Accuracy Is Speed: Towards Long-Context-Aware Routing for Distributed LLM Serving
IBM Research - Tokyo(IBM 东京研究所);Delft University of Technology(代尔夫特理工大学)
研究提出通过重试动态将精度转化为速度,引入TTCA指标以衡量首次正确响应所需时间,设计轻量级精度感知路由LAAR以降低TTCA,强调在长上下文分布式服务中将精度作为首要系统目标。
2026-04-17 cs.DC
MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
University of Michigan(密歇根大学)
针对资源约束下MoE LLM部署中GPU内存不足导致的CPU-GPU混合执行资源优化难题,提出MoE-Lens系统,通过整体性能建模识别硬件瓶颈并优化资源利用率,实现高吞吐量推理,性能平均提升4.6倍且预测准确率达94%。
2025-04-12 cs.AI cs.DC
eLLM: Elastic Memory Management Framework for Efficient LLM Serving
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
eLLM提出一种弹性内存管理框架,通过虚拟张量抽象、弹性内存机制和轻量调度策略,提升LLM服务的内存利用效率,实现在动态负载下的更高吞吐量和更大批次大小。
2026-05-06 cs.DC
Equinox: Holistic Fair Scheduling in Serving Large Language Models
Shanghai Jiao Tong University(上海交通大学);Cloud Computing Research Institute, China Telecom(云计算研究所,中国电信);Stevens Institute of Technology(史蒂文斯理工学院)
Equinox通过双计数器框架和预测专家混合(MoPE)实现大语言模型服务的整体公平调度,在提升吞吐量、降低延迟的同时保持高GPU利用率和公平性。
2025-08-19 cs.AI cs.DC
DSD: A Distributed Speculative Decoding Solution for Edge-Cloud Agile Large Model Serving
DSD提出了一种分布式推测解码框架,通过自适应窗口控制策略提升边缘-云环境下大模型服务的性能和扩展性。
2025-12-01 cs.DC cs.LG
A Predictive and Synergistic Two-Layer Scheduling Framework for LLM Serving
Sun Yat-sen University(中山大学);Kaon AI;Guangdong Polytechnic Normal University(广东技术师范大学)
针对LLM服务双层架构的信息鸿沟导致的低效问题,提出预测性协同调度框架NexusSched,通过在线性能模型支撑双层协同优化,显著提升SLO达成率与吞吐量,并经生产环境验证。
2025-10-01 cs.DC
StreamServe: Adaptive Speculative Flows for Low-Latency Disaggregated LLM Serving
StreamServe通过结合计算通道的指标感知路由和自适应推测解码,平衡吞吐量和延迟,实现低延迟的大语言模型服务。
2026-02-11 cs.AI cs.DC
DualScale: Energy-Efficient Disaggregated LLM Serving via Phase-Aware Placement and DVFS
Purdue University(普渡大学)
DualScale通过预测延迟和功率模型,在预填和解码阶段联合优化放置和DVFS,以满足SLO约束并减少能耗,实验显示在预填和解码中分别降低能耗39%和48%。
2026-04-03 cs.DC
TurboTransformers: An Efficient GPU Serving System For Transformer Models
Pattern Recognition Center, Wechat AI, Tencent Inc(腾讯微信AI模式识别中心)
Transformer是近年来自然语言处理领域最重要的算法创新。与递归神经网络(RNN)模型不同,Transformers可以并行处理序列长度的维度,因此在长序列上具有更好的准确性。然而,在配备GPU的数据中心中为在线服务高效部署它们并不容易。首先,由Transformer结构引入的更多计算使得满足服务的延迟和吞吐量约束更具挑战性。第二,NLP任务采用可变长度的句子。输入维数的可变性给有效的存储管理和服务优化带来了严重的问题。本文设计了一个Transformer服务系统TurboTransformers,该系统由计算运行时和服务框架两部分组成。三大创新特点使其在同类作品中脱颖而出。提出了一种有效的并行算法,用于基于GPU的批量约简操作,如Softmax和LayerNorm,除了BLAS例程之外的主要热点。针对变长输入的情况,设计了一种内存分配算法,该算法能够更好地平衡内存占用和分配/释放效率。一个服务框架配备了一个新的批处理调度器,使用动态规划实现可变长度的请求的最佳吞吐量。该系统可以实现最先进的Transformer模型,在GPU平台上提供性能,并且可以通过几行代码无缝集成到PyTorch代码中。
2021-02-20 cs.AI cs.DC cs.LG
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
Carnegie Mellon University(卡内基梅隆大学)
本文提出Helix分布式系统,通过将异构GPU和网络的LLM推理转化为最大流问题并利用MILP算法联合优化模型放置与请求调度,显著提升了异构集群的服务吞吐量并降低了延迟。
2025-03-05 cs.CL cs.DC cs.LG
When Does Disaggregation Pay? Simulating Prefill--Decode--Attention--FFN Specialization for Agentic LLM Inference
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
该研究提出HeteroPanacea模拟框架,针对智能体LLM推理的预填-解码-注意力-前馈网络拆分,验证其可提升吞吐量,为异构智能体服务系统提供支撑。
2026-08-05 cs.DC
Efficient MoE Serving in the Memory-Bound Regime: Balance Activated Experts, Not Tokens
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
METRO通过平衡每个GPU激活的专家数量而非token数量,在内存受限环境下实现高效MoE服务,减少解码延迟并提升吞吐量。
2025-12-10 cs.AR cs.DC
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
University of Notre Dame IN, USA(诺丁汉大学)
SplitZip通过GPU友好的无损压缩技术,提升大规模LLM服务中KV缓存的传输效率,实现快速压缩和解压,显著优于现有方法。
2026-11-17 cs.AI cs.DC cs.LG
FlexNPU: Transparent NPU Virtualization for Dynamic LLM Prefill-Decode Co-location
Huawei Technologies Co., Ltd(华为技术有限公司);Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)(广东省人工智能与数字经济实验室(深圳));College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院)
针对LLM服务中预填充与解码阶段资源需求互补的问题,提出FlexNPU,一种透明用户空间虚拟化层,通过动态共置调度提升吞吐量并降低TTFT。
2026-06-08 cs.DC
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
RAPID-Serve: Resource-efficient and Accelerated P/D Intra-GPU Disaggregation
Advanced Micro Devices(先进微器件)
RAPID-Serve通过在GPU上同时执行prefill和decode,实现资源高效和低延迟的LLM推理服务,提升吞吐量和资源利用率。
2026-01-16 cs.DC cs.LG
PALS: Power-Aware LLM Serving for Mixture-of-Experts Models
Boston University(波士顿大学);Harvard University School of Engineering(哈佛大学工程与应用科学学院);Harvard University(哈佛大学)
本文提出PALS,一种功率感知的LLM服务运行时,通过将GPU功率上限作为可控制的参数与软件参数如批大小联合优化,提升能效并减少在功率限制下的服务质量违规。
2026-05-20 cs.AI cs.DC
LAPS: A Length-Aware-Prefill LLM Serving System
LAPS通过长度感知的调度策略优化LLM服务,降低预填充延迟并减少SLO违规,提升吞吐量。
2026-01-27 cs.AI cs.DC
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
本文针对跨GPU架构的连续批处理LLM服务,实现轻量级调度策略,通过多GPU、多模型的1152组实验,发现老化最短prompt优先是多数场景的实用基线,相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research India(微软研究院印度分院)
本文提出 Sarathi-Serve 调度器,通过分块预填充与无停顿统一批次调度,在尾延迟约束下显著提升 LLM 推理吞吐和服务容量。
2024-06-17 cs.DC cs.LG
Staggered Batch Scheduling: Co-optimizing Time-to-First-Token and Throughput for High-Efficiency LLM Inference
本文提出交错批次调度方法,通过缓冲请求优化执行批次,降低TTFT并提升吞吐量,应用于高效大语言模型推理。
2025-12-18 cs.DC cs.LG
DeServe: Towards Affordable Offline LLM Inference via Decentralization
University of California, Berkeley(加州大学伯克利分校)
本文提出去中心化离线LLM推理系统DeServe,利用空闲GPU降低成本,并在高延迟网络中通过优化吞吐量实现6.7-12.6倍性能提升。
2025-01-04 cs.AI cs.DC
Efficient Memory Management for Large Language Model Serving with PagedAttention
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);UC San Diego(加州大学圣地亚哥分校)
针对LLM服务中KV cache内存浪费限制批处理大小的问题,提出受操作系统分页技术启发的PagedAttention算法并构建vLLM系统,实现近乎零内存浪费与灵活共享,在同等延迟下将吞吐量提升2-4倍。
2023-09-12 cs.DC cs.LG
Token Latency Fairness: Performance Isolation for Multi-Tenant LLM Serving
University of California, Berkeley(加州大学伯克利分校)
本文提出 FairInference,通过 δ-token 公平性保证和每 token 截止时间调度,实现多租户 LLM 服务的延迟隔离,限制 token 级延迟峰值并提升整体吞吐量。
2026-09-17 cs.DC cs.LG