INFaaS: A Model-less and Managed Inference Serving System
Stanford University（斯坦福大学）
尽管在机器学习推理服务方面已有工作，但易用性和成本效率在大规模上仍然面临挑战。开发人员必须手动搜索数千个模型变体-已经训练的模型的版本，这些版本在硬件，资源占用，延迟，成本和准确性方面有所不同-以满足不同的应用程序需求。由于需求、查询负载和应用程序本身会随着时间的推移而发展，因此需要为每个推理查询动态地做出这些决策，以避免通过简单的自动缩放产生过多的成本。为了避免在模型变量的大而复杂的权衡空间中导航，开发人员经常在查询中修复一个变量，并在负载增加时复制它。然而，考虑到云中变体和硬件平台的多样性，缺乏对权衡空间的理解可能会给开发人员带来巨大的成本。本文介绍了INFaaS，分布式推理服务的管理和无模型系统，开发人员只需指定其应用程序的性能和准确性要求，而不需要为每个查询指定一个特定的模型变量。INFaaS生成模型变量，并代表开发人员有效地导航模型变量的大权衡空间，以满足特定于应用程序的目标：（a）对于每个查询，它选择一个模型，硬件架构和模型优化，（b）它将VM级水平自动缩放与模型级自动缩放相结合，其中多个不同的模型变量用于在每台机器内服务查询。与AWS EC2上最先进的推理服务系统相比，通过利用不同的变体并跨模型共享硬件资源，INFaaS实现了1.3倍的吞吐量，违反延迟目标的频率降低了1.6倍，并节省了高达21.6倍的成本（平均为8.5倍）。
2020-12-15 cs.DC cs.LG
SneakPeek: Data-Aware Model Selection and Scheduling for Inference Serving on the Edge
针对边缘资源受限场景，本文提出 SneakPeek 数据感知模型选择与调度算法，动态估计模型精度并结合批处理与请求优先级，在截止期限内提升调度效用和推理精度。
2025-05-10 cs.DC
LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving
Shanghai Jiao Tong University（上海交通大学）
针对现有W4A8 GEMM内核反量化效率低、跟不上Tensor核心吞吐量的问题，本文提出硬件高效的LiquidGEMM内核，通过LiquidQuant量化方法和隐式细粒度流水线实现显著性能提升，可高效服务大语言模型推理。
2025-09-01 cs.AI cs.DC cs.LG
MoE-Lens: Towards the Hardware Limit of High-Throughput MoE LLM Serving Under Resource Constraints
University of Michigan（密歇根大学）
针对资源约束下MoE LLM部署中GPU内存不足导致的CPU-GPU混合执行资源优化难题，提出MoE-Lens系统，通过整体性能建模识别硬件瓶颈并优化资源利用率，实现高吞吐量推理，性能平均提升4.6倍且预测准确率达94%。
2025-04-12 cs.AI cs.DC
Load Balancing with Evolving Workloads in Large-Scale Language Model Serving
HKUST（香港科技大学）；National University of Defense Technology（国防科技大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
本文提出了一种适用于屏障同步系统的通用负载均衡原理，通过减少负载不均衡实现能源节约，应用于大语言模型服务中，实现了28%的能耗降低和性能提升。
2026-10-20 cs.DC stat.ML
DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving
针对分布式 LLM 服务中的流水线气泡、GPU 显存浪费和故障恢复慢问题，提出 DéjàVu 系统，基于 DéjàVuLib 实现 prompt-token 分离、微批次交换与状态复制。
2024-03-04 cs.DC
Analytical Power-Aware Provisioning for Prefill-Decode Disaggregated AI Inference
New York University（纽约大学）
针对PD分离式AI推理，提出分析框架建模服务容量与功耗，推导帕累托前沿，以支持功耗感知的实例配置决策。
2026-09-22 cs.DC cs.PF cs.SY
LLMServingSim: A HW/SW Co-Simulation Infrastructure for LLM Inference Serving at Scale
School of Computing KAIST（韩国科学技术院计算机学院）
针对现有仿真基础设施难以准确建模LLM推理服务系统软硬件行为且耗时的问题，本文提出LLMServingSim，通过迭代粒度仿真、复用计算冗余及灵活框架支持异构设计，实现低误差（<14.7%）和高仿真速度（91.5x）。
2024-08-10 cs.AI cs.DC
Perseus: Characterizing Performance and Cost of Multi-Tenant Serving for CNN Models
Worcester Polytechnic Institute（伍斯特理工学院）
深度学习模型越来越多地用于终端用户应用程序，支持面部识别等新功能和Web搜索等传统功能。为了适应高推理吞吐量，通常将单个预训练的卷积神经网络（CNN）托管在具有诸如图形处理单元（GPU）之类的硬件加速器的专用基于云的服务器中。然而，GPU可能比传统的中央处理单元（CPU）服务器贵几个数量级。面对动态工作负载，这些资源也可能未得到充分利用，这可能导致服务成本膨胀。缓解这个问题的一个潜在方法是允许托管模型共享底层资源，我们称之为多租户推理服务。其中一个关键的挑战是最大限度地提高资源效率的多租户服务给定的硬件具有不同的特点，具有独特的响应时间服务水平协议（SLA）的模型，和动态推理工作负载。在本文中，我们提出了珀尔修斯，一个测量框架，为理解多租户模型服务的性能和成本权衡提供了基础。我们在一个名为Nvidia TensorRT Inference Server的流行云推理服务器上用Python实现了Perseus。利用Perseus，我们评估了服务各种模型的推理吞吐量和成本，并证明多租户模型服务可以降低高达12%的成本。
2020-03-30 cs.DC cs.LG cs.PF
ServeTwin: A Benchmark-Validated Simulator for Distributed LLM Architecture Exploration
Samsung Advanced Institute of Technology（三星先进技术研究所）
ServeTwin是一个闭环模拟器，通过分析时间预测与有状态服务循环结合，无需硬件剖析即可高精度模拟分布式LLM服务，支持架构探索。
2026-10-05 cs.DC cs.PF
InferLine: ML Prediction Pipeline Provisioning and Management for Tight Latency Objectives
为跨越多个模型和硬件加速器的ML预测管道提供服务是生产机器学习中的一个关键挑战。通过优化配置这些管道以满足严格的端到端延迟目标，由于模型批量大小、硬件加速器的选择以及查询到达过程中的变化之间的相互作用而变得复杂。在本文中，我们介绍了InferLine，这是一个系统，它提供和管理预测管道的各个阶段，以满足端到端的尾部延迟约束，同时最大限度地降低成本。InferLine由低频组合规划器和高频自动缩放调谐器组成。低频规划器利用逐阶段分析、离散事件模拟和约束组合搜索来自动选择流水线中每个阶段的硬件类型、复制和重复参数。高频调谐器使用网络演算来自动缩放每个阶段，以满足尾部延迟目标，以响应查询到达过程中的变化。我们证明，InferLine在成本上优于现有方法高达7.6倍，同时在实际工作负载上实现高达34.5倍的低延迟SLO未命中率，并在最先进的模型服务框架中推广。
2020-08-03 cs.DC
Sandwich: Joint Configuration Search and Hot-Switching for Efficient CPU LLM Serving
The University of Hong Kong（香港大学）
Sandwich通过联合配置搜索与热切换技术，解决CPU LLM服务中prefill/decode资源冲突问题，实现2.01倍端到端加速和3.40倍延迟降低，同时降低三次数量级的调优成本。
2026-04-15 cs.AI cs.AR cs.DC
Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
本文通过分析KV缓存卸载的瓶颈，提出优化硬件互连、模型架构和调度算法以提升大语言模型推理效率的方法。
2025-12-16 cs.AR cs.DC
CascadeServe: Unlocking Model Cascades for Inference Serving
MIT（麻省理工学院）；Intel（英特尔公司）；University of Arizona（亚利桑那大学）
针对ML推理服务的高成本与请求波动硬件适配难题，提出分离线在线阶段的CascadeServe系统，通过模型级联实现推理服务优化，相比现有基线可节省2-3倍成本。
2024-06-20 cs.DC cs.LG
SynergAI: Edge-to-Cloud Synergy for Architecture-Driven High-Performance Orchestration for AI Inference
SynergAI是一个跨异构端云基础设施的架构感知推理服务框架，通过结合离线和在线决策策略动态分配工作负载，在Kubernetes中实现后，相比SotA方案将QoS违规平均降低了2.4倍。
2025-09-12 cs.DC
Towards Resiliency in Large Language Model Serving with KevlarFlow
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）；Department of Computer Science, Purdue University, West Lafayette, IN, United States（计算机科学系，普渡大学，西拉法叶，印第安纳，美国）
KevlarFlow通过解耦模型并行初始化、动态流量重路由和背景KV缓存复制，显著提升了大语言模型服务的容错性和恢复效率。
2026-01-30 cs.CL cs.DC cs.LG
TinyServe: Query-Aware Cache Selection for Efficient LLM Serving
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
本文提出TinyServe系统，通过查询感知页面选择机制和融合CUDA内核实现选择性KV缓存加载，在无需模型修改的情况下显著提升微型LLM服务的速度与内存效率。
2025-08-28 cs.AI cs.DC
The Synergy of Speculative Decoding and Batching in Serving Large Language Models
University of Toronto（多伦多大学）；CentML Inc（CentML公司）；Vector Institute（向量研究所）
本文研究大语言模型推理中批处理与投机解码的协同效应，通过定量建模发现最优投机长度取决于批大小，并提出自适应投机解码策略，在不同批大小下达到或超越固定长度方案。
2023-10-28 cs.DC cs.LG
A Survey of Large-Scale Deep Learning Serving System Optimization: Challenges and Opportunities
George Mason University（乔治梅森大学）；Microsoft（微软）；University of Pittsburgh（匹兹堡大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
深度学习（Deep Learning，DL）模型在视觉、语言、医疗、商业广告、娱乐等多个应用领域都取得了卓越的性能，随着深度学习应用的快速发展，其底层服务硬件都呈现出强劲的规模化趋势，即：模型缩放和计算缩放，例如，最近的预训练模型具有数千亿个参数，占用~TB级内存，以及最新的GPU加速器提供数百TFLOPS。随着这两种扩展趋势的出现，DL推理服务系统中出现了新的问题和挑战，其逐渐趋向于大规模深度学习服务系统（LDS）。本调查旨在总结和分类大规模深度学习服务系统的新挑战和优化机会。通过提供一种新的分类方法，总结计算范式，并阐述最新的技术进展，我们希望这项调查可以揭示新的优化观点，并激励大规模深度学习系统优化的新工作。
2022-02-18 cs.DC cs.LG
A Tale of Two Scales: Reconciling Horizontal and Vertical Scaling for Inference Serving Systems
本文提出Themis系统，结合水平与垂直扩展的两阶段自动扩展策略，通过动态规划优化推理服务资源，实现SLO违规降低超10倍并保持资源效率。
2024-07-20 cs.DC
Energy-Efficient Multimodal Inference Serving with Tri-serve
Department of Computer Science and Engineering, University of California, Riverside（加州大学河滨分校计算机科学与工程系）；NVIDIA（英伟达）；Department of Computer Science and Engineering, Indian Institute of Technology, Bhubaneswar（布巴内斯瓦尔印度理工学院计算机科学与工程系）；Department of Electrical and Computer Engineering, University of California, Riverside（加州大学河滨分校电气与计算机工程系）
针对多模态推理服务中GPU硬件频率管理导致的三种能效问题，提出软件DVFS控制器Tri-serve，联合优化依赖停顿、算术强度影响和热节流，实现22%能效提升且无延迟或吞吐量损失。
2026-09-07 cs.DC
Adaptive KV Cache Reuse for Fast Long-Context LLM Serving
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
针对长上下文LLM推理中预填充阶段TTFT延迟瓶颈，提出CacheTune系统，通过频域分析识别关键KV对并选择性重计算，结合稀疏传输、异步重叠和硬件感知自适应重计算比调优，实现3.72x-4.86x TTFT加速和接近全重计算的生成质量。
2026-10-04 cs.AR cs.DC
EPD-Serve: A Flexible Multimodal EPD Disaggregation Inference Serving System On Ascend
Huawei Technologies Co., Ltd（华为技术有限公司）
EPD-Serve通过阶段级解耦和异构硬件协同，提升多模态模型推理系统的吞吐量和效率。
2026-01-05 cs.AI cs.DC
Serving LLMs in HPC Clusters: A Comparative Study of Qualcomm Cloud AI 100 Ultra and NVIDIA Data Center GPUs
University of California, San Diego（加州大学圣地亚哥分校）
本研究在国家研究平台中对比高通Cloud AI 100 Ultra与英伟达A100 GPU的大语言模型推理表现，发现前者能效更优、硬件分配更细粒度，为能源受限的高性能计算大模型部署提供参考。
2025-10-28 cs.AI cs.DC
When Does Disaggregation Pay? Simulating Prefill--Decode--Attention--FFN Specialization for Agentic LLM Inference
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
该研究提出HeteroPanacea模拟框架，针对智能体LLM推理的预填-解码-注意力-前馈网络拆分，验证其可提升吞吐量，为异构智能体服务系统提供支撑。
2026-08-05 cs.DC
DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs
McGill University（麦吉尔大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nutanix, Inc.（Nutanix公司）
DeltaServe是一种主机无关式LLM推理与微调协同服务设计，可利用闲置GPU算力提升LoRA微调吞吐量，已集成至vLLM等框架，在保持100%推理SLO合规的前提下，微调吞吐量较现有方案显著提升。
2026-08-03 cs.DC cs.LG
SageServe: Optimizing LLM Serving on Cloud Data Centers with Forecast Aware Auto-Scaling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；Indian Institute of Science（印度科学学院）；Microsoft（微软）
针对云数据中心LLM混合工作负载的SLA冲突与资源利用率低问题，提出SageServe框架，通过多时间尺度控制、流量预测与ILP优化，实现25%GPU小时节省、80%扩缩浪费减少及每月250万美元潜在成本节省，同时满足SLA。
2025-11-12 cs.DC
GLM-5 Serving Parameter Tuning for OpenClaw: Single-Deployment MaaS Inference Optimization for Long-Context Agent Workloads
China Unicom（中国联合网络通信集团有限公司）
研究在MaaS多模型推理优化架构中对GLM-5服务参数调优，在单节点优化模块调整相关参数，找到最佳配置，相比基线提升了请求和总令牌吞吐量，降低了平均TTFT和延迟P90，推荐其为默认部署配置。
2026-07-07 cs.AI cs.DC
OmniPilot: An Uncertainty-Aware LLM Inference Advisor for Heterogeneous GPU Clusters
Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学生物与人工智能研究所）
提出OmniPilot，通过共形校准分位数成本模型和分布外弃权层，为异构GPU集群上的LLM服务选择最优配置，预测吞吐量MAPE为6.2%，top-1准确率95%。
2026-07-03 cs.DC
GhostServe: A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving
Anonymous Authors（匿名作者）
本文提出GhostServe，一种轻量级检查点系统，通过擦除编码在主机内存中生成和存储奇偶分片，以保护流式KV缓存，提升大语言模型服务的容错性和效率。
2026-03-26 cs.AI cs.DC cs.PF
Subgraph Stationary Hardware-Software Inference Co-Design
Georgia Institute of Technology（佐治亚理工学院）
针对动态部署场景下单一静态点非最优的问题，提出基于权重共享SuperNet的子图静态软硬件协同设计SUSHI，通过SushiAccel和SushiSched实时调度与缓存，实现高达25%延迟降低和78.7%片外能耗节省。
2023-06-21 cs.DC cs.LG
StreamWise: Serving Multi-Modal Generation in Real-Time at Scale
Microsoft Azure Research（微软Azure研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
StreamWise通过实时播客视频生成，整合LLM、文本转语音和视频音频生成，实现高效多模态实时服务，兼顾延迟、成本和质量。
2026-03-06 cs.AI cs.DC
Batch Query Processing and Optimization for Agentic Workflows
National University of Singapore（新加坡国立大学）
Halo通过统一查询优化与异构LLM服务，提升代理工作流在批量推理和在线服务中的效率，实现3.6倍速度提升和2.6倍吞吐量改进。
2026-01-19 cs.DB cs.DC
InFactPlanner: Planning Sustainable Geo-Distributed LLM Data Centers
University of Cyprus（塞浦路斯大学）
InFactPlanner是用于LLM推理的可持续地理分布式数据中心部署假设分析的决策支持框架，可通过多维度建模分析得出可持续性与延迟最优选择存在差异等结论。
2026-08-14 cs.AI cs.DC
Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving
Independent Researcher（独立研究者）；Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）
针对LLM服务中预填充与解码的冲突资源需求，提出GPU内主动式分解系统Nexus，动态分配资源并考虑带宽争用，显著提升吞吐量并降低延迟。
2025-08-07 cs.DC cs.LG
Multi-model Machine Learning Inference Serving with GPU Spatial Partitioning
KAIST（韩国科学技术院）
随着机器学习技术被应用于越来越广泛的应用，高吞吐量的机器学习（ML）推理服务器对于在线服务应用已经变得至关重要。这种ML推理服务器提出了两个挑战：首先，它们必须为每个请求提供有限的延迟，以支持一致的服务级别目标（SLO），其次，它们可以在系统中服务于多个异构ML模型，因为某些任务涉及调用多个模型，并且合并多个模型可以提高系统利用率。针对ML推理服务器的这两个需求，提出了一种新的多模型ML推理服务器的ML推理调度框架。该论文首先表明，在SLO约束下，当前的GPU并未充分用于ML推理任务。为了最大限度地提高推理服务器的资源效率，本文提出的一个关键机制是利用硬件支持的GPU资源的空间划分。通过分区机制，创建了一个新的GPU资源抽象层，并使用可配置的GPU资源。调度器将请求分配给虚拟GPU，称为gpu-lets，具有最有效的资源量。本文还研究了当两个ML任务在GPU中并发运行时潜在干扰影响的补救措施。我们的原型实现证明，空间分区提高吞吐量的平均102.6%，同时满足SLO。
2021-09-01 cs.AI cs.DC
R2CC: Reliable and Resilient Collective Communication for Distributed Learning
University of Maryland, College Park（马里兰大学帕克分校）
R$^2$CCL通过多NIC硬件实现无损低开销故障转移，提升LLM训练和推断的可靠性与容错能力。
2026-10-28 cs.DC cs.LG cs.NI
ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling
School of Electronic Science and Engineering, Nanjing University, China.（南京大学电子科学与工程学院）；National Key Laboratory for Novel Software Technology, Nanjing University, China.（南京大学新型软件技术国家重点实验室）
提出ZipMoE系统，通过缓存-调度协同设计利用边缘设备硬件特性和MoE参数统计冗余，实现无损且高效的设备端MoE推理，显著降低延迟并提升吞吐量。
2026-05-22 cs.AI cs.DC cs.LG
Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models
Georgia Institute of Technology（佐治亚理工学院）；Meta；Intel Labs（英特尔实验室）；Intel（英特尔）；Google（谷歌）
本文提出 GenZ 分析工具，建模多种 LLM 架构、服务优化与硬件平台参数，经真实平台验证后揭示分布式推理的资源需求，以指导下一代 AI 加速器与平台设计。
2025-05-15 cs.AI cs.AR cs.DC
Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
Sapienza University of Rome（罗马大学）
本文通过实证研究探讨了不同LLM在不同硬件平台上的行为，重点分析了层卸载和抢占对性能的影响，揭示了卸载和抢占对解码吞吐量的非线性影响以及其在不同模型和硬件平台上的差异，为设计高效的多模型LLM服务系统提供了指导。
2026-05-19 cs.AI cs.DC
FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）；Anthropic PBC（Anthropic 公益公司）；Stanford University（斯坦福大学）；Mistral AI；Amazon Web Services（亚马逊云科技）
FlexLLM通过令牌级计算融合与混合调度，在共享GPU上协同服务LLM推理和PEFT微调，实现高达80%内存节省、SLO保证及最高6.8倍微调吞吐量提升。
2025-10-23 cs.CL cs.DC cs.LG
Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference
ByteDance Seed（字节跳动种子）；National University of Singapore（新加坡国立大学）
HeteroScale通过拓扑感知调度与单一指标驱动的协同扩缩策略，解决异构解耦LLM推理中预填充与解码失衡问题，在大规模生产中提升GPU利用率26.6个百分点并大幅节省GPU小时。
2025-08-27 cs.AI cs.DC
PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
Huawei Zurich Research Center Switzerland（华为苏黎世研究中心）
PRESERVE通过在通信期间预取模型权重和KV缓存到片上缓存，在商用AI加速器上实现高达1.6倍端到端加速，并优化硬件配置额外提升1.25倍性能成本比。
2025-05-26 cs.AI cs.AR cs.DC
Fine-Grained Computation Offload for Off-the-Shelf Servers in Tens of Lines
Pine AI
研究硬件加速器处于在线服务关键路径时细粒度卸载问题，利用服务器已有并发机制，将卸载视为路由问题，通过特定方法在多服务器上实现高效卸载并给出性能提升数据。
2026-07-07 cs.AI cs.DC cs.OS
SARA: SLO-Aware Resource Allocation for Disaggregated Agentic LLM Services
City University of Hong Kong（香港城市大学）；Beijing Institute of Technology（北京理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对解聚式智能体LLM服务，提出SLO感知资源分配框架SARA，基于排队论建模各阶段，在成本约束下最大化有效吞吐量，平均提升26.6%。
2026-09-23 cs.DC cs.PF
AIConfigurator: Lightning-Fast Configuration Optimization for Multi-Framework LLM Serving
NVIDIA
AIConfigurator通过统一性能建模系统实现多框架LLM服务的快速配置优化，提升性能40%-50%并缩短搜索时间至30秒。
2026-01-09 cs.AI cs.DC cs.LG
Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
Google Cloud（谷歌云）
本文首次端到端展示了在TPU硬件上微调和服务Google Gemma 4 31B模型，通过与GPU平台的实证比较，提供了代码级适配方案，并证明TPU在训练速度和成本上具有优势。
2026-06-05 cs.AI cs.DC
SPAD: Specialized Prefill and Decode Hardware for Disaggregated LLM Inference
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
针对LLM推理预填充与解码阶段硬件需求不匹配的问题，提出专用芯片SPAD，以“少即是多”设计分别优化两阶段，在保持性能的同时显著降低硬件成本与功耗。
2025-10-09 cs.AR cs.DC cs.LG
Kafila: Serving Large Language Models on a Trusted Set of Heterogeneous Commodity Machines
The University of Melbourne（墨尔本大学）
Kafila通过NAT组环和精确划分，在可信异构设备上高效服务大型语言模型，显著缩短流水线瓶颈，提升吞吐量。
2026-09-29 cs.DC cs.LG
Dissecting the Carbon-SLO Tension in Geo-Distributed LLM Serving
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对地理分布式LLM服务中碳减排与延迟SLO的张力，设计校准后的推理模拟器，提出多类调度器，发现MILP调度器可减碳60%且SLO违反率仅3%，明确减排与SLO的影响因素。
2026-10-14 cs.DC cs.LG cs.PF
Think Before You Grid-Search: Floor-First Triage for LLM Serving
NVIDIA
研究大语言模型服务优化，提出楼层优先分类法，基于残差构建五维资源向量，通过墙排序比较部署方案，以案例分析模型在特定GPU上的情况，揭示布局判断与操作点的关系及不同布局差异的原因。
2026-07-09 cs.AI cs.DC cs.PF
SLED: A Speculative LLM Decoding Framework for Efficient Edge Serving
National Technical University of Athens（希腊国家技术大学）；Queen's University Belfast（贝尔法斯特女王大学）；University College Dublin（都柏林大学学院）
本文提出 SLED 框架，利用投机解码协调异构设备，让轻量边缘设备本地起草候选 token，由共享边缘服务器批处理验证，在不牺牲准确率下显著提升边缘服务吞吐量、容量与成本效益。
2025-11-04 cs.AI cs.DC cs.LG
ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
The Hong Kong University of Science（香港科学与技术大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
ZipServ通过硬件感知的无损压缩技术，提升LLM推理效率，减少内存占用，实现比cuBLAS快2.21倍的内核速度和1.22倍的端到端推理加速。
2026-03-18 cs.AR cs.DC cs.LG
