Tessera: Demand-Driven KV Cache Management for Retrieval-Augmented LLM Serving
University of California, Santa Cruz（加州大学圣克鲁兹分校）
Tessera通过将检索作为控制平面，实现需求驱动的KV缓存管理，解决RAG和智能体记忆中重复内容的KV重用问题，显著降低TTFT并保持答案质量。
2026-09-29 cs.DC
TokenDance: Scaling Multi-Agent LLM Serving via Collective KV Cache Sharing
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
TokenDance通过利用All-Gather模式实现集体KV缓存共享，提升多智能体LLM服务的并发数量，减少缓存存储并加快预填充速度。
2026-04-03 cs.DC
BanaServe: Unified KV Cache and Dynamic Module Migration for Balancing Disaggregated LLM Serving in AI Infrastructure
Southern University of Science and Technology（南方科技大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Lab of IOTSC, Faculty of Science and Technology, University of Macau（澳门科技大学物联网与感知系统国家重点实验室、理学院）；AIOS Team, Alibaba Group Inc（阿里巴巴集团 AIOS 团队）
BanaServe通过统一的KV缓存和动态模块迁移，平衡解耦LLM服务中的计算与内存资源，提升吞吐量和效率。
2025-10-15 cs.DC
MoDM: Efficient Serving for Image Generation via Mixture-of-Diffusion Models
针对扩散文本到图像生成模型速度与质量难以兼顾的问题，提出基于缓存的MoDM服务系统，通过混合大小扩散模型、全局GPU资源调度，在保画质的同时将平均服务时间缩短2.5倍，实现高效可扩展部署。
2025-08-02 cs.DC
FastCache: Optimizing Multimodal LLM Serving through Lightweight KV-Cache Compression Framework
FastCache通过动态批处理调度和高效KV缓存内存池，显著降低多模态大模型服务的首token时间并提升吞吐量，同时减少内存占用。
2025-03-11 cs.DC cs.MM
AlignedServe: Orchestrating Prefix-aware Batching to Build a High-throughput and Computing-efficient LLM Serving System
Sun Yat-Sen University（中山大学）
针对LLM服务中解码迭代内的气泡问题，提出基于前缀感知批处理的AlignedServe框架，通过分组相似KV缓存长度的请求、CPU内存维护大量飞行请求、批级调度和GPU间预取KV缓存，显著提升解码吞吐量并降低延迟。
2026-05-22 cs.DC
SwiftCache: Efficient LLM Serving for Multi-turn Conversations with Heterogeneous KV Cache Sharing
Southern University of Science and Technology（南方科技大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Alibaba Group（阿里巴巴集团）；University of Macau（澳门大学）
针对多轮对话中KV缓存占用显存导致推理延迟高、上下文受限的问题，提出SwiftCache系统，通过异构模型间共享空闲GPU内存和NVLink带宽，仅保留当前层KV缓存，降低延迟并扩展上下文长度。
2026-06-16 cs.DC
CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents
University of Washington（华盛顿大学）；University of Virginia（弗吉尼亚大学）
针对编码代理会话中大量前缀复用导致KVCache压力的问题，提出CacheWise管理层，结合前缀感知调度和基于工具调用元数据的轻量级预测驱逐策略，减少KVCache驱逐并提升会话完成时间。
2026-06-16 cs.DC cs.OS
MemServe: Context Caching for Disaggregated LLM Serving with Elastic Memory Pool
MemServe 是一个统一系统，通过弹性内存池 MemPool 管理分布式内存和 KV 缓存，首次将上下文缓存与分离式推理结合，并利用全局调度器提升缓存重用，显著改善作业完成时间和首字时间。
2024-12-21 cs.DC
ForkKV: Scaling Multi-LoRA Agent Serving via Copy-on-Write Disaggregated KV Cache
Shanghai Jiao Tong University（上海交通大学）
ForkKV通过写时复制机制解耦KV缓存，解决多LoRA代理服务中的内存瓶颈问题，提升吞吐量3倍且不影响生成质量。
2026-04-07 cs.DC cs.LG
Strata: Hierarchical Context Caching for Long Context Language Model Serving
针对长上下文大语言模型服务中缓存传输的性能瓶颈，Strata通过GPU辅助I/O解耦内存布局、缓存感知调度平衡计算与延迟，在生产环境长上下文基准测试中实现显著加速且不影响短上下文性能。
2025-08-26 cs.DC
eLLM: Elastic Memory Management Framework for Efficient LLM Serving
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
eLLM提出一种弹性内存管理框架，通过虚拟张量抽象、弹性内存机制和轻量调度策略，提升LLM服务的内存利用效率，实现在动态负载下的更高吞吐量和更大批次大小。
2026-05-06 cs.DC
Preserving Provenance in Shared KV Caches for LLM Serving
Griffith University（格里菲斯大学）；National University of Singapore（新加坡国立大学）；Macquarie University（麦考瑞大学）
本研究首次系统揭示LLM服务中共享KV缓存的来源盲复用问题，提出KV来源契约及绑定机制，在vLLM和SGLang中实现，消除不安全复用并保持低延迟。
2026-10-01 cs.DC
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science（德克萨斯理工大学计算机科学系）
综述通过四个轴对三十多个键值管理系统和框架分类，揭示五种架构原型，还审计当前评估，找出七个缺失测量，关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe通过运行时量化层交换和KV缓存调整，有效提升动态负载下的LLM服务效率和稳定性。
2026-01-07 cs.DC cs.LG
Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
Cortex通过阶段隔离和专用资源池，减轻智能体工作流中的阶段间干扰，提升KV缓存利用率、吞吐量和性能可预测性，为智能体原生服务范式奠定基础。
2025-10-15 cs.DC
MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所）
提出MosaicKV系统，利用动态二维KV缓存压缩解决长上下文服务中的内存瓶颈，通过细粒度稀疏性和压缩管理实现高吞吐和低延迟，在H800 GPU上取得最高16倍注意力加速和3倍内存节省。
2026-07-02 cs.DC cs.LG
TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
Virginia Tech（弗吉尼亚理工大学）；SK Hynix America（SK海力士美国）；SK Hynix（SK海力士）
TraCT通过利用CXL共享内存实现解耦LLM服务，显著降低TTFT、P99延迟并提升吞吐量。
2025-12-20 cs.DC
SparseServe: Unlocking Parallelism for Dynamic Sparse Attention in Long-Context LLM Serving
针对动态稀疏注意力长上下文 LLM 服务中的 HBM 容量瓶颈，本文提出 SparseServe，通过 HBM-DRAM 分层 KV 管理、工作集批量控制和层分段预填充提升并行度，显著降低 TTFT 并提高吞吐量。
2025-09-29 cs.DC
Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
University of Bayreuth（拜罗伊特大学）
研究长上下文服务中KV缓存优化，通过工作负载感知基准评估多种优化机制，测量多项指标。发现仅压缩率不能预测性能，不同机制表现各异，为长上下文服务系统提供工作负载感知的KV缓存机制选择及部署指导。
2026-07-08 cs.AI cs.CL cs.DC
PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving
介绍用于大语言模型服务的轻量级框架PEEK，核心方法包括维护基数树、双路匹配等，贡献是在缓存命中率、处理帧定时等方面相比各引擎基线有显著提升，且在无可用前缀结构的工作负载上与基线相当。
2026-09-15 cs.AI cs.DC
CacheSmith: Accurate RAG Serving under Latency SLOs with Adaptive KV Reuse
POSTECH（浦项工科大学）；Microsoft Research（微软研究院）
本文提出CacheSmith系统，通过三阶段动态配置的选择性重计算及SLO感知调度、预算感知规划，在四个基准测试中使RAG服务的质量门控SLO达成率较基线提升最多27.5%。
2026-10-13 cs.AR cs.DC
Efficient Multi-Adapter LLM Serving via Cross-Model KV-Cache Reuse with Activated LoRA
mit（麻省理工学院）；ibm（国际商业机器公司）
本文提出一种高效LLM服务引擎，通过激活LoRA实现跨模型KV缓存重用，显著降低推理延迟和时间到第一个token，提升多适配器任务的效率。
2025-11-26 cs.AI cs.DC cs.LG
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
Cache Your Prompt When It's Green: Carbon-Aware Caching for Large Language Model Serving
University of Waterloo（滑铁卢大学）；Purdue University（普渡大学）
本文提出GreenCache框架，通过动态资源分配平衡碳排放与服务等级协议，实现在LLM服务中减少15.1%的碳排放，最高达25.3%。
2026-04-11 cs.AR cs.DC
TinyServe: Query-Aware Cache Selection for Efficient LLM Serving
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
本文提出TinyServe系统，通过查询感知页面选择机制和融合CUDA内核实现选择性KV缓存加载，在无需模型修改的情况下显著提升微型LLM服务的速度与内存效率。
2025-08-28 cs.AI cs.DC
Lachesis: Lifetime-Aware KV Cache Placement for Agent Serving across HBM and High-Bandwidth Flash
Seoul National University（首尔大学）；KAIST（韩国科学技术院）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对智能体服务中KV缓存寿命差异，提出Lachesis寿命感知放置层，按寿命将缓存置于HBM或HBF，延长HBF寿命1.19-3.13倍，并超过五年保修期。
2026-10-07 cs.AR cs.DC
Adaptive KV Cache Reuse for Fast Long-Context LLM Serving
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
针对长上下文LLM推理中预填充阶段TTFT延迟瓶颈，提出CacheTune系统，通过频域分析识别关键KV对并选择性重计算，结合稀疏传输、异步重叠和硬件感知自适应重计算比调优，实现3.72x-4.86x TTFT加速和接近全重计算的生成质量。
2026-10-04 cs.AR cs.DC
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
本文通过分析KV缓存卸载的瓶颈，提出优化硬件互连、模型架构和调度算法以提升大语言模型推理效率的方法。
2025-12-16 cs.AR cs.DC
TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving
Peking University（北京大学）；StepFun
针对现有集群前缀缓存系统与调度耦合导致的负载失衡等问题，提出分段级前缀缓存池TokenLake，通过声明式接口与重请求感知均衡实现高效池化，提升吞吐量与命中率。
2025-08-24 cs.DC cs.LG
HYPIC: Position-Independent Caching for Hybrid-Attention LLM Serving
Xiaohongshu Inc.（小红书）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
提出Hypic系统，通过段累积转移算子和边界重计算，实现混合注意力LLM的位置无关缓存，显著降低首令牌延迟并提升吞吐量。
2026-11-05 cs.DC
CrossPool: Efficient Multi-LLM Serving for Cold MoE Models through KV-Cache and Weight Disaggregation
School of Software, Beihang University（北京航空航天大学软件学院）
针对冷MoE模型权重与KV缓存竞争GPU内存的问题，提出CrossPool引擎，将FFN权重和KV缓存分离到不同内存池，结合规划器、虚拟化器和流水线调度器，显著提升内存利用率和长上下文支持，P99 TBT降低达10.4倍。
2026-06-29 cs.AI cs.DC cs.LG
A CXL Memory Rack for Multi-Turn LLM Serving
SK hynix America（SK海力士美国）；Virginia Tech（弗吉尼亚理工大学）
研究针对多轮大语言模型服务中键值缓存重用问题，提出HyMCache框架集成CXL混合内存。利用多轮缓存访问特性优化DRAM管理，通过请求级前缀预取等技术，在真实原型上评估，相比其他方案有性能优势且节省DRAM。
2026-08-07 cs.DC
LUMEN: Coordinated Failure Recovery for Distributed LLM Serving
The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）；University of Science and Technology of China（中国科学技术大学）
针对分布式LLM服务中工作节点故障导致KV缓存丢失和请求重算的问题，提出LUMEN系统，通过负载感知的协调恢复策略（检查点放置、中断请求分配、容量恢复）显著提升服务与恢复时间。
2026-06-17 cs.DC
Dynamic HBM Repartitioning for Multi-Turn MoE Serving
UC San Diego（加州大学圣地亚哥分校）；SK hynix（SK海力士）
VAMP 框架通过运行时动态调整 MoE 模型权重与 KV 缓存的 HBM 边界，在 KV 分配不足时选择最优策略，显著降低多轮服务延迟并提升吞吐量。
2026-09-15 cs.DC
SYMPHONY: Improving Memory Management for LLM Inference Workloads
针对LLM多轮推理中K,V缓存重算冗余和卸载导致的负载不均问题，提出SYMPHONY，通过动态迁移K,V缓存实现细粒度调度，使可处理请求数提升超8倍。
2024-12-21 cs.DC
PATCHEDSERVE: A Patch Management Framework for SLO-Optimized Hybrid Resolution Diffusion Serving
针对多分辨率 T2I 扩散服务批处理与缓存难题，提出 PatchedServe，通过补丁化工作流、补丁级缓存复用和 SLO 感知调度提升服务质量。
2025-10-05 cs.DC
The Lazy Pod That Lies: Deferred Cost and Failure Semantics of Lazy Container Image Pulling for Model Serving on Kubernetes
该研究针对Kubernetes模型服务的惰性镜像拉取，发现其冷启动时间与镜像大小无关，但存在延迟成本及缓存耗尽导致的Pod故障等问题，并给出部署、监控等指导方案。
2026-08-21 cs.DC
CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving
Meta
CacheRoute 是一种规划式前缀亲和路由方法，通过周期性路由规划解决大语言模型服务中前缀缓存复用与服务器过载的权衡，在 Llama-3.3-70B 模型上实现了更高 QPS 与 KV 缓存命中率。
2026-08-21 cs.DC cs.LG
Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving
Independent Researcher, Milpitas, CA 95035 USA
本文研究发现大语言模型服务中，前缀缓存会引发智能体工具使用轨迹差异，且量化程度越高差异越显著，缓存状态缺失导致实际不可复现，同时发布了相关测试资源。
2026-11-09 cs.DC cs.LG cs.SE
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系）；Argonne National Laboratory, Lemont, USA（阿贡国家实验室）；Parasail, Inc., San Mateo, USA（Parasail公司）
针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
Efficient Memory Management for Large Language Model Serving with PagedAttention
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；UC San Diego（加州大学圣地亚哥分校）
针对LLM服务中KV cache内存浪费限制批处理大小的问题，提出受操作系统分页技术启发的PagedAttention算法并构建vLLM系统，实现近乎零内存浪费与灵活共享，在同等延迟下将吞吐量提升2-4倍。
2023-09-12 cs.DC cs.LG
PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
Huawei Zurich Research Center Switzerland（华为苏黎世研究中心）
PRESERVE通过在通信期间预取模型权重和KV缓存到片上缓存，在商用AI加速器上实现高达1.6倍端到端加速，并优化硬件配置额外提升1.25倍性能成本比。
2025-05-26 cs.AI cs.AR cs.DC
The KV Cache Working Set: Online Capacity Planning for LLM Inference Systems
Kingsoft Cloud（金山云）
针对LLM服务中前缀缓存容量规划难题，提出在线分析器KVSET，利用Mattson栈算法高效估计KV缓存工作集，确定最小容量，经生产轨迹验证准确，支持在线与离线分析。
2026-09-24 cs.DC
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University（约翰霍普金斯大学）；Argonne National Laboraotory（阿贡国家实验室）
PTStore 受 CDN 客户端缓存设计启发，通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理，减少缓存访问延迟与负载不平衡，能大幅扩大 KV 缓存大小，使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
InstCache: A Predictive Cache for LLM Serving
针对 LLM 服务中指令级缓存因指令高变异性导致命中率低的问题，提出预测性缓存机制 InstCache，利用 LLM 重排指令表示空间以构建空间局部性并预测潜在指令，在 WildChat 等数据集上显著提升了命中率并降低了生成延迟。
2025-07-14 cs.CL cs.DC
Fast State Restoration in LLM Serving with HCache
针对LLM服务中KV缓存恢复存在高计算或I/O开销的问题，提出HCache方法，通过中间激活值恢复状态，并结合无气泡调度器和分块存储管理器优化，显著降低首token生成时延并减少存储开销。
2024-10-07 cs.DC
ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）；Shanghai Xingyunzhili Artificial Intelligence Institute（上海行云智人工智能研究所）
针对PD分离MoE服务中解码负载不均衡导致延迟差异的问题，提出ELDR路由方法，利用预填充专家签名预测解码专家激活，通过平衡K-means分区和局部性感知路由，在vLLM上实现中位TPOT降低5.9-13.9%。
2026-11-09 cs.DC
Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications
IBM Research Yorktown Heights, New York（IBM研究院约克镇高地，纽约）
本文重新评估了预填充-解码解耦服务的性能和能耗影响，发现其性能优势依赖于请求负载和KV传输介质，且解耦服务本身能耗较高。
2025-11-14 cs.AI cs.AR cs.DC
PackServe: SLO-Aware Request Scheduling for Agentic LLM Serving at Scale
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Ant Group（蚂蚁集团）
PackServe通过白盒延迟预测模型指导请求打包，在保留KVC重用和SLO约束下减少GPU资源消耗，在64块H20 GPU上节省高达24.6%的GPU小时，并在生产集群中降低34.7%资源占用。
2026-09-29 cs.DC
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出Echo系统，通过调度器、KV cache管理器和估算工具包协同工作，在满足在线任务SLO的同时最大化离线任务吞吐量，提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
LayerKV: Optimizing Large Language Model Serving with Layer-wise KV Cache Management
Ant Group（蚂蚁集团）
针对大语言模型上下文扩展导致首令牌生成时间（TTFT）飙升的问题，提出分层KV缓存管理方法LayerKV，通过细粒度内存控制与SLO感知调度，在不增硬件、不降性能的前提下大幅降低TTFT与SLO违反率。
2024-10-09 cs.AI cs.DC cs.LG
KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Shanghai Jiao Tong University（上海交通大学）
KVServe通过服务感知和自适应的KV通信压缩框架，提升解耦大语言模型服务的效率，减少延迟和加速时间。
2026-05-13 cs.AI cs.DC cs.NI
