AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving
University of Chicago（芝加哥大学）；Microsoft（微软）
AdaptCache通过动态压缩KV缓存提升语言模型服务的低延迟和高质量性能。
2026-01-15 cs.AI cs.LG cs.OS
SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving
Together AI
本文提出SAW-INT4方法，通过系统感知的4位KV缓存量化，在满足实际服务约束下实现高精度与高效率的平衡，恢复近全部精度损失。
2026-04-21 cs.LG
OrbitFlow: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration
Samsung Research（三星研究院）
OrbitFlow通过细粒度KV缓存管理，提高了长上下文LLM服务的SLO达成率和吞吐量，减少了延迟。
2026-03-02 cs.AI cs.LG cs.PF
Progressive Sparse Attention: Algorithm and System Co-design for Efficient Attention in LLM Serving
The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud（华为云）
本文提出渐进式稀疏注意力机制PSA，通过算法与系统协同设计自适应调整KV缓存预算，并优化GPU内存与计算流水线，在保证准确率的同时大幅降低缓存使用并提升LLM服务吞吐量。
2025-03-01 cs.AI cs.LG
POLAR: Online Learning for LoRA Adapter Caching and Routing in Edge LLM Serving
Stony Brook University（石英溪大学）
本文提出POLAR算法，通过在线学习解决边缘LLM服务中LoRA适配器的缓存与路由问题，结合缓存控制与路由策略，实现子线性 regrets 的理论保证和实验验证。
2026-04-17 cs.AI cs.LG
CXL-SpecKV: A Disaggregated FPGA Speculative KV-Cache for Datacenter LLM Serving
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
CXL-SpecKV通过FPGA加速和内存分散技术，提升数据中心LLM服务的吞吐量和内存效率。
2025-12-11 cs.AI
Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
University of Bayreuth（拜罗伊特大学）
研究长上下文服务中KV缓存优化，通过工作负载感知基准评估多种优化机制，测量多项指标。发现仅压缩率不能预测性能，不同机制表现各异，为长上下文服务系统提供工作负载感知的KV缓存机制选择及部署指导。
2026-07-08 cs.AI cs.CL cs.DC
MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所）
提出MosaicKV系统，利用动态二维KV缓存压缩解决长上下文服务中的内存瓶颈，通过细粒度稀疏性和压缩管理实现高吞吐和低延迟，在H800 GPU上取得最高16倍注意力加速和3倍内存节省。
2026-07-02 cs.DC cs.LG
EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
University of Chicago（芝加哥大学）；UC Berkeley（伯克利大学）；Tensormesh, Inc.（Tensormesh公司）；MIT（麻省理工学院）；UC Santa Cruz（圣克拉拉大学）；Stanford（斯坦福大学）；Microsoft（微软公司）
EVICPRESS通过联合优化KV缓存压缩与驱逐策略，提高LLM服务效率，实现更低延迟和高质量生成。
2025-12-16 cs.AI cs.LG cs.OS
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系）；Argonne National Laboratory, Lemont, USA（阿贡国家实验室）；Parasail, Inc., San Mateo, USA（Parasail公司）
针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving
介绍用于大语言模型服务的轻量级框架PEEK，核心方法包括维护基数树、双路匹配等，贡献是在缓存命中率、处理帧定时等方面相比各引擎基线有显著提升，且在无可用前缀结构的工作负载上与基线相当。
2026-09-15 cs.AI cs.DC
LaCache: Robust Semantic Caching for LLM Serving
LaCache是一种新型语义缓存方案，通过检查查询及其前k个解码标记的缓存命中，可抵御缓存碰撞攻击，提升响应相关性，经多种大语言模型及基准验证了其安全性与效率优势。
2026-10-14 cs.AI
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
TinyServe: Query-Aware Cache Selection for Efficient LLM Serving
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
本文提出TinyServe系统，通过查询感知页面选择机制和融合CUDA内核实现选择性KV缓存加载，在无需模型修改的情况下显著提升微型LLM服务的速度与内存效率。
2025-08-28 cs.AI cs.DC
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出Echo系统，通过调度器、KV cache管理器和估算工具包协同工作，在满足在线任务SLO的同时最大化离线任务吞吐量，提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving
University of Chicago（芝加哥大学）；Microsoft（微软公司）；Stanford University（斯坦福大学）
CacheGen通过自定义张量编码器和自适应压缩级别，压缩并流式传输KV缓存，减少带宽占用和上下文加载延迟，同时保持生成质量，相比现有系统缓存大小减少3.5-4.3倍，总延迟减少3.2-3.7倍。
2024-07-19 cs.LG cs.NI
LayerKV: Optimizing Large Language Model Serving with Layer-wise KV Cache Management
Ant Group（蚂蚁集团）
针对大语言模型上下文扩展导致首令牌生成时间（TTFT）飙升的问题，提出分层KV缓存管理方法LayerKV，通过细粒度内存控制与SLO感知调度，在不增硬件、不降性能的前提下大幅降低TTFT与SLO违反率。
2024-10-09 cs.AI cs.DC cs.LG
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
University of Notre Dame IN, USA（诺丁汉大学）
SplitZip通过GPU友好的无损压缩技术，提升大规模LLM服务中KV缓存的传输效率，实现快速压缩和解压，显著优于现有方法。
2026-06-25 cs.AI cs.DC cs.LG
DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving
University of Chicago（芝加哥大学）；Microsoft（微软公司）
提出首个支持跨相同架构LLM分布式推理节点重用KV缓存的系统DroidSpeak，通过选择性重计算部分层级并流水线化加载，实现高达4倍吞吐量和3.1倍预填充加速且质量损失可忽略。
2025-07-14 cs.AI cs.CL cs.LG
Characterizing Contention-Induced Reliability Collapse in KV-Cache Timing Side Channels for Multi-Tenant LLM Serving
该研究通过实验表征多租户LLM服务中KV缓存时序侧信道攻击的可靠性，发现争用导致可靠性崩溃，且安静系统测量会高估攻击可靠性。
2026-09-09 cs.AI cs.CR
QCFuse: Query-Aware Cache Fusion via Compressed View for Efficient RAG Serving
Zhejiang University（浙江大学）；East China Normal University（华东师范大学）；Ant Group（蚂蚁集团）；The Hong Kong Polytechnic University（香港理工大学）；Zhejiang Normal University（浙江师范大学）；Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
提出QCFuse，一种基于压缩视图的查询感知选择器，通过块锚查询探测和关键层分析实现高效RAG缓存融合，在保持全预填充质量的同时平均加速1.7倍。
2026-06-04 cs.AI cs.DB
LLMET: Enabling Cross-Layer Evaluation of Emerging M3D Memories for Energy-Efficient LLM Serving
Georgia Institute of Technology（佐治亚理工学院）；Samsung Semiconductor Inc.（三星半导体公司）
本研究开发跨层仿真框架LLMET，通过实验证实采用M3D技术扩展片上缓存可显著降低不同平台及场景下LLM服务的预填充、解码阶段能耗，为高能效LLM服务系统提供新方案。
2026-07-30 cs.AI cs.AR cs.ET
KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression
Carnegie Mellon University（卡内基梅隆大学）
针对推理语言模型长思维链导致KV缓存过大、解码延迟高的问题，提出Kara滑动窗口KV缓存压缩方法，利用双向注意力评分选择信息性KV对并通过Token2Chunk模块扩展为块，结合PagedAttention构建KvLLM推理框架，降低内存占用并提升输出吞吐量。
2026-07-07 cs.AI cs.CL
Sparse Prefix Caching for Hybrid and Recurrent LLM Serving
本文提出稀疏前缀缓存方法，通过在稀疏检查点位置存储精确递归状态，优化混合和递归语言模型服务的延迟，实验证明其在实际数据中优于传统启发式方法。
2026-04-17 cs.AI cs.LG
PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
Huawei Zurich Research Center Switzerland（华为苏黎世研究中心）
PRESERVE通过在通信期间预取模型权重和KV缓存到片上缓存，在商用AI加速器上实现高达1.6倍端到端加速，并优化硬件配置额外提升1.25倍性能成本比。
2025-05-26 cs.AI cs.AR cs.DC
KV Cache Transform Coding for Compact Storage in LLM Inference
KVTC通过变换编码实现LLM推理中的高效缓存压缩，保持推理和长上下文准确性，压缩率可达20倍或更高。
2026-03-11 cs.AI cs.CL cs.LG
RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation
University of Southern California（南加州大学）；University of California, Irvine（加利福尼亚大学欧文分校）；Intel Labs（英特尔实验室）
RaReCache是一种基于秩分歧选择性重计算的框架，可让小型模型预填缓存后，大型模型仅重计算关键token即可准确解码，大幅降低跨模型KV缓存复用的预填延迟，提升服务吞吐量。
2026-10-09 cs.AI cs.LG
$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving
$A^3$通过基于注意力的准确KV缓存融合技术，有效降低大语言模型服务的解码延迟和内存开销，提升任务性能。
2025-11-13 cs.AI cs.CL
Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications
IBM Research Yorktown Heights, New York（IBM研究院约克镇高地，纽约）
本文重新评估了预填充-解码解耦服务的性能和能耗影响，发现其性能优势依赖于请求负载和KV传输介质，且解耦服务本身能耗较高。
2025-11-14 cs.AI cs.AR cs.DC
RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
HKUST（香港科技大学）
RadixFlow通过解耦前缀匹配与状态就绪，解决混合LLM服务的执行气泡问题，在5个混合模型上降低平均延迟3%-24%、减少工作轮次11%-44%，Qwen3.5模型的收益主要来自其状态就绪遍历机制。
2026-10-14 cs.AI
Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving
Hanyang University（翰林大学）；Rebellions Republic of Korea（Rebellions）
针对多轮LLM服务中KV缓存线性增长导致的GPU内存和带宽压力，提出Tangram系统，通过确定性预算分配、头组页面和提前负载均衡三项技术实现非均匀KV缓存的高效管理，吞吐量提升达2.6倍。
2026-06-16 cs.LG cs.SE
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University（约翰霍普金斯大学）；Argonne National Laboraotory（阿贡国家实验室）
PTStore 受 CDN 客户端缓存设计启发，通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理，减少缓存访问延迟与负载不平衡，能大幅扩大 KV 缓存大小，使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
Sogang University（西江大学）；Samsung Electronics Co.（三星电子公司）；ETRI（韩国电子通信研究院）
提出LM-CXD，一种针对LLM前缀缓存优化的CXL-SSD，通过块感知KV缓存管理、窗口预取和逐层流水线，显著降低TTFT，接近本地DRAM性能。
2026-09-24 cs.AI cs.AR cs.ET
KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Shanghai Jiao Tong University（上海交通大学）
KVServe通过服务感知和自适应的KV通信压缩框架，提升解耦大语言模型服务的效率，减少延迟和加速时间。
2026-05-13 cs.AI cs.DC cs.NI
DPS: Dual-Mode Precision LLM Serving with Semi-Unified Memory
Seoul National University（首尔国立大学）；Van-Lang Institute of Semiconductor Technology（文郎半导体技术研究院）；Moreh Vietnam（Moreh越南公司）；Moreh（Moreh公司）
DPS通过半统一内存将权重内存变为弹性资源，在KV压力下切换低精度变体以扩展缓存，提升吞吐量2.1-3.3倍，pass@1最高提升41个百分点。
2026-09-29 cs.AI cs.DC cs.ET
KV-RM: Regularizing KV-Cache Movement for Static-Graph LLM Serving
Stevens Institute of Technology（史蒂文斯理工学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Argonne National Laboratory（阿贡国家实验室）；Northwestern University（西北大学）
本文提出KV-RM，通过正则化KV缓存移动提升静态图LLM服务的灵活性，减少内存占用并降低延迟峰值。
2026-07-01 cs.AI cs.AR cs.DC
TraceLab: Characterizing Coding Agent Workloads for LLM Serving
University of Washington（华盛顿大学）；Wuhan University of Technology（武汉理工大学）；Shanghai Jiao Tong University（上海交通大学）
通过收集4300个编码代理会话（含35万LLM步骤和43万工具调用）的真实轨迹，分析发现长自主循环、长上下文短输出、多样化重尾工具调用及高但不完美前缀缓存命中率等特征，为优化服务提供具体方向。
2026-07-01 cs.AI cs.LG cs.PF
GhostServe: A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving
Anonymous Authors（匿名作者）
本文提出GhostServe，一种轻量级检查点系统，通过擦除编码在主机内存中生成和存储奇偶分片，以保护流式KV缓存，提升大语言模型服务的容错性和效率。
2026-03-26 cs.AI cs.DC cs.PF
More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving
MIT（麻省理工学院）；Vizuara（维祖拉公司）
该研究对比LLM服务中张量并行与KV压缩的成本性能，发现压缩在多数场景成本更低，仅当模型规模超80GB卡对应36B参数时需用张量并行，且压缩提升容量、张量并行降低延迟。
2026-08-26 cs.AI
Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
University of Maryland（马里兰大学）；New York University（纽约大学）
本文提出GRIEF模糊器，通过时间多请求追踪发现LLM服务层漏洞，包括15个漏洞，10个已确认，涉及缓存隔离失败、跨请求性能干扰和崩溃问题。
2026-05-11 cs.AI cs.CR cs.LG
OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
Together AI；University of Sydney（悉尼大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出OSCAR方法，通过离线估计注意力感知的协方差结构，实现2位KV缓存量化的高效和准确，同时开发了可部署的系统，提升了LLM服务框架的性能和效率。
2026-11-13 cs.AI cs.DC cs.LG
Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap
Amazon Web Services（亚马逊网络服务）
该研究提出弹性KV缓存机制，测试发现分块预填充已能缩小预留内存回收的性能差距，明确其适用场景并开源弹性VMM分配器。
2026-08-26 cs.AI cs.AR
Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics
Department of Industrial Engineering and Decision Analytics（工业工程与决策分析系）
本文指出大语言模型推理服务已超越通用启发式方法，需数学优化和算法基础。现有服务系统如vLLM和SGLang的算法核心仍沿用传统分布式计算方法，无法适应LLM推理的动态KV缓存、prefill-decode阶段不对称性等特性。
2026-05-02 cs.AI cs.DC
Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
Tandon School of Engineering（工程学院）；New York University（纽约大学）
本文提出软硬件协同设计 Kelle，利用高密度 eDRAM 承载边缘 LLM 的 KV 缓存，并通过细粒度逐出、重计算与刷新控制实现 3.9 倍加速和 4.5 倍节能。
2025-10-16 cs.AI cs.AR
Kalypso: Relational LLM Serving
UMass Amherst（马萨诸塞大学阿默斯特分校）
研究如何提升大语言模型服务语义查询效率，提出关系型大语言模型服务，通过跨语义运算符流水线执行复用KV缓存状态，卡利普索系统利用自适应算法执行查询计划，解决在线调度问题，相比基线系统大幅提高查询完成时间。
2026-08-17 cs.AI cs.CL cs.DB
ProMoE: Fast MoE-based LLM Serving using Proactive Caching
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学平行与分布式系统研究所）；Key Laboratory of System Software (Chinese Academy of Sciences)（中国科学院系统软件重点实验室）；Zhejiang University（浙江大学）
针对边缘设备GPU内存受限、现有MoE大模型缓存卸载方案被动处理缓存未命中影响性能的问题，提出ProMoE主动缓存系统，利用中间结果预取专家，显著提升预填充和解码阶段速度。
2025-09-01 cs.AI cs.DC
UltraQuant: 4-bit KV Caching for Context-Heavy Agents
Advanced Micro Devices（超威半导体）；University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对上下文密集型智能体场景，提出UltraQuant方法，通过4位KV缓存压缩、旋转量化和代码本量化，结合AMD GPU优化，在长上下文多轮任务中延迟降低3.47倍，吞吐量提升1.63倍。
2026-09-14 cs.AI cs.LG cs.PF
ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching
Harvard University（哈佛大学）；University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）；UC Davis（加州大学戴维斯分校）
ShadowServe 是首个 SmartNIC 加速的无干扰分布式前缀缓存系统，通过控制平面与数据平面分离及分块流水线和最小拷贝内存管理，在低带宽下显著降低 TPOT 和 TTFT 并提升吞吐量。
2025-09-21 cs.AI cs.DC cs.LG
Dynamic Flow, Static Graph: KV Cache Reuse for Efficient LLM Serving on Mobile NPUs
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
针对移动NPU静态图与带宽限制，提出计算-存储协同的KV缓存复用设计，通过图内重计算、图间调度及分层管理，将TTFT降低40-60%。
2026-09-29 cs.AI cs.DB cs.OS
FinCacheServe: Dependency-Consistent Answer Reuse for Cost-Efficient RAG Serving over Mutable Enterprise Documents
The Chinese University of Hong Kong（香港中文大学）；Beijing Institute of Technology（北京理工大学）
FinCacheServe为可变企业文档的RAG服务设计依赖一致的答案复用机制，可跳过大量LLM调用，相比现有方法能降低能耗，提升服务成本效率。
2026-07-30 cs.AI cs.IR
Saving GPU Hours in LLM Inference System Development and Online Workloads with Simulation and DBMS-Inspired Cache Replacement Policies
EPFL, Switzerland（苏黎世联邦理工学院）；NUS, Singapore（新加坡国立大学）；POSTECH, South Korea（POSTECH大学）
研究大语言模型推理系统，通过模拟和受数据库管理系统启发的缓存替换策略，节省GPU时间，提出新缓存替换策略并证明其有效性。
2026-07-07 cs.AI cs.PF
Page-EntroKV: Hardware-Aligned, Entropy-Weighted KV-Cache Eviction under Grouped-Query Attention
SRM Institute of Science and Technology（SRM科学与技术学院）
针对GQA下KV缓存驱逐的硬件对齐问题，提出Page-EntroKV框架，利用熵加权池化与页级驱逐，消除并集开销，提升针检索率并保持预算精确。
2026-10-05 cs.LG
Similarity Is Not Validity: Defending LLM Semantic Caches Against Poisoning
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
针对LLM语义缓存投毒攻击，提出基于删除增益和答案检查的防御方法，从缓存键原始文本恢复信息，在5%误报率下阻断82.0%-98.2%投毒条目，开销可忽略。
2026-09-30 cs.AI cs.CR
ObjectCache: Layerwise Object-Storage Retrieval for KV Cache Reuse
ETH Zurich（苏黎世联邦理工学院）；HPE Labs（惠普实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出ObjectCache系统，利用S3兼容对象存储存储KV缓存，通过协同设计存储协议和传输调度，在GPU消费顺序下交付数据，重叠数据传输与计算，从而在不增加集群成本的前提下最小化TTFT延迟。
2026-05-16 cs.AI cs.DC
