Efficient Multi-Adapter LLM Serving via Cross-Model KV-Cache Reuse with Activated LoRA
mit（麻省理工学院）；ibm（国际商业机器公司）
本文提出一种高效LLM服务引擎，通过激活LoRA实现跨模型KV缓存重用，显著降低推理延迟和时间到第一个token，提升多适配器任务的效率。
2025-11-26 cs.AI cs.DC cs.LG
Rethinking Key-Value Cache Compression Techniques for Large Language Model Serving
Nanyang Technological University（南洋理工大学）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab实验室）；SenseTime（商汤科技）
本文从实践视角重新审视LLM服务中的KV cache压缩技术，发现现有实现未针对生产环境优化导致吞吐量次优，且压缩可能增加输出长度和端到端延迟，同时揭示了其在特定任务上的准确性局限，并开源了相关评估工具。
2025-03-31 cs.AI cs.LG
AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving
University of Chicago（芝加哥大学）；Microsoft（微软）
AdaptCache通过动态压缩KV缓存提升语言模型服务的低延迟和高质量性能。
2026-01-15 cs.AI cs.LG cs.OS
Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving
Peking University（北京大学）
提出AsymCache，一种计算延迟感知的KV缓存管理系统，通过多段注意力、缓存驱逐策略和自适应分块调度器，在保持无损精度的同时显著降低TTFT和TPOT。
2026-06-01 cs.AR cs.CL cs.LG
OrbitFlow: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration
Samsung Research（三星研究院）
OrbitFlow通过细粒度KV缓存管理，提高了长上下文LLM服务的SLO达成率和吞吐量，减少了延迟。
2026-03-02 cs.AI cs.LG cs.PF
DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving
University of Chicago（芝加哥大学）；Microsoft（微软公司）
提出首个支持跨相同架构LLM分布式推理节点重用KV缓存的系统DroidSpeak，通过选择性重计算部分层级并流水线化加载，实现高达4倍吞吐量和3.1倍预填充加速且质量损失可忽略。
2025-07-14 cs.AI cs.CL cs.LG
KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression
Carnegie Mellon University（卡内基梅隆大学）
针对推理语言模型长思维链导致KV缓存过大、解码延迟高的问题，提出Kara滑动窗口KV缓存压缩方法，利用双向注意力评分选择信息性KV对并通过Token2Chunk模块扩展为块，结合PagedAttention构建KvLLM推理框架，降低内存占用并提升输出吞吐量。
2026-07-07 cs.AI cs.CL
CXL-SpecKV: A Disaggregated FPGA Speculative KV-Cache for Datacenter LLM Serving
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
CXL-SpecKV通过FPGA加速和内存分散技术，提升数据中心LLM服务的吞吐量和内存效率。
2025-12-11 cs.AI
PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving
介绍用于大语言模型服务的轻量级框架PEEK，核心方法包括维护基数树、双路匹配等，贡献是在缓存命中率、处理帧定时等方面相比各引擎基线有显著提升，且在无可用前缀结构的工作负载上与基线相当。
2026-09-15 cs.AI cs.DC
KV Cache Transform Coding for Compact Storage in LLM Inference
KVTC通过变换编码实现LLM推理中的高效缓存压缩，保持推理和长上下文准确性，压缩率可达20倍或更高。
2026-03-11 cs.AI cs.CL cs.LG
$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving
$A^3$通过基于注意力的准确KV缓存融合技术，有效降低大语言模型服务的解码延迟和内存开销，提升任务性能。
2025-11-13 cs.AI cs.CL
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
University of Chicago（芝加哥大学）；UC Berkeley（伯克利大学）；Tensormesh, Inc.（Tensormesh公司）；MIT（麻省理工学院）；UC Santa Cruz（圣克拉拉大学）；Stanford（斯坦福大学）；Microsoft（微软公司）
EVICPRESS通过联合优化KV缓存压缩与驱逐策略，提高LLM服务效率，实现更低延迟和高质量生成。
2025-12-16 cs.AI cs.LG cs.OS
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系）；Argonne National Laboratory, Lemont, USA（阿贡国家实验室）；Parasail, Inc., San Mateo, USA（Parasail公司）
针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
TinyServe: Query-Aware Cache Selection for Efficient LLM Serving
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
本文提出TinyServe系统，通过查询感知页面选择机制和融合CUDA内核实现选择性KV缓存加载，在无需模型修改的情况下显著提升微型LLM服务的速度与内存效率。
2025-08-28 cs.AI cs.DC
LaCache: Robust Semantic Caching for LLM Serving
LaCache是一种新型语义缓存方案，通过检查查询及其前k个解码标记的缓存命中，可抵御缓存碰撞攻击，提升响应相关性，经多种大语言模型及基准验证了其安全性与效率优势。
2026-10-14 cs.AI
Progressive Sparse Attention: Algorithm and System Co-design for Efficient Attention in LLM Serving
The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud（华为云）
本文提出渐进式稀疏注意力机制PSA，通过算法与系统协同设计自适应调整KV缓存预算，并优化GPU内存与计算流水线，在保证准确率的同时大幅降低缓存使用并提升LLM服务吞吐量。
2025-03-01 cs.AI cs.LG
POLAR: Online Learning for LoRA Adapter Caching and Routing in Edge LLM Serving
Stony Brook University（石英溪大学）
本文提出POLAR算法，通过在线学习解决边缘LLM服务中LoRA适配器的缓存与路由问题，结合缓存控制与路由策略，实现子线性 regrets 的理论保证和实验验证。
2026-04-17 cs.AI cs.LG
Echo: Efficient Co-Scheduling of Hybrid Online-Offline Tasks for Large Language Model Serving
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出Echo系统，通过调度器、KV cache管理器和估算工具包协同工作，在满足在线任务SLO的同时最大化离线任务吞吐量，提高资源利用率。
2025-03-01 cs.AI cs.DC cs.LG
LayerKV: Optimizing Large Language Model Serving with Layer-wise KV Cache Management
Ant Group（蚂蚁集团）
针对大语言模型上下文扩展导致首令牌生成时间（TTFT）飙升的问题，提出分层KV缓存管理方法LayerKV，通过细粒度内存控制与SLO感知调度，在不增硬件、不降性能的前提下大幅降低TTFT与SLO违反率。
2024-10-09 cs.AI cs.DC cs.LG
Characterizing Contention-Induced Reliability Collapse in KV-Cache Timing Side Channels for Multi-Tenant LLM Serving
该研究通过实验表征多租户LLM服务中KV缓存时序侧信道攻击的可靠性，发现争用导致可靠性崩溃，且安静系统测量会高估攻击可靠性。
2026-09-09 cs.AI cs.CR
QCFuse: Query-Aware Cache Fusion via Compressed View for Efficient RAG Serving
Zhejiang University（浙江大学）；East China Normal University（华东师范大学）；Ant Group（蚂蚁集团）；The Hong Kong Polytechnic University（香港理工大学）；Zhejiang Normal University（浙江师范大学）；Tongji University（同济大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
提出QCFuse，一种基于压缩视图的查询感知选择器，通过块锚查询探测和关键层分析实现高效RAG缓存融合，在保持全预填充质量的同时平均加速1.7倍。
2026-06-04 cs.AI cs.DB
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
University of Notre Dame IN, USA（诺丁汉大学）
SplitZip通过GPU友好的无损压缩技术，提升大规模LLM服务中KV缓存的传输效率，实现快速压缩和解压，显著优于现有方法。
2026-06-25 cs.AI cs.DC cs.LG
LLMET: Enabling Cross-Layer Evaluation of Emerging M3D Memories for Energy-Efficient LLM Serving
Georgia Institute of Technology（佐治亚理工学院）；Samsung Semiconductor Inc.（三星半导体公司）
本研究开发跨层仿真框架LLMET，通过实验证实采用M3D技术扩展片上缓存可显著降低不同平台及场景下LLM服务的预填充、解码阶段能耗，为高能效LLM服务系统提供新方案。
2026-07-30 cs.AI cs.AR cs.ET
PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
Huawei Zurich Research Center Switzerland（华为苏黎世研究中心）
PRESERVE通过在通信期间预取模型权重和KV缓存到片上缓存，在商用AI加速器上实现高达1.6倍端到端加速，并优化硬件配置额外提升1.25倍性能成本比。
2025-05-26 cs.AI cs.AR cs.DC
EFIM: Efficient Serving of LLMs for Infilling Tasks with Improved KV Cache Reuse
Sun Yat-sen University（中山大学）；Tencent（腾讯）；University of Science and Technology of China（中国科学技术大学）
本文提出 EFIM，通过转换 FIM 提示词格式并引入片段分词训练方法，解决了 LLM 填充任务中 KV 缓存复用受限及 subtoken 生成问题，使延迟降低 52%、吞吐量提升 98%。
2025-05-29 cs.CL
Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications
IBM Research Yorktown Heights, New York（IBM研究院约克镇高地，纽约）
本文重新评估了预填充-解码解耦服务的性能和能耗影响，发现其性能优势依赖于请求负载和KV传输介质，且解耦服务本身能耗较高。
2025-11-14 cs.AI cs.AR cs.DC
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
Johns Hopkins University（约翰斯·霍普金斯大学）；George Mason University（乔治梅森大学）
本研究提出感知对称性的值缓存合并策略，可在不损害性能和增加架构开销的前提下压缩LLM的值缓存，还能与其他压缩技术结合实现更高压缩比，为内存受限场景下扩展LLM上下文窗口提供了有效方案。
2026-10-09 cs.CL cs.LG
Kalypso: Relational LLM Serving
UMass Amherst（马萨诸塞大学阿默斯特分校）
研究如何提升大语言模型服务语义查询效率，提出关系型大语言模型服务，通过跨语义运算符流水线执行复用KV缓存状态，卡利普索系统利用自适应算法执行查询计划，解决在线调度问题，相比基线系统大幅提高查询完成时间。
2026-08-17 cs.AI cs.CL cs.DB
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University（约翰霍普金斯大学）；Argonne National Laboraotory（阿贡国家实验室）
PTStore 受 CDN 客户端缓存设计启发，通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理，减少缓存访问延迟与负载不平衡，能大幅扩大 KV 缓存大小，使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
DPS: Dual-Mode Precision LLM Serving with Semi-Unified Memory
Seoul National University（首尔国立大学）；Van-Lang Institute of Semiconductor Technology（文郎半导体技术研究院）；Moreh Vietnam（Moreh越南公司）；Moreh（Moreh公司）
DPS通过半统一内存将权重内存变为弹性资源，在KV压力下切换低精度变体以扩展缓存，提升吞吐量2.1-3.3倍，pass@1最高提升41个百分点。
2026-09-29 cs.AI cs.DC cs.ET
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
Sogang University（西江大学）；Samsung Electronics Co.（三星电子公司）；ETRI（韩国电子通信研究院）
提出LM-CXD，一种针对LLM前缀缓存优化的CXL-SSD，通过块感知KV缓存管理、窗口预取和逐层流水线，显著降低TTFT，接近本地DRAM性能。
2026-09-24 cs.AI cs.AR cs.ET
KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Shanghai Jiao Tong University（上海交通大学）
KVServe通过服务感知和自适应的KV通信压缩框架，提升解耦大语言模型服务的效率，减少延迟和加速时间。
2026-05-13 cs.AI cs.DC cs.NI
InstCache: A Predictive Cache for LLM Serving
针对 LLM 服务中指令级缓存因指令高变异性导致命中率低的问题，提出预测性缓存机制 InstCache，利用 LLM 重排指令表示空间以构建空间局部性并预测潜在指令，在 WildChat 等数据集上显著提升了命中率并降低了生成延迟。
2025-07-14 cs.CL cs.DC
A$^2$ATS: Retrieval-Based KV Cache Reduction via Windowed Rotary Position Embedding and Query-Aware Vector Quantization
Wuhan University（武汉大学）；Alibaba Cloud Computing（阿里云计算）；Jinan University（济南大学）；City University of Hong Kong（香港城市大学）；MBZUAI
本文提出A$^2$ATS方法，通过窗口旋转位置嵌入和查询感知向量量化实现检索式KV缓存缩减，在降低开销的同时提升长上下文LLM服务吞吐量高达2.7倍。
2025-06-03 cs.CL
RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
HKUST（香港科技大学）
RadixFlow通过解耦前缀匹配与状态就绪，解决混合LLM服务的执行气泡问题，在5个混合模型上降低平均延迟3%-24%、减少工作轮次11%-44%，Qwen3.5模型的收益主要来自其状态就绪遍历机制。
2026-10-14 cs.AI
Continuous Semantic Caching for Low-Cost LLM Serving
Carnegie Mellon University（卡内基梅隆大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；City University of Hong Kong（香港城市大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出连续语义缓存框架，通过动态ε-网离散化与核岭回归，解决连续查询空间下的缓存优化问题，降低计算和切换开销。
2026-10-08 cs.CL cs.LG
KV-RM: Regularizing KV-Cache Movement for Static-Graph LLM Serving
Stevens Institute of Technology（史蒂文斯理工学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Argonne National Laboratory（阿贡国家实验室）；Northwestern University（西北大学）
本文提出KV-RM，通过正则化KV缓存移动提升静态图LLM服务的灵活性，减少内存占用并降低延迟峰值。
2026-07-01 cs.AI cs.AR cs.DC
R-KV: Redundancy-aware KV Cache Compression for Reasoning Models
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）；University of California - San Diego（加州大学圣地亚哥分校）；University of Surrey（萨里大学）；University of California - Berkeley（加州大学伯克利分校）
R-KV通过冗余感知机制实现推理模型KV缓存压缩，以10%的缓存占用率达到接近100%的性能，显著优于现有方法。
2026-01-22 cs.AI cs.CL
Sparse Prefix Caching for Hybrid and Recurrent LLM Serving
本文提出稀疏前缀缓存方法，通过在稀疏检查点位置存储精确递归状态，优化混合和递归语言模型服务的延迟，实验证明其在实际数据中优于传统启发式方法。
2026-04-17 cs.AI cs.LG
GhostServe: A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving
Anonymous Authors（匿名作者）
本文提出GhostServe，一种轻量级检查点系统，通过擦除编码在主机内存中生成和存储奇偶分片，以保护流式KV缓存，提升大语言模型服务的容错性和效率。
2026-03-26 cs.AI cs.DC cs.PF
TraceLab: Characterizing Coding Agent Workloads for LLM Serving
University of Washington（华盛顿大学）；Wuhan University of Technology（武汉理工大学）；Shanghai Jiao Tong University（上海交通大学）
通过收集4300个编码代理会话（含35万LLM步骤和43万工具调用）的真实轨迹，分析发现长自主循环、长上下文短输出、多样化重尾工具调用及高但不完美前缀缓存命中率等特征，为优化服务提供具体方向。
2026-07-01 cs.AI cs.LG cs.PF
Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
University of Maryland（马里兰大学）；New York University（纽约大学）
本文提出GRIEF模糊器，通过时间多请求追踪发现LLM服务层漏洞，包括15个漏洞，10个已确认，涉及缓存隔离失败、跨请求性能干扰和崩溃问题。
2026-05-11 cs.AI cs.CR cs.LG
Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap
Amazon Web Services（亚马逊网络服务）
该研究提出弹性KV缓存机制，测试发现分块预填充已能缩小预留内存回收的性能差距，明确其适用场景并开源弹性VMM分配器。
2026-08-26 cs.AI cs.AR
Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics
Department of Industrial Engineering and Decision Analytics（工业工程与决策分析系）
本文指出大语言模型推理服务已超越通用启发式方法，需数学优化和算法基础。现有服务系统如vLLM和SGLang的算法核心仍沿用传统分布式计算方法，无法适应LLM推理的动态KV缓存、prefill-decode阶段不对称性等特性。
2026-05-02 cs.AI cs.DC
OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
Together AI；University of Sydney（悉尼大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出OSCAR方法，通过离线估计注意力感知的协方差结构，实现2位KV缓存量化的高效和准确，同时开发了可部署的系统，提升了LLM服务框架的性能和效率。
2026-05-18 cs.AI cs.DC cs.LG
More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving
MIT（麻省理工学院）；Vizuara（维祖拉公司）
该研究对比LLM服务中张量并行与KV压缩的成本性能，发现压缩在多数场景成本更低，仅当模型规模超80GB卡对应36B参数时需用张量并行，且压缩提升容量、张量并行降低延迟。
2026-08-26 cs.AI
Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
Tandon School of Engineering（工程学院）；New York University（纽约大学）
本文提出软硬件协同设计 Kelle，利用高密度 eDRAM 承载边缘 LLM 的 KV 缓存，并通过细粒度逐出、重计算与刷新控制实现 3.9 倍加速和 4.5 倍节能。
2025-10-16 cs.AI cs.AR
VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Amazon（亚马逊）；AWS AI
针对现有KV缓存压缩方法直接迁移到视觉-语言模型效果不佳的问题，提出兼具稀疏性与模态感知的VL-Cache压缩方案，在仅保留10%缓存的情况下保持精度，实现显著的推理加速与内存节省。
2024-10-29 cs.AI cs.CL cs.CV
Dynamic Flow, Static Graph: KV Cache Reuse for Efficient LLM Serving on Mobile NPUs
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
针对移动NPU静态图与带宽限制，提出计算-存储协同的KV缓存复用设计，通过图内重计算、图间调度及分层管理，将TTFT降低40-60%。
2026-09-29 cs.AI cs.DB cs.OS
ProMoE: Fast MoE-based LLM Serving using Proactive Caching
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学平行与分布式系统研究所）；Key Laboratory of System Software (Chinese Academy of Sciences)（中国科学院系统软件重点实验室）；Zhejiang University（浙江大学）
针对边缘设备GPU内存受限、现有MoE大模型缓存卸载方案被动处理缓存未命中影响性能的问题，提出ProMoE主动缓存系统，利用中间结果预取专家，显著提升预填充和解码阶段速度。
2025-09-01 cs.AI cs.DC
FinCacheServe: Dependency-Consistent Answer Reuse for Cost-Efficient RAG Serving over Mutable Enterprise Documents
The Chinese University of Hong Kong（香港中文大学）；Beijing Institute of Technology（北京理工大学）
FinCacheServe为可变企业文档的RAG服务设计依赖一致的答案复用机制，可跳过大量LLM调用，相比现有方法能降低能耗，提升服务成本效率。
2026-07-30 cs.AI cs.IR
Saving GPU Hours in LLM Inference System Development and Online Workloads with Simulation and DBMS-Inspired Cache Replacement Policies
EPFL, Switzerland（苏黎世联邦理工学院）；NUS, Singapore（新加坡国立大学）；POSTECH, South Korea（POSTECH大学）
研究大语言模型推理系统，通过模拟和受数据库管理系统启发的缓存替换策略，节省GPU时间，提出新缓存替换策略并证明其有效性。
2026-07-07 cs.AI cs.PF
Similarity Is Not Validity: Defending LLM Semantic Caches Against Poisoning
The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
针对LLM语义缓存投毒攻击，提出基于删除增益和答案检查的防御方法，从缓存键原始文本恢复信息，在5%误报率下阻断82.0%-98.2%投毒条目，开销可忽略。
2026-09-30 cs.AI cs.CR
