Rethinking Key-Value Cache Compression Techniques for Large Language Model Serving
Nanyang Technological University(南洋理工大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室);SenseTime(商汤科技)
本文从实践视角重新审视LLM服务中的KV cache压缩技术,发现现有实现未针对生产环境优化导致吞吐量次优,且压缩可能增加输出长度和端到端延迟,同时揭示了其在特定任务上的准确性局限,并开源了相关评估工具。
2025-03-31 cs.AI cs.LG
Lossless KV Cache Compression to 2%
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学)
本文提出跨层潜在注意力(CLLA)架构,通过注意力头/维度缩减、层共享和量化技术将KV缓存压缩至原始大小2%以下,并在大多数任务上实现无损性能。
2024-10-20 cs.AI cs.CL
Meta-Soft: Leveraging Composable Meta-Tokens for Context-Preserving KV Cache Compression
Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);University of Macau(澳门大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hong Kong University of Science and Technology(香港科技大学)
提出Meta-Soft动态压缩框架,通过可学习正交基矩阵和Gumbel-Softmax选择网络合成元标记,结合注意力流整合机制保留丢弃上下文信息,解决KV缓存压缩中的信息丢失和上下文断裂问题。
2026-05-23 cs.AI
Adaptive KV-Cache Compression without Manually Setting Budget
针对现有KV缓存压缩方法需手动设固定预算导致性能次优的问题,提出GVote自适应压缩方案,通过蒙特卡洛采样预测注意力需求自动确定预算,在多基准上实现2倍内存缩减且准确率更优或相当。
2025-09-03 cs.AI cs.DB
The Pitfalls of KV Cache Compression
University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了KV缓存压缩在多指令提示中的问题,发现某些指令在压缩后性能下降明显,提出改进KV缓存淘汰策略以提升多指令任务表现。
2026-05-13 cs.AI cs.LG
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
Peking University(北京大学);Tencent(腾讯);BeiHang University(北京航空航天大学)
针对大语言模型长上下文推理的KV缓存内存瓶颈,提出BELT框架,通过学习型秩分配实现高效低秩压缩,在提升模型质量与吞吐量的同时实现显著缓存压缩效果。
2026-10-14 cs.AI cs.LG
EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
University of Chicago(芝加哥大学);UC Berkeley(伯克利大学);Tensormesh, Inc.(Tensormesh公司);MIT(麻省理工学院);UC Santa Cruz(圣克拉拉大学);Stanford(斯坦福大学);Microsoft(微软公司)
EVICPRESS通过联合优化KV缓存压缩与驱逐策略,提高LLM服务效率,实现更低延迟和高质量生成。
2025-12-16 cs.AI cs.LG cs.OS
KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction
ByteDance Inc.(字节跳动公司)
KVReviver通过基于草图算法的可逆方法,在有限内存下实现高效KV缓存压缩,保持推理准确性。
2025-12-01 cs.AI cs.CL
Cache-Aware Prompt Compression:A Two-Tier Cost Model for LLM API Caching
PayPal Inc.(贝宝公司)
研究大语言模型API缓存成本,发现现有方法不足。提出缓存感知提示压缩(CAPC),结合查询无关压缩与缓存控制。经实验验证,CAPC在多种配置下成本最低,在生产工作负载中表现出色,验证了交叉模型负投资回报率预测。
2026-07-20 cs.AI cs.LG
KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression
Carnegie Mellon University(卡内基梅隆大学)
针对推理语言模型长思维链导致KV缓存过大、解码延迟高的问题,提出Kara滑动窗口KV缓存压缩方法,利用双向注意力评分选择信息性KV对并通过Token2Chunk模块扩展为块,结合PagedAttention构建KvLLM推理框架,降低内存占用并提升输出吞吐量。
2026-07-07 cs.AI cs.CL
Expected Attention: KV Cache Compression by Estimating Attention from Future Queries Distribution
Sapienza University of Rome(萨皮恩扎罗马大学);NVIDIA(英伟达)
针对大语言模型KV缓存内存瓶颈及现有剪枝方法的实际局限,提出无需训练的预期注意力方法,通过预测未来查询注意力估计KV对重要性,在两阶段均优于基线,还发布了含20余种技术的KVPress库。
2025-10-01 cs.AI cs.CL
Not All Heads Matter: A Head-Level KV Cache Compression Method with Integrated Retrieval and Reasoning
University of California, Riverside(加州大学河滨分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft(微软公司)
提出头部级KV缓存压缩方法HeadKV及HeadKV-R2,通过估计注意力头在检索与推理任务中的重要性,仅保留1.5%缓存即可达到完整缓存97%的性能。
2025-10-23 cs.AI cs.CL
KVCapsule: Efficient Sequential KV Cache Compression for Vision-Language Models with Asymmetric Redundancy
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AMD
本文提出KVCapsule,一种针对视觉语言模型的KV缓存压缩框架,通过轻量压缩和重建组件实现内存节省,提升吞吐量并减少内存占用,同时保持精度。
2026-05-14 cs.AI cs.CV
SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
针对大语言模型KV缓存高效压缩需求,提出基于SVD的K缓存混合精度量化方法SVDq,可实现1.25比特等效精度,结合键稀疏化最高达410倍压缩比且性能几乎无损。
2025-02-21 cs.AI cs.CL cs.LG
VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference
Zhejiang University(浙江大学);Meituan(美团)
针对语音大语言模型长上下文推理的KV缓存内存瓶颈,提出无训练两阶段语义锚定框架VoxZip,在多音频基准上实现高效压缩,维持高性能并提升推理效率。
2026-08-11 cs.AI cs.SD
STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control
University of Washington(华盛顿大学)
提出STAR-KV框架,通过可微阈值机制实现注意力头和块级别的自适应秩选择,结合混合分解和低秩感知混合精度量化,在多种LLM上达到75%的KV缓存压缩,结合量化可减少20倍,并实现6.9倍注意力模块加速和3.1倍端到端生成吞吐提升。
2026-06-07 cs.AI cs.LG
KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache
Temple University(特伦特大学);University of Houston(休斯顿大学)
针对大语言模型长上下文推理中KV缓存内存占用过高的问题,提出了适配两类推理系统的KVComp有损压缩框架,通过算法与架构协同设计实现更高内存缩减率与吞吐量,且精度损失极小。
2025-08-30 cs.AI cs.DC
ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院)
针对低秩 KV cache 压缩忽视 Keys 与 Values 差异的问题,本文提出 ReCalKV,通过 HSR 分组重排和 OVC 离线校准,在高压缩率下显著减少性能损失。
2025-09-27 cs.AI cs.LG
Information-Aware KV Cache Compression for Long Reasoning
Shanghai Jiao Tong University(上海交通大学)
提出InfoKV框架,通过结合预测不确定性与注意力分数进行KV缓存压缩,在长上下文推理中优于现有方法。
2026-06-26 cs.AI cs.CL
LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy
Georgia Tech(佐治亚理工学院);Microsoft(微软公司)
本文提出LoRC方法,通过对LLMs的KV权重矩阵进行低秩近似并结合渐进式压缩策略,在无需重新训练和任务特异性分析的情况下,显著降低GPU内存占用并保持模型性能。
2024-10-04 cs.AI cs.CL cs.LG
KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference
KeepKV通过自适应KV缓存合并方法,在严格内存限制下实现高效LLM推理,实现无损压缩并提升生成质量。
2025-11-27 cs.AI cs.CL cs.LG
CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
CommonKV提出一种免训练的跨层KV缓存压缩方法,通过相邻参数共享和SVD权重共享实现潜在缓存合并,并引入基于余弦相似度的自适应预算分配,在多个基准上以98%压缩比保持性能。
2025-08-22 cs.AI cs.LG
ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs
Information Hub, The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学信息中心);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
针对大语言模型长上下文处理中KV缓存内存增长与注意力计算的瓶颈,该研究提出无需重训练的ZSMerge动态压缩框架,在大幅降低内存占用、提升推理速度的同时维持了生成质量。
2025-10-05 cs.AI cs.CL
AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor
Department of Computer Science, Tufts University(塔夫茨大学计算机科学系);Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系)
提出AnchorKV,一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法,在保持实用性的同时显著提升安全性。
2026-06-17 cs.AI cs.LG
More Than a Quick Glance: Overcoming the Greedy Bias in KV-Cache Compression
Indian Institute of Technology, Roorkee(印度理工学院拉胡尔学院)
LASER-KV通过块级累积策略克服KV缓存压缩中的贪婪偏差,实现更稳定的性能和更高的准确性。
2026-02-02 cs.AI cs.CL
PackKV: Reducing KV Cache Memory Footprint through LLM-Aware Lossy Compression
Temple University(特伦大学);Argonne National Laboratory(阿贡国家实验室)
PackKV通过LLM-aware的有损压缩技术,显著减少KV缓存内存占用并提升计算效率。
2026-01-07 cs.AI cs.DC
Q-Filters: Leveraging QK Geometry for Efficient KV Cache Compression
Inria(法国国家信息与自动化研究所);Sapienza University of Rome(罗马大学);University of Edinburgh(爱丁堡大学)
本文提出了一种免训练的 KV Cache 压缩方法 Q-Filters,利用 Query 和 Key 向量特性无需计算注意力图即可近似注意力分数,兼容 FlashAttention,在长上下文任务中表现优异。
2025-03-04 cs.AI cs.CL
PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Peking University(北京大学);Nanjing University(南京大学);University of Surrey(Surrey 大学);Qwen(通义实验室);University of California - Riverside(加州大学河滨分校);Microsoft(微软公司)
该研究发现 LLM 存在金字塔式信息汇聚现象,并据此提出按层动态分配缓存的 PyramidKV,以极低 KV 缓存实现优异长上下文性能。
2025-05-15 cs.AI cs.CL
Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
The Hong Kong University of Science(香港科学与技术大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST傅种群研究院)
本文提出KVFundaBench基准测试,揭示了在高密度推理中压缩导致的严重任务依赖性退化问题,并提出ShotKV方法,通过分离prefill和解码阶段以优先保持语义完整性,提升了长上下文生成任务的准确率并降低了延迟。
2026-05-12 cs.AI cs.CL
AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference
Alibaba Group(阿里巴巴集团)
本文提出AirCache,通过模态间相关性评估视觉KV缓存重要性并自适应分配逐层预算,在仅保留10%视觉缓存时保持性能,并将解码延迟降低29%至66%。
2025-07-23 cs.AI cs.CV
STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models
EPIC Lab, SJTU(上海交通大学EPIC实验室);HKUST (GZ)(香港科技大学(广州));The University of Sydney(悉尼大学);UESTC(电子科技大学);ZJU(浙江大学)
提出STaR-KV,一种无需训练的KV缓存压缩框架,通过子空间感知评分、时间稳定性折扣和熵驱动温度三个维度自适应校准令牌重要性,在GUI任务中实现高精度和近40%的峰值GPU内存节省。
2026-06-01 cs.AI cs.CV
One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);John Class Zhiyuan College(约翰·类智院);School of Computer Science(计算机科学学院);School of Mathematical Sciences(数学科学学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
DynaKV 是一种基于令牌级自适应压缩的KV缓存压缩方法,通过动态分配压缩率提升压缩比下的保真度,实现内存减少与生成质量的平衡。
2026-02-03 cs.AI cs.CL cs.LG
BaKlaVa -- Budgeted Allocation of KV cache for Long-context Inference
The Pennsylvania State University(宾夕法尼亚州立大学);Argonne National Laboratory(阿贡国家实验室)
BaKlaVa通过估计各KV缓存重要性,为每个缓存分配最优内存预算,在LLaMA-3-8B和Qwen2.5-7B上实现高达70%压缩比且保持性能,高压缩下精度提升一个数量级。
2025-02-24 cs.AI cs.LG
Compactor: Calibrated Query-Agnostic KV Cache Compression with Approximate Leverage Scores
Johns Hopkins University(约翰霍普金斯大学)
Compactor通过近似杠杆分数实现查询无关的KV缓存压缩,减少内存占用并提升性能,适用于多种语言模型部署场景。
2025-12-08 cs.AI cs.CL
VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊);AWS AI
针对现有KV缓存压缩方法直接迁移到视觉-语言模型效果不佳的问题,提出兼具稀疏性与模态感知的VL-Cache压缩方案,在仅保留10%缓存的情况下保持精度,实现显著的推理加速与内存节省。
2024-10-29 cs.AI cs.CL cs.CV
ActKV: Efficient LLM Agents through Action-Guided KV Cache Management
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
ActKV提出面向智能体LLM推理的KV缓存压缩框架,通过动作导向驱逐、置信度驱动预算分配和页感知管理,在仅用25.98%内存时保留98.53%准确率,并提升3.97倍吞吐量。
2026-09-28 cs.AI cs.OS
Revisiting Multimodal KV Cache Compression: A Frequency-Domain-Guided Outlier-KV-Aware Approach
College of Future Information Technology, Fudan University(未来信息科技学院,复旦大学);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhangjiang Laboratory(张江实验室)
本文提出FlashCache,一种基于频域的异常KV感知KV缓存压缩框架,通过保留关键KV对提升解码效率并降低内存使用。
2026-03-05 cs.AI cs.CV cs.LG
AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving
University of Chicago(芝加哥大学);Microsoft(微软)
AdaptCache通过动态压缩KV缓存提升语言模型服务的低延迟和高质量性能。
2026-01-15 cs.AI cs.LG cs.OS
LAVa: Layer-wise KV Cache Eviction with Dynamic Budget Allocation
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);School of Artificial Intelligence, Nanjing University(人工智能学院,南京大学);Stepfun
本文提出 LAVa,一种无需训练的统一缓存压缩框架,通过最小化信息损失实现逐层 KV Cache 驱逐与动态头/层预算分配,在多基准测试中表现优越并揭示了不同预算对各类任务的影响。
2025-09-11 cs.AI cs.LG
Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI
本文提出 LESS,通过将恒定大小缓存与基于驱逐的 KV 缓存方法结合,在高效推理的同时保留全部 token 信息,显著缩小与全缓存的性能差距。
2024-06-12 cs.AI cs.LG
When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression
本文研究了价值感知KV驱逐在非单调缓存压缩中的有效性,通过固定合同诊断方法分析了驱逐策略在三个关键步骤中的表现,验证了其在不同基准测试中的性能。
2026-05-07 cs.AI cs.LG
StreamMem: Query-Agnostic KV Cache Memory for Streaming Video Understanding
Meta AI;New York University(纽约大学)
本文提出StreamMem,一种查询无关的流式KV缓存记忆机制,通过流式编码视频帧并利用注意力分数压缩KV缓存,在固定内存下实现长视频高效问答,在多个基准上达到领先性能。
2025-08-21 cs.AI cs.CV
MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
本文提出MuKV,一种多粒度KV缓存压缩方法,通过半分层检索方法提升长流视频问答的效率和准确性,实验表明其在答案准确率、内存使用和在线问答效率方面均优于基线方法。
2026-05-21 cs.AI cs.CV cs.MM
No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization
KAIST(韩国科学技术院);NAVER Cloud(NAVER 云);POSTECH(浦项科技大学);AITRICS
本文针对 KV 缓存驱逐导致的安全、幻觉与上下文丢失问题,提出 MiKV 混合精度压缩框架,对重要 KV 高精度保留、被驱逐 KV 低精度留存,实现压缩率与性能的最优权衡。
2024-02-28 cs.AI cs.LG
Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration
Data Science(数据科学);Marketing Data Scientist(市场数据科学家)
针对CAG难以扩展至大型动态知识库的问题,提出ACC动态压缩管理上下文,并结合选择性检索构建混合CAG-RAG框架,提升效率、可扩展性与多跳推理能力。
2025-05-13 cs.AI cs.CL
Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
University of Bayreuth(拜罗伊特大学)
研究长上下文服务中KV缓存优化,通过工作负载感知基准评估多种优化机制,测量多项指标。发现仅压缩率不能预测性能,不同机制表现各异,为长上下文服务系统提供工作负载感知的KV缓存机制选择及部署指导。
2026-07-08 cs.AI cs.CL cs.DC
Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
Purdue University(普渡大学)
提出Eigen Attention,在低秩空间进行注意力操作以压缩KV缓存,与现有技术兼容,在OPT、MPT、Llama上实现缓存大小减40%、延迟减60%,性能损失小。
2024-11-08 cs.AI cs.CL cs.LG
SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression
Centre for Responsible AI(负责任人工智能中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Department of Electrical Engineering(电气工程系);Wadhwani School of Data Science and Artificial Intelligence(Wadhwani数据科学与人工智能学院)
SWAN通过无解压缩的KV缓存压缩技术,实现减少推理内存占用的同时保持高性能,提供灵活的压缩级别调整能力。
2025-11-24 cs.AI cs.CL cs.LG
HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs
Intellifusion Inc.(智融科技公司)
针对长上下文 LLM 推理中 KV 缓存内存瓶颈,提出融合键量化、值卸载与动态逐出的异构注意力框架 HCAttention,无需微调即可在极低缓存下保持精度并支持超长上下文。
2025-07-26 cs.AI cs.CL cs.LG
Joint Encoding of KV-Cache Blocks for Scalable LLM Serving
Distributed and Parallel Software Lab(分布式并行软件实验室);Huawei Technologies(华为技术)
通过联合编码KV缓存块,实现高并发LLM服务,提升吞吐量并减少内存消耗。
2026-01-06 cs.AI cs.LG
Tailoring the Quantization Space for 1-Bit KV Cache Compression
Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对长上下文推理中KV缓存的内存瓶颈,提出TaSQ方法,通过查询引导通道加权、跨头归一化和协方差感知通道分组定制VQ量化空间,在1比特压缩下显著优于现有基线,并支持更大批处理与更高吞吐量。
2026-10-05 cs.AI cs.CL cs.LG
RAP: KV-Cache Compression via RoPE-Aligned Pruning
RAP通过RoPE对齐剪枝技术,有效压缩KV缓存、注意力参数和FLOPs,同时保持模型精度,显著降低推理延迟。
2026-08-04 cs.AI cs.LG
Lossless Compression of Neural Network Components: Weights, Checkpoints, and K/V Caches in Low-Precision Formats
Intel(英特尔)
本文将ZipNN无损压缩方法从FP32/BF16扩展到FP8和FP4低精度格式,通过分离压缩指数与尾数实现BF16最高62%、FP8最高83%的压缩率,并发现LLM的K/V缓存同样具有可压缩性。
2025-08-20 cs.AI cs.LG cs.NE
A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression
Sapienza University of Rome(罗马第一大学);The University of Edinburgh(爱丁堡大学)
针对大语言模型KV缓存内存占用高的问题,提出基于键嵌入$L_2$范数的压缩策略,在多任务下实现高压缩比且无精度损失,兼容FlashAttention。
2024-11-03 cs.AI cs.CL