Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches
研究针对Transformer KV缓存压缩问题,提出Codec-Gauge方法,通过训练后缓存坐标层学习正交通道变换,结合频率分布目标优化。实验表明该方法能有效降低散度、提升量化质量,确立缓存坐标几何为提高压缩保真度的实用训练后变量。
2026-07-24 cs.AI cs.LG
STAR-KV: Low-Rank KV Cache Compression via Soft Thresholding for Adaptive Rank Control
University of Washington(华盛顿大学)
提出STAR-KV框架,通过可微阈值机制实现注意力头和块级别的自适应秩选择,结合混合分解和低秩感知混合精度量化,在多种LLM上达到75%的KV缓存压缩,结合量化可减少20倍,并实现6.9倍注意力模块加速和3.1倍端到端生成吞吐提升。
2026-06-07 cs.AI cs.LG
EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
University of Chicago(芝加哥大学);UC Berkeley(伯克利大学);Tensormesh, Inc.(Tensormesh公司);MIT(麻省理工学院);UC Santa Cruz(圣克拉拉大学);Stanford(斯坦福大学);Microsoft(微软公司)
EVICPRESS通过联合优化KV缓存压缩与驱逐策略,提高LLM服务效率,实现更低延迟和高质量生成。
2025-12-16 cs.AI cs.LG cs.OS
The risk of KV cache compression
RWTH Aachen University(亚琛工业大学);Stanford University(斯坦福大学)
针对长序列Transformer推理中KV缓存压缩的瓶颈,本文通过最小化最大风险理论,揭示了缓存内在可压缩性决定准确压缩的边界,并设计出在因果掩码下达到最优风险的实用算法,在LongBench上取得良好效果。
2026-11-13 cs.LG
ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration
Shanghai Jiao Tong University(上海交通大学);ETH Zürich(苏黎世联邦理工学院)
针对低秩 KV cache 压缩忽视 Keys 与 Values 差异的问题,本文提出 ReCalKV,通过 HSR 分组重排和 OVC 离线校准,在高压缩率下显著减少性能损失。
2025-09-27 cs.AI cs.LG
On the Limits of Learned Importance Scoring for KV Cache Compression
Georgia Institute of Technology(佐治亚理工学院)
本文研究了学习重要性评分在KV缓存压缩中的局限性,发现基于位置的启发式方法和预填注意力信号在性能上优于复杂学习评分器。
2026-01-13 cs.AI cs.LG
CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing
CommonKV提出一种免训练的跨层KV缓存压缩方法,通过相邻参数共享和SVD权重共享实现潜在缓存合并,并引入基于余弦相似度的自适应预算分配,在多个基准上以98%压缩比保持性能。
2025-08-22 cs.AI cs.LG
AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor
Department of Computer Science, Tufts University(塔夫茨大学计算机科学系);Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系)
提出AnchorKV,一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法,在保持实用性的同时显著提升安全性。
2026-06-17 cs.AI cs.LG
How Query Visibility Changes KV-Cache Compression Rankings: A Matched-Budget Audit
University of Technology Sydney(悉尼科技大学)
研究查询可见性对键值缓存压缩排名的影响,通过匹配预算审计六种压缩方法与三个基线,发现查询可见性改变排名,且方法在两种协议下的下降与问题对评分信号的可见度有关。
2026-07-15 cs.AI cs.LG
KVpop -- Key-Value Cache Compression with Predictive Online Pruning
NXAI;Johannes Kepler University Linz(约瑟夫·施密特大学林茨)
研究键值缓存增长瓶颈,介绍KVpop通过直接监督保留或丢弃决策学习固定预算键值逐出策略,有新计分器及延迟内存计分器,在数学推理任务中压缩缓存时性能优于基线。
2026-07-10 cs.AI cs.LG
SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
针对大语言模型KV缓存高效压缩需求,提出基于SVD的K缓存混合精度量化方法SVDq,可实现1.25比特等效精度,结合键稀疏化最高达410倍压缩比且性能几乎无损。
2025-02-21 cs.AI cs.CL cs.LG
SideQuest: Model-Driven KV Cache Management for Long-Horizon Agentic Reasoning
NVIDIA
SideQuest通过利用大型推理模型自身进行KV缓存压缩,有效减少代理任务中的内存使用,同时保持较高的准确性。
2026-02-27 cs.AI cs.LG
Every Cache Entry Earns Its Place: Global Allocation of Resolution and Coverage for KV Cache Compression
针对LLM长上下文处理的KV缓存瓶颈,提出无需额外训练的GraceKV方法,通过全局资源分配平衡缓存的分辨率与覆盖范围,在32项实验设置中24项排名第一,128倍压缩仍稳健。
2026-10-14 cs.LG
LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy
Georgia Tech(佐治亚理工学院);Microsoft(微软公司)
本文提出LoRC方法,通过对LLMs的KV权重矩阵进行低秩近似并结合渐进式压缩策略,在无需重新训练和任务特异性分析的情况下,显著降低GPU内存占用并保持模型性能。
2024-10-04 cs.AI cs.CL cs.LG
BaKlaVa -- Budgeted Allocation of KV cache for Long-context Inference
The Pennsylvania State University(宾夕法尼亚州立大学);Argonne National Laboratory(阿贡国家实验室)
BaKlaVa通过估计各KV缓存重要性,为每个缓存分配最优内存预算,在LLaMA-3-8B和Qwen2.5-7B上实现高达70%压缩比且保持性能,高压缩下精度提升一个数量级。
2025-02-24 cs.AI cs.LG
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
Microsoft Applied Sciences Group (ASG)(微软应用科学组(ASG))
AttSVD通过基于提示注意力几何的在线截断SVD压缩KV缓存,保留所有令牌并自适应调整秩,在多种模型和基准上以最多50%内存保持与密集缓存相当的性能。
2026-10-07 cs.AI cs.LG
KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference
KeepKV通过自适应KV缓存合并方法,在严格内存限制下实现高效LLM推理,实现无损压缩并提升生成质量。
2025-11-27 cs.AI cs.CL cs.LG
UniCache: Task- and Type-Aware KV Cache Compression for Unified Multimodal Models
针对统一多模态模型中KV缓存压缩忽视任务与类型差异的问题,提出无需训练的UniCache框架,通过离线校准和注意力引导分配实现任务感知压缩,在理解、编辑和生成任务中分别达到5倍和2.5倍压缩,吞吐量提升1.78倍。
2026-09-29 cs.LG
LAVa: Layer-wise KV Cache Eviction with Dynamic Budget Allocation
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);School of Artificial Intelligence, Nanjing University(人工智能学院,南京大学);Stepfun
本文提出 LAVa,一种无需训练的统一缓存压缩框架,通过最小化信息损失实现逐层 KV Cache 驱逐与动态头/层预算分配,在多基准测试中表现优越并揭示了不同预算对各类任务的影响。
2025-09-11 cs.AI cs.LG
Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI
本文提出 LESS,通过将恒定大小缓存与基于驱逐的 KV 缓存方法结合,在高效推理的同时保留全部 token 信息,显著缩小与全缓存的性能差距。
2024-06-12 cs.AI cs.LG
When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression
本文研究了价值感知KV驱逐在非单调缓存压缩中的有效性,通过固定合同诊断方法分析了驱逐策略在三个关键步骤中的表现,验证了其在不同基准测试中的性能。
2026-05-07 cs.AI cs.LG
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
KV-COBRA通过按注意力头协同优化秩和位宽分配,在低比特率下实现更优的KV缓存压缩,显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization
LLMs Research Inc.(LLMs研究公司)
本文提出通过在快速沃尔什- Hadamard域中量化角度来压缩KV缓存条目,采用随机对角旋转使连续元素对在单位圆上近似均匀分布。通过每层早期提升技术,独立配置每层K和V代码本大小,为模型特定的关键层分配更高精度,实现四模型无损压缩和六模型近无损质量压缩。
2026-03-29 cs.AI cs.LG
Joint Encoding of KV-Cache Blocks for Scalable LLM Serving
Distributed and Parallel Software Lab(分布式并行软件实验室);Huawei Technologies(华为技术)
通过联合编码KV缓存块,实现高并发LLM服务,提升吞吐量并减少内存消耗。
2026-01-06 cs.AI cs.LG
RAP: KV-Cache Compression via RoPE-Aligned Pruning
RAP通过RoPE对齐剪枝技术,有效压缩KV缓存、注意力参数和FLOPs,同时保持模型精度,显著降低推理延迟。
2026-08-04 cs.AI cs.LG
One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);John Class Zhiyuan College(约翰·类智院);School of Computer Science(计算机科学学院);School of Mathematical Sciences(数学科学学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
DynaKV 是一种基于令牌级自适应压缩的KV缓存压缩方法,通过动态分配压缩率提升压缩比下的保真度,实现内存减少与生成质量的平衡。
2026-02-03 cs.AI cs.CL cs.LG
Lexico: Extreme KV Cache Compression via Sparse Coding over Universal Dictionaries
KRAFTON(克拉夫顿(游戏公司));University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
本研究提出基于通用字典稀疏编码的KV缓存压缩方法Lexico,用约4k原子的输入无关字典的稀疏组合近似LLM的KV缓存,通过正交匹配追踪控制压缩比,在低内存场景下性能显著优于现有方法。
2024-12-12 cs.LG
Moment-KV: Momentum-Based Decode-Time KV Cache Compression for Long Generation
Indian Institute of Technology Guwahati(印度理工学院瓜哇蒂)
提出Moment-KV方法,利用动量驱动的时序注意力聚合在解码阶段压缩KV缓存,以提升长文本生成质量并保持解码延迟。
2026-05-28 cs.AI
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
该研究指出共享学习率比较参数高效微调方案的缺陷,提出冻结解码器仅修复编码器的低内存方案,在SVD-based KV缓存压缩中实现性能相当且参数与内存开销减半。
2026-10-09 cs.AI cs.LG
Revisiting Multimodal KV Cache Compression: A Frequency-Domain-Guided Outlier-KV-Aware Approach
College of Future Information Technology, Fudan University(未来信息科技学院,复旦大学);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhangjiang Laboratory(张江实验室)
本文提出FlashCache,一种基于频域的异常KV感知KV缓存压缩框架,通过保留关键KV对提升解码效率并降低内存使用。
2026-03-05 cs.AI cs.CV cs.LG
ZipCache: Accurate and Efficient KV Cache Quantization with Salient Token Identification
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Monash University(莫纳什大学)
针对KV缓存压缩中显著标记识别不准的问题,提出ZipCache量化方法,采用通道可分离逐标记量化与归一化注意力分数识别显著标记,实现高压缩比、低延迟和低内存占用,且性能损失极小。
2024-05-23 cs.AI cs.LG
EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection
Fudan University(复旦大学)
本文提出 EliteKV 框架,通过 RoPElite 识别频率偏好以选择性恢复 key 线性,并结合联合低秩压缩,在仅用 0.6% 数据追加训练下实现 75% 的 KV 缓存压缩且几乎无损性能。
2025-03-03 cs.AI cs.CL cs.LG
AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving
University of Chicago(芝加哥大学);Microsoft(微软)
AdaptCache通过动态压缩KV缓存提升语言模型服务的低延迟和高质量性能。
2026-01-15 cs.AI cs.LG cs.OS
KVCompose: Efficient Structured KV Cache Compression with Composite Tokens
Paris Research Center, Huawei Technologies(巴黎研究中心、华为技术)
KVCompose提出基于注意力引导的层自适应复合令牌压缩KV缓存,通过全局分配机制优化各层保留预算,在保持精度和兼容标准推理流程的同时显著降低长上下文推理的内存开销。
2025-09-19 cs.LG
FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference
Instituto de Investigación en Visión Artificial(人工视觉研究所)
研究针对长上下文语言模型推理中键值缓存成本问题,提出FreqDepthKV方法,将相邻层键值状态分解,通过在线探测器分配缓存模式,在多基准测试中保持任务准确性,提升解码吞吐量并降低内存,实现高效压缩。
2026-07-08 cs.AI
Lossless KV Cache Compression to 2%
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学)
本文提出跨层潜在注意力(CLLA)架构,通过注意力头/维度缩减、层共享和量化技术将KV缓存压缩至原始大小2%以下,并在大多数任务上实现无损性能。
2024-10-20 cs.AI cs.CL
Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
Purdue University(普渡大学)
提出Eigen Attention,在低秩空间进行注意力操作以压缩KV缓存,与现有技术兼容,在OPT、MPT、Llama上实现缓存大小减40%、延迟减60%,性能损失小。
2024-11-08 cs.AI cs.CL cs.LG
SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression
Centre for Responsible AI(负责任人工智能中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Department of Electrical Engineering(电气工程系);Wadhwani School of Data Science and Artificial Intelligence(Wadhwani数据科学与人工智能学院)
SWAN通过无解压缩的KV缓存压缩技术,实现减少推理内存占用的同时保持高性能,提供灵活的压缩级别调整能力。
2025-11-24 cs.AI cs.CL cs.LG
MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(上海交通大学并行与分布式系统研究所)
提出MosaicKV系统,利用动态二维KV缓存压缩解决长上下文服务中的内存瓶颈,通过细粒度稀疏性和压缩管理实现高吞吐和低延迟,在H800 GPU上取得最高16倍注意力加速和3倍内存节省。
2026-07-02 cs.DC cs.LG
MetaKV: Adaptive KV Cache Compression for Constrained LLM Inference
Lake Washington School District(华盛顿湖学区);XSchool;UMass Amherst(马萨诸塞大学阿默斯特分校)
MetaKV提出自适应KV缓存压缩框架,根据用户指定的延迟和内存预算为每个提示词选择最优配置,在多种约束下显著提升受限成功率。
2026-09-09 cs.LG
HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs
Intellifusion Inc.(智融科技公司)
针对长上下文 LLM 推理中 KV 缓存内存瓶颈,提出融合键量化、值卸载与动态逐出的异构注意力框架 HCAttention,无需微调即可在极低缓存下保持精度并支持超长上下文。
2025-07-26 cs.AI cs.CL cs.LG
Tailoring the Quantization Space for 1-Bit KV Cache Compression
Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对长上下文推理中KV缓存的内存瓶颈,提出TaSQ方法,通过查询引导通道加权、跨头归一化和协方差感知通道分组定制VQ量化空间,在1比特压缩下显著优于现有基线,并支持更大批处理与更高吞吐量。
2026-10-05 cs.AI cs.CL cs.LG
DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation
针对大语言模型KV缓存瓶颈问题,提出DynaCalKV框架,通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存,值缓存采用ReCalKV方法优化,实验表明能减少键缓存参数且保持准确率,对MHA模型效果好,对GQA模型应用需更谨慎。
2026-07-28 cs.LG
Ablation, Statistical Inference, and Validation for KV-Cache Compression
Advanced Micro Devices, Inc.(超威半导体公司)
研究对Turbo-Quant和SpectralQuant KV缓存压缩进行系统比较,用统计验证方法评估非支配方案,发现基于特征基的方法在重尾数据上因协方差不稳定失败,在结构化模式下表现出色,有效语义维度适应校准预算。
2026-07-14 cs.AI cs.IT cs.LG
AnchorKV: Anchor-Residual KV Cache Compression
针对长上下文LLM推理的KV缓存内存瓶颈,提出AnchorKV压缩方案,不丢令牌且压缩20倍,70B规模下保留99%全缓存精度,大幅降低上下文成本。
2026-08-05 cs.CL cs.LG
Lossless Compression of Neural Network Components: Weights, Checkpoints, and K/V Caches in Low-Precision Formats
Intel(英特尔)
本文将ZipNN无损压缩方法从FP32/BF16扩展到FP8和FP4低精度格式,通过分离压缩指数与尾数实现BF16最高62%、FP8最高83%的压缩率,并发现LLM的K/V缓存同样具有可压缩性。
2025-08-20 cs.AI cs.LG cs.NE
Adaptive KV-Cache Compression without Manually Setting Budget
针对现有KV缓存压缩方法需手动设固定预算导致性能次优的问题,提出GVote自适应压缩方案,通过蒙特卡洛采样预测注意力需求自动确定预算,在多基准上实现2倍内存缩减且准确率更优或相当。
2025-09-03 cs.AI cs.DB
ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection
Hippocratic AI
ManifoldKV通过欧几里得距离实现无需训练的KV缓存压缩,在多键检索和大上下文场景中提升鲁棒性和准确性。
2026-02-09 cs.AI cs.CL cs.LG
KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing
Shanghai Jiao Tong University(上海交通大学);Harbin Institute of Technology(哈尔滨工业大学);Central South University(中南大学);ByteDance(字节跳动)
针对 LLM 推理中 KV 缓存占用过高的问题,提出即插即用的 KVSharer,通过层间共享相异 KV 缓存实现压缩,减少 30% 计算并获得至少 1.3 倍加速,还可兼容层内压缩方法。
2024-10-24 cs.AI cs.CL cs.LG
KVSculpt: KV Cache Compression as Distillation
Temple University(天普大学)
KVSculpt通过优化连续嵌入空间中的小规模KV对,保留各层注意力行为,相比传统方法在压缩比下显著降低KL散度,引入自适应预算分配提升压缩效果。
2026-03-29 cs.AI cs.CL cs.LG
Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression
University of Washington(华盛顿大学);National University of Singapore(新加坡国立大学)
针对视觉自回归模型推理中KV缓存指数增长的内存瓶颈,提出ScaleKV框架,通过区分起草者与精炼者层并实施尺度感知差异化缓存管理,在Infinity模型上将KV缓存内存降至10%且保持像素级保真度。
2025-05-26 cs.LG
Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression
Peking University(北京大学)
本文提出混合维度KV缓存压缩方法,通过更细粒度的维度分配提升效率,实验显示其在长上下文任务中表现优于现有方法,仅用6.25%的缓存即可达到全注意力性能。
2026-03-21 cs.LG
StepKV: Step-Aware KV Cache Compression for LLM Agents
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co., Ltd(华为技术有限公司)
StepKV提出以推理步骤为保留单元的KV缓存压缩方法,结合步骤效用与令牌显著性,在多跳问答和长时程网络推理中于低预算下保持准确率,优于令牌级基线。
2026-09-23 cs.LG
ST-Lite: Training-Free KV Cache Compression with Spatio-Trajectory Guidance for Long-Horizon GUI Agents
Tsinghua University(清华大学);Zhejiang University(浙江大学);The Chinese University of Hong Kong(香港中文大学)
ST-Lite通过无训练的KV缓存压缩方法,提升GUI代理的解码效率,实现2.45倍加速并保持性能优势。
2026-08-27 cs.AI cs.CV cs.LG