EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving
University of Chicago（芝加哥大学）；UC Berkeley（伯克利大学）；Tensormesh, Inc.（Tensormesh公司）；MIT（麻省理工学院）；UC Santa Cruz（圣克拉拉大学）；Stanford（斯坦福大学）；Microsoft（微软公司）
EVICPRESS通过联合优化KV缓存压缩与驱逐策略，提高LLM服务效率，实现更低延迟和高质量生成。
2025-12-16 cs.AI cs.LG cs.OS
MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference
Independent Researcher（独立研究者）
研究大语言模型智能体KV缓存内存瓶颈问题，提出无需训练的区域感知逐出策略MemDecay，为令牌分配特定区域优先级和衰减率，经实验验证该策略能有效管理缓存，确立语义提示结构对KV缓存管理的作用并明确其与关注重要性的结合方式。
2026-07-14 cs.AI cs.LG
Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction
Fudan University（复旦大学）；Baige AI Team, Baidu inc（百度AI团队）；Work done during an internship at Baidu（百度实习）
提出LU-KV框架，通过全局组合优化分配注意力头预算以最大化长期边际贡献，实现80%的KV缓存压缩且性能损失极小。
2026-06-01 cs.AI cs.LG
MadaKV: Adaptive Modality-Perception KV Cache Eviction for Efficient Multimodal Long-Context Inference
Zhejiang University（浙江大学）；Southeast University（东南大学）；Alibaba（阿里巴巴）；Shanghai Jiao Tong University（上海交通大学）
MadaKV提出模态自适应KV缓存驱逐策略，通过模态偏好适应与分层压缩补偿，在保持高准确率的同时减少内存占用并提升解码速度1.3至1.5倍。
2025-06-06 cs.AI cs.CL cs.LG
Value-Aware Stochastic KV Cache Eviction for Reasoning Models
University of Southern California（南加州大学）；University of Chicago（芝加哥大学）
针对推理模型长输出导致的KV缓存瓶颈，提出价值感知随机淘汰方法VaSE，通过保护大幅度值状态和引入随机性，在4倍压缩下比最强淘汰方法准确率提升超4%。
2026-06-02 cs.CL cs.LG
Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction
Department of Computer Science Yale University（耶鲁大学计算机科学系）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种基于全局保留的KV缓存淘汰方法，通过学习每个token的未来效用，减少缓存内存占用并提升长上下文推理性能。
2026-05-10 cs.LG
LAVa: Layer-wise KV Cache Eviction with Dynamic Budget Allocation
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学）；Stepfun
本文提出 LAVa，一种无需训练的统一缓存压缩框架，通过最小化信息损失实现逐层 KV Cache 驱逐与动态头/层预算分配，在多基准测试中表现优越并揭示了不同预算对各类任务的影响。
2025-09-11 cs.AI cs.LG
LookaheadKV: Fast and Accurate KV Cache Eviction by Glimpsing into the Future without Generation
Samsung Research（三星研究院）
LookaheadKV通过无需显式生成未来响应的轻量级框架，实现高效准确的KV缓存淘汰，减少淘汰成本并提升推理速度。
2026-03-11 cs.AI cs.LG
A Simple Plug-in for Improving Eviction-Based KV Cache Compression
Michigan State University（密歇根州立大学）；Hippocratic AI（希波克拉底AI）
提出VECTOR插件，通过引入保留、近似和驱逐的三路路由机制，利用可重构性信号恢复有价值信息，改善中高压缩率下的质量-内存权衡。
2026-10-15 cs.LG
CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM
Carnegie Mellon University（卡内基梅隆大学）
提出CONF-KV方法，利用模型当前不确定性（置信度）动态调整KV缓存预算，结合混合精度存储和分块在线softmax注意力，在长序列推理中显著降低显存占用并保持高精度。
2026-05-24 cs.AI cs.LG
Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query
Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology, China（社会计算与交互机器人研究院，哈尔滨工业大学）
针对KV缓存驱逐与实际推理查询不一致的问题，提出Lookahead Q-Cache（LAQ）框架，通过生成低成本伪前瞻查询近似真实解码查询，提升驱逐一致性与准确性，在基准测试中优于现有方法且可灵活组合。
2025-11-17 cs.AI cs.CL
Error Certificates for KV-Cache Eviction via Randomized Design
Technical University of Munich（慕尼黑工业大学）
研究KV缓存逐出问题，确定性逐出存在误差估计不一致问题。提出随机逐出方法，通过泊松采样等技术实现可识别性和误差证书。在实际工作负载实验中，虽有声明未通过，但随机化带来了归因能力，能区分故障并更好安排重新计算。
2026-09-01 cs.AI cs.CL cs.LG
LLMs Know What to Drop: Self-Attention Guided KV Cache Eviction for Efficient Long-Context Inference
SambaNova Systems, Inc（桑巴诺瓦系统公司）
本文提出SAGE-KV方法，利用自注意力稀疏性在token和头级别进行一次性top-k选择来压缩KV缓存，在LongBench上以更高内存效率保持与全注意力相当的准确性。
2025-03-11 cs.AI cs.CL cs.LG
ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution
Zhejiang University（浙江大学）
提出ForesightKV框架，通过监督学习和强化学习预测KV对在长文本生成中的重要性，在仅用一半缓存预算下优于现有方法。
2026-06-01 cs.CL cs.LG
KeyDiff: Key Similarity-Based KV Cache Eviction for Long-Context LLM Inference in Resource-Constrained Environments
Qualcomm AI Research（高通人工智能研究）
KeyDiff是一种基于键相似性的KV缓存淘汰方法，能够在资源受限环境下高效处理长上下文LLM推理，减少缓存占用并提升响应效率。
2026-01-20 cs.AI
When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression
本文研究了价值感知KV驱逐在非单调缓存压缩中的有效性，通过固定合同诊断方法分析了驱逐策略在三个关键步骤中的表现，验证了其在不同基准测试中的性能。
2026-05-07 cs.AI cs.LG
Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective
College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国）；Institute of High Performance Computing, A STAR, Singapore（高性能计算研究院，新加坡）
本文提出CapKV方法，通过信息论原理优化KV缓存淘汰，提升内存效率与生成质量。
2026-08-11 cs.AI cs.IT cs.LG
DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
Oklahoma State University（俄克拉荷马州立大学）
DistillCache是一种强化学习框架，将KV缓存驱逐建模为序列决策问题，在25%缓存预算下，在LongBench上保留全缓存94.2%的准确率，优于多种基线方法，可提升推理吞吐量。
2026-08-11 cs.AI cs.LG cs.PF
In-context KV-Cache Eviction for LLMs via Attention-Gate
Shanghai Jiao Tong University（上海交通大学）；Huawei（华为）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对KV缓存成为大语言模型推理瓶颈的问题，本文提出通过注入轻量级注意力门模块实现动态KV缓存淘汰策略，可有效淘汰冗余token，在多场景下既提升推理效率又增强模型性能。
2025-04-17 cs.CL cs.LG
Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference
本文提出Ada-KV，一种按头自适应预算分配的KV缓存驱逐策略，通过理论损失上界指导优化，即插即用地提升现有方法在长序列推理中的质量，并在多个数据集上验证有效性。
2025-10-16 cs.AI cs.CL
RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction
RestoreKV通过学习型恢复补充与查询无关的KV缓存驱逐方案，仅优化0.4%参数，在多主干、多基准上大幅降低压缩性能下降，提升长上下文处理能力且开销极小。
2026-08-04 cs.CL cs.LG
Reformulating KV Cache Eviction Problem for Long-Context LLM Inference
KAIST（韩国科学技术院）
本文提出一种基于输出的分层矩阵乘法近似方法，通过LaProx策略量化token贡献并考虑跨头依赖，实验表明在仅使用5%的KV缓存时保持性能并优于现有方法。
2026-11-09 cs.AI cs.CL
When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression
提出草稿引导驱逐（DGE），通过延迟驱逐至草拟前两个答案令牌后，解决免训练KV缓存压缩中驱逐时机问题，在LongBench上达到44.2，接近FullKV。
2026-10-09 cs.CL cs.LG
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Northwestern University（西北大学）
DropKV是基于解耦残差输出扰动的KV缓存驱逐框架，可规避组合复杂性，实现19.8倍评分内核加速，在RULER等基准上优于现有方法，延迟更低且速度更快。
2026-10-16 cs.AI
EpiKV: Epiphany-Aware KV Cache Eviction Without the Attention Matrix
Language Technologies Institute Carnegie Mellon University（语言技术研究所卡内基梅隆大学）；Machine Learning Department Carnegie Mellon University（机器学习系卡内基梅隆大学）
提出EpiKV方法，通过模型内部表示变化（顿悟分数）而非注意力权重来淘汰KV缓存，无需训练或自定义内核，支持FlashAttention，在MATH-500上达到72%准确率，速度提升2.8倍。
2026-09-30 cs.CL cs.LG
Forget Without Compromise: Nexus Sampling for Streaming KV-Cache Eviction Under Fixed Budgets
Department of Computer Science, Grinnell College（格林内尔学院计算机科学系）；Department of Computer Science, Rice University（莱斯大学计算机科学系）；Lambda, Inc（Lambda公司）；Workato（Workato公司）
提出Nexus采样方法，通过迭代注意力计算和加权水库采样替代确定性top-K选择，在固定预算下保留微妙重要令牌，理论证明其长期优势，实验在80%驱逐率下性能接近密集注意力。
2026-06-24 cs.LG
G-KV: Decoding-Time KV Cache Eviction with Global Attention
School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学）；MicroSoft（微软）；Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通数据挖掘与具身智能重点实验室）
G-KV通过结合局部和历史注意力分数的全局评分机制，改进KV缓存淘汰，提升大语言模型的推理效率。
2025-11-29 cs.AI cs.CL
Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression
Peking University（北京大学）
本文提出混合维度KV缓存压缩方法，通过更细粒度的维度分配提升效率，实验显示其在长上下文任务中表现优于现有方法，仅用6.25%的缓存即可达到全注意力性能。
2026-03-21 cs.LG
Risk-Controlled KV-Cache Eviction: From Memory Budgets to Risk Targets
Korea University（高丽大学）
针对KV缓存驱逐中平均损失掩盖个别请求效用显著下降的问题，提出将驱逐重构为部署风险控制问题，采用与压缩器无关的事后认证程序，在有限样本保证下选择保留策略，并在无认证策略时回退全KV，从而将可靠性要求转化为内存运行点。
2026-09-24 cs.CL cs.LG
Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction
Judge Q通过引入软令牌列表，优化KV缓存淘汰中的信息保留，提升解码质量与性能表现。
2026-01-15 cs.AI cs.CL
Mask-Guided KV Cache Eviction in Block Diffusion Language Models
提出MaskAhead，一种无需训练的掩码查询排名方法，用于块扩散语言模型的KV缓存选择与驱逐，显著减少内存并加速生成。
2026-10-07 cs.AI cs.CL cs.LG
MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference
George Washington University（乔治·华盛顿大学）；Princeton University（普林斯顿大学）
针对长上下文推理中KV缓存驱逐导致输出退化的问题，提出MomentKV方法，通过维护驱逐令牌集的矩统计量（计数、键均值、值均值和值-键协方差）来识别与累积摘要对齐的令牌，并在推理时提供驱逐注意力输出的一阶近似，实现选择性驱逐与精确校正的相互增强。
2026-06-01 cs.LG
Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）
本文提出统一的数学模型，结合随机化缓存淘汰与学习方法，以平衡查询负载和缓存命中率，实验表明在多个基准上性能提升显著。
2026-01-26 cs.AI cs.LG
Divergence Timing and Cumulative Disagreement under KV-Cache Eviction
Ant Group（蚂蚁集团）
本研究通过精确分解与蒙特卡洛估计，分析KV缓存驱逐下首次分歧时机对累积不一致性的影响，发现SnapKV延迟分歧但分歧后TV仍高，分歧后暴露主导不匹配差距。
2026-09-21 cs.LG
Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM
RBC Borealis（RBC 培生）
针对大语言模型推理中KV缓存内存开销大、现有淘汰策略导致长上下文任务性能下降的问题，提出覆盖感知的K-VEC策略，通过跨头跨层覆盖模块提升token保留，在LongBench上最高提升10.35点。
2026-06-28 cs.AI cs.CL
IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference
The Hong Kong University of Science（香港科学与技术大学）；Zhejiang University（浙江大学）
提出一种可学习的索引器预测KV重要性，并结合轻量级潜在记忆模块压缩被驱逐的令牌，以在有限KV预算下实现准确的长上下文推理。
2026-07-07 cs.AI cs.CL
LazyEviction: Lagged KV Eviction with Attention Pattern Observation for Efficient Long Reasoning
HKUST（香港科技大学）；HK PolyU（香港理工大学）
针对长程推理中KV缓存内存瓶颈，提出LazyEviction框架，利用观察窗口捕捉token重要性重现现象，通过优先驱逐保留潜在重现token，实现50%~70%缓存压缩且保持精度。
2025-10-15 cs.CL cs.LG
Trust the Mass: Forced Weights in KV-Cache Eviction
Stanford University（斯坦福大学）
该研究针对KV缓存驱逐规则，通过分析168192个注意力行的最优子集情况，提出无需训练的分配器ContourKV，其在配对比较中表现优于多数现有技术，且与最强基线持平。
2026-11-06 cs.CL cs.LG
ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
MediaTek Inc.（联发科股份有限公司）；National Taiwan University（台湾大学）
针对多模态大模型KV缓存内存开销问题，提出ECOKV方法，结合欧氏距离与余弦相似度的几何感知复合度量及自适应加权，缩减观察窗口，实现高效缓存驱逐并达到最先进性能。
2026-09-09 cs.AI cs.CL cs.CV
HashEvict: A Pre-Attention KV Cache Eviction Strategy using Locality-Sensitive Hashing
University of Maryland（马里兰大学）；Yale University（耶鲁大学）；University of Galway（Galway大学）；University of Maryland Capital One（马里兰大学Capital One）
HashEvict利用局部敏感哈希在注意力计算前快速识别并驱逐与当前查询不相似的KV缓存token，实现30%-70%的缓存压缩且保持模型性能。
2025-06-04 cs.AI cs.CL cs.DS
On the Efficacy of Eviction Policy for Key-Value Constrained Generative Language Model Inference
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文针对大型语言模型部署成本高及键值缓存内存开销大的问题，提出基于时间注意力分数和鲁棒性度量的缓存省略策略RoCo，并发布软件包EasyKV，实验验证其在预填充和自回归解码阶段的优越性。
2024-02-17 cs.AI cs.CL
LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction
University of Science and Technology of China（中国科学技术大学）；State Key Lab of Processors, Institute of Computing Technology, CAS, Beijing, China（中国科学院计算技术研究所过程器重点实验室，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）
本文提出LKV，通过端到端可微优化问题实现KV缓存压缩，学习任务优化全局预算和内在KV重要性，提升长上下文推理性能。
2026-04-22 cs.CL cs.LG
Page-EntroKV: Hardware-Aligned, Entropy-Weighted KV-Cache Eviction under Grouped-Query Attention
SRM Institute of Science and Technology（SRM科学与技术学院）
针对GQA下KV缓存驱逐的硬件对齐问题，提出Page-EntroKV框架，利用熵加权池化与页级驱逐，消除并集开销，提升针检索率并保持预算精确。
2026-10-05 cs.LG
CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference
Technical University of Darmstadt（达姆施塔特工业大学）；University of Notre Dame（圣母大学）；Technical University of Ilmenau（伊尔梅瑙工业大学）
提出CompressKV框架，通过识别语义检索头（SRH）选择关键token并分层分配缓存预算，在仅用3% KV缓存时保留97%以上性能。
2026-06-24 cs.AI
PAGE: Partition-Aware Gated KV-Cache Eviction
National Institute of Science Education and Research（国家科学教育与研究学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
PAGE通过预填充注意力的头一致性下降预测输入对驱逐的敏感性，门控应用基础驱逐器，将容量受限场景的危害率降低29倍，无需训练。
2026-09-23 cs.CL cs.CR cs.LG
SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference
AGI Institute, School of Computer Science, Shanghai Jiao Tong University（AGI研究院，计算机科学学院，上海交通大学）；Shanghai Key Laboratory for Intelligent Information Processing, Fudan University（上海智能信息处理重点实验室，复旦大学）；State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；School of Artificial Intelligence, Wuhan University（人工智能学院，武汉大学）；Institute of Computer Science, University of Göttingen（计算机科学研究所，哥廷根大学）
SmallKV通过小模型辅助补偿KV缓存压缩，提升大语言模型在资源受限环境下的推理效率和性能。
2026-01-19 cs.AI cs.LG
The Pitfalls of KV Cache Compression
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究了KV缓存压缩在多指令提示中的问题，发现某些指令在压缩后性能下降明显，提出改进KV缓存淘汰策略以提升多指令任务表现。
2026-05-13 cs.AI cs.LG
AhaKV: Adaptive Holistic Attention-Driven KV Cache Eviction for Efficient Inference of Large Language Models
South China University of Technology（南方科技大学）；Pazhou Laboratory（琶洲实验室）
本文提出AhaKV方法，通过自适应调节softmax尺度并利用值向量信息修正累积注意力分数偏差，从而在固定缓存预算下实现更合理的KV缓存淘汰，提升大语言模型推理效率。
2025-06-04 cs.AI cs.CL
DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video
Maum AI Inc.（Maum AI公司）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
针对流式视频中KV缓存驱逐需在问题前决策的挑战，提出基于门控线性注意力状态漂移的查询无关、免训练方法DeltaS，以低开销显著提升长视频基准性能。
2026-09-24 cs.CL cs.CV cs.LG
Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction
NAVER AI Lab（NAVER AI实验室）
基于门控的KV缓存淘汰方法实现高效且准确的LLM推理，通过轻量级门控模块和任务无关的重建目标，实现高压缩比和低计算开销。
2026-10-27 cs.CL cs.LG
KV Admission: Learning What to Write for Efficient Long-Context LLM Inference
Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan（National Taiwan University 电子工程系）；Research Center for Information Technology Innovation, Academia Sinica, Taipei, Taiwan（Academia Sinica 信息技术创新研究中心）
本文提出WG-KV机制，通过学习预测令牌效用，有效减少内存使用并提升长上下文推理效率。
2026-09-01 cs.AI cs.LG
Beyond Mean Attention: Diversity-Aware, Layer-Wise Scoring for KV Cache Eviction
Georgia Institute of Technology（佐治亚理工学院）；Zhangjiang Lab（张江实验室）
针对KV缓存驱逐，提出统一评分（均值+离散度+冗余惩罚），验证分层系数在LongBench上多数数据集有效，段落检索中中间层符号翻转带来显著增益。
2026-09-28 cs.CL cs.LG
SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning
针对LLM长上下文推理的KV缓存瓶颈，SparK提出查询感知的通道级非结构化稀疏剪枝方法，动态恢复剪枝条目，在保持精度的同时减少内存开销，且可与现有压缩技术集成，提升长序列处理效率。
2025-11-12 cs.AI cs.CL cs.LG
OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference
University of Science and Technology of China（中国科学技术大学）
提出OBCache框架，将缓存驱逐形式化为逐层结构化剪枝问题，基于最优脑损伤理论量化令牌显著性，通过输出感知分数改进现有驱逐策略，在长上下文任务中提升准确性。
2026-08-11 cs.AI cs.CL
