SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation
Snowflake AI Research（Snowflake人工智能研究院）
针对LLM长提示词推理成本高的问题，提出SwiftKV模型转换与蒸馏流程，通过跨层预填充KV cache跳过后续层并结合压缩技术，在减少25-50%预填充计算的同时保持生成质量，实现2倍吞吐量提升。
2025-06-02 cs.AI cs.CL cs.LG
DeferKV: Rethinking Eviction Timing for One-Shot KV Cache Compression
University of Electronic Science and Technology of China（电子科技大学）；Ubiquitous Intelligence and Trusted Services Key Laboratory of Sichuan Province（四川省泛在智能与可信服务重点实验室）
针对长上下文LLM中KV缓存压缩的驱逐时机问题，提出DeferKV方法，将驱逐决策推迟至首个解码步骤并融合两侧观察，无需额外训练，在多个基准上提升压缩性能并保持低延迟。
2026-10-06 cs.CL
ATTUNER: Recomputation-Free KV Cache Reuse via Query-Side Adaptation
Eastern Institute of Technology（东方理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Tencent Youtu Lab（腾讯优图实验室）
ATTUNER通过查询侧低秩适配器学习读取冻结的工件缓存，无需重计算KV即可复用，在多个基准上匹配全上下文预填充质量并实现3.73倍加速。
2026-09-30 cs.CL
When KV Cache Reuse Fails in Multi-Agent Systems: Cross-Candidate Interaction is Crucial for LLM Judges
Southeast University（东南大学）；Huawei Technologies Ltd（华为技术有限公司）
本研究揭示了在多智能体系统中KV缓存复用的失效模式，指出跨候选者交互对LLM判断者的重要性，强调了以判断者为中心的推理需要专门设计。
2026-01-13 cs.CL cs.MA
When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression
提出草稿引导驱逐（DGE），通过延迟驱逐至草拟前两个答案令牌后，解决免训练KV缓存压缩中驱逐时机问题，在LongBench上达到44.2，接近FullKV。
2026-10-09 cs.CL cs.LG
You Only Cache Once: Decoder-Decoder Architectures for Language Models
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
本文提出仅缓存一次 KV 的 decoder-decoder 架构 YOCO，通过 self-decoder 与 cross-decoder 共享全局缓存，降低内存并加速预填充，在扩展模型、训练 token 及 1M 上下文时表现优异。
2024-05-09 cs.CL
MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究院）
研究多模态大语言模型中KV缓存问题，提出MM-ShiftKV方法，通过构建方差扩展查询代理近似解码时查询行为，基于聚合注意力质量估计KV重要性，在严格缓存预算下性能优于现有方法。
2026-07-28 cs.AI cs.CL
On the Limits of Learned Importance Scoring for KV Cache Compression
Georgia Institute of Technology（佐治亚理工学院）
本文研究了学习重要性评分在KV缓存压缩中的局限性，发现基于位置的启发式方法和预填注意力信号在性能上优于复杂学习评分器。
2026-01-13 cs.AI cs.LG
CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill
Franklin and Marshall College（弗兰克林与马歇尔学院）；Meta Reality Labs（Meta现实实验室）
CLAA通过跨层聚合注意力分数，提升大语言模型预填阶段的推理速度，将TTFT降低至39%。
2026-02-17 cs.CL cs.LG
WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs
Alibaba Group（阿里巴巴集团）；School of Informatics Xiamen University（厦门大学信息学院）
针对长音频语音大语言模型的KV缓存内存开销问题，提出WnW消长型KV缓存方法，通过分类KV头实现高准确率与低GPU内存占用，且开销小、可迁移。
2026-09-01 cs.CL cs.SD
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University（湖南大学）；Tencent（腾讯）
提出自索引注意力框架，利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索，支持KV缓存压缩，在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
Apple（苹果公司）；Meta AI
LazyLLM提出动态令牌剪枝方法，在预填充和解码阶段选择性计算重要令牌的KV缓存，加速长上下文推理，无需微调，如将LLama 2 7B预填充加速2.34倍。
2024-07-19 cs.AI cs.CL cs.LG
Cartridges at Scale: Training Modular KV Caches over Large Document Collections
Amazon AGI（亚马逊人工智能研究院）
提出Cartridges at Scale (CAS)框架，通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练，在减少预填充开销的同时保持准确性，性能优于单块弹匣10-31点，接近全上下文学习。
2026-06-03 cs.CL cs.IR cs.LG
Training-Free Exponential Context Extension via Cascading KV Cache
KAIST AI（韩国科学技术院人工智能学院）；ETRI（韩国电子通信研究院）；POSTECH（浦项科技大学）
提出基于级联子缓存缓冲区的免训练 KV Cache 机制，在不增加缓存大小下选择性保留相关 token，显著提升长上下文检索精度并大幅降低 prefill 阶段延迟。
2025-03-31 cs.AI cs.CL cs.LG
KVzap: Fast, Adaptive, and Faithful KV Cache Pruning
NVIDIA（英伟达）
KVzap通过快速且自适应的KV缓存修剪方法，在保持高精度的同时实现显著的缓存压缩，适用于长上下文和推理任务。
2026-02-03 cs.AI cs.CL cs.LG
PAGE: Partition-Aware Gated KV-Cache Eviction
National Institute of Science Education and Research（国家科学教育与研究学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
PAGE通过预填充注意力的头一致性下降预测输入对驱逐的敏感性，门控应用基础驱逐器，将容量受限场景的危害率降低29倍，无需训练。
2026-09-23 cs.CL cs.CR cs.LG
Information-Aware KV Cache Compression for Long Reasoning
Shanghai Jiao Tong University（上海交通大学）
提出InfoKV框架，通过结合预测不确定性与注意力分数进行KV缓存压缩，在长上下文推理中优于现有方法。
2026-06-26 cs.AI cs.CL
PARTREP: Learning What to Repeat for Decoder-only LLMs
Bandung Institute of Technology（万隆理工学院）；Pohang University of Science and Technology（浦项科技大学）
针对仅解码器LLM因果注意力导致的信息流不对称问题，提出PartRep方法，通过选择最不可预测的token进行重复，在保留大部分性能提升的同时显著降低KV缓存和预计算开销。
2026-07-03 cs.CL cs.LG
FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling
Alibaba Cloud Computing（阿里云计算）
FlowKV通过优化KV缓存传输和引入负载感知调度器，解决了分离式推理中传输延迟高和节点负载不均衡的问题，在LongBench上实现15.2%-48.9%的推理加速。
2025-04-03 cs.AI cs.CL cs.DC
Stream2LLM: Overlap Context Streaming and Prefill for Reduced Time-to-First-Token (TTFT)
Georgia Tech（佐治亚理工学院）
本文提出Stream2LLM，一种针对并发预填充-解码分离部署的流式感知大语言模型服务系统，通过自适应调度和抢占机制，有效解决上下文检索与推理之间的延迟问题，从而减少时间到第一个标记（TTFT），并在内存压力下保持吞吐量与非流式基线相等。
2026-05-17 cs.CL cs.LG
Cost-Efficient Large Language Model Serving for Multi-turn Conversations with CachedAttention
National University of Singapore（新加坡国立大学）；Shanghai Jiaotong University（上海交通大学）；Huawei Cloud（华为云）
本文提出CachedAttention注意力机制，通过分层KV缓存、预加载与异步保存、调度器感知的获取淘汰及位置编码解耦，显著降低多轮对话大语言模型服务的推理成本与延迟。
2024-06-30 cs.CL cs.LG
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
Seoul National University（首尔大学）
PN-Mix是一种针对基于RoPE的仅解码器大语言模型的混合精度键缓存量化方法，通过对范数引导分配精度，在更低平均比特下实现更优精度，且性能下降更平缓。
2026-10-15 cs.CL cs.LG
RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction
RestoreKV通过学习型恢复补充与查询无关的KV缓存驱逐方案，仅优化0.4%参数，在多主干、多基准上大幅降低压缩性能下降，提升长上下文处理能力且开销极小。
2026-08-04 cs.CL cs.LG
Dynamic-LLaVA: Efficient Multimodal Large Language Models via Dynamic Vision-language Context Sparsification
East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Xiaohongshu Inc.（小红书公司）；Nanjing University（南京大学）
针对多模态大语言模型解码阶段效率收益衰减的问题，提出动态视觉-语言上下文稀疏化框架Dynamic-LLaVA，针对不同推理模式定制稀疏方案，在大幅降低计算与内存开销的同时几乎不损失模型性能。
2025-03-21 cs.AI cs.CL cs.CV
Orchestrating Dual-Boundaries: An Arithmetic Intensity Inspired Acceleration Framework for Diffusion Language Models
Peking University（北京大学）
ODB-dLLM通过协调双边界，利用算术强度差异优化扩散语言模型的推理速度，显著提升效率并减少准确性损失。
2026-08-04 cs.CL cs.LG
CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection
Seoul National University（首尔国立大学）
本文提出CompactAttention，一种基于块-联合KV选择的分块预填注意力机制，通过将二维块稀疏掩码作为KV选择信号，实现高效的注意力计算，从而在保持精度的同时提升2.72倍的注意力速度。
2026-05-16 cs.CL
The risk of KV cache compression
RWTH Aachen University（亚琛工业大学）；Stanford University（斯坦福大学）
针对长序列Transformer推理中KV缓存压缩的瓶颈，本文通过最小化最大风险理论，揭示了缓存内在可压缩性决定准确压缩的边界，并设计出在因果掩码下达到最优风险的实用算法，在LongBench上取得良好效果。
2026-07-03 cs.LG
Behavior-Preserving KV Cache Compression
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金宰澈人工智能研究生院）；KT Corporation（KT公司）
针对长上下文推理中KV缓存压缩问题，提出行为保持的压缩框架，通过KL散度评估驱逐影响，在匹配预算下显著提升下游任务质量，并保持端到端加速。
2026-10-06 cs.CL
FreqKV: Key-Value Compression in Frequency Domain for Context Window Extension
LUMIA Lab, Shanghai Jiao Tong University（上海交通大学LUMIA实验室）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）
FreqKV通过频域键值压缩技术，实现长上下文处理，使LLaMA-2-7B的上下文窗口扩展至256K个令牌，同时保持稳定的困惑度。
2026-01-29 cs.AI cs.CL
LLMs Know What to Drop: Self-Attention Guided KV Cache Eviction for Efficient Long-Context Inference
SambaNova Systems, Inc（桑巴诺瓦系统公司）
本文提出SAGE-KV方法，利用自注意力稀疏性在token和头级别进行一次性top-k选择来压缩KV缓存，在LongBench上以更高内存效率保持与全注意力相当的准确性。
2025-03-11 cs.AI cs.CL cs.LG
Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query
Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology, China（社会计算与交互机器人研究院，哈尔滨工业大学）
针对KV缓存驱逐与实际推理查询不一致的问题，提出Lookahead Q-Cache（LAQ）框架，通过生成低成本伪前瞻查询近似真实解码查询，提升驱逐一致性与准确性，在基准测试中优于现有方法且可灵活组合。
2025-11-17 cs.AI cs.CL
EpiCache: Episodic KV Cache Management for Long-Term Conversation on Resource-Constrained Environments
Apple（苹果公司）
本文提出 EpiCache，一种无需训练的 KV 缓存管理框架，用于在固定内存预算下实现长对话问答（LongConvQA）。该方法通过块级预填充限制缓存增长，并通过 episodic KV 压缩保留主题相关上下文，从而在多个 LongConvQA 评估基准上提升了准确性并减少了延迟和峰值内存使用。
2026-05-19 cs.CL
A Simple Plug-in for Improving Eviction-Based KV Cache Compression
Michigan State University（密歇根州立大学）；Hippocratic AI（希波克拉底AI）
提出VECTOR插件，通过引入保留、近似和驱逐的三路路由机制，利用可重构性信号恢复有价值信息，改善中高压缩率下的质量-内存权衡。
2026-10-15 cs.LG
From Rigid to Dynamic: Entropy-Guided Adaptive Inference for Long-Context LLMs
Department of Computing, PolyU（香港理工大学计算学系）；DSA, HKUST(GZ)（香港科技大学（广州）数据科学与分析学域）；CSE, HKUST（香港科技大学计算机科学与工程学系）
提出EntropyInfer框架，利用注意力熵在预填充阶段自适应分配计算资源，并在解码阶段通过生成令牌压缩KV缓存，实现长上下文LLM的高效推理。
2026-06-08 cs.AI cs.CL
FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving
MAIS&NLPR, CASIA（中国科学院自动化研究所多模态人工智能系统与国家重点实验室）；UCAS（中国科学院大学）；WeChat, Tencent（腾讯微信）
FlashPrefill V2通过均值校正、适配FlashAttention-3/4的算子设计及原生支持分页KV缓存等，在128K上下文长度下为长上下文LLM服务提供了高效的块稀疏预填充注意力方案，加速比显著。
2026-08-21 cs.CL
TableCache: Primary Foreign Key Guided KV Cache Precomputation for Low Latency Text-to-SQL
School of Information, Renmin University of China（中国人民大学信息学院）；Key Laboratory of Data Engineering and Knowledge Engineering, Beijing, China（数据工程与知识工程重点实验室）；Engineering Research Center of Database and Business Intelligence, Beijing, China（数据库与商业智能工程研究中心）；Ant Group, Hangzhou, China（蚂蚁集团）
TableCache通过预计算主外键关系的KV缓存，提高文本到SQL任务的低延迟性能。
2026-01-13 cs.AI cs.CL
ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对多模态大语言模型处理流视频计算成本高的问题，提出ShallowStream框架，通过利用MLLM浅层构建索引并检索证据，在保持性能的同时大幅降低了延迟。
2026-10-01 cs.CL cs.CV
Practical Online KV Cache Compaction for LLM Agents: An Empirical Study
UC Santa Barbara（加州大学圣巴巴拉分校）；LinkedIn（领英公司）
该研究针对LLM智能体的KV缓存瓶颈，实证对比了令牌驱逐与注意力匹配两类在线压缩方法，发现延迟压缩可恢复性能，令牌驱逐在代理不完善时更鲁棒，能大幅压缩KV缓存并提升吞吐量。
2026-08-04 cs.CL
Where Matters More Than What: Decoding-aligned KV Cache Compression via Position-aware Pseudo Queries
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本文提出DapQ，通过位置感知的伪查询实现解码对齐的KV缓存压缩，有效减少内存占用并提升生成性能。
2026-03-12 cs.CL
TreeKV: Smooth Key-Value Cache Compression with Tree Structures
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对大语言模型KV缓存现有压缩方法的信息遗漏与区域偏差问题，提出无需训练的树结构压缩方法TreeKV，可同时适用于生成与预填充阶段，在多项基准测试中以更低缓存开销实现更优性能。
2025-05-16 cs.CL
KV Cache Translation across Heterogeneous Large Language Models
提出MoT框架解决异构LLM间KV缓存无法复用问题，通过多翻译器模块和上下文校正损失实现缓存转换，在多模型转换和实际场景中验证了性能与复用效果。
2026-10-06 cs.CL
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
针对异构多智能体LLM的跨家族KV缓存迁移问题，提出HeteroFold方法，通过结构对齐、缓存映射与校准实现免预填充传输，在多个基准上性能最优且速度大幅提升。
2026-10-01 cs.AI cs.LG cs.MA
Expected Attention: KV Cache Compression by Estimating Attention from Future Queries Distribution
Sapienza University of Rome（萨皮恩扎罗马大学）；NVIDIA（英伟达）
针对大语言模型KV缓存内存瓶颈及现有剪枝方法的实际局限，提出无需训练的预期注意力方法，通过预测未来查询注意力估计KV对重要性，在两阶段均优于基线，还发布了含20余种技术的KVPress库。
2025-10-01 cs.AI cs.CL
Virtual Head Attention
Baidu Inc.（百度公司）；Peking University（北京大学）
针对长上下文大语言模型注意力机制的“不可能三角”问题，提出虚拟头注意力（VHA），通过两个轻量线性操作优化KV缓存、计算量与质量，在多基准测试中优于GQA、MLA等方法，同时降低缓存与计算开销。
2026-10-14 cs.AI cs.CL
CacheLink: Functional KV Transport for Zero-Prefill Cross-Model Context Handoff
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Great Bay University（大湾区大学）；Zhejiang University（浙江大学）
本研究针对模型切换需重新预填上下文的问题，提出CACHELINK方法，通过学习耦合K/V校正实现零预填跨模型上下文交接，可降低交接延迟并提升性能。
2026-10-14 cs.AI cs.LG
Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
The Hong Kong University of Science（香港科学与技术大学）；Guangzhou HKUST Fok Ying Tung Research Institute（广州HKUST傅种群研究院）
本文提出KVFundaBench基准测试，揭示了在高密度推理中压缩导致的严重任务依赖性退化问题，并提出ShotKV方法，通过分离prefill和解码阶段以优先保持语义完整性，提升了长上下文生成任务的准确率并降低了延迟。
2026-05-12 cs.AI cs.CL
ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs
Qualcomm AI Research（高通人工智能研究院）
针对现代LLM中弱注意力汇聚导致现有KV缓存驱逐失效的问题，提出基于值向量几何分散的ValueDiff驱逐方法，在多个基准上显著提升性能。
2026-10-07 cs.AI cs.LG
RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache
ETH Zurich（苏黎世联邦理工学院）；Tsinghua University（清华大学）
RDKV通过联合优化擦除与量化，提升长序列推理效率，实现9.1%的性能提升和97.81%的准确率恢复。
2026-05-08 cs.AI cs.LG
LOOK-M: Look-Once Optimization in KV Cache for Efficient Multimodal Long-Context Inference
The Ohio State University（俄亥俄州立大学）；Peking University（北京大学）；Imperial College London（帝国理工学院）；Tencent AI Lab（腾讯AI实验室）
针对长上下文多模态大语言模型推理中KV缓存内存和延迟瓶颈，提出无需微调的LOOK-M方法，利用文本优先压缩与KV对合并补偿，在减少80%缓存时实现1.5倍加速并保持性能。
2024-06-26 cs.CL cs.CV
Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse
针对大语言模型家族切换时需重新预填充的问题，提出跨模型KV缓存迁移方法，通过闭式线性映射器复用源模型KV缓存，可提升预填充速度，保留大部分准确率，具备实用性。
2026-08-05 cs.LG
Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室）
SwaT是首个跨模型家族的无预填充KV缓存传输方法，结合KV缓存压缩技术可提升多智能体通信的准确率与速度，还能跨模态传输能力且训练成本低。
2026-10-14 cs.LG
KV-Runahead: Scalable Causal LLM Inference by Parallel Key-Value Cache Generation
Apple（苹果公司）；Meta
针对LLM提示阶段推理速度慢于扩展阶段的问题，提出KV-Runahead并行方案，通过多进程并行填充KV-cache加速提示阶段，结合上下文级负载均衡优化TTFT，在Llama 7B和Falcon 7B上分别实现超1.4倍、1.6倍加速。
2024-05-13 cs.AI cs.CL cs.DC
Models Take Notes at Prefill: KV Cache Can Be Editable and Composable
Pine AI
研究发现KV缓存像笔记一样存储结论，支持编辑和组合：编辑单个字段可修正决策（8B模型准确率1.00，仅需~1%计算），组合预编译技能可无缝插入任意上下文（logit余弦相似度0.90-0.999），延迟降低至O(L)。
2026-06-17 cs.AI cs.LG
EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction
EPFL（洛桑联邦理工学院）
EchoPress提出无需训练的KV缓存剪枝方法，通过虚拟上下文重建近似注意力分数，在保持准确率的同时大幅降低压缩开销和预填充时间。
2026-10-02 cs.LG
