Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信(TeleAI)人工智能研究所);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Individual Researcher(独立研究者)
针对混合LLM前缀缓存受限问题,提出SuffixReplay系统,通过重放近期后缀近似线性状态,无需检查点,实现任意边界前缀重用,在保持质量的同时显著降低存储和延迟。
2026-09-29 cs.AI cs.PF
TyphoonMLA: A Mixed Naive-Absorb MLA Kernel For Shared Prefix
Huawei Switzerland(华为瑞士)
TyphoonMLA通过结合朴素和吸收方法,提升MLA架构中注意力计算的吞吐量,同时减少HBM带宽需求。
2026-02-12 cs.AI cs.LG
You Need an Encoder for Native Position-Independent Caching
State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国);School of Computer Science, Peking University, China(计算机学院,北京大学,中国)
本文提出原生PIC方法,通过在解码器-only LLMs中引入编码器并训练其支持PIC,开发了COMB缓存系统,显著提升了TTFT和吞吐量,同时保持精度。
2026-02-02 cs.AI cs.LG
Beyond KV Caching: Shared Attention for Efficient LLMs
Kyushu University(九州大学)
针对LLM推理效率瓶颈,提出跨层共享注意力权重的SA机制,利用注意力分布等向性减少计算量和KV缓存,在多种模型上以极小精度损失实现高效推理。
2024-07-13 cs.AI cs.CL cs.LG
Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs
AWS NGDE Science;GE HealthCare(GE医疗);Amazon AGI(亚马逊AGI);Goldman Sachs(高盛)
本研究提出分叉注意力方法,将增量解码的注意力拆分为两个GEMM运算,在保持计算量不变下降低内存IO,在7B模型8k以上上下文场景下实现显著加速,适配实时并行生成需求。
2024-07-11 cs.AI cs.LG
Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
IBM T. J. Watson Research Center(IBM T. J. Watson研究院)
针对扩展上下文LLM推理中高缓存复用性带来的挑战,通过分析真实KVC访问模式并评估现有键值存储,指出缺乏针对KVC prefilling的定制方案,强调需构建优化元数据管理的分布式缓存系统以实现低延迟推理。
2025-05-28 cs.AI cs.DC cs.ET
Prefix Probing: Lightweight Harmful Content Detection for Large Language Models
Fudan University(复旦大学);Ant Group(蚂蚁集团);Pennsylvania State University(宾夕法尼亚州立大学)
Prefix Probing通过高效前缀探查实现轻量有害内容检测,在保持检测效果的同时大幅降低计算成本和部署需求。
2025-12-18 cs.AI cs.CR
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon(亚马逊);Columbia University(哥伦比亚大学)
针对多保真度树优化问题,提出CANOPY方法,通过在线学习分段平滑先验的有效区域,引导昂贵评估,在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
本文提出统一的数学模型,结合随机化缓存淘汰与学习方法,以平衡查询负载和缓存命中率,实验表明在多个基准上性能提升显著。
2026-01-26 cs.AI cs.LG
RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference
Anirudh Sekar(安尼鲁德·塞卡)
提出RKSC框架,通过注意力相似性KV共享、置信门控提前退出和推理选择性块缓存管理,消除多分支LLM推理中的结构冗余,实现平均3.008倍加速,错误率仅0.37%。
2026-06-07 cs.AI cs.CL cs.LG
Towards Distributed Inference of LLMs on a P2P Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系)
提出一种去中心化的前缀缓存感知路由方案,用于P2P网络中的LLM推理,通过本地基数树和异步反熵更新缓存信息,避免集中协调和KV缓存传输,在低延迟和偏斜前缀分布下提升性能。
2026-06-17 cs.AI cs.DC
LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models
Li Auto Inc.(理想汽车公司)
研究针对扩散大语言模型算子级冗余问题,提出LaCache加速框架,通过无损缓存中间结果及集成FP8量化策略,无需训练,单独使用可实现约1.3倍端到端加速,与现有方法结合可达40.2倍加速且保持任务精度。
2026-07-23 cs.AI
KVBoost: Chunk-Level Key-Value Cache Reuse with Deviation-Guided Recomputation for Efficient Large Language Model Inference
KVBoost是适用于HuggingFace兼容解码器模型的分块级KV缓存复用系统,通过双哈希键方案与两类重计算策略等,在不损失准确率的前提下,将Qwen2.5-3B的首token生成时间缩短4.49倍,性能优于前缀缓存。
2026-08-25 cs.AI cs.DC
Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution
Tsinghua University(清华大学);The University of Sydney(悉尼大学);Stanford University(斯坦福大学);Baichuan AI(百川AI)
SIRA通过内部构建对比参考减少视觉语言模型的幻觉,无需外部工具或额外计算,保持描述覆盖并降低开销。
2026-05-14 cs.AI cs.CL cs.CV
TrimCaching: Parameter-sharing AI Model Caching in Wireless Edge Networks
University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室);Huazhong University of Science and Technology(华中科技大学)
针对无线边缘网络的AI模型缓存需求,本文提出参数共享缓存方案TrimCaching,通过复用模型间公共参数块提升存储效率,设计了对应近似与贪心算法,仿真验证其缓存命中率优于现有方案。
2024-05-20 cs.AI cs.NI
CacheSolidarity: Preventing Prefix Caching Side Channels in Multi-Tenant LLM Serving Systems
IMDEA Software Institute(IMDEA软件研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文提出PrefixWall系统,通过监控缓存重用并选择性隔离前缀,有效缓解多租户LLM服务系统中自动前缀缓存(APC)侧信道带来的安全风险,同时提升缓存利用率和推理效率。
2026-10-30 cs.CR cs.DC cs.LG
Dynamic Flow, Static Graph: KV Cache Reuse for Efficient LLM Serving on Mobile NPUs
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
针对移动NPU静态图与带宽限制,提出计算-存储协同的KV缓存复用设计,通过图内重计算、图间调度及分层管理,将TTFT降低40-60%。
2026-09-29 cs.AI cs.DB cs.OS
Prefix-Tuning Based Unsupervised Text Style Transfer
Peking University(北京大学);Guangming Laboratory(光明实验室);Tencent(腾讯)
本文提出一种基于Prefix-Tuning的无监督文本风格迁移方法,通过构建共享、风格和内容三种前缀并结合递归策略,有效提升了模型性能并超越了现有基线。
2023-10-23 cs.AI cs.CL
TokenLake: A Unified Segment-level Prefix Cache Pool for Fine-grained Elastic Long-Context LLM Serving
Peking University(北京大学);StepFun
针对现有集群前缀缓存系统与调度耦合导致的负载失衡等问题,提出分段级前缀缓存池TokenLake,通过声明式接口与重请求感知均衡实现高效池化,提升吞吐量与命中率。
2025-08-24 cs.DC cs.LG
DeFT: Decoding with Flash Tree-attention for Efficient Tree-structured LLM Inference
Westlake University(西湖大学);Zhejiang University(浙江大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Hong Kong University of Science and Technology(香港科技大学)
DeFT提出了一种基于Flash树注意力的硬件高效解码算法,通过KV-Guided Grouping和Flattened Tree KV Splitting优化树结构LLM推理中的KV缓存分区与负载均衡,显著减少IO冗余并提升GPU利用率,实现最高2.23倍端到端加速。
2025-03-07 cs.AI cs.CL
Not All Tokens Are Worth Caching: Learning Semantic-Aware Eviction for LLM Prefix Caches
Peking University(北京大学);FirestAI;Tsinghua University(清华大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Southeast University(东南大学)
本文提出了一种语义感知的前缀缓存淘汰策略SAECache,通过多队列架构、语义感知的标记加权机制和全适应的在线学习方案,提高了LLM服务中前缀缓存的效率,从而在不同工作负载下实现了显著的TTFT提升。
2026-05-12 cs.DC cs.LG
Prefix Grouper: Efficient GRPO Training through Shared-Prefix Forward
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Basic Algorithm Center, Tencent(腾讯基本算法中心)
本文提出 Prefix Grouper,通过共享前缀前向传播消除 GRPO 中冗余前缀计算,并在保持训练等价的同时显著降低长前缀训练开销。
2025-06-05 cs.AI cs.LG
Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving
Erlangen National High Performance Computing Center(埃朗根国家高性能计算中心)
本文提出Irminsul,一种基于MLA的原生位置无关缓存,通过内容哈希键和δ旋转规则提升代理LLM服务性能,实现高达83%的提示词恢复率和63%的预填能量节省。
2026-05-07 cs.AI cs.DC cs.LG
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
Harvard University(哈佛大学)
本研究通过生产追踪和14种算法评估,发现前缀缓存中LRU已足够有效,并提出以最近性为基础、结合快速降级与计算感知淘汰的改进策略。
2026-11-10 cs.DC cs.LG
EPIC: Efficient Position-Independent Caching for Serving Large Language Models
Peking University(北京大学);Nanjing University(南京大学);Huawei Cloud(华为云)
EPIC提出位置无关缓存及LegoLink算法,解决LLM服务中前缀不匹配导致的缓存重用受限问题,实现高达8倍TTFT改进和7倍吞吐提升,且几乎不损失精度。
2025-05-27 cs.CL cs.DC cs.LG
GraniKV: Asymmetric Granularity KV-Cache Paging for Multi-Agent Systems with Long Shared Prefix
Seoul National University(首尔大学)
GraniKV是首个将非对称分页粒度应用于生产分页服务引擎KV缓存的系统,通过将共享前缀和后缀分别分配至不同存储池,在多智能体服务场景下显著提升了输出令牌吞吐量。
2026-08-25 cs.AI cs.LG
Hydragen: High-Throughput LLM Inference with Shared Prefixes
Stanford University(斯坦福大学);University of Oxford(牛津大学);University of Waterloo(滑铁卢大学)
针对共享前缀场景下LLM推理注意力运算效率低的问题,提出Hydragen方法,通过分解共享前缀与独有后缀的注意力计算提升效率,大幅提高推理吞吐量,还支持长共享上下文与树状提示共享模式。
2024-05-13 cs.LG
CoDec: Prefix-Shared Decoding Kernel for LLMs
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Alibaba Group(阿里巴巴集团)
本文提出CoDec,通过优化内存层次结构和利用块内块间并行性,提高解码阶段注意力计算的效率,实现1.9倍速度提升和120.9倍内存访问减少。
2026-03-28 cs.LG
Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);IBM Research Zurich(IBM苏黎世研究院)
本研究通过构建 py-kvcache 连接器,利用异步 I/O 和调度器感知预加载,在 NVMe SSD 上实现外部 KV 缓存,显著提升 vLLM 长上下文请求的 TTFT 性能,并强调缓存决策需依具体硬件而定。
2026-09-11 cs.DC cs.LG
Compute Or Load KV Cache? Why Not Both?
University of Michigan(密歇根大学)
针对长上下文大语言模型推理中前缀缓存I/O带宽受限、预填充KV缓存计算开销高的瓶颈,提出并行利用计算与I/O资源的Cake调度系统,实现平均2.6倍的首令牌生成时间降低,提升长上下文推理效率。
2025-02-20 cs.LG
Tree Training: Accelerating Agentic LLMs Training via Shared Prefix Reuse
本文提出Tree Training框架,通过DFS序列化和树分区策略,高效处理树状token轨迹,实现LLM训练速度提升6.2倍。
2026-04-13 cs.LG
Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries
UNSW Sydney(悉尼新南威尔士大学)
本研究通过工程案例验证共享KV缓存的正确性修复,并测量27B推理副本间延迟,发现交替放置可显著降低首令牌时间,而固定放置收益甚微。
2026-09-15 cs.DC cs.LG cs.PF
Revisiting Prefix-tuning: Statistical Benefits of Reparameterization among Prompts
Qualcomm AI Research(高通人工智能研究部);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Monash University(莫纳什大学);Qualcomm Vietnam Company Limited(高通越南有限公司)
本研究从理论和实验两方面揭示了prefix-tuning中重参数化策略隐式编码的共享结构能显著提高参数估计的样本效率,并证实其在多任务中的有效性,同时发现prompt-tuning也具有类似优势。
2025-04-02 cs.LG
RadixMLP -- Intra-batch Deduplication for Causal Transformers
RadixMLP通过利用MLP的位位置性质,减少因果变换器中重复计算的冗余,提升推理效率。
2026-01-21 cs.DC cs.LG
Caching Techniques for Reducing the Communication Cost of Federated Learning in IoT Environments
Department of Electrical Engineering & Computer Science(电气工程与计算机科学系);The University of Missouri(密苏里大学)
针对联邦学习通信瓶颈,本文提出 FIFO、LRU 和基于优先级的缓存策略,选择性转发重要模型更新,在 CIFAR-10 与医学数据集上以极小准确率损失降低通信开销。
2025-07-19 cs.AI cs.CV cs.DC
Auditing Prompt Caching in Language Model APIs
stanford(斯坦福大学)
本研究开发了统计审计方法检测 LLM API 提供商中的提示缓存,发现包括 OpenAI 在内的七个提供商存在跨用户缓存共享导致隐私泄露风险,并首次揭示 OpenAI 嵌入模型为 decoder-only Transformer 架构。
2025-07-13 cs.CL cs.CR cs.LG
Bit-Flip Vulnerability of Shared KV-Cache Blocks in LLM Serving Systems
Institute of Science Tokyo(东京科学研究所)
研究揭示LLM服务系统中共享KV缓存块的位翻转漏洞,指出其具有静默分歧、选择性传播和持久累积特性,提出基于校验和的防护措施以限制累积损害。
2026-06-07 cs.AR cs.CR cs.LG
Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching
School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);Suzhou Institute of Advanced Research, University of Science and Technology of China(苏州先进研究院,中国科学技术大学)
Window-Diffusion通过窗口化令牌修剪和缓存技术,显著提升扩散语言模型推理速度,同时保持生成性能。
2026-09-16 cs.LG
LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration
提出LearniBridge,一种基于低秩共享子空间的可学习校准机制,通过轻量LoRA更新实现特征缓存的多时间步校准,仅需3-5个训练样本即可在图像和视频生成中实现高达5.87倍加速。
2026-06-26 cs.CV cs.LG
ECHO-LLaMA: Efficient Caching for High-Performance LLaMA Training
University of Waterloo(滑铁卢大学);Ascend Team, Huawei Technologies(华为技术有限公司)
ECHO-LLaMA通过跨层共享KV缓存降低计算复杂度,在保持性能的同时显著提升LLaMA训练吞吐量、MFU并降低损失,为大模型训练提供高效可扩展方案。
2025-06-22 cs.CL cs.LG
Affix Cache for Diffusion Large Language Models
KAUST(阿卜杜拉国王科技大学);CUHK(香港中文大学);LUMS(拉合尔管理科学大学)
针对扩散大语言模型高效推理难题,提出面向词缀的ACache缓存机制,通过复用词缀缓存并仅重新计算约20%关键锚定词元,可降低延迟、提升吞吐量并恢复精度损失。
2026-09-29 cs.CL cs.LG