Improving the Performance of DNN-based Software Services using Automated Layer Caching
University of Calgary（卡尔加里大学）；University of South Carolina（南卡罗来纳大学）
深度神经网络（DNN）已经成为包括基于Web的服务在内的许多应用领域中的重要组件。这些服务中的许多都需要高吞吐量和（接近）实时特性，例如，对用户的请求作出响应或反应，或及时处理传入的数据流。然而，DNN设计的趋势是使用具有许多层和参数的更大模型，以获得更准确的结果。尽管这些模型通常是预先训练的，但这种大型模型中的计算复杂性仍然相对显著，阻碍了低推理延迟。实现高速缓存机制是用于加快服务响应时间的典型系统工程解决方案。然而，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端的自动化解决方案，以提高基于DNN的服务在计算复杂性和推理延迟方面的性能。我们的缓存方法采用了DNN模型自升华和早期退出的思想。所提出的解决方案是一种自动在线层缓存机制，如果早期退出中的一个缓存模型对最终预测足够自信，则允许在推理时间期间提前退出大型模型。本文的主要贡献之一是，我们已经实现了在线缓存的想法，这意味着缓存模型不需要访问训练数据，并在运行时仅根据传入的数据执行，使其适用于使用预训练模型的应用程序。我们对两个下游任务（人脸和对象分类）的实验结果表明，平均而言，缓存可以降低这些服务的计算复杂性高达58\%（在FLOPs计数方面），并将其推理延迟提高到46\%，准确性降低到零。
2022-09-18 cs.LG cs.PF
Mira: Memory-Efficient MoE Inference Using Adaptive Caching and Predictive Expert Staging
University of Maryland, College Park（马里兰大学学院公园分校）
针对MoE模型在单GPU上推理时专家参数内存占用大、路由动态导致缓存效率低的问题，提出算法-系统协同设计Mira，通过预测性专家预取和定制量化缓存，实现5.71倍吞吐量提升。
2026-09-30 cs.LG
Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries
UNSW Sydney（悉尼新南威尔士大学）
本研究通过工程案例验证共享KV缓存的正确性修复，并测量27B推理副本间延迟，发现交替放置可显著降低首令牌时间，而固定放置收益甚微。
2026-09-15 cs.DC cs.LG cs.PF
OnlineCache: Learning Dynamic Caching Policies with Error Correction for Efficient Diffusion Inference
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本研究针对扩散模型推理延迟高的问题，提出动态缓存框架OnlineCache，结合策略梯度与可学习校正器，实现样本与时间步的自适应资源分配，在FLUX.1-dev等模型上实现加速且优于现有基线。
2026-08-03 cs.LG
ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching
University of Central Florida（中佛罗里达大学）
本文提出 ALISA 算法-系统协同设计方案，通过稀疏窗口注意力算法与三阶段动态调度优化 KV 缓存，在资源受限系统中以可忽略精度损失显著提升大语言模型推理吞吐量。
2024-03-26 cs.AI cs.LG cs.PF
MPIC: Position-Independent Multimodal Context Caching System for Efficient MLLM Serving
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）；School of Computer Science（计算机学院）
本文提出位置无关缓存系统MPIC，通过本地磁盘存储KV缓存并在推理时并行加载，结合集成复用与重算机制，在保持精度的同时显著降低多模态大语言模型推理延迟并提升吞吐量。
2025-09-20 cs.LG
Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching
School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，中国科学技术大学）；Suzhou Institute of Advanced Research, University of Science and Technology of China（苏州先进研究院，中国科学技术大学）
Window-Diffusion通过窗口化令牌修剪和缓存技术，显著提升扩散语言模型推理速度，同时保持生成性能。
2026-09-16 cs.LG
On Optimal Caching and Model Multiplexing for Large Model Inference
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文针对大型模型推理的资源消耗与延迟问题，提出联合优化缓存与模型多路复用的最优算法，在离线和在线设置中实现最优速率，实验显示最高可提升50倍性能。
2023-08-29 cs.AI cs.LG cs.PF
Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching
Keio University（庆应义塾大学）
本文提出分布式提示缓存方法，通过多台低功耗边缘设备协同共享中间状态以提升LLM推理性能，实验表明可显著降低TTFT和TTLT。
2026-04-10 cs.DC cs.LG
SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
Stevens Institute of Technology（史蒂文斯理工学院）；Northeastern University（东北大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
针对扩散世界模型去噪推理开销大的问题，提出无需训练的谱缓存框架SpectralCache，利用奇异子空间稳定性与奇异值外推，跳过部分骨干计算，在保持生成质量下实现5.22倍加速。
2026-10-09 cs.AI cs.CV cs.LG
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching
University of Minnesota（明尼苏达大学）
图神经网络（GNN）分析引擎对于使用大型图模型的现实问题至关重要。GNN硬件平台的挑战包括以下能力：（a）托管各种GNN，（b）处理输入顶点特征向量和图邻接矩阵以及伴随的随机内存访问模式中的高稀疏性，以及（c）在面对由高稀疏性和幂律顶点度分布引起的不均匀工作负载时保持负载平衡计算。本文提出了GNNIE，这是一个旨在运行各种GNN的加速器。它解决了工作负载不平衡（i）~分裂顶点特征操作数到块，（ii）~重新排序和重新分配计算，（iii）~使用一种新的灵活的MAC架构。它采用了一个特定于图形的，度感知的缓存策略，非常适合现实世界的图形特征。该策略增强了片上数据重用，避免了对DRAM的随机内存访问。GNNIE在图形注意力网络（GAT）、图卷积网络（GCN）、GraphSAGE、GINConv和DiffPool上的多个数据集上，在CPU上实现了21233倍的平均加速，在GPU上实现了699倍的加速。与之前的方法相比，GNNIE在GCN、GraphSAGE和GINConv上实现了35倍于HyGCN（无法实现GAT）的平均加速，并且使用了3.4倍的处理单元，平均加速比AWB-GCN（仅运行GCN）高出2.1倍。
2021-08-07 cs.AR cs.LG
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系）；Argonne National Laboratory, Lemont, USA（阿贡国家实验室）；Parasail, Inc., San Mateo, USA（Parasail公司）
针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
CacheProbe: Auditing Prompt Cache Isolation in Gateway APIs
Khoury College of Computer Sciences（计算机科学学院）；Northeastern University（东北大学）
本文通过CacheProbe方法审计OpenRouter API网关架构，发现其共享组织凭证的路由机制可能绕过提供商级别的提示缓存隔离，导致全局缓存共享漏洞。
2026-05-28 cs.CR cs.LG
SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching
Department of Computer Science Rensselaer Polytechnic Institute（计算机科学系，罗切斯特理工学院）；Department of Computer Science University of Waterloo（计算机科学系，滑铁卢大学）
针对长上下文 LLM 的 KV 缓存开销问题，提出 SentenceKV，以句子级语义向量驻留 GPU、KV 对卸载 CPU 并按需检索，实现更低内存与更稳延迟。
2025-09-29 cs.AI cs.CL cs.LG
Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）
本文提出了一种基于学习的语义缓存框架，解决LLM服务中的缓存淘汰问题，通过离线优化和在线学习方法，在未知查询和成本分布下实现高效缓存管理。
2026-02-13 cs.LG
SlimCaching: Edge Caching of Mixture-of-Experts for Distributed Inference
Department of Electrical and Computer Engineering, The University of Hong Kong（电子与计算机工程系，香港大学）
SlimCaching通过优化边缘服务器上的专家缓存，减少MoE模型的推理延迟，采用贪心分解和动态规划方法解决非子模性问题。
2026-03-01 cs.DC cs.LG cs.NI
dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
Zhejiang University（浙江大学）
针对扩散大语言模型推理延迟高的问题，提出一种无需训练的自适应缓存框架dLLM-Cache，通过长间隔提示缓存和基于特征相似性的部分响应更新，实现高效中间计算复用，在保持输出质量的同时大幅降低FLOPs。
2026-06-06 cs.AI cs.CL cs.LG
RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）
针对RAG因知识注入长序列导致的高计算与内存开销，提出多级动态缓存系统RAGCache，通过知识树组织中间状态并设计感知LLM推理与RAG检索的替换策略及重叠机制，使首字时间最多降低4倍、吞吐量最多提升2.1倍。
2024-04-25 cs.CL cs.DC cs.LG
MeanCache: From Instantaneous to Average Velocity for Accelerating Flow Matching Inference
Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究 institute）；Unicom Data Intelligence, China Unicom（中国unicom数据智能）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
MeanCache通过引入平均速度视角，有效缓解流匹配推理中的误差累积，实现显著加速并优于现有缓存方法。
2026-03-09 cs.AI cs.CV cs.LG
Harnessing Your DRAM and SSD for Sustainable and Accessible LLM Inference with Mixed-Precision and Multi-level Caching
University of Science and Technology of China（中国科学技术大学）；Arizona State University（亚利桑那州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出M2Cache方法，通过神经元模块化、动态稀疏混合精度量化以及HBM-DRAM-SSD三级缓存管理，在老旧GPU上实现LLM高效推理，从而显著降低碳排放。
2024-10-23 cs.DC cs.LG
Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching
National University of Singapore（新加坡国立大学）；Huawei Technologies Ltd（华为技术有限公司）
针对Diffusion Transformer推理慢的问题，提出Learning-to-Cache (L2C)方案，通过动态层缓存移除冗余计算，在保持生成质量的同时大幅加速推理。
2024-11-16 cs.CV cs.LG
ERCache: An Efficient and Reliable Caching Framework for Large-Scale User Representations in Meta's Ads System
Meta Platforms, Inc.（元平台公司）
针对大规模广告推荐中用户表征推理算力消耗大、SLA要求高的问题，提出分类缓存框架ERCache，通过定制化缓存策略平衡三者关系，已在Meta落地并显著节省算力。
2024-10-09 cs.AI cs.DC cs.IR
Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference
Imperial College London（帝国理工学院伦敦分校）
提出一种基于编译器优先的状态空间对偶性（SSD）结构的推理方法，通过标准JAX原语实现无自定义内核的单源推理路径，在TPU和GPU上达到高硬件利用率，且缓存解码速度比全前缀重计算快27-36倍。
2026-06-11 cs.AI cs.DC cs.LG
SpecDiff: Accelerating Diffusion Model Inference with Self-Speculation
SpecDiff通过自推测引入未来信息，提出无需训练的多级特征缓存策略，实现扩散模型推理的高效加速。
2025-11-22 cs.CV cs.LG
Scaling Test-Time Inference with Policy-Optimized, Dynamic Retrieval-Augmented Generation via KV Caching and Decoding
Tata Research Development（塔塔研究与发展中心）；Design Center, Bangalore（班加罗尔设计中心）
本研究提出整合PORAG、ATLAS、CRITIC及测试时扩展、优化解码的RAG综合框架，无需额外训练即可兼容Transformer类大模型，在知识密集型任务上减少幻觉、提升推理能力与效率可扩展性。
2025-05-20 cs.AI cs.CL cs.IR
An experimental study of KV cache reuse strategies in chunk-level caching systems
本文通过实验探讨块级缓存系统中KV缓存重用策略的局限性与优化方法，提出一种融合现有技术的改进设计以提升准确性。
2026-03-03 cs.CL cs.LG
Improving the Serving Performance of Multi-LoRA Large Language Models via Efficient LoRA and KV Cache Management
Shanghai Jiao Tong University（上海交通大学）
本文提出多LoRA缓存系统FASTLIBRA，通过依赖感知的缓存管理和性能驱动的缓存交换策略优化LoRA与KV缓存的HBM调度，相比现有方法平均降低首token时间63.4%。
2025-04-19 cs.AI cs.AR cs.LG
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
FrontiersMind
本文提出分组值注意力（GVA），通过存储分组值并利用线性映射按需重建键，减少KV缓存约45-47%的标量，在350M参数规模下达到接近GQA的基准准确率，并开发自定义解码内核以加速推理。
2026-09-16 cs.AR cs.LG
Accelerating Deep Learning Inference via Freezing
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
在过去的几年里，深度神经网络（DNN）由于其在现实世界任务中的高准确性而变得无处不在。然而，这种准确性的提高是以计算昂贵的模型为代价的，从而导致更高的预测延迟。以前减少这种延迟的努力，如量化，模型蒸馏和任何时间预测模型，通常会权衡性能的准确性。在这项工作中，我们观察到缓存中间层输出可以帮助我们避免为相当大一部分推理请求运行DNN的所有层。我们发现，对于在ResNet-18上运行的91.58%的CIFAR-10请求，这可能会将有效层的数量减少一半。我们提出了冻结推理，一个系统，介绍了近似缓存在每个中间层，我们讨论的技术，以减少缓存的大小，提高缓存命中率。最后，我们讨论了一些开放的研究挑战，在实现这样的设计。
2020-02-07 cs.LG stat.ML
Do language models plan ahead for future tokens?
University of Colorado Boulder（科罗拉多大学博尔德分校）；Cornell University（康奈尔大学）
本文研究Transformer是否在推理时为未来token提前准备信息，提出预缓存和面包屑两种假设，并通过短视训练实验验证，发现合成数据中存在预缓存，而自回归语言建模更支持面包屑假设。
2024-08-01 cs.CL cs.LG
Fine-Grained AI Model Caching and Downloading With Coordinated Multipoint Broadcasting in Multi-Cell Edge Networks
State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources, School of Electrical and Electronic Engineering, North China Electric Power University（替代电力系统与可再生能源电源国家重点实验室，电气与电子工程学院，华北电力大学）；China Satellite Network Group Shanghai Research Institute（中国卫星网络集团上海研究院）
针对6G边缘网络中AI模型体积大导致的缓存与传输难题，提出利用参数复用的细粒度缓存结合CoMP广播的系统，并设计带数据增强的分布式多智能体学习框架优化延迟，经理论与仿真验证收敛性能优异。
2025-10-06 cs.AI cs.LG cs.NI
CacheSolidarity: Preventing Prefix Caching Side Channels in Multi-Tenant LLM Serving Systems
IMDEA Software Institute（IMDEA软件研究所）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出PrefixWall系统，通过监控缓存重用并选择性隔离前缀，有效缓解多租户LLM服务系统中自动前缀缓存（APC）侧信道带来的安全风险，同时提升缓存利用率和推理效率。
2026-10-30 cs.CR cs.DC cs.LG
Accelerating Deep Learning Inference via Learned Caches
Amazon Web Services（亚马逊云科技）；Amazon（亚马逊）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
深度神经网络（DNN）由于其在解决现实世界问题方面的高准确性而在多个领域得到越来越多的采用。然而，这种高准确性是通过构建更深的网络来实现的，这对面向用户的应用程序所需的低延迟推理提出了根本性的挑战。当前的低延迟解决方案在准确性上进行权衡，或者未能利用预测服务工作负载中的固有时间局部性。我们观察到缓存DNN的隐藏层输出可以引入一种后期绑定形式，其中推理请求只消耗所需的计算量。这使得能够实现低延迟的机制，加上利用时间局部性的能力。然而，传统的缓存方法会产生很高的内存开销和查找延迟，导致我们设计学习缓存-由不断更新的简单ML模型组成的缓存。我们提出了GATI的设计，GATI是一个端到端的预测服务系统，它结合了用于低延迟DNN推理的学习缓存。结果表明，GATI可以在实际工作负载上将推理延迟减少高达7.69倍。
2021-01-18 cs.DC cs.LG cs.PF
Emergency Computing: An Adaptive Collaborative Inference Method Based on Hierarchical Reinforcement Learning
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））；School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）
本文提出E-SC3I应急网络框架，并针对其计算开销问题，设计了一种基于分层强化学习的自适应协同推理方法（ACIM），在资源受限条件下实现AI模型的快速推理。
2024-02-03 cs.AI cs.LG cs.NI
You Need an Encoder for Native Position-Independent Caching
State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Computer Science, Peking University, China（计算机学院，北京大学，中国）
本文提出原生PIC方法，通过在解码器-only LLMs中引入编码器并训练其支持PIC，开发了COMB缓存系统，显著提升了TTFT和吞吐量，同时保持精度。
2026-02-02 cs.AI cs.LG
ECHO-LLaMA: Efficient Caching for High-Performance LLaMA Training
University of Waterloo（滑铁卢大学）；Ascend Team, Huawei Technologies（华为技术有限公司）
ECHO-LLaMA通过跨层共享KV缓存降低计算复杂度，在保持性能的同时显著提升LLaMA训练吞吐量、MFU并降低损失，为大模型训练提供高效可扩展方案。
2025-06-22 cs.CL cs.LG
KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs
Technical University of Munich（慕尼黑技术大学）；Technical University of Darmstadt（达姆施塔特技术大学）；Zhejiang University（浙江大学）；Technische Universität Ilmenau（伊尔梅瑙技术大学）
KV Packet通过轻量可训练软令牌适配器实现无重新计算的上下文无关KV缓存，实验表明其在FLOPs和TTFT上优于基线方法，同时保持与完整重新计算基线相当的F1分数。
2026-10-27 cs.AI cs.LG
FlashFPS: Efficient Farthest Point Sampling for Large-Scale Point Clouds via Pruning and Caching
Duke University（杜克大学）
本文提出FlashFPS框架，通过剪枝和缓存减少FPS计算冗余，提升PNN处理效率，实现GPU和PNN加速器上的显著速度提升。
2026-04-20 cs.CV cs.LG
XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization
UC Berkeley（加州大学伯克利分校）；FuriosaAI；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）
针对LLM推理的内存瓶颈，提出XQuant及其变体XQuant-CL，通过量化缓存层输入激活值X并即时重实体化Keys和Values，利用跨层相似性实现极致压缩，在保持接近FP16精度的同时大幅降低内存消耗。
2025-08-14 cs.LG
In-Edge AI: Intelligentizing Mobile Edge Computing, Caching and Communication by Federated Learning
Tianjin University（天津大学）；Huawei Technology（华为技术）；Sun Yat-sen University（中山大学）；Huazhong University of Science and Technology（华中科技大学）
近年来，随着移动通信技术的快速发展，边缘计算理论和技术受到了越来越多的研究者和工程师的关注，它可以有效地将云计算的容量和网络边缘对设备的需求联系起来，从而加速内容交付，提高移动服务质量。为了给边缘系统带来更多的智能，与传统的优化方法相比，在当前深度学习技术的驱动下，我们提出将深度强化学习技术和联邦学习框架与移动边缘系统相结合，优化移动边缘计算、缓存和通信。因此，我们设计了“In-Edge AI”框架，以便智能地利用设备和边缘节点之间的协作来交换学习参数，以便更好地训练和推理模型，从而进行动态系统级优化和应用级增强，同时减少不必要的系统通信负载。“边缘AI”被评估和证明具有接近最优的性能，但相对较低的学习开销，而系统是认知和自适应的移动通信系统。最后，我们讨论了几个相关的挑战和机遇，以揭示“边缘AI”即将到来的充满希望的未来。
2019-07-19 cs.LG cs.NI
PLDR-LLMs Learn A Generalizable Tensor Operator That Can Replace Its Own Deep Neural Net At Inference
Fromthesky Research Labs LLC（弗罗姆斯基研究实验室有限责任公司）
本研究提出PLDR-LLM，其学习的能量-曲率张量可在推理时替代PLGA网络，结合G-cache与KV-cache提速且高保真，还揭示了训练推理不对称性并提供实现框架。
2025-02-22 cs.AI cs.CL cs.LG
ARM: Attention with Routed-Memory for Learnable Sparse Control
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（Mila-魁北克人工智能研究所）；RIKEN AIP（日本理化学研究所革新智能统合研究中心）；Western University（韦仕敦大学）
本文提出ARM，一种基于路由内存的KV缓存结构，通过Gumbel-Softmax和可学习策略实现动态内存选择，在长上下文推理中减少信息损失并提升性能与效率。
2026-09-22 cs.AI cs.LG
RequestRouter: Request-Boundary Routing for Efficient Single-GPU LLM Inference
New York University Abu Dhabi（纽约大学阿布扎克分校）；New York University（纽约大学）；United States（美国）
提出一种轻量级请求边界控制器ModeSwitch-LLM，通过基于工作负载特征在FP16、量化、推测解码等推理模式间路由请求，在单GPU上实现平均延迟加速2.10倍、每token能耗降低51.7%，且精度几乎无损。
2026-08-21 cs.CL cs.LG cs.PF
