Improving the Serving Performance of Multi-LoRA Large Language Models via Efficient LoRA and KV Cache Management
Shanghai Jiao Tong University（上海交通大学）
本文提出多LoRA缓存系统FASTLIBRA，通过依赖感知的缓存管理和性能驱动的缓存交换策略优化LoRA与KV缓存的HBM调度，相比现有方法平均降低首token时间63.4%。
2025-04-19 cs.AI cs.AR cs.LG
Scaling Test-Time Inference with Policy-Optimized, Dynamic Retrieval-Augmented Generation via KV Caching and Decoding
Tata Research Development（塔塔研究与发展中心）；Design Center, Bangalore（班加罗尔设计中心）
本研究提出整合PORAG、ATLAS、CRITIC及测试时扩展、优化解码的RAG综合框架，无需额外训练即可兼容Transformer类大模型，在知识密集型任务上减少幻觉、提升推理能力与效率可扩展性。
2025-05-20 cs.AI cs.CL cs.IR
XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference
ServiceNow Research（ServiceNow研究院）；Québec Artificial Intelligence Institute（魁北克人工智能研究所）；Autodesk（欧特克公司）
针对大语言模型推理中上下文学习缓存空间占用大、未知上下文难缓存的问题，提出基于交叉注意力的XC-Cache方法，仅训练少量新增层，在QA任务上性能优于ICL、媲美微调带提示LLM，空间占用比标准KV缓存低两个数量级。
2024-11-01 cs.AI cs.CL
You Need an Encoder for Native Position-Independent Caching
State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Computer Science, Peking University, China（计算机学院，北京大学，中国）
本文提出原生PIC方法，通过在解码器-only LLMs中引入编码器并训练其支持PIC，开发了COMB缓存系统，显著提升了TTFT和吞吐量，同时保持精度。
2026-02-02 cs.AI cs.LG
Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
IBM T. J. Watson Research Center（IBM T. J. Watson研究院）
针对扩展上下文LLM推理中高缓存复用性带来的挑战，通过分析真实KVC访问模式并评估现有键值存储，指出缺乏针对KVC prefilling的定制方案，强调需构建优化元数据管理的分布式缓存系统以实现低延迟推理。
2025-05-28 cs.AI cs.DC cs.ET
MeanCache: User-Centric Semantic Caching for LLM Web Services
Virginia Tech（弗吉尼亚理工大学）；Cisco（思科）；University of Minnesota（明尼苏达大学）
MeanCache提出用户中心语义缓存，利用联邦学习训练查询相似性模型，识别语义相似查询，减少LLM重复推理成本，相比最先进方法F分数提升17%，精度提升20%，存储降低83%。
2025-03-07 cs.AI cs.CL cs.CR
KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs
Technical University of Munich（慕尼黑技术大学）；Technical University of Darmstadt（达姆施塔特技术大学）；Zhejiang University（浙江大学）；Technische Universität Ilmenau（伊尔梅瑙技术大学）
KV Packet通过轻量可训练软令牌适配器实现无重新计算的上下文无关KV缓存，实验表明其在FLOPs和TTFT上优于基线方法，同时保持与完整重新计算基线相当的F1分数。
2026-10-27 cs.AI cs.LG
Beyond KV Caching: Shared Attention for Efficient LLMs
Kyushu University（九州大学）
针对LLM推理效率瓶颈，提出跨层共享注意力权重的SA机制，利用注意力分布等向性减少计算量和KV缓存，在多种模型上以极小精度损失实现高效推理。
2024-07-13 cs.AI cs.CL cs.LG
Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）
本文提出统一的数学模型，结合随机化缓存淘汰与学习方法，以平衡查询负载和缓存命中率，实验表明在多个基准上性能提升显著。
2026-01-26 cs.AI cs.LG
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI））；Shanghai Jiao Tong University（上海交通大学）
Tail-Replay是一种混合大语言模型的前缀缓存机制，通过重放匹配前缀的短近期后缀重构线性注意力状态，实现无约束令牌级前缀复用，在低重放预算下保持高预填充质量并显著提升长前缀服务效率。
2026-10-16 cs.AI cs.LG
Asynchronous Verified Semantic Caching for Tiered LLM Architectures
本文提出Krites异步缓存策略，通过LLM判断扩展静态缓存覆盖范围，提升静态缓存命中率，减少推理成本和延迟。
2026-03-12 cs.AI cs.IR
SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院（EPFL））
SenCache通过敏感性感知缓存策略，提升扩散模型推理效率与视觉质量。
2026-09-22 cs.CV cs.LG
ReFrame: Layer Caching for Accelerated Inference in Real-Time Rendering
University of British Columbia（不列颠哥伦比亚大学）
针对实时渲染任务中神经网络推理的冗余计算问题，提出ReFrame层缓存框架，通过探索不同缓存策略优化质量与性能权衡，可适配多种编码器-解码器风格网络，实现平均1.4倍加速且质量损失可忽略。
2025-06-14 cs.GR cs.LG eess.IV
CacheNet: A Model Caching Framework for Deep Learning Inference on the Edge
McMaster University（麦克马斯特大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
深度神经网络（DNN）在机器感知应用（如图像分类和语音识别）中的成功是以高计算和存储复杂度为代价的。未压缩的大规模DNN模型的推理只能在云中运行，云和终端设备之间来回存在额外的通信延迟，而压缩的DNN模型以较低的预测准确度为代价在终端设备上实现实时推理。为了两全其美（延迟和准确性），我们提出了CacheNet，一个模型缓存框架。CacheNet在终端设备上缓存低复杂度模型，在边缘或云服务器上缓存高复杂度（或完整）模型。通过利用流数据中的时间局部性，可以实现高缓存命中和因此更短的延迟，而预测准确性没有降低或仅略有降低。在CIFAR-10和FVG上的实验表明，CacheNet比仅在终端设备或边缘服务器上运行推理任务的基准方法快58-217%。
2020-07-03 cs.LG eess.SP
Predictive Feature Caching for Training-free Acceleration of Molecular Geometry Generation
PrunaAI
提出一种无训练缓存策略，通过预测求解器步骤间的中间隐藏状态加速分子几何生成，在GEOM-Drugs数据集上实现2倍加速且质量不变，结合其他优化可达7倍。
2026-06-23 cs.AI cs.LG
Improving the Performance of DNN-based Software Services using Automated Layer Caching
University of Calgary（卡尔加里大学）；University of South Carolina（南卡罗来纳大学）
深度神经网络（DNN）已经成为包括基于Web的服务在内的许多应用领域中的重要组件。这些服务中的许多都需要高吞吐量和（接近）实时特性，例如，对用户的请求作出响应或反应，或及时处理传入的数据流。然而，DNN设计的趋势是使用具有许多层和参数的更大模型，以获得更准确的结果。尽管这些模型通常是预先训练的，但这种大型模型中的计算复杂性仍然相对显著，阻碍了低推理延迟。实现高速缓存机制是用于加快服务响应时间的典型系统工程解决方案。然而，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端的自动化解决方案，以提高基于DNN的服务在计算复杂性和推理延迟方面的性能。我们的缓存方法采用了DNN模型自升华和早期退出的思想。所提出的解决方案是一种自动在线层缓存机制，如果早期退出中的一个缓存模型对最终预测足够自信，则允许在推理时间期间提前退出大型模型。本文的主要贡献之一是，我们已经实现了在线缓存的想法，这意味着缓存模型不需要访问训练数据，并在运行时仅根据传入的数据执行，使其适用于使用预训练模型的应用程序。我们对两个下游任务（人脸和对象分类）的实验结果表明，平均而言，缓存可以降低这些服务的计算复杂性高达58\%（在FLOPs计数方面），并将其推理延迟提高到46\%，准确性降低到零。
2022-09-18 cs.LG cs.PF
Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries
UNSW Sydney（悉尼新南威尔士大学）
本研究通过工程案例验证共享KV缓存的正确性修复，并测量27B推理副本间延迟，发现交替放置可显著降低首令牌时间，而固定放置收益甚微。
2026-09-15 cs.DC cs.LG cs.PF
Adaptive Hybrid Caching for Efficient Text-to-Video Diffusion Model Acceleration
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）
本文提出MixCache，一种基于缓存的训练自由框架，通过自适应混合缓存策略提升视频DiT模型的生成效率和质量。
2026-02-26 cs.CV cs.GR cs.LG
Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference
Columbia University（哥伦比亚大学）
Harvest通过利用点对点GPU互连技术，动态管理GPU内存，减少数据移动开销，显著提升LLM推理的吞吐量。
2026-01-30 cs.LG
SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
Stevens Institute of Technology（史蒂文斯理工学院）；Northeastern University（东北大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
针对扩散世界模型去噪推理开销大的问题，提出无需训练的谱缓存框架SpectralCache，利用奇异子空间稳定性与奇异值外推，跳过部分骨干计算，在保持生成质量下实现5.22倍加速。
2026-10-09 cs.AI cs.CV cs.LG
Toward Robust and Efficient ML-Based GPU Caching for Modern Inference
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Kuaishou（快手）
本文提出学习增强型LRU算法，通过整合预测提升缓存性能，实现1-一致性与O(k)-鲁棒性，同时在GPU上构建LCR缓存，实验显示在LLM和DLRM任务中显著提升性能。
2026-04-24 cs.LG
Mira: Memory-Efficient MoE Inference Using Adaptive Caching and Predictive Expert Staging
University of Maryland, College Park（马里兰大学学院公园分校）
针对MoE模型在单GPU上推理时专家参数内存占用大、路由动态导致缓存效率低的问题，提出算法-系统协同设计Mira，通过预测性专家预取和定制量化缓存，实现5.71倍吞吐量提升。
2026-09-30 cs.LG
Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference
Imperial College London（帝国理工学院伦敦分校）
提出一种基于编译器优先的状态空间对偶性（SSD）结构的推理方法，通过标准JAX原语实现无自定义内核的单源推理路径，在TPU和GPU上达到高硬件利用率，且缓存解码速度比全前缀重计算快27-36倍。
2026-06-11 cs.AI cs.DC cs.LG
Accelerating Local LLMs on Resource-Constrained Edge Devices via Distributed Prompt Caching
Keio University（庆应义塾大学）
本文提出分布式提示缓存方法，通过多台低功耗边缘设备协同共享中间状态以提升LLM推理性能，实验表明可显著降低TTFT和TTLT。
2026-04-10 cs.DC cs.LG
OnlineCache: Learning Dynamic Caching Policies with Error Correction for Efficient Diffusion Inference
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本研究针对扩散模型推理延迟高的问题，提出动态缓存框架OnlineCache，结合策略梯度与可学习校正器，实现样本与时间步的自适应资源分配，在FLUX.1-dev等模型上实现加速且优于现有基线。
2026-08-03 cs.LG
MeanCache: From Instantaneous to Average Velocity for Accelerating Flow Matching Inference
Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究 institute）；Unicom Data Intelligence, China Unicom（中国unicom数据智能）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
MeanCache通过引入平均速度视角，有效缓解流匹配推理中的误差累积，实现显著加速并优于现有缓存方法。
2026-03-09 cs.AI cs.CV cs.LG
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching
University of Minnesota（明尼苏达大学）
图神经网络（GNN）分析引擎对于使用大型图模型的现实问题至关重要。GNN硬件平台的挑战包括以下能力：（a）托管各种GNN，（b）处理输入顶点特征向量和图邻接矩阵以及伴随的随机内存访问模式中的高稀疏性，以及（c）在面对由高稀疏性和幂律顶点度分布引起的不均匀工作负载时保持负载平衡计算。本文提出了GNNIE，这是一个旨在运行各种GNN的加速器。它解决了工作负载不平衡（i）~分裂顶点特征操作数到块，（ii）~重新排序和重新分配计算，（iii）~使用一种新的灵活的MAC架构。它采用了一个特定于图形的，度感知的缓存策略，非常适合现实世界的图形特征。该策略增强了片上数据重用，避免了对DRAM的随机内存访问。GNNIE在图形注意力网络（GAT）、图卷积网络（GCN）、GraphSAGE、GINConv和DiffPool上的多个数据集上，在CPU上实现了21233倍的平均加速，在GPU上实现了699倍的加速。与之前的方法相比，GNNIE在GCN、GraphSAGE和GINConv上实现了35倍于HyGCN（无法实现GAT）的平均加速，并且使用了3.4倍的处理单元，平均加速比AWB-GCN（仅运行GCN）高出2.1倍。
2021-08-07 cs.AR cs.LG
MPIC: Position-Independent Multimodal Context Caching System for Efficient MLLM Serving
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）；School of Computer Science（计算机学院）
本文提出位置无关缓存系统MPIC，通过本地磁盘存储KV缓存并在推理时并行加载，结合集成复用与重算机制，在保持精度的同时显著降低多模态大语言模型推理延迟并提升吞吐量。
2025-09-20 cs.LG
CacheProbe: Auditing Prompt Cache Isolation in Gateway APIs
Khoury College of Computer Sciences（计算机科学学院）；Northeastern University（东北大学）
本文通过CacheProbe方法审计OpenRouter API网关架构，发现其共享组织凭证的路由机制可能绕过提供商级别的提示缓存隔离，导致全局缓存共享漏洞。
2026-05-28 cs.CR cs.LG
SlimCaching: Edge Caching of Mixture-of-Experts for Distributed Inference
Department of Electrical and Computer Engineering, The University of Hong Kong（电子与计算机工程系，香港大学）
SlimCaching通过优化边缘服务器上的专家缓存，减少MoE模型的推理延迟，采用贪心分解和动态规划方法解决非子模性问题。
2026-03-01 cs.DC cs.LG cs.NI
Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching
School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，中国科学技术大学）；Suzhou Institute of Advanced Research, University of Science and Technology of China（苏州先进研究院，中国科学技术大学）
Window-Diffusion通过窗口化令牌修剪和缓存技术，显著提升扩散语言模型推理速度，同时保持生成性能。
2026-09-16 cs.LG
ERCache: An Efficient and Reliable Caching Framework for Large-Scale User Representations in Meta's Ads System
Meta Platforms, Inc.（元平台公司）
针对大规模广告推荐中用户表征推理算力消耗大、SLA要求高的问题，提出分类缓存框架ERCache，通过定制化缓存策略平衡三者关系，已在Meta落地并显著节省算力。
2024-10-09 cs.AI cs.DC cs.IR
RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）
针对RAG因知识注入长序列导致的高计算与内存开销，提出多级动态缓存系统RAGCache，通过知识树组织中间状态并设计感知LLM推理与RAG检索的替换策略及重叠机制，使首字时间最多降低4倍、吞吐量最多提升2.1倍。
2024-04-25 cs.CL cs.DC cs.LG
MUX-PLMs: Data Multiplexing for High-throughput Language Models
Princeton University（普林斯顿大学）；Google Brain（谷歌大脑）
本文提出MUX-PLMs，通过数据多路复用与解复用模块训练高吞吐量预训练语言模型，在广泛任务上仅牺牲1-4%性能即可实现2倍/5倍推理加速，性能媲美普通PLMs。
2023-05-22 cs.CL cs.LG
Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）
本文提出了一种基于学习的语义缓存框架，解决LLM服务中的缓存淘汰问题，通过离线优化和在线学习方法，在未知查询和成本分布下实现高效缓存管理。
2026-02-13 cs.LG
Learning Sensor Multiplexing Design through Back-propagation
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
许多成像和视觉任务的最新进展是由深度前馈神经网络的使用驱动的，该神经网络通过传播在最终输出上定义的损失的梯度来训练，通过网络返回到直接对图像进行操作的第一层。我们建议进一步反向传播-与网络一起学习相机传感器设计，对它们捕获的图像进行推理。在本文中，我们特别考虑在一个典型的彩色相机的设计和推理问题-传感器是能够测量只有一个颜色通道在每个像素位置，计算推理是需要重建一个完整的彩色图像。我们通过将其编码为层来学习相机传感器的颜色复用模式，该层的可学习权重确定在每个位置处将从固定集合中测量哪个颜色通道。这些权重与重建网络的权重联合训练，重建网络对相应的传感器测量进行操作以产生全色图像。与大多数彩色相机中使用的传统Bayer模式相比，我们的网络在准确性方面取得了显着提高。它自动学习采用与最近设计类似的稀疏颜色测量方法，并且通过学习这些测量的最佳布局来改进该设计。
2016-11-02 cs.LG stat.ML
Harnessing Your DRAM and SSD for Sustainable and Accessible LLM Inference with Mixed-Precision and Multi-level Caching
University of Science and Technology of China（中国科学技术大学）；Arizona State University（亚利桑那州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出M2Cache方法，通过神经元模块化、动态稀疏混合精度量化以及HBM-DRAM-SSD三级缓存管理，在老旧GPU上实现LLM高效推理，从而显著降低碳排放。
2024-10-23 cs.DC cs.LG
Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching
National University of Singapore（新加坡国立大学）；Huawei Technologies Ltd（华为技术有限公司）
针对Diffusion Transformer推理慢的问题，提出Learning-to-Cache (L2C)方案，通过动态层缓存移除冗余计算，在保持生成质量的同时大幅加速推理。
2024-11-16 cs.CV cs.LG
Fine-Grained AI Model Caching and Downloading With Coordinated Multipoint Broadcasting in Multi-Cell Edge Networks
State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources, School of Electrical and Electronic Engineering, North China Electric Power University（替代电力系统与可再生能源电源国家重点实验室，电气与电子工程学院，华北电力大学）；China Satellite Network Group Shanghai Research Institute（中国卫星网络集团上海研究院）
针对6G边缘网络中AI模型体积大导致的缓存与传输难题，提出利用参数复用的细粒度缓存结合CoMP广播的系统，并设计带数据增强的分布式多智能体学习框架优化延迟，经理论与仿真验证收敛性能优异。
2025-10-06 cs.AI cs.LG cs.NI
Accelerating Deep Learning Inference via Freezing
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
在过去的几年里，深度神经网络（DNN）由于其在现实世界任务中的高准确性而变得无处不在。然而，这种准确性的提高是以计算昂贵的模型为代价的，从而导致更高的预测延迟。以前减少这种延迟的努力，如量化，模型蒸馏和任何时间预测模型，通常会权衡性能的准确性。在这项工作中，我们观察到缓存中间层输出可以帮助我们避免为相当大一部分推理请求运行DNN的所有层。我们发现，对于在ResNet-18上运行的91.58%的CIFAR-10请求，这可能会将有效层的数量减少一半。我们提出了冻结推理，一个系统，介绍了近似缓存在每个中间层，我们讨论的技术，以减少缓存的大小，提高缓存命中率。最后，我们讨论了一些开放的研究挑战，在实现这样的设计。
2020-02-07 cs.LG stat.ML
SpecDiff: Accelerating Diffusion Model Inference with Self-Speculation
SpecDiff通过自推测引入未来信息，提出无需训练的多级特征缓存策略，实现扩散模型推理的高效加速。
2025-11-22 cs.CV cs.LG
Accelerating Deep Learning Inference via Learned Caches
Amazon Web Services（亚马逊云科技）；Amazon（亚马逊）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
深度神经网络（DNN）由于其在解决现实世界问题方面的高准确性而在多个领域得到越来越多的采用。然而，这种高准确性是通过构建更深的网络来实现的，这对面向用户的应用程序所需的低延迟推理提出了根本性的挑战。当前的低延迟解决方案在准确性上进行权衡，或者未能利用预测服务工作负载中的固有时间局部性。我们观察到缓存DNN的隐藏层输出可以引入一种后期绑定形式，其中推理请求只消耗所需的计算量。这使得能够实现低延迟的机制，加上利用时间局部性的能力。然而，传统的缓存方法会产生很高的内存开销和查找延迟，导致我们设计学习缓存-由不断更新的简单ML模型组成的缓存。我们提出了GATI的设计，GATI是一个端到端的预测服务系统，它结合了用于低延迟DNN推理的学习缓存。结果表明，GATI可以在实际工作负载上将推理延迟减少高达7.69倍。
2021-01-18 cs.DC cs.LG cs.PF
OTCache: Optimal Transport for Geometry-Aware Caching in Diffusion Models
Data Science & Artificial Intelligence Research Institute, China Unicom（中国联通数据科学与人工智能研究院）；Unicom Data Intelligence, China Unicom（中国联通联通数据智能）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
提出OTCache，一种无需训练的扩散采样加速框架，通过最优传输预测缓存调度，在低NFE区域优于图方法，实现4.5倍以上加速并保持生成质量。
2026-07-01 cs.AI cs.LG
Runtime Deep Model Multiplexing for Reduced Latency and Energy Consumption Inference
University of Southern California（南加州大学）
我们提出了一个学习算法来设计一个轻量级的神经多路复用器，给定的输入和计算资源的要求，调用的模型，将消耗最少的计算资源，一个成功的推理。移动设备可以使用所提出的算法将硬输入卸载到云，同时在本地推断简单的输入。此外，在大规模的基于云的智能应用中，不是复制最准确的模型，而是可以根据输入的复杂性复用一系列小型和大型模型，这将节省云的计算资源。输入的复杂性或难度由可以预测正确标签的模型数量决定。例如，如果没有模型可以正确预测标签，则输入被认为是最难的。所提出的算法允许移动终端检测可以在本地处理的输入和需要更大模型并且应该发送到云服务器的输入。因此，移动用户不仅受益于本地处理，还受益于云服务器上托管的准确模型。我们的实验结果表明，该算法提高了8.52%，这是因为这些输入是正确的选择和卸载到云服务器的移动的模型的准确性。此外，它还将云提供商的计算资源节省了2.85倍，因为选择了更小的模型以便于输入。
2020-09-17 cs.CV cs.DC cs.LG
The OoO VLIW JIT Compiler for GPU Inference
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
硬件加速设备上的机器学习~（ML）推理的当前趋势（例如，GPU、TPU）的利用率低得惊人。由于ML推理越来越受到紧延迟SLO的时间限制，因此增加数据并行不是一种选择。对更高效率的需求促使GPU多路复用。此外，现有的GPU编程抽象迫使程序员以早期绑定、上下文无关的方式微观管理GPU资源。我们提出了一个VLIW启发的无序（OOO）即时（JIT）编译器，合并和重新排序执行内核在运行时的吞吐量最佳的设备利用率，同时满足延迟SLO。我们量化了仅空间和仅时间复用替代方案的效率低下，并通过空间合并展示了可实现的7.7倍机会差距。
2019-01-31 cs.DC cs.LG
Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
FrontiersMind
本文提出分组值注意力（GVA），通过存储分组值并利用线性映射按需重建键，减少KV缓存约45-47%的标量，在350M参数规模下达到接近GQA的基准准确率，并开发自定义解码内核以加速推理。
2026-09-16 cs.AR cs.LG
Do language models plan ahead for future tokens?
University of Colorado Boulder（科罗拉多大学博尔德分校）；Cornell University（康奈尔大学）
本文研究Transformer是否在推理时为未来token提前准备信息，提出预缓存和面包屑两种假设，并通过短视训练实验验证，发现合成数据中存在预缓存，而自回归语言建模更支持面包屑假设。
2024-08-01 cs.CL cs.LG
CacheSolidarity: Preventing Prefix Caching Side Channels in Multi-Tenant LLM Serving Systems
IMDEA Software Institute（IMDEA软件研究所）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出PrefixWall系统，通过监控缓存重用并选择性隔离前缀，有效缓解多租户LLM服务系统中自动前缀缓存（APC）侧信道带来的安全风险，同时提升缓存利用率和推理效率。
2026-10-30 cs.CR cs.DC cs.LG
ActionCache: Training-Free Acceleration for Vision-Language-Action Models with Action Caching and Refinement
Institute of Science Tokyo（东京科学研究所）
针对视觉-语言-动作模型动作头计算瓶颈问题，提出ActionCache即插即用外部缓存，利用紧凑多模态键存储中间动作，可跨不同场景检索重用，在模拟和真实环境实验中显著加速推理，提升任务成功率。
2026-08-04 cs.CV cs.LG cs.RO
LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration
提出LearniBridge，一种基于低秩共享子空间的可学习校准机制，通过轻量LoRA更新实现特征缓存的多时间步校准，仅需3-5个训练样本即可在图像和视频生成中实现高达5.87倍加速。
2026-06-26 cs.CV cs.LG
Emergency Computing: An Adaptive Collaborative Inference Method Based on Hierarchical Reinforcement Learning
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））；School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）
本文提出E-SC3I应急网络框架，并针对其计算开销问题，设计了一种基于分层强化学习的自适应协同推理方法（ACIM），在资源受限条件下实现AI模型的快速推理。
2024-02-03 cs.AI cs.LG cs.NI
Leveraging Approximate Caching for Faster Retrieval-Augmented Generation
Huawei Research（华为研究）
本文提出近似缓存Proximity，利用查询相似性重用检索结果，结合局部敏感哈希减少向量数据库调用，在MMLU和MedRAG基准上降低77.2%数据库调用且保持准确性。
2025-10-27 cs.DB cs.LG cs.PF
Continuous Semantic Caching for Low-Cost LLM Serving
Carnegie Mellon University（卡内基梅隆大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；City University of Hong Kong（香港城市大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出连续语义缓存框架，通过动态ε-网离散化与核岭回归，解决连续查询空间下的缓存优化问题，降低计算和切换开销。
2026-10-08 cs.CL cs.LG
Beyond Autoregression: Fast LLMs via Self-Distillation Through Time
本文提出一种针对离散扩散语言模型的时间自蒸馏方法，将推理步数减少32-64倍，使扩散模型能同时生成至少32个token，在1.3B参数规模下生成速度比带KV缓存的自回归模型快至8倍，并在文本质量和LAMBADA基准上超越自回归模型。
2025-02-06 cs.CL cs.LG
