Optimizing CPU Cache Utilization in Cloud VMs with Accurate Cache Abstraction
Hofstra University（霍夫斯特拉大学）；Columbia University（哥伦比亚大学）；University of Rhode Island（罗德岛大学）；New Jersey Institute of Technology（新泽理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出CacheX通过精确缓存抽象优化云虚拟机的CPU缓存利用率，采用eviction sets探测技术，结合LLC内容ion-aware任务调度和虚拟颜色-aware页面缓存管理，提升缓存利用效率。
2025-12-02 cs.DC cs.OS cs.PF
Efficient Agentic LLM Serving over SSD-based Sparse KV Storage
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Qiji Zhifeng Co Ltd（上海奇积智峰有限公司）
针对智能体LLM服务中SSD稀疏KV存储的读取延迟问题，提出Janus框架，通过预测KV需求将读取移出关键路径并优化SSD效率，显著降低首词延迟。
2026-09-30 cs.DC
CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents
University of Washington（华盛顿大学）；University of Virginia（弗吉尼亚大学）
针对编码代理会话中大量前缀复用导致KVCache压力的问题，提出CacheWise管理层，结合前缀感知调度和基于工具调用元数据的轻量级预测驱逐策略，减少KVCache驱逐并提升会话完成时间。
2026-06-16 cs.DC cs.OS
Co-Optimizing Cache Partitioning and Multi-Core Task Scheduling: Exploit Cache Sensitivity or Not?
针对多核实时系统多资源管理问题，提出一种混合多层设计空间探索技术，协同优化缓存分区与任务调度，显著提升了不同调度策略下的任务可调度性。
2023-10-04 cs.AR cs.DC cs.OS
Consideration for effectively handling parallel workloads on public cloud system
我们检索并分析了富士通K5云服务的并行存储工作负载，以阐明如何构建具有成本效益的混合存储系统。混合存储系统由快速但低容量的层（第一层）和慢速但高容量的层（第二层）组成。而且，它通常由SSD和HDD或NVM和SSD组成。结果，我们发现：1）仅当工作负载包括一整天的大量IO访问时，才应分配第一层的区域，2）包括大量IO访问的区域应动态选择并在短时间间隔内从第二层移动到第一层，以及3）如果高速缓存命中率通常较低，则应取消对工作负载的高速缓存的使用，并且整个工作负载区域应该被分配给第一层的区域。这些工作量已经从SNIA网站上发布。
2020-08-14 cs.DC cs.DS cs.OS
Redy: Remote Dynamic Memory Cache
Redy是一种云服务，它使用可通过RDMA访问的远程内存提供高性能缓存。应用程序可以使用延迟和吞吐量的服务级别目标（SLO）来定制每个缓存的性能。通过使用远程内存，它可以利用闲置的内存和现场虚拟机实例来降低其缓存成本并提高数据中心资源利用率。Redy自动为给定的SLO定制资源配置，处理远程内存区域的动态，并从故障中恢复。实验结果表明，Redy在云环境下的远程内存动态变化下能够提供其承诺的性能和鲁棒性。我们用Redy缓存来增强生产键值存储FASTER。当工作集超过本地内存时，使用Redy比溢出到SSD快得多。
2022-01-01 cs.DB cs.DC
The Hitchhiker's Guide to Programming and Optimizing Cache Coherent Heterogeneous Systems: CXL, NVLink-C2C, and AMD Infinity Fabric
本文全面分析了由CXL、NVLink-C2C和Infinity Fabric互连的现代缓存一致性异构系统，开发了基准测试套件Heimdall进行性能分析，揭示了系统架构设计并为未来优化指明方向。
2025-07-14 cs.AR cs.DC cs.OS
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
AdaCache: A Disaggregated Cache System with Adaptive Block Size for Cloud Block Storage
针对传统云块存储缓存无法跨主机共享及固定块大小分配机制在多负载下性能差的问题，提出用户态分解式缓存系统AdaCache，通过自适应块分配、基于组的缓存组织和两级缓存替换策略，大幅提升I/O性能与命中率并降低内存开销。
2023-06-29 cs.DC
LayerKV: Optimizing Large Language Model Serving with Layer-wise KV Cache Management
Ant Group（蚂蚁集团）
针对大语言模型上下文扩展导致首令牌生成时间（TTFT）飙升的问题，提出分层KV缓存管理方法LayerKV，通过细粒度内存控制与SLO感知调度，在不增硬件、不降性能的前提下大幅降低TTFT与SLO违反率。
2024-10-09 cs.AI cs.DC cs.LG
FastCache: Optimizing Multimodal LLM Serving through Lightweight KV-Cache Compression Framework
FastCache通过动态批处理调度和高效KV缓存内存池，显著降低多模态大模型服务的首token时间并提升吞吐量，同时减少内存占用。
2025-03-11 cs.DC cs.MM
OS Scheduling Algorithms for Improving the Performance of Multithreaded Workloads
主要的芯片制造商都推出了多核微处理器。从这些处理器构建的多插槽系统用于运行各种服务器应用程序。然而，据我们所知，当前的商业操作系统没有针对在这样的服务器上运行的多线程工作负载进行优化。缓存到缓存传输和远程内存访问会影响此类工作负载的性能。本文提出了一种统一的方法来优化操作系统调度算法的缓存到缓存传输和远程DRAM访问，也考虑到缓存的亲和力。通过观察每个调度量子中每个线程的本地和远程缓存到缓存传输以及本地和远程DRAM访问的模式，并应用不同的算法，我们提出了一个新的线程计划，为下一个量子考虑缓存亲和力。这种新的调度减少了下一个调度量的远程缓存到缓存传输和远程DRAM访问，并提高了整体性能。我们提出了两种算法的不同复杂度的优化缓存到缓存传输。其中之一是一种新的算法，该算法相对简单，并且在与优化远程DRAM访问的算法相结合时性能更好。为了优化远程DRAM访问，我们提出了两种算法。虽然这两种算法在算法复杂度上有所不同，但我们发现，对于我们的工作负载，它们的性能同样出色。我们使用三种不同的合成工作负载来评估这些算法。我们还进行了灵敏度分析，相对于不同的远程缓存到缓存传输延迟和远程DRAM延迟。我们表明，这些算法可以减少整体延迟高达16.79%，这取决于所使用的算法。
2018-10-21 cs.DC
LLaMCAT: Optimizing Large Language Model Inference with Cache Arbitration and Throttling
The Hong Kong University of Science and Technology（香港科技大学）
LLaMCAT通过缓存仲裁和限流技术优化大语言模型推理，实现1.26-1.58倍速度提升，填补LLM解码特定MSHR竞争的空白。
2025-11-26 cs.AR cs.DC
Cache Your Prompt When It's Green: Carbon-Aware Caching for Large Language Model Serving
University of Waterloo（滑铁卢大学）；Purdue University（普渡大学）
本文提出GreenCache框架，通过动态资源分配平衡碳排放与服务等级协议，实现在LLM服务中减少15.1%的碳排放，最高达25.3%。
2026-04-11 cs.AR cs.DC
LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme
NVIDIA（英伟达）；NVIDIA/UIUC（英伟达/伊利诺伊大学厄巴纳-香槟分校）
本文提出LSM-GNN框架，通过优化数据传输方案提升多GPU环境下GNN训练效率，实验表明其在单节点双GPU配置下优于双节点四GPU的Dist-DGL基线，实现端到端训练时间的3.75倍加速。
2026-03-28 cs.DC cs.LG
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Cornell University（康奈尔大学）
图神经网络（GNN）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，在节点分类和图属性预测等各种任务上实现了突破性的性能。尽管如此，现有的系统对于用GPU训练具有数十亿个节点和边的大型图是低效的。主要的瓶颈是为GPU准备数据的过程-子图采样和特征检索。本文提出了BGL，一个分布式GNN训练系统，旨在通过一些关键思想解决瓶颈。首先，我们提出了一个动态缓存引擎，以尽量减少功能检索流量。通过对缓存策略和采样顺序的协同设计，我们找到了一个低开销和高缓存命中率的最佳点。其次，我们改进了图划分算法，以减少子图采样过程中的跨分区通信。最后，仔细的资源隔离减少了不同数据预处理阶段之间的争用。在各种GNN模型和大型图数据集上进行的大量实验表明，BGL的平均性能明显优于现有的GNN训练系统20.68倍。
2021-12-16 cs.DC cs.LG
PS-WL: A Probability-Sensitive Wear Leveling scheme for SSD array scaling
针对SSD阵列扩容时传统磨损均衡忽略磨损与故障概率非线性关系易致老盘过早失效的问题，提出PS-WL方案，以有效寿命模型和PID控制器直接平衡故障风险，在降低性能开销的同时有效提升阵列可靠性。
2025-07-30 cs.DC
Multicore-optimized wavefront diamond blocking for optimizing stencil updates
基于模板的算法在计算科学中的重要性使得基于多级缓存的处理器的优化并行实现受到关注。时间阻塞方案利用高速缓存的大带宽和低延迟来加速模板更新并接近理论峰值性能。一个关键因素是减少了慢速数据路径上的数据流量，特别是主存储器接口。在这项工作中，我们结合了多核波前时间阻塞和钻石瓷砖的想法，达到模板更新计划，显示内存压力大幅减少相比，现有的方法。由此产生的方案在带宽不足的情况下表现出性能优势，这是加剧了高字节每格更新的情况下的可变系数。我们的线程组概念在并发和内存使用之间提供了一个可控的权衡，转移了内存接口和CPU之间的压力。我们展示了当代英特尔处理器上的性能结果。
2014-10-12 cs.DC
FastSwitch: Optimizing Context Switching Efficiency in Fairness-aware Large Language Model Serving
Purdue University（普渡大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）
针对 LLM 服务系统公平性与上下文切换开销的矛盾，本研究提出 FastSwitch 系统，通过优化 KV 缓存策略解决 I/O 利用率不足等问题，在公平性与性能上超越 vLLM，加速比达 1.4-11.2 倍。
2024-11-27 cs.DC cs.LG
CTDGM: A Data Grouping Model Based on Cache Transaction for Unstructured Data Storage Systems
缓存预取技术已经成为数据中心中主流的数据访问优化策略。然而，非结构化数据的快速增长产生了大量的成对访问关系，给现有的预取模型带来了沉重的计算负担，导致数据访问性能严重下降。本文提出了基于缓存事务的数据分组模型（CTDGM），通过优化特征表示方法和分组效率来解决上述问题。首先，我们给出了缓存事务的定义，并提出了提取缓存事务特征（CTF）的方法。其次，我们设计了一个基于CTF和时空局部性的数据分块算法，以优化关系计算效率。第三，我们提出了CTDGM通过构建一个关系图，根据数据访问关系的强度将数据分组为独立的组。实验结果表明，与现有的方法相比，该算法在小缓存（占数据量的0.001%）的MSR数据集上，缓存命中率平均提高了12%，当缓存大小小于数据量的0.008%时，数据I/O访问次数减少了50%。
2020-09-30 cs.DC
From RDMA to RDCA: Toward High-Speed Last Mile of Data Center Networks Using Remote Direct Cache Access
本文通过系统的测量研究表明，现代分布式应用的高内存带宽消耗会导致高速RDMA网络中网络吞吐量的显著下降和尾部延迟的大幅增加，其根本原因是应用进程和网络进程之间的高内存带宽竞争。这种争用导致接收主机的NIC处频繁的数据包丢弃，这触发了网络的拥塞控制机制，并最终导致网络性能下降。为了解决这个问题，我们进行了一个关键的观察，即给定分布式存储服务，它从网络接收的绝大多数数据最终将被写入高速存储介质（例如，SSD）的CPU。因此，我们建议在处理接收到的数据时绕过主机内存，以完全规避此性能瓶颈。特别是，我们设计了Lamda，一种新型的接收器缓存处理系统，消耗少量的CPU缓存来处理从网络中接收到的数据线速率。我们实现了一个原型的Lamda和评估其性能广泛的Clos为基础的测试平台。实验结果表明，在分布式存储应用中，Lamda在存储节点内存带宽消耗为零的情况下，网络吞吐量提高了4.7%，在内存带宽压力下，大数据块和小数据块的网络吞吐量分别提高了17%和45%。Lamda还可以应用于延迟敏感的HPC应用程序，将其通信延迟降低35.1%。
2023-03-25 cs.DC cs.NI
Adaptive Cache Management for Complex Storage Systems Using CNN-LSTM-Based Spatiotemporal Prediction
本文提出基于CNN-LSTM的智能缓存管理策略，融合空间特征提取与时序建模能力，实验证明其相比LRU、LFU及RNN、LSTM等模型能显著降低MSE和MAE，有效提升复杂存储系统的缓存命中率与资源利用率。
2024-11-19 cs.DC
Data Caching for Enterprise-Grade Petabyte-Scale OLAP
本文提出Alluxio本地边缘缓存，利用本地SSD缓解PB级OLAP解耦架构下的网络I/O压力，并通过Uber和Meta三年部署验证其处理企业级大规模工作负载的有效性。
2024-06-10 cs.DB cs.DC
MAC: a novel systematically multilevel cache replacement policy for PCM memory
近年来，多核系统的快速发展和数据密集型应用的增加对内存提出了更高的要求。传统的DRAM存储器可以通过减小存储单元的特征尺寸来增加其容量。现在DRAM的进一步扩展面临着巨大的挑战，并且DRAM的频繁刷新操作会带来大量的能量消耗。相变存储器（PCM）作为一种新兴的存储技术，很有希望成为主存储器。它以其低功耗、高密度和非易失性等优点而受到广泛关注，但其持久性有限，写入延迟相对较长。针对写操作问题，通过优化缓存替换策略来保护脏缓存块是一种有效的方法。在本文中，我们构建了一个系统的多级结构，并在此基础上提出了一种新的缓存替换策略称为MAC。MAC可以有效地减少PCM存储器的写流量，且硬件开销较低。我们在GEM5上进行了仿真实验，以评估MAC和其他相关工作的性能。结果表明，MAC在不增加程序执行时间的情况下，最大限度地减少了写操作量（平均为25.12%）。
2016-06-10 cs.AR cs.DC
Cache-based Multi-query Optimization for Data-intensive Scalable Computing Frameworks
在现代大规模分布式系统中，不同用户提交的分析作业通常共享类似的工作，例如扫描和处理相同的数据子集。多查询优化技术可以节省大量的集群资源，而不是单独优化作业，这可能会导致冗余和浪费的处理。在这项工作中，我们介绍了一种新的方法相结合的内存缓存原语和多查询优化，以提高数据密集型，可扩展的计算框架的效率。通过仔细选择和利用共同（子）表达式，同时满足内存限制，我们的方法将一批查询转换成一个新的，更有效的，避免不必要的重新计算。为了找到可行和有效的执行计划，我们的方法使用了基于成本的优化配方类似于多选择背包问题。在我们的系统的原型实现上进行的大量实验表明，工作共享对于TPC-DS工作负载和详细的微基准测试都有显着的好处。
2018-05-22 cs.DB cs.DC
Machine Learning-Driven Intelligent Memory System Design: From On-Chip Caches to Storage
本文提出利用轻量级机器学习方法设计内存系统，通过三种ML引导的架构策略提升性能与效率，优于传统人工设计策略。
2026-03-15 cs.AI cs.AR cs.DC
Fine-Grained Vectorized Merge Sorting on RISC-V: From Register to Cache
本文提出细粒度 RISC-V 向量化归并排序 RVMS，通过以寄存器数据代理数据混洗加速转置、用标量比较替代向量化比较，并提出半归并方案和非对称归并网络，解决从寄存器到缓存层面的归并排序性能瓶颈。
2024-10-01 cs.DC
