Evaluating Reliability of SSD-Based I/O Caches in Enterprise Storage Systems
在本文中，我们提出了一个全面的分析，调查的可靠性，基于SSD的I/O缓存架构用于企业存储系统在电源故障和高工作温度下。我们探索了顶级供应商的各种SSD，并调查了镜像配置中的缓存可靠性。为此，我们首先开发了一个物理故障注入和故障检测平台，然后调查的影响工作负载相关的参数的I/O缓存的可靠性存在两种常见的故障类型在数据中心，停电和高温故障。我们在Linux操作系统上利用开源的I/O缓存模块实现了一个I/O缓存方案。实验结果表明，在不同的写策略下，I/O缓存的失效率受工作负载相关参数的影响很大，通过对I/O缓存进行两万多次物理故障注入得到的实验结果表明，I/O缓存的失效率受工作负载相关参数的影响很大。我们的研究结果表明，不同于工作负载请求访问模式，其他工作负载相关的参数，如请求大小，工作集大小（WSS），和顺序的访问有相当大的影响I/O缓存故障率。我们观察到，通过减少请求的大小（超过14倍），工作负载的失败率显着增加。此外，我们观察到，除了写入之外，对I/O高速缓存的读取访问在突然断电的情况下也会失败（失败主要发生在将数据提升到高速缓存期间）。此外，我们观察到，I/O高速缓存经历高温故障时没有数据故障。
2019-12-01 cs.DC
Effects of Hybrid CPU and Cache Architectures on Parallel HPC and Cloud Applications
Illinois Institute of Technology（伊利诺伊理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文研究混合CPU与缓存架构对并行HPC及云应用的影响，揭示线程亲和性、工作负载平衡性对并行应用扩展性的作用，为相关建模优化奠定基础。
2026-08-25 cs.DC
Cache Serializability: Reducing Inconsistency in Edge Transactions
只读缓存广泛用于云基础设施中，以减少访问延迟和后端数据库上的负载。运营商认为相干缓存在真正的大规模上是不切实际的，并且许多面向客户端的缓存以异步方式通过尽力而为的管道进行更新。支持缓存一致性的现有解决方案不适用于此场景，因为它们需要在每个缓存事务上往返数据库。现有的非相干缓存技术对事务数据访问是不敏感的，即使后端数据库支持事务。我们提出了T-Cache，一种新的只读事务缓存策略，其中不一致是可以容忍的（不会导致安全违规），但不可取的（有成本）。T-Cache提高了缓存一致性，尽管缓存和数据库之间的通信是异步和不可靠的。我们定义了高速缓存串行化，串行化的一个变种，是不连贯的高速缓存，并证明了无限的资源T-Cache实现了这个新的规范。在资源有限的情况下，T-Cache允许系统管理员在性能和一致性之间进行权衡。我们的评估表明，T-Cache检测到许多不一致，只有名义上的开销。我们使用合成的工作负载来证明T-Cache的效率时，数据访问是集群和自适应的反应工作负载的变化。对于基于真实拓扑的工作负载，T-Cache可以检测到43-70%的不一致性，并将一致事务的比率提高33- 58%。
2015-04-26 cs.DC
At the Locus of Performance: Quantifying the Effects of Copious 3D-Stacked Cache on HPC Workloads
本文通过模拟1.5纳米工艺的LARC处理器，量化3D堆叠缓存对HPC工作负载的性能影响，发现缓存敏感应用平均每芯片提升9.56倍，并倡导协同设计。
2023-10-16 cs.DC
Keeping the Cache Warm Pays: Keepalive Economics for Agentic Workloads
blog.mempko.com（mempko博客）
研究智能工作负载中缓存前缀易被逐出致成本增加的问题，提出客户端保活方法，通过定时器重放前缀保持缓存热度，降低请求成本，还探讨了ping频率及保活策略的经济性，推导了运营商策略。
2026-07-27 cs.DC
SYMPHONY: Improving Memory Management for LLM Inference Workloads
针对LLM多轮推理中K,V缓存重算冗余和卸载导致的负载不均问题，提出SYMPHONY，通过动态迁移K,V缓存实现细粒度调度，使可处理请求数提升超8倍。
2024-12-21 cs.DC
Vesta: Queueing-Aware LLM Scheduling for Real-World Workloads
The Chinese Univeristy of Hong Kong（香港中文大学）；Tencent（腾讯）
Vesta是一种分布式智能体LLM服务的感知排队调度器，通过稳定分配KV缓存持有者、独立选择请求执行器等设计，在真实工作负载下显著提升了吞吐量并降低了首包时间。
2026-10-14 cs.DC
MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe通过运行时量化层交换和KV缓存调整，有效提升动态负载下的LLM服务效率和稳定性。
2026-01-07 cs.DC cs.LG
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
Efficient Unified Caching for Accelerating Heterogeneous AI Workloads
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud（华为云）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
针对现有缓存策略难以适配AI集群异构工作负载的问题，提出基于AccessStreamTree分层抽象和假设检验的IGTCache统一缓存系统，可定制多维度缓存策略，显著提升缓存命中率并缩短作业完成时间。
2025-06-14 cs.DC cs.LG
Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
University of Bayreuth（拜罗伊特大学）
研究长上下文服务中KV缓存优化，通过工作负载感知基准评估多种优化机制，测量多项指标。发现仅压缩率不能预测性能，不同机制表现各异，为长上下文服务系统提供工作负载感知的KV缓存机制选择及部署指导。
2026-07-08 cs.AI cs.CL cs.DC
RC-RNN: Reconfigurable Cache Architecture for Storage Systems Using Recurrent Neural Networks
与传统硬盘驱动器（HDD）相比，固态硬盘（SSD）具有显著的性能优势，例如更低的延迟和更高的吞吐量。然而，单位容量的价格明显更高，使用寿命有限，这阻止了设计人员在企业存储系统中完全用SSD取代HDD。基于SSD的缓存最近被建议用于存储系统，以从SSD的更高性能中受益，同时最大限度地降低整体成本。虽然诸如最近最少使用（LRU）的常规缓存算法在处理器中提供高命中率，但是由于输入/输出（I/O）工作负载的高度随机行为，它们几乎不能为存储系统提供所需的性能水平。除了性能差之外，低效的算法还通过不必要的缓存替换缩短了SSD的使用寿命。这些缺点促使我们从更复杂的非线性算法中受益，以实现更高的缓存性能并延长SSD的使用寿命。在本文中，我们提出了RC-RNN，第一个可重新配置的基于SSD的高速缓存架构的存储系统，利用机器学习，以确定性能关键的数据页面的I/O缓存。所提出的架构使用循环神经网络（RNN）来表征正在进行的工作负载，并在提高SSD寿命的同时优化自身以实现更高的缓存性能。RC-RNN尝试学习正在运行的工作负载的特征，以预测其行为，然后使用收集的信息来识别性能关键的数据页面以获取到缓存中。实验结果表明，RC-RNN对SNIA I/O负载的准确率高达94.6%。RC-RNN可以以平均95%的准确度执行类似于最佳缓存算法的性能，并通过提供高达7倍的命中率和减少高达2倍的缓存替换来优于以前的SSD…
2021-11-05 cs.AR cs.DC
CONCUR: High-Throughput Agentic Batch Inference of LLM via Congestion-Based Concurrency Control
Nanyang Technological University（南洋理工大学）；Shanghai Qiji Zhifeng Co., Ltd.（上海积至智能科技有限公司）
CONCUR通过基于拥堵的并发控制，有效缓解LLM批推断中的中间阶段抖动问题，提升吞吐量达4.09倍。
2026-01-30 cs.DC
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Methods and Metrics for Fair Server Assessment under Real-Time Financial Workloads
能源效率一直是企业面临的一个严峻挑战。金融业经营着世界上一些最大的金融中心。随着能源成本的增加和金融服务行业的增长，新兴的金融分析工作负载可能会产生极高的运营成本，以满足其延迟目标。微服务器最近已经成为高端服务器的替代品，通过横向扩展，有望在数据中心实现可扩展的性能和低能耗。不幸的是，架构特征、形状因子和设计考虑方面的明显差异使得服务器和微服务器之间的公平比较异常具有挑战性。在本文中，我们提出了一个严格的方法和新的指标，公平比较服务器和微服务器平台。我们部署了我们的方法和指标来比较一个带有ARM内核的微服务器和两个带有x86内核的服务器，运行相同的实时的【形】财务分析工作负载。我们定义了特定于工作负载但独立于平台的性能指标，用于平台比较，目标是数据中心运营商和最终用户。我们的方法确定了基于Xeon Phi处理器的服务器可提供最高的性能和能效。然而，通过扩展节能微服务器，我们实现了竞争力或更好的能源效率比一个功率等效的服务器与两个桑迪桥插槽，尽管微服务器的核心速度较慢。使用一个新的iso-QoS（iso-服务质量）度量，我们发现，ARM微服务器的规模足以满足市场的吞吐量需求，即100%的QoS方面的及时选项定价，与少至55%的能量消耗的Sandy Bridge服务器。
2014-12-30 cs.DC
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系）；Argonne National Laboratory, Lemont, USA（阿贡国家实验室）；Parasail, Inc., San Mateo, USA（Parasail公司）
针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
SCION: Size-aware Policy Orchestration for Nonstationary Object Caches (Long Paper Version)
PingCAP, Data & AI-Innovation Lab（PingCAP数据与人工智能创新实验室）
SCION通过轻量级策略编排框架，在非平稳对象缓存中实现尺寸感知的策略选择，提升缓存命中率并支持OMR/BMR的显式权衡。
2026-03-27 cs.AI cs.DC
A Comprehensive Analysis of Process Energy Consumption on Multi-Socket Systems with GPUs
针对共享HPC节点难以按进程核算能耗的问题，本文提出基于节点总能耗、进程占用及CPU/GPU指令类型概率向量的两个数学模型，CPU与GPU预测误差分别低至1.9%和9.7%。
2024-09-08 cs.DC cs.PF
Data-Intensive Workload Consolidation on Hadoop Distributed File System
集群合并是在多个工作负载之间共享物理资源，是一种很有前途的节省成本和能量的集群计算系统技术。本文重点介绍了Hadoop作为当前最先进的数据密集型集群计算系统之一在工作负载整合方面面临的一些挑战。通过系统的逐步过程，我们调查了Hadoop环境中高效服务器整合的挑战。为此，我们首先研究了采用Hadoop分布式文件系统（HDFS）的单个物理服务器上的整合工作负载的最后一级缓存（LLC）争用和吞吐量下降之间的相互关系。然后，我们研究了多个物理服务器上的整合的一般情况，以便它们的吞吐量永远不会低于期望的/预定义的利用率水平。我们使用我们的经验结果模型合并作为一个经典的二维装箱问题，然后设计一个计算效率高的贪心算法，以实现最小的吞吐量下降多个服务器。结果是非常有希望的，并表明我们的贪婪的方法是能够在所有的实验情况下，实现接近最优的解决方案。
2013-03-28 cs.DC
Understanding Cloud Workloads Performance in a Production like Environment
了解虚拟机间干扰对于提供可靠的知识并了解当前公共云中性能下降的原因至关重要。为此，本文设计了一种工作负载分类法，该分类法根据主要系统资源如何影响应用程序的性能（例如，尾部等待时间）作为负载水平的函数（例如，QPS）。在此之后，我们提出了三个主要的研究，解决了三个主要的问题，以提高云性能：影响的负载水平对性能，超线程对性能的影响，以及限制主要系统资源（例如，最后一级缓存）的性能。在所有这些研究中，我们确定了重要的发现，我们希望这些发现可以帮助云提供商提高他们的系统利用率。
2020-10-10 cs.DC
Workload-Aware Caching for Multi-Agent Systems
研究多智能体系统缓存问题，提出结合重新计算成本、DAG 依赖计数和智能体调用频率的工作负载感知逐出策略，经多基准测试评估，该策略能大幅降低延迟，接近无界缓存性能，且与其他优化方法互补。
2026-07-24 cs.AI cs.DC cs.MA
TokenDance: Scaling Multi-Agent LLM Serving via Collective KV Cache Sharing
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
TokenDance通过利用All-Gather模式实现集体KV缓存共享，提升多智能体LLM服务的并发数量，减少缓存存储并加快预填充速度。
2026-04-03 cs.DC
Scheduling Mixed RL Rollouts Beyond Prefix Locality
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；StepFun（阶跃星辰）
针对混合RL回滚调度的异构性问题，提出MISA-T策略，在多基准实验中显著提升回滚吞吐量并降低平均轮次时间，同时维持缓存命中率与工作负载混合比例。
2026-08-12 cs.DC cs.LG
CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving
Meta
CacheRoute 是一种规划式前缀亲和路由方法，通过周期性路由规划解决大语言模型服务中前缀缓存复用与服务器过载的权衡，在 Llama-3.3-70B 模型上实现了更高 QPS 与 KV 缓存命中率。
2026-08-21 cs.DC cs.LG
THEAS: Efficient Power Management in Multi-Core CPUs via Cache-Aware Resource Scheduling
提出THEAS算法，通过缓存感知资源调度在多核CPU中平衡性能与功耗，提升能效，适用于实时应用。
2025-10-10 cs.DC cs.PF
Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
IBM T. J. Watson Research Center（IBM T. J. Watson研究院）
针对扩展上下文LLM推理中高缓存复用性带来的挑战，通过分析真实KVC访问模式并评估现有键值存储，指出缺乏针对KVC prefilling的定制方案，强调需构建优化元数据管理的分布式缓存系统以实现低延迟推理。
2025-05-28 cs.AI cs.DC cs.ET
Distributed Caching for Complex Querying of Raw Arrays
随着应用程序继续以指数级增长的速度生成多维数据，快速分析以提取有意义的结果变得非常重要。数据库社区已经开发了数组数据库，通过一系列技术缓解了这个问题。原位机制提供了对原始格式的原始数据的直接存取访问-无需加载和分区。并行处理可扩展到最大的数据集。内存中缓存减少了跨查询工作负载访问相同数据时的延迟。然而，我们不知道任何关于多维原始数组的分布式缓存的工作。在本文中，我们介绍了一个分布式的框架成本为基础的缓存多维数组在本机格式。给定一组包含数组部分的文件和一个在线查询工作负载，该框架分两个阶段计算有效的缓存计划。首先，该计划通过不断改进不断发展的R树索引，从每个输入文件中识别要本地缓存的单元。在第二阶段中，确定将单元格最优分配给将依赖单元格并置以使总体数据传输最小化的节点。我们设计的缓存驱逐和放置启发式算法，考虑历史查询工作量。一个彻底的实验评估两个真实的数据集在三种文件格式证实了优越性-多达两个数量级-所提出的框架在缓存开销和工作负载执行时间方面超过现有的技术。
2018-03-16 cs.DB cs.DC
Adaptive Multi-Objective Tiered Storage Configuration for KV Cache in LLM Service
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
Kareto通过自适应资源管理优化LLM服务中的KV缓存配置，提升吞吐量、降低延迟和成本。
2026-02-25 cs.AR cs.DC
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。然而，最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中，我们已经发现，批处理是流处理工作负载具有类似的微架构特征，并受到频繁的数据访问DRAM的延迟。对于数据访问，我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到，（i）NUMA节点上的数据局部性可以平均提高10%的性能，（ii）禁用下一行L1-D预取器可以减少高达14%的执行时间，（iii）多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
Cache-based Multi-query Optimization for Data-intensive Scalable Computing Frameworks
在现代大规模分布式系统中，不同用户提交的分析作业通常共享类似的工作，例如扫描和处理相同的数据子集。多查询优化技术可以节省大量的集群资源，而不是单独优化作业，这可能会导致冗余和浪费的处理。在这项工作中，我们介绍了一种新的方法相结合的内存缓存原语和多查询优化，以提高数据密集型，可扩展的计算框架的效率。通过仔细选择和利用共同（子）表达式，同时满足内存限制，我们的方法将一批查询转换成一个新的，更有效的，避免不必要的重新计算。为了找到可行和有效的执行计划，我们的方法使用了基于成本的优化配方类似于多选择背包问题。在我们的系统的原型实现上进行的大量实验表明，工作共享对于TPC-DS工作负载和详细的微基准测试都有显着的好处。
2018-05-22 cs.DB cs.DC
Asymmetric Virtual Memory Paging for Hybrid Mamba-Transformer Inference
Ho Chi Minh City Vietnam（越南胡志明市）
本文提出了一种异构虚拟内存分页方法，用于解决混合Mamba-Transformer模型推理中不同内存缓存类型的内存管理问题，通过分离两种缓存类型到物理上不同的池中，并在需要时迁移容量以提高内存利用率和推理吞吐量。
2026-05-21 cs.DC cs.LG cs.PF
RLCache: Automated Cache Management Using Reinforcement Learning
Girton College（格顿学院）；University of Cambridge（剑桥大学）
本研究探讨使用强化学习来指导通用缓存管理器的决策。高速缓存管理器直接影响计算机系统的整体性能。它们决定哪些对象应该被缓存，缓存的持续时间，以及在缓存已满时决定从缓存中驱逐哪些对象。这三个决定会影响缓存命中率和实现该缓存命中率所需的存储大小。一个最佳的缓存管理器将避免不必要的操作，最大限度地提高缓存命中率，从而减少到较慢的后端存储系统的往返次数，并最大限度地减少实现高命中率所需的存储大小。该项目通过为每个缓存管理器任务设计三个单独的代理，研究在缓存管理中使用强化学习。此外，该项目研究了两种先进的强化学习架构的多决策问题：一个单一的多任务代理和多代理。我们还介绍了一个框架，以简化计算机系统问题的建模作为一个强化学习任务。该框架抽象了计算机系统中的延迟经验观察和奖励分配，同时提供了一种灵活的方式来扩展到多个代理。基于已建立的数据库基准测试系统的仿真结果表明，强化学习代理可以实现更高的缓存命中率比启发式驱动的算法，同时最大限度地减少所需的空间。它们还能够适应不断变化的工作负载，并相应地动态调整其缓存策略。所提出的高速缓存管理器模型是通用的，并且适用于其他类型的高速缓存，例如文件系统高速缓存。据我们所知，这个项目是第一个将缓存管理器决策建模为多任务控制问题的项目。
2019-09-30 cs.DC cs.LG stat.ML
MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices
Huawei Technologies（华为技术有限公司）
针对资源受限边缘设备注意力加速难题，提出MAS-Attention方案，通过异构计算单元并行、多层分块流调度与主动缓存策略，实现显著速度与能效提升且不损失精度。
2025-05-16 cs.AI cs.DC cs.PF
Characterizing High Bandwidth Flash for LLM Serving
University of California, Berkeley（加州大学伯克利分校）；FuriosaAI；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）
本研究针对LLM服务中的内存瓶颈，提出HBM-HBF-主机分层存储与缓冲缓存感知调度，通过轨迹驱动模拟证明HBF增强系统可显著降低完成时间并延长写入寿命。
2026-10-06 cs.AR cs.DC cs.LG
The Hitchhiker's Guide to Programming and Optimizing Cache Coherent Heterogeneous Systems: CXL, NVLink-C2C, and AMD Infinity Fabric
本文全面分析了由CXL、NVLink-C2C和Infinity Fabric互连的现代缓存一致性异构系统，开发了基准测试套件Heimdall进行性能分析，揭示了系统架构设计并为未来优化指明方向。
2025-07-14 cs.AR cs.DC cs.OS
