LERC: Coordinated Cache Management for Data-Parallel Systems
内存缓存在当今的数据并行框架（如Spark、Tez和Storm）中得到了积极的应用。通过在内存中缓存输入和中间数据，计算任务可以见证数量级的加速。为了最大限度地提高内存中数据访问的机会，现有的缓存算法，无论是基于新近度还是基于频率，都将缓存命中率作为优化目标。然而，与传统的信念，我们在本文中表明，简单地追求更高的缓存命中率的个别数据块并不一定转化为更快的任务完成在数据并行环境中。数据并行任务通常依赖于多个输入数据块。除非所有这些块都缓存在内存中，否则不会产生加速。为了捕捉这种全有或全无的属性，我们提出了一个更相关的指标，称为有效缓存命中率。具体地说，如果数据块的缓存命中可以加速计算任务，则该数据块的缓存命中被称为有效的。为了优化有效的缓存命中率，我们提出了最低有效引用计数（LERC）的政策，持久的依赖块的计算任务作为一个整体在内存中。我们在Spark中实现了LERC策略作为内存管理器，并通过Amazon EC2部署评估了其性能。评估结果表明，LERC有助于加快高达37%的数据并行作业相比，广泛采用的最近最少使用（LRU）的政策。
2017-08-26 cs.DC
Elastic Provisioning of Cloud Caches: a Cost-aware TTL Approach
我们考虑在云中提供弹性资源，重点放在用作缓存的内存键值存储上。我们的目标是动态扩展资源的流量模式，最大限度地减少整体成本，其中不仅包括存储成本，但也由于错过的成本。事实上，高速缓存未命中率的小变化可能对现代web服务中的用户感知性能具有显著影响，这进而对使用这些服务的内容提供方的总体收入具有影响。我们提出并研究了一个动态的TTL缓存算法，这是能够获得接近最小的成本。由于高吞吐量的高速缓存需要低复杂度的操作，我们讨论了这样一个计划的实际实现，需要恒定的开销，每个请求独立于高速缓存的大小。我们使用从Akamai收集的真实跟踪来评估我们的解决方案，结果表明，与基准静态配置相比，我们能够将总体成本降低17%。
2018-02-13 cs.DC
Tessera: Demand-Driven KV Cache Management for Retrieval-Augmented LLM Serving
University of California, Santa Cruz（加州大学圣克鲁兹分校）
Tessera通过将检索作为控制平面，实现需求驱动的KV缓存管理，解决RAG和智能体记忆中重复内容的KV重用问题，显著降低TTFT并保持答案质量。
2026-09-29 cs.DC
Mell: Memory-Efficient Large Language Model Serving via Multi-GPU KV Cache Management
针对大语言模型服务中KV缓存内存占用大、GPU负载不均的问题，本文提出MELL系统，通过自适应请求迁移机制和支持迁移的多GPU调度在线算法，实现内存高效服务，最多可减少31%GPU用量、提升43%GPU利用率。
2025-01-12 cs.DC
eLLM: Elastic Memory Management Framework for Efficient LLM Serving
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
eLLM提出一种弹性内存管理框架，通过虚拟张量抽象、弹性内存机制和轻量调度策略，提升LLM服务的内存利用效率，实现在动态负载下的更高吞吐量和更大批次大小。
2026-05-06 cs.DC
Domain-Specialized Cache Management for Graph Analytics
图形分析为金融、网络和商业物流等领域的一系列应用提供支持。在图分析领域中使用的图的共同性质是顶点连通性的幂律分布，其中少量顶点负责图中所有连接的高比例。这些连接丰富的热顶点固有地表现出高重用性。然而，这项工作发现，由于图形分析的高度不规则的访问模式，最先进的硬件缓存管理方案在利用其重用方面存在困难。作为回应，我们提出了GRASP，在最后一级缓存的域专用缓存管理图分析。GRASP增强了现有的缓存策略，以最大限度地重用热顶点，保护他们免受缓存颠簸，同时保持足够的灵活性，以捕捉重用的其他顶点需要。GRASP通过利用轻量级软件支持来精确定位热顶点，从而避免了对最先进的高速缓存管理方案所采用的存储密集型预测机制的需要，从而使硬件成本可以忽略不计。在一组具有大型高偏斜图数据集的各种图分析应用程序中，GRASP在所有数据点上的性能优于先前的域不可知方案，比性能最佳的先前方案平均提高了4.2%（最大9.4%）。GRASP在低/无偏斜数据集上保持稳健，而先前的方案始终会导致减速。
2020-01-28 cs.DC cs.PF
A Survey on Large Language Model Acceleration based on KV Cache Management
Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）；Department of Computer Science and Engineering（计算机科学与工程系）；Department of Computer Science and Technology（计算机科学与技术系）；Department of Computing and Data Science（计算与数据科学系）
本综述针对大语言模型推理阶段的计算与内存瓶颈，将KV缓存管理优化策略分为令牌级、模型级、系统级三类进行全面梳理，同时介绍了相关评估基准，为该领域研究与实践提供参考。
2025-07-30 cs.AI cs.DC
InfiniGen: Efficient Generative Inference of Large Language Models with Dynamic KV Cache Management
Seoul National University（首尔大学）
InfiniGen提出一种面向长文本生成的KV缓存管理框架，通过最小化预演推测关键token并仅预取必要缓存条目，在基于卸载的LLM推理系统中实现最高3倍性能提升且保持模型精度。
2024-06-28 cs.DC cs.LG
Optimizing CPU Cache Utilization in Cloud VMs with Accurate Cache Abstraction
Hofstra University（霍夫斯特拉大学）；Columbia University（哥伦比亚大学）；University of Rhode Island（罗德岛大学）；New Jersey Institute of Technology（新泽理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出CacheX通过精确缓存抽象优化云虚拟机的CPU缓存利用率，采用eviction sets探测技术，结合LLC内容ion-aware任务调度和虚拟颜色-aware页面缓存管理，提升缓存利用效率。
2025-12-02 cs.DC cs.OS cs.PF
Limited Associativity Makes Concurrent Software Caches a Breeze
软件缓存优化了各种存储系统、数据库和其他软件系统的性能。现有的软件缓存工程自动诉诸于完全关联的缓存设计。我们的工作表明，有限关联性缓存是一个很有前途的方向并发软件缓存。具体来说，我们证明了有限的关联性可以简单而有效地实现可以简单并行化的多个缓存管理方案。我们表明，所获得的命中率通常是类似于完全关联的缓存相同的管理策略，但吞吐量提高了X5相比，生产级缓存库，特别是在多线程执行。
2021-07-19 cs.AR cs.DC
ESS: An Offload-Centric Latent-Cache Management Architecture for DeepSeek-V3.2-Exp
Baige AI Team, Baidu Inc.（百度公司白鸽AI团队）
ESS通过卸载潜在缓存到CPU内存，缓解了DeepSeek-V3.2-Exp中解离阶段的性能瓶颈，提升了大上下文推理任务的吞吐量。
2025-12-11 cs.DC
CoT: Decentralized Elastic Caches for Cloud Environments
分布式缓存被广泛部署，以服务于数十亿用户规模的社交网络和Web应用程序。本文介绍了Cache-on-Track（CoT），这是一种用于云环境的分散，弹性和预测性缓存框架。CoT提出了一种新的缓存替换策略，专门针对服务于倾斜工作负载的小型前端缓存。前端服务器使用重命中跟踪算法来连续跟踪前k个热键。CoT动态缓存跟踪的键中最热的C键。我们的实验表明，CoT的替换策略始终优于命中率的LRU，LFU，和ARC相同的缓存大小上不同的倾斜工作负载。此外，当两个策略配置有相同的跟踪（历史）大小时，\algoname的命中率略高于LRU-2。与其他替换策略相比，CoT实现了服务器大小的负载平衡，前端缓存减少了50%到93.75%。
2020-06-18 cs.DB cs.DC
Economical and efficient big data sharing with i-Cloud
School of Information Technology, Sripatum University（斯里帕坦大学信息技术学院）；Computer Engineering Department Kasetsart University（凯斯里特大学计算机工程系）
针对云大数据共享中的网络拥塞和高额数据传出费用，提出i-Cloud云缓存机制，节省14.78%成本，并在命中率、延迟等方面优于现有方法。
2026-09-22 cs.DC
Cache policies for cloud-based systems: To keep or not to keep
在本文中，我们研究基于云的缓存的缓存策略。基于云的缓存使用Amazon S3等云存储服务作为数据项的缓存，否则这些数据项将被重新计算。基于云的缓存与经典缓存不同：云资源可能是无限的，只有在使用时才付费，而经典缓存依赖于固定的存储容量，其主要货币成本来自初始投资。为了应对这种新的情况下，我们设计和评估一个新的缓存策略，最大限度地减少基于云的系统的整体成本。该策略考虑到物品的消费频率和云成本模型。我们表明，这种政策更容易操作，它的规模与需求，它优于经典的政策管理一个固定的容量。
2014-04-24 cs.DC cs.NI
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science（德克萨斯理工大学计算机科学系）
综述通过四个轴对三十多个键值管理系统和框架分类，揭示五种架构原型，还审计当前评估，找出七个缺失测量，关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
RLCache: Automated Cache Management Using Reinforcement Learning
Girton College（格顿学院）；University of Cambridge（剑桥大学）
本研究探讨使用强化学习来指导通用缓存管理器的决策。高速缓存管理器直接影响计算机系统的整体性能。它们决定哪些对象应该被缓存，缓存的持续时间，以及在缓存已满时决定从缓存中驱逐哪些对象。这三个决定会影响缓存命中率和实现该缓存命中率所需的存储大小。一个最佳的缓存管理器将避免不必要的操作，最大限度地提高缓存命中率，从而减少到较慢的后端存储系统的往返次数，并最大限度地减少实现高命中率所需的存储大小。该项目通过为每个缓存管理器任务设计三个单独的代理，研究在缓存管理中使用强化学习。此外，该项目研究了两种先进的强化学习架构的多决策问题：一个单一的多任务代理和多代理。我们还介绍了一个框架，以简化计算机系统问题的建模作为一个强化学习任务。该框架抽象了计算机系统中的延迟经验观察和奖励分配，同时提供了一种灵活的方式来扩展到多个代理。基于已建立的数据库基准测试系统的仿真结果表明，强化学习代理可以实现更高的缓存命中率比启发式驱动的算法，同时最大限度地减少所需的空间。它们还能够适应不断变化的工作负载，并相应地动态调整其缓存策略。所提出的高速缓存管理器模型是通用的，并且适用于其他类型的高速缓存，例如文件系统高速缓存。据我们所知，这个项目是第一个将缓存管理器决策建模为多任务控制问题的项目。
2019-09-30 cs.DC cs.LG stat.ML
Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
IBM T. J. Watson Research Center（IBM T. J. Watson研究院）
针对扩展上下文LLM推理中高缓存复用性带来的挑战，通过分析真实KVC访问模式并评估现有键值存储，指出缺乏针对KVC prefilling的定制方案，强调需构建优化元数据管理的分布式缓存系统以实现低延迟推理。
2025-05-28 cs.AI cs.DC cs.ET
ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management
UESTC（电子科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
ContiguousKV通过粒度对齐的KV缓存管理，提升LLM预填效率，实现3.85倍加速并保持输出质量。
2026-01-20 cs.DC cs.OS
SYMPHONY: Improving Memory Management for LLM Inference Workloads
针对LLM多轮推理中K,V缓存重算冗余和卸载导致的负载不均问题，提出SYMPHONY，通过动态迁移K,V缓存实现细粒度调度，使可处理请求数提升超8倍。
2024-12-21 cs.DC
HiSparse: Scaling Sparse-Attention Decoding with Hierarchical KV Cache Management
Stanford University（斯坦福大学）；Meta；Alibaba Group（阿里巴巴集团）；Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；NVIDIA Research（英伟达研究院）
HiSparse是一种分层KV缓存，通过将KV历史存主机、GPU设固定缓存等方式，提升长上下文稀疏注意力LLM解码吞吐量达4.7倍，未增加每token成本，已集成到SGLang并在多平台验证。
2026-08-10 cs.DC
Effects of Hybrid CPU and Cache Architectures on Parallel HPC and Cloud Applications
Illinois Institute of Technology（伊利诺伊理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文研究混合CPU与缓存架构对并行HPC及云应用的影响，揭示线程亲和性、工作负载平衡性对并行应用扩展性的作用，为相关建模优化奠定基础。
2026-08-25 cs.DC
PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving
介绍用于大语言模型服务的轻量级框架PEEK，核心方法包括维护基数树、双路匹配等，贡献是在缓存命中率、处理帧定时等方面相比各引擎基线有显著提升，且在无可用前缀结构的工作负载上与基线相当。
2026-09-15 cs.AI cs.DC
PiKV: KV Cache Management System for Mixture of Experts
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PiKV，一种专为混合专家架构设计的并行分布式键值缓存服务框架，通过专家分片缓存、PiKV路由和PiKV调度来减少缓存访问开销，并通过压缩模块降低内存使用。
2026-05-19 cs.AI cs.AR cs.DC
KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学）；Alibaba Group（阿里巴巴集团）
本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。
2026-02-14 cs.AI cs.DC
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Resource Management in Cloud Computing: Classification and Taxonomy
云计算是远程计算/基于Internet的计算的新时代，人们可以通过Internet从任何计算机轻松访问他们的个人资源。云将计算作为一种实用程序提供，因为它可按需提供给云消费者。它是一种简单的按使用付费的消费者-提供者服务模型。它包含大量的共享资源。因此，资源管理始终是云计算中的一个主要问题，就像任何其他计算范式一样。由于有限资源的可用性，云提供商提供所有请求的资源是非常具有挑战性的。从云提供商的角度来看，云资源必须以公平和有效的方式分配。从资源管理作为云计算中的一个过程的角度来看，研究调查是不可用的。因此，本文提供了一个详细的顺序视图/步骤的资源管理在云计算。本文首先对云计算中的各种资源进行了分类。并对云计算中的资源管理进行了分类，为进一步研究提供了依据。最后对各种资源管理算法进行了比较。
2017-02-24 cs.DC
Optimizing SSD Caches for Cloud Block Storage Systems Using Machine Learning Approaches
本文提出一种利用机器学习动态优化云块存储系统SSD缓存写入策略的方法，通过实时识别并过滤只写数据，显著减少有害写入并提升缓存利用率，优于传统方法。
2025-01-28 cs.DC cs.LG cs.OS
2nd International Workshop on Dynamic Resource Allocation and Management in Embedded, High Performance and Cloud Computing (DREAMCloud 2016)
本卷代表了第二届嵌入式、高性能和云计算中的动态资源分配和管理国际研讨会（DREAMCloud 2016）的会议记录，该研讨会于2016年1月19日在捷克共和国布拉格与HiPEAC 2016共同举办。
2016-01-15 cs.DC
A Systematic Literature Review on Task Allocation and Performance Management Techniques in Cloud Data Center
本文系统综述了云数据中心任务分配与性能管理技术，基于463篇任务分配和480篇性能管理文献，归纳出资源分配、负载均衡、调度三大任务分配主题及七类性能管理方法，并提出新技术方向以填补研究空白。
2024-02-20 cs.DC
GroupKV: Hierarchical KV Cache Management for Long-Context Diffusion LLM Inference
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing University of Science and Technology（南京理工大学）
针对长上下文扩散LLM推理中KV缓存膨胀与卸载开销问题，提出GroupKV分层缓存管理系统，通过组级稀疏选择、跨层一致性预取及流式预填充，实现最高48倍上下文长度扩展和3.73倍性能提升。
2026-09-17 cs.DC cs.LG cs.OS
Addressing Variability in Reuse Prediction for Last-Level Caches
末级缓存（LLC）代表了现代CPU处理器晶体管预算的大部分，对于应用程序性能至关重要，因为LLC可以快速访问数据，而不是更慢的主存储器。然而，具有大工作集大小的应用程序通常在LLC处呈现流式和/或颠簸访问模式。结果，LLC容量的大部分被将不会被再次引用的死块占用，导致LLC容量的低效利用。为了提高高速缓存效率，最先进的高速缓存管理技术采用预测机制，该预测机制从过去的访问模式中学习，目的是准确地识别尽可能多的死块。一旦被识别，死块就被从LLC中驱逐，为潜在的高重用高速缓存块腾出空间。在这篇论文中，我们确定的变化，在重用行为的缓存块的关键限制因素，在最大限度地提高缓存效率的国家的最先进的预测技术。由于LLC无法控制的许多因素，重用预测的可变性是不可避免的。可变性的来源包括控制流变化、推测性执行和来自共享高速缓存的核心的争用等。重用预测中的可变性在可靠地识别块的有用寿命的结束方面挑战现有技术，从而导致较低的预测准确度、覆盖率或两者。为了解决这个问题，本文的目的是设计强大的缓存管理机制和政策，LLC在面对重用预测的变化，以尽量减少缓存未命中，同时保持低成本和硬件实现的复杂性。为此，我们提出了两种高速缓存管理技术，一个域不可知的和一个域专用的，以提高高速缓存的效率，通过解决重用预测的变化。
2020-06-15 cs.AR cs.DC
THEAS: Efficient Power Management in Multi-Core CPUs via Cache-Aware Resource Scheduling
提出THEAS算法，通过缓存感知资源调度在多核CPU中平衡性能与功耗，提升能效，适用于实时应用。
2025-10-10 cs.DC cs.PF
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始，逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究，在SLA为基础的资源管理，特别侧重于作业调度机制。
2018-12-31 cs.DC
A Resource Management Protocol for Mobile Cloud Using Auto-Scaling
云无线接入网（C-RAN）和移动云计算（MCC）已经成为下一代接入网技术的有希望的候选者。MCC使资源有限的移动设备能够将计算密集型任务卸载到云端，而C-RAN则提供了一种解决日益增长的移动流量的技术。在本文中，我们提出了一个协议，用于任务卸载和管理资源在C-RAN和移动云一起使用一个集中式控制器。使用云自动伸缩进行资源管理的实验表明，资源（CPU，RAM，存储）伸缩时间不同。
2017-01-20 cs.DC
Cloud Infrastructure Service Management - A Review
新的计算时代称为云计算，允许用户随时随地通过Internet动态访问云服务。云由数据和资源组成;云服务包括基于用户需求通过互联网在互联网上交付软件、基础设施、应用程序和存储。简而言之，云计算是一种商业和经济模式，允许用户利用高端计算和存储，而在他们的终端上使用最少的基础设施。云有三种服务模式，即云软件即服务（SaaS）、云平台即服务（PaaS）和云计算结构即服务（IaaS）。本文深入讨论了云基础设施服务管理。
2012-05-30 cs.DC
Clustering Algorithms for Scale-free Networks and Applications to Cloud Resource Management
在本文中，我们介绍了算法的无标度网络的建设和聚类周围的神经中心，节点具有高连通性的无标度网络。我们认为，这样的覆盖网络可以支持自组织在一个复杂的系统，如云计算基础设施，并允许实施最佳的资源管理策略。
2013-05-14 cs.DC
Energy-Aware Cloud Management through Progressive SLA Specification
新的能源感知云管理方法在地理分布的数据中心之间动态重新分配计算，以利用区域电价和温度差异。因此，受管理的VM可能会偶尔停机。目前的云提供商只提供高可用性VM，没有足够的灵活性来应用这种能量感知管理。在本文中，我们展示了如何根据电价和温度分析动态云管理操作的过去痕迹，以估计VM可用性和价格价值。我们提出了一种新的SLA规范方法，为虚拟机提供不同的可用性和价格值，保证在多个SLA，以实现灵活的能源感知云管理。我们确定了此类SLA的最佳数量以及它们的可用性和价格保证值。我们评估我们的方法在用户SLA选择模拟使用维基百科和网格的5000工作负载。结果显示，客户转化率更高，每个虚拟机平均节能39%。
2014-09-01 cs.DC
Dynamic resource management in Cloud datacenters for Server consolidation
云资源管理已经成为云计算企业发展的关键因素。许多云计算中心在理解和实施管理、分配和迁移其内部资源的技术方面存在问题。资源管理不当的后果可能导致资源利用不足和浪费，这也可能导致这些服务中心的服务质量差。像CPU、内存、硬盘和服务器这样的资源需要很好地识别和管理。本文提出的动态资源管理算法（DRMA）将其局限于对云计算中心的CPU和内存资源的管理。目标是节省那些在特定时期可能未充分利用的资源。它可以通过实施合适的算法来实现。这里，可以使用装箱算法，由此部署最佳匹配算法以获得结果并进行比较以选择合适的算法来有效地使用资源。
2015-05-04 cs.DC
workload forecasting and resource management models based on machine learning for cloud computing environments
工作负载预测和资源分配在高效云环境的生产中起着重要的作用。在决定资源分配之后对未来工作负载的主动估计已经成为处理其他内置挑战的优先解决方案，这些挑战包括物理机器的欠载/过载、资源浪费、服务质量（QoS）违规、负载均衡、VM迁移等等。在这种情况下，本文提出了一个全面的调查工作量预测和预测资源管理模型在云环境中。讨论了与云计算有关的工作负载预测和资源管理的概念框架、现有基于机器学习的资源分配技术的分类以及物理资源分配的低效分配的主要挑战。此后，全面调查现有的国家的最先进的贡献授权机器学习为基础的方法在云工作负载预测和资源管理领域。最后，本文探讨和总结了云环境下弹性资源管理面临的各种挑战和未来的研究方向。
2021-06-29 cs.DC
Distributed Hierarchical Control versus an Economic Model for Cloud Resource Management
我们研究了分层组织的云基础设施，并将基于资源监控的分布式分层控制与资源管理的市场机制进行了比较。后者不需要系统模型，开销低，健壮，并满足其他几个自主计算的需要。我们介绍了几个性能指标和报告的模拟研究表明，一个简单的投标方案支持一个有效的准入控制机制，同时降低了几个数量级的通信复杂性，也增加了接受率相比，分层控制和监测机制。基于市场机制的资源管理可以被视为云自组织的中间步骤，是当前云资源管理机制的理想替代方案。
2015-04-14 cs.DC
A Qualitative Evaluation of Service Mesh-based Traffic Management for Mobile Edge Cloud
Service mesh正被广泛采用为基于微服务的应用程序中的流量管理的云原生机制，特别是对于托管在更集中的云环境中的通用IT工作负载。性能要求高的应用程序继续推动现代应用程序执行环境的去中心化，例如移动边缘云。本文对最先进的服务网格进行了系统的定性分析，以评估其设计是否适合解决移动边缘云环境中托管的性能要求苛刻的应用程序工作负载的流量管理需求。通过这种分析，我们认为，当今以可靠性为中心的服务网格设计无法满足不同类型的新兴移动边缘云工作负载的需求，并激励进一步研究高效的架构，更强的QoS保证和更高复杂性的云原生流量管理框架的抽象。
2022-05-12 cs.DC
A Taxonomy of Live Migration Management in Cloud Computing
云数据中心已成为提供服务的骨干基础设施。随着新兴的边缘计算模式，计算和网络功能已从云推向边缘，以提供具有低端到端延迟的计算，智能和网络管理。边缘和云计算中跨不同计算节点的服务迁移对于保证动态环境中的服务质量至关重要。动态资源管理涉及到迁移虚拟机以实现各种目标，如负载均衡、整合、性能、节能和灾难恢复等。一些人已经研究了如何提高和预测VM和容器的单个实时迁移的性能。最近，一些研究服务迁移的边缘为中心的计算范式。然而，缺乏关注边缘和云计算环境中的实时迁移管理的调查。我们检查每个字段的特征，并进行以迁移管理为中心的分类和调查。我们还确定了差距和研究机会，以保证实时迁移的资源管理性能。
2021-12-05 cs.DC
DCO: Dynamic Cache Orchestration for LLM Accelerators through Predictive Management
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学）；School of Electronic Science and Engineering, Southeast University（电子科学与工程学院，东南大学）
DCO通过预测管理实现LLM加速器的动态缓存编排，利用数据流信息优化缓存替换和旁路决策，提升性能至1.8倍，面积仅0.064mm²。
2026-09-11 cs.AI cs.AR cs.DC
Recent Advances in Energy Efficient Resource Management Techniques in Cloud Computing Environments
如今，由于硬件、软件和维护成本的降低，云计算作为托管应用程序和服务的一种形式被广泛采用。云支持访问托管在大型高能耗数据中心的虚拟资源共享池，以提供具有动态工作负载的各种信息和通信服务。云数据中心的巨大能源消耗导致了高昂的电费以及大量二氧化碳气体的排放。毋庸置疑，云环境中的高效资源管理已成为云提供商最重要的优先事项之一，因此增加了研究人员提出新的节能解决方案的兴趣。本章对云环境中最新的节能云资源管理解决方案进行了科学和分类调查。本研究的主要目的是提出一个新的完整的分类，节能的云资源管理解决方案，回顾最近在这方面的研究进展，分类现有的技术的基础上，我们提出的分类，并开辟新的研究方向。此外，它还回顾和调查了2015年至2021年期间有关节能云资源管理技术的文献，并将其映射到其建议的分类中，从而揭示了新的研究方向，并促进了未来研究的开展。
2021-07-13 cs.DC
DiffKV: Differentiated Memory Management for Large Language Models with Parallel KV Compaction
Huawei（华为）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
针对大语言模型KV缓存的内存瓶颈，提出DiffKV框架，利用键值、token、注意力头三层差异实现高效压缩，并通过GPU并行内存管理解决碎片化问题，实现高压缩比下的精度无损与吞吐量提升。
2025-08-30 cs.DC cs.LG
Resource Management for GPT-based Model Deployed on Clouds: Challenges, Solutions, and Future Directions
本文针对云端部署 GPT 类大模型带来的资源管理挑战，分析其独特特征并提出资源管理框架、调度算法及未来研究方向。
2023-08-05 cs.DC
LayerKV: Optimizing Large Language Model Serving with Layer-wise KV Cache Management
Ant Group（蚂蚁集团）
针对大语言模型上下文扩展导致首令牌生成时间（TTFT）飙升的问题，提出分层KV缓存管理方法LayerKV，通过细粒度内存控制与SLO感知调度，在不增硬件、不降性能的前提下大幅降低TTFT与SLO违反率。
2024-10-09 cs.AI cs.DC cs.LG
Development of a Cloud-Based Payroll Management System
本研究针对传统薪资管理系统的不足，设计薪资数据模型，基于UML图与Google App Engine开发部署云端薪资管理系统，可生成收入明细、调取薪资历史，在多维度性能上优于传统系统。
2025-02-22 cs.DC
An Intelligent Cloud Storage Gateway for Medical Imaging
从历史上看，医学成像存储库一直由室内基础设施支持。然而，在过去的几十年中，诊断成像程序的数量不断增加，带来了与存储量、数据冗余和可用性相关的若干挑战。云平台专注于通过互联网提供硬件和软件服务，成为存储库外包的一个有吸引力的解决方案。虽然这一备选办法可能带来财政和技术利益，但也提出了新的挑战。在医学成像场景中，通信延迟是一个关键问题，仍然阻碍着这种范式的采用。本文提出了一种优化数据访问时间的智能云存储网关。这是通过一个新的高速缓存架构，结合静态规则和模式识别的驱逐和预取。通过对真实世界数据集的模拟获得的评估结果表明，缓存命中率可以达到80%左右，图像检索时间减少了60%以上。结合使用驱逐和预取的政策提出可以显着减少通信延迟，即使使用一个小的缓存相比，总大小的存储库。除了提升服务表现外，拟议的系统亦能配合不同院校的特定工作流程。
2017-07-27 cs.DC
Virtual Machine Migration Enabled Cloud Resource Management: A Challenging Task
虚拟化技术通过提高云资源利用率降低云运营成本。如果管理不当，在云数据中心中引入虚拟化会严重降低云性能。虚拟机（VM）迁移是一种帮助云服务提供商有效管理云资源的方法，同时消除了人工监督的需要。虚拟机迁移方法通过采用实时或非实时迁移模式将当前托管的工作负载从一台服务器迁移到另一台服务器。与非实时迁移相比，实时迁移不会在VM迁移过程之前暂停应用程序服务。虚拟机迁移使云运营商能够实现各种资源管理目标，如绿色计算、负载均衡、故障管理和实时的服务器维护。在本文中，我们已经彻底调查VM迁移方法和应用。我们已经简要讨论了VM迁移应用程序。一些开放的研究问题已被强调，代表在这一领域的未来挑战。提出并讨论了一种基于队列的迁移模型，以有效地迁移VM内存页面。
2016-01-15 cs.DC
Redy: Remote Dynamic Memory Cache
Redy是一种云服务，它使用可通过RDMA访问的远程内存提供高性能缓存。应用程序可以使用延迟和吞吐量的服务级别目标（SLO）来定制每个缓存的性能。通过使用远程内存，它可以利用闲置的内存和现场虚拟机实例来降低其缓存成本并提高数据中心资源利用率。Redy自动为给定的SLO定制资源配置，处理远程内存区域的动态，并从故障中恢复。实验结果表明，Redy在云环境下的远程内存动态变化下能够提供其承诺的性能和鲁棒性。我们用Redy缓存来增强生产键值存储FASTER。当工作集超过本地内存时，使用Redy比溢出到SSD快得多。
2022-01-01 cs.DB cs.DC
Efficient Memory Management for Large Language Model Serving with PagedAttention
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；UC San Diego（加州大学圣地亚哥分校）
针对LLM服务中KV cache内存浪费限制批处理大小的问题，提出受操作系统分页技术启发的PagedAttention算法并构建vLLM系统，实现近乎零内存浪费与灵活共享，在同等延迟下将吞吐量提升2-4倍。
2023-09-12 cs.DC cs.LG
FLIC: A Distributed Fog Cache for City-Scale Applications
我们提出FLIC，分布式软件数据缓存框架雾，减少网络流量和延迟。FLIC的目标是城市规模的协作物联网设备部署，其中每个节点收集并与周围设备共享数据。随着需要大量训练数据的机器学习和其他数据处理技术被移植到低成本和低功耗的物联网系统中，我们预计数据分析将远离云端。与云的分离将减少对耗电的集中式云基础设施的依赖。然而，协作物联网设备的城市规模部署通常通过蜂窝服务连接到互联网，其中服务费用与网络使用量成比例。物联网系统架构师必须聪明，以便在这些场景中降低成本。为了减少运营城市规模的协作物联网系统部署所需的网络带宽，FLIC在雾中的物联网节点上实现了分布式缓存。FLIC允许物联网网络共享其数据，而无需与简单的云存储服务重复交互，从而减少对备份存储的调用。我们的结果显示读取的错误率低于2%。因此，只允许5%的请求需要后备存储。我们还能够实现每秒传输的字节数减少50%以上。
2020-03-25 cs.DC cs.OS
Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference
Independent Researcher（独立研究者）
本文提出了一种统一系统，解决KV缓存管理中的三个问题：统一的缓存大小计算、多层级内存架构以及反应性驱逐策略。通过六层内存层次结构和贝叶斯重用预测器，实现更高的缓存命中率和吞吐量提升。
2026-08-10 cs.AI cs.AR cs.DC
