A Case Study on Job Scheduling Policy for Workload Characterization and Power Efficiency
随着云计算的日益普及,云计算中心变得比以往任何时候都更加重要。典型的数据中心通常由大量通过网络连接的同构或异构服务器组成。不幸的是,这些服务器和网络设备往往利用率低,耗电量大。为了提高硬件资源的利用率并使其在嵌入式系统中具有功率效率,工作负载表征和分析是基础。在本文中,我们的特点和分析的作业到达率,到达时间,作业长度,功耗,和温度耗散在现实世界中的数据中心,通过使用统计方法。从表征中,我们发现工作负载中的独特功能可以用于优化调度中心的资源利用率和功耗
2014-05-14 cs.DC
Anomaly Analysis for Co-located Datacenter Workloads in the Alibaba Cluster
在仓库规模的云计算中心中,将在线服务和离线批处理作业放在一起是提高数据中心利用率的有效方法。为了更好地理解协同工作负载之间的交互及其现实操作需求,阿里巴巴最近发布了一个集群使用和协同工作负载数据集,这是第一个公开的数据集,其中包含有关每个作业类别的精确信息。本文从异常分析和诊断的角度,对阿里巴巴发布的工作负载数据集进行了深入分析。通过数据预处理、基于DTW的节点相似性分析、基于iForest的协同工作负载特征分析和异常分析,揭示了以下几点:(1)阿里巴巴生产集群中机器的性能差异较大,原因在于协同工作负载的分布和资源利用不均衡。例如,批作业的资源利用率(特别是内存利用率)是波动的,不如在线容器稳定,原因是在线容器是长时间运行的作业,需要更多的内存,而大多数批作业是短作业。(2)基于同位工作负载实例数量的分布,机器可以分为8个工作负载分布类别1。在相同的工作负载分布类别下,机器资源利用率曲线的大多数模式是相似的。(3)除了系统故障,调度不合理和工作负载不平衡是导致阿里巴巴集群异常的主要原因。
2018-11-14 cs.DC
Stability-Aware Proactive Autoscaling Using a Double Deep Q-Network in Cloud Computing Environments
The University of Melbourne(墨尔本大学);Banaras Hindu University(贝拿勒斯印度教大学)
针对云环境动态负载下反应式扩缩容响应延迟与振荡问题,提出基于双深度Q网络(DDQN+RRS)的主动扩缩容方法,通过解耦动作选择与价值评估提升稳定性,实验显示SLA违反率降至11.81%,CPU利用率达52.23%,扩缩容事件与Pod重启次数显著减少。
2026-09-15 cs.DC
Datacenter Energy Optimized Power Profiles
Nvidia(英伟达)
本文提出了一种基于Blackwell B200的新型数据中心功率配置,通过智能电源管理和领域知识优化HPC和AI工作负载,实现能耗降低和吞吐量提升。
2025-12-05 cs.DC
Proactive Autoscaling for Edge Computing Systems with Kubernetes
随着物联网和5G技术的出现,边缘计算范式正在发挥越来越重要的作用,具有更好的可用性,延迟控制和性能。然而,现有的边缘计算应用程序自动扩展工具无法有效利用边缘系统的异构资源,从而留下了性能改进的空间。在这项工作中,我们提出了一个用于Kubernetes上边缘计算应用程序的主动Pod自动缩放器(PPA)。所提出的PPA能够使用多个用户定义/定制的指标提前预测工作负载,并相应地向上和向下扩展边缘计算应用程序。PPA进一步在示例CPU密集型边缘计算应用程序上进行优化和评估。可以得出结论,所提出的PPA在资源利用效率和应用程序性能方面都优于Kubernetes的默认pod自动缩放器。文章还强调了未来可能对拟议的PPA进行的改进。
2021-12-19 cs.DC
Daedalus: Self-Adaptive Horizontal Autoscaling for Resource Efficiency of Distributed Stream Processing Systems
Technische Universität Berlin(柏林工业大学)
Daedalus通过自适应机制实现分布式流处理系统的高效水平自动扩展,减少资源消耗并保持低延迟性能。
2024-03-05 cs.DC
HGraphScale: Hierarchical Graph Learning for Autoscaling Microservice Applications in Container-based Cloud Computing
School of Computing and Information Systems, the University of Melbourne(墨尔本大学计算与信息系)
本文提出基于层次图神经网络的自动扩缩容方法HGraphScale,通过捕获微服务依赖与容器部署方案应对动态工作负载,在VM预算下最多减少80.16%平均响应时间。
2025-10-23 cs.DC
LA-IMR: Latency-Aware, Predictive In-Memory Routing and Proactive Autoscaling for Tail-Latency-Sensitive Cloud Robotics
Umeå University(于默奥大学)
针对混合云边基础设施中突发请求导致的尾延迟问题,提出LA-IMR控制层,通过利用率驱动的延迟模型、事件调度、副本自动缩放和边到云卸载,将P99延迟降低高达20.7%。
2026-07-15 cs.DC
Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision
Nanyang Technological University(南洋理工大学);Peking University(北京大学);SenseTime(商汤科技)
深度学习(DL)在广泛的领域显示出其繁荣。DL模型的开发是一个耗时且资源密集的过程。因此,专用GPU加速器已被共同构建到GPU数据中心中。一个有效的调度器设计这样的GPU数据中心是至关重要的,以降低运营成本和提高资源利用率。然而,为大数据或高性能计算工作负载设计的传统方法不能支持DL工作负载以充分利用GPU资源。最近,提出了大量的GPU并行计算器来定制GPU并行计算器中的DL工作负载。本文调查了现有的研究工作的培训和推理工作量。我们主要介绍现有的调度器如何从调度目标和资源消耗功能促进各自的工作负载。最后,展望了几个有前景的研究方向。更详细的总结与调查文件和代码链接可以在我们的项目网站上找到:https://github.com/S-Lab-System-Group/Awesome-DL-Scheduling-Papers
2022-06-01 cs.AI cs.DC cs.LG
Interference and Need Aware Workload Colocation in Hyperscale Datacenters
由于服务所有者和平台提供商的目标冲突,数据中心遭受资源利用效率低下的困扰。打算为自己维护服务水平目标(SLO)的服务所有者通常会要求保守的资源量。平台提供商希望提高运营效率,以降低资本和运营成本。由于服务工作负载特征的多样性、取决于输入负载的资源使用模式、平台、内存、I/O和网络架构的异构性以及资源捆绑,同时实现单个服务的运营效率和SLO具有挑战性。本文提出了一种可调的资源分配方法,它同时考虑了动态服务资源需求和平台异构性。此外,一个在线的K-Means为基础的服务分类方法与离线的敏感性组件一起使用。我们的可调方法允许基于服务所有者对其SLO的敏感度来交易资源利用效率以获得绝对SLO保证。我们评估我们的可调资源分配器在私有云环境中的大规模延迟关键工作负载。在调整运营效率时,我们证明所需机器减少了约50%;总拥有成本(TCO)减少了约40%; CPU和内存碎片减少了约60%,但代价是与基线相比,SLO性能下降的任务数量增加了约25%。在调整SLO时,通过引入干扰感知的托管,我们可以调整求解器,以减少与基线相比最多约22%的SLO降级任务,但在主机数量方面额外增加约30%的成本。我们强调TCO和SLO违规之间的权衡,并根据平台所有者的要求提供调优。
2022-07-25 cs.DC
Methods and Metrics for Fair Server Assessment under Real-Time Financial Workloads
能源效率一直是企业面临的一个严峻挑战。金融业经营着世界上一些最大的金融中心。随着能源成本的增加和金融服务行业的增长,新兴的金融分析工作负载可能会产生极高的运营成本,以满足其延迟目标。微服务器最近已经成为高端服务器的替代品,通过横向扩展,有望在数据中心实现可扩展的性能和低能耗。不幸的是,架构特征、形状因子和设计考虑方面的明显差异使得服务器和微服务器之间的公平比较异常具有挑战性。在本文中,我们提出了一个严格的方法和新的指标,公平比较服务器和微服务器平台。我们部署了我们的方法和指标来比较一个带有ARM内核的微服务器和两个带有x86内核的服务器,运行相同的实时的【形】财务分析工作负载。我们定义了特定于工作负载但独立于平台的性能指标,用于平台比较,目标是数据中心运营商和最终用户。我们的方法确定了基于Xeon Phi处理器的服务器可提供最高的性能和能效。然而,通过扩展节能微服务器,我们实现了竞争力或更好的能源效率比一个功率等效的服务器与两个桑迪桥插槽,尽管微服务器的核心速度较慢。使用一个新的iso-QoS(iso-服务质量)度量,我们发现,ARM微服务器的规模足以满足市场的吞吐量需求,即100%的QoS方面的及时选项定价,与少至55%的能量消耗的Sandy Bridge服务器。
2014-12-30 cs.DC
Carbon Responder: Coordinating Demand Response for the Datacenter Fleet
针对数据中心碳足迹问题,提出Carbon Responder框架,通过性能感知的功率分配协调需响应,实现碳足迹约2倍削减并公平分配性能损失。
2023-11-14 cs.AR cs.DC
Comparison of Autoscaling Frameworks for Containerised Machine-Learning-Applications in a Local and Cloud Environment
本文比较了本地与云环境中容器化机器学习应用在应用级、容器级和机器级三个层级的自动伸缩框架,基于推理时间与扩容响应时间提出部署策略。
2024-02-25 cs.DC
AAPA: An Archetype-Aware Predictive Autoscaler with Uncertainty Quantification for Serverless Workloads on Kubernetes
提出原型感知预测式自动缩放器 AAPA,通过分类工作负载模式并应用定制策略与不确定性量化,显著降低 SLO 违规和延迟,并引入 REI 指标评估资源权衡。
2025-07-16 cs.DC
The High Cost of Keeping Warm: Characterizing Overhead in Serverless Autoscaling Policies
本研究设计了可复刻商业平台特性的开源无服务器系统,对比不同自动扩缩容策略的性能与成本,揭示了实例更迭、内存分配带来的高额开销及性能与成本的矛盾,提出结合真实部署与仿真的混合方法以贴近生产规模评估。
2025-09-03 cs.DC
Dynamic Selection of Virtual Machines for Application Servers in Cloud Environments
自动缩放是云计算的一个标志,因为它允许灵活的即时分配和释放计算资源,以响应动态且通常不可预测的工作负载。这对于那些工作负载依赖于时间并且容易出现flash拥挤的web应用程序来说尤其重要。它们中的大多数遵循3层架构模式,分为表示层、应用程序/域层和数据层。在这项工作中,我们专注于应用层。自云计算出现以来,“当平均服务器CPU利用率达到X%时,实例化新的虚拟机(VM)”类型的反应式自动缩放策略已被成功使用。但是,目前哪种VM类型最适合特定应用程序仍然是一个悬而未决的问题。在这项工作中,我们提出了一种动态VM类型选择的方法。它使用在线机器学习技术的组合,实时的工作,并适应用户工作负载模式的变化、应用程序的变化以及中间件的升级和重新配置。我们已经开发了一个原型,并使用部署在AWS EC2上的CloudStone基准进行了测试。结果表明,我们的方法可以快速适应工作量的变化,并降低了总成本相比,行业标准的方法。
2016-02-07 cs.DC
Quantifying Autoscaler Vulnerabilities: An Empirical Study of Resource Misallocation Induced by Cloud Infrastructure Faults
Okestro AI Research Center(Okestro 人工智能研究中心)
本文通过实证研究发现,云基础设施故障会导致自动扩展策略出现资源误分配,其中存储故障带来最大成本开销,路由异常导致资源不足,且水平扩展策略对临时异常更敏感。
2026-01-08 cs.DC
Hybrid Computing for Interactive Datacenter Applications
针对FPGA启动成本高导致难以处理延迟敏感和突发工作负载的问题,提出混合FPGA-CPU计算框架及轻量级调度器Spork,利用FPGA处理稳定负载、CPU处理突发负载,实现比同构平台更高的能效和更低的成本。
2023-04-10 cs.DC
A proactive autoscaling and energy-efficient VM allocation framework using online multi-resource neural network for cloud data center
这项工作提出了一个节能的资源供应和分配框架,以满足未来应用程序的动态需求。云用户资源需求的频繁变化导致了过度功耗、资源浪费、性能和服务质量下降的问题。所提出的框架通过精确地将应用程序的预测资源需求与VM的资源容量相匹配来解决这些挑战,从而将整个负载整合到最少数量的节能物理机器上。所提出的工作的三个连续的贡献是:在线多资源前馈神经网络,以预测未来的应用程序的多个资源需求同时;自动缩放的虚拟机的基础上预测的资源需求的聚类;分配的缩放的虚拟机上的节能PM。该集成方法连续优化资源利用率,节省能源,并自动适应未来应用资源需求的变化。建议的框架进行了评估,使用基准谷歌集群数据集的真实工作负载跟踪和不同的场景,包括节能的VM放置与资源预测,VMP没有资源预测和自动缩放,最佳VMP与自动缩放的基础上,实际资源利用率进行比较。观察到的结果表明,所提出的集成方法实现了接近最佳的性能对最佳的VMP和优于其余的VMP在节省功率和资源利用率分别高达88.5%和21.12%。与传统的单输入单输出前馈神经网络预测器相比,OM-FNN预测器具有更高的预测精度、更小的时间和空间复杂度。
2022-12-04 cs.DC
Prediction-Based Power Oversubscription in Cloud Platforms
数据中心设计人员依靠对IT设备功耗的保守估计来配置资源。这使得资源未得到充分利用,需要建立更多的数据中心。以前的工作使用功率封顶来削减罕见的功率峰值,并向数据中心添加更多的服务器,从而超额订阅其资源并降低资本成本。当工作负载和它们的服务器位置已知时,这很有效。不幸的是,这些因素在公共云中是未知的,迫使提供商限制超额订阅,以便性能永远不会受到影响。在本文中,我们认为,供应商可以使用预测的工作负载性能的关键性和虚拟机(VM)资源利用率,以增加超额认购。这带来了许多挑战,例如从黑盒虚拟机中识别性能关键型工作负载,创建对关键感知电源管理的支持,以及在限制上限影响的同时增加超额订阅。我们为Microsoft Azure的硬件和软件基础架构解决这些挑战。结果表明,我们能够在对关键工作负载影响最小的情况下将超额订阅增加2倍。
2020-10-29 cs.DC
Optimizing simultaneous autoscaling for serverless cloud computing
本文针对无服务器云计算中的自动扩缩容问题,提出基于流体近似模型和分离连续线性规划的优化控制策略,显著降低失败请求和响应时间。
2023-10-29 cs.DC
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
现代GPU开发中心对于在研究社区和行业中提供深度学习(DL)模型和服务至关重要。在运营数据中心时,资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先,我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度,我们发现了一些有趣的结论,这些结论可以促进集群系统的设计。其次,我们引入了一个通用框架,它基于历史数据管理资源。作为案例研究,我们设计:一个准最短的服务优先调度服务,它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务,提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
Generic and ML Workloads in an HPC Datacenter: Node Energy, Job Failures, and Node-Job Analysis
本研究基于国家级HPC数据中心的长期运行数据,对比分析ML与通用作业对数据中心性能、故障、能耗等的影响,得出多项关键结论并开源数据与工具,助力运维优化与系统研究。
2024-09-13 cs.AR cs.DC
MemExchange: Utility-Driven Distributed Memory Reallocation for Multi-Tenant Datacenters
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Microsoft(微软)
研究云环境下内存管理问题,提出MemExchange系统,利用基于在线未命中率曲线估计的边际效用分配,通过RDMA重新分配空闲内存,设计MTC协议支持远程访问,经实验验证其能降低远程访问开销、提高内存利用率并降低租户未命中率。
2026-07-15 cs.DC
Containers Orchestration with Cost-Efficient Autoscaling in Cloud Computing Environments
容器是独立的、自包含的单元,将软件及其依赖项打包在一起。它们提供轻量级的性能隔离、快速灵活的部署以及细粒度的资源共享。近年来,它们在更好的应用程序管理和部署方面越来越受欢迎,并被组织广泛用于在专有集群或云数据中心部署日益多样化的工作负载,如Web服务,大数据和物联网。这导致了容器编排平台的出现,这些平台旨在管理大规模集群中容器化应用程序的部署。这些平台中的大多数都是为了优化固定大小的私有集群上的容器调度而定制的,但不能自动扩展集群的大小,也不能考虑特定于公共云环境的功能。在这项工作中,我们提出了一个全面的容器资源管理方法,有三个不同的目标。第一个是通过在现有资源上有效地调度容器来优化容器的初始放置。第二个是在运行时根据当前集群的工作负载自动调整资源数量。第三个是重新调度机制,通过在可能的情况下将应用程序整合到更少的VM中,进一步支持资源的有效使用。我们的算法被实现为Kubernetes平台的插件调度器。我们评估了我们的框架和澳大利亚国家云基础设施上提出的算法的有效性。我们的实验表明,可以实现相当大的成本节约,通过动态管理集群的大小和应用程序的位置。我们发现,与默认的Kubernetes调度程序相比,我们提出的方法能够将成本降低58%。
2018-12-02 cs.DC
A Tale of Two Scales: Reconciling Horizontal and Vertical Scaling for Inference Serving Systems
本文提出Themis系统,结合水平与垂直扩展的两阶段自动扩展策略,通过动态规划优化推理服务资源,实现SLO违规降低超10倍并保持资源效率。
2024-07-20 cs.DC
ORACL: Optimized Reasoning for Autoscaling via Chain of Thought with LLMs for Microservices
The University of Melbourne(墨尔本大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
ORACL通过LLM进行链式推理,实现微服务自动扩展的优化资源分配,提升根因识别准确率和训练效率。
2026-02-05 cs.DC
OpScale: Operator-level Provisioning and Autoscaling for LLM Serving
Rice University(莱斯大学);Microsoft Research(微软研究院);Microsoft Azure Research(微软Azure研究)
针对LLM服务中粗粒度扩缩容的弊端,提出算子级编排框架OpScale,可在满足SLO的同时降低GPU用量、功耗,或在固定成本下提升吞吐量。
2026-08-14 cs.DC
Practical Efficient Microservice Autoscaling with QoS Assurance
云应用程序越来越多地从单一服务转向基于敏捷微服务的部署。然而,由于松散耦合和交互组件的数量庞大,微服务的有效资源管理构成了一个重大障碍。各种微服务之间的相互依赖性使得现有的云资源自动扩展技术无效。同时,基于机器学习(ML)的方法试图捕捉微服务中的复杂关系,需要大量的训练数据,并导致故意违反SLO。此外,这些ML繁重的方法在适应动态变化的微服务操作环境方面很慢。在本文中,我们提出了PEMA(实用高效微服务自动缩放),一个轻量级的微服务资源管理器,通过机会主义的资源减少找到有效的资源分配。PEMA的轻量级设计实现了新颖的工作负载感知和自适应资源管理。使用三个原型微服务实现,我们表明PEMA可以找到高效的资源分配,并与基于商业规则的资源分配相比节省高达33%的资源。
2022-08-09 cs.DC cs.SY eess.SY
CloudCoaster: Transient-aware Bursty Datacenter Workload Scheduling
今天的集群往往不得不在各种不同的工作之间分配资源。这些作业在执行时间和到达率上都是异构的。执行时间的异质性导致了混合调度器的发展,它可以调度短作业和长作业,以确保良好的任务布局。然而,到达速率异质性或突发性仍然是现有分组交换机中的一个问题。这些混合型集群管理静态配置的集群上的资源,这些资源可能很快被到达的作业数量的激增所淹没。在本文中,我们提出了CloudCoaster,一个混合调度器,动态调整集群的大小,利用廉价的瞬态服务器。CloudCoaster以智能方式安排作业,提高作业性能,同时降低总体资源成本。我们评估CloudCoaster的有效性,通过模拟现实世界的痕迹,并将其与最先进的混合调度。CloudCoaster将短作业的平均延迟时间提高了4.8倍,同时保持长作业性能。此外,CloudCoaster将短分区预算减少了29.5%以上。
2019-07-03 cs.DC cs.PF
From Models to Operators: Rethinking Autoscaling Granularity for Large Generative Models
Rice University(里士大学);Microsoft Research(微软研究院);Microsoft Azure Research(微软Azure研究院)
本文针对大型生成式模型服务中模型级自动伸缩粒度过粗导致资源利用率低的问题,提出算子级自动伸缩框架,基于算子异构性优化资源分配,在保持SLO的同时显著降低GPU和能耗并提升吞吐量。
2025-11-04 cs.DC cs.LG
Safety-Gated Autoscaling: A Multi-Layered Defense Architecture for Kubernetes Vertical Resource Optimization
Istanbul Medipol University(伊斯坦布尔医学波利大学)
该研究针对Kubernetes资源浪费与被动扩缩器缺陷,提出带五层安全流水线的开源智能集群优化器,经测试和GKE部署验证,可实现20%-40%的成本节约且内存泄漏检测准确率达83%。
2026-07-30 cs.DC
MAS-H2: A Hierarchical Multi-Agent System for Holistic Cloud-Native Autoscaling
University of Westminster(威斯敏斯特大学);University of York(约克大学)
MAS-H2通过分层多智能体系统实现云原生自动扩展的前瞻性管理,减少资源浪费和性能下降,提升系统稳定性与资源利用效率。
2026-03-08 cs.DC cs.LG
OpenG2G: A Simulation Platform for AI Datacenter-Grid Runtime Coordination
University of Michigan(密歇根大学)
本文提出OpenG2G平台,用于研究AI数据中心与电网的协调策略,通过模拟不同控制方法评估AI模型对数据中心灵活性的影响。
2026-05-06 cs.DC cs.LG
FissionReady: Joint Workload and Power Scheduling for Data Centers Powered by Small Modular Reactors
IIT Tirupati(蒂鲁帕蒂印度理工学院);University of Utah(犹他大学);Northeastern University(东北大学)
FissionReady是一种面向SMR供电数据中心的调度器,通过跟踪燃料年龄和氙状态确定运行包络,并采用双时间尺度优化协调负荷跟踪与电网购电,实现零停堆和零截止时间错过,同时大幅降低水耗和电网成本。
2026-10-01 cs.DC
An Auto-Scaling Approach for Serverless Environments Based on a Multi-Expert Consensus Mechanism
针对无服务器环境自动缩放难题,提出依赖感知自动缩放框架,集成多种技术,通过识别重要函数、预测资源需求、多模型共识及成本感知控制进行缩放决策,实验证明该方法能有效降低预测误差并减少成本。
2026-08-11 cs.AI cs.DC cs.LG
SAIR: Cost-Efficient Multi-Stage ML Pipeline Autoscaling via In-Context Reinforcement Learning
University of Connecticut(康涅狄格大学);Shanghai Jiao Tong University(上海交通大学);University of California, Santa Cruz(加州大学圣克ruz分校)
SAIR通过基于上下文的强化学习实现多阶段机器学习管道的高效自动扩展,显著提升P99延迟性能并降低资源成本
2026-01-29 cs.DC cs.LG
Carbon-Aware Computing for Datacenters
电网上每千瓦时排放的CO $_2$量随时间变化,并且由于发电类型而随位置变化很大。仓库规模计算机的网络集合,有时称为超大规模计算,如果不考虑碳强度的这些变化,则会排放比所需更多的碳。本文介绍了谷歌的碳智能计算管理系统,该系统通过延迟临时灵活的工作负载,积极地最大限度地减少基于电力的碳足迹和电力基础设施成本。该系统的核心组件是一套分析管道,用于收集第二天的碳强度预测,训练前一天的需求预测模型,并使用风险感知优化为Google车队中的所有数据中心集群生成第二天的碳感知虚拟容量曲线(VCC)。VCC对时间灵活的工作负载的可用资源施加了小时限制,同时保留了整体的日容量,使所有此类工作负载都能在一天内完成。运行数据显示,当电网的能源供应组合是碳密集型时,VCC有效地限制了每小时的容量,并将时间灵活的工作负载的执行延迟到“更环保”的时间。
2021-06-11 cs.DC cs.SY eess.SY
Adaptive, Efficient and Fair Resource Allocation in Cloud Datacenters leveraging Weighted A3C Deep Reinforcement Learning
针对云数据中心动态工作负载下资源分配的公平性差、延迟高和能耗高等问题,提出加权 Actor-Critic 深度强化学习(WA3C)方法,通过多目标奖励结构和优先级感知优势估计器优化调度,实验证明其在大规模云系统中优于传统与强化学习基线。
2025-06-01 cs.DC
Graph-PHPA: Graph-based Proactive Horizontal Pod Autoscaling for Microservices using LSTM-GNN
Dublin City University(都柏林城市大学)
基于微服务的架构已经成为云原生应用程序的主流。随着越来越多的应用程序每天部署在云平台上利用这种架构,需要更多的研究工作来了解如何应用不同的策略来有效地管理各种云资源。大量的研究已经部署了自动资源分配算法,使用反应式和主动式自动缩放策略。然而,目前的算法在从微服务的架构和部署环境中捕获微服务的重要特征方面的效率仍然存在差距,例如,缺乏对图形依赖的考虑。为了应对这一挑战,我们提出了Graph-PHPA,这是一种基于图的主动水平pod自动缩放策略,用于利用长短期记忆(LSTM)和基于图神经网络(GNN)的预测方法将云资源分配给微服务。我们使用部署在专用测试环境中的Bookinfo微服务来评估Graph-PHPA的性能,其中实时工作负载是根据真实的数据集生成的。我们通过将Graph-PHPA与Kubernetes中基于规则的资源分配方案作为基线进行比较来证明其有效性。大量的实验已经实施,我们的结果表明,我们提出的方法在资源节约的反应式基于规则的基线算法在不同的测试场景中的优越性。
2022-09-06 cs.DC cs.LG
Carbon Explorer: A Holistic Approach for Designing Carbon Aware Datacenters
科技公司一直在引领可再生能源转型,通过投资可再生能源来减少其制造商的碳足迹。除了帮助建立新的太阳能和风力发电场,公司还签订电力购买协议或购买碳抵消,而不是每天每时每刻都依赖可再生能源。由于风能和太阳能的间歇性,24/7依赖可再生能源具有挑战性。太阳能和风能生产的内在变化导致不同时间的供应过剩或短缺。为了应对可再生能源发电的波动,必须采用多种解决方案。这些包括:太阳能和风能混合的容量调整,能源存储选项以及碳意识工作负载调度。但是,根据地区和数据中心工作负载的特点,碳优化解决方案会有所不同。在这个领域的现有工作并没有给出一个整体的观点权衡每个解决方案,往往忽略了解决方案的具体碳成本。在这项工作中,我们提供了一个框架,碳资源管理器,通过考虑解决方案的运营和维护足迹来分析多维解决方案空间,以帮助企业全天候使用可再生能源。我们分析的解决方案包括太阳能和风能的混合容量调整,电池存储和碳意识工作负载调度,这需要将工作负载从缺乏可再生能源供应的时候转移到供应充足的时候。
2023-02-22 cs.DC cs.SY eess.SY
Workload Trace Generation for Dynamic Environments in Cloud Computing
云计算供应商在实际的云市场中提供数百万台虚拟机。在这种情况下,虚拟机放置(VMP)是云基础设施管理中最具挑战性的问题之一,考虑到大量可能的优化标准和可以研究的不同配方。考虑到云计算的按需模型,VMP问题应动态优化以有效地处理现代应用的典型工作负载。这项工作提出了几个动态的环境,解决VMP从供应商的角度来看,最相关的动态参数研究到目前为止,在VMP文献。在这项工作中提出了一套完整的环境和工作负载跟踪的例子。
2015-11-07 cs.DC
The MIT Supercloud Workload Classification Challenge
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室);Northeastern University(东北大学);US Air Force(美国空军)
高性能计算(HPC)中心和云提供商在异构硬件上支持越来越多样化的应用程序。随着人工智能(AI)和机器学习(ML)工作负载在计算工作负载中的份额越来越大,需要新的方法来优化资源使用、分配和部署新的AI框架。通过识别计算工作负载及其利用率特征,HPC系统可以更好地将可用资源与应用需求相匹配。通过利用数据中心仪器,可以开发基于AI的方法,可以识别工作负载并向研究人员和数据中心运营商提供反馈,以提高运营效率。为了实现这项研究,我们发布了MIT Supercloud Dataset,它提供了来自MIT Supercloud集群的详细监控日志。此数据集包括作业的CPU和GPU使用率、内存使用率和文件系统日志。在本文中,我们提出了一个基于此数据集的工作负载分类挑战。我们介绍了一个标记的数据集,可用于开发新的方法来工作量分类和现有的方法的基础上提出的初步结果。该挑战的目标是促进计算工作负载分析中的算法创新,可以实现比现有方法更高的准确性。数据和代码将通过数据中心挑战网站https://dcc.mit.edu公开提供。
2022-04-13 cs.DC cs.LG
DCGen 1.1 Technical Report: Generating Datacenter Configurations (including IT, Power, Cooling)
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
为研究数据中心硬件设计、运营动态、冷却机制及与电网的交互,DCGen工具能生成多种数据中心配置,涵盖IT硬件、冷却和电力分配基础设施,并支持不同电力、计算能力和面积目标的场景探索。
2026-08-25 cs.DC
Towards Disaggregation-Native Data Streaming between Devices
针对资源解耦数据中心中跨设备数据流需经 CPU 内存暂存的问题,本文提出为设备配备解耦原生、设备无关的数据流机制,实现任意设备间直接传输以降低处理延迟。
2024-03-28 cs.DC
Characterization of Large Language Model Development in the Datacenter
Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);NTU(南洋理工大学);Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院);CUHK(香港中文大学)
本文基于 Acme GPU 数据中心六个月的 LLM 开发轨迹,分析其与传统 DL 工作负载的差异、资源利用及故障影响,并提出容错预训练与评估解耦调度两项系统优化。
2024-04-03 cs.DC cs.LG
RARE: Renewable Energy Aware Resource Management in Datacenters
University of Virginia(弗吉尼亚大学);Lancium Compute(兰cium计算公司)
对数字服务的需求呈指数级增长,导致数据中心大量能耗和负面环境影响。推动可持续解决方案以应对紧迫的能源和数字基础设施挑战至关重要。几家超大规模云提供商已经宣布计划使用可再生能源为其云计算中心供电。然而,将可再生能源整合到发电中心是一项挑战,因为发电是间歇性的,需要采取措施来解决电力供应的变化。手工设计特定于领域的基于机器人的机器人以满足这种复杂的动态绿色数据中心环境中的特定目标函数是耗时的、昂贵的,并且需要领域专家进行大量的调整。绿色能源企业需要智能系统和系统软件,通过智能地使计算适应可再生能源发电,来利用多种可再生能源(风能和太阳能)。我们提出了RARE(可再生能源感知资源管理),一个深度强化学习(DRL)作业调度器,自动学习有效的作业调度策略,同时不断适应供应商的复杂动态环境。由此产生的DRL调度器的性能优于启发式调度策略与不同的工作负载,并适应间歇性供电的可再生能源。我们演示了DRL调度器系统的设计参数,正确调整时,产生更好的性能。最后,我们证明了DRL调度程序可以学习和改进现有的启发式策略,使用离线学习。
2022-11-10 cs.AI cs.DC
ADAPT: A Self-Calibrating Proactive Autoscaler for Container Orchestration
Department of Computer Engineering(计算机工程系);[J.C. Bose University of Science and Technology](J.C. Bose科学技术大学)
ADAPT通过在线EWMA估计器动态调整冷启动时间,结合MPC优化副本数量,实现低于5%的SLA违规率,优于传统HPA和MPC+Prophet方案。
2026-05-15 cs.DC cs.LG
CMI: An Online Multi-objective Genetic Autoscaler for Scientific and Engineering Workflows in Cloud Infrastructures with Unreliable Virtual Machines
云计算正在成为执行科学和工程工作流的领先范例。他们模拟的实验的大规模性质及其可变的工作负载使云成为理想的执行环境,因为它可以快速和弹性地访问大量的计算资源。自动缩放器是中间件级别的软件组件,其允许通过在调度工作流的任务时获取或终止虚拟机(VM)来缩放计算平台。在这项工作中,我们提出了一种新的在线多目标自动缩放命名为云多目标智能(CMI)的工作流,其目的是在最小化的完工时间,货币成本和潜在的影响,来自不可靠的虚拟机的错误。此外,这个问题还受到货币预算的限制。CMI负责定期解决工作流执行过程中遇到的自动缩放问题。四个著名的工作流程的模拟实验表明,CMI显着优于一个国家的最先进的autoscaler的类似特征,称为现场监测感知自动缩放(SIAA)。这些结果传达了一个坚实的基础,在其他Meta探试法的自动缩放工作流应用程序使用廉价的,但不可靠的基础设施的深入研究。
2018-11-02 cs.DC cs.NE
Job Scheduling in Datacenters using Constraint Controlled RL
University of Virginia(弗吉尼亚大学)
研究了绿色制造企业的在线作业调度模型。在绿色能源中心,资源可用性取决于可再生能源的电力供应。来自可再生能源的间歇性电力供应导致间歇性的资源可用性,导致工作延迟(和相关成本)。绿色数据中心运营商必须智能地管理其工作负载和可用电源,以获得最大的效益。调度器的目标是在一组资源上调度作业,以最大化总价值(收入),同时最小化总体作业延迟。在一方面实现高工作价值和另一方面实现低预期延迟之间存在权衡。因此,实现高回报和低成本的目标是对立的。此外,数据中心运营商通常优先考虑多个目标,包括高系统利用率和作业完成率。为了实现作业总价值最大化和作业延迟最小化这两个对立的目标,将深度强化学习中的比例积分微分(PID)拉格朗日方法应用于绿色数据中心环境下的作业调度问题。拉格朗日方法是求解约束优化问题的常用算法。我们采用控制的角度来学习比例,积分和微分控制的拉格朗日乘子,实现良好的学习动态。反馈控制为学习代理定义成本项,在训练期间监视成本限制,并且连续地调整学习参数以实现稳定的性能。我们的实验表明,改进的性能相比,没有PID拉格朗日方法的调度策略。实验结果表明了约束控制强化学习(CoCoRL)调度器同时满足多个目标的有效性。
2022-11-10 cs.DC cs.LG
On Reliability-Aware Server Consolidation in Cloud Datacenters
在过去的几年中,数据中心(DC)的能源消耗已经成为技术世界中的一个重要问题。使用虚拟化和虚拟机(VM)实时迁移的服务器整合允许云DC提高资源利用率,从而提高能效。为了节省能源,整合技术试图关闭空闲的服务器,而由于工作负载的波动,这些离线服务器应该被打开,以支持增加的资源需求。这些重复的开关周期可能影响硬件的可靠性和服务器的磨损,从而增加维护和更换成本。在本文中,我们提出了一个整体的数学模型,可靠性意识的服务器整合的目标是最大限度地减少总DC成本,包括能源和可靠性成本。事实上,我们尝试以可靠性感知的方式最小化活动PM和机架的数量。我们将该问题表示为一个NP完全形式的混合线性规划模型。最后,我们评估我们的方法在不同的情况下,使用广泛的数值MATLAB模拟的性能。
2017-09-01 cs.DC cs.NI
Gridiron: A Technique for Augmenting Cloud Workloads with Network Bandwidth Requirements
云应用程序不仅使用服务器资源,还需要网络资源。我们提出了一种新的技术来模拟网络云应用程序的网络带宽需求。我们的技术Gridiron通过网络带宽需求增强了Azure云的VM工作负载跟踪。Gridiron技术的关键是使用Amdahl第二定律推导VM间网络带宽要求。作为一个案例研究,我们使用Gridiron生成逼真的轨迹与网络带宽需求的分布式机器学习训练应用程序。Gridiron生成的工作负载允许数据中心运营商估计云应用程序的网络带宽需求,并实现更现实的云资源调度器评估。
2022-01-12 cs.DC cs.NI
Towards a Proactive Autoscaling Framework for Data Stream Processing at the Edge using GRU and Transfer Learning
Computer Science Department(计算机科学系);Kwame Nkrumah University of Science and Technology(库马西科技大学)
本文提出一种面向边缘数据流处理的主动式自动伸缩框架,通过GRU负载预测、基于DTW与联合分布适配的迁移学习以及考虑资源约束的水平伸缩模块,在低训练成本下实现优于CNN、ARIMA、Prophet和RL方法的预测精度与伸缩效果。
2025-07-19 cs.CV cs.DC cs.LG
From Servers to Sites: Compositional Power Trace Generation of LLM Inference for Infrastructure Planning
Stanford University(斯坦福大学);Microsoft Azure Research(微软Azure研究)
本文提出通过组合功率轨迹生成方法,准确建模LLM推理的能耗,支持更精确的基础设施规划。
2026-03-19 cs.DC