A Combination of Host Overloading Detection and Virtual Machine Selection in Cloud Server Consolidation based on Learning Method
在云数据中心（CDC）中，降低能耗同时保持性能一直是热点问题。在服务器整合中，传统的解决方案是将问题分解为多个小问题，如主机过载检测，虚拟机（VM）选择和VM放置，并逐步解决它们。然而，主机过载检测策略和VM选择策略的设计不能直接与降低能耗和保证性能的最终目标联系起来。本文提出了一种基于学习的虚拟机选择策略，选择适当的虚拟机迁移没有直接的主机过载检测。从而减少了SLAV的产生，保证了CDC的性能，降低了能耗。仿真结果表明，该方法在减少SLAV生成和CDC能耗方面优于现有方法。
2022-06-28 cs.DC
Methods and Metrics for Fair Server Assessment under Real-Time Financial Workloads
能源效率一直是企业面临的一个严峻挑战。金融业经营着世界上一些最大的金融中心。随着能源成本的增加和金融服务行业的增长，新兴的金融分析工作负载可能会产生极高的运营成本，以满足其延迟目标。微服务器最近已经成为高端服务器的替代品，通过横向扩展，有望在数据中心实现可扩展的性能和低能耗。不幸的是，架构特征、形状因子和设计考虑方面的明显差异使得服务器和微服务器之间的公平比较异常具有挑战性。在本文中，我们提出了一个严格的方法和新的指标，公平比较服务器和微服务器平台。我们部署了我们的方法和指标来比较一个带有ARM内核的微服务器和两个带有x86内核的服务器，运行相同的实时的【形】财务分析工作负载。我们定义了特定于工作负载但独立于平台的性能指标，用于平台比较，目标是数据中心运营商和最终用户。我们的方法确定了基于Xeon Phi处理器的服务器可提供最高的性能和能效。然而，通过扩展节能微服务器，我们实现了竞争力或更好的能源效率比一个功率等效的服务器与两个桑迪桥插槽，尽管微服务器的核心速度较慢。使用一个新的iso-QoS（iso-服务质量）度量，我们发现，ARM微服务器的规模足以满足市场的吞吐量需求，即100%的QoS方面的及时选项定价，与少至55%的能量消耗的Sandy Bridge服务器。
2014-12-30 cs.DC
A Case Study on Job Scheduling Policy for Workload Characterization and Power Efficiency
随着云计算的日益普及，云计算中心变得比以往任何时候都更加重要。典型的数据中心通常由大量通过网络连接的同构或异构服务器组成。不幸的是，这些服务器和网络设备往往利用率低，耗电量大。为了提高硬件资源的利用率并使其在嵌入式系统中具有功率效率，工作负载表征和分析是基础。在本文中，我们的特点和分析的作业到达率，到达时间，作业长度，功耗，和温度耗散在现实世界中的数据中心，通过使用统计方法。从表征中，我们发现工作负载中的独特功能可以用于优化调度中心的资源利用率和功耗
2014-05-14 cs.DC
DxPU: Large Scale Disaggregated GPU Pools in the Datacenter
针对云端GPU固定组装效率低、现有解聚系统存在缺陷的问题，提出数据中心规模GPU解聚方案DxPU，构建AI负载性能模型并部署原型，多数场景下开销低于10%。
2023-10-07 cs.DC
WattScope: Non-intrusive Application-level Power Disaggregation in Datacenters
WattScope 利用服务器外部总功率测量和机器学习分解技术，非侵入式地估算数据中心内单个应用的功耗，并在生产负载上实现了通常低于10%的归一化平均绝对误差。
2023-09-22 cs.CY cs.DC cs.PF
RISA: Round-Robin Intra-Rack Friendly Scheduling Algorithm for Disaggregated Datacenters
针对分解式数据中心的网络资源瓶颈，提出基于启发式的轮询机架内友好调度算法RISA，通过优化工作负载分配显著降低网络使用量，在功耗、延迟和执行时间上均大幅优于现有技术。
2023-10-21 cs.DC
Capsule: Efficient Player Isolation for Datacenters
Huawei Technologies（华为技术有限公司）
本文提出Capsule机制，通过解耦玩家本地状态与全局状态实现隔离并最大化跨玩家资源共享，在数据中心中容纳多达2.25倍玩家且不降低用户体验。
2026-05-27 cs.DC cs.GR
Heterogeneous-Reliability Memory: Exploiting Application-Level Memory Error Tolerance
本文总结了我们在通过异构可靠性内存（HRM）来表征应用程序内存错误漏洞以优化数据中心成本方面的工作，该工作发表在DSN 2014上，并探讨了这项工作的意义和未来潜力。内存设备是数据中心总拥有成本（TCO）的关键组成部分，而用于减少这些设备上发生的错误的技术会增加此成本。为存储器设备提供可靠性的现有方法悲观地将所有数据视为同样易受存储器错误的影响。我们的主要见解是，在新的数据密集型应用程序中存在不同的内存错误容忍度，并且传统的一刀切的内存可靠性技术在成本方面效率低下。这提供了一个机会，通过为不同的应用程序提供适当的内存可靠性，大大降低服务器硬件成本。为此，在我们的DSN 2014论文中，我们做出了三个主要贡献，以低数据中心成本实现高度可靠的服务器。首先，我们开发了一种新方法来量化应用程序对内存错误的容忍度。其次，使用我们的方法，我们进行了三个新的数据密集型工作负载（交互式Web搜索应用程序，内存中的键-值存储和图形挖掘框架）的案例研究，以确定新的见解应用程序内存错误漏洞的性质。第三，基于我们的见解，我们提出了几种新的硬件/软件异构可靠性存储系统的设计，以降低数据中心的成本，同时实现高可靠性，并讨论他们的权衡。我们表明，我们的新技术可以减少4.7%的服务器硬件成本，同时实现99.90%的单服务器可用性。
2018-05-10 cs.DC
CloudPowerCap: Integrating Power Budget and Resource Management across a Virtualized Server Cluster
在许多服务器中心，服务器机架的利用率非常低。机架插槽保持为空，以使服务器的最大功率总和保持低于为机架提供的功率。而且，放置在机架中的服务器无法充分利用可用的机架电源。这种机架利用率不足的根本原因是服务器的功耗通常比实际可达到的功耗高得多。为了解决机架利用率不足的问题，服务器供应商正在提供对每台主机功率上限的支持，这对服务器可以消耗的功率量提供了服务器强制限制。使用此功能，数据中心运营商可以在机架中的主机上设置功率上限，以确保这些上限的总和不超过机架的供应功率。虽然这种方法提高了机架利用率，但它给操作员带来了跨主机管理机架功率预算的负担，并且不适合灵活分配功率以处理工作负载使用峰值或响应机架中通电服务器容量的变化。在本文中，我们提出了CloudPowerCap，一个实用的和可扩展的解决方案，在虚拟化环境中的电源预算管理。CloudPowerCap管理虚拟化服务器集群的功率预算，动态调整集群中主机的每主机功率上限。我们展示了CloudPowerCap如何在尊重虚拟机资源权利和约束的同时，比每台主机的静态设置更好地利用电力。
2014-03-11 cs.DC
Prediction-Based Power Oversubscription in Cloud Platforms
数据中心设计人员依靠对IT设备功耗的保守估计来配置资源。这使得资源未得到充分利用，需要建立更多的数据中心。以前的工作使用功率封顶来削减罕见的功率峰值，并向数据中心添加更多的服务器，从而超额订阅其资源并降低资本成本。当工作负载和它们的服务器位置已知时，这很有效。不幸的是，这些因素在公共云中是未知的，迫使提供商限制超额订阅，以便性能永远不会受到影响。在本文中，我们认为，供应商可以使用预测的工作负载性能的关键性和虚拟机（VM）资源利用率，以增加超额认购。这带来了许多挑战，例如从黑盒虚拟机中识别性能关键型工作负载，创建对关键感知电源管理的支持，以及在限制上限影响的同时增加超额订阅。我们为Microsoft Azure的硬件和软件基础架构解决这些挑战。结果表明，我们能够在对关键工作负载影响最小的情况下将超额订阅增加2倍。
2020-10-29 cs.DC
DisaggRec: Architecting Disaggregated Systems for Large-Scale Personalized Recommendation
基于深度学习的个性化推荐系统被广泛用于生产网络中心的在线面向用户的服务，其中采购和管理大量硬件资源以可靠地提供低延迟服务而不中断。随着推荐模型的不断发展和规模的不断增长，我们的分析项目（部署了单片服务器的服务器中心）将花费高达12.4倍的总拥有成本（TCO）来满足未来三年对模型规模和复杂性的要求。此外，通过深入的表征，我们发现，单片基于服务器的集群遭受资源闲置和浪费高达30%的总拥有成本的资源配置在固定的比例。为了应对这一挑战，我们提出了DisaggRec，这是一个用于大规模推荐服务的分类系统。DisaggRec实现了计算和内存资源的独立解耦横向扩展，以满足快速发展的工作负载不断变化的需求。它还通过隔离计算节点和存储器节点的故障来提高系统可靠性。分解的这两个主要好处共同降低了高达49.3%的TCO。此外，解聚合还可以灵活、敏捷地配置未来网络中心日益增加的硬件异构性。通过部署具有近内存处理能力的新硬件，我们的评估表明，在三年的模型发展过程中，与基于服务器的单片集群相比，分散式集群实现了21%-43.6%的TCO节省。
2022-12-02 cs.DC
An Optimal Single-Path Routing Algorithm in the Datacenter Network DPillar
DPillar最近被提出作为一个以服务器为中心的数据中心网络，它与众所周知的包装蝴蝶网络组合相关（但又不同）。在证明DPillar的底层图是Cayley图之前，我们解释了DPillar和包裹的蝴蝶网络之间的关系;因此，数据中心网络DPillar是节点对称的。我们使用这种对称性来建立DPillar的单路径路由算法，该算法计算最短路径并具有时间复杂度$O(k)$，其中$k$参数化DPillar的维度（我们将其交换机中的端口数称为$n$）。我们的分析还使我们能够准确地计算D柱的直径。此外，我们的算法是平凡的实现，基本上是一个条件条款的数值测试，并大大提高了路由算法较早采用DPillar。此外，我们提供了经验数据，以证明这种改善。特别是，我们的经验表明，我们的路由算法提高了找到的路径的平均长度、总瓶颈吞吐量和通信延迟。我们工作的一个次要但重要的影响是，它强调数据中心网络可以进行更紧密的组合审查，从而显着提高其计算效率和性能。
2016-07-16 cs.DC
From Servers to Sites: Compositional Power Trace Generation of LLM Inference for Infrastructure Planning
Stanford University（斯坦福大学）；Microsoft Azure Research（微软Azure研究）
本文提出通过组合功率轨迹生成方法，准确建模LLM推理的能耗，支持更精确的基础设施规划。
2026-03-19 cs.DC
Memory Disaggregation: Advances and Open Challenges
本文从软件视角梳理内存解聚的研究进展与落地挑战，结合SymbioticLab七年研发经验，展望基于新兴缓存一致性互连的下一代内存解聚系统待解决的问题。
2023-05-06 cs.DC
Serving the Grid: an Experimental Study of Server Clusters as Real-Time Demand Response Resources
需求响应是允许间歇性可再生能源在电网中大规模渗透的关键技术。本文基于这样一个论点，即电力调度中心代表着特别有吸引力的候选者，可以为电网提供灵活的、实时的【形】需求响应服务;它们能够精细地控制功耗、快速的功率斜坡率和大的动态范围。本文有两个主要贡献：（a）它提供了详细的实验证据证明这篇论文，（b）它提出了一个比较调查的三个候选软件接口的电源控制服务器内。所有这些结果都是基于一系列实验，包括实验室规模的服务器集群上的实时的【形】功率测量。这个集群是专门仪器的准确和快速的功率测量的时间尺度为100 ms或less. Our的结果提供了初步证据的可行性，大规模的需求响应，使用数据中心，并激励未来的工作，利用这种能力。
2016-11-29 cs.DC cs.PF
SCARIF: Towards Carbon Modeling of Cloud Servers with Accelerators
针对现有服务器隐含碳测算工具准确性不足、难复现厂商数据的问题，研究提出开源工具SCARIF，通过统计模型预测含GPU、FPGA等加速器的服务器隐含碳成本，为数据中心设计管理提供碳相关决策参考。
2024-05-22 cs.DC
Disaggregated and optically interconnected memory: when will it be cost effective?
已经针对服务器中心提出了"分解服务器"概念，其中相同类型的服务器资源被聚合在它们各自的池中，例如计算池、内存池、网络池和存储池。通过根据工作负载的需求从这些池中分配适量的资源，动态地构建每个服务器。模块化、更高的封装和冷却效率以及更高的资源利用率都是建议的好处。随着超大型数据中心的出现，包含数万台服务器的“云”，数据中心效率已成为一个重要的话题。很少有计算机芯片和系统供应商正在研究硅光子学和分解存储器系统，并经常发布公告。在本文中，我们研究的成本和性能之间的权衡，建立一个分散的内存系统，在数据中心的DRAM模块被池化，例如在内存的机箱和机架。计算池和存储器池通过光学互连来互连，以克服电气结构的距离和带宽问题。我们构建了一个简单的成本模型，其中包括延迟成本，带宽成本和预期从一个分散的内存系统的节省。然后，我们确定了一个分散的存储器系统成为成本竞争力与传统的直接连接的存储器系统的水平。我们的分析表明，一个机架规模的分散存储器系统将有一个不平凡的性能损失，并在数据中心规模的惩罚是不切实际的高，和光学互连成本至少是一个因素的10更昂贵的地方，他们应该相比，传统的直接连接的存储器系统。
2015-03-03 cs.AR cs.DC cs.PF
Power Modeling for Effective Datacenter Planning and Compute Management
Google, Inc.（谷歌公司）
数据中心的电力需求一直在不断增长，是其成本的关键驱动因素。计算资源（CPU、RAM等）的准确映射和硬件类型（服务器、加速器等）降低功耗已成为主要Web和云服务提供商的关键要求。随着数据中心容量和相关功耗的全球增长，这些模型对于围绕数据中心设计和操作的重要决策至关重要。在本文中，我们讨论了两类统计功率模型，这些模型被设计和验证为准确、简单、可解释且适用于Google舰队超大规模数据中心的所有硬件配置和工作负载。据我们所知，这是此类规模最大的功耗建模研究，涉及各种数据中心规划和实时管理用例，以及用于建模和验证的各种硬件配置和工作负载类型。我们证明，所提出的统计建模技术，而简单和可扩展的，预测功率小于5%的平均绝对百分比误差（MAPE）超过95%的不同配电单元（超过2000），仅使用4个功能。这种性能与之前最先进方法的报告准确性相匹配，同时使用的功能明显减少，并覆盖了更广泛的用例。
2021-06-11 cs.DC cs.LG
Coordinated Cooling and Compute Management for AI Datacenters
University of Alberta（阿尔伯塔大学）
本文提出了一种协调冷却与计算管理的方法，以提高AI数据中心的能效并减少碳排放。
2026-01-13 cs.DC cs.SY eess.SY
Network in Disaggregated Datacenters
如今，网络中心依赖于基于单片服务器的以计算机为中心的方法，单片服务器包括所有必要的硬件资源（主要是CPU、RAM、网络和磁盘）来运行应用程序。这样的架构具有两个主要限制：（1）难以实现充分的资源利用以及（2）用于硬件维护的粗粒度。最近，许多作品研究了一种以资源为中心的方法，称为分解架构，其中数据中心由使用快速互连技术互连的自内容资源板组成，每个资源板包括一种资源类型的实例。以资源为中心的架构允许独立管理（维护、分配）每个资源。LegoOS是第一个研究解聚合对操作系统的影响的工作，提出了解聚合操作系统本身。他们证明了这种方法的适用性，主要考虑CPU和RAM资源。然而，他们并没有研究网络资源分解的含义。我们复制了一个LegoOS基础设施，并将其扩展到支持分散的网络。我们表明，网络可以遵循相同的原则进行分解，并且可以在这样的环境中重现DMA、DDIO或环回等经典网络优化。我们的评估显示了这种方法的可行性和未来分类基础设施的潜力。
2021-03-15 cs.DC cs.NI
A Kernel Search Algorithm for Virtual Machine Consolidation Problem
虚拟机整合描述了在一组目标服务器上重新分配虚拟机（VM）的过程。该问题可以转化为一个混合整数线性规划问题，并证明了该问题是NP-难问题。针对大规模虚拟机合并问题，提出了一种基于硬变量固定的核搜索启发式算法，以快速获得高质量的解.由于变量固定策略在现有的KS作品可能会使VMCP不可行，我们提出的KS算法采用了一种更有效的策略，选择一组固定的变量，根据相应的减少成本。VMCP算例的数值结果表明，本文提出的KS算法在CPU时间上明显优于现有的混合整数线性规划求解器，而变量固定策略在提高KS算法效率的同时，对解质量的影响可以忽略不计.
2022-12-27 cs.DC math.OC
CloudCoaster: Transient-aware Bursty Datacenter Workload Scheduling
今天的集群往往不得不在各种不同的工作之间分配资源。这些作业在执行时间和到达率上都是异构的。执行时间的异质性导致了混合调度器的发展，它可以调度短作业和长作业，以确保良好的任务布局。然而，到达速率异质性或突发性仍然是现有分组交换机中的一个问题。这些混合型集群管理静态配置的集群上的资源，这些资源可能很快被到达的作业数量的激增所淹没。在本文中，我们提出了CloudCoaster，一个混合调度器，动态调整集群的大小，利用廉价的瞬态服务器。CloudCoaster以智能方式安排作业，提高作业性能，同时降低总体资源成本。我们评估CloudCoaster的有效性，通过模拟现实世界的痕迹，并将其与最先进的混合调度。CloudCoaster将短作业的平均延迟时间提高了4.8倍，同时保持长作业性能。此外，CloudCoaster将短分区预算减少了29.5%以上。
2019-07-03 cs.DC cs.PF
Fifer: Tackling Underutilization in the Serverless Era
数据中心正在见证基于微服务的应用程序采用无服务器功能的快速增长。这些微服务中的绝大多数通常跨度不到一秒，具有严格的SLO要求，并根据应用程序的要求链接在一起。上述特征引入了一系列新的挑战，特别是在容器配置和管理方面，因为在无服务器平台中采用的最先进的资源管理框架倾向于关注基于微服务的应用程序，类似于传统的单片应用程序。因此，这些框架遭受微服务不可知的调度和巨大的容器过度供应，特别是在工作负载波动期间，从而导致资源利用率低下。在这项工作中，我们使用Kubernetes和Brigade无服务器框架管理的多节点集群上的各种工作负载来量化上述缺点。为了解决这些问题，我们提出了\emph{Fifer} -一个自适应资源管理框架，以有效地管理无服务器平台上的功能链。其关键思想是使\emph{Fifer}（i）通过使用功能感知的容器缩放和智能请求调度来有效地将作业装箱到更少的容器，从而使其具有利用率意识;（ii）同时，通过主动生成容器以避免冷启动，从而使其符合SLO，从而最小化整体响应延迟。结合这些优势，与无服务器平台采用的最先进的路由器相比，\emph{Fifer}将容器利用率和集群范围的能耗分别提高了4倍和31%，而不会影响SLO。
2020-08-28 cs.DC
POLCA: Power Oversubscription in LLM Cloud Providers
University of Washington（华盛顿大学）；Microsoft（微软）；Microsoft Azure（微软Azure）
针对LLM云数据中心功率瓶颈问题，提出稳健可靠的POLCA功率超额订阅框架，可在推理集群中多部署30%服务器且性能损失极小，提升数据中心功率效率与部署速度。
2023-08-24 cs.AR cs.DC cs.LG
Parameter Box: High Performance Parameter Servers for Efficient Distributed Deep Neural Network Training
深度学习系统社区的大多数工作都集中在更快的推理上，但要得到一个经过训练的模型需要进行漫长的实验。加速培训可以让开发人员更快地开发并提出更好的模型。DNN训练通常被视为计算限制问题，最好在具有许多GPU的单个大型计算节点中完成。随着DNN变得越来越大，训练需要分布式进行。分布式深度神经网络（DDNN）训练构成了云上的重要工作负载。更大的DNN模型和更快的计算引擎将训练性能瓶颈从计算转移到通信。我们的实验表明，由于带宽不足和参数服务器软件栈效率低下，现有的DNN训练框架在典型的云环境中无法扩展。我们提出了PBox，一种平衡的，可扩展的中央PS硬件，可以平衡计算和通信资源，以及PHub，高性能参数服务器（PS）一种软件设计，提供优化的网络堆栈和简化的梯度处理管道，使常见的PS设置能够利用PBox。我们发现，在典型的云环境中，在训练ImageNet时，PBox可以实现高达3.8倍的加速比。我们讨论了在培训期间将PBox与可编程交换机集成以进行网络内聚合的未来方向，利用数据中心网络拓扑来减少带宽使用并本地化数据移动。
2020-01-17 cs.DC
Hera: A Heterogeneity-Aware Multi-Tenant Inference Server for Personalized Recommendations
KAIST（韩国科学技术院）
虽然提供低延迟是部署推荐服务的基本要求，但实现高资源利用率对于经济高效地维护数据中心也至关重要。协同定位模型的多个工作者是最大化查询级并行性和服务器吞吐量的有效方法，但是共享资源上的并发工作者所引起的干扰可能会阻止服务器查询满足其SLA。Hera利用多租户推荐模型的异构内存需求，智能地确定一组协同定位的模型及其资源分配，提供快速的响应时间，同时实现高吞吐量。我们表明，赫拉实现了平均37.3%的有效机器利用率的提高，使所需的服务器减少26%，显着提高基线recommedation推理服务器。
2023-02-23 cs.DC cs.IR cs.LG
The Architectural Implications of Microservices in the Cloud
云服务最近经历了从单体应用到微服务的转变，数百或数千个松散耦合的微服务组成了端到端应用。在优化服务质量（QoS）和云利用率时，微服务既带来了机遇，也带来了挑战。在本文中，我们将探讨云微服务对系统瓶颈和数据中心服务器设计的影响。我们首先介绍并描述了一个使用数十种流行的开源微服务构建的端到端应用程序，该应用程序实现了电影租赁和流媒体服务，并且是模块化和可扩展的。然后，我们使用端到端服务来研究微服务的可扩展性和性能瓶颈，并强调它们对数据中心硬件设计的影响。具体来说，我们重新审视了在微服务背景下关于强壮内核与软弱内核的长期争论，我们量化了它们引入的I-cache压力，并测量了在RPC上微服务之间的计算与通信所花费的时间。随着越来越多的云应用程序切换到这种新的编程模型，重新审视我们以前用于构建和管理云系统的假设变得越来越重要。
2018-05-25 cs.DC
Sustainable Cloud Computing: Foundations and Future Directions
微软、谷歌、Facebook和亚马逊等主要云计算提供商严重依赖云计算中心来支持对其计算和应用服务不断增长的需求。然而，运行这种大型基础设施的财务和碳足迹相关成本对云服务的可持续性产生了负面影响。大多数现有的努力主要集中在最小化服务器的能耗。在本文中，我们设计了一个概念模型和实用的设计指南，用于全面管理所有资源（包括服务器，网络，存储，冷却系统），以提高能源效率并减少云数据中心（CDC）的碳足迹。此外，我们讨论了能源和可持续云计算的可靠性之间的相互交织的关系，我们强调相关的研究问题。最后，我们提出了该领域未来的研究方向，并为进一步的实际发展奠定了基础。
2018-05-02 cs.DC
Towards Efficient VM Placement: A Two-Stage ACO-PSO Approach for Green Cloud Infrastructure
针对云数据中心能耗高的问题，提出两阶段混合ACO-PSO算法HAPSO，通过初始放置与迁移优化实现节能，仿真显示其性能优于多种对比算法，可显著降低能耗与SLA违规。
2025-10-01 cs.DC
Efficient Distributed Workload (Re-)Embedding
现代网络系统越来越可重新配置，使需求感知的基础设施，其资源可以根据他们目前服务的工作负载进行调整。通过将频繁交互的通信伙伴移动得更近，例如，将它们配置在同一个服务器或数据中心。然而，动态地改变工作负载的嵌入在算法上是具有挑战性的：通信模式通常事先不知道，但必须学习。在学习过程中，与不必要的移动有关的管理费用（即，再嵌入）应最小化。本文研究了一个基本模型，该模型以在线方式在$\ell$服务器上动态配置通信伙伴的收益和成本之间进行权衡。我们的主要贡献是一个分布式在线算法，这是渐近几乎最优的，即，几乎匹配任何（分布式或集中式）在线算法的竞争比的下限（也在本文中导出）。作为一个应用程序，我们表明，我们的算法可以用来解决分布式联盟发现问题，其中集存储在多个服务器。
2019-04-10 cs.DC cs.DS cs.NI
Management of Data Replication for PC Cluster-based Cloud Storage System
存储系统是云计算基础架构的基本构建块。虽然高性能存储服务器是云存储的最终解决方案，但廉价存储系统的实现仍然是一个悬而未决的问题。为了解决这个问题，高效的云存储系统是用组织成基于PC集群的数据中心的廉价和商品计算机节点来实现的。Hadoop分布式文件系统（HDFS）是一个基于云的开源存储平台，旨在部署在低成本硬件中。通过增强复制管理机制，采用HDFS实现了基于PC集群的云存储系统。数据对象在位于云中的商品节点集群中分布和复制。该系统提供了最佳的副本数量以及存储服务器节点之间的加权和平衡。实验结果表明，根据PC集群中各节点的可用磁盘空间、期望可用性和失效概率，可以实现存储均衡。
2011-12-27 cs.DC cs.NI
Gridiron: A Technique for Augmenting Cloud Workloads with Network Bandwidth Requirements
云应用程序不仅使用服务器资源，还需要网络资源。我们提出了一种新的技术来模拟网络云应用程序的网络带宽需求。我们的技术Gridiron通过网络带宽需求增强了Azure云的VM工作负载跟踪。Gridiron技术的关键是使用Amdahl第二定律推导VM间网络带宽要求。作为一个案例研究，我们使用Gridiron生成逼真的轨迹与网络带宽需求的分布式机器学习训练应用程序。Gridiron生成的工作负载允许数据中心运营商估计云应用程序的网络带宽需求，并实现更现实的云资源调度器评估。
2022-01-12 cs.DC cs.NI
Jarvis: Large-scale Server Monitoring with Adaptive Near-data Processing
快速检测和缓解影响性能和可靠性的问题对于大规模在线服务至关重要。为了实时检测这些问题，数据中心运营商使用流处理器并分析从服务器（称为数据源节点）及其托管服务收集的监控数据流。及时处理传入流需要网络传输大量数据，并需要大量计算资源来处理这些数据。这些因素通常会为流分析带来瓶颈。为了帮助克服这些瓶颈，目前的监控系统采用近数据处理的基础上的成本模型或使用模型不可知论计算一个最佳的查询分区。最优划分在计算上是昂贵的，而模型无关的算法是迭代的，并且在很大的解空间上搜索。我们结合这些方法，使用模型不可知论，以提高分区的解决方案，从基于模型的启发式。此外，当前的系统使用操作符级分区：如果数据源没有足够的资源对所有记录执行操作符，则操作符仅在流处理器上执行。相反，我们执行数据级分区，即，我们允许在流处理器和数据源上执行运算符。我们实现我们的算法在一个系统中称为贾维斯，它可以快速适应动态资源条件。我们对一组不同的监测工作负载的评估表明，Jarvis收敛到一个稳定的查询分区在几秒钟内的节点资源条件的变化。与当前的分区策略相比，Jarvis可以多处理75%的数据源，同时在资源受限的情况下将吞吐量提高1.2 - 4.4倍。
2023-01-29 cs.DB cs.DC
Serving Graph Neural Networks With Distributed Fog Servers For Smart IoT Services
Sun Yat-sen University（中山大学）
本文提出分布式实时GNN推理框架Fograph，利用多雾节点异构资源与GNN特定压缩技术，解决云端服务通信开销大的问题，实现最高5.39倍执行加速和6.84倍吞吐量提升。
2023-07-04 cs.AI cs.DC cs.LG
Analysis of Memory Ballooning Technique for Dynamic Memory Management of Virtual Machines (VMs)
内存膨胀是虚拟机的动态存储管理技术。内存回收是管理程序使用的内存回收技术操作的一部分，以允许物理主机系统从某些客户虚拟机（VM）检索未使用的内存并与其他虚拟机共享。内存膨胀允许来宾虚拟机所需的RAM总量超过主机上可用的物理RAM量。内存超量使用可以在虚拟机管理程序中实现更高的整合率。使用内存超量使用，用户可以在物理机上整合VM，以便以最佳方式利用物理资源，同时提供良好的性能。因此，内存回收是内存过度使用的一个组成部分。在本文中，我们解决的内存膨胀的基本原因是使用内存密集型虚拟机的内存超量使用。通过对现有回收技术的比较，确定了内存过度使用状态下的代价关联。本文的目的是分析虚拟机动态存储管理的内存膨胀技术。为了进行这项分析，我们在DIU创新科技中心实验室安装和配置了基于VMware的虚拟化软件，例如VMware Server、vCenter Server、vSphere Client，以监控和分析虚拟机的内存膨胀技术性能。用两个不同的测试用例对内存膨胀技术的性能进行了评估。其目的是帮助用户了解这种技术如何影响性能。最后，我们给出了在不同的内存限制下，使用膨胀或交换时的吞吐量，并分析了这种技术的VM性能问题。
2014-11-26 cs.DC
Workload Behavior Driven Memory Subsystem Design for Hyperscale
针对云工作负载与通用基准行为不匹配、服务器架构未优化的问题，本文提出MemProf内存剖析工具，基于其对三类停顿原因的分析，提出共享微架构、高带宽小容量内存层等优化方案，并构建内存追踪工具提升预取器性能。
2023-05-02 cs.AR cs.DC
Power-Aware Allocation of Graph Jobs in Geo-Distributed Cloud Networks
在大数据时代，提交到云的作业呈现出由图表示的复杂结构，其中节点表示每个子任务可以容纳在服务器中的插槽中，而边表示子任务之间的通信约束。我们开发了一个框架，用于在地理分布式云网络（GDCN）中有效地分配图形作业，明确考虑了计算中心（DC）的功耗。我们解决了图作业分配中出现的以下两个挑战：i）分配问题属于NP-难非线性整数规划; ii）分配需要解决NP-完全子图同构问题，这在大规模GDCN中特别麻烦。我们为各种规模的GDCN开发了一套有效的解决方案。对于小规模的GDCN，我们提出了一种基于凸规划的分析方法。对于中等规模的GDCN，我们开发了一个分布式分配算法，利用DC的处理能力并行。之后，我们提供了一种新的低复杂度（分散式）子图提取方法，在此基础上，我们引入云爬虫，旨在为大规模GDCN提取良好潜力的分配。鉴于这些建议的策略，我们进一步研究固定和自适应DC定价方案下的策略选择，并提出了一个在线学习算法。
2019-11-14 cs.DC
A Framework for SLO, Carbon, and Wastewater-Aware Sustainable FaaS Cloud Platform Management
Colorado State University（科罗拉多州立大学）；Hewlett Packard Labs（惠普实验室）
本文针对FaaS云平台中SLO性能、碳排放与水资源使用的冲突，提出了一种可持续性感知的FaaS调度与扩展框架，以共同优化SLO性能、碳排放和废水生成。
2024-10-09 cs.AI cs.DC cs.LG
ADARES: Adaptive Resource Management for Virtual Machines
University of Washington（华盛顿大学）；Purdue University（普渡大学）；Nutanix Inc.（路坦力公司）
虚拟执行环境允许将多个应用程序整合到同一物理服务器上，从而能够更有效地使用服务器资源。然而，用户通常通过猜测来静态地配置虚拟机的资源，导致资源分配不足从而阻碍VM性能，或者分配过多从而浪费宝贵的数据中心资源。在本文中，我们首先通过分析一个广泛的数据集，包括超过250k的虚拟机超过3.6k的私营企业集群的真实世界的资源分配和利用率的虚拟机的特征。我们的大规模分析证实，虚拟机经常配置错误，要么过度配置，要么配置不足，而且这个问题在广泛的私有集群中普遍存在。然后，我们提出ADARES，一个自适应系统，动态调整VM资源使用机器学习技术。特别是，ADARES利用上下文强盗框架来有效地管理适应。我们的系统在集群、节点和虚拟机级别利用易于收集的数据来做出更明智的分配决策，并使用迁移学习来安全地探索配置空间并加快训练速度。我们的实证评估表明，ADARES可以显着提高系统利用率，而不牺牲性能。例如，与阈值和基于预测的基线相比，它实现了更可预测的虚拟机级性能，并将实际群集上合成工作负载的虚拟CPU和内存配置量分别减少了35%和60%。
2018-12-06 cs.DC cs.LG
iGniter: Interference-Aware GPU Resource Provisioning for Predictable DNN Inference in the Cloud
GPU对于加速云计算中心中对延迟敏感的深度神经网络（DNN）推理工作负载至关重要。为了充分利用GPU资源，在协同定位的DNN推理工作负载之间的GPU空间共享变得越来越引人注目。然而，GPU共享不可避免地会在协同定位的推理工作负载之间带来严重的性能干扰，这是由EC2 GPU实例上DNN推理的经验测量研究所激发的。虽然现有的工作，保证推理性能服务水平目标（SLO）集中在GPU的时间共享或反应性GPU资源扩展和推理迁移技术，如何主动减轻这种严重的性能干扰得到了相对较少的关注。在本文中，我们提出了iGniter，这是一种干扰感知的GPU资源配置框架，用于在云中经济高效地实现可预测的DNN推理。iGniter由两个关键组件组成：（1）轻量级DNN推理性能模型，它利用实际可访问的系统和工作负载指标来捕获性能干扰;（2）基于我们的推理性能模型，联合优化GPU资源分配和自适应调度的具有成本效益的GPU资源供应策略，目的是实现DNN推理工作负载的可预测性能。我们实现了一个基于NVIDIA Triton推理服务器托管在EC2 GPU实例的iGniter原型。在四个有代表性的DNN模型和数据集上进行的大量原型实验表明，iGniter可以保证DNN推理工作负载的性能SLO，并且具有实际可接受的运行时开销，同时与最先进的GPU资源配置策略相比，节省了高达25%的资金成本。
2022-11-03 cs.DC
Heuristics and Metaheuristics for Dynamic Management of Computing and Cooling Energy in Cloud Data Centers
Universidad Politécnica de Madrid（马德里理工大学）；Universidad Complutense de Madrid（马德里康普顿斯大学）
针对云数据中心计算与冷却能耗优化难题，提出结合元启发式与最佳适配递减算法的功率热感知联合优化策略，能效最高提升21.74%且保障服务质量。
2023-12-17 cs.AI cs.DC
Experimental Assessment of Containers Running on Top of Virtual Machines
本文在真实测试平台上实验比较了容器运行于虚拟机之上与独立虚拟机、独立容器在不同硬件资源下的性能，涵盖多种虚拟化方式和容器平台。
2024-01-15 cs.AR cs.DC cs.PF
