Metrics based Workload Analysis Technique for IaaS Cloud
资源的动态可伸缩性是基础设施即服务(IaaS)中的一个问题,一直是研究和产业界关注的热点。云工作负载的异构性和动态性取决于适当工作负载到适当资源的服务质量(QoS)分配。工作负载是实例或一组实例将要执行的工作的抽象。运行Web服务或成为Hadoop数据节点是有效的工作负载。动态自然资源的有效管理可以在工作负载的帮助下完成。在工作负载被视为基本功能之前,云资源无法以有效的方式利用。在本文中,不同的工作负载已被确定和分类,以及他们的特点和限制。已经为每个工作负载确定了基于服务质量(QoS)要求的度量,并对这些度量进行了分析,以创建更好的应用程序设计。
2014-11-25 cs.DC
Scalable Infrastructure for Workload Characterization of Cluster Traces
在最近的过去,工作负载特征化一直试图在新兴的无服务器云市场中站稳脚跟,特别是在Google,AWS等大型生产云集群中。虽然分析和表征来自大型生产云集群的实际工作负载对云提供商、研究人员和日常用户都有好处,但由于数据的异构性,分析这些集群的工作负载跟踪一直是一项艰巨的任务。本文提出了一个基于Google dataproc的可扩展基础架构,用于分析云环境的工作负载跟踪。我们使用Google cloud cluster-usage-traces-v3的工作负载跟踪来评估建议的基础设施的功能。我们在此数据集上执行工作负载表征,重点关注工作负载的异构性、作业持续时间的变化、资源消耗的各个方面以及集群提供的资源的总体可用性。本文中报告的发现将有利于云基础设施提供商和用户,同时管理云计算资源,特别是无服务器平台。
2022-05-23 cs.DC
Cloud Workload Prediction based on Workflow Execution Time Discrepancies
基础设施即服务云隐藏了维护物理基础设施的复杂性,但有一个小小的缺点:它们还隐藏了内部工作细节。用户是否需要了解这些细节,例如,为了提高其应用程序的可靠性或性能,它们需要能够检测基础系统中行为变化的解决方案。现有的用于此类目的的运行时解决方案提供有限的功能,因为它们大多限于揭示基础设施中的每周或每年的行为周期。本文提出了一种通过模拟来预测通用后台工作负载的技术,该技术能够提供底层私有云系统的额外知识,以支持云编排或工作流制定等活动。我们的技术使用长期运行的科学工作流及其行为差异,并尝试在具有已知(基于跟踪)工作负载的模拟云中复制这些工作流。我们认为,我们越能更好地模拟当前的差异,我们就越能更好地了解现实生活中的云计算在不久的将来的预期工作负载。我们评估了所提出的预测方法与生物化学应用在真实和模拟的云基础设施。所提出的算法已被证明比随机工作负载选择对模拟云的未来产生显著(约20%)更好的工作负载预测。
2018-03-19 cs.DC
EsDNN: Deep Neural Network based Multivariate Workload Prediction Approach in Cloud Environment
云计算通过为服务提供商和客户提供利益而被认为是IT行业的成功范例。尽管有这些优势,但云计算也面临着不同的挑战,其中之一就是为动态工作负载提供低效的资源。云计算的准确工作负载预测可以支持高效的资源供应并避免资源浪费。然而,由于云工作负载的高维和高可变性,很难有效和准确地预测工作负载。目前云计算工作负载预测的主要工作是基于回归方法或递归神经网络,这些方法无法捕获工作负载的长期变化。为了应对挑战并克服现有工作的局限性,我们提出了一种用于云工作负载预测的高效的基于监督学习的深度神经网络(esDNN})方法。首先,我们利用滑动窗口将多变量数据转换为监督学习时间序列,允许深度学习进行处理。然后,我们应用一个修正的门控递归单元(GRU),以实现准确的预测。为了证明esDNN的有效性,我们还基于来自阿里巴巴和谷歌云数据中心的真实痕迹进行了全面的实验。实验结果表明,esDNN可以准确有效地预测云负载。与最先进的基线相比,esDNN可以显著降低均方误差,例如,比仅使用GRU的方法降低15%。我们还将esDNN应用于机器自动伸缩,这表明esDNN可以有效地减少活动主机的数量,从而优化服务提供商的成本。
2022-03-05 cs.DC
Workload Classification & Software Energy Measurement for Efficient Scheduling on Private Cloud Platforms
目前,为基于私有云的数据中心创建节能工作负载调度程序存在许多障碍。首先,必须研究不同工作负载和功耗之间的关系。其次,当前用于提供能量使用统计的基于硬件的解决方案不适合于仓库规模的数据中心,其中低成本和可扩展性是期望的属性。在本文中,我们讨论了私有云平台中不同工作负载对服务器功耗的影响。当服务器被赋予支配各种资源(CPU、内存、硬盘和网络)的任务时,我们显示出明显的能耗差异。然后,我们使用这种洞察力来开发CloudMonitor,这是一种软件实用程序,在开发动态功耗模型的“训练阶段”之后,能够通过监视工作负载的资源消耗来进行>95%的准确功耗预测。
2011-05-12 cs.DC
PhoenixCloud: Provisioning Resources for Heterogeneous Workloads in Cloud Computing
随着越来越多的服务提供商选择由第三方资源提供商提供的云平台,资源提供商需要为不同云场景下的异构工作负载提供资源。考虑到异构工作负载的巨大差异,我们是否可以在云计算中为异构工作负载协调调配资源?在本文中,我们专注于这个重要的问题,这是由以前的一些工作。我们的贡献有三个方面:(1)分别提出了两种典型云场景下的异构工作负载协同资源配置方案:第一种是大型组织为两个异构工作负载运行私有云;第二种是大型组织或两个服务提供商运行异构工作负载恢复到公有云;(2)我们构建了一个敏捷系统PhoenixCloud,使资源提供商能够在异构工作负载整合到云站点时,根据需要创建协调的运行时环境;(3)在实验中进行了综合评价。对于两种典型的异构负载跟踪:并行批处理作业和Web服务,实验表明:a)在私有云场景下,当吞吐量与专用集群系统的吞吐量基本相同时,我们的解决方案使集群的配置规模减少了约40%; b)在公共云场景中,我们的解决方案不仅减少了总资源消耗,而且峰值资源消耗最大为EC2 +RightScale方案的31%。
2010-07-20 cs.DC
An In-Depth Comparative Analysis of Cloud Block Storage Workloads: Findings and Implications
云块存储系统支持现代云服务中的各种类型的应用。描述它们的I/O活动对于指导更好的系统设计和优化至关重要。本文通过对阿里云和腾讯云块存储两个生产系统的数十亿次I/O请求的块级I/O跟踪,对生产云块存储工作负载进行了深入的对比分析。我们研究了它们的负荷强度、空间模式和时间模式的特征。我们还将云块存储工作负载与Microsoft Research Cambridge企业数据中心的公共块级I/O工作负载进行了比较,并确定了三种跟踪源的共性和差异。为此,我们提供了6个结果,通过高层次的分析和16个结果,通过详细的分析,负荷强度,空间模式和时间模式。我们讨论了我们的研究结果对云块存储系统中的负载均衡、缓存效率和存储集群管理的影响。
2022-11-19 cs.DC
Running Cloud-native Workloads on HPC with High-Performance Kubernetes
本文提出一种实用设计,通过高性能 Kubernetes 使未修改的云原生工作负载直接在主 HPC 集群上运行,避免资源分区并保留现有作业管理与计费策略。
2024-09-25 cs.DC
Orchestrating Mixed-Criticality Cloud Workloads in Reconfigurable Manufacturing Systems
本文针对云化工厂车间中不同关键性工作负载的编排问题提出优化模型,在保证可调度作业数量的同时提升作业保障,并展望了作业隔离性的定量评估方向。
2024-03-27 cs.DC
A Minimum-Cost Flow Model for Workload Optimization on Cloud Infrastructure
计算、存储和网络领域的最新技术进步,以及组织在削减成本的同时保持对不断增长的服务需求的响应的需求增加,导致了云计算服务的采用增长。云服务提供了提高敏捷性、弹性、可扩展性和降低总拥有成本(TCO)的承诺。这项研究介绍了一个框架,通过使用线性规划(ILP)方法来优化工作负载分配到Amazon Web Services(AWS)云基础设施上的服务器,从而最大限度地降低成本和提高资源利用率。该模型是基于经典的最小成本流模型,被称为分配模型。
2017-07-28 cs.DC
URSA: Precise Capacity Planning and Contention-aware Scheduling for Public Clouds
数据库平台即服务(dbPaaS)发展迅速,大量数据库被迁移到云上运行,以获得低成本和灵活性。新兴云依赖租户为其数据库工作负载提供资源规范。然而,他们往往高估了数据库的资源需求,导致不必要的高成本和低云利用率。一种自动建议满足每个数据库工作负载的性能需求的“刚好够用”的资源规范的方法是有益的。为此,我们提出了URSA,dbPaaS云的容量规划和工作负载调度系统。USRA由在线容量规划器、性能干扰估计器和竞争感知调度引擎组成。容量规划器为数据库工作负载确定最具成本效益的资源规格,以实现所需的联机性能。干扰估计器量化共享资源上的压力和对每个数据库工作负荷的共享资源争用的敏感度。调度引擎会仔细地跨云节点调度工作负载,以消除协同工作负载之间的不公平性能干扰。我们的真实系统的实验结果表明,URSA减少了27.5%的CPU使用和53.4%的内存使用的数据库工作负载,同时满足他们的性能要求。与此同时,与Kubernetes相比,URSA将协同工作负载之间的性能不公平性降低了42.8%。
2019-12-27 cs.DC
CloudyGUI: A Novel Python-based Framework for Auto-Scaling and Cloud Workload Analysis
Guru Nanak Dev University(古鲁纳克德夫大学)
提出CloudyGUI框架,通过工作负载生成、预测(XGBoost和LSTM)和基于MAPE循环的自动缩放三阶段流程,实现云资源管理策略的测试与验证,并验证了其与真实数据的高度一致性。
2026-07-02 cs.DC
Breaking the Computation and Communication Abstraction Barrier in Distributed Machine Learning Workloads
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Ohio State University(俄亥俄州立大学);Chinese Academy of Sciences(中国科学院);University of California, Riverside(加州大学河滨分校);Microsoft Research(微软研究院)
最近的趋势是越来越多的大型机器学习模型需要分布训练和推理任务。考虑到训练这些模型的巨大成本,必须在计算和通信方面进行优化,以获得最佳性能。然而,当前深度学习框架中计算和通信内核之间的逻辑分离错过了跨越这种障碍的优化机会。通过整体考虑打破这种抽象可以提供许多优化,从而提高分布式工作负载的性能。手动应用这些优化需要为每个场景修改底层计算和通信库,这既耗时又容易出错。因此,我们提出了CoCoNeT,用DSL来表达一个既有计算又有通信的程序。CoCoNeT包含几个机器学习感知的转换来优化程序和编译器以生成高性能内核。将计算和通信作为第一类结构提供,允许用户在高级抽象上工作并应用强大的优化,例如通信和计算的融合或重叠。CoCoNeT使我们能够在大语言模型中优化数据、模型和流水线并行工作负载,只需几行代码。实验表明,CoCoNeT显著优于最先进的分布式机器学习实现。
2022-03-26 cs.DC cs.LG cs.PL
Lightweight Robust Framework for Workload Scheduling in Clouds
在不牺牲太多资源的情况下,云服务的可靠性、安全性和稳定性已经成为云中工作负载管理领域的期望特征。本文提出并评估了一个轻量级的框架调度工作量的一部分可能是不可靠的。这种不可靠性可能是由各种类型的故障或攻击造成的。我们的健壮工作负载调度框架有效地结合了经典的容错和安全工具,如数据包/作业扫描,与工作负载调度,它不使用任何沉重的资源消耗工具,例如,密码学或非线性优化。更具体地说,该框架使用了一种新的目标函数来分配工作到服务器,并不断决定哪些工作扫描的基础上与目标函数的公式。我们展示了如何建立目标函数和相应的扫描程序,使系统可证明稳定,只要它满足一个特定的稳定性条件。因此,我们表明,我们的框架保证云的稳定性,即使天真的扫描所有和扫描无策略是不稳定的。我们扩展的框架,分散调度和评估它在几个流行的路由程序。
2017-05-07 cs.DC
Performance Analysis of Machine Learning Centered Workload Prediction Models for Cloud
由于异构服务类型和动态工作负载的高度可变性和维度,资源使用的精确估计是一个复杂且具有挑战性的问题。在过去的几年里,资源使用和流量的预测已经得到了研究界的充分关注。许多基于机器学习的工作负载预测模型已经通过利用它们的计算能力和学习能力来开发。本文首次对各种机器学习驱动的云工作负载预测模型进行了系统调查和基于性能分析的比较研究。讨论开始与预测资源管理的意义,其次是一个示意性的描述,操作设计,动机和挑战,这些工作量预测模型。分类和不同的预测方法分为五个不同的类别,重点放在现有的国家的最先进的工作量预测方法的理论概念和数学功能。最突出的预测方法属于一个独特的类别的机器学习模型进行了彻底的调查和比较。所有五个分类的基于机器学习的工作负载预测模型都在一个公共平台上实现,以便通过实验分析使用三个不同的基准云工作负载跟踪进行系统调查和比较。国家的最先进的方法的基本的关键性能指标进行了评估比较,并通过讨论的权衡和值得注意的意见的文件结束。
2023-02-05 cs.DC
Pilot-Edge: Distributed Resource Management Along the Edge-to-Cloud Continuum
许多科学和工业物联网应用需要跨边缘到云连续体进行数据处理,以满足性能、安全性、成本和隐私要求。然而,需要各种抽象和基础设施来管理边缘到云场景中的资源和任务。我们提出Pilot-Edge作为跨边缘到云连续体的资源管理的通用抽象。Pilot-Edge基于试点抽象,它简化了资源和工作负载管理,并为应用程序级任务提供了功能即服务(FaaS)接口。这种抽象允许应用程序将公共功能封装在高级任务中,然后可以跨连续体配置和部署这些任务。我们使用机器学习工作负载(例如,k-means和自动编码器)。我们的实验演示了Pilot-Edge如何管理分布式资源,并允许应用程序基于多个因素(例如,模型复杂性、吞吐量和等待时间)。
2021-04-07 cs.DC
Shaved Ice: Optimal Compute Resource Commitments for Dynamic Multi-Cloud Workloads
基于对 Snowflake Data Cloud 三年工作负载的研究,量化需求驱动因素,提出最大化容量可用性并最小化成本的实用优化方案,解决多云计算承诺中成本节约与需求风险的权衡问题。
2025-04-30 cs.DC
Understanding Cloud Workloads Performance in a Production like Environment
了解虚拟机间干扰对于提供可靠的知识并了解当前公共云中性能下降的原因至关重要。为此,本文设计了一种工作负载分类法,该分类法根据主要系统资源如何影响应用程序的性能(例如,尾部等待时间)作为负载水平的函数(例如,QPS)。在此之后,我们提出了三个主要的研究,解决了三个主要的问题,以提高云性能:影响的负载水平对性能,超线程对性能的影响,以及限制主要系统资源(例如,最后一级缓存)的性能。在所有这些研究中,我们确定了重要的发现,我们希望这些发现可以帮助云提供商提高他们的系统利用率。
2020-10-10 cs.DC
A Quantum Approach Towards the Adaptive Prediction of Cloud Workloads
提出了一种基于进化量子神经网络的云数据中心工作负载预测模型。它利用量子计算的计算效率,将工作负载信息编码到量子比特中,并通过网络传播此信息,以主动估计工作负载或资源需求,提高准确性。控制非门的旋转和反向旋转效应在隐藏层和输出层起到激活函数的作用,以调整量子位权重。此外,自平衡自适应差分进化(SB-ADE)算法被开发来优化量子比特网络的权重。EQNN预测模型的准确性进行了广泛的评估,并与七个国家的最先进的方法,使用八个真实世界的基准数据集的三个不同的类别进行比较。实验结果表明,使用量子方法的进化神经网络大大提高了预测精度高达91.6%,比现有的方法。
2022-11-26 cs.DC
Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud
随着存储系统的每字节成本大幅下降,SSD正在新兴的云基础设施中找到自己的方式。类似的趋势也发生在主存子系统上,因为具有更高容量、频率和通道数量的先进DRAM技术正在部署用于云规模解决方案,特别是用于非虚拟化环境,在非虚拟化环境中,云用户可以准确指定底层硬件的配置。考虑到标准工作负载对存储层次结构参数的性能敏感性,了解内存和存储在数据密集型工作负载中的作用非常重要。在本文中,我们研究了DRAM(高端与低端)的选择如何影响基于Hadoop,Spark和MPI的大数据工作负载在裸金属云上存在不同存储类型时的性能。通过有条不紊的实验设置,我们分析了DRAM容量,工作频率,通道数量,存储类型和横向扩展因素对这些流行的框架的性能的影响。基于微架构分析,我们将数据密集型工作负载分为三组,即I/O绑定、计算绑定和内存绑定。表征结果表明,无论是DRAM容量,频率,还是通道的数量都对所有研究的Hadoop工作负载的性能起着重要的作用,因为它们大多是I/O绑定的。另一方面,我们的研究结果表明,Spark和MPI中的迭代任务(例如机器学习)受益于高端DRAM,特别是高频率和大量通道,因为它们是内存或计算限制的。我们的研究结果表明,使用SSD PCIe不能将瓶颈从存储转移到内存,而它可以将工作负载行为从I/O绑定改变为计算绑定。
2018-08-15 cs.DC
Serifos: Workload Consolidation and Load Balancing for SSD Based Cloud Storage Systems
在虚拟化数据中心中实现高性能需要部署高吞吐量存储集群(即基于固态硬盘(SSD)),以及跨存储节点优化整合工作负载。如今,云存储提供商提供保证性能的唯一实用解决方案是过度配置存储节点。生产中使用的当前工作负载调度机制不具备基于SSD性能优化分配块存储卷的智能。在本文中,我们介绍Serifos,自主性能建模和负载均衡系统设计的SSD为基础的云存储。Serifos考虑了SSD存储单元的特性,并构建了硬件相关的工作负载整合模型。因此,Serifos能够预测由工作负载干扰引起的延迟和并发工作负载的平均延迟。此外,Serifos利用I/O负载均衡算法来动态平衡群集中的卷。实验结果表明,Serifos合并模型是能够保持约10%的平均预测误差异构硬件。作为Serifos负载均衡的结果,我们发现方差和最大平均延迟分别减少了82%和52%。测试平台上支持的服务级别目标(SLO)将平均延迟提高了43%,最大读取延迟提高了32%,最大写入延迟提高了63%。
2015-12-25 cs.DC
Pilot-Abstraction: A Valid Abstraction for Data-Intensive Applications on HPC, Hadoop and Cloud Infrastructures?
传统上,HPC环境的设计是为了满足科学应用的计算需求,而数据只是第二位的关注点。随着科学转向数据驱动的发现,更多地依赖数据中的相关性来形成科学假设,HPC方法的局限性变得显而易见:存储和计算分离等架构范例对于I/O密集型工作负载(例如数据准备,转换和SQL)并不是最佳的。虽然HPC上有许多强大的计算和分析库(例如可扩展线性代数),但它们通常缺乏其他环境(例如Apache Hadoop生态系统)中的可用性和分析库的多样性。此外,缺乏统一访问日益异构的基础设施(HPC,Hadoop,云)的抽象,并允许在这个复杂的环境中进行性能权衡的推理。与此同时,Hadoop生态系统正在快速发展,并已成为行业中数据密集型工作负载的事实标准,并越来越多地用于解决科学问题。在本文中,我们将探索Hadoop和HPC之间的互操作性路径,研究差异和挑战,例如不同的架构范式和抽象,并研究解决这些问题的方法。我们建议将Pilot-Abstraction扩展到Hadoop,作为跨不同基础设施分配和管理资源的互操作性层。此外,已经部署了内存能力来增强大规模数据分析(例如迭代算法)的性能,其中跨迭代重用数据的能力至关重要。由于内存自然适合与飞行员的概念,保留资源的一组任务,我们提出了扩展的飞行员抽象内存中的资源。
2015-01-21 cs.DC
Sustainable Graph Analytics Workload Scheduling with Evolutionary Reinforcement Learning in Edge-Cloud Systems
Colorado State University(科罗拉多州立大学);IIIT Guwahati(古瓦哈提信息与技术研究所);Hewlett-Packard Labs(惠普实验室)
本文提出MERSEM框架,通过进化搜索与强化学习结合,优化边缘-云计算系统中图分析工作负载的调度,减少SLA违规和碳排放。
2026-05-13 cs.DC
TailBench++: Flexible Multi-Client, Multi-Server Benchmarking for Latency-Critical Workloads
本文提出增强型基准测试套件 TailBench++,通过支持动态多客户端、多服务器环境及可变 QPS 和到达模式,解决了 TailBench 在延迟关键型云负载评估中的局限,实现更真实的云性能评测。
2025-05-06 cs.DC
Design and Performance Characterization of RADICAL-Pilot on Titan
许多极端规模的科学应用程序的工作负载由大量单独的高性能任务组成。Pilot抽象通过作业占位符和后期绑定来简化工作负载规范、资源管理和任务执行。因此,Pilot抽象的适当实现可以支持在超级计算机上集体执行大量任务。我们介绍了一个可移植的,模块化的和可扩展的基于Python的试点系统的RADICAL-Pilot(RP)。我们描述RP的设计,架构和实施。我们描述了它的性能,并展示了它在Titan上可扩展地执行由数千个MPI任务组成的工作负载的能力-Titan是DOE领导级设施。具体来说,我们调查RP的弱(强)缩放性能高达131 K(65 K)的核心和4096(16384)32个核心任务。RADICAL-Pilot可以独立使用,也可以作为运行时系统与其他工具集成。
2018-01-05 cs.DC
CWD: A Machine Learning based Approach to Detect Unknown Cloud Workloads
Intel Corporation(英特尔公司);Intel Lab(英特尔实验室)
现代云数据中心的工作负载正变得越来越复杂。在过去几年中,云数据中心中运行的工作负载数量呈指数级增长,云服务提供商(CSP)一直在实时支持按需服务。随着云环境和云工作负载日益复杂,英特尔和AMD等硬件供应商越来越多地在其CPU平台中引入特定于云的工作负载加速功能。这些功能通常针对流行和常用的云工作负载。尽管如此,不常见的、客户特定的工作负载(未知工作负载),如果其特征与常见工作负载(已知工作负载)不同,可能无法实现底层平台的潜力。为了解决实现底层平台的全部潜力的问题,我们开发了一种基于机器学习的技术来表征、分析和预测在云环境中运行的工作负载。我们的技术的实验评估表明,良好的预测性能。我们还开发了以独立方式分析模型性能的技术。
2022-11-28 cs.DC cs.LG
Exploiting Workload Cycles for Orchestration of Virtual Machine Live Migrations in Clouds
云环境中的虚拟机实时迁移旨在降低能源成本并提高资源利用率。然而,它的潜力尚未得到充分开发,因为同时迁移可能会导致用户应用程序性能下降和网络拥塞。关于实时迁移编排策略的研究工作仍然主要依赖于系统级指标。这项工作介绍了一个应用程序感知的实时迁移架构(ALMA),选择合适的时刻迁移使用应用程序的特征数据。这种表征包括通过快速傅立叶变换识别资源使用周期。从我们的实验中,与没有应用程序工作负载分析的迁移策略相比,基准测试的实时迁移时间减少了74%,实际应用程序减少了67%。实时迁移过程中的网络数据传输减少了高达62%。
2016-07-26 cs.DC
Micky: A Cheaper Alternative for Selecting Cloud Instances
大多数云计算优化器一次探索和改进一个工作负载。在优化多个工作负载时,单一优化器方法的成本可能高得令人望而却步。因此,我们研究“集体优化器”,同时探索和改善一组工作负载,显着降低测量成本。我们的大规模实证研究表明,通常有一个单一的云配置,对于大多数工作负载来说,这是令人惊讶的接近最佳的。因此,我们创建了一个集体优化器,MICKY,重新制定的任务,找到接近最佳的云配置作为一个多臂强盗问题。MICKY有效地平衡了探索(新的云配置)和利用(已知良好的云配置)。我们的实验表明,与最先进的方法相比,MICKY可以实现平均8.6倍的测量成本降低,同时找到接近最佳的解决方案。因此,我们提出MICKY作为一个实用的集体优化方法的基础,以找到良好的云配置(基于各种约束,如预算和容忍接近最佳的配置)。
2018-03-15 cs.DC
Serverless in the Wild: Characterizing and Optimizing the Serverless Workload at a Large Cloud Provider
功能即服务(FaaS)作为将计算部署到云中无服务器后端的一种方式越来越受欢迎。这种范例将分配和供应资源的复杂性转移到云提供商,云提供商必须提供始终可用资源的假象(即,没有冷启动的快速函数调用)。这样做需要提供商深入了解FaaS工作负载的特征。不幸的是,关于这些特征的公开信息很少或根本没有。因此,在本文中,我们首先描述了Azure Functions的整个生产FaaS工作负载。例如,我们表明,大多数函数调用非常不频繁,但有一个8个数量级的调用频率范围。使用我们的表征观察,然后我们提出了一个实用的资源管理政策,显着减少功能冷启动的数量,而花费更少的资源比国家的实践政策。
2020-06-06 cs.DC
MORPHOSYS: Efficient Colocation of QoS-Constrained Workloads in the Cloud
在IaaS云等托管环境中,通常通过使用服务水平协议(SLA)来保证理想的应用程序性能,该协议指定必须分配用于正常操作的最小部分资源容量。在单个主机上任意托管具有不同SLA的应用程序可能会导致主机资源的低效利用。在本文中,我们提出,周期性的资源分配和消费模型被用于更细粒度的SLA的表达。我们提出的SLA模型具有显著的特点,它具有灵活性,使IaaS提供商能够安全地将SLA从一种形式转换为另一种形式,以实现更高效的托管。为了实现这一目标,我们提出了MorphoSys:一个服务框架,允许操纵SLA,以实现高效的工作负载托管。我们提出的结果,从广泛的跟踪驱动的模拟托管视频点播服务器在云环境中。结果表明,使用MorphoSys可以显著减少资源浪费(高达60%)。
2019-12-02 cs.DC
Scout: An Experienced Guide to Find the Best Cloud Configuration
为工作负载找到正确的云配置是确保良好性能和控制运行成本的重要步骤。糟糕的云配置选择会降低应用程序性能并显着增加运行成本。虽然贝叶斯优化是有效的,适用于任何工作负载,但它是脆弱的,因为性能和工作负载很难建模(预测)。在本文中,我们提出了一种新的方法,SCOUT。SCOUT的核心观点是,使用先前的测量,即使是针对不同工作负载的测量,也可以提高搜索性能并降低搜索成本。在其核心,SCOUT提取搜索提示(资源需求的推断)从低级别的性能指标。这样的提示使SCOUT能够更有效地在搜索空间中导航-只搜索聚光灯区域。我们在Apache Hadoop和Spark上评估了107个工作负载的SCOUT。实验结果表明,我们的方法找到了更好的云配置,比最先进的方法具有更低的搜索成本。基于这项工作,我们得出结论:(i)低级别的性能信息对于以有效,高效和可靠的方式找到正确的云配置是必要的,以及(ii)搜索方法可以由历史数据指导,从而降低成本并提高性能。
2018-03-04 cs.DC
Carbon-aware Resource Management for Latency-Sensitive Cloud Computing Environments: A Taxonomy and Future Directions
University of Melbourne(墨尔本大学);University of Amsterdam(阿姆斯特丹大学)
本文针对延迟敏感型云计算环境的碳感知资源管理问题,对相关最新文献进行分类分析,指出现有研究差距并提出未来研究方向,助力平衡延迟约束与碳减排目标。
2026-10-22 cs.DC
Cloud Adoption A Modern Approach
本文识别将工作负载迁移到云的关键因素和候选对象,并通过案例研究分析云迁移的利弊,以帮助组织最大化投资回报率。
2023-05-16 cs.DC
Ksurf: Attention Kalman Filter and Principal Component Analysis for Prediction under Highly Variable Cloud Workloads
针对云工作负载高可变性和噪声导致预测困难的问题,提出结合注意力机制、主成分分析与卡尔曼滤波器的 Ksurf 模型,显著提升了预测准确率并改善了 Apache Kafka 的缩放稳定性。
2024-06-27 cs.DC
Extending Demand Response to Tenants in Cloud Data Centers via Non-intrusive Workload Flexibility Pricing
参与需求响应计划是通过调节能源消耗来降低数据中心能源成本的一种有前途的工具。为此,数据中心可以采用一组丰富的资源管理旋钮,例如工作负载转移和动态服务器配置。尽管如此,这些旋钮在服务于云租户/用户的云数据中心(CDC)中可能不容易获得,因为CDC中的工作负载由租户自己管理,这些租户通常基于基于使用或统一费率定价来收费,并且通常没有动力与CDC运营商合作以进行需求响应和成本节省。为了打破这种“分割激励”障碍,最近的一些研究尝试了基于市场的机制,如动态定价,在疾病预防控制中心。然而,这种机制往往依赖于复杂的设计,难以实施,难以应付的租户。为了解决这一限制,我们提出了一种新的激励机制,是不是动态的,即,它使云资源的价格长期保持不变。虽然它根据当今主要云运营商使用的基于使用的定价(UP)向租户收费,但它根据租户为完成工作负载设定的最后期限按比例奖励租户。这种新机制被称为基于使用的货币奖励定价(UPMR)。我们证明了UPMR的有效性分析和经验。我们表明,UPMR可以降低CDC运营商的能源成本的12.9%,同时增加其利润的4.9%,相比,国家的最先进的方法,由今天的CDC运营商收取他们的租户。
2016-03-18 cs.DC
Performance-Feedback Autoscaling with Budget Constraints for Cloud-based Workloads of Workflows
工作流在云领域的日益普及促进了复杂的自动缩放策略的发展,这些策略允许自动分配和释放资源。然而,许多最先进的工作流自动缩放策略大多是基于计划的,或者是为批量(集成)工作流而设计的。这降低了他们在处理工作流的工作负载时的灵活性,因为工作负载通常会受到不可预测的资源需求波动的影响。此外,云计算中的自动缩放几乎总是施加了应该满足的预算限制。用于工作流的可感知自动缩放器通常需要预先提供任务运行时估计,由于其动态特性,在处理工作负载时并不总是可能的。为了解决这些问题,我们提出了一种新的性能反馈自动定标器(PFA),它是可感知的,不需要任务运行时估计其操作。相反,它使用性能反馈循环来监视每种资源类型的平均吞吐量。我们在流行的Apache Airflow工作流管理系统中实现了PFA,并将我们的自动缩放器与其他两种最先进的自动缩放器的性能进行了比较,并与混合编程方法获得的最优解进行了比较。我们的研究结果表明,PFA优于其他考虑在线自动缩放,因为它有效地最大限度地减少了平均作业延迟高达47%,同时仍然满足预算约束。此外,PFA的平均运行时间比竞争对手低76%。
2019-07-23 cs.DC
Autonomous Choreography of WebAssembly Workloads in the Federated Cloud-Edge-IoT Continuum
本文提出一种面向联邦云-边缘-IoT连续体的新型架构,结合多种AI技术与开放标准,实现WebAssembly工作负载的自主智能编排,并指出未来研究方向。
2023-08-06 cs.DC
OpenCUBE: Building an Open Source Cloud Blueprint with EPI Systems
OpenCUBE项目旨在开发部署于EPI硬件的开源云计算蓝图全软件栈,结合能耗感知、开放API、SiPearl Rhea处理器与RISC-V加速器,并利用云原生及科学计算等代表性工作负载进行评估验证。
2024-10-14 cs.DC
CarbonScaler: Leveraging Cloud Workload Elasticity for Optimizing Carbon-Efficiency
提出CarbonScaler,利用云批处理工作负载弹性,通过基于电网碳成本动态调整服务器分配的贪婪算法,显著降低碳排放并优于现有策略。
2023-10-19 cs.DC
Let's Wait Awhile: How Temporal Workload Shifting Can Reduce Carbon Emissions in the Cloud
根据能源来源和需求,公共电网的碳强度随时间波动。利用这种可变性是减少数据中心排放的重要因素。然而,低碳能源供应的区域差异使得很难提供何时消费电力的一般最佳做法。此外,该领域的现有研究主要集中在跨地理分布式数据中心的碳感知工作负载迁移,或者纯粹从电网稳定性和成本的角度解决需求响应。在本文中,我们研究了将计算工作量转移到能源供应预计碳密集度较低的时间的潜在影响。为此,我们确定了延迟容忍工作负载的特征,并分析了2020年德国,英国,法国和加利福尼亚州的时间工作负载转移的潜力。此外,我们实验评估两个工作量转移的情况下,在模拟调查的时间限制,调度策略,和碳强度预测的准确性的影响。为了加速碳感知计算领域的研究,并支持新的调度算法的评估,我们的模拟框架和数据集是公开的。
2021-10-25 cs.DC
Design and Performance Characterization of RADICAL-Pilot on Leadership-class Platforms
许多极端规模的科学应用程序的工作负载由大量单独的高性能任务组成。Pilot抽象通过作业占位符和后期绑定来简化工作负载规范、资源管理和任务执行。因此,Pilot抽象的适当实现可以支持在超级计算机上集体执行大量任务。我们介绍了一个可移植的,模块化的和可扩展的试点启用运行时系统的RADICAL-Pilot(RP)。我们描述RP的设计,架构和实施。我们描述了它的性能,并展示了它在DOE和NSF领导级HPC平台上可扩展地执行由数万个异构任务组成的工作负载的能力。具体来说,我们调查RP的弱/强缩放与CPU/GPU,单核/多核,(非)MPI任务和Python函数时,使用大多数ORNL峰会和TACC Frontera。RADICAL-Pilot可以独立使用,也可以作为第三方工作流系统的运行时使用。
2021-11-02 cs.DC
AI-oriented Medical Workload Allocation for Hierarchical Cloud/Edge/Device Computing
在分层结构的云/边缘/设备计算环境中,工作负载分配会极大地影响整体系统性能。本文讨论了大都市地区急诊室(ER)或重症监护室(ICU)中产生的面向AI的医疗工作量。目标是优化AI工作负载分配到云集群、边缘服务器和终端设备,以便在挽救生命的紧急应用中实现最短的响应时间。特别是,我们为分布式云/边缘/设备计算系统中的AI工作负载开发了一种新的工作负载分配方法。一个有效的调度和分配策略,以减少整体响应时间,以满足多病人的需求。我们应用了来自综合边缘计算基准Edge AIBench的几个ICU AI工作负载。涉及的医疗AI应用包括呼吸短促警报、患者表型分类和生死威胁。我们的实验结果表明,在现实生活中的医疗保健和紧急应用的高效率和有效性。
2020-02-10 cs.DC cs.PF
Spatio-Temporal Shifting to Reduce Carbon, Water, and Land-Use Footprints of Cloud Workloads
"La Sapienza" University of Rome(罗马大学);University of Glasgow(格拉斯哥大学)
本文提出通过时空迁移优化云工作负载,以减少碳、水和土地使用足迹,实验表明空间迁移效果显著,结合时间调整可进一步提升整体效益。
2026-09-16 cs.DC
A Framework for Carbon-aware Real-Time Workload Management in Clouds using Renewables-driven Cores
针对实时工作负载难以利用时间灵活性减排的问题,提出基于可再生能源驱动核心的框架,通过动态切换CPU核心、VM执行模型与装箱算法联合优化,显著降低实时延迟变异系数与VM驱逐事件并提升能源收集。
2024-11-12 cs.DC
Gridiron: A Technique for Augmenting Cloud Workloads with Network Bandwidth Requirements
云应用程序不仅使用服务器资源,还需要网络资源。我们提出了一种新的技术来模拟网络云应用程序的网络带宽需求。我们的技术Gridiron通过网络带宽需求增强了Azure云的VM工作负载跟踪。Gridiron技术的关键是使用Amdahl第二定律推导VM间网络带宽要求。作为一个案例研究,我们使用Gridiron生成逼真的轨迹与网络带宽需求的分布式机器学习训练应用程序。Gridiron生成的工作负载允许数据中心运营商估计云应用程序的网络带宽需求,并实现更现实的云资源调度器评估。
2022-01-12 cs.DC cs.NI
Kirin: Cloud-native WebAssembly Service Orchestration
Technische Universität Berlin(柏林工业大学)
本文提出Kirin,一个云原生WebAssembly服务编排器,支持资源调度、生命周期管理等核心功能,评估显示其在服务工作负载上性能与容器相当,是容器的可行替代方案。
2026-10-01 cs.DC
Cucumber: Renewable-Aware Admission Control for Delay-Tolerant Cloud and Edge Workloads
云计算和边缘计算不断增长的电力需求增加了运营成本,并将很快对环境产生重大影响。一个可能的对策是直接为IT基础设施配备现场可再生能源。然而,特别是较小的数据中心可能无法始终直接使用所有产生的电力,而将其送入公共电网或储能通常不是一种选择。为了最大限度地利用可再生过剩能源,我们提出了黄瓜,接纳控制策略,接受延迟容忍的工作负载,只有当他们可以在他们的截止日期内计算,而不使用电网能源。使用计算负载、能量消耗和能量产生的概率预测,Cucumber可以被配置为更乐观或保守的接纳。我们评估我们的方法在两种情况下使用真正的太阳能发电预测柏林,墨西哥城和开普敦在模拟环境中。对于实际上有多余能量的情况,我们的结果表明,Cucumber的默认配置实现了接近最佳情况的接受率,并导致97.0%的接受工作负载使用多余能量供电,而更保守的准入导致在几乎为零的电网电力使用情况下接受率降低18.5%。
2022-08-27 cs.DC
A Self-adaptive Approach for Managing Applications and Harnessing Renewable Energy for Sustainable Cloud Computing
托管服务快速采用云计算及其成功主要归功于其具有吸引力的功能,如弹性,可用性和按需付费定价模式。然而,云数据中心消耗的大量能源使其成为碳排放增长最快的来源之一。提高能源利用效率的途径包括提高资源利用率,减少资源浪费;采用可再生能源作为能源供应。这项工作旨在通过减少棕色能源的使用和最大限度地使用可再生能源来减少数据中心的碳足迹。利用微服务和可再生能源,我们提出了一种自适应的方法来管理交互式工作负载和批量工作负载的资源。为了保证工作负载的服务质量,提出了一种基于欠压的交互式工作负载调度算法和一种基于延迟的批处理工作负载调度算法。我们已经实现了所提出的方法在一个原型系统中,并评估它与Web服务下真正的痕迹。结果表明,我们的方法可以减少21%的棕色能源的使用和提高10%的可再生能源的使用。
2020-08-31 cs.DC
Towards Global Multi-Cloud Strategies: Insights into AWS and Alibaba Cloud Synergy
Ostbayerische Technische Hochschule Amberg-Weiden(东巴伐利亚应用技术大学安贝格-魏登);Kiel University of Applied Sciences(基尔应用技术大学)
本文通过比较AWS和阿里云在架构、服务和政策上的差异,并利用基础设施即代码工具迁移物联网工作负载,揭示了多云部署的关键技术权衡与最佳实践。
2026-06-23 cs.DC
A Qualitative Evaluation of Service Mesh-based Traffic Management for Mobile Edge Cloud
Service mesh正被广泛采用为基于微服务的应用程序中的流量管理的云原生机制,特别是对于托管在更集中的云环境中的通用IT工作负载。性能要求高的应用程序继续推动现代应用程序执行环境的去中心化,例如移动边缘云。本文对最先进的服务网格进行了系统的定性分析,以评估其设计是否适合解决移动边缘云环境中托管的性能要求苛刻的应用程序工作负载的流量管理需求。通过这种分析,我们认为,当今以可靠性为中心的服务网格设计无法满足不同类型的新兴移动边缘云工作负载的需求,并激励进一步研究高效的架构,更强的QoS保证和更高复杂性的云原生流量管理框架的抽象。
2022-05-12 cs.DC
Collaborative Resource Management and Workloads Scheduling in Cloud-Assisted Mobile Edge Computing across Timescales
针对边缘资源受限下的物联网服务托管与任务调度问题,提出跨时间尺度的RMWS框架,结合Gibbs采样、交替最小化和次梯度下降算法联合优化服务放置、资源供应与工作负载调度,实现至少10%的性能提升。
2024-05-31 cs.DC
Quantifying Energy and Cost Benefits of Hybrid Edge Cloud: Analysis of Traditional and Agentic Workloads
本文分析了集中式云系统的工作负载分布挑战,提出Hybrid Edge Cloud (HEC)架构,并在传统与智能体工作负载场景下量化验证了其能实现高达75%节能和80%以上成本降低,为下一代智能系统提供可持续计算方案。
2025-01-29 cs.AI cs.DC
Dynamic Selection of Virtual Machines for Application Servers in Cloud Environments
自动缩放是云计算的一个标志,因为它允许灵活的即时分配和释放计算资源,以响应动态且通常不可预测的工作负载。这对于那些工作负载依赖于时间并且容易出现flash拥挤的web应用程序来说尤其重要。它们中的大多数遵循3层架构模式,分为表示层、应用程序/域层和数据层。在这项工作中,我们专注于应用层。自云计算出现以来,“当平均服务器CPU利用率达到X%时,实例化新的虚拟机(VM)”类型的反应式自动缩放策略已被成功使用。但是,目前哪种VM类型最适合特定应用程序仍然是一个悬而未决的问题。在这项工作中,我们提出了一种动态VM类型选择的方法。它使用在线机器学习技术的组合,实时的工作,并适应用户工作负载模式的变化、应用程序的变化以及中间件的升级和重新配置。我们已经开发了一个原型,并使用部署在AWS EC2上的CloudStone基准进行了测试。结果表明,我们的方法可以快速适应工作量的变化,并降低了总成本相比,行业标准的方法。
2016-02-07 cs.DC
Object Abstraction To Streamline Edge-Cloud-Native Application Development
University of North Texas(北德克萨斯大学)
本研究提出OaaS范式,通过整合碎片化抽象和自动化优化,简化云原生应用开发,提升生产率和可维护性。
2025-12-27 cs.DC