Scheduling Bag-of-Tasks in Clouds using Spot and Burstable Virtual Machines
领先的云提供商以不同的合同模式提供多种类型的虚拟机(VM),在可用性和可靠性方面有不同的保证。其中,最受欢迎的合约模式是按需和现货模式。在前者中,按需虚拟机以固定的单位时间成本分配,并且在整个执行期间确保其可用性。另一方面,在现货市场中,与按需虚拟机相比,虚拟机提供了巨大的折扣,但它们的可用性根据云的当前需求而波动,云可以随时终止或休眠现货虚拟机。此外,为了应对工作负载变化,云提供商还引入了可突发虚拟机的概念,与同等的非突发按需虚拟机相比,这些虚拟机能够在有限的时间内以高达20%的折扣提升各自的基准CPU性能。在目前的工作中,我们提出了突发休眠感知动态调度(突发HADS),一个框架,调度和执行任务袋的任务应用程序的最后期限的限制,利用现场和按需突发虚拟机,旨在最大限度地减少货币成本和执行时间。基于ILS元调度,Burst-HADS定义了任务到VM的初始调度映射,然后可以通过迁移休眠的点VM的任务或在VM空闲时执行工作窃取来动态更改该映射。Amazon EC2云上不同应用程序的性能结果表明,与仅使用常规按需实例的解决方案相比,Burst-HADS降低了执行的货币成本,即使在具有高点休眠率的情况下也能满足应用程序的最后期限。与仅使用点实例和非突发性按需实例的解决方案相比,它还减少了总执行时间。
2020-11-10 cs.DC
DeepVM: Integrating Spot and On-Demand VMs for Cost-Efficient Deep Learning Clusters in the Cloud
DeepVM通过智能平衡竞价与按需虚拟机,采用四阶段分析(含FLOPP指标与线性规划)优化集群配置,在AWS模拟与实测中降低训练成本与完成时间,提升分布式深度学习的可及性与效率。
2024-03-14 cs.DC
Performance Analysis and Modeling of Video Transcoding Using Heterogeneous Cloud Services
高质量的视频流,无论是视频点播(VOD)还是直播流,通常都需要转换(即转码)视频流,以匹配观众设备的特性(例如,在空间分辨率或支持的格式方面)。考虑到转码操作的计算成本和视频流传输需求的激增,流传输服务提供商(SSP)变得依赖于云服务来保证其观众的流传输的服务质量(QoS)。云提供商以不同类型的虚拟机(VM)的形式提供异构计算服务,价格也各不相同。有效利用云服务进行视频转码需要对异构云虚拟机上的不同视频转码操作进行详细的性能分析。在这项研究中,第一次,我们提供了一个全面的分析异构云虚拟机上的视频流转码的性能。提供这样的分析对于高效预测异构VM上的转码时间以及任何针对视频转码定制的调度方法的功能至关重要。基于此分析的结果,并考虑到异构云虚拟机的成本差异,在这项研究中,我们还提供了一个模型来量化各种转码任务的每种云虚拟机类型的适用程度。所提供的模型可以提供具有准确的性能和成本权衡的资源(VM)供应方法,以有效地利用云服务进行视频流传输。
2018-09-18 cs.DC
An Empirical Analysis of VM Startup Times in Public IaaS Clouds: An Extended Report
VM启动时间是设计弹性云应用程序的一个重要因素。例如,具有自动缩放功能的云应用程序可以通过精确估计VM启动时间来减少VM实例的不足和过度配置,从而有可能保证应用程序的性能并提高成本效率。然而,VM启动时间很少被研究,并且先前执行的可用测量结果没有考虑用于现代云应用的VM的各种配置。在这项工作中,我们从两个主要的云提供商,即亚马逊网络服务(AWS)和谷歌云平台(GCP)的VM启动时间进行全面的测量和分析。经过三个月的测量,我们通过应用一组配置(包括11种以上的虚拟机类型、四个不同的数据中心位置、四种虚拟机映像大小、两种操作系统类型和两种购买模式(例如,现货/可抢占虚拟机与按需虚拟机)。通过广泛的分析,我们发现虚拟机启动时间可能会因几个重要因素而存在显著差异,例如虚拟机映像大小、数据中心位置、虚拟机类型和操作系统类型。此外,通过与以前的测量结果进行比较,我们确认云提供商(特别是AWS)对VM启动时间进行了显着改进,并且目前的VM启动时间比过去快得多。
2021-07-07 cs.DC cs.PF
Priority-aware Gray-box Placement of Virtual Machines in Cloud Platforms
虚拟机(VM)放置对于云平台非常重要。虽然实时虚拟机迁移等技术对于平衡数据中心的负载非常有用,但它们是昂贵的操作。在这份立场文件中,我们建议通过在虚拟机放置算法中应用虚拟机的工作负载模式来最大限度地减少数据中心中负载热点的机会-将需要大量相同类型资源的虚拟机放置在不同的物理服务器上。通过这种方式,可以显著缓解同一物理服务器上的VM的资源竞争。同时,我们还考虑了应用程序和虚拟机的优先级在我们的虚拟机布局算法。
2013-07-25 cs.DC cs.NI
A Joint Optimization of Operational Cost and Performance Interference in Cloud Data Centers
虚拟机(VM)调度是高效运行数据中心计算资源的重要技术。以前的工作主要集中在整合虚拟机,以提高资源利用率,从而优化能源消耗。然而,并置的VM之间的干扰通常被忽略,这可能由于共享资源的争用而导致在这些VM中运行的应用的非常严重的性能降级。基于这一观察,我们的目标是设计高效的VM分配和调度策略,我们考虑优化数据中心的运营成本和运行应用程序的性能下降,然后,我们提出了一个通用模型,它捕获了两个矛盾的目标之间的内在权衡。我们提出了离线和在线解决方案,这个问题,通过利用虚拟机的空间和时间信息,其中虚拟机调度是通过共同考虑的组合和虚拟机的生命周期重叠。评估结果表明,所提出的方法可以生成有效的调度虚拟机,实现低运营成本,同时显着减少云数据中心的应用程序的性能下降。
2014-04-19 cs.DC cs.DS
The Impact of Distance on Performance and Scalability of Distributed Database Systems in Hybrid Clouds
管理大数据的需求日益增长,导致了高级数据库管理系统的出现。已经有越来越多的努力旨在评估由私有或公共云计算中心托管的NoSQL和关系数据库的性能和可扩展性。然而,在混合云中评估这些数据库的性能和可扩展性的工作很少,其中私有云和公共云计算中心之间的距离可能是影响其性能的关键因素之一。因此,在本文中,我们详细评估了混合云中六个现代数据库的吞吐量,可扩展性和VM大小与VM数量的关系,其中包括阿德莱德的私有云和悉尼,孟买和弗吉尼亚地区的Azure数据中心。根据结果,随着私有云和公共云之间的距离增加,大多数数据库的吞吐量性能都会降低。其次,MongoDB获得了最好的吞吐量性能,其次是MySQL C luster,而Cassandra暴露了最大的性能波动。第三,垂直可伸缩性比水平可伸缩性更能提高数据库的吞吐量。第四,利用更大的VM而不是更多的VM和更少的内核可以提高Cassandra,Riak和Redis的吞吐量性能。
2020-07-31 cs.DC
Adaptive and Resilient Revenue Maximizing Dynamic Resource Allocation and Pricing for Cloud-Enabled IoT Systems
云计算正成为现代计算机和通信系统的重要组成部分。云处的可用资源(诸如计算节点、存储装置、数据库等)通常以虚拟机(VM)的形式打包,以供远程定位的客户端应用用于计算任务。然而,云计算的可用虚拟机数量有限,必须有效地利用这些虚拟机来提高生产力,从而产生最大的收入。客户端应用程序在随机时间生成具有计算任务的请求,这些请求具有随机复杂性,将由云处理。云服务提供商(CSP)必须决定是否将VM分配给手头的任务或等待将来更高复杂性的任务。我们提出了一个基于阈值的机制,以最佳的决定分配和定价的VM顺序到达的请求,以最大限度地提高收入的CSP在有限的时间范围内。此外,我们开发了一个自适应和弹性的框架,可以对抗实时变化的影响,在云服务器上的可用虚拟机的数量,到达的CSP的收入任务的频率和性质。
2018-03-03 cs.DC
Modeling The Temporally Constrained Preemptions of Transient Cloud VMs
Amazon Spot实例、Google Preemptible VM和Azure低优先级批处理VM等瞬态云服务器可以将云计算成本降低多达$10\times$,但云提供商可能会单方面抢占。了解抢占特性(如频率)是最小化抢占对应用程序性能、可用性和成本的影响的关键第一步。然而,很少有人了解时间约束的抢占-其中抢占必须发生在一个给定的时间窗口。我们通过对Google的可抢占虚拟机(最大生命周期为24小时)进行大规模实证研究来研究时间受限的抢占,开发了一个新的抢占概率模型,新的模型驱动的资源管理策略,并在科学计算工作负载的批处理计算服务中实现它们。我们的统计和实验分析表明,时间约束的抢占不是均匀分布的,而是时间依赖的,并有一个浴缸形状。我们发现,现有的无记忆模型和政策是不适合的时间约束抢占。我们开发了一个新的概率模型,浴缸抢占,并分析它通过镜头的可靠性理论。为了突出我们的模型的有效性,我们制定了优化的政策,作业调度和检查点。与现有技术相比,我们的基于模型的政策可以减少作业失败的概率超过$2\times$。我们还将我们的策略作为科学计算应用程序的批处理计算服务的一部分来实施,与传统的云部署相比,这将成本降低了$5\times$,并将性能开销保持在$3\%$以下。
2020-06-16 cs.DC cs.SY eess.SY
CloudProphet: A Machine Learning-Based Performance Prediction for Public Clouds
本文提出 CloudProphet,通过识别 VM 内应用并选取高相关运行时指标,基于机器学习预测公有云黑盒 VM 的应用性能,显著降低最差预测误差并适配可变工作负载。
2023-09-28 cs.DC
A Bag-of-Tasks Scheduler Tolerant to Temporal Failures in Clouds
云平台已经成为执行高性能计算(HPC)应用的突出环境,提供按需资源以及可扩展性。它们通常提供不同类别的虚拟机(VM),以确保在可用性和波动性方面的不同保证,并通过多种定价模型配置相同的资源。例如,在Amazon EC2云中,用户按小时支付按需虚拟机的费用,而现货虚拟机是以较低价格提供的未使用实例。尽管有金钱上的优势,但EC2可以随时终止、停止或休眠spot VM。同时使用休眠容易现货虚拟机(出于成本考虑)和按需虚拟机,我们提出了在本文中的HPC应用程序,这是由独立的任务(袋的任务)与截止日期约束的静态调度。但是,如果一个点VM休眠,并且它没有在保证应用程序的最后期限的时间内恢复,则会发生临时故障。因此,我们的调度,旨在最大限度地减少货币成本的任务袋应用程序在EC2云,尊重其最后期限,避免时间故障。为此,我们的算法静态地创建两个调度映射:(i)第一个包含每个任务的开始时间和在哪个VM上(即,可用的点或具有当前最低价格的按需VM);(ii)第二个包含对于在第一映射中的VM点上分配的每个任务,其开始时间以及其应该在哪个按需VM上执行以满足应用期限,以便避免时间故障。后者将在spot VM的休眠期超过时间限制时使用。通过任务执行跟踪、Amazon EC2虚拟机类配置和虚拟机市场历史记录进行模拟得到的性能结果证实了我们的调度的有效性,并且它可以容忍临时故障。
2018-10-24 cs.DC
A Risk-taking Broker Model to Optimise User Requests placement on On-demand and Contract VMs
云提供商为最终用户提供各种定价方案,以允许他们根据自己的需求定制VM,例如,即用即付计费方案(称为\textit{on-demand})和折扣合同方案(称为\textit{reserved instances})。本文提出了一种云代理,它为用户提供了按需实例的灵活性和在保留实例中找到的一定程度的折扣。代理采用低买高卖策略,将用户请求放入预先购买的折扣云资源的资源池中。通过分析用户请求的时间序列数据,代理采取一种面向风险的方法来动态调整资源池。这种方法不需要在处理大数据流时有用的训练过程。该经纪人使用来自阿里巴巴的高频真实云数据集进行评估。结果表明,经纪人的整体利润是接近理论上的最佳情况下,用户的请求可以完美地预测。
2021-03-12 cs.DC cs.SY eess.SY
A Deep Learning based approach to VM behavior identification in cloud systems
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
云计算数据中心的规模和复杂性不断增长,由于可扩展性问题,基础设施的监控和管理成为一项挑战。应对这种数据中心的规模的一种可能的方法是识别表现出类似行为的VM。现有文献表明,将表现出类似行为的VM聚集在一起可以提高数据中心的监控和管理的可扩展性。然而,可用的技术遭受准确性和时间之间的权衡以实现该结果。在本文中,我们提出了一种不同的方法,而不是无监督聚类,我们依赖于基于深度学习技术的分类器,将新部署的VM分配到已知VM的集群中。提出的两个分类器,即DeepConv和DeepFFT使用卷积神经网络,并且(在后一种模型中)利用快速傅立叶变换来对VM进行分类。我们的建议使用一组描述来自realcloud数据中心的VM行为的跟踪进行验证。实验比较我们的建议与国家的最先进的解决方案,在文献中,证明我们的建议取得更好的性能。此外,我们还证明了我们的解决方案比其他方案要快得多,因为即使只有几个数据样本,它也可以产生完美的分类,这使得我们的建议也可以对寿命短的按需VM进行分类。
2019-03-05 cs.AI cs.DC cs.LG
Flocking Virtual Machines in Quest for Responsive IoT Cloud Services
我们建议弗洛克;一种简单且可扩展的协议,支持跨异构边缘和传统云平台实时迁移虚拟机(VM),以提高云服务的响应能力。Flock的设计具有适合物联网(IoT)用例的属性。我们描述了正则化延迟测量的属性,Flock可以用于异步和自主迁移决策。这样的决策允许通信的VM遵循类似群集的行为,该行为由三个简单的规则组成:分离、对齐和内聚。使用博弈论,我们推导出分析界的羊群的无政府代价价格(PoA),并证明群集虚拟机收敛到一个纳什均衡,同时解决最好的云平台。我们通过模拟验证了Flock的有效性,并讨论了如何简单地调整其通用目标以实现其他目标,如云负载均衡和能耗最小化。
2016-10-02 cs.DC cs.NI
Are Clouds Ready to Accelerate Ad hoc Financial Simulations?
金融服务行业中用于捕获和估计各种风险指标的应用程序由随机模拟支持,这些随机模拟是数据,内存和计算密集型的。这些模拟中的许多通常在基于生产的计算系统上执行。除了常规模拟之外,还需要进行特别模拟,以获得风险度量的最新视图。目前不执行此类模拟,因为无法在生产集群上进行模拟,而生产集群通常会占用过多资源。云提供的可扩展、按需和按需付费的虚拟机(VM)是满足模拟的数据、内存和计算限制的潜在平台。然而,“云计算是否准备好加速特定的金融模拟?本文报告的研究旨在通过在云上开发和部署一个重要的金融模拟(称为“聚合风险分析”)来实验性地验证这个问题。并行技术,以提高效率和性能的模拟进行了探讨。克服了在有限内存的虚拟机上容纳大量输入数据和快速处理数据以供实时使用等挑战。此调查的关键结果是,可以在云虚拟机上进行聚合风险分析。在云上实现了使用多个硬件加速器比在单个加速器上实现的加速高达24倍,比多核实现的加速高达6倍,比基线实现的加速约为60倍。然而,由于多个虚拟核心的加速性能差,在云上花费的每一美元都浪费了计算时间。有趣的是,私有VM可以在类似的底层硬件上提供比公共VM更好的性能。
2014-12-15 cs.CE cs.DC
VUPIC: Virtual Machine Usage Based Placement in IaaS Cloud
高效的资源分配是基础设施即服务(IaaS)云中的关键性能挑战之一。虚拟机(VM)放置和迁移决策方法是这些资源分配机制的组成部分。我们提出了一种新的虚拟机布局算法,该算法在考虑布局决策时考虑了虚拟机之间的性能隔离及其连续的资源使用情况。性能隔离是对基本低级硬件资源(CPU、内存、存储和网络带宽)感兴趣的虚拟机之间的资源争用形式。多个共同托管的相邻VM之间的资源竞争形成了所提出的新方法的基础。实验结果显示,不同类别的应用程序和性能隔离和资源竞争的影响。一个每虚拟机的3维资源利用率向量(RUV)已连续计算和用于放置决策,同时考虑到冲突的资源利益的虚拟机。使用新的布局算法VUPIC的实验表明,虚拟机的性能以及云的整体资源利用率的有效改善。
2012-12-01 cs.DC
Modeling and Simulation of Scalable Cloud Computing Environments and the CloudSim Toolkit: Challenges and Opportunities
云计算旨在为下一代数据中心提供动力,并使应用程序服务提供商能够根据用户QoS(服务质量)要求租用数据中心功能以部署应用程序。云应用程序具有不同的组成、配置和部署要求。在云计算环境中,针对不同的应用和服务模型,在不同的负载、能量性能(功耗、散热)和系统规模下,对资源分配策略和应用调度算法的性能进行量化是一个具有挑战性的问题。为了简化这一过程,在本文中,我们提出CloudSim:一个可扩展的仿真工具包,使建模和模拟的云计算环境。CloudSim工具包支持在数据中心的模拟节点上建模和创建一个或多个虚拟机(VM)、作业及其到合适VM的映射。它还允许模拟多个数据中心,以研究虚拟机迁移的联合和相关策略,从而实现应用程序的可靠性和自动扩展。
2009-07-28 cs.DC cs.NI
Defending against Co-residence Attack in Energy-Efficient Cloud: An Optimization based Real-time Secure VM Allocation Strategy
用户之间的资源共享是云计算的基础,然而,这也可能会导致漏洞,导致与受害虚拟机驻留在同一物理服务器上的恶意虚拟机(VM)发起各种共存攻击。在本文中,我们的目标是通过一个安全的,工作负载平衡的,节能的VM分配策略来抵御这种共存攻击。具体来说,我们通过量化和最小化三个关键因素将问题建模为优化问题:(1)安全风险,(2)功耗和(3)不同物理服务器之间的不平衡工作负载。此外,这项工作考虑了一个现实的环境设置,假设一个随机数的虚拟机从不同的用户到达随机的时间,这需要不断发展的优化解决方案。由于优化问题是NP难的,我们提出的第一集群的VM在时间窗口,并进一步采用蚁群优化(ACO)算法来确定每个时间窗口的最优分配策略。基于真实世界云迹的综合实验结果验证了该方案的有效性。
2022-03-21 cs.DC
Towards Cloud Efficiency with Large-scale Workload Characterization
本文首次大规模分析 Microsoft 第一方云工作负载,识别影响效率与可靠性的关键特征及其差异,并提出支撑规模化表征与云服务优化的实证洞察。
2024-05-12 cs.DC
An Oversubscription and Service Pricing Exploitation-Based Profit Maximization Framework for Industry Cloud Resource Management
The University of Aizu(会津大学);Indian Institute of Information Technology, Bhopal(印度信息技术学院博帕尔分校);University of Economics and Human Sciences(经济与人科学大学)
该工业云资源管理框架结合超额订阅与异构服务定价,采用自适应集成机器学习预测及模糊C均值聚类,经仿真验证可显著降低电费、功耗等,提升资源利用率与利润。
2026-08-27 cs.DC
Combination of Convolutional Neural Network and Gated Recurrent Unit for Energy Aware Resource Allocation
Ayandegan Institute of Higher Education(阿扬德甘高等教育学院);Islamic Azad University(伊斯兰阿扎德大学)
云计算服务模式已经经历了快速的增长,并且低效率的资源使用被认为是云数据中心高能耗的最大原因之一。旨在减少能耗的云数据中心中的资源分配已经使用虚拟机(VM)的实时迁移及其合并到少量物理机(PM)中来进行。然而,选择适当的VM进行迁移是一个重要的挑战。为了解决这个问题,可以根据用户请求的模式将VM分类为对延迟敏感或不敏感的类别,然后可以选择合适的VM进行迁移。在本文中,卷积神经网络(CNN)和门控递归单元(GRU)的组合用于Microsoft Azure数据集中的VM分类。由于该数据集中的大多数VM都被标记为对延迟不敏感,因此迁移该组中的更多VM不仅可以降低能耗,还可以减少违反服务水平协议(SLA)的情况。实证结果表明,该模型的预测准确率为95.18,明显优于其他模型。
2021-06-23 cs.DC cs.LG cs.NI
A Truthful $(1-ε)$-Optimal Mechanism for On-demand Cloud Resource Provisioning
云计算中的按需资源供应提供量身定制的资源包(通常以VM的形式)以满足用户的需求。如今,公共云提供越来越多的复杂类型的VM,但尚未提供最灵活的动态VM组装,部分原因是缺乏现场定价定制VM的成熟机制。这项工作提出了一种有效的随机拍卖机制的基础上平滑的分析和随机减少,动态虚拟机配置和定价在地理分布的云数据中心的新应用。据我们所知,这次拍卖是文献中第一次实现(i)期望的真实性,(ii)期望的多项式运行时间,以及(iii)$(1-ε)$ -资源分配期望的最佳社会福利,其中$ε$可以任意接近0。我们的机制包括三个模块:(1)求解NP难社会福利最大化问题的精确算法,其在期望中在多项式时间内运行,(2)基于扰动的随机化资源分配方案,其产生$(1-ε)$最优的VM供应解决方案,以及(3)拍卖机制,其将基于扰动的方案应用于动态VM供应并且使用随机化VCG支付对定制VM定价,在期望中保证真实性。我们通过仔细的理论分析和跟踪驱动的模拟验证了该机制的有效性。
2016-11-23 cs.DC cs.GT
Distributed Computation Offloading of an application from mobile/IoT device to cloud
在新型冠状病毒疫情下,使用移动设备连接互联网的用户数量增加。人们在那里做的每一个任务使用手机[16]。这些设备是电池供电的,并且具有有限的计算能力。它们的计算能力可以通过计算卸载来增强,其中所需的计算将在云上的第三方服务器而不是设备本身上完成。云提供了几乎无限的计算和存储。我们提出,通过利用应用程序调用层次结构中的并行性,我们可以减少非并行部分的执行时间,并在VM崩溃的情况下最大限度地减少数据重发。我们确定应用程序中相互独立的函数调用路径,并以分布式方式在单独的VM上调度它们中的每一个。无论这些独立的路径合并在哪里,我们都会将其折叠为单个VM,并且每当路径再次分叉时,我们都会调度多个VM。如果任何单个VM出现故障,将创建另一个副本。然而,只有与崩溃的VM相关联的代码和数据需要从客户端设备重新传输。在人脸重组和蒙太奇应用程序的情况下,我们减少执行时间分别为27.5%和43.43%。然而,如果两个VM中的任何一个崩溃,则重新发送的数据将是已经卸载到相应VM的应用程序的一部分,这取决于它们具有的并行度水平,这在重新发送的情况下节省了移动电池。我们还将讨论针对一个作业使用多个VM与针对同一作业使用单个VM的能耗效果。
2023-02-05 cs.DC
Self-Adaptive Consolidation of Virtual Machines For Energy-Efficiency in the Cloud
在虚拟化数据中心中,整合虚拟机(VM)以最小化总物理机(PM)的数量已被认为是非常有效的方法。本文考虑了云数据中心中虚拟机的节能整合。集中于CPU密集型应用,目标是非抢占式地调度所有请求,受到PM容量和运行时间间隔跨度的约束,使得所有PM的总能耗最小化(简称为MinTE)。一般来说,MinTE问题是NP完全的。我们提出了一个自适应的方法称为SAVE。该方法通过概率过程来决定VM的分配和迁移,并且完全基于本地信息,因此实现起来非常简单。仿真和实际环境测试表明,与VMWare DRS相比,SAVE平均可以降低30%的能耗,与EcoCloud相比,SAVE平均可以降低10-20%的能耗。
2016-04-15 cs.DC cs.DS
Operating the Cloud from Inside Out
云计算中心中的虚拟机映像和实例(VM)通常被设计为应用程序、数据库和网络功能的隔离容器。为了构建复杂的分布式应用程序,必须连接、协调多个虚拟机,并将其与托管环境中的平台和基础设施服务结合起来。有时引入一个新的层Cloud-in-a-VM是有益的,它充当VM集群的可移植管理接口,这有几个原因。我们的理由的好处,并提出我们的云在一个虚拟机实现称为嵌套云,使消费者成为轻量级云运营商的需求,并获得多种优势,包括充分利用资源分配。在市场场景中评估中间云堆栈VM的实际有用性和性能。
2013-09-21 cs.DC
Hedge Your Bets: Optimizing Long-term Cloud Costs by Mixing VM Purchasing Options
云平台在许多购买选项下提供相同的VM,这些购买选项指定了不同的成本和时间承诺,例如按需,保留,持续使用,计划保留,瞬时和现货块。一般来说,承诺越强,即,越长、越不灵活,价格就越低。但是,如果未来的工作负载无法利用他们承诺购买的虚拟机,那么更长和更不灵活的时间承诺可能会增加用户的云成本。大型云客户通常发现,选择正确的购买选项组合以降低其长期成本,同时保留根据工作负载变化调整容量的能力是一项挑战。为了解决这个问题,我们设计了策略来优化长期云成本,方法是根据工作负载利用率的短期和长期预期选择一系列VM购买选项。我们考虑了一个大型共享集群的一个主要州立大学系统,包括14k个核心和6000万个作业提交,跨越4年的批处理跟踪,并评估如何使用云服务器使用我们的方法明智地执行这些作业。我们的研究结果表明,我们的策略产生的成本在乐观的最佳离线方法的41%以内,比单独使用按需虚拟机少50%。
2020-04-08 cs.DC
Scalarization Methods for Many-Objective Virtual Machine Placement of Elastic Infrastructures in Overbooked Cloud Computing Data Centers Under Uncertainty
云计算中心在高度动态的环境中按需提供数千到数百万个虚拟机(VM),需要将所请求的VM快速放置到可用的物理机(PM)中。由于客户需求的随机性,虚拟机布局(VMP)应被表示为一个在线优化问题。这项工作的第一部分分析了解决问题的替代方案,考虑到几个实验工作量,对五种不同的在线确定性memetic算法进行了实验比较。仿真结果表明,首次拟合递减算法(A4)的平均性能优于其他评估的算法。这项工作提出了一个两阶段的计划制定的VMP问题,考虑在IaaS环境中的弹性和超额预订能力的三个目标函数的优化。两阶段模式公式描述了虚拟机的分配可以分为两个子问题,增量分配(iVMP)和布局的重新配置(VMPr)。为了分析替代方案,以解决制定的问题,三个不同的目标函数标量化方法的一部分,iVMP和VMPr的实验比较进行了考虑几个实验工作量。仿真结果表明,欧几里德距离原点优于其他评估的标量化方法的平均。为了描绘IaaS环境的动态特性,开发了一个可定制的工作负载跟踪生成器,以模拟虚拟机请求中具有弹性和超额预订资源的场景中的不确定性。实验结果证明,欧几里得距离比其他标度化方法更能提高功耗目标函数的值。
2018-02-12 cs.DC
A Multi-faceted Analysis of the Performance Variability of Virtual Machines
本文对虚拟机性能变异性进行了多层面研究,涵盖4个云提供商的16种VM类型、10个基准和28个指标,提出VMBS基准套件、变异性指标、四维分析及机器学习预测模型,揭示了云提供商间的资源变异性差异。
2023-09-21 cs.DC cs.SE
Energy-efficient workflow scheduling based on workflow structures under deadline and budget constraints in the cloud
利用云环境部署科学工作流应用程序是科学界的一个新兴趋势。在这个领域中,主要问题是工作流的调度,这被称为NP完全问题。除了遵守用户定义的截止日期和预算外,能源消耗是云提供商在实施调度策略时的主要关注点。所使用的虚拟机(VM)的类型和数量是处理这些问题的决定性因素,并且它们的确定受到工作流结构的高度影响。在本文中,我们提出了两个工作流调度算法,利用工作流的结构特性。第一种算法被称为基于结构的多目标工作流调度与最优实例类型(SMWSO)。它引入了一种新的方法来确定最佳实例类型以及要配置的VM的最佳数量。我们还考虑在基于结构的多目标工作流调度与异构实例类型(SMWSH)中使用异构虚拟机,以突出该算法在异构环境中的优势。仿真结果表明,我们的建议产生更好的能源效率在80%的工作流/工作负载的情况下,并节省超过50%的整体能源相比,最近的国家的最先进的算法。
2022-01-14 cs.DC
Efficient calculation of available space for multi-NUMA virtual machines
Huawei Technologies Company Ltd(华为技术有限公司);Lomonosov Research Institute(罗蒙诺索夫研究所)
本文提出一种方法,通过闭式表达式计算多NUMA虚拟机在物理服务器上的最大分配数,优化虚拟机调度以提高性能并减少干扰。
2026-04-16 cs.DC cs.DS
The Art of CPU-Pinning: Evaluating and Improving the Performance of Virtualization and Containerization Platforms
云提供商以裸机、VM和容器的形式提供各种执行平台。然而,由于每个执行平台的优点和缺点,为特定的基于云的应用程序选择合适的平台已经成为解决方案架构师的挑战。结合这些平台的可能性(例如在虚拟机中部署容器)提供了新的能力,使挑战变得更加复杂。然而,在文献中很少有关于在各种执行平台上部署不同应用程序类型的利弊的研究。特别是,评估不同的硬件配置和不同的CPU配置方法,如CPU钉扎,还没有得到充分的研究文献。在这项工作中,针对四类现实应用程序(即视频处理、并行处理(MPI)、Web处理和No-SQL),测量和分析了容器、虚拟机和裸金属执行平台的性能开销,分别代表CPU密集型、并行处理和两个IO密集型进程。我们的分析揭示了一组有趣的,有时违反直觉的发现,可以作为解决方案架构师有效部署基于云的应用程序的最佳实践。这里有一些值得注意的地方:(A)在特定情况下,容器可以比VM施加更高的开销;(B)VM顶部的容器可以减轻某些应用程序的VM开销;(C)具有大量核心的容器比具有少数核心的容器施加更低的开销。
2020-06-03 cs.DC cs.OS cs.PF
IAD: Indirect Anomalous VMMs Detection in the Cloud-based Environment
使用管理程序或虚拟机监视器(VMM)以虚拟机(VM)的形式进行服务器虚拟化是提供基础设施即服务(IaaS)的云计算技术的重要组成部分。VMM中的故障或异常可能会传播到其上托管的VM,并最终影响在这些VM上运行的应用程序的可用性和可靠性。因此,快速识别并最终解决它非常重要。然而,异常VMM检测在云环境中是一个挑战,因为用户不能访问VMM。本文通过引入一种称为IAD的基于机器学习的新算法来解决在基于云的环境中进行异常VMM检测的挑战,而无需从VMM获得任何知识或数据。该算法仅使用托管在这些VMM上的VM的资源利用率数据来进行异常VMM检测。所开发的算法的准确性进行了测试,包括合成和真实的四个数据集,并与其他四个流行的算法,这也可以用于所描述的问题进行比较。实验结果表明,该算法在4个数据集上的平均F1值为83.7%,比其他算法的平均F1值高11%。
2021-11-22 cs.DC stat.ML
Memtrade: A Disaggregated-Memory Marketplace for Public Clouds
我们介绍Memtrade,第一个公共云的内存分解系统。公共云为跨不同租户的资源分解带来了一系列独特的挑战,包括安全性、隔离和定价。Memtrade允许生产者虚拟机(VM)在有限的时间内将其未分配的内存和已分配但空闲的应用程序内存出租给远程消费者VM。Memtrade不需要对主机级系统软件进行任何修改,也不需要云提供商的支持。它使用应用程序感知控制循环来收获生产者内存,以形成具有最小性能影响的分布式瞬态远程内存池;它采用代理来匹配生产者与消费者,同时满足性能约束;并且它将匹配的内存作为安全的键值缓存公开给消费者。我们使用真实集群跟踪的评估表明,Memtrade为消费者提供了显着的性能优势(将平均读取延迟提高到2.8倍),同时保持机密性和完整性,对生产者应用程序的影响很小(性能降低不到2.1%)。
2021-08-16 cs.DC
Provisioning Spot Market Cloud Resources to Create Cost-effective Virtual Clusters
云计算结构即服务提供商正在以可变价格的虚拟机(VM)的形式提供其未使用的资源,称为“现货实例”,其价格明显低于其标准固定价格的资源。要租赁现货实例,用户指定他们愿意每小时支付的最高价格,并且仅当当前价格低于用户出价时,虚拟机才会运行。本文提出了一种资源分配策略,解决了在仅由spot实例组成的池上运行有期限限制的计算密集型作业的问题,同时利用价格和性能的变化以快速和经济的方式运行应用程序。我们的策略依赖于作业运行时估计来决定运行每个作业的最佳VM类型以及作业应该何时运行。几种估计方法进行了评估和比较,使用基于跟踪的模拟,它采取从亚马逊网络服务获得的实际价格变化跟踪作为输入,以及从并行计算存档的应用程序跟踪。结果证明了在现场实例上运行计算作业的有效性,其价格通常是固定价格资源的一小部分(最多低60%)。
2011-10-27 cs.DC
Comparative benchmarking of cloud computing vendors with High Performance Linpack
我们对Linpack基准测试在多个云提供商公开提供的计算密集型硬件上实现的最大性能进行了比较分析。我们研究了单个计算节点内的性能,以及多达32个节点或至少512个计算核心的分布式内存计算的加速。我们区分超线程和非超线程的情况下,估计每个计算核心的性能。我们还比较了结果与传统的超级计算系统的参考。我们的研究结果提供了一种对云提供商进行排名的方法,并证明了云在高性能计算应用中的可行性。
2017-02-09 cs.DC cs.PF
How Can We Train Deep Learning Models Across Clouds and Continents? An Experimental Study
Technical University of Munich(慕尼黑工业大学);University of Bayreuth(拜罗伊特大学);University of Toronto(多伦多大学)
本文实验研究了在跨数据中心和云提供商的全球性 spot VM 市场上成本高效地训练深度学习模型的方法,发现利用 spot 实例定价和多廉价 VM 策略可超越传统集中式硬件和按需云服务。
2024-06-02 cs.DC cs.LG cs.NI
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Cloud Collectives: Towards Cloud-aware Collectives forML Workloads with Rank Reordering
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Facebook AI(脸书人工智能研究院)
ML工作负载在云中越来越受欢迎。良好的云训练性能取决于VM之间的有效参数交换。我们发现,由于数据中心网络的分层拓扑结构和云计算的多租户性质,广泛使用的分布式通信算法Collectives无法实现最佳的开箱即用性能。在本文中,我们提出了Cloud Collectives,一个原型,通过重新排序参与VM的队列来加速集体,使得由所选集体操作决定的通信模式最好地利用Collectives是非侵入性的,不需要更改代码或重建现有应用程序,并且在没有云提供商支持的情况下运行。我们在公共云中的allreduce操作上初步应用Cloud Collectives,在多个微基准测试中实现了高达3.7倍的加速,在使用最先进的框架进行深度神经网络和梯度提升决策树分布式训练的真实工作负载中实现了1.3倍的加速。
2021-05-28 cs.AI cs.DC cs.NI
Proof of Cloud: Data Center Execution Assurance for Confidential VMs
Flashbots;Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院)
DCEA通过绑定CVM认证与TPM证据,提供数据中心可信执行的证明,防止代理攻击并确保隐私敏感工作负载的执行位置可验证。
2026-03-03 cs.CR cs.DC
Duet Benchmarking: Improving Measurement Accuracy in the Cloud
我们调查的二重奏测量程序,这有助于提高性能比较实验的准确性,通过并行执行测量的工件,并评估其相对性能在一起,而不是单独的共享机器上进行。具体来说,我们分析了在多个云环境中的程序的行为,并使用实验证据来回答多个研究问题的假设基础的程序。我们展示了测试的ScalaBench(和DaCapo)工作负载的准确度提高了2.3倍到12.5倍(平均5.03倍),SPEC CPU 2017工作负载的准确度提高了23.8倍到82.4倍(平均37.4倍)。
2020-01-17 cs.DC cs.PF
A proactive autoscaling and energy-efficient VM allocation framework using online multi-resource neural network for cloud data center
这项工作提出了一个节能的资源供应和分配框架,以满足未来应用程序的动态需求。云用户资源需求的频繁变化导致了过度功耗、资源浪费、性能和服务质量下降的问题。所提出的框架通过精确地将应用程序的预测资源需求与VM的资源容量相匹配来解决这些挑战,从而将整个负载整合到最少数量的节能物理机器上。所提出的工作的三个连续的贡献是:在线多资源前馈神经网络,以预测未来的应用程序的多个资源需求同时;自动缩放的虚拟机的基础上预测的资源需求的聚类;分配的缩放的虚拟机上的节能PM。该集成方法连续优化资源利用率,节省能源,并自动适应未来应用资源需求的变化。建议的框架进行了评估,使用基准谷歌集群数据集的真实工作负载跟踪和不同的场景,包括节能的VM放置与资源预测,VMP没有资源预测和自动缩放,最佳VMP与自动缩放的基础上,实际资源利用率进行比较。观察到的结果表明,所提出的集成方法实现了接近最佳的性能对最佳的VMP和优于其余的VMP在节省功率和资源利用率分别高达88.5%和21.12%。与传统的单输入单输出前馈神经网络预测器相比,OM-FNN预测器具有更高的预测精度、更小的时间和空间复杂度。
2022-12-04 cs.DC
Flexible Swapping for the Cloud
本文提出一个面向云数据中心虚拟机的用户空间内存管理框架,通过灵活交换策略实现内存超分配,在微基准和云负载下性能较Linux基线提升最高25%,并额外节省10%内存。
2024-09-20 cs.DC cs.OS
No Reservations: A First Look at Amazon's Reserved Instance Marketplace
云用户可以通过长期保留虚拟机(VM)(1年或3年)而不是按需获取虚拟机来显著降低成本(高达60%)。遗憾的是,保留虚拟机会使用户暴露于\emph{demand risk},如果他们预期的未来需求没有实现,则会增加成本。由于长期准确预测需求具有挑战性,因此用户通常会限制其对保留VM的使用。为了降低需求风险,亚马逊运营着一个预留实例市场(RIM),用户可以在其中公开列出其虚拟机预留的剩余时间,以他们设定的价格出售。RIM使用户能够通过在需求发生变化时出售虚拟机预订或购买更符合其需求预测范围的可变和短期虚拟机预订来限制需求风险。显然,RIM缓解需求风险的潜力取决于其价格特征。然而,据我们所知,RIM的历史价格既没有公开,也没有进行分析。为了解决这个问题,我们已经在亚马逊的弹性计算云(EC2)的所有69个可用区和22个区域中监控和存档RIM价格1.75年。本文首先介绍了这些数据及其对经济高效地配置云基础设施的影响。
2020-05-25 cs.DC
Function-as-a-Service Benchmarking Framework
云服务提供商以“即服务”的形式交付其产品,这些产品通常按抽象级别进行分类。这种方法隐藏了实现细节,只向用户显示功能。然而,问题是很难衡量云服务的性能,因为它们的行为就像黑匣子。特别是对于功能即服务,这更加困难,因为它通过设计完全隐藏了用户的服务器和基础设施管理。Cloud Service Prodivers通常会限制Cloud Functions的最大代码大小、内存和运行时间。然而,用户需要澄清是否需要更多的资源来提供高质量的服务。在这方面,我们提出了一个新的功能即服务基准测试工具,它允许用户评估云功能的性能的架构设计。此外,该框架的能力进行了测试,在一个隔离的平台上与特定的工作负载。结果表明,用户能够深入了解功能即服务环境。这反过来又允许用户识别可能减慢或加快云功能性能的因素。
2019-05-28 cs.DC cs.PF
Improved Task Scheduling for Virtual Machines in the Cloud based on the Gravitational Search Algorithm
本文提出一种基于引力搜索算法的虚拟机任务调度方案,同时优化任务执行时间与系统资源利用率,仿真实验证明其优于现有方法。
2023-11-13 cs.DC
Collective Autoscaling for Cloud Microservices
随着云应用程序从单体转向松散耦合的微服务,应用程序开发人员必须决定有多少计算资源(例如,复制容器的数量)分配给应用程序中的每个微服务。这一决定会影响(1)应用程序开发人员的美元成本和(2)应用程序用户感知的端到端延迟。如今,当每个微服务的CPU或内存利用率超过可配置的阈值时,通过添加VM来独立地自动扩展各个微服务。然而,应用程序用户的端到端延迟包括在多个微服务上花费的时间,每个微服务可能需要不同数量的VM来实现整体端到端延迟。我们提出了COLA,一个基于微服务的应用程序的自动缩放器,它将VM集体分配给微服务,其全球目标是最小化美元成本,同时将端到端应用程序延迟保持在给定目标下。使用5个开源应用程序,我们将COLA与几种利用率和基于机器学习的自动缩放器进行了比较。我们在Google Kubernetes Engine(GKE)上的不同计算设置中评估COLA,其中用户管理计算资源,GKE标准,以及云提供商管理计算基础设施的新操作模式,GKE Autopilot。COLA在63个工作负载中的53个上达到了预期的中位或尾部延迟目标,与下一个最便宜的自动定标器相比,平均成本降低了19.3%。COLA是这53种工作负载中48种最具成本效益的自动扩展策略。使用COLA管理集群节省的成本使COLA在几天内就能支付培训费用。在较小的应用程序中,我们可以彻底搜索微服务配置,我们发现COLA在90%的情…
2022-08-07 cs.DC cs.SY eess.SY
Simplifying HPC resource selection: A tool for optimizing execution time and cost on Azure
针对Azure云HPC资源选择难题,开发开源工具,结合应用输入参数与数据分析优化技术,自动化环境配置、基准测试等流程并提供资源建议,初步验证可减少云执行次数。
2024-12-03 cs.DC
Benchmarking Function Hook Latency in Cloud-Native Environments
本文探讨了云原生环境(特别是Kubernetes)中动态修补或钩子应用对性能测量的影响,分析了基准测试中的陷阱,并提出了缓解风险的建议,展示不正确的实验设置如何负面影响延迟测量。
2023-10-19 cs.DC cs.PF cs.SE
Sampling in Cloud Benchmarking: A Critical Review and Methodological Guidelines
该研究针对云基准测试采样缺乏系统方法导致结果不可比的问题,通过批判性综述发现非概率采样普及等三大问题,提出方法学指南以提升研究的普适性、可复现性与可靠性。
2025-02-21 cs.DC cs.PF
Virtual Machine Consolidation for Datacenter Energy Improvement
全球云计算服务的快速增长和扩散增加了提高云计算实现的能源效率的必要性和重要性。虚拟机(VM)构成了大多数(如果不是全部的话)云计算云计算服务的后端。多个虚拟机通常整合在一台物理机器上,以更好地利用其资源。在整合虚拟机时,我们会考虑托管物理机的数据中心的冷却和网络结构,以便在不影响服务级别协议的情况下使用更少的机架和路由器,从而可以关闭未使用的路由和冷却设备以降低能耗。我们对四个基准测试的实验结果表明,我们的技术将服务器,网络设备和冷却系统的能耗分别提高了2.5%,18.8%和28.2%,导致整个数据中心的平均总能耗提高了14.7%。
2013-02-09 cs.DC
Cross-Layer Multi-Cloud Real-Time Application QoS Monitoring and Benchmarking As-a-Service Framework
云计算提供了对经济实惠的硬件(多核CPU、GPU、磁盘和网络设备)和软件(数据库、应用服务器和数据处理框架)平台的按需访问,具有弹性、按使用付费、前期投资低和上市时间短等特点。这导致了利用各种云平台的业务关键型应用程序的激增。托管在单个或多个云提供商平台上的这种应用具有需要广泛的监视和基准测试机制以确保运行时服务质量(QoS)(例如,延迟和吞吐量)。本文提出,开发和验证CLAMBS:跨层多云应用程序监控和基准测试即服务,用于对多云环境中托管的云应用程序进行高效的QoS监控和基准测试。CLAMBS的主要亮点是其监控和基准测试单个应用程序组件的能力,例如数据库和Web服务器,分布在云层中,分布在多个云提供商之间。我们使用原型实现和广泛的实验来验证CLAMBS,并表明CLAMBS可以有效地监控和基准测试包括Amazon EC2和Microsoft Azure在内的多云平台上的应用程序组件。
2015-04-29 cs.DC
GMB-ECC: Guided Measuring and Benchmarking of the Edge Cloud Continuum
本文提出GMB-ECC框架,用于在边缘云连续体的软硬件层进行能源消耗测量与基准测试,通过精度参数适应异构系统,并在自主内部物流用例中验证了其在保持性能的同时优化能源效率的能力。
2025-03-11 cs.DC
On Non-Preemptive VM Scheduling in the Cloud
本文研究了基于云计算应用的分布式服务器平台上的虚拟机调度问题。VM随时间动态地到达系统,并且在其服务期间需要一定量的资源(例如,存储器、CPU等)。为了避免代价高昂的抢占,我们考虑非抢占式调度:每个VM必须被分配到一个服务器,该服务器具有足够的剩余容量来容纳它,并且一旦VM被分配到一个服务器,其服务\textit{cannot}就被中断(抢占)。解决这个问题的现有方法要么具有高复杂性,需要服务器之间的同步,要么产生过大的队列大小/延迟。我们提出了一个非抢占式调度算法,解决了这些问题。在一般情况下,给定一个近似比$r$的背包近似算法,我们的调度算法可以为$β< r$提供吞吐量区域的$rβ$分数。在特殊情况下的贪婪近似算法的背包,我们进一步表明,这个条件可以放宽到$β<1$。参数$β$和$r$可以被调谐以提供可实现的吞吐量、延迟和调度算法的计算复杂性之间的折衷。最后,广泛的仿真结果,使用合成和真实的流量轨迹,以验证我们的算法的性能。
2018-07-02 cs.DC cs.NI
Boxer: FaaSt Ephemeral Elasticity for Off-the-Shelf Cloud Applications
本文提出Boxer,通过在虚拟机和AWS Lambda之间插入拦截层,使现成云应用无需重构即可透明获得FaaS瞬时弹性,实现5倍以上恢复速度提升和与超额配置EC2相当的负载吸收能力。
2024-06-30 cs.DC cs.NI cs.OS