MORPHOSYS: Efficient Colocation of QoS-Constrained Workloads in the Cloud
在IaaS云等托管环境中,通常通过使用服务水平协议(SLA)来保证理想的应用程序性能,该协议指定必须分配用于正常操作的最小部分资源容量。在单个主机上任意托管具有不同SLA的应用程序可能会导致主机资源的低效利用。在本文中,我们提出,周期性的资源分配和消费模型被用于更细粒度的SLA的表达。我们提出的SLA模型具有显著的特点,它具有灵活性,使IaaS提供商能够安全地将SLA从一种形式转换为另一种形式,以实现更高效的托管。为了实现这一目标,我们提出了MorphoSys:一个服务框架,允许操纵SLA,以实现高效的工作负载托管。我们提出的结果,从广泛的跟踪驱动的模拟托管视频点播服务器在云环境中。结果表明,使用MorphoSys可以显著减少资源浪费(高达60%)。
2019-12-02 cs.DC
Server Structure Proposal and Automatic Verification Technology on IaaS Cloud of Plural Type Servers
在本文中,我们提出了一个服务器结构的建议和自动性能验证技术,提出并验证了一个适当的服务器结构上的基础设施即服务(IaaS)云与裸金属服务器,基于容器的虚拟服务器和虚拟机。最近,云服务已经取得了进展,并且提供商不仅提供虚拟机,而且还提供裸金属服务器和基于容器的虚拟服务器。然而,用户需要设计一个合适的服务器结构,他们的需求的基础上的3种类型的定量性能和用户需要很多的技术知识,以优化他们的系统性能。因此,我们研究一种技术,满足用户的性能要求,在这三种类型的IaaS云。首先,我们测量了在OpenStack上的裸机服务器,Docker容器,KVM(基于内核的虚拟机)虚拟机的性能与虚拟服务器数量的变化。其次,我们提出了一种基于量化测量数据的服务器结构建议技术。服务器结构建议技术接收OpenStack Heat和功能/性能需求的抽象模板,然后创建具有服务器规范信息的具体模板。第三,我们提出了一种自动性能验证技术,根据模板自动执行必要的性能测试提供的用户环境。
2022-11-01 cs.DC
A Novel IaaS Tax Model as Leverage Towards Green Cloud Computing
针对云数据中心能耗增长问题,提出GreenCloud tax税收模型,通过奖惩机制引导工作负载向高能效数据中心转移,并用CloudSim结合SPEC真实数据集验证了方案可行性。
2025-09-02 cs.CY cs.DC
Scalarization Methods for Many-Objective Virtual Machine Placement of Elastic Infrastructures in Overbooked Cloud Computing Data Centers Under Uncertainty
云计算中心在高度动态的环境中按需提供数千到数百万个虚拟机(VM),需要将所请求的VM快速放置到可用的物理机(PM)中。由于客户需求的随机性,虚拟机布局(VMP)应被表示为一个在线优化问题。这项工作的第一部分分析了解决问题的替代方案,考虑到几个实验工作量,对五种不同的在线确定性memetic算法进行了实验比较。仿真结果表明,首次拟合递减算法(A4)的平均性能优于其他评估的算法。这项工作提出了一个两阶段的计划制定的VMP问题,考虑在IaaS环境中的弹性和超额预订能力的三个目标函数的优化。两阶段模式公式描述了虚拟机的分配可以分为两个子问题,增量分配(iVMP)和布局的重新配置(VMPr)。为了分析替代方案,以解决制定的问题,三个不同的目标函数标量化方法的一部分,iVMP和VMPr的实验比较进行了考虑几个实验工作量。仿真结果表明,欧几里德距离原点优于其他评估的标量化方法的平均。为了描绘IaaS环境的动态特性,开发了一个可定制的工作负载跟踪生成器,以模拟虚拟机请求中具有弹性和超额预订资源的场景中的不确定性。实验结果证明,欧几里得距离比其他标度化方法更能提高功耗目标函数的值。
2018-02-12 cs.DC
Security, Performance and Energy Implications of Hardware-assisted Memory Protection Mechanisms on Event-based Streaming Systems
亚马逊、谷歌和微软等主要云提供商如今提供某种形式的基础设施即服务(IaaS),允许以虚拟机、容器或裸机实例的形式部署服务。虽然基于软件的解决方案(如同态加密)已经存在,但隐私问题极大地阻碍了在公共云上部署此类服务。同态加密特别难以匹配现代工作负载的性能要求。使用HElib(一个同态加密库)对基本数据类型上的简单操作进行评估,并将其与未加密的对应部分进行比较,结果表明,在实际工作负载下,同态加密仍然不切实际。
2021-04-09 cs.DC
VM-MAD: a cloud/cluster software for service-oriented academic environments
IaaS云中强大的计算硬件的可用性使得云计算对于迄今为止几乎完全在HPC集群上运行的计算工作负载也具有吸引力。在本文中,我们提出了VM-MAD的云计算软件:一个开源的框架,用于将基于Linux的HPC集群云爆发成IaaS云,但也计算网格。CloudBurst是完全模块化的,允许灵活配置CloudBurst策略。它可以与任何批处理系统或云基础设施一起使用,并在需要时动态扩展集群。我们的框架的一个显着特点是,政策可以测试和调整的模拟模式的基础上历史或合成集群会计数据。在本文中,我们还描述了如何在FGCZ的生产环境中使用VM-MAD并行计算器,通过云爆发到Amazon EC2来加速基于质谱的蛋白质数据的分析。这种混合系统的优点是显示了一个大的评估运行使用约一百个大型EC2节点。
2013-03-26 cs.DC
URSA: Precise Capacity Planning and Contention-aware Scheduling for Public Clouds
数据库平台即服务(dbPaaS)发展迅速,大量数据库被迁移到云上运行,以获得低成本和灵活性。新兴云依赖租户为其数据库工作负载提供资源规范。然而,他们往往高估了数据库的资源需求,导致不必要的高成本和低云利用率。一种自动建议满足每个数据库工作负载的性能需求的“刚好够用”的资源规范的方法是有益的。为此,我们提出了URSA,dbPaaS云的容量规划和工作负载调度系统。USRA由在线容量规划器、性能干扰估计器和竞争感知调度引擎组成。容量规划器为数据库工作负载确定最具成本效益的资源规格,以实现所需的联机性能。干扰估计器量化共享资源上的压力和对每个数据库工作负荷的共享资源争用的敏感度。调度引擎会仔细地跨云节点调度工作负载,以消除协同工作负载之间的不公平性能干扰。我们的真实系统的实验结果表明,URSA减少了27.5%的CPU使用和53.4%的内存使用的数据库工作负载,同时满足他们的性能要求。与此同时,与Kubernetes相比,URSA将协同工作负载之间的性能不公平性降低了42.8%。
2019-12-27 cs.DC
Machine Learning (ML)-Centric Resource Management in Cloud Computing: A Review and Future Directions
University of Electronic Science and Technology of China(电子科技大学);University of Melbourne(墨尔本大学)
云计算已经迅速成为用于提供基于互联网的效用计算服务的模型。在云计算中,基础设施即服务(IaaS)是最重要和发展最快的领域之一。云提供商在此服务模型中提供用户/机器资源,例如虚拟机、原始(块)存储、防火墙、负载均衡器和网络设备。IaaS的云计算最重要的方面之一是资源管理。可扩展性、服务质量、最佳效用、降低开销、增加吞吐量、减少延迟、专业化环境、成本效益和简化界面是云计算中IaaS资源管理的一些优势。传统上,资源管理是通过静态策略来完成的,这在各种动态场景中施加了一定的限制,促使云服务提供商采用数据驱动的、基于机器学习的方法。机器学习正被用于处理各种资源管理任务,包括工作负载估计、任务调度、VM整合、资源优化和能量优化等。本文详细介绍了基于ML的资源管理在当前研究中面临的挑战,以及当前解决这些挑战的方法,以及它们的优点和局限性。最后,我们提出了潜在的未来研究方向的基础上确定的挑战和局限性,在目前的研究。
2021-05-09 cs.DC cs.LG
Benchmarking Different Application Types across Heterogeneous Cloud Compute Services
本文整理HPCC实验室的异构IaaS云计算基准,覆盖DNN推理、ML推理和视频转码三类应用,为跨云性能与成本优化提供数据集。
2025-01-10 cs.DC
Automatic Cloud Resource Scaling Algorithm based on Long Short-Term Memory Recurrent Neural Network
可伸缩性是云计算的一个重要特征。通过可扩展性,可以根据需求调配和释放资源,从而最大限度地降低成本。当前大多数基础设施即服务(IaaS)提供商都提供基于阈值的自动扩展技术。然而,设置具有正确值的阈值以最小化成本并实现服务水平协议并不是一件容易的事情,特别是在工作负载变化和突然变化的情况下。本文提出了基于动态阈值的自动缩放算法,该算法使用长短期记忆循环神经网络预测所需的资源,并根据预测值自动缩放虚拟资源。所提出的算法进行了评估,并与现有的一些算法进行了比较。实验结果表明,该算法的性能优于其他算法.
2017-01-12 cs.DC
HTC Scientific Computing in a Distributed Cloud Environment
本文介绍了使用分布式云计算系统的高吞吐量计算(HTC)的科学应用。分布式云计算系统由在统一基础设施中使用的多个单独的云结构即服务(IaaS)云组成。分布式云已经在生产质量运行了两年,完成了大约500,000个作业,其中典型的工作负载有500个同时并行的作业,运行时间大约为12小时。我们审查的设计和实施的系统是基于预先存在的组件和一些自定义组件。我们讨论了该系统的操作,并描述了我们的计划扩展到更多的网站和增加计算能力。
2013-02-08 cs.DC
Microsegmented Cloud Network Architecture Using Open-Source Tools for a Zero Trust Foundation
本文提出基于零信任原则和微分段的多云网络架构,利用开源工具实现安全连接与资源支持,解决多重安全与运营挑战,为多云环境提供灵活、独立的零信任安全基础。
2024-11-19 cs.CR cs.DC cs.NI
Towards a Benchmark for Fog Data Processing
本文提出雾原生数据处理基准,通过结合工作负载与基础设施规范,并基于真实 IoT 传感器网络场景,定量评估多种处理范式及其相互作用的性能影响。
2023-07-25 cs.DC
Using Pilot Systems to Execute Many Task Workloads on Supercomputers
历史上,高性能计算系统被设计为支持主要由单片、单作业工作负载组成的应用。试验系统通过作业占位符和后期绑定将工作负载规范、资源选择和任务执行解耦。试点系统有助于满足由多个任务组成的工作负载的资源需求。RADICAL-Pilot(RP)是一个模块化的、可扩展的、基于Python的飞行员系统。在本文中,我们描述RP的设计,架构和实现,并表征其性能。RP能够每秒产生超过100个任务,并支持多达16 K并发任务的稳态执行。RP可以独立使用,也可以作为运行时系统与其他应用程序级工具集成。
2018-07-30 cs.DC
Open-Source Simulators for Cloud Computing: Comparative Study and Challenging Issues
基础设施即服务(IaaS)中的资源调度是大规模云应用的关键之一。对现实环境中的所有问题进行广泛的研究是极其困难的,因为它需要开发人员考虑网络基础设施和环境,这可能是无法控制的。此外,网络状况无法控制或预测。在不同配置下以可重复的方式对工作负载模型和云供应算法进行性能评估是困难的。因此,开发了模拟器。为了更好地理解和应用最先进的云计算模拟器,并改进它们,我们研究了四个已知的开源模拟器。从体系结构、建模元素、仿真过程、性能指标和性能可扩展性等方面对它们进行了比较。最后,提出了未来研究的几个挑战性问题。
2015-06-03 cs.DC
An Experimental and Comparative Benchmark Study Examining Resource Utilization in Managed Hadoop Context
将基于云的Hadoop从IaaS过渡到PaaS(在商业上被概念化为按使用付费或按使用付费)通常会降低相关的系统成本。然而,托管Hadoop系统确实向最终用户呈现了一种黑盒行为,他们无法清楚内部性能动态,因此无法清楚利用它们的好处。在这项研究中,我们的目标是从资源利用率的角度来理解托管Hadoop上下文。我们利用了三个实验性的Hadoop on-PaaS提案,因为它们开箱即用,并执行了HiBench Benchmark Suite的Hadoop特定工作负载。在基准测试执行期间,我们收集了工作节点上的系统资源利用率数据。结果表明,云服务之间相同的属性规范并不能保证附近的性能输出,也不能保证内部一致的结果。我们假设托管系统的架构和预配置在性能中起着重要的作用。
2021-12-19 cs.DC
Multitenant Containers as a Service (CaaS) for Clouds and Edge Clouds
针对云和边缘云中CaaS多租户隔离开销大的问题,提出原生多租户框架,租户共享集群,通过节点级切片实现隔离与定制,已开源并用于EdgeNet。
2023-04-21 cs.DC cs.NI
Tangram: High-resolution Video Analytics on Serverless Platform with SLO-aware Batching
针对云边高分辨率视频分析的SLO违规与资源低效问题,提出Tangram无服务器系统,通过RoI对齐拼接批处理与SLO感知在线调度算法,大幅降低带宽与计算成本,同时保障SLO与精度。
2024-04-14 cs.DC
SERFLOW: A Cross-Service Cost Optimization Framework for SLO-Aware Dynamic ML Inference
SERFLOW是一个面向SLO感知动态ML推理的跨服务成本优化框架,通过结合阶段特定的无服务器函数资源调配与自适应负载均衡,解决了模型分区动态卸载中的现实因素限制,在适应动态工作负载的同时将云成本降低超23%。
2025-10-31 cs.DC cs.LG
Energy-Aware Cloud Management through Progressive SLA Specification
新的能源感知云管理方法在地理分布的数据中心之间动态重新分配计算,以利用区域电价和温度差异。因此,受管理的VM可能会偶尔停机。目前的云提供商只提供高可用性VM,没有足够的灵活性来应用这种能量感知管理。在本文中,我们展示了如何根据电价和温度分析动态云管理操作的过去痕迹,以估计VM可用性和价格价值。我们提出了一种新的SLA规范方法,为虚拟机提供不同的可用性和价格值,保证在多个SLA,以实现灵活的能源感知云管理。我们确定了此类SLA的最佳数量以及它们的可用性和价格保证值。我们评估我们的方法在用户SLA选择模拟使用维基百科和网格的5000工作负载。结果显示,客户转化率更高,每个虚拟机平均节能39%。
2014-09-01 cs.DC
Performance analysis of mdx II: A next-generation cloud platform for cross-disciplinary data science research
本文全面评估 IaaS 云平台 mdx II,通过多维度基准测试对比 AWS,并测量大规格虚拟机的虚拟化开销,验证其面向 HPDA 与跨学科数据科学研究的性能优势。
2025-02-15 cs.DC
TAPAS: Thermal- and Power-Aware Scheduling for LLM Inference in Cloud Platforms
Microsoft Azure Research(微软 Azure 研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对云数据中心 LLM 推理的毫秒级热、功耗波动及 SaaS/IaaS 混合部署问题,提出 TAPAS 框架,通过 VM 放置、请求路由和动态重配置减少节流事件并降低 TCO。
2025-01-05 cs.AI cs.DC
Efficient Resource Management in Cloud Environment
在云计算中,资源管理在数据中心中扮演着重要的角色,它直接依赖于应用程序的工作负载。诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)的各种服务由云计算提供,以利用按使用付费的方法向云用户提供计算、网络和存储能力。资源分配是解决各种苛刻情况的现有解决方案,这些苛刻情况例如欠载/过载处理、资源浪费、负载均衡、服务质量(QoS)违规、VM迁移等等。虚拟机放置(VMP)的主要目的是将虚拟机(VM)映射到物理机(PM),使得PM可以被利用到它们的最大效率,其中已经活动的VM不会被中断。它提供了一个必须完成的实时VM迁移列表,以获得最佳解决方案并在更大程度上降低能耗。低效的VMP导致资源浪费、过度的能源消耗,并且还增加了数据中心的整体运营成本。在此背景下,本文对云环境中的资源管理方案进行了广泛的调查。分析了资源管理的概念方案、当前基于机器学习的资源分配策略的分组以及物理资源无效分配的基本问题。此后,解释了在云资源管理领域中基于机器学习的机制中的现有技术的完整调查。最后,本文探讨并总结了云环境下资源管理面临的挑战和未来的研究方向。
2022-06-24 cs.DC
An Auction-driven Self-organizing Cloud Delivery Model
三种传统的云交付模型-- IaaS、PaaS和SaaS --通过隐藏其原始功能并迫使我们通过一组受限的操作间接使用它们来限制对云资源的访问。我们是否可以引入一种新的交付模式,同时支持改进的安全性,更高程度的保证,为硬云资源管理问题找到相对简单的解决方案,消除与资源虚拟化相关的一些低效率,允许云的云组装,最后但并非最不重要的是,最大限度地减少互操作性标准的数量?我们勾画了一个自组织架构的非常大的计算云组成的众核处理器和异构的协处理器。我们将讨论自组织将如何解决上述每一个挑战。该方法是{ \em投标中心}。异构云资源的系统被动态地和可替换地配置为投标以满足在高级任务或服务规范中标识的需求。当任务完成或服务退役时,资源将被释放以供后续重用。我们的方法模仿了个体研究人员遵循的过程,这些研究人员响应资助机构发布的提案呼吁,将自己组织成各种规模和专业的团体。如果投标成功,则该小组执行拟议的工作并发布结果。工作完成后,小组中的各个研究人员会散去,可能会加入其他小组或提交个人投标以响应其他提案。类似的协议在其他人类活动中也很常见,例如采购管理。
2013-12-10 cs.DC
SeBS: A Serverless Benchmark Suite for Function-as-a-Service Computing
功能即服务(FaaS)是云服务未来最有前途的方向之一,无服务器功能已立即成为构建可扩展且具有成本效益的微服务和应用程序的新中间件。然而,快速发展的技术阻碍了可重复性,缺乏标准化的基准测试套件导致无服务器研究中使用临时解决方案和微基准测试,进一步使研究解决方案的荟萃分析和比较复杂化。为了应对这一挑战,我们提出了Serverless Benchmark Suite:第一个FaaS计算基准,系统地覆盖了广泛的云资源和应用程序。我们的基准测试包括代表性工作负载的规范,伴随的实现和评估基础设施,以及促进可重复性和可解释性的评估方法。我们证明了FaaS执行环境的抽象模型可以确保我们的基准测试适用于多个商业提供商,如AWS,Azure和Google Cloud。我们的工作设施无服务器系统的实验评估,并提供了一个标准化的,可靠的和不断发展的评估方法的性能,效率,可扩展性和可靠性的中间件FaaS平台。
2021-07-02 cs.DC
6G EdgeAI: Performance Evaluation and Analysis
针对5G MEC在实时GenAI服务中的延迟瓶颈,提出集成通信与计算(ICC)框架,将计算能力置于RAN节点并联合管理资源,通过排队论和系统级模拟验证,服务容量提升98%和60%,支持6G高效实时GenAI服务。
2025-04-23 cs.DC
STaleX: A Spatiotemporal-Aware Adaptive Auto-scaling Framework for Microservices
University of Waterloo(滑铁卢大学)
本文提出面向微服务的自适应自动扩缩容框架STaleX,结合控制理论、机器学习与启发式方法,利用时空特征动态调整加权PID控制器,有效减少SLO违规,相比传统HPA方法资源使用量降低26.9%。
2025-01-30 cs.DC cs.LG cs.SE
Funky: Cloud-Native FPGA Virtualization and Orchestration
Technical University of Munich(慕尼黑工业大学)
针对云原生环境中FPGA缺乏虚拟化、隔离和编排的问题,本文提出Funky全栈FPGA感知编排引擎,通过虚拟化、状态管理和CRI/OCI组件实现高性能与容错,评估显示仅7.4%开销且镜像小28.7倍。
2025-10-17 cs.DC cs.OS