Multi-objective, Decentralized Dynamic Virtual Machine Consolidation using ACO Metaheuristic in Computing Clouds
计算资源利用不足和高功耗是云资源管理领域的两个主要挑战。本文通过在大规模虚拟化数据中心环境中进行离线、迁移影响感知、多目标动态虚拟机(VM)整合来应对这些挑战。该问题被公式化为NP-难离散组合优化问题,同时具有最小化资源浪费、功耗和相关联的VM迁移开销的目标。由于通过虚拟机实时迁移进行的动态虚拟机整合对托管应用程序性能和数据中心组件有负面影响,因此提出了一种虚拟机实时迁移开销估计技术,该技术考虑了实用的迁移参数和开销因素。为了解决可扩展性问题,提出了一个分层的,分散的动态VM整合框架,有助于本地化与迁移相关的网络流量,降低网络成本。此外,一个多目标,动态VM合并算法,提出了利用蚁群优化(ACO)元启发式,与建议的VM迁移开销估计技术的集成。全面的性能评估表明,所提出的动态VM整合方法在所有性能指标上都超过了最先进的离线、迁移感知的动态VM整合算法,其总体功耗降低了47%,资源浪费降低了64%,迁移开销降低了83%。
2017-06-20 cs.DC
Prepartition: Paradigm for the Load Balance of Virtual Machine Allocation in Data Centers
应用负载均衡策略对提高数据中心资源的性能和可靠性具有重要意义。云数据中心调度问题中的一个挑战是考虑可重构虚拟机(VM)的分配和迁移以及托管物理机(PM)的集成特性。在预约模型中,数据中心的工作负载具有固定的处理间隔特性。负载均衡调度是一个NP难问题,已有许多文献证明了这一点。传统上,对于没有迁移的离线负载平衡,最好的方法之一是LPT(最长处理时间优先),众所周知,其近似比率为4/3。通过虚拟化,在分配后对VM进行反应式(后)迁移是一种流行的负载平衡和流量整合方法。然而,反应式迁移很难达到预定义的负载平衡目标,并可能导致服务中断和不稳定以及其他相关成本。有鉴于此,我们提出了一个新的范例,称为预分区,它主动设置处理时间约束的每个请求上的每个PM,并提前准备迁移虚拟机,以实现预定义的平衡目标。预分区可以通过提前准备VM迁移来减少处理时间,从而减少不稳定性并根据需要实现更好的负载平衡。我们还将Prepartition应用于在线(PrepartitionOn)负载平衡,并将其与现有的在线调度算法进行比较。理论和实验结果。
2015-08-26 cs.DC
Virtual Memory Streaming Technique for Virtual Machines (VMs) for Rapid Scaling and High Performance in Cloud Environment
本文讨论了虚拟内存流(VMS)技术在云环境中提供虚拟机(VM)的影响。VMS是一种可扩展的虚拟化技术,允许不同的虚拟机快速扩展,高性能,并提高硬件利用率。传统的虚拟机管理程序不支持真正的无停机实时迁移,并且其缺乏内存超额订阅可能会通过限制每个主机上的VM数量来损害私有云部署的经济性。VMS汇集了多种高级虚拟机管理程序存储管理技术,包括粒度页面共享、动态内存占用管理、实时迁移、读缓存和独特的虚拟机克隆功能。描述了一个架构模型,以及一个概念验证实现,即VMS通过真正的实时迁移和虚拟机克隆来动态扩展虚拟化基础架构。本文认为,VMS for Cloud允许显著减少服务器内存,并通过立即添加更多虚拟机来减少虚拟化资源扩展的时间。
2014-06-22 cs.DC
Multi-objective dynamic virtual machine consolidation in the cloud using ant colony system
提出了一种新的多目标蚁群算法用于云数据中心的虚拟机整合。所提出的算法建立虚拟机迁移计划,然后使用这些计划通过将虚拟机整合到未充分利用的物理机上来最大限度地减少物理机(PM)的过度配置。它优化了两个按重要性排序的目标。在所提出的算法的首要目标是最大限度地提高发布PM的数量。此外,由于VM迁移是一项资源密集型操作,因此它还尝试最大限度地减少VM迁移的数量。所提出的算法进行了一系列的实验经验评估。实验结果表明,该算法为云数据中心的虚拟机整合提供了一种有效的解决方案。此外,它优于现有的两个基于蚁群优化的VM合并算法的数量释放的PM和VM迁移的数量。
2017-01-02 cs.DC
Resource Allocation using Virtual Clusters
在这份报告中,我们展示了潜在的效用,资源分配管理系统,使用虚拟机技术之间的竞争作业共享并行计算资源。我们正式的资源分配问题,一些基本的假设,确定其复杂性,提出了几种启发式算法,找到接近最优的解决方案,并评估这些算法在模拟。我们发现,在我们的算法之一是非常有效的,也导致最佳的资源分配。然后,我们描述了我们的方法可以通过删除几个基本的假设更一般。
2010-06-28 cs.DC
Reallocation and Allocation of Virtual Machines in Cloud Computing
云计算给分布式领域带来了新的面貌。本文主要讨论了两个问题:(1)利用负载均衡算法的概念寻找有效虚拟机的过程。(II)重新分配虚拟机,即当云提供商无法提供所需的虚拟机时迁移虚拟机。我们已经讨论了不同的负载均衡算法,这些算法用于根据需要决定分配给客户端的有效虚拟机。在第二个问题中,我们讨论了可用于将虚拟机从一个源机器迁移到另一个目标机器的不同模块。最后讨论了适用于云计算的各种模拟器。
2013-04-15 cs.DC
The Cost Advantage of Virtual Machine Migrations: Empirical Insights into Amazon's EC2 Marketspace
本文通过分析亚马逊定价数据和Bitbrains数据集,研究云组合的成本优化,发现异构组合可实现成本最优,运行6小时至1年的虚拟机迁移具成本效益,且未利用资源为未来优化提供潜力。
2025-08-20 cs.DC cs.GT
Combination of Convolutional Neural Network and Gated Recurrent Unit for Energy Aware Resource Allocation
Ayandegan Institute of Higher Education(阿扬德甘高等教育学院);Islamic Azad University(伊斯兰阿扎德大学)
云计算服务模式已经经历了快速的增长,并且低效率的资源使用被认为是云数据中心高能耗的最大原因之一。旨在减少能耗的云数据中心中的资源分配已经使用虚拟机(VM)的实时迁移及其合并到少量物理机(PM)中来进行。然而,选择适当的VM进行迁移是一个重要的挑战。为了解决这个问题,可以根据用户请求的模式将VM分类为对延迟敏感或不敏感的类别,然后可以选择合适的VM进行迁移。在本文中,卷积神经网络(CNN)和门控递归单元(GRU)的组合用于Microsoft Azure数据集中的VM分类。由于该数据集中的大多数VM都被标记为对延迟不敏感,因此迁移该组中的更多VM不仅可以降低能耗,还可以减少违反服务水平协议(SLA)的情况。实证结果表明,该模型的预测准确率为95.18,明显优于其他模型。
2021-06-23 cs.DC cs.LG cs.NI
Virtual Machine Migration: A Resource Intensive Outsourcing Mechanism for Mobile Cloud Computing
在移动云计算(MCC)中,基于虚拟机(VM)迁移的进程卸载是增强智能移动设备(SMD)的主要方法。VM部署的一个挑战性方面是在VM的部署和管理中使用额外的计算资源,这迫使计算资源用于VM创建和配置。虚拟机的管理包括虚拟机全生命周期监控中的计算资源开发和SMD上虚拟机的物理资源管理。因此,基于VM迁移的应用卸载需要额外的计算资源。因此,计算资源需求和应用程序的执行时间分别增加。在本文中,我们经验审查的影响,虚拟机的部署和管理的应用程序的执行时间在不同的情况下。我们调查虚拟机部署和管理的应用程序处理在模拟环境中采用CloudSim:一个模拟工具包,提供了一个可扩展的模拟框架,模拟虚拟机部署和管理的应用程序处理在云基础设施。这项工作的重要性在于确保VM部署和管理需要SMD上的额外计算资源,以实现应用程序卸载。我们通过分析不同场景下的关键性能参数(KPPs)来评估应用程序处理中的VM部署和管理;例如VM部署,应用程序的执行时间和模拟的总执行时间。我们使用KPPs来评估不同实验方案结果的偏差。实证分析的结论是,虚拟机的部署和管理需要额外的资源上的计算主机,使其成为一个重量级的方法,在智能移动终端的进程卸载。
2012-11-30 cs.DC
Energy-aware virtual machine selection method for cloud data center resource allocation
节能是云提供商降低数据中心能源成本的重要问题。随着云计算的日益普及,现在是时候研究各种节能方法,以减少能源消耗,并引导我们走向绿色云计算。在本文中,我们的目的是提出一个虚拟机选择算法,以提高云数据中心的能源效率。我们还提出了在基于云计算的仿真环境中的算法的实验结果。该算法动态地对物理服务器执行虚拟机的分配、解除分配和重新分配操作。然而,它取决于负载和基于虚拟机的分析放置的策略,这是随着时间的推移而决定的。从模拟得到的结果,我们发现,我们提出的虚拟机选择算法减少了19%的总能耗相比,现有的。因此,云数据中心的能源消耗成本降低,也降低了碳足迹。仿真实验结果表明,提出的基于资源配置算法的策略降低了云数据中心的能耗,降低了虚拟机迁移率。
2018-12-20 cs.DC
SLA-Aware Multiple Migration Planning and Scheduling in SDN-NFV-enabled Clouds
在支持软件定义网络(SDN)的云数据中心中,实时迁移是用于云服务中的虚拟机(VM)和服务功能链(SFC)中的虚拟网络功能(VNF)的重新分配的关键方法。使用实时迁移方法,云提供商可以在不中断用户服务的情况下解决其动态资源管理和容错目标。然而,在云数据中心中,以任意顺序执行多个实时迁移可能导致服务降级。因此,有效的迁移规划对于减少实时迁移开销的影响至关重要。此外,为了防止服务质量(QoS)降级和违反服务水平协议(SLA),有必要为具有各种紧急性的不同实时迁移请求设置优先级。在本文中,我们提出了SLARQs,一组算法,组成的最后期限感知的多迁移分组算法和在线迁移调度,以确定VM/VNF迁移的顺序。实验结果表明,该方法在合理的算法运行时间下,可以有效地减少截止期错过次数,并在总迁移时间、平均执行时间、停机时间和传输数据量等方面与逐个调度和两种最先进的算法相比,具有良好的迁移性能.我们还评估和分析多迁移规划和调度的QoS和能源消耗的影响。
2021-01-24 cs.DC cs.NI
Desktop to Cloud Migration of Scientific Computing Experiments
科学计算应用通常需要大量的计算能力。云提供了有趣的高性能计算解决方案,其承诺几乎无限的资源需求。然而,将科学计算问题迁移到云以及在供应商提供的操作系统和云实例上重新创建软件环境通常是一项艰巨的任务。还假设执行实验的科学家具有计算机科学、云计算和迁移过程的丰富知识,这通常是不正确的。考虑到这些障碍,我们设计了一个工具套件,可以将完整的软件环境直接迁移到云端。开发的桌面到云迁移(D2CM)工具支持虚拟机映像的转换和迁移,可重用的部署描述和生命周期管理,适用于托管在Amazon Cloud或兼容基础设施(如Eucalyptus)上的应用程序。本文还提出了一个电化学的案例研究和计算实验针对设计现代超级电容器。这些实验在绘制特定领域的结果中广泛使用了该工具。对案例的详细分析表明,D2CM工具不仅简化了科学家的迁移过程,而且通过为他们提供一个新的维度--计算实验的成本-价值,帮助他们优化计算和计算集群。
2015-11-25 cs.DC
Prepartition: Load Balancing Approach for Virtual Machine Reservations in a Cloud Data Center
负载均衡对于云数据中心的高效和长期运营至关重要。对于虚拟化,在分配后进行虚拟机的后(反应式)迁移是负载均衡和整合的传统方式。然而,反应式迁移不容易达到预定义的负载平衡目标,并且可能会中断服务并带来不稳定性。因此,我们提出了一种新的方法,称为预分区,负载均衡。它将VM请求按开始时间、结束时间和容量需求顺序划分为几个子请求,并将每个子请求视为常规VM请求。通过这种方式,它可以主动为每个物理机器上的每个VM请求设置边界,并使调度器在VM迁移之前做好准备,以获得预定义的负载均衡目标,从而以细粒度的方式支持资源分配。仿真合成数据表明,在平均利用率、不平衡度、最大完工时间和容量最大完工时间等指标下,PrepartitionOff调度算法比现有的负载均衡算法性能提高10%~ 20%.我们还将预分区扩展到在线负载均衡。评估结果表明,我们提出的方法也优于现有的在线算法。
2021-10-19 cs.DC
FlexCloud: A Flexible and Extendible Simulator for Performance Evaluation of Virtual Machine Allocation
云数据中心旨在为各种应用提供可靠,可持续和可扩展的服务。资源调度是云服务的关键之一。为了模拟和评估不同的调度策略和算法,我们提出了FlexCloud,一个灵活的和可扩展的模拟器,使用户能够模拟初始化云数据中心,分配虚拟机请求的过程,并提供各种调度算法的性能评估。FlexCloud可以在单台计算机上运行JVM,以模拟大规模云环境,专注于基础设施即服务;采用敏捷设计模式,以确保灵活性和可扩展性;建模虚拟机迁移,这是现有工具中缺乏的;提供用户友好的界面,用于自定义配置和重播。与现有的模拟器相比,FlexCloud具有支持公共云提供商,负载平衡和节能调度的组合功能。FlexCloud在计算时间和内存消耗方面具有优势,可支持大规模仿真。介绍了FlexCloud的详细设计,并给出了性能评估。
2015-01-23 cs.DC
The Cactus Worm: Experiments with Dynamic Resource Discovery and Allocation in a Grid Environment
利用异构的、动态可用的“网格”资源的能力对于通常资源匮乏的计算科学家和工程师来说是有吸引力的,因为原则上它可以通过显著的因素增加可以交付给应用的周期的数量。然而,新的自适应应用程序结构和动态运行时系统机制,如果我们要在网格环境中有效地运作。为了在实际环境中探索这些问题中的一些,我们正在开发一个实验框架,称为Cactus,该框架结合了用于处理不断变化的资源特性的自适应应用程序结构和允许应用程序改变其资源分配的自适应资源选择机制(例如,通过迁移)。我们在这里描述的自适应资源选择机制,并描述如何使用它们来实现自动应用程序迁移到“更好”的资源性能下降。我们的研究结果提供了深入了解所需的架构结构,以支持自适应资源选择。此外,我们认为,这个“仙人掌蠕虫”是一个有趣的挑战问题的网格计算。
2001-08-01 cs.DC
Multi Armed Bandit Algorithms Based Virtual Machine Allocation Policy for Security in Multi-Tenant Distributed Systems
针对多租户分布式系统静态VM分配的安全缺陷,提出基于多臂老虎机的动态分配策略,搭配加权平均集成学习与堆叠异常检测器,在遗憾值和检测性能上均优于传统方法,提升云系统安全。
2024-10-06 cs.DC
Minimizing Total Busy Time for Energy-Aware Virtual Machine Allocation Problems
针对云计算环境下虚拟机资源多、间隔时间固定、虚拟机不可抢占等特点,研究了具有能量感知的虚拟机资源分配问题。许多以前的工作都建议使用最少数量的物理机,然而,这并不一定是在具有多个资源、固定间隔时间和非抢占的虚拟机放置中最小化总能耗的好解决方案。我们观察到,最小化所有物理机的总繁忙时间之和意味着最小化物理机的总能耗。此外,如果虚拟机到物理机的映射具有相同的总繁忙时间,则最佳映射使物理机的剩余可用资源最小化。基于这些观察,我们提出了基于经验的EM算法来解决具有固定开始时间和持续时间的能量感知的VM分配。此外,本文还研究了一些用于对虚拟机列表进行排序的算法(例如,按最早开始时间、或最晚结束时间、或最长持续时间等排序)分配VM。我们使用CloudSim工具包和Feitelson的并行工作负载存档中的作业日志跟踪来评估EM。仿真结果表明,EM-ST,EM-LFT和EM-LDTF算法可以减少总的能量消耗相比,最先进的功率感知的VM分配算法。(e.g.功率感知最佳拟合递减(PABFD)[7]))。
2015-11-21 cs.DC cs.PF
Technical solutions to resources allocation for distributed virtual machine systems
虚拟机是建立在一组真实的服务器上的,这些服务器分散在全球各地,通过电信系统连接在一起,它在操作中发挥着越来越重要的作用,提供了利用虚拟资源的能力。最新的技术有助于更有效地使用计算资源,并具有许多好处,例如降低电力成本,冷却,因此有助于绿色计算。为了确保这些资源的供应,以正确和及时的需求流程,避免任何重复或冲突,特别是远程资源,有必要研究和提出一个可靠的解决方案,适合作为云内部控制系统的基础。在本文的范围内,我们找到了一种方法来产生有效的分布式资源,强调解决方案,防止死锁,并提出了方法,以避免资源短缺的问题。该方法的输出结果是可能发生死锁和资源不足的资源状态检查表,通过向服务器发送消息,服务器可以了解情况并做出相应的反应。
2015-02-16 cs.DC
Using Virtual Addresses with Communication Channels
而对于单处理器和SMP机器,内存是可分配的数量,对于由大量并行计算单元组成的机器,每个都有自己的本地内存,可分配的数量是单个计算单元。在虚拟地址管理用于保持存储器一致性并允许分配实际可用的物理存储器之外的存储器的情况下,虚拟通信信道引用可以用于使计算单元在分配和交换期间保持连接。
2013-02-11 cs.AR cs.DC
Intel Page Modification Logging, a hardware virtualization feature: study and improvement for virtual machine working set estimation
英特尔页面修改日志记录(PML)是一项新颖的硬件功能,用于跟踪虚拟机(VM)访问的内存页面。这项任务在当今的数据中心中至关重要,因为它允许检查点、实时迁移和工作集大小(WSS)估计等。本文以Xen虚拟机管理程序为依托,从功耗、效率和对用户应用程序性能影响三个角度研究PML。我们的调查结果如下。首先,PML不会产生任何功耗开销。其次,PML将VM实时迁移和检查点设置时间减少了10.18%。第三,PML可以将实时迁移和检查点所导致的应用程序性能下降降低0.95%。第四,然而,PML不允许准确的WSS估计,因为不跟踪读取访问并且不能识别热页。为解决这些限制而对PML进行的简单扩展可能会导致计算WSS的VM的性能严重下降(高达34.8%)。本文介绍了页面引用日志(PRL),一个智能扩展的PML允许读取和写入访问进行跟踪。这样做不会影响用户VM。本文还提出了一个WSS估计系统,利用PRL,并展示了如何将该算法集成到一个数据中心,实现内存超量使用。我们实现PRL和WSS估计系统下,Gem5,一个非常流行的硬件模拟器。评估结果验证了PRL在WSS估计中的准确性。他们还表明,PRL不会导致用户虚拟机的性能下降。
2020-01-26 cs.DC cs.OS
Performance Constraint and Power-Aware Allocation For User Requests In Virtual Computing Lab
云计算由规模经济驱动。云系统使用虚拟化技术以虚拟机的形式向用户提供云资源(例如CPU、内存)。虚拟机(VM)是一种面向用户应用的沙箱,适合在教育环境中为教学和科研需求提供计算资源。在资源管理方面,他们希望通过降低大规模数据中心系统的电子账单的昂贵成本来降低运营成本。基于租赁的模型适用于我们的虚拟计算实验室,其中用户请求租赁虚拟机的资源。本文提出了两种主机选择策略MAP(minimum of active physical hosts)和MAP-H2 L,以及四种解决租用调度问题的算法。FF-MAP、FF-MAP-H2 L算法满足能量消耗和服务质量(例如性能)之间的折衷。通过对LLNL Atlas日志转换的7天工作负载的仿真,表明FF-MAP和FF-MAP-H2 L算法在租赁调度器Haizea中比现有贪婪映射算法分别降低了7.24%和7.42%的能耗。此外,在HalfPI-FF-MAP和PI-FF-MAP算法中引入了合并比θ,θ分别为π/2和π,仿真结果表明,它们的能耗分别降低了34.87%和63.12%。
2012-12-26 cs.DC
Efficient Resource Allocation in Resource provisioning policies over Resource Cloud Communication Paradigm
在云中执行任务的最佳资源利用率是最大的挑战之一。在云上执行任务时,资源供应商负责提供资源以创建虚拟机。为了最佳地利用资源,资源提供者必须负责将资源分配给虚拟机管理器(VMM)的过程。在本文中,一种有效的方式来利用资源,在云中,创建虚拟机已被提出考虑基于性能因素的最佳成本。该性能因素取决于资源的总成本、通信信道成本、可靠性和流行性因素。我们提出了一个框架,资源所有者和云之间的通信使用资源云通信范式(RCCP)。我们扩展了CloudSim[2],在VMM分配策略中加入了资源提供策略和高效资源分配(ERA)算法,作为资源提供的决策支持。
2012-07-11 cs.DC
Flocking Virtual Machines in Quest for Responsive IoT Cloud Services
我们建议弗洛克;一种简单且可扩展的协议,支持跨异构边缘和传统云平台实时迁移虚拟机(VM),以提高云服务的响应能力。Flock的设计具有适合物联网(IoT)用例的属性。我们描述了正则化延迟测量的属性,Flock可以用于异步和自主迁移决策。这样的决策允许通信的VM遵循类似群集的行为,该行为由三个简单的规则组成:分离、对齐和内聚。使用博弈论,我们推导出分析界的羊群的无政府代价价格(PoA),并证明群集虚拟机收敛到一个纳什均衡,同时解决最好的云平台。我们通过模拟验证了Flock的有效性,并讨论了如何简单地调整其通用目标以实现其他目标,如云负载均衡和能耗最小化。
2016-10-02 cs.DC cs.NI
A Taxonomy of Live Migration Management in Cloud Computing
云数据中心已成为提供服务的骨干基础设施。随着新兴的边缘计算模式,计算和网络功能已从云推向边缘,以提供具有低端到端延迟的计算,智能和网络管理。边缘和云计算中跨不同计算节点的服务迁移对于保证动态环境中的服务质量至关重要。动态资源管理涉及到迁移虚拟机以实现各种目标,如负载均衡、整合、性能、节能和灾难恢复等。一些人已经研究了如何提高和预测VM和容器的单个实时迁移的性能。最近,一些研究服务迁移的边缘为中心的计算范式。然而,缺乏关注边缘和云计算环境中的实时迁移管理的调查。我们检查每个字段的特征,并进行以迁移管理为中心的分类和调查。我们还确定了差距和研究机会,以保证实时迁移的资源管理性能。
2021-12-05 cs.DC
A Genetic Algorithm for Power-Aware Virtual Machine Allocation in Private Cloud
能源效率已经成为衡量私有云调度算法的重要指标。所面临的挑战是在最小化能量消耗和满足服务质量(QoS)(例如,针对预留请求的及时的性能或资源可用性)之间进行权衡。我们考虑的资源需求的上下文中的私有云系统提供资源的应用程序在教学和科研。其中,用户在开始时间和之前几个小时的非中断持续时间请求用于实验室课程的计算资源。许多以前的工作是基于迁移技术,从低利用率的主机移动在线虚拟机(VM),并关闭这些主机,以减少能源消耗。然而,在我们的情况下,用于迁移VM的技术不能使用。针对静态虚拟机分配问题,提出了一种基于功率感知的资源分配调度的遗传算法。由于执行模拟的资源(即内存)有限,我们创建了一个工作负载,其中包含我们大学实验室一天时间表的样本。我们评估的GAPA和基线调度算法(BFD),它排序的虚拟机列表中的开始时间(即最早的开始时间第一),并使用最适合的减少(即最少增加的功耗)算法,用于解决相同的SVMAP。仿真实验结果表明,GAPA算法的总能耗低于基线算法。
2013-02-19 cs.DC cs.NE
Multi-microservice migration modelling, comparison, and potential in 5G/6G mobile edge computing: A non-average parameter values approach
针对5G/6G移动边缘计算中多微服务迁移问题,本文提出基于非平均值参数的数学模型,对比分析MiGrror与预拷贝实时迁移方法,实验证明MiGrror能以最小带宽开销实现低于10毫秒停机时间,显著提升服务连续性。
2023-05-18 cs.DC cs.NI
Simple Destination-Swap Strategies for Adaptive Intra- and Inter-Tenant VM Migration
本文探讨了自适应虚拟机(VM)迁移的机会和限制,以减少虚拟化环境中的通信成本。我们引入了一个新的形式化模型来解决两种情况下的虚拟机在线迁移问题:(1)虚拟机可以在底层网络中任意迁移;例如,私有云提供商可能具有降低网络中的总体通信成本的动机。(2)VM只能在给定租户内迁移;例如,被分配了一组物理机器的用户可以交换这些机器上的VM的功能。我们提出了一类简单的目的地交换算法,它是基于一个积极的搭配策略(灵感来自splay datastructures),并保持最小和本地量的每节点(摊销成本)的信息,以决定在哪里迁移VM,以及如何,因此,该算法的反应迅速的负载变化。这些算法有两种主要的风格,一种是间接和分布式的变体,它使现有的VM放置保持在本地,另一种是直接的变体,它使受影响的VM的数量保持很小。我们表明,自然,租户间优化产生更大的优化潜力,但一般也租户本身可以提高其嵌入。此外,直接和间接策略之间存在一个有趣的权衡:间接变体由于其局部性而在倾斜和稀疏的通信模式下更可取。
2013-09-23 cs.DC cs.DS
EPOBF: Energy Efficient Allocation of Virtual Machines in High Performance Computing Cloud
云计算在为高性能计算(HPC)用户提供虚拟机(VM)抽象下的计算资源以运行其应用方面已经变得更加流行。HPC云就是这样的云计算环境。HPC云中VM的能量高效资源分配的挑战之一是在最小化物理机(PM)的总能量消耗和满足服务质量(例如性能)之间进行权衡。一方面,云提供商希望通过降低电力成本(例如使用最少数量的运行PM)来最大化其利润。另一方面,云客户(用户)希望其应用程序具有最高性能。在本文中,我们关注的场景,调度程序不知道全局信息的用户作业和用户应用程序的未来。用户将在固定的开始时间和不间断的持续时间请求短期资源。然后,我们提出了一个新的分配启发式(命名为能量感知和性能每瓦定向Bestfit(EPOBF)),使用性能每瓦的度量来选择最节能的PM映射每个VM(例如,最大MIPS每瓦)。使用信息从Feitelson的并行计算存档模型HPC作业,我们比较了建议EPOBF的最先进的异构PM(每个PM有多核CPU)的并行计算。仿真结果表明,EPOBF可以减少显着的总能耗相比,最先进的分配算法。
2014-09-15 cs.DC cs.NI cs.PF
ADARES: Adaptive Resource Management for Virtual Machines
University of Washington(华盛顿大学);Purdue University(普渡大学);Nutanix Inc.(路坦力公司)
虚拟执行环境允许将多个应用程序整合到同一物理服务器上,从而能够更有效地使用服务器资源。然而,用户通常通过猜测来静态地配置虚拟机的资源,导致资源分配不足从而阻碍VM性能,或者分配过多从而浪费宝贵的数据中心资源。在本文中,我们首先通过分析一个广泛的数据集,包括超过250k的虚拟机超过3.6k的私营企业集群的真实世界的资源分配和利用率的虚拟机的特征。我们的大规模分析证实,虚拟机经常配置错误,要么过度配置,要么配置不足,而且这个问题在广泛的私有集群中普遍存在。然后,我们提出ADARES,一个自适应系统,动态调整VM资源使用机器学习技术。特别是,ADARES利用上下文强盗框架来有效地管理适应。我们的系统在集群、节点和虚拟机级别利用易于收集的数据来做出更明智的分配决策,并使用迁移学习来安全地探索配置空间并加快训练速度。我们的实证评估表明,ADARES可以显着提高系统利用率,而不牺牲性能。例如,与阈值和基于预测的基线相比,它实现了更可预测的虚拟机级性能,并将实际群集上合成工作负载的虚拟CPU和内存配置量分别减少了35%和60%。
2018-12-06 cs.DC cs.LG
Security Management Model in Cloud Computing Environment
在云计算环境下,云虚拟机(VM)的数量将越来越多,虚拟机的安全和管理面临巨大的挑战。为了解决云计算虚拟化环境下的安全问题,提出了一种基于虚拟机高效动态部署的虚拟机安全管理模型--状态迁移与调度,研究了其中的虚拟机安全体系结构,基于层次分析法一种基于ARMUM的虚拟机部署调度方法(Cumulative Sum)DDoS攻击检测算法,以及上述用于功能测试和验证的方法。
2016-11-27 cs.DC cs.NI
Tiny Autoscalers for Tiny Workloads: Dynamic CPU Allocation for Serverless Functions
在无服务器计算中,应用程序在轻量级虚拟化和隔离环境下执行,例如容器或微型虚拟机。通常,它们的内存分配由用户在部署之前设置。所有其他资源(如CPU)由提供程序静态分配,并与内存分配成比例。这会导致利用率不足或节流。前者对供应商有很大影响,而后者对客户有很大影响。为了解决这个问题并同时适应客户端和提供程序,一个解决方案是通过自动缩放实现动态CPU分配。自动缩放已被调查的长期运行的应用程序使用基于历史的技术和预测。然而,无服务器应用程序是短期运行的工作负载,这种技术并不适合。在本文中,我们研究了小型自动缩放器以及动态CPU分配技术如何用于短期运行的无服务器工作负载。我们尝试使用Kubernetes作为底层平台,并使用其垂直pod autoscaler实现了几种动态CPU调整技术。我们使用最先进的无服务器工作负载来比较这些技术。我们的实验表明,短期运行的无服务器功能的动态CPU分配是可行的,可以实现轻量级算法,提供良好的性能。
2022-10-31 cs.DC
Quality of Service (QoS) Modelling in Federated Cloud Computing
围绕具有潜在的大量定制资源的大规模服务器基础设施的思想构建,这些定制资源能够交互以促进服务的部署、适配和支持,云计算需要频繁地重新调度和管理各种应用任务,以便适应广泛范围和数量的用户的请求。云计算的挑战之一是通过设计用于在用户和云虚拟资源之间分配任务以及将虚拟资源分配给云物理资源的有效技术来支持和管理服务质量(QoS)。虚拟资源跨物理资源的迁移是另一个需要相当关注的挑战;特别是在联合云计算环境中,其中,提供商可能愿意将其未使用的资源作为服务提供给联合(合作分配),并在需要时收回这些资源供其自己使用(竞争分配)。本文重新审视了云计算中的QoS问题,通过制定和提出i)一个多QoS任务分配模型的任务分配到虚拟机和ii)一个虚拟机迁移模型的联合云计算环境中考虑的情况下,资源提供商是在合作或竞争模式下操作。针对联邦云环境中的QoS支持问题,提出了一种新的基于差分进化的任务分配绑定策略和一种新的虚拟机模型.实验结果表明,所提出的解决方案提高了云计算环境中的服务质量,并揭示了在联合云环境中操作混合合作和竞争模型的相对优势。
2019-11-08 cs.DC cs.NI
VUPIC: Virtual Machine Usage Based Placement in IaaS Cloud
高效的资源分配是基础设施即服务(IaaS)云中的关键性能挑战之一。虚拟机(VM)放置和迁移决策方法是这些资源分配机制的组成部分。我们提出了一种新的虚拟机布局算法,该算法在考虑布局决策时考虑了虚拟机之间的性能隔离及其连续的资源使用情况。性能隔离是对基本低级硬件资源(CPU、内存、存储和网络带宽)感兴趣的虚拟机之间的资源争用形式。多个共同托管的相邻VM之间的资源竞争形成了所提出的新方法的基础。实验结果显示,不同类别的应用程序和性能隔离和资源竞争的影响。一个每虚拟机的3维资源利用率向量(RUV)已连续计算和用于放置决策,同时考虑到冲突的资源利益的虚拟机。使用新的布局算法VUPIC的实验表明,虚拟机的性能以及云的整体资源利用率的有效改善。
2012-12-01 cs.DC
Reproducible experiments on dynamic resource allocation in cloud data centers
在Wolke等人[1]中,我们通过实验比较了不同资源分配策略的效率。我们关注的是动态环境,其中虚拟机需要随着时间的推移分配和释放到服务器。在这篇配套文章中,我们描述了模拟框架,以及如何运行模拟来复制实验或在框架内运行新的实验。
2017-02-28 cs.DC
JuPyLive: Seamless Migration of Jupyter Notebook Resources from Laptop to HPC
TUD Dresden University of Technology(德累斯顿工业大学);Center for Interdisciplinary Digital Sciences (CIDS)(跨学科数字科学中心);Center for Information Services and High Performance Computing (ZIH)(信息服务与高性能计算中心);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据分析与人工智能中心)
JuPyLive可在Jupyter笔记本环境内一键实现本地与HPC资源间的双向无缝迁移,无需用户修改代码或配置,助力跨学科研究人员便捷使用HPC集群扩展资源密集型工作流。
2026-09-04 cs.DC
Low-Latency Layer-Aware Proactive and Passive Container Migration in Meta Computing
针对元计算中容器迁移研究不足的问题,本文提出考虑层依赖、融合主动与被动迁移的低延迟策略,采用带专家演示的策略梯度强化学习算法优化决策,实验验证其相比基准算法能有效降低总延迟。
2024-06-19 cs.DC
CloudGenius: Decision Support for Web Server Cloud Migration
云计算是将硬件和软件资源作为虚拟化服务提供的最新计算范例,在虚拟化服务中,用户无需担心底层系统管理细节的负担。将Web应用程序迁移到云服务并将云服务集成到现有的计算基础设施中并非易事。它带来了新的挑战,往往需要在技术、文化、法律、监管和社会等各个层面创新范式和做法。将Web应用程序映射到虚拟化云服务的关键问题是选择最佳和兼容的软件映像组合(例如,Web服务器映像)和基础设施服务,以确保实现应用程序的服务质量(QoS)目标。在选择云服务时,工程师必须考虑基础设施服务和软件映像之间的异构标准集和复杂依赖关系,这是一个关键问题,无法手动解决。为了克服这些挑战,我们提出了一个框架(称为CloudGenius),该框架基于专门用于Web服务器迁移到云的模型和因素来自动化决策过程。CloudGenius利用一种众所周知的多标准决策技术(称为层次分析法),根据与应用程序相关的模型、因素和QoS参数自动执行选择过程。一个示例应用程序演示了理论CloudGenius方法的适用性。此外,我们提出了一个CloudGenius的实现,已通过实验验证。
2012-03-18 cs.DC cs.SE
MOFCO: Mobility- and Migration-Aware Task Offloading in Three-Layer Fog Computing Environments
针对三层雾计算中UE移动性导致服务迁移代价高的问题,提出MOFCO算法,将任务卸载与资源分配建模为MINLP问题并用启发式辅助演化博弈论求解,使系统成本平均降低19%,最高达43%。
2025-07-16 cs.AR cs.DC cs.NI
A Novel architecture for improving performance under virtualized environments
尽管虚拟化在云计算中提供了很多优势,但它并没有在虚拟化机器之间提供有效的性能隔离。换句话说,由于协同虚拟机造成的干扰,性能可能会受到影响。这可以通过正确管理同时运行的虚拟机之间的资源分配来实现。本文的目的是提供一种新的架构,是基于快速遗传K-means++算法和测试结果显示积极的改进,在性能方面的改进,在类似的现有方法。
2015-02-04 cs.DC
Optimization Heuristics for Cost-Efficient Long-Term Cloud Portfolio Allocations Under Uncertainty
当今的云基础设施环境提供了广泛的服务来构建和操作软件应用程序。然而,众多的选择也带来了新的复杂性。当涉及到采购云计算资源时,消费者可以从不同市场上的不同提供商购买他们的虚拟机,以形成所谓的云组合:虚拟机捆绑,其中虚拟机具有不同的技术特征和定价机制。因此,为一组给定的应用程序选择正确的服务器实例,以使分配具有成本效益,这是一项重要的任务。在本文中,我们提出了一个正式规范的云投资组合管理问题,需要一个应用程序驱动的方法,并结合了常见的保留,按需和现货市场类型的细微差别。我们提出了两个不同的成本优化算法,这个随机的时间装箱问题,一个采取天真的第一次适合的策略,而另一个是建立在遗传算法的概念。评估结果表明,前者的优化方法显着优于后者,无论是在执行速度和解决方案的质量。
2022-05-24 cs.CE cs.DC
Priority-aware Gray-box Placement of Virtual Machines in Cloud Platforms
虚拟机(VM)放置对于云平台非常重要。虽然实时虚拟机迁移等技术对于平衡数据中心的负载非常有用,但它们是昂贵的操作。在这份立场文件中,我们建议通过在虚拟机放置算法中应用虚拟机的工作负载模式来最大限度地减少数据中心中负载热点的机会-将需要大量相同类型资源的虚拟机放置在不同的物理服务器上。通过这种方式,可以显著缓解同一物理服务器上的VM的资源竞争。同时,我们还考虑了应用程序和虚拟机的优先级在我们的虚拟机布局算法。
2013-07-25 cs.DC cs.NI
Zero-Instrumentation Dependency Discovery for Guided Microservice Migration Using eBPF
1Independent researcher, San Francisco, USA, 2Independent researcher, Dubai, UAE
该研究使用eBPF内核级网络追踪无插装发现微服务依赖,生成ROI排序的迁移计划,可减少27%跨VM流量暴露,但采集开销存在明显性能代价。
2026-08-06 cs.DC cs.NI
Virtual Garbage Collector (VGC): A Zone-Based Garbage Collection Architecture for Python's Parallel Runtime
VGC通过基于区域的内存管理和分区执行,提高Python运行时的可预测性和可扩展性。
2026-01-01 cs.DC cs.PL
Survivable and Bandwidth-Guaranteed Embedding of Virtual Clusters in Cloud Data Centers (Extended Version)
云计算已经成为互联网服务托管的一个强大而灵活的平台,但它也引起了人们对基于云的服务由于网络拥塞而无法预测的性能的担忧。为了提供可预测的性能,已经提出了云服务的虚拟集群抽象,其在简化的虚拟网络模型中实现关于计算资源和网络带宽的分配和性能隔离。虚拟集群分配中出现的一个问题是租户服务对物理故障的生存能力。现有的工作研究了固定主嵌入的虚拟集群备份配置,但没有考虑主嵌入对备份资源消耗的影响。为了解决这个问题,在本文中,我们研究如何嵌入虚拟集群在云数据中心的可生存性,通过联合优化主,备份嵌入的虚拟集群。我们正式定义了可生存的虚拟集群嵌入问题。然后,我们提出了一种新的算法,该算法计算给定租户请求的最具资源效率的嵌入。由于最优算法具有较高的时间复杂度,我们进一步提出了一种更快的启发式算法,它比最优解快几个数量级,但能够达到类似的性能。除了理论分析,我们评估我们的算法通过广泛的模拟。
2017-01-08 cs.DC cs.NI
Network Resource Allocation Strategy Based on Deep Reinforcement Learning
State Grid Shandong Electric Power Research Institute(国网山东省电力科学研究院);China University of Petroleum (East China)(中国石油大学(华东))
传统互联网在为新兴技术需求分配网络资源方面遇到了瓶颈。网络虚拟化(NV)技术作为未来的网络体系结构,其支持的虚拟网络嵌入(VNE)算法在解决资源分配问题方面显示出巨大的潜力。结合高效的机器学习(ML)算法,构建了接近底层网络环境的神经网络模型,对强化学习Agent进行训练。针对现有启发式算法映射结果容易收敛于局部最优解的问题,提出一种基于深度强化学习(DRL)的两阶段VNE算法(TS-DRL-VNE)。针对现有的基于ML的VNE算法往往忽视底层网络表示和训练模式的重要性的问题,提出了一种基于全属性矩阵的DRL VNE算法(FAM-DRL-VNE)。针对现有VNE算法往往忽略虚拟网络请求间底层资源变化的问题,提出了一种基于矩阵扰动理论的DRL VNE算法(MPT-DRL-VNE)。实验结果表明,该算法优于其他算法。
2022-02-03 cs.DC cs.LG cs.NI
Toward Cloud-based Vehicular Networks with Efficient Resource Management
在物联网时代,智能交通系统中的所有组件都将连接起来,以提高运输安全,缓解交通拥堵,减少空气污染,提高驾驶舒适度。所有车辆互联的愿景对收集和存储大量交通相关数据提出了重大挑战。本文提出将云计算集成到车载网络中,使车辆之间能够共享计算资源、存储资源和带宽资源。所提出的架构包括车辆云、路边云和中央云。然后,我们研究了云资源分配和虚拟机迁移有效的资源管理,在这个基于云的车载网络。提出了一种博弈论方法来优化云资源分配。基于资源预留机制解决了车辆移动引起的虚拟机迁移问题。
2013-08-28 cs.DC cs.NI
CloudSim: A Novel Framework for Modeling and Simulation of Cloud Computing Infrastructures and Services
云计算侧重于交付可靠、安全、容错、可持续和可扩展的基础架构,以托管基于Internet的应用程序服务。这些应用程序具有不同的组成、配置和部署要求。在不同的负载、能源性能(功耗、散热)和系统规模下,针对不同的应用和服务模型,量化云基础设施(硬件、软件、服务)上的调度和分配策略的性能是一个极具挑战性的问题。为了简化这一过程,在本文中,我们提出CloudSim:一个新的广义和可扩展的模拟框架,使无缝建模,模拟和实验的新兴云计算基础设施和管理服务。该仿真框架具有以下新特征:(i)支持大规模云计算基础设施的建模和实例化,包括单个物理计算节点和Java虚拟机上的数据中心;(ii)用于建模数据中心、服务代理、调度和分配策略的自包含平台;(iii)虚拟化引擎的可用性,其帮助在数据中心节点上创建和管理多个独立的和共同托管的虚拟化服务;以及(iv)在处理核心到虚拟化服务的空间共享和时间共享分配之间切换的灵活性。
2009-03-14 cs.DC cs.OS cs.SE