Resource Allocation in Cloud Computing Using Genetic Algorithm and Neural Network
针对云计算中多任务调度兼顾效率与资源利用率的难题,提出结合N2TC神经网络分类与GATA遗传算法分配的混合调度算法,兼顾公平性与多维度指标,在执行时间、成本、响应时间上均优于现有最优方法。
2023-08-22 cs.DC
A Genetic Algorithm for Power-Aware Virtual Machine Allocation in Private Cloud
能源效率已经成为衡量私有云调度算法的重要指标。所面临的挑战是在最小化能量消耗和满足服务质量(QoS)(例如,针对预留请求的及时的性能或资源可用性)之间进行权衡。我们考虑的资源需求的上下文中的私有云系统提供资源的应用程序在教学和科研。其中,用户在开始时间和之前几个小时的非中断持续时间请求用于实验室课程的计算资源。许多以前的工作是基于迁移技术,从低利用率的主机移动在线虚拟机(VM),并关闭这些主机,以减少能源消耗。然而,在我们的情况下,用于迁移VM的技术不能使用。针对静态虚拟机分配问题,提出了一种基于功率感知的资源分配调度的遗传算法。由于执行模拟的资源(即内存)有限,我们创建了一个工作负载,其中包含我们大学实验室一天时间表的样本。我们评估的GAPA和基线调度算法(BFD),它排序的虚拟机列表中的开始时间(即最早的开始时间第一),并使用最适合的减少(即最少增加的功耗)算法,用于解决相同的SVMAP。仿真实验结果表明,GAPA算法的总能耗低于基线算法。
2013-02-19 cs.DC cs.NE
Hybrid Genetic Algorithm for Cloud Computing Applications
University Sapienza of Rome(罗马第一大学);Dalian Maritime University(大连海事大学);Machine Intelligence Research Labs (MIR Labs)(机器智能研究实验室)
本文将遗传算法和模糊理论相结合,提出了一种混合作业调度方法,该方法考虑了系统的负载均衡,减少了总的执行时间和执行成本。本文尝试对标准遗传算法进行改进,并借助模糊理论减少种群生成的迭代次数。本研究的主要目标是在考虑虚拟机MIPS和作业长度的情况下,将作业分配给资源。新算法综合考虑作业长度和资源容量,将作业分配给资源。我们评估我们的方法与一些著名的云调度模型的性能。实验结果表明,所提出的方法的执行时间,执行成本和平均度的不平衡(DI)方面的效率。
2014-04-22 cs.AI cs.DC
A GA based approach for task scheduling in multi-cloud environment
在多云环境下,任务调度由于其NP完全的性质而引起了人们的广泛关注。此外,由于具有不同容量和功能的云资源的异构性,这是非常具有挑战性的。因此,最小化任务调度的最大完工时间是一个具有挑战性的问题。本文提出了一种基于遗传算法的任务调度方法。该算法采用适应度函数推导和变异的创新思想进行描述。该算法暴露于严格的测试,使用各种基准数据集,其性能进行评估的总完工时间。
2015-11-27 cs.DC
A Fuzzy Differential Evolution Algorithm for Job Scheduling on Computational Grids
网格计算是近年来兴起的一个跨地域共享数据、存储和计算的计算领域。本文提出了一种新的模糊方法,利用差分进化(DE)的计算网格上的作业调度。基于模糊的DE生成一个最优的计划,在最短的时间内完成的工作。我们用遗传算法、模拟退火算法、差分进化算法和模糊粒子群算法对所提出的模糊DE算法进行了性能评估。实验结果表明,与其他算法相比,新算法能产生更多的最优解。
2014-07-23 cs.DC
Intelligent strategies for DAG scheduling optimization in Grid environments
提出了一种网格环境下动态DAG调度问题的解决方案。提出了一种分布式、可扩展、高效、容错的任务优化分配算法。具有依赖关系的任务的调度算法使用启发式模型来优化任务执行的总成本。提出了一种基于遗传算法的资源优化分配方法。实验使用MonALISA监测环境及其扩展。结果表明,与其他调度方法相比,这种DAG调度算法的性能非常好。
2011-06-27 cs.DC
Task Scheduling in Cloud Computing Using Hybrid Meta-heuristic: A Review
近年来,随着高带宽互联网接入的出现,云计算应用蓬勃发展。随着越来越多的应用程序在云上运行以及不同云平台的总体用户群的增加,对高效作业调度技术的需求也有所增加。传统的作业调度算法的任务是确定作业的执行顺序,其使用最少的资源,如时间、处理、存储器等。通常,用户需要更多的服务和非常高的效率。有效的调度技术有助于资源的合理利用。在这个研究领域中,混合元启发式算法已经被证明是非常有效的优化任务调度提供更好的成本效率比单独使用。这项研究提出了一个系统的和广泛的分析任务调度技术在云计算使用各种混合变种的Meta探试法,如遗传算法,禁忌搜索,和谐搜索,人工蜂群,粒子群优化等在这项研究综述中,一个单独的部分讨论了使用各种性能评估指标在整个文献。
2022-01-23 cs.DC
Scheduling of Dependent Tasks Application using Random Search Technique
自网格计算出现以来,相关任务调度问题由于其NP完全的性质一直受到研究者的关注。在网格环境中,调度是指将任务分配到可用资源上。当网格中的任务具有依赖性和资源异构性时,网格调度具有挑战性.相关任务调度的主要目标是最小化完工时间。由于调度问题的NP完全性质,精确解不能有效地生成调度。因此,研究人员采用启发式或随机搜索技术来获得此类问题的最优或接近最优的解决方案。在本文中,我们展示了如何遗传算法可以用来解决相关任务调度问题。我们描述了如何使用随机分配和基于高度的方法生成初始人口。我们还提出了交叉和变异算子的设计,使相关任务的调度应用程序不违反依赖约束。为了实现基于遗传算法的调度,我们探索和分析SimGrid和GridSim仿真工具包。从结果中,我们发现SimGrid是合适的,因为它支持用于DAG应用程序的SimDag API。我们发现基于遗传算法的方法可以在合理的时间内为相关任务应用生成调度,同时尽量减少制造跨度。
2013-04-15 cs.DC
Multiprocessor Scheduling of Dependent Tasks to Minimize Makespan and Reliability Cost Using NSGA-II
异构多处理器系统上的应用程序调度算法集中在一个单一的目标,如执行时间,成本或总的数据传输时间。然而,如果考虑多个目标(例如,执行成本和时间,这可能是冲突的),那么问题变得更具挑战性。本计画旨在发展一个多目标排程演算法,利用演化技术,在多处理器环境中,以最小化最大完工时间与可靠性成本,来排程一组相依任务。一个非支配排序的遗传算法-II程序已被开发,以获得帕累托最优解。NSGA-Ⅱ是一种精英进化算法,它在每次迭代中都采用初始父解,不作任何改变,以消除Pareto最优解丢失的问题,并利用拥挤距离的概念来产生解的多样性。
2014-04-10 cs.DC
Scheduling Algorithms for Efficient Execution of Stream Workflow Applications in Multicloud Environments
大数据处理应用变得越来越复杂。它们在本质上不再是单一的,而是由工作流形式的解耦分析过程组成。一种类型的这样的工作流应用是流工作流应用,其集成多个流式大数据应用以支持决策制定。这些应用程序的每个分析组件连续运行并处理数据流,其速度将取决于几个因素,如网络带宽和父分析组件的处理速率。因此,在云环境中执行这些应用程序需要先进的调度技术,这些技术在数据处理和决策截止日期方面符合最终用户的要求。在本文中,我们提出了两个多云调度和资源分配技术的流工作流应用程序在多云环境中的有效执行,同时坚持工作流应用程序和用户的性能要求,并降低执行成本。实验结果表明,所提出的遗传算法是一个充分和有效的所有实验。
2019-12-18 cs.DC
Wireless Powered Metaverse: Joint Task Scheduling and Trajectory Design for Multi-Devices and Multi-UAVs
针对元宇宙应用在移动设备上运行时计算与能量受限的问题,提出基于多任务深度强化学习的两阶段交替优化算法,联合优化多设备与多无人机的充电时间、任务调度和轨迹,显著提升了系统收敛速度与平均计算效率。
2023-11-28 cs.DC
MetaNet: Automated Dynamic Selection of Scheduling Policies in Cloud Environments
Imperial College London(伦敦帝国理工学院);Loughborough University(拉夫堡大学)
在优化云计算环境的服务质量(QoS)的背景下,任务调度是被充分研究的问题。为了维持计算需求的快速增长,云计算器最重要的QoS指标之一是执行成本。在这方面,近年来已经提出了几种基于数据驱动的深度神经网络(DNN)的调度器,以允许在动态工作负载设置中进行可扩展和有效的资源管理。然而,最佳调度通常依赖于复杂的DNN,其具有高计算需求,这意味着更高的执行成本。此外,即使在非静止环境中,也可能不总是需要复杂的过滤器,为了成本效益,我们可以暂时依靠低成本的过滤器。因此,这项工作的目的是解决非平凡的Meta问题的调度策略的在线动态选择使用一个代理模型称为MetaNet。与具有固定调度策略的传统解决方案不同,MetaNet在运行中从大量基于DNN的方法中选择调度器,以同时优化任务调度和执行成本。与最先进的DNN路由器相比,这使得执行成本、能耗、响应时间和违反服务级别协议的情况分别降低了11%、43%、8%和13%。
2022-05-21 cs.AI cs.DC
An Online Resource Scheduling for Maximizing Quality-of-Experience in Meta Computing
BNU-HKBU United International College(北师港浸大);Beijing Normal University(北京师范大学);Hong Kong Baptist University(香港浸会大学)
针对元计算场景下预算有限、元计算机QoE未知的资源调度问题,本文基于MAB框架建模,提出结合凹效用函数的UCB算法,理论证明次线性遗憾上界,实验验证了其有效性。
2023-04-26 cs.DC
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中,我们将讨论为什么现有的元调度层次结构有时是不够的网格系统,由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载,这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型,并使用案例研究和数学建模进行评估。我们详细介绍了DIANA(数据密集型和网络意识)调度算法和队列管理系统,以应付负载分布和支持批量作业调度。我们证明,这样的系统是有益的动态,分布式和自组织的资源管理,并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
A Cost-Driven Fuzzy Scheduling Strategy for Intelligent Workflow Decision Making Systems in Uncertain Edge-Cloud Environments
工作流决策是执行许多实际工作流应用的关键。边缘云环境下的调度可以解决工作流应用程序的高复杂性问题,同时减少云和终端设备之间的数据传输延迟。然而,由于边缘云环境中的异构资源和工作流中任务之间复杂的数据依赖关系,工作流调度仍然存在重大挑战,包括从可能的众多组合中选择最佳的任务-服务器解决方案。现有的研究主要是在没有波动的严格条件下进行的,忽略了工作流调度通常存在于不确定环境中的事实。在这项研究中,我们专注于减少主要由任务计算和数据传输引起的工作流应用程序的执行成本,同时满足不确定的边缘云环境中的工作流截止日期。采用三角模糊数来表示任务处理时间和数据传输时间。提出了一种基于自适应离散粒子群优化(ADPSO)算法的成本驱动模糊调度策略,该算法采用了遗传算法(GA)的算子。该策略引入了遗传算法的随机两点交叉算子、邻域变异算子和自适应多点变异算子,有效地避免了陷入局部最优。实验结果表明,与其他基准解决方案相比,该策略能有效降低不确定边缘云环境下的工作流执行代价.
2022-10-28 cs.DC
Task Assignment in Distributed Systems based on PSO Approach
在分布式系统中,任务分配问题(TAP)是影响系统效率的关键因素. TAP说明了任务到每台计算机的处理器的适当分配。在这个问题中,到目前为止所提出的方法试图最小化Makespan并最大化CPU利用率。由于该问题是NP完全问题,许多遗传算法被提出来从整个解空间搜索最优解。现有的方法忽略了可以降低优化复杂度的技术,而是扫描整个解空间。另一方面,这种方法是耗时的调度,这被认为是一个缺点。因此,本文提出了一种混合遗传算法来克服这一缺点。将粒子群优化算法(PSO)作为局部搜索算法应用于遗传算法中。仿真结果表明,该方法在CPU利用率和最大生存时间方面优于基于遗传算法的方法。
2021-11-30 cs.DC
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.(字节跳动公司);Northeastern University(东北大学);New York University(纽约大学)
多实例GPU(Multi-Instance GPU,简称GPU)是NVIDIA A100 GPU推出的一项新功能,可将一个物理GPU划分为多个GPU实例。借助GPU,A100可以成为服务于深度神经网络(DNN)的最具成本效益的GPU。然而,发现最有效的GPU分区是具有挑战性的。底层问题是NP难的,而且,它是一个新的抽象问题,我们定义为可重构机器调度问题(RMS)。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案,MIG服务。分布式服务是一个算法管道,融合了各种新设计的算法和定制的经典算法,包括启发式贪心算法,遗传算法(GA)和蒙特卡罗树搜索算法(MCTS)。我们在Kubernetes上实现了MIG服务。我们的实验表明,与使用A100相比,MIG服务可以节省高达40%的GPU,同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
Joint QoS-aware and Cost-efficient Task Scheduling for Fog-Cloud Resources in a Volunteer Computing System
志愿者计算是一种基于Internet的分布式计算系统,志愿者共享他们额外的可用资源来管理大规模任务。然而,志愿者计算系统(Volunteer Computing System,简称UMTS)中的计算设备在其处理能力、货币成本和数据传输延迟方面是高度动态和异构的。为了保证不同请求的高服务质量(QoS)和低成本,必须有效地利用所有可用的计算资源。任务调度是一个NP难问题,被认为是异构并行计算中的主要挑战之一。基于此,本文设计了两种面向虚拟控制系统的任务调度算法Min-CCV和Min-V。算法的主要目标是联合最小化物联网(IoT)请求的计算、通信和延迟违规成本。我们广泛的模拟结果表明,所提出的算法能够更有效地分配任务到志愿者雾/云资源比国家的最先进的。具体来说,我们的算法提高了约99.5%的最后期限满意度的任务率,并降低了15至53%之间的总成本相比,基于遗传算法。
2021-04-28 cs.DC math.OC
Adaptive Approach to Enhance Machine Learning Scheduling Algorithms During Runtime Using Reinforcement Learning in Metascheduling Applications
University of Siegen(锡根大学)
本文提出在元调度器中集成基于强化学习的在线学习单元,以克服离线训练生成多调度图的局限性,实时扩展调度方案并优化性能,增强系统在动态安全关键环境中的鲁棒性。
2025-09-24 cs.AI cs.DC cs.LG
Towards Scheduling Federated Deep Learning using Meta-Gradients for Inter-Hospital Learning
University of Oxford(牛津大学)
鉴于当今个人数据的丰富和容易访问,个人隐私已变得至关重要,特别是在医疗保健领域。在这项工作中,我们的目标是利用从多个医院数据中心提取的患者数据来训练机器学习模型,而不牺牲患者隐私。我们开发了一个调度算法,结合学生-教师算法,部署在一个联邦的方式。这允许中心模型从每个联邦节点的批量数据中学习。教师在数据中心之间操作,以使用存储在各个数据中心中的数据来更新主任务(学生)算法。我们表明,使用元梯度训练的调度程序可以有效地组织训练,并因此在不同的数据集上训练机器学习模型,而无需显式访问患者数据。训练。我们实现了最先进的性能,并展示了我们的方法如何克服联邦学习中面临的一些问题,如节点中毒。我们进一步展示了调度程序如何可以用作迁移学习的机制,允许不同的教师一起训练学生的最先进的性能。
2021-07-04 cs.CR cs.DC cs.LG