Multi-objective Non-cooperative Game Model for Cost-based Task Scheduling in Computational Grid
任务调度是计算网格中一个重要而复杂的问题。一个计算网格通常覆盖一系列不同类型的节点,这提供了一个复杂的环境。有必要开发算法,可以捕捉这种复杂性,同时可以很容易地实现和用于解决广泛的负载平衡的情况。针对网格负载均衡问题,提出了一种基于博弈论的网格负载均衡算法。网格负载均衡问题被视为一个非合作博弈。实验结果表明,基于博弈的算法具有较好的降低网格代价的能力。
2018-07-15 cs.DC
Intelligent strategies for DAG scheduling optimization in Grid environments
提出了一种网格环境下动态DAG调度问题的解决方案。提出了一种分布式、可扩展、高效、容错的任务优化分配算法。具有依赖关系的任务的调度算法使用启发式模型来优化任务执行的总成本。提出了一种基于遗传算法的资源优化分配方法。实验使用MonALISA监测环境及其扩展。结果表明,与其他调度方法相比,这种DAG调度算法的性能非常好。
2011-06-27 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施,能够共享、选择和聚合地理上分布的资源,以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的,并且在地理上分布,具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略,并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中,资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管,并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限,预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法,展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性,通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
A Deadline and Budget Constrained Cost-Time Optimisation Algorithm for Scheduling Task Farming Applications on Global Grids
计算网格和对等(P2P)网络使地理上分布的资源能够共享、选择和聚合,以解决科学、工程和商业中的大规模问题。然而,用于调度应用的资源和服务的管理和组合成为复杂的任务。我们已经提出了一个计算经济的框架,用于调节资源的供应和需求,并根据用户的服务质量要求将它们分配给应用程序。该框架需要经济驱动的最后期限和预算约束(DBC)调度算法分配资源的应用程序的作业,这样的方式,用户的要求得到满足。在本文中,我们提出了一种新的调度算法,称为DBC成本-时间优化,它扩展了DBC成本优化算法,优化时间,保持计算成本最低。这种新的调度算法的优越性,在实现较低的作业完成时间,通过模拟全球范围内的网格和调度任务农业应用程序不同的截止日期和预算的情况下,使用这种新的和成本优化调度算法证明。
2002-03-14 cs.DC
Resource CoAllocation for Scheduling Tasks with Dependencies, in Grid
在广域分布式系统上调度应用程序对于以有效的方式获得快速和可靠的结果是有用的。优化调度算法对于实现资源的优化利用至关重要。现有的和潜在的应用包括许多活动领域,如卫星图像处理和医学。提出了一种网格环境下具有依赖关系的任务调度算法。CoAllocation表示为具有依赖性的任务提供调度的策略,其主要目的是调度的效率,在负载均衡和用于执行任务的最小时间方面。
2011-06-27 cs.DC
Enabling Adaptive Grid Scheduling and Resource Management
网格概念的广泛采用使得科学家和研究人员可以使用越来越多的联合计算、存储和可视化资源。这些资源的分布式和异构性使得大多数传统的集群监控和管理方法不合适,并对此类系统的工作流调度提出了新的挑战。有效的资源利用率监控和高粒度但自适应的测量是一个更有效的网格调度的先决条件。我们提出了一套测量应用程序,能够监控每个进程的资源利用率,和一个可定制的工具,用于模拟观察到的利用率模型。我们还概述了我们未来的工作预测和概率网格调度。该研究是英国电子科学EPSRC与BT合作赞助的SO-GRM(自组织网格资源管理)项目的一部分。
2007-11-02 cs.DC
Scheduling on Grid with communication Delay
并行处理是高性能计算(HPC)的核心,过去是,现在仍然是提高计算机系统速度的最有效途径。在过去的几年里,处理器的计算能力和网络速度的大幅发展已经显著改变了HPC的格局。地理分布的异构系统现在可以合作和共享资源来执行一个应用程序。这种计算基础设施被称为计算网格或网格计算。网格可以看作是一种分布式的大规模集群计算。从另一个角度来看,它构成了云计算系统的主要部分,除了瘦客户端和实用计算[1,2,3]。因此,网格计算吸引了众多的研究者[4]。人们对网格计算的兴趣已经超越了传统的网格计算的范式,转向了无线网格计算[5,6]。
2015-12-09 cs.DC
Flex: Grid-Responsive Provisioning and Scheduling for Elastic Cloud Clusters
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
CarbonFlex提出一种基于历史集群数据持续学习的碳感知资源供给与调度方法,扩展AWS ParallelCluster实现,在行业负载上较碳无关基线减排约57%,性能接近理想调度器。
2026-10-13 cs.DC
An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中,资源管理和调度是实现资源高效利用的关键。在网格系统中,由于资源的异构性,应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论,针对不同类型的工作负载和单个源处理器,已经提出了一些分配模型。本文介绍了一种新的资源分配模型,该模型以多个负荷源处理机作为经济模型。通过线性规划方法,得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明,该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明,该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments
在网格调度决策的基础上,往往是数据或计算密集型的工作:在数据密集型的情况下,工作可能会推到数据和计算密集型的情况下,数据可能会拉到作业。这种调度,其中有没有考虑网络特性,可能会导致性能下降,在网格环境中,并可能导致大的处理队列和作业执行延迟,由于网站过载。在本文中,我们描述了一种数据密集型和网络感知(DIANA)元调度方法,该方法在跨多个站点做出调度决策时考虑数据、处理能力和网络特征。通过一个网格测试平台上的实际实现,我们证明了数据密集型作业的队列和执行时间可以显着改善,当我们引入我们提出的DIANA调度。基本调度决策由每个潜在目标位置的加权因子决定,该加权因子是网络特性、处理周期以及数据位置和大小的计算函数。作业调度器提供计算资源的全局排名,然后基于该总体访问和执行成本来选择最优的计算资源。DIANA方法将网格视为活动网络元素的组合,并将网络特性作为调度决策矩阵中的第一类标准以及计算和数据。然后,调度器可以通过考虑网络的变化状态、数据的位置和大小以及可用处理周期池来做出明智的决策。
2007-07-05 cs.DC
Nimrod/G: An Architecture of a Resource Management and Scheduling System in a Global Computational Grid
强大的微处理器和高速网络作为商品组件的可用性使得分布式系统上的高性能计算(广域集群计算)成为可能。在这种环境中,由于资源通常分布在地理上的各个层次(部门,企业,或世界各地)有一个很大的挑战,在整合,协调和呈现给用户作为一个单一的资源,从而形成一个计算网格。另一个挑战来自资源的分布式所有权,每个资源都有自己的访问策略、成本和机制。建议Nimrod/G网格启用的资源管理和调度系统建立在我们早期的工作Nimrod,并遵循模块化和基于组件的架构,使可扩展性,可移植性,易于开发,独立开发的组件和互操作性。它使用Globus工具包服务,并且可以很容易地进行扩展,以便与任何其他新兴的网格中间件服务一起运行。它侧重于管理和调度的计算在地理上分散在互联网上的部门,企业,或全球一级,特别强调开发调度计划的基础上的概念,计算经济的一个真正的测试床,即Globus测试床(GUSTO)。
2000-09-22 cs.DC
Scheduling of Dependent Tasks Application using Random Search Technique
自网格计算出现以来,相关任务调度问题由于其NP完全的性质一直受到研究者的关注。在网格环境中,调度是指将任务分配到可用资源上。当网格中的任务具有依赖性和资源异构性时,网格调度具有挑战性.相关任务调度的主要目标是最小化完工时间。由于调度问题的NP完全性质,精确解不能有效地生成调度。因此,研究人员采用启发式或随机搜索技术来获得此类问题的最优或接近最优的解决方案。在本文中,我们展示了如何遗传算法可以用来解决相关任务调度问题。我们描述了如何使用随机分配和基于高度的方法生成初始人口。我们还提出了交叉和变异算子的设计,使相关任务的调度应用程序不违反依赖约束。为了实现基于遗传算法的调度,我们探索和分析SimGrid和GridSim仿真工具包。从结果中,我们发现SimGrid是合适的,因为它支持用于DAG应用程序的SimDag API。我们发现基于遗传算法的方法可以在合理的时间内为相关任务应用生成调度,同时尽量减少制造跨度。
2013-04-15 cs.DC
Improving Overhead Computation and pre-processing Time for Grid Scheduling System
计算网格是一个巨大的环境,具有异构的资源和稳定的基础设施之间的其他基于Internet的计算系统。然而,这种系统中的资源管理有其特殊的问题。调度系统需要从信息中心获取参与节点的最新信息,以便进行可靠的作业调度。在本文中,我们专注于在线更新资源信息中心处理和提供的数据的基础上假设的层次模型。采用混合知识抽取方法对网格节点进行分类,并基于工件特征预测。本研究的一个肯定的观点是,调度系统不会浪费额外的时间来获取网格节点的最新信息。实验结果表明,我们的方法相比,其他保守的方法的优势,特别是由于它能够预测节点的行为的基础上,每个节点上的综合数据表。
2010-05-06 cs.DC
The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid
在数据密集型应用程序中,数据传输是作业执行延迟的主要原因。数据访问时间取决于带宽。广域网和Internet的高带宽是网格环境下支持快速数据访问的主要瓶颈。有效的调度可以通过将作业分派到存在所需数据的位置来减少通过互联网传输的数据量。另一种解决方案是使用数据复制机制。动态副本策略的目标是减少文件访问时间,从而减少作业运行时间。在本文中,我们提出了一个作业调度策略和一个动态的数据复制策略,称为HRS(分层复制策略),以提高数据访问效率。我们研究我们的方法,并通过模拟评估。结果表明,我们的算法比现有的策略提高了12%。
2010-10-04 cs.DC
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中,我们将讨论为什么现有的元调度层次结构有时是不够的网格系统,由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载,这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型,并使用案例研究和数学建模进行评估。我们详细介绍了DIANA(数据密集型和网络意识)调度算法和队列管理系统,以应付负载分布和支持批量作业调度。我们证明,这样的系统是有益的动态,分布式和自组织的资源管理,并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Brok
计算网格,耦合地理上分布的资源,如个人电脑,工作站,集群,和科学仪器,已经成为下一代的计算平台,解决大规模的问题,在科学,工程和商业。然而,这些环境中的应用程序开发、资源管理和调度仍然是一项复杂的任务。在这篇文章中,我们将讨论我们的努力,在开发一个资源管理系统调度计算分布在世界各地的资源,不同的服务质量。我们的面向服务的网格计算系统称为Nimrod-G管理与远程执行相关的所有操作,包括资源发现,交易,基于经济原则和用户定义的服务质量要求的调度。Nimrod-G资源代理是通过利用Globus等现有技术实现的,并提供了构建工业强度网格所必需的新服务。我们讨论的初步实验结果调度一些参数计算使用Nimrod-G资源代理在一个世界范围内的网格测试平台,跨越五大洲。
2001-11-17 cs.DC
A Non-Cooperative Game Model for Reliability-Based Task Scheduling in Cloud Computing
云计算是在网格计算基础上发展起来的一种新兴的分布式系统。任务调度是云计算的核心研究内容,它研究如何在物理节点之间分配任务,使任务得到均衡的分配或使每个任务的执行代价降到最低,或使系统整体性能达到最优。与以往基于时间或成本的任务调度不同,针对云计算对可靠性的特殊要求,提出了一种基于非合作博弈模型的可靠性任务调度方法。该模型以计算节点提供的稳态可用性为目标,以计算节点的任务切片策略为博弈策略,求得纳什均衡解。并在此基础上设计了一个任务调度算法。实验结果表明,本文提出的任务调度算法优于所谓的均衡调度算法。
2014-04-18 cs.DC
Alternative Mixed Integer Linear Programming Optimization for Joint Job Scheduling and Data Allocation in Grid Computing
本文针对网格计算中的作业调度与数据分配联合优化问题,提出一种交替固定决策变量并利用MILP求解的混合整数二次约束规划方法,实验证明其显著优于现有启发式方法且具强泛化性与鲁棒性。
2025-02-01 cs.DC
QOS based user driven scheduler for grid environment
由于网格在本质上是异构的、动态的、共享的和分布式的环境,有效地管理这些平台是非常复杂的。一个有前途的可扩展的方法来处理这些复杂性是设计的自主应用程序的自我管理。自治应用通过考虑自身行为和环境条件的知识来相应地调整其执行。基于QoS的网格用户驱动调度为自治应用提供了自优化能力。计算网格通过在物理位置的多台机器上分散单个大型计算,为用户提供解决大规模问题的能力。基于QoS的用户驱动网格调度器通过应用用户定义的调度策略来减少作业的执行时间,从而提高网格系统的可靠性,提高网格的性能。本文的主要目的是在网格节点之间分配计算负载,并开发一种基于QoS的网格调度算法,使网格更加可靠。网格计算系统不同于传统的分布式计算系统,它强调大规模的资源共享,其中处理器和通信对网格计算的可靠性有重要影响。由最终用户从提交到网格执行的应用程序中启动的可靠性功能。基础设施和管理服务的可靠性,这些服务执行网格系统运行所必需的基本功能,例如资源分配和调度。
2011-02-02 cs.DC
A Grid Service Broker for Scheduling Distributed Data-Oriented Applications on Global Grids
下一代科学实验和研究,通常被称为电子科学,是由分布在世界各地的研究人员进行的,他们从事分析科学仪器产生的大量数据。网格计算已经成为电子科学的推动者,因为它允许创建虚拟组织,将具有共同目标的社区聚集在一起。在社区内,数据汇集存储或复制在分布式资源上,以增强存储能力或访问效率。在这样的环境中,科学家需要有能力通过透明地访问分布式数据和计算资源来进行研究。在本文中,我们提出并开发了一个网格代理,通过(a)为给定的分析场景发现合适的数据源,(b)合适的计算资源,(c)最佳地将分析作业映射到资源,(d)在选定的资源上部署和监视作业执行,(e)在作业执行期间从本地或远程数据源访问数据,以及(f)整理和呈现结果。该代理支持用于创建网格应用程序的声明式和动态参数化编程模型。我们已经使用这个模型在网格启用高能物理分析应用程序(百丽分析软件框架)。该经纪人已被用于在网格测试平台上部署Belle实验数据分析工作,称为Belle分析数据网格,分布在澳大利亚各地的资源通过GrangeNet互连。
2004-05-06 cs.DC
Task Scheduling in Geo-Distributed Computing: A Survey
本综述系统梳理了地理分布式计算中面向性能、公平与容错的任务调度方法,并指出关键挑战与未来方向。
2025-01-26 cs.DC
A Relative Study of Task Scheduling Algorithms in Cloud Computing Environment
云计算是并行处理和分布式计算的范例。它提供计算设施作为一种公用事业服务,按使用方式付费。虚拟化、自助服务配置、弹性和按使用付费是云计算的关键特性。它通过Internet提供不同类型的资源来执行用户提交的任务。在云环境中,大量的任务同时执行,需要有效的任务调度来提高云系统的性能。各种基于云的任务调度算法可用于将用户的任务调度到资源以供执行。由于云计算的新颖性,传统的调度算法已经不能满足云计算的需求,研究人员正在尝试对传统的调度算法进行改进,使其能够满足云计算的快速弹性、资源池化和按需自助服务等需求。本文从执行时间、吞吐量、制作周期、资源利用率、服务质量、能耗、响应时间和成本等调度参数出发,对任务调度算法的现状进行了讨论和比较。
2016-12-16 cs.DC
Efficient Optimal Algorithm of Task Scheduling in Cloud Computing Environment
云计算是分布式计算中的一种新兴技术,它是一种按用户需求付费的计算模式,云计算由一组虚拟机组成,包括计算和存储设备。云计算的主要目的是提供对远程和地理上分布的资源的有效访问。云计算在不断发展的同时也面临着许多挑战,调度就是其中之一。调度是指一组策略,用于控制计算机系统执行的工作顺序。一个好的调度器会根据不断变化的环境和任务类型来调整其调度策略。在这篇研究论文中,我们提出了一个广义优先级算法的有效执行任务和比较FCFS和轮循调度。在Cloud Sim工具包中对算法进行了测试,结果表明该算法比传统的调度算法具有更好的性能。
2014-04-08 cs.DC
Optimal Resource Scheduling and Allocation in Distributed Computing Systems
分布式计算系统的本质是如何调度传入的请求以及如何分配所有计算节点以最小化时间和计算成本。在本文中,我们提出了一个成本意识的最优调度和分配策略的分布式计算系统,同时最小化的成本函数,包括响应时间和服务成本。首先,基于所提出的代价函数,我们同时推导出最优请求调度策略和最优资源分配策略。其次,考虑到请求到达对调度策略的影响,采用加性增乘性减(AIMD)机制对请求到达与调度之间的关系进行建模。特别是,AIMD参数可以设计为使得导出的最佳策略仍然有效。最后,给出了一个数值例子来说明推导的结果。
2021-10-15 cs.DC
A centralized reinforcement learning method for multi-agent job scheduling in Grid
Isfahan University of Technology(伊斯法罕理工大学)
在网格系统中的主要挑战之一是设计一个自适应的,可扩展的,和模型无关的方法来调度作业,以达到理想程度的负载均衡和系统效率。集中式作业调度方法存在单点故障和缺乏可扩展性等缺点。此外,分散的方法需要一个通信有限的协调机制。在本文中,我们提出了一个多智能体的方法,在网格作业调度,命名为集中式学习分布式调度(CLDS),利用强化学习框架。CLDS是一种无模型的方法,它利用作业的信息和它们的完成时间来估计资源的效率。在该方法中,有一个学习者代理和几个调度器代理,执行学习和作业调度的任务,使用的协调策略,保持在有限的水平的通信成本。我们评估的CLDS方法的效率,通过设计和执行一组实验模拟网格系统在不同的系统规模和负载。实验结果表明,CLDS在大规模、重负载的网格环境下仍能有效地平衡系统的负载,同时保持其自适应性能和可扩展性。
2016-09-11 cs.AI cs.DC
Deep Reinforcement Learning-based Methods for Resource Scheduling in Cloud Computing: A Review and Future Directions
本文综述了基于深度强化学习的云计算资源调度方法,回顾其应用并探讨挑战与未来方向,以提升服务质量、降低成本与能耗。
2024-11-21 cs.DC
Job Scheduling in High Performance Computing
近几十年来,超级计算机不断增长的处理能力使我们能够探索越来越复杂的科学问题。有效地调度这些作业对单个作业的性能和系统效率至关重要。传统的高性能计算(HPC)中的作业调度器是简单的,集中在提高CPU利用率。新的硬件资源和新的硬件结构的出现对传统的嵌入式系统提出了严峻的挑战。日益多样化的工作负载(包括计算密集型和数据密集型应用程序)需要更高效的数据处理器。更糟糕的是,上述两个因素相互作用,这使得调度问题更具挑战性。近年来,许多研究探讨了新的调度方法,以应对系统快速变化带来的问题。在这项研究中,我们调查了HPC调度和最先进的调度方法所面临的挑战,以克服这些挑战。此外,我们提出了一个智能调度框架,以减轻现代作业调度中遇到的问题。
2021-09-20 cs.DC
Scheduling IoT Applications in Edge and Fog Computing Environments: A Taxonomy and Future Directions
雾计算作为一种分布式模式,在网络边缘提供云服务,具有低延迟和高访问带宽,以支持各种物联网应用场景。为了充分利用这种计算模式的潜力,需要可扩展的,自适应的和准确的调度机制和算法,以有效地捕获用户,物联网应用,环境属性和优化目标的动态和需求。本文介绍了在雾计算中调度物联网应用程序的最新文献分类。基于我们的新的分类方案,目前的工作在文献中进行了分析,每个类别的研究差距,并描述各自的未来发展方向。
2022-04-26 cs.DC
Dynamic task scheduling in computing cluster environments
在这项研究中,集群计算环境作为一个计算平台。为了提高系统的运行效率,提出了一种动态任务调度算法,使集群节点之间的负载均衡。该技术是动态的,非抢占式的,自适应的,它使用混合的集中和分散的政策。该算法基于分而治之的原则,将集群建模为超网格,然后在它们之间进行负载均衡。递归地,维度为k的超网格被划分为维度为k - 1的网格,直到维度为1。然后,集群中的所有节点几乎都是同等负载的。选择超网格的最佳维度以实现最佳性能。仿真结果表明了该算法的有效性。此外,我们确定了临界点(下限),该算法可以被触发。
2019-02-21 cs.DC
Optimization of Decentralized Scheduling for Physic Applications in Grid Environments
本文提出了一个调度框架,配置,并在分布式系统中使用。我们的工作解决的问题,调度各种计算密集型和数据密集型的应用程序,需要从卫星图像中提取信息。所提出的解决方案允许将图像处理应用映射到可用资源上。调度是在并发应用程序组的级别上完成的。它在调度和执行应用程序组方面表现出非常好的行为,同时还实现了资源的接近最佳利用率。
2008-12-11 cs.DC physics.comp-ph
A Survey on Dynamic Job Scheduling in Grid Environment Based on Heuristic Algorithms
Nallamuthu Gounder Mahalingam College(纳拉穆图·冈德·马哈林加姆学院)
计算网格是分布式计算系统发展的新趋势。它们允许以有效的方式共享地理上分布的资源,扩展了我们所认为的分布式计算的边界。各种科学可以从使用网格来解决CPU密集型问题中受益,为整个社会创造潜在的利益。作业调度是并行和分布式计算的重要组成部分。它允许为特定作业选择正确的资源匹配,从而提高作业吞吐量和资源利用率。作业应该以自动的方式进行调度,以使系统更可靠、更易访问,并且对子系统故障不太敏感。本文综述了各种启发式算法,用于网格调度。
2014-02-21 cs.AI cs.DC
A Linear Programming Driven Genetic Algorithm for Meta-Scheduling on Utility Grids
网格中的用户级代理考虑单个应用的QoS需求,并在不考虑其他用户需求的情况下使其成本最小化。这会导致资源争用和次优调度。网格中的元调度旨在解决这个调度问题,这是NP难,由于其组合的性质。因此,除了传统的算法如Greedy和FCFS之外,已经提出了许多基于遗传算法的解决方案,使用遗传算法(GA)。我们提出了一个线性规划/并行规划模型(LP/IP)调度这些应用程序的多个资源。我们还提出了一种新的算法LPGA(线性规划驱动的遗传算法),它结合了LP和GA的能力。该算法的目的是获得最佳的元调度公用事业网格,最小化所有用户的联合成本在一个协调的方式。仿真结果表明,我们提出的综合算法提供了最好的时间表具有最小的处理成本可以忽略不计。
2009-03-08 cs.DC cs.NE
A Survey on Scheduling the Task in Fog Computing Environment
该综述针对雾计算环境下的任务调度问题,梳理2018-2021年相关研究,分析现有调度方法及核心挑战,并提出该领域的未来研究方向,填补了相关综合综述的空白。
2023-12-20 cs.DC
Task Scheduling in Cloud Computing Using Hybrid Meta-heuristic: A Review
近年来,随着高带宽互联网接入的出现,云计算应用蓬勃发展。随着越来越多的应用程序在云上运行以及不同云平台的总体用户群的增加,对高效作业调度技术的需求也有所增加。传统的作业调度算法的任务是确定作业的执行顺序,其使用最少的资源,如时间、处理、存储器等。通常,用户需要更多的服务和非常高的效率。有效的调度技术有助于资源的合理利用。在这个研究领域中,混合元启发式算法已经被证明是非常有效的优化任务调度提供更好的成本效率比单独使用。这项研究提出了一个系统的和广泛的分析任务调度技术在云计算使用各种混合变种的Meta探试法,如遗传算法,禁忌搜索,和谐搜索,人工蜂群,粒子群优化等在这项研究综述中,一个单独的部分讨论了使用各种性能评估指标在整个文献。
2022-01-23 cs.DC
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始,逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究,在SLA为基础的资源管理,特别侧重于作业调度机制。
2018-12-31 cs.DC
A Workflow-Forecast Approach To The Task Scheduling Problem In Distributed Computing Systems
本文的目的是为学术目的的高性能计算系统提供基于深度学习的调度方法的描述。在TOP500超级计算机站点中,学术用途的分布式计算系统(DCS)的份额达到17.4个百分点(性能指标为15.6个百分点),使其成为一个有价值的研究对象。该方法的核心是利用深度学习算法,根据先前提交的任务预测系统未来的工作流程。资源管理系统(RMS)使用预测任务的信息来执行有效的调度。
2013-10-06 cs.DC
Divisible Load Scheduling in Mobile Grid based on Stackelberg Pricing Game
如今,在计算系统中使用移动节点作为贡献实体已经变得可行。在本文中,我们考虑了一个计算网格中的移动设备可以共享其空闲资源,实现并行处理。整个计算任务可以被任意划分为多个子任务,以分配给移动资源提供者(RP)。在这个过程中,计算负载调度问题是突出的。基于优化目标,即,提出了一种以最小化任务完成时间为目标的买方-卖方模型,在该模型中,任务发起者可以通过支付一定的利润激励SP共享其计算资源。采用Stackelberg定价博弈(SPG)方法,得到每个SP的最优价格和共享资源量。最后,通过系统仿真对算法的性能进行了评估,结果表明基于SPG的负载调度算法可以显著提高移动网格系统的时间增益。
2015-03-18 cs.DC cs.GT
Characterizing Application Scheduling on Edge, Fog and Cloud Computing Resources
云计算已经发展成为由商业提供商提供的流行的分布式计算服务。最近,边缘和雾计算资源作为物联网(IoT)部署的一部分出现在广域网上。这三个资源抽象层是互补的,并提供独特的好处。在云上调度应用程序一直是一个活跃的研究领域,工作流和XML模型作为一个灵活的抽象来指定要执行的应用程序。然而,边缘和雾的应用程序编程和调度模型仍在成熟中,并且可以从云资源的学习中受益。同时,在应用程序的执行中使用这些资源也是有价值的。在本文中,我们提出了一个概念分类,这些概念对于指定和解决边缘上的应用程序调度问题,以及云计算资源至关重要。我们首先描述了这些基础设施的资源能力和局限性,并设计了一个分类的应用程序模型,服务质量(QoS)的约束和目标,调度技术,基于文献综述。我们还使用这种分类法列出了关键的研究原型和论文。这项调查有利于这些分布式资源的开发人员和研究人员设计和分类他们的应用程序,选择相关的计算抽象,开发或选择适当的调度算法。它还强调了文学中仍然存在开放问题的差距。
2019-04-23 cs.DC
DCSim: Computing and Networking Integration based Container Scheduling Simulator for Data Centers
本文提出DCSim容器调度模拟器,融合计算与网络建模,基于SimPy和Mininet实现数据中心容器调度仿真,以解决传统模拟器忽视网络影响的问题。
2024-11-21 cs.DC
Distributed and Application-aware Task Scheduling in Edge-clouds
边缘计算是一种新兴技术,它将计算置于网络边缘以提供超低延迟。计算卸载是一种将计算从移动设备迁移到远程服务器的范例,现在可以通过将计算卸载到边缘云中的云来使用边缘计算的力量。然而,边缘云计算卸载的任务调度面临着双重挑战。首先,由于微云在地理上是分布式的,因此在没有集中控制的情况下,每个微云很难执行负载均衡。第二,由于计算卸载的任务具有多种类型,因此在任务类型方面保证用户体验质量(QoE)是具有挑战性的。在本文中,我们提出了Petrel,一个分布式和应用程序感知的边缘云任务调度框架。Petrel实现了基于样本的负载均衡技术,并根据任务类型采用自适应调度策略。这种应用感知调度不仅提供了QoE保证,而且提高了整体调度性能。跟踪驱动的模拟表明,Petrel实现了显着的改善,现有的调度策略。
2019-02-12 cs.DC
Scheduling of Distributed Applications on the Computing Continuum: A Survey
本文综述了计算连续体中分布式应用调度研究,系统梳理了面向云、雾、边缘异构环境的目标、方法与评估工具,为NP难资源分配与调度问题提供参考。
2024-01-20 cs.DC
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University(诺丁汉特伦特大学);Loughborough University(拉夫堡大学);University of Bologna(博洛尼亚大学);TU Wien(维也纳工业大学);University of Oregon(俄勒冈大学)
本文提出Scale框架,通过深度强化学习优化容器调度与资源分配,在动态负载下平衡系统稳定性和性能,实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
An energy-efficient scheduling algorithm for shared facility supercomputer centers
高性能计算的发展与能源消耗的增长有关。集群计算的性能(通过提高性能和使用的处理器、GPU和协处理器的数量来提高)。计算元件数量的增加导致能量消耗的显著增长。超级计算机中心(SCC)的电网限制正在推动向更节能的解决方案过渡。计算资源的升级通常是逐步完成的,即旧超级计算机的部分被从服务中删除,并被新的超级计算机取代。单个SCC在任何时候都可以操作具有不同性能和功耗的多个计算系统。这就是为什么在SCC资源上调度并行程序执行以优化能耗并最小化执行时间的增加(节能调度)的问题是重要的。所提出的工作的目标是在SCC调度计算资源的一个新的节能算法的发展。为了达到这一目标,作者分析了在共享设施中调度计算资源的方法,包括能量消耗最小化方法。该研究使得有可能制定一组CC的节能调度问题,并提出了一种算法,其解决方案。NPB基准测试的实验允许实现显着降低能耗与运行时间的小幅增加。
2021-11-17 cs.DC
Scheduling in Cloud,Fog, and Edge Computing: A Comparative Analysis and Decision Framework for Technique Selection
Department of Computing and Software, McMaster University(麦克马斯特大学计算与软件系)
本综述对比分析云、雾、边缘计算中不同调度技术的权衡,开发了基于多维度因素的调度技术选择决策框架,为相关场景的调度方法选型提供指导。
2026-10-12 cs.DC
EcoLife: Carbon-Aware Serverless Function Scheduling for Sustainable Computing
本文提出ECOLIFE,首个协同优化碳足迹与性能的碳感知无服务器函数调度器,通过智能利用多代硬件并扩展粒子群优化算法,在保证高性能的同时有效降低碳足迹。
2024-10-16 cs.DC
Carbon-Neutralized Task Scheduling for Green Computing Networks
人类活动造成的碳排放量增加导致的气候变化已被确定为对地球最严重的威胁之一。碳中和作为扭转气候变化的关键方法,已引发新法规的制定,以强制经济活动转向低碳解决方案。使用户能够处理计算密集型任务的计算网络由于能源消耗的增加而产生大量的碳排放。为了分析通过调度策略可实现的碳排放减少,我们首先提出了一种新的虚拟调度网络模型,该模型捕获网络中的通信和计算过程。为了适应计算网络所利用的可再生能源的高度可变和不可预测的性质(即,网格的碳强度随时间和位置而变化),提出了一种新的基于碳强度的调度策略,通过Lyapunov优化中的漂移加惩罚方法在云上动态调度计算任务.我们使用真实世界数据的数值分析表明,与基于长度的策略相比,该策略在AI模型训练任务的累积碳排放量上减少了54%。
2022-09-06 cs.DC
Energy-Efficient Scheduling of HPC Applications in Cloud Computing Environments
高性能计算(HPC)在商业和消费者IT应用中的使用正变得越来越普遍。他们需要能够快速、可扩展地访问高端计算功能。云计算承诺使用数据中心提供这样的计算基础设施,以便HPC用户可以根据需要从世界任何地方的云访问应用程序和数据,并根据他们使用的内容付费。然而,不断增长的需求急剧增加了数据中心的能源消耗,这已成为一个关键问题。高能耗不仅意味着高能源成本,这将降低云提供商的利润率,而且还意味着高碳排放,这对环境来说是不可持续的。因此,需要节能的解决方案,不仅从云提供商的角度,而且从环境的角度来解决能源消耗的高增长。为了解决这个问题,我们提出了接近最佳的调度策略,利用跨多个数据中心的云提供商的异构性。我们考虑了许多能源效率因素,如能源成本、碳排放率、工作负载和CPU能效,这些因素在不同的数据中心中会根据位置、架构设计和管理系统而变化。与基于利润的调度政策相比,我们基于碳/能源的调度政策能够实现平均高达30%的能源节约,从而实现更高的利润和更少的碳排放。
2009-09-07 cs.DC
Scheduling Policies for Stability and Optimal Server Running Cost in Cloud Computing Platforms
我们提出了吞吐量和成本最优的作业调度算法在云计算平台提供基础设施即服务。我们首先考虑在线迁移,并提出作业调度算法,以尽量减少作业迁移和服务器运行成本。我们认为算法,假设知识的工作量到达的工作。我们刻画了系统稳定性的最优成本。我们开发了一个基于漂移加惩罚框架的算法,可以任意接近地实现最优成本。具体来说,该算法产生延迟和成本之间的权衡。然后,我们放松了工作规模的知识假设,并给出了一个算法,使用现成的服务的工作。我们表明,该算法给出了订单明智的相同成本的工作大小为基础的算法。稍后,我们考虑引起迁移延迟的离线作业迁移。我们再次提出吞吐量优化算法,最大限度地减少服务器运行成本。我们说明了所提出的算法的性能,并通过仿真比较这些现有的算法。
2022-06-05 cs.DC
Service Level Driven Job Scheduling in Multi-Tier Cloud Computing: A Biologically Inspired Approach
云计算环境通常必须处理随机到达的计算工作负载,这些计算工作负载在资源需求方面变化并且要求高服务质量(QoS)义务。通常采用服务级别协议(SLA)来管理云计算服务提供商对客户端的QoS义务。服务提供商每天面临的一个典型挑战是在可用于计算的有限资源与变化的随机需求的高QoS要求之间保持平衡。在管理这些相互冲突的目标方面的任何不平衡都可能导致客户不满意和潜在的重大商业处罚,或者导致资源过剩的云计算环境,其获取和运营成本可能非常高。因此,在客户端到达环境时调度客户端的工作负载以确保其及时执行已经成为云计算中的中心问题。在文献中已经报道了各种方法来解决这个问题:最短队列,加入空闲队列,循环,最小最小,最大最小和最小连接,仅举几例。然而,这些方法的优化策略未能捕获QoS义务及其相关的商业处罚。本文提出了一种在多层环境中实现服务级驱动的负载调度和平衡的方法。采用联合调度和平衡操作来在资源之间分配和调度作业,使得客户端作业的总等待时间最小化,并且因此减轻了由服务提供商招致的惩罚的可能性。一个惩罚模型被用来量化惩罚的服务提供商招致的作业的总等待时间的函数。一个虚拟队列抽象,提出了促进最佳的作业调度在层次上。该问题是NP完全问题,提出了一种求解作业调度问题的遗传算法。
2020-04-12 cs.DC
Reinforcement Learning based Workflow Scheduling in Cloud and Edge Computing Environments: A Taxonomy, Review and Future Directions
本文综述云与边缘环境中基于DRL的工作流调度,提出分类体系并评估现有研究优劣,指出多目标、维度灾难等挑战及未来方向。
2024-08-06 cs.DC
Take a break: cloud scheduling optimized for real-time electricity pricing
云计算以其弹性的、按需的计算资源方法彻底改变了行业,但也对环境产生了巨大影响。数据中心占全球总用电量的1.1-1.5%。通过分析实时的【形】电价,我们对电网有了更深入的了解,为电网感知云奠定了基础。我们提出了一个调度算法,预测电价峰值和节流能源消耗暂停虚拟机。我们通过实证方法对OpenStack云管理器的方法进行了评估,并显示了能耗和成本的降低。最后,我们定义了绿色实例,在这些实例中,云提供商可以以更好的价格选项向客户提供此类服务。
2013-07-26 cs.DC
An optimised cuckoo-based discrete symbiotic organisms search strategy for tasks scheduling in cloud computing environment
本文提出结合Levy-Flight的C-DSOS策略用于云计算任务调度,以最小化不平衡度,实验证明其在大搜索空间下收敛率和统计显著性优于SASOS算法。
2023-11-26 cs.DC
A Stochastic Approximation Approach for Foresighted Task Scheduling in Cloud Computing
随着对云资源需求的不断增长和弹性化,寻找一种最优的任务调度机制成为云服务提供商面临的挑战。由于资源需求在长度和处理上随时间的时变性质以及云资源的动态性和异构性,旨在最大化任务调度性能的现有近视任务调度解决方案是低效的,并且牺牲了在资源利用率和响应时间方面的长期系统性能。在本文中,我们提出了一个最佳的解决方案,在云环境中执行前瞻性的任务调度。针对虚拟机队列长度动态变化的先验知识在运行时间未知的问题,提出了一种在线强化学习方法来进行有预见的任务分配.评估结果表明,我们的方法不仅减少了提交任务的响应时间和完工时间,而且提高了资源效率。因此本文提出了一种基于强化学习的调度方法。强化学习适应环境条件,响应不稳定的要求,可以使系统的性能得到长期的提高。结果表明,该方法不仅可以减少响应时间和最大完工时间,而且可以提高资源利用率作为次要目标。
2020-04-11 cs.DC
FissionReady: Joint Workload and Power Scheduling for Data Centers Powered by Small Modular Reactors
IIT Tirupati(蒂鲁帕蒂印度理工学院);University of Utah(犹他大学);Northeastern University(东北大学)
FissionReady是一种面向SMR供电数据中心的调度器,通过跟踪燃料年龄和氙状态确定运行包络,并采用双时间尺度优化协调负荷跟踪与电网购电,实现零停堆和零截止时间错过,同时大幅降低水耗和电网成本。
2026-10-01 cs.DC