Enabling Adaptive Grid Scheduling and Resource Management
网格概念的广泛采用使得科学家和研究人员可以使用越来越多的联合计算、存储和可视化资源。这些资源的分布式和异构性使得大多数传统的集群监控和管理方法不合适,并对此类系统的工作流调度提出了新的挑战。有效的资源利用率监控和高粒度但自适应的测量是一个更有效的网格调度的先决条件。我们提出了一套测量应用程序,能够监控每个进程的资源利用率,和一个可定制的工具,用于模拟观察到的利用率模型。我们还概述了我们未来的工作预测和概率网格调度。该研究是英国电子科学EPSRC与BT合作赞助的SO-GRM(自组织网格资源管理)项目的一部分。
2007-11-02 cs.DC
Learning to Dynamically Select Cost Optimal Schedulers in Cloud Computing Environments
云计算平台的运营成本是运营商最重要的服务质量(QoS)标准之一,对于跟上不断增长的计算需求至关重要。近年来,已经提出了几种基于数据驱动的深度神经网络(DNN)的路由器,通过为动态工作负载提供可扩展和有效的资源管理,这些路由器的性能优于替代方法。然而,最先进的调度器依赖于具有高计算要求的高级DNN,这意味着高调度成本。在非固定的情况下,可能并不总是需要最复杂的过滤器,依靠低成本的过滤器可能足以暂时节省运营成本。在这项工作中,我们提出了MetaNet,一个代理模型,预测的运营成本和调度开销的大量基于DNN的调度器,并选择一个在飞行中,以共同优化作业调度和执行成本。与最先进的方法相比,这有助于改善执行成本,能源使用和服务水平协议违规高达11%,43%和13%。
2022-05-21 cs.DC cs.PF
Efficient Resource Matching in Heterogeneous Grid Using Resource Vector
本文提出了一种在分布式校园网格环境中有效调度作业以获得最佳作业吞吐量的方法。传统的作业调度器根据用户和作业资源属性来确定作业调度。用户属性与当前使用、历史使用、用户优先级和项目访问相关。作业资源属性主要包括软需求(编译器,库)和硬需求,如内存,存储和互连。如果资源满足作业的硬要求和软要求,则作业调度程序将作业分派给资源。在作业执行期间的当前场景中,如果资源变得不可用,则向调度器呈现有限的选项,即重新排队作业或将作业迁移到不同的资源。这两种选择在数据和计算时间方面都很昂贵。如果考虑网格环境中资源的可用时间这一经常被忽略的因素,这些情况就可以避免。我们提出了资源排名的方法,在该方法中,作业被分派到一个资源,其中具有最高的排名之间的所有资源,匹配的作业的要求。结果表明,我们的方法可以提高许多串行/单片作业的吞吐量。
2010-06-07 cs.DC
A QoS aware Novel Probabilistic strategy for Dynamic Resource Allocation
针对云计算、网格等服务计算领域的资源分配问题,提出了一种基于两人博弈的资源分配策略。拟议的战略将把它们分为两类。所提出的系统将预测结果使用先验信息和测量/估计现有的参数,如利用率和延迟在一个最佳的负载平衡的范例。关键词:负载均衡;服务计算;逻辑回归;概率估计
2015-03-24 cs.DC
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley(加州大学伯克利分校)
提出DriftSched框架,通过运行时反馈驱动的漂移补偿和自适应偏差校正,解决多租户LLM推理中令牌漂移导致的调度问题,在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Improving Overhead Computation and pre-processing Time for Grid Scheduling System
计算网格是一个巨大的环境,具有异构的资源和稳定的基础设施之间的其他基于Internet的计算系统。然而,这种系统中的资源管理有其特殊的问题。调度系统需要从信息中心获取参与节点的最新信息,以便进行可靠的作业调度。在本文中,我们专注于在线更新资源信息中心处理和提供的数据的基础上假设的层次模型。采用混合知识抽取方法对网格节点进行分类,并基于工件特征预测。本研究的一个肯定的观点是,调度系统不会浪费额外的时间来获取网格节点的最新信息。实验结果表明,我们的方法相比,其他保守的方法的优势,特别是由于它能够预测节点的行为的基础上,每个节点上的综合数据表。
2010-05-06 cs.DC
Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments
在网格调度决策的基础上,往往是数据或计算密集型的工作:在数据密集型的情况下,工作可能会推到数据和计算密集型的情况下,数据可能会拉到作业。这种调度,其中有没有考虑网络特性,可能会导致性能下降,在网格环境中,并可能导致大的处理队列和作业执行延迟,由于网站过载。在本文中,我们描述了一种数据密集型和网络感知(DIANA)元调度方法,该方法在跨多个站点做出调度决策时考虑数据、处理能力和网络特征。通过一个网格测试平台上的实际实现,我们证明了数据密集型作业的队列和执行时间可以显着改善,当我们引入我们提出的DIANA调度。基本调度决策由每个潜在目标位置的加权因子决定,该加权因子是网络特性、处理周期以及数据位置和大小的计算函数。作业调度器提供计算资源的全局排名,然后基于该总体访问和执行成本来选择最优的计算资源。DIANA方法将网格视为活动网络元素的组合,并将网络特性作为调度决策矩阵中的第一类标准以及计算和数据。然后,调度器可以通过考虑网络的变化状态、数据的位置和大小以及可用处理周期池来做出明智的决策。
2007-07-05 cs.DC
Scheduler Technologies in Support of High Performance Data Analysis
作业调度器是可伸缩计算基础设施的关键组件。它们协调在计算基础设施上执行的所有工作,并直接影响系统的有效性。最近,工作负载已经多样化,从长时间运行,同步并行模拟,包括短时间,独立并行高性能数据分析(HPDA)的工作。这些作业类型中的每一种都需要不同的功能和调度程序调优才能有效运行。已经开发了许多并行计算器来解决作业工作负载和计算系统异构性。高性能计算(HPC)调度器被设计为在超级计算机上调度大规模科学建模和模拟。大数据调度器旨在在集群上调度数据处理和分析工作。本白皮书比较和对比了HPC和大数据处理器的功能,重点是同时适应科学计算和高性能数据分析工作负载。作业延迟对于可扩展计算基础设施的有效利用至关重要,本文介绍了几个当前集群的作业启动基准测试结果:Slurm,网格引擎之子,Mesos和Yarn。我们发现,所有这些调度器都具有较低的短期运行作业的利用率。此外,采用多级调度显着提高了利用率在所有的集群。
2016-07-22 cs.DC
Complete Visibility Algorithm for Autonomous Mobile Luminous Robots under an Asynchronous Scheduler on Grid Plane
Nagoya Institute of Technology(名古屋工业大学);Hosei University(法政大学)
针对无限网格平面上不透明发光机器人的完全可见性问题,提出一种仅用两种颜色、支持异步运行且无需知晓机器人总数的分布式算法,明确了机器人能力与问题可解性的关联。
2023-06-14 cs.DC cs.RO
Tolerance to Asynchrony of an Algorithm for Gathering Myopic Robots on an Infinite Triangular Grid
本文证明无限三角网格上聚集距离1近视机器人的算法具有格线性,无需分布式调度器即可在异步下正确运行,支持单向相机,且收敛复杂度降至2n轮。
2024-01-10 cs.DC
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域,作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看,作业调度器是超级计算机的领域,而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近,大数据工作负载产生了对一类新计算的需求,这些计算包括许多需要数秒或数分钟的短计算,这些计算处理大量数据。对于超级计算机和大数据系统,作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载,调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验,旨在测量调度器延迟。详细的基准测试四个最流行的插件(Slurm,网格引擎之子,Mesos和Hadoop YARN)进行。理论模型与数据进行比较,并表明,调度器的性能可以由两个关键参数:调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器,对于仅持续几秒的计算,计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%,用于测试的所有四个编译器。
2017-05-08 cs.DC
An Algorithm for File Transfer Scheduling in Grid Environments
针对网格环境下的数据传输调度问题,提出了一种具有动态和自适应特性的集中式调度器。该算法为用户传输请求提供了一个预留系统,该系统根据网络拓扑结构和用户为请求指定的约束来分配传输时间和带宽。本文介绍了与数据传输领域相关的项目,调度器的框架设计,调度器的主要功能,传输请求重新调度的步骤和两个测试,说明系统的行为,不同类型的传输请求。
2009-01-02 cs.DC cs.DS cs.NI
Deadline aware virtual machine scheduler for scientific grids and cloud computing
虚拟化技术使应用程序能够与底层硬件分离,从而提供可移植性、更好地控制执行环境和隔离的好处。它已被广泛应用于科学网格和商业云。由于虚拟化虽然有好处,但也会带来性能损失,这对于处理不确定性的系统来说可能很重要,例如高性能计算(HPC)应用程序,其中作业的截止日期很紧,并且在运行之前依赖于其他作业。主要的障碍在于弥合作业的性能要求和虚拟化技术提供的性能之间的差距,如果作业要在虚拟机中执行。在本文中,我们提出了一种新的方法来优化作业的最后期限时,在虚拟机上运行,通过开发一个最后期限感知算法,响应作业的执行延迟在实时的,并动态优化作业,以满足其最后期限的义务。我们的方法借用的概念都从信号处理和统计技术,其比较性能的结果,包括对硬件资源的利用率的影响,在本文的后面。
2010-09-24 cs.DC cs.PF cs.SE
PES: Proactive Event Scheduling for Responsive and Energy-Efficient Mobile Web Computing
Web应用程序正逐渐转向资源受限的移动设备。因此,Web运行时系统必须同时解决两个挑战:响应性和能源效率。传统的Web运行时系统由于其反应性而不足:它们仅在用户事件被触发后才对其做出反应。反应式策略会导致局部优化,每次只调度一个事件执行,从而错过全局优化机会。本文提出了主动事件调度(PES)。PES的核心思想是主动预测未来的事件,从而在全球范围内协调跨事件的调度决策。具体而言,PES使用统计推断和应用程序代码分析的组合来预测可能在不久的将来发生的事件。PES然后以满足所有事件的QoS约束同时最小化全局能量消耗的方式提前推测性地执行未来事件。从根本上说,PES通过扩大调度窗口来解锁更多的优化机会,这使得在未完成的事件和预测的事件之间进行协调。硬件测量表明,PES降低QoS违规和能源消耗分别为61.2%和26.5%,比Android默认的交互式CPU总督。它还减少了63.1%和17.9%的QoS违规和能源消耗,分别相比,EBS,一个国家的最先进的反应式调度。
2019-11-15 cs.DC
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中,我们将讨论为什么现有的元调度层次结构有时是不够的网格系统,由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载,这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型,并使用案例研究和数学建模进行评估。我们详细介绍了DIANA(数据密集型和网络意识)调度算法和队列管理系统,以应付负载分布和支持批量作业调度。我们证明,这样的系统是有益的动态,分布式和自组织的资源管理,并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
Libra: An Economy driven Job Scheduling System for Clusters
计算机集群已经成为高性能、高吞吐量和高可用性计算的主流并行和分布式平台。为了实现对集群的有效资源管理,已经设计了许多集群管理系统和集群管理器。然而,他们的重点基本上是最大限度地提高CPU性能,而不是提高交付给用户的实用程序的价值和服务的服务质量。本文提出了一种新的计算经济驱动的调度系统称为天秤座,它已被设计为支持基于用户的资源分配?服务质量(QoS)要求。它旨在作为现有排队和资源管理系统的附加组件。第一个版本已经实现为PBS(便携式批处理系统)系统的插件调度程序。调度器提供基于市场的经济驱动的服务,用于管理集群上的批处理作业,根据用户的预算和最后期限,而不是系统性能考虑确定的效用调度CPU时间。Libra调度器确保在O(n)运行时间内满足这两个约束。Libra调度器已经使用GridSim工具包进行了模拟,以进行详细的性能分析。结果表明,基于截止日期和预算的比例资源分配策略相比,以系统为中心的调度策略,提高了系统的效用和用户满意度。
2002-07-22 cs.DC cs.DS
Bulk Scheduling with the DIANA Scheduler
从研究和开发的数据密集型和网络感知(DIANA)调度引擎,主要用于数据密集型科学,如物理分析的结果进行了说明。在网格分析中,任务可能涉及成千上万的计算、数据处理和网络资源。调度这些资源的核心问题是在多个位置协调管理计算和数据,而不仅仅是数据复制或移动。然而,这可能被证明是一个相当昂贵的操作,如果在不考虑网络成本的情况下映射计算和数据资源,那么高效的服务可能是一个挑战。我们已经实现了一个自适应算法,在所谓的DIANA的范围内,考虑到数据的位置和大小,网络性能和计算能力,以实现高效的全球调度。DIANA是一个性能感知和经济导向的Meta平台。它迭代地将每个作业分配到最有可能产生最佳性能的站点,并为任何剩余作业优化全局队列。因此,无论是提交单个作业还是执行批量调度,都同样适用。结果表明,相当大的性能改善,可以通过采用DIANA调度方法。
2006-08-08 cs.DC
An Integrated Framework for Performance Analysis and Tuning in Grid Environment
在一个异构的、动态的环境中,如网格,事后分析是没有用的,数据需要实时的收集和分析。还需要新的技术来动态调整应用程序的性能和资源代理,以保持所需的QoS。本文的目的是提出一个综合框架的性能分析和调整的应用程序,并重新调度的应用程序,如果必要的话,一些其他的资源,以适应不断变化的资源使用情况下,在一个动态的环境。
2010-05-12 cs.DC
Jiagu: Optimizing Serverless Computing Resource Utilization with Harmonized Efficiency and Practicability
针对无服务器平台资源利用率与实用性难兼顾的问题,提出 Jiagu,通过预决策调度和双阶段扩缩容提升部署密度并降低调度与冷启动开销。
2024-03-01 cs.DC
Intelligent strategies for DAG scheduling optimization in Grid environments
提出了一种网格环境下动态DAG调度问题的解决方案。提出了一种分布式、可扩展、高效、容错的任务优化分配算法。具有依赖关系的任务的调度算法使用启发式模型来优化任务执行的总成本。提出了一种基于遗传算法的资源优化分配方法。实验使用MonALISA监测环境及其扩展。结果表明,与其他调度方法相比,这种DAG调度算法的性能非常好。
2011-06-27 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等(P2P)网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中,资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性,需要在不同的场景下评估它们的性能,例如不同数量的资源和具有不同需求的用户。在网格环境中,由于资源和用户分布在多个组织中,并且具有各自的策略,因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制,我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源(时间和空间共享)、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性,我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
Adaptive Execution Scheduler for DataDios SmartDiff
Aryan Poduri
提出一种自适应调度器,通过动态调整批大小和线程数,在固定资源下最小化差分引擎SmartDiff的p95延迟,相比基线降低延迟23-40%,内存16-32%,且无OOM。
2025-10-09 cs.DC cs.LG
ReSHAPE: A Framework for Dynamic Resizing and Scheduling of Homogeneous Applications in a Parallel Environment
在科学和工程中的应用程序通常需要大量的计算资源,以在合理的时间范围内解决问题。并行超级计算机为解决此类问题提供了计算基础设施。在并行集群上运行的传统应用程序调度器仅支持静态调度,其中分配给应用程序的处理器数量在作业执行的整个生命周期内保持固定。由于作业到达时间的不可预测性和变化的资源需求,静态调度可能导致空闲的系统资源,从而降低整个系统的吞吐量。在本文中,我们提出了一个原型框架称为ReSHAPE,它支持动态的并行MPI应用程序在分布式内存平台上执行。该框架包括一个支持应用程序调度的调度程序、一个使应用程序能够与调度程序交互的API,以及一个使调度变得可行的库。使用ReSHAPE调度器框架执行的应用程序可以扩展以利用额外的空闲处理器,也可以缩小以适应高优先级应用程序,而不会挂起。在我们的研究中,我们主要集中在结构化的应用程序,具有分布在二维处理器网格的二维数据数组。调整大小库包括用于处理器选择和处理器映射的算法。实验结果表明,ReSHAPE框架可以提高单个作业的周转时间和系统的整体吞吐量。
2007-03-27 cs.DC
DeepShare: Assurance-Driven Deep Learning Job Scheduling for Multi-Tenant Clusters
Beihang University(北京航空航天大学);University of Leeds(利兹大学)
针对多租户GPU集群利用率低和排队延迟高的问题,提出DeepShare调度器,通过连续租户保障信号协调配额借用、抢占与共享,实现利用率提升29.5%、延迟降低46%。
2026-09-16 cs.DC
FissionReady: Joint Workload and Power Scheduling for Data Centers Powered by Small Modular Reactors
IIT Tirupati(蒂鲁帕蒂印度理工学院);University of Utah(犹他大学);Northeastern University(东北大学)
FissionReady是一种面向SMR供电数据中心的调度器,通过跟踪燃料年龄和氙状态确定运行包络,并采用双时间尺度优化协调负荷跟踪与电网购电,实现零停堆和零截止时间错过,同时大幅降低水耗和电网成本。
2026-10-01 cs.DC
A Case for Cooperative and Incentive-Based Coupling of Distributed Clusters
在过去的五年中,对网格计算的研究兴趣显著增长。分布式资源管理是网格计算的关键问题之一。资源管理的核心是资源分配的有效性,因为它决定了系统的总体效用。当前网格环境中的超调度方法是不协调的,因为应用程序级调度器或代理独立于系统中的其他调度器做出调度决策。显然,由于可能发生的次优调度,这可能加剧分布式资源的负载共享和利用问题。为了克服这些局限性,我们提出了一种基于计算经济的分布式集群协调共享机制。由此产生的环境称为\emph{Grid-Federation},允许在本地资源不足以满足其用户需求时透明地使用来自联合的资源。在协调资源分配中使用计算经济方法不仅促进了基于QoS的调度,而且提高了由资源提供的效用。
2006-05-15 cs.DC
How Can Datacenters Join the Smart Grid to Address the Climate Crisis? Using simulation to explore power and cost effects of direct participation in the energy market
在气候危机中,可再生能源的大量引入给电网及其周边市场带来了巨大的挑战。随着能源中心变得越来越大,越来越强大,它们在能源领域发挥着越来越重要的作用。由于其独特的特性,整流器已被证明非常适合于调节电网,但目前几乎没有提供这种主动响应。这个问题是由于诸如市场设计的不适合性、当前提出的解决方案的高度复杂性以及其潜在风险等问题。这项工作的目的是为个人能源企业提供有关直接参与能源市场的可行性和盈利能力的见解。通过对数据中心的电力系统进行建模,并对真实世界的数据中心痕迹进行模拟,我们证明了个人数据中心直接参与前一天和平衡市场的巨大经济激励。反过来,我们建议一个新的短期的,直接的市场参与计划,为个人零售商,以取代目前的长期,不活跃的参与。此外,我们开发了一种新的主动DVFS调度算法,既可以减少能源消耗,节省能源成本的市场参与的制造商。此外,在开发这个调度器,我们提出了一个创新的组合机器学习方法和DVFS技术,可以提供电网的间接需求响应(DR)。我们的实验结果强烈支持,个人发电商可以而且应该直接参与能源市场,以节省他们的能源成本和抑制他们的能源消耗,同时为电网提供间接DR。
2021-08-05 cs.DC
QoS Aware Mixed-Criticality Task Scheduling in Vehicular Edge Cloud System
针对车载边缘云系统,提出混合调度方法,通过基站选择、关键性任务优先和低关键性任务丢弃策略,最大化基础设施利润,QoS提升达25%。
2024-07-20 cs.DC cs.SY eess.SY
A Linear Programming Driven Genetic Algorithm for Meta-Scheduling on Utility Grids
网格中的用户级代理考虑单个应用的QoS需求,并在不考虑其他用户需求的情况下使其成本最小化。这会导致资源争用和次优调度。网格中的元调度旨在解决这个调度问题,这是NP难,由于其组合的性质。因此,除了传统的算法如Greedy和FCFS之外,已经提出了许多基于遗传算法的解决方案,使用遗传算法(GA)。我们提出了一个线性规划/并行规划模型(LP/IP)调度这些应用程序的多个资源。我们还提出了一种新的算法LPGA(线性规划驱动的遗传算法),它结合了LP和GA的能力。该算法的目的是获得最佳的元调度公用事业网格,最小化所有用户的联合成本在一个协调的方式。仿真结果表明,我们提出的综合算法提供了最好的时间表具有最小的处理成本可以忽略不计。
2009-03-08 cs.DC cs.NE
A centralized reinforcement learning method for multi-agent job scheduling in Grid
Isfahan University of Technology(伊斯法罕理工大学)
在网格系统中的主要挑战之一是设计一个自适应的,可扩展的,和模型无关的方法来调度作业,以达到理想程度的负载均衡和系统效率。集中式作业调度方法存在单点故障和缺乏可扩展性等缺点。此外,分散的方法需要一个通信有限的协调机制。在本文中,我们提出了一个多智能体的方法,在网格作业调度,命名为集中式学习分布式调度(CLDS),利用强化学习框架。CLDS是一种无模型的方法,它利用作业的信息和它们的完成时间来估计资源的效率。在该方法中,有一个学习者代理和几个调度器代理,执行学习和作业调度的任务,使用的协调策略,保持在有限的水平的通信成本。我们评估的CLDS方法的效率,通过设计和执行一组实验模拟网格系统在不同的系统规模和负载。实验结果表明,CLDS在大规模、重负载的网格环境下仍能有效地平衡系统的负载,同时保持其自适应性能和可扩展性。
2016-09-11 cs.AI cs.DC
ncsim: A Lightweight Simulator for Networked Edge Computing with Wireless Interference Modeling
University of Southern California(南加州大学);Loyola Marymount University(洛约拉马利蒙特大学)
ncsim通过结合DAG工作流调度与物理基础的IEEE 802.11 CSMA/CA干扰建模,解决无线边缘计算中计算放置与干扰建模的耦合问题,实验显示干扰影响显著导致调度器排名反转。
2026-09-06 cs.DC cs.NI
Examining QRMI as a Unified Interface for Quantum-HPC Integration
Alice & Bob;CINECA;HPC Gridware;IBM;Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);National Quantum Computing Centre(国家量子计算中心);Oak Ridge National Laboratory(橡树岭国家实验室);Pasqal;Qilimanjaro Quantum Tech;Rensselaer Polytechnic Institute(伦斯勒理工学院);Siemens(西门子);STFC Hartree Centre(STFC哈特里中心)
研究如何将量子资源集成到高性能计算环境,核心方法是用QRMI通过中间件层提供标准化API。贡献是将QRMI验证扩展到多种工作负载管理器,证明其提供可移植灵活抽象层,能跨环境一致访问异构量子资源。
2026-08-11 cs.DC cs.ET
A Non-Cooperative Game Model for Reliability-Based Task Scheduling in Cloud Computing
云计算是在网格计算基础上发展起来的一种新兴的分布式系统。任务调度是云计算的核心研究内容,它研究如何在物理节点之间分配任务,使任务得到均衡的分配或使每个任务的执行代价降到最低,或使系统整体性能达到最优。与以往基于时间或成本的任务调度不同,针对云计算对可靠性的特殊要求,提出了一种基于非合作博弈模型的可靠性任务调度方法。该模型以计算节点提供的稳态可用性为目标,以计算节点的任务切片策略为博弈策略,求得纳什均衡解。并在此基础上设计了一个任务调度算法。实验结果表明,本文提出的任务调度算法优于所谓的均衡调度算法。
2014-04-18 cs.DC
Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments
有效和可靠地管理和执行大规模科学计算的实际实现是相当具有挑战性的。科学计算通常涉及对大量数据进行操作的数千甚至数百万个任务,这样的数据通常是分布式结构化的并且以异构物理格式存储,并且科学家必须在异构、分布式并且可能不断变化的计算、存储和网络资源的集合上指定和运行这样的计算。我们提出了几个先进的系统:Swift,Karajan和Falkon的集成,以解决在网格环境中运行各种大规模的科学应用程序的挑战。Swift是一种并行编程工具,用于快速可靠地规范、执行和管理大规模科学和工程工作流。Swift由一个名为SwiftScript的简单脚本语言和一个强大的运行时系统组成,该系统基于CoG Karajan工作流引擎,并集成了Falkon轻量级任务执行服务,该服务使用多级调度和流线型调度器。我们展示了集成系统的可扩展性,性能和可靠性,使用来自天文学,认知神经科学和分子动力学,这都包括大量的细粒度的工作的应用程序的例子。我们表明,Swift能够表示动态工作流,其结构只能在运行时确定,并使用SwiftScript大大减少了各种工作流表示的代码大小;通过Karajan引擎调度执行数十万并行计算;与传统的批处理器相比,执行时间减少了90%。
2008-08-26 cs.DC cs.PL
GOSH: Task Scheduling Using Deep Surrogate Models in Fog Computing Environments
Imperial College London(帝国理工学院);Loughborough University(拉夫堡大学)
近年来,人们提出了一种基于代理模型的智能调度方法来有效地分配异构雾环境中的易变任务。确定性代理模型、深度神经网络(DNN)和基于梯度的优化等先进技术可以实现低能耗和响应时间。然而,确定性代理模型,估计优化的目标值,不考虑的服务质量(QoS)的目标函数,可能会导致高的服务水平协议(SLA)违反率的分布的不确定性。此外,DNN训练的脆弱性阻止了这些模型达到最小能量或响应时间。为了克服这些困难,我们提出了一种新的调度:GOSH,即基于梯度的优化使用二阶导数和异方差深代理模型。GOSH使用基于二阶梯度的优化方法来获得更好的QoS,并减少迭代次数以收敛到调度决策,从而降低调度时间。GOSH使用自然参数网络来近似客观分数,而不是普通的DNN。此外,置信下限优化方法允许GOSH通过采用基于错误的探索来找到平均延迟的贪婪最小化和不确定性降低之间的最佳权衡。因此,GOSH及其基于协同仿真的扩展GOSH* 可以快速适应,并达到比基线方法更好的客观分数。我们表明,GOSH* 达到更好的客观分数比GOSH,但它只适合于高资源可用性设置,而GOSH是适合于有限的资源设置。针对GOSH和GOSH* 的真实系统实验表明,与最先进的系统相比,在能耗、响应时间和SLA违规方面分别有高达18%、27%和82%的显著改善。
2021-12-16 cs.DC cs.LG cs.PF