GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等(P2P)网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中,资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性,需要在不同的场景下评估它们的性能,例如不同数量的资源和具有不同需求的用户。在网格环境中,由于资源和用户分布在多个组织中,并且具有各自的策略,因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制,我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源(时间和空间共享)、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性,我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
Economic Models for Management of Resources in Grid Computing
网格和对等计算的快速发展使其成为有前途的下一代计算平台。它们可以创建虚拟企业(VE),以共享分布在世界各地的资源。然而,这些环境中的资源管理、应用程序开发和使用模型是一项复杂的任务。这是由于不同组织拥有的资源的地理分布。这些资源中的每一个的资源所有者具有不同的使用或访问策略和成本模型,以及变化的负载和可用性。为了解决复杂的资源管理问题,我们提出了一个计算经济的资源分配和调节供应和需求的网格计算环境中的框架。该框架提供了通过交易和中介服务优化资源提供者和消费者目标函数的机制。在现实世界的市场中,存在各种经济模型,用于根据供求关系及其对用户的价值来设定商品价格。它们包括商品市场、标价、招标和拍卖。在本文中,我们将讨论使用这些模型的网格组件之间的互动,在决定资源的价值和必要的基础设施,以实现它们。除了网格计算系统提供的常规服务之外,我们还需要一个基础设施来支持交互协议、分配机制、货币、安全银行和强制服务。此外,我们展示了使用这些经济模型中的一些资源经纪人通过Nimrod/G的最后期限和基于成本的调度两种不同的优化策略上的万维网(WWG)的测试平台。
2001-06-11 cs.DC
An Integrated Framework for Performance Analysis and Tuning in Grid Environment
在一个异构的、动态的环境中,如网格,事后分析是没有用的,数据需要实时的收集和分析。还需要新的技术来动态调整应用程序的性能和资源代理,以保持所需的QoS。本文的目的是提出一个综合框架的性能分析和调整的应用程序,并重新调度的应用程序,如果必要的话,一些其他的资源,以适应不断变化的资源使用情况下,在一个动态的环境。
2010-05-12 cs.DC
A Grid Based Architecture for High-Performance NLP
我们描述了一个可扩展的,基于组件的自然语言工程应用程序的软件体系结构的设计和早期实现的接口与高性能的分布式计算服务。该架构利用现有的语言资源描述和发现机制的基础上元数据描述,结合这些在一个兼容的方式与其他软件定义抽象。在这种体系结构中,应用程序设计非常灵活,允许组合不同的组件以适应整个应用程序功能,并独立于处理问题进行正式描述。应用程序规约语言提供编程环境的抽象,并允许通过代理与高性能计算网格轻松接口。
2003-08-05 cs.CL cs.DC
Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies
网格是一种基础设施,它涉及多个组织拥有和管理的计算机、网络、数据库和科学仪器的集成和协作使用。网格应用程序通常涉及大量的数据和/或计算资源,需要跨组织边界的安全资源共享。这使得网格应用程序的管理和部署成为一项复杂的任务。网格中间件为用户提供了在异构网格环境中无缝计算和统一访问资源的能力。已经开发了几个软件工具包和系统,其中大多数是世界各地学术研究项目的成果。本章将重点介绍其中的四个中间件--UNICORE、Globus、Legion和Gridbus。它还介绍了我们的实现资源代理的UNICORE,因为这一功能是不支持它。比较这些系统的基础上的体系结构,实现模型和其他几个功能。
2004-07-01 cs.DC
SLA-Based Coordinated Superscheduling Scheme and Performance for Computational Grids
基于服务水平协议(SLA)的网格超级部署方法促进了资源的协调共享.网格服务器(如资源代理)促进了管理上和拓扑上分布的网格站点之间的超级部署。在这项工作中,我们提出了一个基于市场的SLA协调机制。我们基于我们的SLA模型在一个众所周知的\emph{contract net protocol}。我们的方法的主要优点是,它允许:~(i)资源所有者有更精细的控制程度的资源分配,这是以前不可能通过传统的机制;和(ii)超级供应商投标SLA合同的合同网,重点是在用户指定的最后期限内完成工作。在这项工作中,我们使用模拟来显示我们所提出的方法的有效性。
2006-05-15 cs.DC
GridMonitor: Integration of Large Scale Facility Fabric Monitoring with Meta Data Service in Grid Environment
网格计算由协调使用大量不同的、地理上分布的资源来实现高性能计算组成。对这些计算资源的有效监控对于在网格上高效使用是极其重要的。网格中存在大量的异构计算实体,这使得网格计算具有很大的挑战性.在这项工作中,我们描述了一个网格监控系统,称为GridMonitor,捕获并提供最重要的信息,从一个大型计算设施。网格监控系统由本地监控、归档、发布和治理四个层次组成。该架构已应用于大规模的Linux农场和网络基础设施。它可以被许多更高级别的网格服务使用,包括调度服务和资源代理。
2003-06-13 cs.DC cs.PF
GRAPPA: Grid Access Portal for Physics Applications
Grappa是一个网格门户,旨在为物理学家提供方便的网格工具和服务。ATLAS分析和控制框架Athena被用作目标应用程序。Grappa提供了基本的网格功能,如资源配置、证书测试、作业提交、作业监控、结果监控以及与ATLAS副本目录系统MAGDA的初步集成。Grappa使用Jython将脚本的易用性与基于Java的工具包的强大功能结合起来。这提供了一个强大的框架,访问不同的网格资源与统一的接口。最初的原型系统基于印第安纳大学极限计算实验室开发的XCAT科学门户,并通过在美国ATLAS测试台上运行Monte Carlo生产进行了演示。作为IST 2002和SC 2002演示的iVDGL-DataTAG互操作性联合项目的一部分,该门户还与WorldGrid上的一个欧洲资源代理进行了交流。当前的原型用xbooks jetspeed portlet代替了XCAT Science Portal,用于管理用户脚本。
2003-06-26 cs.DC
A Linear Programming Driven Genetic Algorithm for Meta-Scheduling on Utility Grids
网格中的用户级代理考虑单个应用的QoS需求,并在不考虑其他用户需求的情况下使其成本最小化。这会导致资源争用和次优调度。网格中的元调度旨在解决这个调度问题,这是NP难,由于其组合的性质。因此,除了传统的算法如Greedy和FCFS之外,已经提出了许多基于遗传算法的解决方案,使用遗传算法(GA)。我们提出了一个线性规划/并行规划模型(LP/IP)调度这些应用程序的多个资源。我们还提出了一种新的算法LPGA(线性规划驱动的遗传算法),它结合了LP和GA的能力。该算法的目的是获得最佳的元调度公用事业网格,最小化所有用户的联合成本在一个协调的方式。仿真结果表明,我们提出的综合算法提供了最好的时间表具有最小的处理成本可以忽略不计。
2009-03-08 cs.DC cs.NE
A Mediated Definite Delegation Model allowing for Certified Grid Job Submission
网格计算基础设施需要提供对用户活动的可跟踪性和会计,并防止滥用和权限升级。多用户网格作业环境的一个核心方面是在作业提交过程中必须的特权委托。关于这些通用的要求,本文描述了一个改进的处理多用户网格作业的ALICE(“大型离子对撞机实验”)网格服务。ALICE网格作业模型的安全性分析与派生的安全目标,然后讨论现有的方法的基础上X.509代理证书和网格中间件gLExec的无限制的委托。不受限制的授权具有严重的安全后果和限制,最重要的是允许身份盗窃和伪造授权任务。这些限制进行了讨论和制定,无论是在一般情况下,并与采用符合多用户网格作业。基于ALICE网格服务的体系结构,一个新的一般模型的中介明确委托的开发和制定,允许代理分配上下文敏感的用户权限代理。该模式提供了强有力的问责制和长期可追溯性。一个原型实现允许认证网格作业,包括潜在的互动与gLExec。在系统安全性、恶意作业利用、身份保护和可问责性方面所取得的改进得到了强调,随后讨论了面对恶意网格作业时的不可否认性。
2011-12-12 cs.CR cs.DC
A Case for Cooperative and Incentive-Based Coupling of Distributed Clusters
在过去的五年中,对网格计算的研究兴趣显著增长。分布式资源管理是网格计算的关键问题之一。资源管理的核心是资源分配的有效性,因为它决定了系统的总体效用。当前网格环境中的超调度方法是不协调的,因为应用程序级调度器或代理独立于系统中的其他调度器做出调度决策。显然,由于可能发生的次优调度,这可能加剧分布式资源的负载共享和利用问题。为了克服这些局限性,我们提出了一种基于计算经济的分布式集群协调共享机制。由此产生的环境称为\emph{Grid-Federation},允许在本地资源不足以满足其用户需求时透明地使用来自联合的资源。在协调资源分配中使用计算经济方法不仅促进了基于QoS的调度,而且提高了由资源提供的效用。
2006-05-15 cs.DC
A centralized reinforcement learning method for multi-agent job scheduling in Grid
Isfahan University of Technology(伊斯法罕理工大学)
在网格系统中的主要挑战之一是设计一个自适应的,可扩展的,和模型无关的方法来调度作业,以达到理想程度的负载均衡和系统效率。集中式作业调度方法存在单点故障和缺乏可扩展性等缺点。此外,分散的方法需要一个通信有限的协调机制。在本文中,我们提出了一个多智能体的方法,在网格作业调度,命名为集中式学习分布式调度(CLDS),利用强化学习框架。CLDS是一种无模型的方法,它利用作业的信息和它们的完成时间来估计资源的效率。在该方法中,有一个学习者代理和几个调度器代理,执行学习和作业调度的任务,使用的协调策略,保持在有限的水平的通信成本。我们评估的CLDS方法的效率,通过设计和执行一组实验模拟网格系统在不同的系统规模和负载。实验结果表明,CLDS在大规模、重负载的网格环境下仍能有效地平衡系统的负载,同时保持其自适应性能和可扩展性。
2016-09-11 cs.AI cs.DC
ATLAS and CMS applications on the WorldGrid testbed
WorldGrid是一个横跨欧洲和美国的洲际测试平台,它基于Globus工具包集成了架构上不同的网格实现。它是在DataTAG和iVDGL项目的背景下开发的,并在IST 2002(哥本哈根)和SC 2002(巴尔的摩)的WorldGrid演示中成功演示。两个HEP实验,ATLAS和CMS,成功地利用WorldGrid测试平台执行工作,模拟他们的探测器对物理事件的响应,这些事件是从2007年开始在LHC加速器上预期的真实碰撞产生的。多年来,这种数据密集型活动一直在由数百个节点和TB磁盘和磁带存储组成的本地专用计算场上运行。在WorldGrid测试平台中,HEP模拟作业首次在美国和欧洲的资源上提交并无差别地运行,尽管它们的底层网格实现不同,并产生可以在提交机器上检索和进一步分析的数据,或者简单地存储在远程资源上并注册在可供网格进一步处理的目录上。在这篇文章中,我们描述了来自欧洲的ATLAS和CMS应用程序的作业提交,通过在EDG用户界面上运行的GENIUS门户网站提交给EDG资源代理,指出所选择的互操作性解决方案,从应用程序的角度来看,在WorldGrid环境中的数据管理,以及CMS特定的生产工具,这些工具与GENIUS门户网站相连。
2003-10-14 cs.DC
Web Toolkit for Scientific Research: State of the Art and the Prospect for Development
本文探讨了当前的趋势,在设计系统,方便和安全的远程作业提交到各种计算机资源,包括超级计算机,计算机集群,云资源,数据存储和数据库,网格基础设施的授权用户,以及远程作业监控和获得的结果。目前,高性能的计算和存储资源能够独立解决科学技术领域的大多数实际问题。因此,新一代中间件的开发重点从全球网格系统转移到构建方便、高效的Web平台,以实现对单个计算资源的远程访问。本文探讨了构建的一般原则,并简要介绍了Web平台的一些具体实现。
2016-03-31 cs.DC
Designing Datacenter Power Delivery Hierarchies for the AI Era
Stanford University(斯坦福大学);Microsoft Azure Research(微软Azure研究院)
本文研究了AI时代数据中心电力交付层级设计的挑战,提出了一种评估框架,结合吞吐量、功率和成本指标,分析多资源短缺对部署容量、资本支出和性能的影响。
2026-05-15 cs.AI cs.DC
i13DR: A Real-Time Demand Response Infrastructure for Integrating Renewable Energy Resources
随着可再生能源(RES)的不断整合,电网的复杂性正在增加。由于可再生能源的波动性,确保电网的可靠性可能具有挑战性。解决这些挑战的一种可能方法是需求响应(DR),其被描述为根据变化和供应的可用性来匹配对电能的需求。然而,实施DR系统来实时的【形】监视和控制大量电器引入了若干新的复杂性,包括确保系统的可靠性和财务可行性。在这项工作中,我们解决这些问题,通过设计和实施一个分布式的实时的【形】灾难恢复基础设施的笔记本电脑,估计和控制的功耗网络连接的笔记本电脑响应快速,不规则的变化RES。此外,由于我们的方法是完全基于软件的,我们大大降低了需求方参与者的初始成本。我们的现场实验的结果证实,我们的系统成功地调度和执行快速,有效的DR事件。然而,所有参与的笔记本电脑的估计功耗的准确性相对较低,这是我们基于软件的方法直接造成的。
2022-10-31 cs.DC cs.SY eess.SP