Efficient Resource Matching in Heterogeneous Grid Using Resource Vector
本文提出了一种在分布式校园网格环境中有效调度作业以获得最佳作业吞吐量的方法。传统的作业调度器根据用户和作业资源属性来确定作业调度。用户属性与当前使用、历史使用、用户优先级和项目访问相关。作业资源属性主要包括软需求(编译器,库)和硬需求,如内存,存储和互连。如果资源满足作业的硬要求和软要求,则作业调度程序将作业分派给资源。在作业执行期间的当前场景中,如果资源变得不可用,则向调度器呈现有限的选项,即重新排队作业或将作业迁移到不同的资源。这两种选择在数据和计算时间方面都很昂贵。如果考虑网格环境中资源的可用时间这一经常被忽略的因素,这些情况就可以避免。我们提出了资源排名的方法,在该方法中,作业被分派到一个资源,其中具有最高的排名之间的所有资源,匹配的作业的要求。结果表明,我们的方法可以提高许多串行/单片作业的吞吐量。
2010-06-07 cs.DC
Management of Grid Jobs and Information within SAMGrid
我们描述了一些SAMGrid系统的关键方面,所使用的D0和CDF实验在费米实验室。在SAMGrid的数据处理部分取得持续成功之后,我们开发了新的就业和信息服务。我们的作业管理植根于\CondorG,并使用了对HEP网格普遍适用的增强功能。我们的信息系统是基于一个统一的框架,配置管理的基础上XML数据表示和处理。
2003-07-08 cs.DC
MPCDF HPC Performance Monitoring System: Enabling Insight via Job-Specific Analysis
本文报告的HPC性能监测系统的设计和实施部署,以持续监测性能指标的所有作业的HPC系统在马克斯普朗克计算和数据设施(MPCDF)。因此,它向各种利益相关者,特别是用户,应用程序支持,系统管理员和管理人员揭示了重要信息。在每个计算节点上,硬件和软件性能监控数据由我们新开发的轻量级开源hpcmd中间件收集,该中间件构建在标准Linux工具上。数据通过rsyslog传输,并由Splunk系统进行聚合和处理,从而在Web浏览器中实现详细的每个集群和每个作业的交互式分析。此外,业绩报告以PDF文件形式提供给用户。最后,我们报告了在MPCDF HPC系统上大规模部署的实践经验和优势,展示了我们的解决方案如何适用于任何HPC中心。
2019-09-25 cs.DC
The Impact of Data Replicatino on Job Scheduling Performance in Hierarchical data Grid
在数据密集型应用程序中,数据传输是作业执行延迟的主要原因。数据访问时间取决于带宽。广域网和Internet的高带宽是网格环境下支持快速数据访问的主要瓶颈。有效的调度可以通过将作业分派到存在所需数据的位置来减少通过互联网传输的数据量。另一种解决方案是使用数据复制机制。动态副本策略的目标是减少文件访问时间,从而减少作业运行时间。在本文中,我们提出了一个作业调度策略和一个动态的数据复制策略,称为HRS(分层复制策略),以提高数据访问效率。我们研究我们的方法,并通过模拟评估。结果表明,我们的算法比现有的策略提高了12%。
2010-10-04 cs.DC
A Mediated Definite Delegation Model allowing for Certified Grid Job Submission
网格计算基础设施需要提供对用户活动的可跟踪性和会计,并防止滥用和权限升级。多用户网格作业环境的一个核心方面是在作业提交过程中必须的特权委托。关于这些通用的要求,本文描述了一个改进的处理多用户网格作业的ALICE(“大型离子对撞机实验”)网格服务。ALICE网格作业模型的安全性分析与派生的安全目标,然后讨论现有的方法的基础上X.509代理证书和网格中间件gLExec的无限制的委托。不受限制的授权具有严重的安全后果和限制,最重要的是允许身份盗窃和伪造授权任务。这些限制进行了讨论和制定,无论是在一般情况下,并与采用符合多用户网格作业。基于ALICE网格服务的体系结构,一个新的一般模型的中介明确委托的开发和制定,允许代理分配上下文敏感的用户权限代理。该模式提供了强有力的问责制和长期可追溯性。一个原型实现允许认证网格作业,包括潜在的互动与gLExec。在系统安全性、恶意作业利用、身份保护和可问责性方面所取得的改进得到了强调,随后讨论了面对恶意网格作业时的不可否认性。
2011-12-12 cs.CR cs.DC
Alternative Mixed Integer Linear Programming Optimization for Joint Job Scheduling and Data Allocation in Grid Computing
本文针对网格计算中的作业调度与数据分配联合优化问题,提出一种交替固定决策变量并利用MILP求解的混合整数二次约束规划方法,实验证明其显著优于现有启发式方法且具强泛化性与鲁棒性。
2025-02-01 cs.DC
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中,我们将讨论为什么现有的元调度层次结构有时是不够的网格系统,由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载,这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型,并使用案例研究和数学建模进行评估。我们详细介绍了DIANA(数据密集型和网络意识)调度算法和队列管理系统,以应付负载分布和支持批量作业调度。我们证明,这样的系统是有益的动态,分布式和自组织的资源管理,并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
A Survey on Dynamic Job Scheduling in Grid Environment Based on Heuristic Algorithms
Nallamuthu Gounder Mahalingam College(纳拉穆图·冈德·马哈林加姆学院)
计算网格是分布式计算系统发展的新趋势。它们允许以有效的方式共享地理上分布的资源,扩展了我们所认为的分布式计算的边界。各种科学可以从使用网格来解决CPU密集型问题中受益,为整个社会创造潜在的利益。作业调度是并行和分布式计算的重要组成部分。它允许为特定作业选择正确的资源匹配,从而提高作业吞吐量和资源利用率。作业应该以自动的方式进行调度,以使系统更可靠、更易访问,并且对子系统故障不太敏感。本文综述了各种启发式算法,用于网格调度。
2014-02-21 cs.AI cs.DC
Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments
在网格调度决策的基础上,往往是数据或计算密集型的工作:在数据密集型的情况下,工作可能会推到数据和计算密集型的情况下,数据可能会拉到作业。这种调度,其中有没有考虑网络特性,可能会导致性能下降,在网格环境中,并可能导致大的处理队列和作业执行延迟,由于网站过载。在本文中,我们描述了一种数据密集型和网络感知(DIANA)元调度方法,该方法在跨多个站点做出调度决策时考虑数据、处理能力和网络特征。通过一个网格测试平台上的实际实现,我们证明了数据密集型作业的队列和执行时间可以显着改善,当我们引入我们提出的DIANA调度。基本调度决策由每个潜在目标位置的加权因子决定,该加权因子是网络特性、处理周期以及数据位置和大小的计算函数。作业调度器提供计算资源的全局排名,然后基于该总体访问和执行成本来选择最优的计算资源。DIANA方法将网格视为活动网络元素的组合,并将网络特性作为调度决策矩阵中的第一类标准以及计算和数据。然后,调度器可以通过考虑网络的变化状态、数据的位置和大小以及可用处理周期池来做出明智的决策。
2007-07-05 cs.DC
A centralized reinforcement learning method for multi-agent job scheduling in Grid
Isfahan University of Technology(伊斯法罕理工大学)
在网格系统中的主要挑战之一是设计一个自适应的,可扩展的,和模型无关的方法来调度作业,以达到理想程度的负载均衡和系统效率。集中式作业调度方法存在单点故障和缺乏可扩展性等缺点。此外,分散的方法需要一个通信有限的协调机制。在本文中,我们提出了一个多智能体的方法,在网格作业调度,命名为集中式学习分布式调度(CLDS),利用强化学习框架。CLDS是一种无模型的方法,它利用作业的信息和它们的完成时间来估计资源的效率。在该方法中,有一个学习者代理和几个调度器代理,执行学习和作业调度的任务,使用的协调策略,保持在有限的水平的通信成本。我们评估的CLDS方法的效率,通过设计和执行一组实验模拟网格系统在不同的系统规模和负载。实验结果表明,CLDS在大规模、重负载的网格环境下仍能有效地平衡系统的负载,同时保持其自适应性能和可扩展性。
2016-09-11 cs.AI cs.DC
Fine-Grained Authorization for Job Execution in the Grid: Design and Implementation
在本文中,我们描述了我们的工作,使细粒度的授权资源的使用和管理。我们解决的需要,虚拟组织执行自己的政策,除了那些资源所有者,在资源消耗和作业管理。为了实现这一设计,我们提出了Globus Toolkit的版本2的资源管理机制的变化和扩展。我们描述的原型和政策语言,我们设计来表达细粒度的政策,我们提出了我们的解决方案的分析。
2003-11-20 cs.CR cs.DC
The Anatomy of a Grid portal
在本文中,我们介绍了一种新的方法来处理网格门户网站参考我们的实现。L-GRID是一个通过Web访问EGEE/EGI网格基础设施的轻型门户,允许用户在几分钟内从一个普通的Web浏览器提交他们的作业,而无需任何关于网格基础设施的知识。它提供了对网格作业整个生命周期的控制,从提交和状态监控到输出检索。该系统以Globus网格中间件为基础,采用客户机-服务器结构。客户端应用程序基于java applet;服务器依赖于Globus用户界面。服务器端不需要用户注册,用户只需要自己的X.509个人证书。该系统是用户友好的,安全的(它使用SSL协议,在公钥基础设施中的动态委托和身份创建机制),高度可定制,开放源代码,易于安装。X.509个人证书无法从本地计算机中获取。它允许减少作业提交所花费的时间,同时在代理委托和管理中授予更高的效率和更好的安全级别。
2012-04-30 cs.DC
The swiss army knife of job submission tools: grid-control
Grid-control是一个轻量级和高度可移植的开源提交工具,支持高能物理(HEP)中几乎所有的工作流程。自2007年以来,它已被大量的HEP分析用于处理有时包含多达10万个工作的任务。grid-control是围绕一个强大的插件和配置系统构建的,它允许用户轻松指定所需工作流程的所有方面。支持将作业提交到各种本地或远程批处理系统或网格中间件。任务可以通过将要处理的参数空间方便地指定,参数空间可以由任意数量的变量和数据源组成,这些变量和数据源之间具有复杂的依赖关系。数据集信息通过数据集过滤器、分区插件和分区过滤器的可配置管道进行处理。分区插件可以考虑文件的数量、工作单元的大小、元数据或其组合。对输入数据集或变量的所有更改都通过处理管道传播,并且可以透明地触发对参数空间和作业提交的调整。虽然核心功能完全独立于实验,但与CMS计算环境的集成由一小组插件提供。
2017-07-11 cs.DC hep-ex
Managing Uncertainty: A Case for Probabilistic Grid Scheduling
网格技术正在发展成为一个全球性的、面向服务的体系结构,一个提供未来高需求计算服务的通用平台。网格和效用计算概念的广泛采用导致越来越多的网格安装运行各种不同大小和复杂性的应用程序。在本文中,我们解决的问题交付期限/经济调度在异构应用环境中使用的统计特性的作业历史执行和相关的元数据。这种方法的动机是由一个多用途的网格集群服务于一个社区的20个电子科学项目的网格应用程序所产生的六个月的计算负载的研究。所观察到的作业统计,资源利用率和用户行为的背景下,最适合支持概率和自主调度架构的管理方法和模型进行了讨论。
2007-11-02 cs.DC
Measuring and Monitoring Grid Resource Utilisation
有效的资源利用率监控和高粒度但自适应的测量是一个更有效的网格调度的先决条件。我们提出了一套测量应用程序,能够监控每个进程的资源利用率,和一个可定制的工具,用于模拟观察到的利用率模型。
2007-11-02 cs.DC
LLload: Simplifying Real-Time Job Monitoring for HPC Users
LLload 是 MIT Lincoln Laboratory Supercomputing Center 开发的 HPC 作业资源监控工具,通过按用户捕获作业资源快照,帮助研究人员尤其是新手更简便地跟踪资源使用、培养性能监控能力并优化资源请求。
2024-07-01 cs.DC cs.PF
G-Monitor: Gridbus web portal for monitoring and steering application execution on global grids
网格在其应用中正在经历快速增长,随之而来的是对易于使用和可扩展的门户的需求。我们通过开发一个易于使用、可扩展、基于Web的门户网站G-Monitor来满足这一要求。本文提出了一个通用的体系结构的门户网站到网格环境中,并讨论了我们的实现和它的应用。
2003-02-06 cs.DC
Deadline aware virtual machine scheduler for scientific grids and cloud computing
虚拟化技术使应用程序能够与底层硬件分离,从而提供可移植性、更好地控制执行环境和隔离的好处。它已被广泛应用于科学网格和商业云。由于虚拟化虽然有好处,但也会带来性能损失,这对于处理不确定性的系统来说可能很重要,例如高性能计算(HPC)应用程序,其中作业的截止日期很紧,并且在运行之前依赖于其他作业。主要的障碍在于弥合作业的性能要求和虚拟化技术提供的性能之间的差距,如果作业要在虚拟机中执行。在本文中,我们提出了一种新的方法来优化作业的最后期限时,在虚拟机上运行,通过开发一个最后期限感知算法,响应作业的执行延迟在实时的,并动态优化作业,以满足其最后期限的义务。我们的方法借用的概念都从信号处理和统计技术,其比较性能的结果,包括对硬件资源的利用率的影响,在本文的后面。
2010-09-24 cs.DC cs.PF cs.SE
Grid porting of Bhabha scattering code through a master-worker scheme
一个程序计算巴巴散射在高能对撞机被认为是移植到EGEE网格基础设施。该程序代码是aITALC项目的结果,通过使用主工人操作方案进行移植。作业的提交、执行和监控是使用GridWay元数据库实现的。无人值守的作业执行被证明是完整的,而且相当有效,即使在没有网格的先验知识的情况下。虽然这批作业仍然在用户端组织,但实际的计算是在phenogrid虚拟组织中进行的。科学结果支持了小角巴巴散射用于国际直线对撞机项目的光度测量。
2009-04-01 cs.DC hep-ph
Mobile Computing in Physics Analysis - An Indicator for eScience
本文介绍了一个支持网格的物理分析环境的手持和其他资源有限的计算设备的使用移动设备在eScience的一个例子的设计和实现。手持设备提供了巨大的潜力,因为它们通过无线链路提供了无处不在的数据访问和全天候连接。我们的解决方案旨在为手持设备用户提供在计算和数据网格上启动繁重计算任务的能力,在执行过程中监控作业状态,并在作业完成后检索结果。用户将他们的作业以可执行文件(和相关的库)的形式携带在他们的手持设备上。用户可以透明地查看其作业的状态并返回其输出,而不必知道它们在哪里执行。通过这种方式,我们的系统能够作为一个高吞吐量的计算环境,从强大的台式机到小型手持设备的设备可以采用网格的力量。本文所示的结果很容易适用于更广泛的eScience社区。
2007-07-05 cs.DC
Gridscape II: A Customisable and Pluggable Grid Monitoring Portal and its Integration with Google Maps
网格计算作为一种促进分布式异构资源共享、实现大规模环境下协作的有效手段而出现。然而,网格系统的性质,加上信息的过剩和碎片化,使得它难以监控资源,服务和计算,以便计划和决策。在本文中,我们提出了Gridscape II,一个可定制的门户组件,可以单独使用或插入到恭维现有的网格门户网站。Gridscape II管理从任意、异构和分布式源收集的信息,并在单个界面中无缝地将它们呈现在一起。它还利用Google Maps API来提供高度交互的用户界面。Gridscape II简单易用,为那些不希望从头开始投入大量资金开发自己的监控门户的用户提供了一个解决方案,也为那些希望易于定制和扩展以满足其特定需求的用户提供了解决方案。
2006-05-12 cs.DC
Towards Grid Monitoring and deployment in Jade, using ProActive
本文描述了我们目前对Jade网格化的努力,Jade是一个基于Java的环境,用于集群J2EE应用服务器的自主管理,由INRIA SARDES研究团队开发。为了实现这一目标,我们使用了java主动网格技术。我们首先提出了一些挑战,把这样一个自治管理系统最初专门用于分布式应用程序运行在集群的机器,到一个可以提供自我管理能力的大型系统,即部署在网格基础设施。这使我们对网格监控系统的技术状态进行了简要介绍。然后,我们回顾了Jade的架构,并因此提出以一种潜在的更具可扩展性的方式对其进行重组。实际实验涉及使用ProActive提供的网格部署功能,可以轻松地在任何类型的网格上部署Jade系统或其修订版。
2007-10-29 cs.DC
AliEn Resource Brokers
AliEn(ALICE Environment)是Alice Collaboration开发的一个轻量级网格框架。当实验开始运行时,它将以每年大约2 PB的速度收集数据,每年产生O(109)个文件。所有这些文件,包括实验准备阶段产生的所有模拟事件,都必须在全球资源数据库环境中加以说明和可靠跟踪。AliEn的主干是一个分布式文件目录,它将通用逻辑文件名与每个数据集的物理文件名相关联,并提供独立于物理位置的数据集透明访问。文件复制和传输是在文件传输代理的控制下进行的。此外,文件目录还维护系统中运行的每个作业的信息。作业由作业资源代理分发,作业资源代理使用简化的拉式(与传统的推式相反)架构实现。本文介绍了作业和文件传输资源代理,并表明,一个类似的体系结构可以应用于解决这两个问题。
2003-06-13 cs.DC
GRAPPA: Grid Access Portal for Physics Applications
Grappa是一个网格门户,旨在为物理学家提供方便的网格工具和服务。ATLAS分析和控制框架Athena被用作目标应用程序。Grappa提供了基本的网格功能,如资源配置、证书测试、作业提交、作业监控、结果监控以及与ATLAS副本目录系统MAGDA的初步集成。Grappa使用Jython将脚本的易用性与基于Java的工具包的强大功能结合起来。这提供了一个强大的框架,访问不同的网格资源与统一的接口。最初的原型系统基于印第安纳大学极限计算实验室开发的XCAT科学门户,并通过在美国ATLAS测试台上运行Monte Carlo生产进行了演示。作为IST 2002和SC 2002演示的iVDGL-DataTAG互操作性联合项目的一部分,该门户还与WorldGrid上的一个欧洲资源代理进行了交流。当前的原型用xbooks jetspeed portlet代替了XCAT Science Portal,用于管理用户脚本。
2003-06-26 cs.DC
Fine-Grained Authorization for Job and Resource Management Using Akenti and the Globus Toolkit
随着网格范式被采用作为跨组织域共享远程资源的标准方式,对这些资源的细粒度访问控制的需求也在增加。本文提出了一种授权的解决方案,作业提交和控制,开发的一部分,国家融合协作实验室,使用Globus工具包2和Akenti授权服务,以执行细粒度的授权作业和资源管理请求在网格环境中。在作业启动时,它允许系统根据资源使用的授权策略评估用户的资源规约语言请求(确定用户可以在给定资源上使用多少CPU或内存,或者用户可以运行哪些可执行文件)。此外,基于授权策略,它允许其他虚拟组织成员管理用户的作业。
2003-06-20 cs.CR cs.DC
BaBar Web job submission with Globus authentication and AFS access
我们提出了两个版本的网格作业提交系统的BaBar实验。两者都使用globus作业提交来处理分布在不同站点的数据,产生可以组合起来进行分析的输出。所遇到的问题与授权和认证,数据定位,作业提交,输入和输出沙箱的描述,是解决方案。整个系统距离EDG等企业的目标还有一段距离,但代表着一个重要的进步。
2003-06-14 cs.DC
A monitoring tool for a GRID operation center
WorldGRID是一个横跨欧洲和美国的洲际测试平台,它集成了基于Globus工具包的架构上不同的网格实现。WorldGRID测试平台已在SuperComputing 2002(Baltimore)和IST 2002(Copenhagen)的WorldGRID演示中得到成功演示,在这些演示中,使用“本地”机制从美国和欧洲透明地提交了真正的HEP应用程序作业,并在资源可用的地方运行,而与其位置无关。为了监视这些测试平台的行为和性能,并在出现问题时立即发现问题,DataTAG开发了基于Nagios包的EDT-Monitor工具,该工具允许通过动态地理地图以虚拟组织为中心查看网格。该工具已被用来发现几个问题在WorldGRID的操作,如故障的资源经纪人或信息服务器,网站未正确配置,作业调度问题等,在本文中,我们给出了一个概述的包,它的功能和可扩展性的解决方案,我们报告所获得的经验和利益,一个网格运营中心将获得这样的工具。
2003-06-03 cs.DC
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天,大多数现代网格软件都满足了这一责任,并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的,用户几乎无法控制整个过程。为了解决这个问题,需要一个更具交互性的服务和中间件集,为用户提供更多的信息,网格天气,并给他们更多的控制决策过程。本文介绍了一组服务,已开发的网格分析环境(GAE)正在合作开发的加州理工学院,NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务,它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务,以表明他们确实导致了一个更加互动和强大的系统,以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
GridMonitor: Integration of Large Scale Facility Fabric Monitoring with Meta Data Service in Grid Environment
网格计算由协调使用大量不同的、地理上分布的资源来实现高性能计算组成。对这些计算资源的有效监控对于在网格上高效使用是极其重要的。网格中存在大量的异构计算实体,这使得网格计算具有很大的挑战性.在这项工作中,我们描述了一个网格监控系统,称为GridMonitor,捕获并提供最重要的信息,从一个大型计算设施。网格监控系统由本地监控、归档、发布和治理四个层次组成。该架构已应用于大规模的Linux农场和网络基础设施。它可以被许多更高级别的网格服务使用,包括调度服务和资源代理。
2003-06-13 cs.DC cs.PF
Relational Grid Monitoring Architecture (R-GMA)
我们描述的R-GMA(关系网格监测体系结构),它已被开发的欧洲数据网格项目作为一个网格信息和监测系统。它基于GGF的GMA,这是一个简单的消费者-生产者模型。这种实现的特殊优势来自于关系模型的强大功能。我们提供了一个信息的全局视图,就好像每个虚拟组织都有一个大型关系数据库一样。我们提供了许多具有不同特征的不同Producer类型;例如,一些支持信息流。我们还提供组合的消费者/生产者,能够组合信息并重新发布。系统的核心是中介,对于任何查询,都能够找到并连接到最好的生产者。我们已经开发了组件,以允许MDS和R-GMA之间的相互作用的措施。我们使用它来获取有关网格的信息(主要是了解在任何时候有哪些服务可用)和应用程序监视。R-GMA已部署在各种测试平台,我们描述了一些初步的结果和经验,这种部署。
2003-08-15 cs.DC
Collaborative Cluster Configuration for Distributed Data-Parallel Processing: A Research Overview
许多组织经常使用分布式数据系统(并行处理和商品资源集群)来分析大型数据集。然而,用户需要为他们的数据处理作业配置足够的资源。这需要深入了解预期的作业运行时和伸缩行为、资源特征、输入数据分布以及其他因素。由于无法准确估计性能,用户经常为其作业过度调配资源,导致资源利用率低和成本高。在本文中,我们提出了主要的构建块对数据处理集群配置的优化基于运行时数据和性能模型的协作方法。我们相信,运行时数据可以被共享,并用于跨不同执行上下文的性能模型,大大减少了对单个处理作业或专用作业分析的依赖。为此,我们描述了如何处理作业和集群基础设施的相似性,可以结合合适的数据点,从本地和全球的作业执行到准确的性能模型。此外,我们概述了通过更多的上下文感知和可重用的模型进行性能预测的方法。最后,我们展示了如何将以前执行的度量与运行时监控相结合,以有效地动态重新配置模型和集群。
2022-06-01 cs.DC
Factors Influencing Job Rejections in Cloud Environment
IT组织通过消耗大规模基础设施和高级操作平台来投入大量资本。技术的进步导致了云计算的出现,这是实现上述目标的有前景的技术。在高峰时段,到达云系统的作业通常需要高效率的执行和调度。本文通过对一个监控系统的作业到达模式的观察,说明了大部分作业由于缺乏有效的技术而被拒绝。作业拒绝可以通过作业调度和负载均衡等因素来控制。因此,本文分析了用于作业调度的循环调度策略和用于负载均衡的最短作业优先调度技术在降低作业拒绝率方面的效率。此外,还讨论了一种有效的负载均衡方法来避免死锁。
2012-09-28 cs.DC cs.NI
Reliable Resource Selection in Grid Environment
在计算网格领域中,安全性和资源是最主要的问题.大多数现有网格都通过以适当的方式对用户、主机及其交互进行身份验证来解决这个问题。一个安全的系统是强制性的有效利用网格服务。高度陌生性已被确定为网格安全选择中的问题因素。如果没有更高程度的信任关系的保证,就无法实现合格的资源选择和利用。本文提出了一种在网格环境下为资源选择提供可靠性和信誉感知安全的方法。在该方法中,自我保护能力和声誉权重被用来获得可靠性因子(RF)值。因此,作业被分配给具有更高RF值的资源。广泛的实验评估表明,更高的信任和可靠的节点被选中的失败的机会大大减少。
2012-04-06 cs.DC
Web Toolkit for Scientific Research: State of the Art and the Prospect for Development
本文探讨了当前的趋势,在设计系统,方便和安全的远程作业提交到各种计算机资源,包括超级计算机,计算机集群,云资源,数据存储和数据库,网格基础设施的授权用户,以及远程作业监控和获得的结果。目前,高性能的计算和存储资源能够独立解决科学技术领域的大多数实际问题。因此,新一代中间件的开发重点从全球网格系统转移到构建方便、高效的Web平台,以实现对单个计算资源的远程访问。本文探讨了构建的一般原则,并简要介绍了Web平台的一些具体实现。
2016-03-31 cs.DC
Enabling Adaptive Grid Scheduling and Resource Management
网格概念的广泛采用使得科学家和研究人员可以使用越来越多的联合计算、存储和可视化资源。这些资源的分布式和异构性使得大多数传统的集群监控和管理方法不合适,并对此类系统的工作流调度提出了新的挑战。有效的资源利用率监控和高粒度但自适应的测量是一个更有效的网格调度的先决条件。我们提出了一套测量应用程序,能够监控每个进程的资源利用率,和一个可定制的工具,用于模拟观察到的利用率模型。我们还概述了我们未来的工作预测和概率网格调度。该研究是英国电子科学EPSRC与BT合作赞助的SO-GRM(自组织网格资源管理)项目的一部分。
2007-11-02 cs.DC
Autonomous tools for Grid management, monitoring and optimization
我们概述了设计和开发的自主工具的计算网格的管理,监控和优化。提出了基于效用概念的管理。网格优化被认为是面向应用的。提出了一种通用的网格模拟器,作为网格结构和功能的优化工具。
2007-07-22 cs.CE cs.DC hep-ex
MonALISA : A Distributed Monitoring Service Architecture
MonALISA(大型集成服务体系结构中的监控代理)系统提供分布式监控服务。MonALISA是基于一个可扩展的动态分布式服务体系结构,旨在满足物理协作监测全球网格系统的需求,并使用JINI/JAVA和WSDL/SOAP技术实现。该系统的可伸缩性源于使用多线程站服务器来托管各种松散耦合的自描述动态服务,每个服务注册自身然后被任何其他服务或需要这种信息的客户端发现和使用的能力,以及订阅系统中的一组事件(状态变化)的所有服务和客户端被自动通知的能力。该框架集成了几个现有的监测工具和程序,收集参数描述计算节点,应用程序和网络性能。它具有内置的SNMP支持和网络性能监控算法,使其能够监控端到端网络性能以及网格中站点设施的性能和状态。MonALISA目前在美国CMS测试网格以及越来越多的其他网站上全天候运行。它也被用于监控性能和优化VRVS系统中反射器之间的互连。
2003-06-16 cs.DC
Economic and On Demand Brain Activity Analysis on Global Grids
组织内部缺乏分析科学数据的计算能力,以及知识(科学家)和技术(先进科学设备)的分布是科学学科中常见的两个主要问题。脑科学就是这样一门学科。从MEG(脑磁图)仪器收集的大脑活动数据的分析是医学科学中的一个重要研究课题,因为它有助于医生识别疾病的症状。需要对数据进行详尽的分析,以有效地诊断和分析大脑功能,并需要访问大规模的计算资源。解决这种资源密集型应用的潜在平台是网格。本文介绍了我们开发的脑磁图数据分析系统,利用网格技术,主要是Nimrod-G,Gridbus和Globus。本文介绍了应用经济为基础的网格调度算法的问题域按需处理的分析工作。
2003-02-13 cs.DC
Distributed Analysis and Load Balancing System for Grid Enabled Analysis on Hand-held devices using Multi-Agents Systems
手持设备在快速增长的同时,固有地受到限制并且缺乏执行资源饥渴应用的能力。本文提出了一种基于多代理系统的分布式手持设备分析与负载均衡系统的设计与实现。该系统使低资源的移动手持设备作为网格启用的应用程序和分析环境的潜在客户端。我们提出了一个系统,在该系统中,移动代理将运输,调度,执行和返回结果的手持设备提交的繁重的计算工作。此外,以这种方式,我们的系统提供了高吞吐量的计算环境的手持设备。
2004-07-05 cs.DC
QOS based user driven scheduler for grid environment
由于网格在本质上是异构的、动态的、共享的和分布式的环境,有效地管理这些平台是非常复杂的。一个有前途的可扩展的方法来处理这些复杂性是设计的自主应用程序的自我管理。自治应用通过考虑自身行为和环境条件的知识来相应地调整其执行。基于QoS的网格用户驱动调度为自治应用提供了自优化能力。计算网格通过在物理位置的多台机器上分散单个大型计算,为用户提供解决大规模问题的能力。基于QoS的用户驱动网格调度器通过应用用户定义的调度策略来减少作业的执行时间,从而提高网格系统的可靠性,提高网格的性能。本文的主要目的是在网格节点之间分配计算负载,并开发一种基于QoS的网格调度算法,使网格更加可靠。网格计算系统不同于传统的分布式计算系统,它强调大规模的资源共享,其中处理器和通信对网格计算的可靠性有重要影响。由最终用户从提交到网格执行的应用程序中启动的可靠性功能。基础设施和管理服务的可靠性,这些服务执行网格系统运行所必需的基本功能,例如资源分配和调度。
2011-02-02 cs.DC
Intrusion Prevention and Detection in Grid Computing - The ALICE Case
Johann-Wolfgang-Goethe University(约翰·沃尔夫冈·歌德大学)
网格允许用户通过远程通信网络灵活地按需使用计算资源。高能物理网格(HEP)研究的一个显著例子是欧洲核子研究中心的ALICE实验。物理学家可以提交用于处理大型强子对撞机(LHC)产生的大量粒子碰撞数据的作业。电网面临着复杂的安全挑战。它们是寻求巨大计算资源的攻击者的有趣目标。由于用户可以在网格站点上的工作节点中执行任意代码,因此应该特别注意这种环境。需要自动化工具来强化和监控这种情况。目前,还没有针对这种需求的集成解决方案。本文描述了一种新的安全框架,允许在沙箱环境中执行作业负载。它还允许通过机器学习方法进行进程行为监控,以检测入侵,即使在新的攻击方法或零日漏洞被利用时也是如此。我们计划实施建议的框架作为一个软件原型,将作为一个组件的ALICE网格中间件进行测试。
2017-04-20 cs.AI cs.CR cs.DC
Towards an IO intensive Grid application instrumentation in MedioGRID
要在IO密集型应用程序中获得高性能,需要系统支持可靠的快速传输、数据复制和缓存。在本文中,我们提出了一个架构,旨在支持IO密集型应用程序的MedioGRID,卫星图像的实时处理系统,在网格环境中运行。该解决方案确保处理地理数据的应用程序对数据的访问一致,并基于使用MonALISA及其扩展对数据传输的持续监控。MedioGRID架构也建立在Globus,Condor和PBS上,基于这个中间件,我们的目标是提取有关运行系统的信息。在对MedioGRID系统进行大数据传输测试中获得的结果表明,监测系统提供了一个非常好的系统演变视角。
2011-06-27 cs.DC
GMA Instrumentation of the Athena Framework using NetLogger
网格应用本质上是广域分布式应用。网格应用程序的这种WAN特性使得使用传统的监视和检测工具(如top、gprof、LSF Monitor等)来验证应用程序是否正确有效地运行变得不切实际。为了有效,监视数据必须是“端到端”的,这意味着必须监视网格应用程序端点之间的所有组件。检测的应用程序可以生成大量的监视数据,因此通常检测在默认情况下是关闭的。对于在网格上运行的作业,需要有一种通用的机制来远程激活运行作业时的插装。NetLogger Toolkit激活服务提供了这种机制。为了证明这一点,我们使用NetLogger对ATLAS Athena Framework进行了检测,以生成监视事件。然后,我们使用基于GMA的激活服务来控制NetLogger的触发机制。NetLogger触发器机制允许用户通过修改触发器文件轻松地启动、停止或更改正在运行的程序的日志记录级别。我们在这里详细介绍了Athena的基于GMA的激活服务和插装服务的NetLogger实现的设计。我们还描述了这个激活服务如何允许我们非侵入性地收集和可视化ATLAS雅典娜框架监控数据。
2003-06-14 cs.DC cs.IR
Designing a Resource Broker for Heterogeneous Grids
网格提供了对异构资源和服务(如多个组织拥有的计算机、网络和存储)的统一访问。然而,这样的动态环境对应用程序组合和部署提出了许多挑战。在本文中,我们提出了Gridbus网格资源代理的设计,允许用户创建应用程序,并通过不同的接口指定不同的目标,而不必处理网格基础设施的复杂性。我们提出了独特的要求,激励我们的设计,并讨论如何提供灵活性,在扩展的代理的功能,以支持不同的低层次的中间件和用户界面。我们评估不同的工作配置文件和网格中间件的经纪人,并得出结论,从我们的开发经验的教训。
2007-02-24 cs.DC cs.SE
Monitoring Extreme-scale Lustre Toolkit
我们讨论了监测极端规模Lustre工具包(MELT)的设计和正在进行的开发,这是一个统一的Lustre性能监测和分析基础设施,可提供有关Lustre健康和性能的连续、低开销摘要信息,以及按需、深入的问题诊断和根本原因分析。MELT基础设施利用分布式覆盖网络来监控中心范围的Lustre文件系统,其中客户端位于许多网络域中。我们预览了交互式命令行实用程序,这些实用程序可帮助管理员和用户观察Lustre在不同分辨率级别的性能,从单个服务器或客户端到整个文件系统,包括作业级报告。最后,我们讨论了我们未来的计划,以自动化常见的Lustre性能问题的根本原因分析。
2015-04-26 cs.DC cs.OS
Adaptive Data Collection Mechanisms for Smart Monitoring of Distribution Grids
Aalborg University(奥尔堡大学)
本文提出智能数据采集机制,用于监控配电网络,研究系统适应智能电表需求、通信网络动态变化和安全攻击的能力。
2016-08-22 cs.DC cs.SY eess.SY
PMU-based Distributed Non-iterative Algorithm for Real-time Voltage Stability Monitoring
提出一种基于PMU的分布式非迭代电压稳定指数(VSI),通过将潮流方程重构为圆,实现实时识别关键母线,具有速度快、可解释性强、能定位停电位置及抗噪声等优势。
2021-07-19 cs.DC cs.SY eess.SY