New Approaches with Chord in Efficient P2P Grid Resource Discovery
网格计算是一种分布式计算,它允许通过Internet共享计算机资源。它不仅允许我们共享文件,还允许我们共享大部分软件和硬件资源。高效的资源发现机制是网格计算系统的基本要求,它支持应用程序的资源管理和调度。在众多的发现机制中,P2P(Peer-to-Peer)技术发展迅速,而P2P技术的高效查找应用是其成功的关键。Chord是一种P2P结构模型,被广泛用作网格环境下资源发现的路由协议。为了提高Chord协议在网格环境下的查找性能,研究者们提出了许多改进的方法。本文讨论了Chord结构P2P协议的最新研究成果,提出了一种基于最近访问节点(RVN)地址和模糊技术的网格资源定位方法,降低了消息复杂度和时间复杂度。
2014-01-09 cs.DC
A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Brok
计算网格,耦合地理上分布的资源,如个人电脑,工作站,集群,和科学仪器,已经成为下一代的计算平台,解决大规模的问题,在科学,工程和商业。然而,这些环境中的应用程序开发、资源管理和调度仍然是一项复杂的任务。在这篇文章中,我们将讨论我们的努力,在开发一个资源管理系统调度计算分布在世界各地的资源,不同的服务质量。我们的面向服务的网格计算系统称为Nimrod-G管理与远程执行相关的所有操作,包括资源发现,交易,基于经济原则和用户定义的服务质量要求的调度。Nimrod-G资源代理是通过利用Globus等现有技术实现的,并提供了构建工业强度网格所必需的新服务。我们讨论的初步实验结果调度一些参数计算使用Nimrod-G资源代理在一个世界范围内的网格测试平台,跨越五大洲。
2001-11-17 cs.DC
Sharing a conceptual model of grid resources and services
网格技术的目标是在局域网和广域网上实现协调的资源共享和问题解决能力,并跨越位置、组织、机器体系结构和软件边界。网格资源的异构性和不同网格中间件之间的互操作性要求共享一个公共的信息模型。不同风格的资源和服务的抽象和领域特定实体的概念模式需要协作努力,以使一致的信息服务合作。在本文中,我们提出了我们的经验,网格资源和服务建模的网格实验室统一环境(GLUE)的努力,美国和欧盟的高能物理项目合作,对网格的互操作性。第一个实现中立的协议,如批处理计算和存储管理器的服务,资源,如层次结构集群,子集群,主机和存储库。设计准则和操作结果与开放的问题和未来的演变一起描述。
2003-06-18 cs.DC
Reliable Resource Selection in Grid Environment
在计算网格领域中,安全性和资源是最主要的问题.大多数现有网格都通过以适当的方式对用户、主机及其交互进行身份验证来解决这个问题。一个安全的系统是强制性的有效利用网格服务。高度陌生性已被确定为网格安全选择中的问题因素。如果没有更高程度的信任关系的保证,就无法实现合格的资源选择和利用。本文提出了一种在网格环境下为资源选择提供可靠性和信誉感知安全的方法。在该方法中,自我保护能力和声誉权重被用来获得可靠性因子(RF)值。因此,作业被分配给具有更高RF值的资源。广泛的实验评估表明,更高的信任和可靠的节点被选中的失败的机会大大减少。
2012-04-06 cs.DC
A Taxonomy of Performance Prediction Systems in the Parallel and Distributed Computing Grids
由于网格是地理上分布的异构资源的松散耦合集合,因此网格资源的有效利用需要一个良好的性能预测系统(PPS)的支持。网格资源的性能预测有助于资源管理系统和网格用户做出优化的资源使用决策。已经有许多PPS项目在多个维度上跨越多个网格资源。在本文中,分类描述PPS体系结构进行了讨论。分类法是用来分类和识别的方法,在现有的PPS网格的实施。分类法和调查结果用于确定研究中尚未充分探讨的方法和问题。
2013-07-12 cs.DC
A Grid-enabled Interface to Condor for Interactive Analysis on Handheld and Resource-limited Devices
这篇论文被作者撤回。
2004-09-30 cs.DC
An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中,资源管理和调度是实现资源高效利用的关键。在网格系统中,由于资源的异构性,应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论,针对不同类型的工作负载和单个源处理器,已经提出了一些分配模型。本文介绍了一种新的资源分配模型,该模型以多个负荷源处理机作为经济模型。通过线性规划方法,得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明,该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明,该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
Scalable Grid Resource Discovery through Distributed Search
本文提出了一个简单的和可扩展的基于Web的网格资源发现模型的互联网。资源发现模型包含元数据和资源查找器Web服务。资源查找器Web服务的信息保存在分布在Internet应用层的资源库中。资源查找器Web服务将通过以与DNS协议类似的方式向存储库发送查询来发现。介绍了实现该模型的两种体系结构的底层技术。这些架构是:直接和集中式的基于Web的网格资源发现。资源发现时间是在GridSim中模拟这些模型后计算的。通过进行可扩展性测试,我们发现,当增加更多的用户和资源的网格上的负载,我们的模型相比,网格资源发现时间的成本是边际的。
2011-10-08 cs.DC cs.NI
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施,能够共享、选择和聚合地理上分布的资源,以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的,并且在地理上分布,具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略,并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中,资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管,并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限,预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法,展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性,通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
The Cactus Worm: Experiments with Dynamic Resource Discovery and Allocation in a Grid Environment
利用异构的、动态可用的“网格”资源的能力对于通常资源匮乏的计算科学家和工程师来说是有吸引力的,因为原则上它可以通过显著的因素增加可以交付给应用的周期的数量。然而,新的自适应应用程序结构和动态运行时系统机制,如果我们要在网格环境中有效地运作。为了在实际环境中探索这些问题中的一些,我们正在开发一个实验框架,称为Cactus,该框架结合了用于处理不断变化的资源特性的自适应应用程序结构和允许应用程序改变其资源分配的自适应资源选择机制(例如,通过迁移)。我们在这里描述的自适应资源选择机制,并描述如何使用它们来实现自动应用程序迁移到“更好”的资源性能下降。我们的研究结果提供了深入了解所需的架构结构,以支持自适应资源选择。此外,我们认为,这个“仙人掌蠕虫”是一个有趣的挑战问题的网格计算。
2001-08-01 cs.DC
Fine-Grain Authorization for Resource Management in the Grid Environment
在本文档中,我们描述了我们正在进行的工作,以实现资源管理的细粒度授权。特别是,我们解决了虚拟组织(VO)的需求,以执行自己的政策,除了那些资源所有者。
2003-01-28 cs.CR cs.DC
PhantomOS: A Next Generation Grid Operating System
网格计算在过去的十年中取得了长足的进步,这主要归功于标准化网格中间件的采用。然而,网格计算还没有普及,因为我们认为,一些障碍,已造成采用中间件为中心的方法。这些障碍包括:缺乏对主要类型应用程序(如交互式应用程序)的支持;缺乏灵活、自主和可伸缩的网格体系结构;缺乏即插即用的网格计算,最重要的是,没有直接的方法来设置和管理网格。AtomtomOS是一个旨在解决这些障碍的项目。它的目标是创建一个用户友好的普及网格计算平台,促进快速部署和易于维护的网格,同时提供支持的主要类型的应用程序在网格上的几乎任何拓扑结构。在本文中,我们提出了详细的系统架构及其实施的概述。
2007-07-05 cs.DC
A Grid Service Broker for Scheduling Distributed Data-Oriented Applications on Global Grids
下一代科学实验和研究,通常被称为电子科学,是由分布在世界各地的研究人员进行的,他们从事分析科学仪器产生的大量数据。网格计算已经成为电子科学的推动者,因为它允许创建虚拟组织,将具有共同目标的社区聚集在一起。在社区内,数据汇集存储或复制在分布式资源上,以增强存储能力或访问效率。在这样的环境中,科学家需要有能力通过透明地访问分布式数据和计算资源来进行研究。在本文中,我们提出并开发了一个网格代理,通过(a)为给定的分析场景发现合适的数据源,(b)合适的计算资源,(c)最佳地将分析作业映射到资源,(d)在选定的资源上部署和监视作业执行,(e)在作业执行期间从本地或远程数据源访问数据,以及(f)整理和呈现结果。该代理支持用于创建网格应用程序的声明式和动态参数化编程模型。我们已经使用这个模型在网格启用高能物理分析应用程序(百丽分析软件框架)。该经纪人已被用于在网格测试平台上部署Belle实验数据分析工作,称为Belle分析数据网格,分布在澳大利亚各地的资源通过GrangeNet互连。
2004-05-06 cs.DC
Efficient Resource Matching in Heterogeneous Grid Using Resource Vector
本文提出了一种在分布式校园网格环境中有效调度作业以获得最佳作业吞吐量的方法。传统的作业调度器根据用户和作业资源属性来确定作业调度。用户属性与当前使用、历史使用、用户优先级和项目访问相关。作业资源属性主要包括软需求(编译器,库)和硬需求,如内存,存储和互连。如果资源满足作业的硬要求和软要求,则作业调度程序将作业分派给资源。在作业执行期间的当前场景中,如果资源变得不可用,则向调度器呈现有限的选项,即重新排队作业或将作业迁移到不同的资源。这两种选择在数据和计算时间方面都很昂贵。如果考虑网格环境中资源的可用时间这一经常被忽略的因素,这些情况就可以避免。我们提出了资源排名的方法,在该方法中,作业被分派到一个资源,其中具有最高的排名之间的所有资源,匹配的作业的要求。结果表明,我们的方法可以提高许多串行/单片作业的吞吐量。
2010-06-07 cs.DC
Economic Models for Management of Resources in Grid Computing
网格和对等计算的快速发展使其成为有前途的下一代计算平台。它们可以创建虚拟企业(VE),以共享分布在世界各地的资源。然而,这些环境中的资源管理、应用程序开发和使用模型是一项复杂的任务。这是由于不同组织拥有的资源的地理分布。这些资源中的每一个的资源所有者具有不同的使用或访问策略和成本模型,以及变化的负载和可用性。为了解决复杂的资源管理问题,我们提出了一个计算经济的资源分配和调节供应和需求的网格计算环境中的框架。该框架提供了通过交易和中介服务优化资源提供者和消费者目标函数的机制。在现实世界的市场中,存在各种经济模型,用于根据供求关系及其对用户的价值来设定商品价格。它们包括商品市场、标价、招标和拍卖。在本文中,我们将讨论使用这些模型的网格组件之间的互动,在决定资源的价值和必要的基础设施,以实现它们。除了网格计算系统提供的常规服务之外,我们还需要一个基础设施来支持交互协议、分配机制、货币、安全银行和强制服务。此外,我们展示了使用这些经济模型中的一些资源经纪人通过Nimrod/G的最后期限和基于成本的调度两种不同的优化策略上的万维网(WWG)的测试平台。
2001-06-11 cs.DC
Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies
网格是一种基础设施,它涉及多个组织拥有和管理的计算机、网络、数据库和科学仪器的集成和协作使用。网格应用程序通常涉及大量的数据和/或计算资源,需要跨组织边界的安全资源共享。这使得网格应用程序的管理和部署成为一项复杂的任务。网格中间件为用户提供了在异构网格环境中无缝计算和统一访问资源的能力。已经开发了几个软件工具包和系统,其中大多数是世界各地学术研究项目的成果。本章将重点介绍其中的四个中间件--UNICORE、Globus、Legion和Gridbus。它还介绍了我们的实现资源代理的UNICORE,因为这一功能是不支持它。比较这些系统的基础上的体系结构,实现模型和其他几个功能。
2004-07-01 cs.DC
Designing a Resource Broker for Heterogeneous Grids
网格提供了对异构资源和服务(如多个组织拥有的计算机、网络和存储)的统一访问。然而,这样的动态环境对应用程序组合和部署提出了许多挑战。在本文中,我们提出了Gridbus网格资源代理的设计,允许用户创建应用程序,并通过不同的接口指定不同的目标,而不必处理网格基础设施的复杂性。我们提出了独特的要求,激励我们的设计,并讨论如何提供灵活性,在扩展的代理的功能,以支持不同的低层次的中间件和用户界面。我们评估不同的工作配置文件和网格中间件的经纪人,并得出结论,从我们的开发经验的教训。
2007-02-24 cs.DC cs.SE
Nimrod/G: An Architecture of a Resource Management and Scheduling System in a Global Computational Grid
强大的微处理器和高速网络作为商品组件的可用性使得分布式系统上的高性能计算(广域集群计算)成为可能。在这种环境中,由于资源通常分布在地理上的各个层次(部门,企业,或世界各地)有一个很大的挑战,在整合,协调和呈现给用户作为一个单一的资源,从而形成一个计算网格。另一个挑战来自资源的分布式所有权,每个资源都有自己的访问策略、成本和机制。建议Nimrod/G网格启用的资源管理和调度系统建立在我们早期的工作Nimrod,并遵循模块化和基于组件的架构,使可扩展性,可移植性,易于开发,独立开发的组件和互操作性。它使用Globus工具包服务,并且可以很容易地进行扩展,以便与任何其他新兴的网格中间件服务一起运行。它侧重于管理和调度的计算在地理上分散在互联网上的部门,企业,或全球一级,特别强调开发调度计划的基础上的概念,计算经济的一个真正的测试床,即Globus测试床(GUSTO)。
2000-09-22 cs.DC
Advance Reservation of Resources for Task Execution in Grid Environments
本文提出了一种网格调度问题的解决方案,特别是解决高性能的要求,一个有效的算法必须满足。提前预留采用分布式、动态、容错和高效的策略,为未来的任务执行预留资源。本文介绍了该策略的主要特点、基于该策略的运行机制以及算法的评价方法。
2011-06-27 cs.DC
Improving Grid Computing Performance by Optimally Reducing Checkpointing Effect
网格计算是一个计算机资源的集合,这些资源从各个领域聚集在一起,以提供诸如存储、数据或应用服务等计算资源。这是为了允许客户端访问这一巨大的处理资源,而不需要知道在哪里可以找到这些资源以及使用了什么技术,例如硬件设备和操作系统。可靠性和性能是网格计算环境中面临的主要困难。文献中已经提出了各种系统来处理网格计算环境中资源故障的恢复。这种系统的一个例子是检查点。检查点是一种在资源失败时容忍错误的系统。检查点方法的优点是减少了由于资源故障而造成的工作量损失。然而,检查点会带来巨大的运行时开销。在本文中,我们提出了一个改进的检查点系统,以降低运行时开销。添加副本是为了确保资源的可用性。这将所有检查点文件复制到其他机器上,而不是使用专用的检查点机器。使用GridSim的仿真结果表明,保持固定的资源数量和改变网格数量,在最大完工时间,吞吐量和周转时间上分别实现了高达11%,9%和11%的增益,而改变资源数量和保持固定的网格数量,在最大完工时间,吞吐量和周转时间上分别实现了高达11%,8%和9%的增益,和周转时间分别实现
2020-06-04 cs.DC
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天,大多数现代网格软件都满足了这一责任,并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的,用户几乎无法控制整个过程。为了解决这个问题,需要一个更具交互性的服务和中间件集,为用户提供更多的信息,网格天气,并给他们更多的控制决策过程。本文介绍了一组服务,已开发的网格分析环境(GAE)正在合作开发的加州理工学院,NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务,它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务,以表明他们确实导致了一个更加互动和强大的系统,以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
A Study of Grid Applications: Scheduling Perspective
随着网格从一个高性能的集群中间件发展成为一个多用途的实用计算框架,需要对网格应用程序及其统计和利用模式有很好的了解。这项研究着眼于作业执行时间和资源利用率在网格环境中,集群和网络规模,本地级调度和资源管理的意义。
2007-11-02 cs.DC
Transparent Migration of Multi-Threaded Applications on a Java Based Grid
网格计算使得能够将由不同安全域管理的大量异构资源集中起来。应用程序动态地部署在当时可用的资源上。资源和应用需求的动态性使得网格中间件需要支持将运行中的应用迁移到不同资源的能力。特别是,网格应用程序通常是长时间运行的,因此停止它们并从头开始并不是一个可行的选择。本文介绍了一个基于Java的网格中间件DGET的迁移支持的概述。DGET中的迁移支持包括多线程迁移和异步迁移。
2006-08-29 cs.DC
Resource CoAllocation for Scheduling Tasks with Dependencies, in Grid
在广域分布式系统上调度应用程序对于以有效的方式获得快速和可靠的结果是有用的。优化调度算法对于实现资源的优化利用至关重要。现有的和潜在的应用包括许多活动领域,如卫星图像处理和医学。提出了一种网格环境下具有依赖关系的任务调度算法。CoAllocation表示为具有依赖性的任务提供调度的策略,其主要目的是调度的效率,在负载均衡和用于执行任务的最小时间方面。
2011-06-27 cs.DC
The Anatomy of the Grid - Enabling Scalable Virtual Organizations
“网格”计算已经作为一个重要的新领域出现,它与传统的分布式计算的区别在于它关注于大规模资源共享、创新应用以及在某些情况下面向高性能。在本文中,我们定义了这个新字段。首先,我们回顾“网格问题”,我们定义为灵活,安全,协调的资源共享之间的动态集合的个人,机构和资源,我们称之为虚拟组织。在这样的设置中,我们会遇到唯一的身份验证、授权、资源访问、资源发现和其他挑战。网格技术解决的正是这类问题。接下来,我们提出了一个可扩展的和开放的网格体系结构,其中的协议,服务,应用程序编程接口和软件开发工具包进行分类,根据它们的角色,使资源共享。我们描述的要求,我们相信任何这样的机制必须满足,我们讨论的核心作用,使不同的网格系统之间的互操作性的intergrid协议。最后,我们讨论了网格技术如何与其他当代技术,包括企业集成,应用服务提供商,存储服务提供商,和对等计算。我们认为,网格的概念和技术的补充,并有很大的贡献,这些其他的方法。
2001-03-29 cs.AR cs.DC
SLA-Based Coordinated Superscheduling Scheme and Performance for Computational Grids
基于服务水平协议(SLA)的网格超级部署方法促进了资源的协调共享.网格服务器(如资源代理)促进了管理上和拓扑上分布的网格站点之间的超级部署。在这项工作中,我们提出了一个基于市场的SLA协调机制。我们基于我们的SLA模型在一个众所周知的\emph{contract net protocol}。我们的方法的主要优点是,它允许:~(i)资源所有者有更精细的控制程度的资源分配,这是以前不可能通过传统的机制;和(ii)超级供应商投标SLA合同的合同网,重点是在用户指定的最后期限内完成工作。在这项工作中,我们使用模拟来显示我们所提出的方法的有效性。
2006-05-15 cs.DC
Grid: A next generation data parallel C++ QCD library
在这篇文章中,我们讨论了一个新的物理代码库,称为网格的动机,实施细节和性能。它的目的是更高性能、更通用,但在精神上与QDP++ \cite{QDP}相似。我们的方法是将基本类型系统设计为始终快速,而不是在一些优化的例程上螺栓,我们试图直接在Grid框架中编写所有优化的例程。希望这将在下一代超级计算机中提供最佳的实践性能,这将为传统的标量代码提供编程挑战。我们说明了用于实现我们的目标的编程模式,以及通过使用C++11中的新功能而实现的生产力的进步。
2015-12-10 cs.DC cs.MS hep-lat
Grid Market Directory: A Web Services based Grid Service Publication Directory
随着网格成为下一代面向服务的计算平台,它们需要支持网格经济,帮助管理资源的供需,并为网格资源提供者提供经济激励。为了实现这种网格经济,需要一个类似市场的网格环境,包括支持服务发布和发现的基础设施。作为Gridbus项目的一部分,我们提出并开发了一个网格市场目录(GMD),作为一个注册表的高层次的服务发布和发现在虚拟组织。
2003-02-06 cs.DC
Gridscape: A Tool for the Creation of Interactive and Dynamic Grid Testbed Web Portals
网格计算的概念最近越来越流行,它是解决大规模数据存储和处理需求的现实解决方案。它使地理上分布在协作组织中的资源能够共享、选择和聚合。现在,越来越多的人开始接受网格计算,并因此看到了建立自己的网格和网格测试平台的必要性。随之而来的是需要有一些手段,使他们能够查看和监控这些测试平台中的资源的状态(例如。基于Web的网格门户)。通常,开发人员投入大量的时间和精力来开发定制监控软件。为了克服这一局限性,本文提出了Gridscape?一个能够快速创建交互式和动态测试平台门户的工具(无需任何编程工作)。Gridscape的主要目标是为那些需要能够创建网格测试平台门户但又不想创建网格测试平台门户的用户提供解决方案。不一定有时间或资源从头开始构建自己的系统。
2003-07-22 cs.DC
Resource Matchmaking Algorithm using Dynamic Rough Set in Grid Environment
Iran University of Science and Technology(伊朗科技大学)
网格环境是一个面向服务的基础设施,在这个基础设施中,许多异构的资源参与提供高性能的计算。网格环境中的一个缺陷是通告资源和请求资源之间的不确定性和不确定性。此外,在诸如网格的环境中,动态性被认为是必须处理的关键问题。经典粗糙集理论已经被用来处理不确定性和不确定性问题。但它只能用于静态系统,不能支持系统的动态性。在这项工作中,我们提出了一种解决方案,称为动态粗糙集资源发现(DRSRD),用于处理的情况下,基于动态粗糙集理论,考虑在这种环境中的动态功能的不确定性和不确定性问题。以这种方式,所请求的资源属性具有作为优先级的权重,根据该权重进行资源匹配和排名过程。我们还报告了从GridSim模拟器中获得的解决方案的结果。比较了DRSRD算法、经典的基于粗糙集理论的算法以及DRSRD与OWL S的组合算法。DRSRD算法在网格等动态系统中具有复杂性和不确定性的情况下,比经典的基于粗糙集理论的算法,以及OWL S和RISK相结合的算法具有更好的精度。
2009-09-08 cs.AI cs.DC
Virtual Laboratory: Enabling On-Demand Drug Design with the World Wide Grid
计算网格是解决科学、工程和商业中大规模计算和数据密集型问题的一种流行模式。然而,在这些环境中的应用程序组合、资源管理和调度是一项复杂的任务。在本文中,我们说明了利用现有的网格技术,使分布式资源上的药物设计的分子建模的虚拟实验室环境的创建。它涉及针对蛋白质靶标、化学数据库(CDB)筛选数百万个化合物分子,以识别那些具有药物设计潜在用途的化合物。我们已经使网格的分子对接过程中组成的参数扫描应用程序使用Nimrod-G工具。然后,我们开发了新的工具,用于远程访问CDB小分子数据库中的分子。Nimrod-G资源代理与分子CDB数据代理一起用于分布式网格资源上作业的调度和按需处理。结果证明了Nimrod-G和虚拟实验室工具的易用性和适用性。
2001-11-17 cs.DC
Proxy dynamic delegation in grid gateway
如今,研究遇到的主要障碍之一是难以访问所需的计算资源。网格能够为用户提供广泛的资源,即使它们对于非专业的最终用户来说往往太难利用。如今,使用简化已成为访问和利用云、网格和数据中心资源的常见做法。随着L-GRID网关的推出,我们引入了一种新的方式来处理网格门户。L-GRID是为了通过Web访问EGI网格基础设施而开发的一个非常轻的门户,允许用户在几分钟内从任何Web浏览器提交他们的作业,而无需了解底层网格基础设施。
2012-04-30 cs.CR cs.DC
GridMonitor: Integration of Large Scale Facility Fabric Monitoring with Meta Data Service in Grid Environment
网格计算由协调使用大量不同的、地理上分布的资源来实现高性能计算组成。对这些计算资源的有效监控对于在网格上高效使用是极其重要的。网格中存在大量的异构计算实体,这使得网格计算具有很大的挑战性.在这项工作中,我们描述了一个网格监控系统,称为GridMonitor,捕获并提供最重要的信息,从一个大型计算设施。网格监控系统由本地监控、归档、发布和治理四个层次组成。该架构已应用于大规模的Linux农场和网络基础设施。它可以被许多更高级别的网格服务使用,包括调度服务和资源代理。
2003-06-13 cs.DC cs.PF
Adapting LIGO workflows to run in the Open Science Grid
在第一次观测运行期间,LIGO合作需要将一些最密集的CPU工作流从其专用计算站点卸载到机会资源。开放科学网格使LIGO能够在自有资源和机会主义资源的组合中无缝运行PyCbC、RIFT和Bayeswave工作流程。挑战之一是使工作流能够以协调和有效的方式使用多个异构资源。
2020-11-30 cs.DC physics.comp-ph
Managing Dynamic User Communities in a Grid of Autonomous Resources
网格计算中的一个基本概念是创建虚拟组织(VO):一组资源消费者和提供者联合起来解决一个共同的问题。虚拟组织的典型例子包括围绕大型强子对撞机(LHC)实验形成的合作。迄今为止,网格计算的应用规模相对较小,它将几十个用户连接到十几个资源,并且这些VO的管理主要是手工操作。随着大规模协作的推进,将150个县的1000个站点与10000多个用户联系起来,需要一个全面的自动化管理系统。它应该足够简单,不会阻止用户,同时确保本地网站的自主性。VO管理服务(VOMS)由欧盟DataGrid和DataTAG项目[1,2]开发,是一个用于管理虚拟组织中用户和资源授权的安全系统。它扩展了现有的网格安全基础设施[3]架构,嵌入了VO从属关系断言,可以由所有VO成员和资源提供者独立验证。在EU DataGrid项目中,用于作业提交、文件和数据库访问的网格服务配备了细粒度的授权系统,该系统考虑了VO成员资格。这也使资源所有者能够确保站点安全并执行本地访问策略。本文将介绍欧盟数据网格的安全体系结构,VO成员服务和本地站点执行机制本地中心授权服务(LCAS),本地证书映射服务(LCMAPS)和Java的信任和授权管理器。
2003-06-13 cs.DC
Usage Policy-based CPU Sharing in VOs
网格协作中的资源共享通常意味着参与站点的特定共享机制。在虚拟组织(VO)中,可能会出现共享政策问题,这些组织整合了跨多个物理机构的参与者和资源。资源所有者可能希望向一个或多个VO授予根据本地策略和服务水平协议使用某些资源的权利,并且每个VO可能随后希望根据VO策略使用这些资源。因此,我们必须解决的问题,什么使用政策(UPS)应考虑在VO的资源共享。作为解决这个问题的第一步,我们开发和评估不同的UP方案在一个专门的背景下,模仿科学网格内的资源共享的计算机。我们还提出了一个UP架构,并定义了角色和功能,在这样的网格环境中调度资源,同时满足资源所有者的政策。
2004-11-12 cs.DC
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源,网格计算得到了广泛的应用。随着网格计算的出现,可以克服传统分布式系统的空间限制,并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务,其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题,特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制,以便读者了解哪种算法适用于不同的情况。关键词:广域网,分布式计算,负载均衡。
2014-09-12 cs.DC
An Integrated Framework for Performance Analysis and Tuning in Grid Environment
在一个异构的、动态的环境中,如网格,事后分析是没有用的,数据需要实时的收集和分析。还需要新的技术来动态调整应用程序的性能和资源代理,以保持所需的QoS。本文的目的是提出一个综合框架的性能分析和调整的应用程序,并重新调度的应用程序,如果必要的话,一些其他的资源,以适应不断变化的资源使用情况下,在一个动态的环境。
2010-05-12 cs.DC
Rendezvous on a Known Dynamic Point on a Finite Unoriented Grid
针对两个无坐标协议的OBLOT机器人在有限无向网格上,提出在动态资源点会合的算法,证明其时间最优性,并指出半同步调度下不可解。
2023-05-12 cs.DC
GridBank: A Grid Accounting Services Architecture (GASA) for Distributed Systems Sharing and Integration
计算网格作为一种新的基于Internet的并行和分布式计算的基础设施正在兴起。它们支持跨多个管理域、组织和企业的资源共享、交换、发现和聚合。为了实现这一点,网格需要支持各种服务的基础设施:安全性,统一访问,资源管理,调度,应用程序组合,计算经济性和问责制。许多网格项目已经开发出了一些技术,这些技术提供了许多这些服务,但责任除外。为了克服这个限制,我们提出了一个新的基础设施,称为网格银行,提供服务的会计。本文提出了网格问责制的要求和不同的模型,它可以运行,并提出网格银行服务体系结构,以满足他们。本文重点介绍了实施问题,并详细讨论了GridBank需要维护的各种记录/数据库的格式。它还提出了网格计算环境中GridBank和各种组件之间的交互协议。
2002-10-01 cs.DC
Formal Aspects of Grid Brokering
分布式环境中的协调,如网格,涉及选择最合适的服务,资源或组合来执行计划的活动。这样的功能出现在基础设施的各个级别,并以各种方式形成模糊的域,其中很难看到参与的组件是如何相关的以及它们的相关属性是什么。在本文中,我们专注于这些问题的一个子集:网格中间件中的资源代理。本文的目的是建立一个语义模型的代理和相关活动,通过定义代理在三个层次的网格中间件的资源,主机和代理选择。本文的主要贡献是定义和分解网格中的不同代理组件,提供了一个正式的模型,使用抽象状态机。
2009-12-13 cs.DC cs.FL
Fine-Grained Authorization for Job Execution in the Grid: Design and Implementation
在本文中,我们描述了我们的工作,使细粒度的授权资源的使用和管理。我们解决的需要,虚拟组织执行自己的政策,除了那些资源所有者,在资源消耗和作业管理。为了实现这一设计,我们提出了Globus Toolkit的版本2的资源管理机制的变化和扩展。我们描述的原型和政策语言,我们设计来表达细粒度的政策,我们提出了我们的解决方案的分析。
2003-11-20 cs.CR cs.DC
A Taxonomy of Peer-to-Peer Based Complex Queries: a Grid perspective
网格超级搜索需要支持高效和可伸缩的资源发现。资源发现活动涉及搜索与用户的作业要求相匹配的适当资源类型。为了实现这一目标,一个资源发现系统,支持所需的查找操作是强制性的。已经提出了针对这个问题的各种解决方案,包括集中式和分级信息服务器方法。然而,这两种方法在可扩展性、容错性和网络拥塞方面都有严重的局限性。为了克服这些局限性,组织资源信息使用对等(P2P)网络模型已被提出。现有的方法主张扩展到结构化的P2P协议,以支持网格资源信息系统(GRIS)。在本文中,我们确定了这样一个高效的,可扩展的,容错的,一致的和实用的GRIS系统使用P2P网络模型的设计相关的问题。我们在第三节和第四节中将这些问题汇编成各种分类法。此外,我们期待现有的作品,适用于基于P2P的网络协议的GRIS。我们认为,这种分类法及其映射到相关的系统将是有用的学术和工业为基础的研究人员从事可扩展的网格系统的设计。
2006-10-30 cs.DC cs.DS cs.NI
A Deadline and Budget Constrained Cost-Time Optimisation Algorithm for Scheduling Task Farming Applications on Global Grids
计算网格和对等(P2P)网络使地理上分布的资源能够共享、选择和聚合,以解决科学、工程和商业中的大规模问题。然而,用于调度应用的资源和服务的管理和组合成为复杂的任务。我们已经提出了一个计算经济的框架,用于调节资源的供应和需求,并根据用户的服务质量要求将它们分配给应用程序。该框架需要经济驱动的最后期限和预算约束(DBC)调度算法分配资源的应用程序的作业,这样的方式,用户的要求得到满足。在本文中,我们提出了一种新的调度算法,称为DBC成本-时间优化,它扩展了DBC成本优化算法,优化时间,保持计算成本最低。这种新的调度算法的优越性,在实现较低的作业完成时间,通过模拟全球范围内的网格和调度任务农业应用程序不同的截止日期和预算的情况下,使用这种新的和成本优化调度算法证明。
2002-03-14 cs.DC
A Case for Cooperative and Incentive-Based Coupling of Distributed Clusters
在过去的五年中,对网格计算的研究兴趣显著增长。分布式资源管理是网格计算的关键问题之一。资源管理的核心是资源分配的有效性,因为它决定了系统的总体效用。当前网格环境中的超调度方法是不协调的,因为应用程序级调度器或代理独立于系统中的其他调度器做出调度决策。显然,由于可能发生的次优调度,这可能加剧分布式资源的负载共享和利用问题。为了克服这些局限性,我们提出了一种基于计算经济的分布式集群协调共享机制。由此产生的环境称为\emph{Grid-Federation},允许在本地资源不足以满足其用户需求时透明地使用来自联合的资源。在协调资源分配中使用计算经济方法不仅促进了基于QoS的调度,而且提高了由资源提供的效用。
2006-05-15 cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一,因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中,高性能计算包括用于数据存储和数据复制的专用服务器。在本文中,我们提出了一种新的机制,分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理(DSSM)体系结构。这允许在网格计算中不仅共享计算周期,而且共享存储空间。可以从任何网格机器透明地访问存储,从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备(节点)划分为多个地理上分布的域,以促进本地化并简化域内存储管理。采用基于网格服务的存储资源,随着需求的增长,将简单的模块化服务逐块堆叠起来。为此,我们提出了四个定义轴:DSSM架构和算法描述,存储资源和资源发现到网格服务,评估目的原型系统,动态,可扩展性和带宽,并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理,以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Gridscape II: A Customisable and Pluggable Grid Monitoring Portal and its Integration with Google Maps
网格计算作为一种促进分布式异构资源共享、实现大规模环境下协作的有效手段而出现。然而,网格系统的性质,加上信息的过剩和碎片化,使得它难以监控资源,服务和计算,以便计划和决策。在本文中,我们提出了Gridscape II,一个可定制的门户组件,可以单独使用或插入到恭维现有的网格门户网站。Gridscape II管理从任意、异构和分布式源收集的信息,并在单个界面中无缝地将它们呈现在一起。它还利用Google Maps API来提供高度交互的用户界面。Gridscape II简单易用,为那些不希望从头开始投入大量资金开发自己的监控门户的用户提供了一个解决方案,也为那些希望易于定制和扩展以满足其特定需求的用户提供了解决方案。
2006-05-12 cs.DC
Classification and Characterization of Core Grid Protocols for Global Grid Computing
网格计算在过去的几年里吸引了许多研究人员,因此,许多新的协议已经出现,并且自十年前开始以来也在不断发展。网格协议在实现各种服务方面发挥着重要作用,这些服务促进了不同组织之间的协调资源共享。在本文中,我们提供了全面的覆盖不同的核心网格协议,可用于全球网格计算。我们建立分类的核心网格协议到i)网格网络通信和网格数据传输协议,ii)网格信息安全协议,iii)网格资源信息协议,iv)网格管理协议,和v)网格接口协议,根据这些协议处理的活动的种类。所有分类的协议也被组织到网格体系结构的沙漏模型的层,以了解这些协议之间的依赖关系。我们还介绍了每个协议的特点。为了更好地理解这些协议,我们还讨论了应用协议的例子,无论是Globus工具包或其他流行的网格中间件项目。我们相信,我们的网格协议的分类和特征,将使更好地了解核心网格协议,并将激励在全球网格计算领域的进一步研究。
2013-02-22 cs.DC
Serving the Grid: an Experimental Study of Server Clusters as Real-Time Demand Response Resources
需求响应是允许间歇性可再生能源在电网中大规模渗透的关键技术。本文基于这样一个论点,即电力调度中心代表着特别有吸引力的候选者,可以为电网提供灵活的、实时的【形】需求响应服务;它们能够精细地控制功耗、快速的功率斜坡率和大的动态范围。本文有两个主要贡献:(a)它提供了详细的实验证据证明这篇论文,(b)它提出了一个比较调查的三个候选软件接口的电源控制服务器内。所有这些结果都是基于一系列实验,包括实验室规模的服务器集群上的实时的【形】功率测量。这个集群是专门仪器的准确和快速的功率测量的时间尺度为100 ms或less. Our的结果提供了初步证据的可行性,大规模的需求响应,使用数据中心,并激励未来的工作,利用这种能力。
2016-11-29 cs.DC cs.PF
Divisible Load Scheduling in Mobile Grid based on Stackelberg Pricing Game
如今,在计算系统中使用移动节点作为贡献实体已经变得可行。在本文中,我们考虑了一个计算网格中的移动设备可以共享其空闲资源,实现并行处理。整个计算任务可以被任意划分为多个子任务,以分配给移动资源提供者(RP)。在这个过程中,计算负载调度问题是突出的。基于优化目标,即,提出了一种以最小化任务完成时间为目标的买方-卖方模型,在该模型中,任务发起者可以通过支付一定的利润激励SP共享其计算资源。采用Stackelberg定价博弈(SPG)方法,得到每个SP的最优价格和共享资源量。最后,通过系统仿真对算法的性能进行了评估,结果表明基于SPG的负载调度算法可以显著提高移动网格系统的时间增益。
2015-03-18 cs.DC cs.GT
Improving Overhead Computation and pre-processing Time for Grid Scheduling System
计算网格是一个巨大的环境,具有异构的资源和稳定的基础设施之间的其他基于Internet的计算系统。然而,这种系统中的资源管理有其特殊的问题。调度系统需要从信息中心获取参与节点的最新信息,以便进行可靠的作业调度。在本文中,我们专注于在线更新资源信息中心处理和提供的数据的基础上假设的层次模型。采用混合知识抽取方法对网格节点进行分类,并基于工件特征预测。本研究的一个肯定的观点是,调度系统不会浪费额外的时间来获取网格节点的最新信息。实验结果表明,我们的方法相比,其他保守的方法的优势,特别是由于它能够预测节点的行为的基础上,每个节点上的综合数据表。
2010-05-06 cs.DC
Recent Advances in Mobile Grid and Cloud Computing
网格和云计算系统已被广泛用于解决科学和工程领域中的大型和复杂问题。这些系统包括通过高速网络连接的强大计算资源。由于移动计算和联网技术的最新进展,将诸如机器人、飞行器、传感器和智能电话的各种移动设备与网格和云计算系统集成已经变得可行。这种集成使下一代应用程序的设计和开发,通过在移动环境中的资源共享,也引入了一些挑战,由于动态和不可预测的网络。本文讨论了移动网格和云计算系统的设计和开发中的应用、研究挑战以及该领域的最新进展。
2018-10-16 cs.DC
GRAPPA: Grid Access Portal for Physics Applications
Grappa是一个网格门户,旨在为物理学家提供方便的网格工具和服务。ATLAS分析和控制框架Athena被用作目标应用程序。Grappa提供了基本的网格功能,如资源配置、证书测试、作业提交、作业监控、结果监控以及与ATLAS副本目录系统MAGDA的初步集成。Grappa使用Jython将脚本的易用性与基于Java的工具包的强大功能结合起来。这提供了一个强大的框架,访问不同的网格资源与统一的接口。最初的原型系统基于印第安纳大学极限计算实验室开发的XCAT科学门户,并通过在美国ATLAS测试台上运行Monte Carlo生产进行了演示。作为IST 2002和SC 2002演示的iVDGL-DataTAG互操作性联合项目的一部分,该门户还与WorldGrid上的一个欧洲资源代理进行了交流。当前的原型用xbooks jetspeed portlet代替了XCAT Science Portal,用于管理用户脚本。
2003-06-26 cs.DC
Ganga: a tool for computational-task management and easy access to Grid resources
在本文中,我们提出了计算任务管理工具Ganga,它允许的规格,提交,簿记和后处理的计算任务上广泛的分布式资源。Ganga的开发是为了解决科学项目中越来越常见的一个问题,即研究人员必须定期在不同的处理系统之间切换,每个系统都有自己的命令集,以完成他们的计算任务。Ganga为处理异构资源上的数据提供了一个同构环境。我们给出了高能物理的例子,演示了如何在本地系统上开发分析,然后透明地移动到网格系统来处理所有可用的数据。Ganga有一个API,可以通过交互式界面、脚本或GUI使用。通过插件系统在运行时提供有关任务或计算资源类型的特定知识,使新的开发易于集成。我们给出了一个概述的恒河架构,给出当前使用的例子,并演示了如何恒河可以在许多不同的科学领域。
2009-06-09 cs.DC