Experimental Study of Remote Job Submission and Execution on LRM through Grid Computing Mechanisms
远程作业提交和执行是利用集群计算实现分布式计算的基本要求。然而,集群计算限制了在单个组织内的使用。网格计算环境可以允许使用在其他组织中可用的资源来执行远程作业。本文讨论了使用LRM和使用网格的批处理作业执行的概念。本文讨论了两种方法来准备测试网格计算环境,我们使用的实验测试的概念。本文通过LRM的特定方式和网格计算的方式对远程作业提交和执行机制进行了实验测试。此外,本文还讨论了在网格计算环境下工作时所面临的各种问题,并讨论了解决这些问题的方法。本文提出的理解和实验测试将成为非常有用的研究人员谁是新的网格作业管理领域。
2014-07-15 cs.DC
Gridlan: a Multi-purpose Local Grid Computing Framework
在科学计算中,更多的计算能力通常意味着更快和可能更详细的结果。本研究的目标是开发一个框架,提交计算工作的强大的工作站未充分利用的非密集型任务。这是通过在这些工作站中的每一个中使用虚拟机来实现的,在这些工作站中进行计算。这组虚拟机称为Gridlan。Gridlan框架介于集群和网格计算范例之间。Gridlan能够从现有的集群软件工具中获益,例如像Torque这样的资源管理器,因此具有集群操作经验的用户可以无缝地分派作业。Gridlan实现的基准测试显示了该系统对计算任务的适用性,主要是在并行计算中。
2016-09-22 cs.DC
A Survey of Current Trends in Distributed, Grid and Cloud Computing
从20世纪90年代到2012年,互联网彻底改变了计算世界。在发展到分布式计算和进一步发展到网格计算之后,它开始了并行计算之旅。在目前的情况下,它创造了一个新的世界,被称为云计算[1]。这三个术语有不同的含义。云计算基于后向计算方案,如集群计算、分布式计算、网格计算和效用计算。云计算的基本概念是虚拟化。它为各种请求程序提供虚拟硬件和软件资源。本文对集群计算、网格计算和云计算进行了详细的介绍,并对它们的实现进行了分析。我们试图列出所有这些技术出现的灵感。我们还占一些目前的情况下的网格计算的故障,并讨论了新的云计算项目正在管理的印度政府的学习。本文还回顾了现有的工作,并涵盖(分析),在一定程度上,一些创新的想法,可以实施。
2013-08-08 cs.DC
Emulating a computing grid in a local environment for feature evaluation
本文提出在本地环境中构建计算网格迷你克隆的仿真方法,以在受控条件下评估新功能,避免干扰CERN ALICE等生产网格的运行。
2024-11-19 cs.DC
Recent Advances in Mobile Grid and Cloud Computing
网格和云计算系统已被广泛用于解决科学和工程领域中的大型和复杂问题。这些系统包括通过高速网络连接的强大计算资源。由于移动计算和联网技术的最新进展,将诸如机器人、飞行器、传感器和智能电话的各种移动设备与网格和云计算系统集成已经变得可行。这种集成使下一代应用程序的设计和开发,通过在移动环境中的资源共享,也引入了一些挑战,由于动态和不可预测的网络。本文讨论了移动网格和云计算系统的设计和开发中的应用、研究挑战以及该领域的最新进展。
2018-10-16 cs.DC
From Grid Middleware to a Grid Operating System
网格计算在过去十年中取得了长足的进步。网格中间件(如Globus)在实现这一点方面做出了巨大贡献。然而,在其他领域采用网格计算还存在很大的障碍,尤其是在日常用户计算环境中。我们将在本文中证明,这主要是由于现有的网格中间件的局限性,不考虑日常的科学和商业用户的需求。在本文中,我们将正式倡导网格操作系统,并提出了一个架构迁移网格计算到网格操作系统,我们相信这将有助于消除大部分的技术障碍,采用网格计算,使其相关的日常用户。我们相信,这种向网格操作系统的过渡将在未来推动更广泛的网格计算研究和应用程序开发与部署。
2006-08-08 cs.DC
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源,网格计算得到了广泛的应用。随着网格计算的出现,可以克服传统分布式系统的空间限制,并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务,其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题,特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制,以便读者了解哪种算法适用于不同的情况。关键词:广域网,分布式计算,负载均衡。
2014-09-12 cs.DC
Mining the Workload of Real Grid Computing Systems
自20世纪90年代中期以来,网格计算系统已经作为一种类比而出现,它使计算能力像电力网一样普及和容易访问。从那时起,网格计算系统已被证明能够提供非常大的存储量和计算能力,主要支持广泛的地理范围内的科学和工程研究。了解这些系统的工作负载特性是设计和调整有效的资源管理策略的一个里程碑。这是通过工作负载特性来实现的,其中分析工作负载特性并获得这些特性的可能现实的模型。在本文中,我们研究了一些真正的网格系统的工作负载,通过使用数据采掘的方法来建立一个工作负载模型的作业到达间隔时间和运行时间,和贝叶斯方法来捕捉用户的相关性和使用模式。最后的模型,然后对来自一个真正的网格系统的工作负载进行验证。
2015-01-28 cs.DC
Smart grids (SGs) enable integration of diverse power sources including renewable energy resources. They can contribute to the reduction of harmful gas emission, and support two-way information flow to enhance energy efficiency, along with small-scale Microgrids, acting as a promising solution to cope with environmental problems. However, with the emerging of mission-critical and delay-sensitive applications, traditional Cloud-based data processing mode becomes less satisfying. The use of Fog computing to empower the edge-side processing capability of Smart grid systems is considered as a pote…
2020-08-31 cs.DC
A growing gap between progress in biological knowledge and improved health outcomes inspired the new discipline of translational medicine, in which the application of new knowledge is an explicit part of a research plan. Abramson and Parashar argue that a similar gap between complex computational technologies and ever-more-challenging applications demands an analogous discipline of translational computer science, in which the deliberate movement of research results into large-scale practice becomes a central research focus rather than an afterthought. We revisit from this perspective the devel…
2020-08-21 cs.DC
The Gridbus Toolkit for Service Oriented Grid and Utility Computing: An Overview and Status Report
网格旨在利用自治分布式实体合作产生的协同效应。网格合作产生的协同效应包括共享、交换、选择和聚合地理上分布的资源,如计算机、数据库、软件和科学仪器,以解决科学、工程和商业中的大规模问题。为了使这种合作可持续,参与者需要有经济激励。因此,“激励”机制应被视为网格体系结构的关键设计参数之一。在这篇文章中,我们提出了一个开源的网格工具包,称为Gridbus,其体系结构是从根本上驱动的网格经济的需求的概述和状态。网格总线技术为计算网格和数据网格提供服务,为新兴的电子科学和电子商务应用提供动力。
2004-04-13 cs.DC
A few grid-computing tools are available for public use. However, such systems are usually quite complex and require several man-months to set up. In case the user wishes to set-up an ad-hoc grid in a small span of time, such tools cannot be used. Moreover, the complex services they provide, like, reliable file transfer, extra layers of security etc., act as an overhead to performance in case the network is small and reliable. In this paper we describe the structure of our grid-computing framework, which can be implemented and used, easily on a moderate sized network.
2020-10-05 cs.DC
Virtual Environments for multiphysics code validation on Computing Grids
在本文中,我们提倡使用基于网格的基础设施,这些基础设施是为数字专家用户设计的无缝方法,即,多物理场应用设计师。它依赖于基于计算网格的复杂计算环境,连接异构计算资源:大型机、PC集群和运行多物理场代码和实用软件的工作站,例如,可视化工具。该方法基于HEAVEN* 联盟定义的概念。HEAVEN是一个欧洲科学联盟,包括来自航空航天,电信和软件行业的工业合作伙伴以及学术研究机构。目前,HEAVEN联盟正在进行一个旨在创建高级服务平台的项目。它旨在使“虚拟专用网格”支持各种环境,供用户操作适当的高级界面。这将成为未来通用服务的基础,允许集成各种服务,而无需部署特定的网格基础设施。
2005-10-26 cs.DC
An Overview of a Grid Architecture for Scientific Computing
本文概述了NorduGrid项目的网格测试平台架构建议。该项目的目的是建立一个北欧国家间的试验台设施,用于实施广域计算和数据处理。该体系结构应该定义一个网格系统,适用于解决在欧洲核子研究中心的大型强子对撞机的数据密集型问题。我们提出了这样一个系统所需的各种架构组件。之后,我们继续通过显示任务流来描述动态。
2002-05-14 cs.DC
A Taxonomy of Workflow Management Systems for Grid Computing
随着网格技术和应用技术的出现,科学家和工程师们正在构建越来越复杂的应用程序来管理和处理大型数据集,并在分布式资源上执行科学实验。这样的应用场景需要用于组成和执行复杂工作流的手段。因此,许多努力已经朝着网格计算的工作流管理系统的发展。在本文中,我们提出了一个分类的特点和分类网格上的工作流的建设和执行的各种方法。我们还调查了几个有代表性的网格工作流系统开发的各种项目在世界范围内展示分类的全面性。该分类法不仅突出了设计和工程的相似性和差异,国家的最先进的网格工作流系统,但也确定了需要进一步研究的领域。
2005-04-13 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等(P2P)网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中,资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性,需要在不同的场景下评估它们的性能,例如不同数量的资源和具有不同需求的用户。在网格环境中,由于资源和用户分布在多个组织中,并且具有各自的策略,因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制,我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源(时间和空间共享)、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性,我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Brok
计算网格,耦合地理上分布的资源,如个人电脑,工作站,集群,和科学仪器,已经成为下一代的计算平台,解决大规模的问题,在科学,工程和商业。然而,这些环境中的应用程序开发、资源管理和调度仍然是一项复杂的任务。在这篇文章中,我们将讨论我们的努力,在开发一个资源管理系统调度计算分布在世界各地的资源,不同的服务质量。我们的面向服务的网格计算系统称为Nimrod-G管理与远程执行相关的所有操作,包括资源发现,交易,基于经济原则和用户定义的服务质量要求的调度。Nimrod-G资源代理是通过利用Globus等现有技术实现的,并提供了构建工业强度网格所必需的新服务。我们讨论的初步实验结果调度一些参数计算使用Nimrod-G资源代理在一个世界范围内的网格测试平台,跨越五大洲。
2001-11-17 cs.DC
A Taxonomy of Performance Prediction Systems in the Parallel and Distributed Computing Grids
由于网格是地理上分布的异构资源的松散耦合集合,因此网格资源的有效利用需要一个良好的性能预测系统(PPS)的支持。网格资源的性能预测有助于资源管理系统和网格用户做出优化的资源使用决策。已经有许多PPS项目在多个维度上跨越多个网格资源。在本文中,分类描述PPS体系结构进行了讨论。分类法是用来分类和识别的方法,在现有的PPS网格的实施。分类法和调查结果用于确定研究中尚未充分探讨的方法和问题。
2013-07-12 cs.DC
New Approaches with Chord in Efficient P2P Grid Resource Discovery
网格计算是一种分布式计算,它允许通过Internet共享计算机资源。它不仅允许我们共享文件,还允许我们共享大部分软件和硬件资源。高效的资源发现机制是网格计算系统的基本要求,它支持应用程序的资源管理和调度。在众多的发现机制中,P2P(Peer-to-Peer)技术发展迅速,而P2P技术的高效查找应用是其成功的关键。Chord是一种P2P结构模型,被广泛用作网格环境下资源发现的路由协议。为了提高Chord协议在网格环境下的查找性能,研究者们提出了许多改进的方法。本文讨论了Chord结构P2P协议的最新研究成果,提出了一种基于最近访问节点(RVN)地址和模糊技术的网格资源定位方法,降低了消息复杂度和时间复杂度。
2014-01-09 cs.DC
Data Grid Concepts for Data Security in Distributed Computing
数据网格是一种将大量数据和计算资源集成到单个虚拟数据管理系统中的分布式计算体系结构。它能够共享和协调使用来自各种资源的数据,并提供各种服务,以满足高性能分布式和数据密集型计算的需求。本文研究了数据网格中的数据划分和动态复制问题。其中系统的安全性和访问性能是有效的。数据网格有几个重要的需求,包括信息的可生存性、安全性和访问性能。更具体地说,调查的问题是敏感数据对象的最优分配,使用秘密共享方案或擦除编码方案划分和复制。数据分区(DATA PARTITIONING)是指可以将单个数据划分为多个对象。复制被称为共享信息的过程。在多个系统中存储相同的数据。复制技术经常用于提高数据可用性。单点故障不会影响该系统。在那里数据将得到保护。
2013-08-28 cs.DC
PhantomOS: A Next Generation Grid Operating System
网格计算在过去的十年中取得了长足的进步,这主要归功于标准化网格中间件的采用。然而,网格计算还没有普及,因为我们认为,一些障碍,已造成采用中间件为中心的方法。这些障碍包括:缺乏对主要类型应用程序(如交互式应用程序)的支持;缺乏灵活、自主和可伸缩的网格体系结构;缺乏即插即用的网格计算,最重要的是,没有直接的方法来设置和管理网格。AtomtomOS是一个旨在解决这些障碍的项目。它的目标是创建一个用户友好的普及网格计算平台,促进快速部署和易于维护的网格,同时提供支持的主要类型的应用程序在网格上的几乎任何拓扑结构。在本文中,我们提出了详细的系统架构及其实施的概述。
2007-07-05 cs.DC
Grid Technologies
本文包含了计算网格的最重要的方面。网格计算允许高性能的分布式系统充当单个计算机。为了理解网格的工作方式,给出了网格结构和技术的概述。
2009-03-04 cs.DC
HEP Analysis Facility An Approach to Grid Computing
HEP分析设施是在Scientific Linux Cern 5.5中设计和实现的一个集群,为高能物理研究人员提供一个可以承担特定任务的地方,或者提供一个并行处理架构,其中CPU资源在网络上共享,所有机器都作为一个大型超级计算机运行。
2012-10-29 cs.DC
FOSS-Based Grid Computing
在本文中,我们将主要关注网格和网格计算的核心方面,使用免费和开源软件,重点是效用计算。它是基于一个技术报告,题为“网格计算使用GNU/Linux”的作者。这篇文章写于2006年,应该有历史意义。
2015-07-17 cs.DC cs.PL
Grid computing is a collection of computer resources that are gathered together from various areas to give computational resources such as storage, data or application services. This is to permit clients to access this huge measure of processing resources without the need to know where these might be found and what technology such as, hardware equipment and operating system was used. Dependability and performance are among the key difficulties faced in a grid computing environment. Various systems have been proposed in the literature to handle recouping from resource failure in Grid computing …
2020-06-04 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施,能够共享、选择和聚合地理上分布的资源,以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的,并且在地理上分布,具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略,并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中,资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管,并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限,预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法,展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性,通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中,资源管理和调度是实现资源高效利用的关键。在网格系统中,由于资源的异构性,应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论,针对不同类型的工作负载和单个源处理器,已经提出了一些分配模型。本文介绍了一种新的资源分配模型,该模型以多个负荷源处理机作为经济模型。通过线性规划方法,得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明,该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明,该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
The ShareGrid Portal: an easy way to submit jobs on computational Grids
网格计算是一种分布式计算模式,其目标是以一种动态、透明和协调的方式聚合多个异构的、分布的、属于不同的、独立的组织的资源。自引入以来,网格计算已经成功地应用于解决一些具有挑战性的科学应用。尽管它的许多方面得到了巩固,但仍有一些问题尚未解决。其中之一是透明性:在许多真正的网格系统中,用户仍然需要了解网格计算,或者使他们的应用程序适应这种范式,或者将它们包装在合适的软件框架中。在本文中,我们提出了ShareGrid门户,一个Web门户和门户框架,建立在ShareGrid项目基础设施之上。它的目的是简化网格系统中用户应用程序的执行,并允许开发人员灵活地添加新的门户功能。在这项工作中,我们比较它与其他知名的网格门户网站,我们展示了它的用户界面和它的体系结构。最后,我们讨论了用户体验和未来的扩展。
2018-12-23 cs.DC
Grid Computing in the Collider Detector at Fermilab (CDF) scientific experiment
费米实验室对撞机探测器(CDF)科学实验的计算模型自实验开始以来一直在发展。最初,CDF计算由位于世界各地计算机农场的专用资源组成。随着网格计算在高能物理中的广泛应用,CDF计算已经广泛地应用于网格计算。CDF在世界各地使用计算网格。每个计算网格都需要不同的解决方案。使用门户作为协作计算资源的接口已被证明是一种非常有用的技术,允许CDF物理学家透明地从使用专用计算机农场迁移到使用位于网格农场的计算,通常远离费米实验室。CDF的网格计算随着网格标准和实践的变化而不断发展。
2008-10-20 cs.DC hep-ex physics.data-an
Economic Models for Management of Resources in Grid Computing
网格和对等计算的快速发展使其成为有前途的下一代计算平台。它们可以创建虚拟企业(VE),以共享分布在世界各地的资源。然而,这些环境中的资源管理、应用程序开发和使用模型是一项复杂的任务。这是由于不同组织拥有的资源的地理分布。这些资源中的每一个的资源所有者具有不同的使用或访问策略和成本模型,以及变化的负载和可用性。为了解决复杂的资源管理问题,我们提出了一个计算经济的资源分配和调节供应和需求的网格计算环境中的框架。该框架提供了通过交易和中介服务优化资源提供者和消费者目标函数的机制。在现实世界的市场中,存在各种经济模型,用于根据供求关系及其对用户的价值来设定商品价格。它们包括商品市场、标价、招标和拍卖。在本文中,我们将讨论使用这些模型的网格组件之间的互动,在决定资源的价值和必要的基础设施,以实现它们。除了网格计算系统提供的常规服务之外,我们还需要一个基础设施来支持交互协议、分配机制、货币、安全银行和强制服务。此外,我们展示了使用这些经济模型中的一些资源经纪人通过Nimrod/G的最后期限和基于成本的调度两种不同的优化策略上的万维网(WWG)的测试平台。
2001-06-11 cs.DC
Hep Cluster First Step Towards Grid Computing
HEP集群是在Scientific Linux Cern 5.5中设计和实现的,为高能物理研究人员提供了一个可以执行特定任务的地方,或者提供一个并行处理架构,其中CPU资源在网络上共享,所有机器都作为一个大型超级计算机运行。它使物理学家能够透明地访问计算机和数据,而不必考虑位置、操作系统、帐户管理和其他细节。通过使用这种设备,研究人员可以比独立的桌面系统更快地处理他们的工作。关键词:集群,网络,存储,并行计算与Gris。
2012-10-29 cs.DC
A Fuzzy Differential Evolution Algorithm for Job Scheduling on Computational Grids
网格计算是近年来兴起的一个跨地域共享数据、存储和计算的计算领域。本文提出了一种新的模糊方法,利用差分进化(DE)的计算网格上的作业调度。基于模糊的DE生成一个最优的计划,在最短的时间内完成的工作。我们用遗传算法、模拟退火算法、差分进化算法和模糊粒子群算法对所提出的模糊DE算法进行了性能评估。实验结果表明,与其他算法相比,新算法能产生更多的最优解。
2014-07-23 cs.DC
Cluster-Based Load Balancing Algorithms for Grids
电子科学应用可能需要大量的数据和高处理能力,而网格基础设施非常适合满足这些要求。网格中的负载分布可能会发生变化,从而导致瓶颈和过载站点。我们描述了一个层次的动态负载均衡协议的网格。网格由集群组成,每个集群由一个协调器表示。每个协调器首先尝试平衡其集群中的负载,如果失败,则与其他协调器通信以执行负载的传输或接收。这一过程定期重复。我们分析了该协议的正确性,性能和可扩展性,并从模拟结果表明,我们的算法通过减少网格环境中的高负载节点的数量来平衡负载。
2011-10-10 cs.DC
With the widespread availability of high-speed networks, it becomes feasible to outsource computing to remote providers and to federate resources from many locations. Such observations motivated the development, from the mid-1990s onwards, of a range of innovative Grid technologies, applications, and infrastructures. We review the history, current status, and future prospects for Grid computing.
2022-04-08 cs.DC
JClarens: A Java Framework for Developing and Deploying Web Services for Grid Computing
高能物理(High Energy Physics,HEP)和其他科学团体已经采用面向服务的体系结构(Service Oriented Architectures,SOA)作为更大的网格计算工作的一部分。这项工作涉及到将许多遗留应用程序和编程库集成到SOA框架中。网格分析环境(GAE)是一个基于Clarens网格服务框架的面向服务的体系结构,正在开发中,作为欧洲粒子物理实验室(CERN)大型强子对撞机(LHC)紧凑型μ子螺线管(CMS)实验的一部分。Clarens提供了一组授权、访问控制和发现服务,以及对所有已部署服务的XMLRPC和SOAP访问。Clarens Web Services Framework的两个实现(Python和Java)为广泛的程序设计语言提供了集成的可能性。本文描述了名为JClarens的Clarens Web服务框架的Java实现。以及科学界和网格社区感兴趣的几个Web服务,它们都是使用JClarens部署的。
2005-04-11 cs.DC
An Efficient Read Dominant Data Replication Protocol under Serial Isolation using Quorum Consensus Approach
在分布式系统中,数据复制提供了更好的可用性,更高的读容量,提高了访问效率,降低了系统的带宽要求。在本文中,我们提出了一个显着有效的方法的数据复制串行隔离使用新提出的循环仲裁系统。本文有三个主要贡献。首先,我们提出了循环式的法定人数系统,概括了现有的各种法定人数系统,如读一写全部(ROWA)法定人数系统,多数法定人数系统,网格法定人数系统,钻石法定人数系统,D空间法定人数系统,多维网格法定人数系统和广义网格法定人数系统。其次,循环仲裁系统不仅推广,而且提高了现有的同类仲裁系统的性能。第三,我们提出了一个高可用性的循环仲裁共识协议的数据复制串行隔离水平下,使用一个合适的循环仲裁系统读占主导地位的情况下。
2014-06-28 cs.DC
Mapping Cloud Computing onto Useful e-Governance
在网格和云计算的上下文中看到的大多数服务大多局限于可用于智力目的的服务。网格或云计算是大规模的分布式系统。大规模分销的本质只有在服务于普通人的情况下才能实现,唯一与几乎每一个居民都有联系的组织是各国政府。随着人口规模的增加,因此需要更大的权限。大规模的在线服务网格可以解决大权限的问题。政府服务可以通过完全定制的面向服务的云来提供。在本文中,我们提出了紧密的相似性之间的通用政府职能和面向服务的网格/云的方法。同时,我们也将讨论建立面向服务的政府组织网格的主要问题。
2010-09-13 cs.DC
The Distributed Computing Paradigms: P2P, Grid, Cluster, Cloud, and Jungle
分布式计算是在多个系统上进行的,以解决大规模问题。发达国家和发展中国家高速宽带网络的发展、计算能力的不断提高以及互联网的迅速发展改变了这种方式。在信息技术中,社会管理信息和信息服务。从历史上看,计算的状态经历了一系列的平台和环境变化。分布式计算是有效利用计算机系统的重要保证。因此,超级计算机站点和数据中心已经从提供高性能浮点计算能力转变为同时服务来自数十亿用户的大量请求。分布式计算系统使用多台计算机通过互联网解决大规模问题。它变得数据密集型和以网络为中心。分布式计算的应用越来越广泛。在分布式计算中,大规模的资源共享是计算的重点,其目标总是追求最佳性能。在本文中,我们回顾了在分布式计算范例领域所做的工作。主要的重点是云计算的发展领域。
2013-11-13 cs.DC
A Novel Self-Recognition Method for Autonomic Grid Networks Case Study: Advisor Labor Law Software Application
近年来,网格计算系统提供了广泛的资源集成使用。网格计算系统提供了以集成方式共享、选择和聚集分布式资源如计算机、存储系统或其他设备的能力。网格计算系统解决了科学、工程和商业领域的许多问题。本文介绍了一种网格网络的自识别算法,并引入该算法对自治网格网络进行独占管理控制。该算法基于二项式堆来分配和识别网格中的任意节点。我们尝试在顾问劳动法软件应用程序中使用此算法作为案例研究,并在此应用程序中显示如何将此方法用于网络上的任何顾问应用程序。通过这个实现模型表明,该方法可以得到更好的答案,任何问题,作为一个最好的劳动法律顾问。
2014-02-10 cs.DC
Alternative Mixed Integer Linear Programming Optimization for Joint Job Scheduling and Data Allocation in Grid Computing
本文针对网格计算中的作业调度与数据分配联合优化问题,提出一种交替固定决策变量并利用MILP求解的混合整数二次约束规划方法,实验证明其显著优于现有启发式方法且具强泛化性与鲁棒性。
2025-02-01 cs.DC
A Generic Deployment Framework for Grid Computing and Distributed Applications
在大型系统上部署分布式应用程序,特别是在网格基础设施上,变得越来越复杂。网格用户花费大量的时间在节点上准备、安装和配置中间件和应用程序二进制文件,并最终启动他们的应用程序。问题在于部署过程由许多异构任务组成,这些任务必须以特定的正确顺序编排。因此,部署过程的自动化目前很难实现。为了解决这个问题,我们在本文中提出了一个通用的部署框架,允许自动执行异构任务组成的整个部署过程。我们的方法是基于一个具体的软件组件的所有必要的部署机制或现有的工具。网格用户只需要用简单的自然语言描述要部署的配置,而不需要编写部署过程的执行程序或脚本。作为一个玩具的例子,这个框架是用来部署基于CORBA组件的应用程序和OpenCCM中间件上的法国Grid5000基础设施的一千个节点。
2007-06-20 cs.DC
The Locus Algorithm III: A Grid Computing system to generate catalogues of optimised pointings for Differential Photometry
本文讨论了用于实现轨迹算法的网格计算系统的硬件和软件组成,以确定61,662,376颗恒星和23,799个类星体的差分测光的最佳点。数据的规模以及初始操作评估需要高性能计算(HPC)系统来完成数据分析。网格计算被选为HPC解决方案,作为该项目中可用的最佳选择。国家网格计算基础设施的物理和逻辑结构为所采取的方法提供了信息。这种方法是将不同的项目组件分层分离,以实现最大的灵活性和可扩展性。
2020-03-11 astro-ph.IM cs.DC
A Model for Grid User Management
在大规模网格计算环境中,用户的注册和管理提出了新的挑战,现有的协议没有很好地解决。在单个虚拟组织(VO)中,数千名用户可能需要访问数百个计算站点,而用户在每个站点注册本地帐户的传统模式将带来重大的扩展问题。然而,计算站点必须保持对站点访问的控制,并且站点策略通常要求每个用户具有单独的本地帐户。我们在这里提出了一个模型,允许用户注册一次VO,但仍然提供所有的计算站点的信息,他们需要与所需的信任级别。我们已经开发了工具,使网站自动管理本地帐户和网格身份和本地帐户之间的映射。
2003-06-13 cs.DC
Thermal Analysis of Climate Regions using Remote Sensing and Grid Computing
气候区域分析对于设计师和建筑师来说非常重要,因为密度和建筑空间的增加以及开放空间和绿地的减少会导致热量增加,特别是在城市地区,从而使环境恶化并导致健康问题。本研究分析了土地表面温度(LST)的差异,在该地区的Dobrogea,罗马尼亚,土地利用和土地覆盖类型,利用TM和ETM+数据的1989年和2000年进行比较。由于分析是在大数据集上进行的,我们利用网格计算实现了一个基于Web的客户端服务,这对于那些利用Landsat TM/ETM+波段进行地面热环境和热岛效应研究的人来说是非常有用和方便的,并且具有典型的工作站,没有用于计算密集型卫星图像处理的特殊计算和存储资源,并且没有用于商业图像处理工具的许可证。基于卫星遥感影像,本文还讨论了监督分类算法和计算两个指标,归一化差异植被指数(NDVI),分别陆面植被指数(LSE)在水资源管理中的重要价值。
2011-01-24 cs.DC
Simulating Data Access Profiles of Computational Jobs in Data Grids
由于近年来高速局域网和广域网的迅速发展,在计算网格中运行的应用程序的数据访问模式正在发生变化。不再严格要求数据密集型作业在相应输入数据所在的计算站点处运行。相反,作业可以使用数据放置、分段和远程数据访问的任意组合来访问数据。这些数据访问配置文件表现出部分不重叠的吞吐量瓶颈。可以利用这一事实来最小化作业等待输入数据的时间。在这项工作中,我们提出了一种新的网格计算模拟器,它把重点放在各种数据访问配置文件。基于我们的模拟器的基本假设是合理的,在欧洲核子研究中心的全球大型强子对撞机计算网格(WLCG)进行的经验实验。我们演示了如何校准模拟器的参数,根据真实的系统使用后验推理与似然无马尔可夫链蒙特卡罗。此后,我们验证了模拟器的输出相对于一个真实的生产工作量从WLCG,证明其显着的准确性。
2019-03-12 cs.DC
GridBank: A Grid Accounting Services Architecture (GASA) for Distributed Systems Sharing and Integration
计算网格作为一种新的基于Internet的并行和分布式计算的基础设施正在兴起。它们支持跨多个管理域、组织和企业的资源共享、交换、发现和聚合。为了实现这一点,网格需要支持各种服务的基础设施:安全性,统一访问,资源管理,调度,应用程序组合,计算经济性和问责制。许多网格项目已经开发出了一些技术,这些技术提供了许多这些服务,但责任除外。为了克服这个限制,我们提出了一个新的基础设施,称为网格银行,提供服务的会计。本文提出了网格问责制的要求和不同的模型,它可以运行,并提出网格银行服务体系结构,以满足他们。本文重点介绍了实施问题,并详细讨论了GridBank需要维护的各种记录/数据库的格式。它还提出了网格计算环境中GridBank和各种组件之间的交互协议。
2002-10-01 cs.DC
A Robust Asynchronous Newton Method for Massive Scale Computing Systems
志愿者计算网格以相对较低的服务器运行成本提供超级计算级别的计算能力。在以前的工作中,作者已经表明,它是可以采取传统的迭代进化算法,并执行他们的志愿者计算网格异步执行。异步实现极大地提高了可伸缩性,并减少了收敛到解决方案所需的时间。迭代和异步优化算法实现集群和超级计算机上使用MPI,和BOINC志愿者计算网格已打包在一起的通用分布式优化(FGDO)的框架。本文提出了一种新的扩展FGDO的异步牛顿法(ANM)的局部优化。ANM对异构、故障和不可靠的计算节点具有弹性,并且具有极高的可扩展性。初步结果表明,它可以收敛到局部最优显着快于共轭梯度下降。
2016-12-30 cs.DC
QOS based user driven scheduler for grid environment
由于网格在本质上是异构的、动态的、共享的和分布式的环境,有效地管理这些平台是非常复杂的。一个有前途的可扩展的方法来处理这些复杂性是设计的自主应用程序的自我管理。自治应用通过考虑自身行为和环境条件的知识来相应地调整其执行。基于QoS的网格用户驱动调度为自治应用提供了自优化能力。计算网格通过在物理位置的多台机器上分散单个大型计算,为用户提供解决大规模问题的能力。基于QoS的用户驱动网格调度器通过应用用户定义的调度策略来减少作业的执行时间,从而提高网格系统的可靠性,提高网格的性能。本文的主要目的是在网格节点之间分配计算负载,并开发一种基于QoS的网格调度算法,使网格更加可靠。网格计算系统不同于传统的分布式计算系统,它强调大规模的资源共享,其中处理器和通信对网格计算的可靠性有重要影响。由最终用户从提交到网格执行的应用程序中启动的可靠性功能。基础设施和管理服务的可靠性,这些服务执行网格系统运行所必需的基本功能,例如资源分配和调度。
2011-02-02 cs.DC
FogGrid: Leveraging Fog Computing for Enhanced Smart Grid Network
本手稿集中在雾计算的智能电网网络,包括一个分布式发电系统称为微电网的应用。它解决了智能电网的特点和优势。讨论了基于共享信息资源的按需处理的两种计算方法。雾计算作为计算和/或通信节点的附加层,在处理大量数据的同时将云后端从多任务中卸载。比较了雾计算和云计算分层体系结构在资源利用效率方面的差异。为了缓解雾计算的优势,提出了一种基于Intel Edison的雾计算框架。所提出的架构已硬件实现的微电网系统。所获得的结果显示了雾计算在低功耗、降低存储需求和覆盖分析能力方面对智能电网网络的功效。
2017-12-27 cs.DC cs.NI
A Comparative Study of Replication Techniques in Grid Computing Systems
网格计算是一种并行和分布式系统,旨在为广域网中的数据和计算资源提供可靠的访问。这些资源分布在不同的地理位置,但组织起来提供综合服务。在当今的企业环境中,有效的数据管理是一个重要的问题。此外,性能也是使用这些环境的挑战之一。为了提高文件访问的性能和简化分布式系统之间的共享,使用复制技术。数据复制是分布式环境中使用的一种常见方法,其中基本数据存储在多个位置,以便用户可以从其所在区域的站点访问数据。在本文中,我们提出了一个调查的基本和新的复制技术,已提出的其他研究人员。在此基础上,我们对这些复制策略进行了全面的比较研究。最后,我们总结了这些复制技术的结果和要点。
2013-09-26 cs.DC
DotGrid: a .NET-based cross-platform software for desktop grids
网格基础设施提供了广泛的资源集成使用,正在成为事实上的计算平台,解决大规模的问题,在科学,工程和商业。在这一发展过程中,桌面网格技术允许网格社区利用普及桌面PC系统的空闲周期来增加可用的计算能力。在本文中,我们提出了点网格,一个跨平台的网格软件。DotGrid是第一个全面的桌面网格软件,它在基于Windows的环境中使用Microsoft的.NET Framework,在Unix类操作系统中使用MONO.NET。利用DotGrid服务和API可以方便地实现网格桌面中间件和应用程序。我们通过实现一组基于网格的应用程序来评估我们的DotGrid的性能。
2017-03-11 cs.DC
Global Grids and Software Toolkits: A Study of Four Grid Middleware Technologies
网格是一种基础设施,它涉及多个组织拥有和管理的计算机、网络、数据库和科学仪器的集成和协作使用。网格应用程序通常涉及大量的数据和/或计算资源,需要跨组织边界的安全资源共享。这使得网格应用程序的管理和部署成为一项复杂的任务。网格中间件为用户提供了在异构网格环境中无缝计算和统一访问资源的能力。已经开发了几个软件工具包和系统,其中大多数是世界各地学术研究项目的成果。本章将重点介绍其中的四个中间件--UNICORE、Globus、Legion和Gridbus。它还介绍了我们的实现资源代理的UNICORE,因为这一功能是不支持它。比较这些系统的基础上的体系结构,实现模型和其他几个功能。
2004-07-01 cs.DC
stdchk: A Checkpoint Storage System for Desktop Grid Computing
检查点是一种不可或缺的技术,可以为长时间运行的高吞吐量应用程序(如在桌面网格上运行的应用程序)提供容错。本文认为,一个专用的检查点存储系统,优化运行在这些环境中,可以提供多个好处:减少传统的文件系统上的负载,通过专业化提供高性能,最后,优化数据管理,考虑到检查点应用程序语义。这样的存储系统可以呈现对检查点操作的统一抽象,同时隐藏没有专用资源来存储检查点数据的事实。我们原型stdchk,一个检查点存储系统,使用从参与桌面清理的磁盘空间来构建一个低成本的存储系统,提供一个传统的文件系统接口,便于与应用程序集成。本文介绍了stdchk的体系结构、关键性能优化、对增量检查点的支持以及提高的数据可用性。我们的评估证实,stdchk的方法是可行的,在桌面网格设置,并提供了一个低成本的存储系统与理想的性能特点:高写吞吐量和减少存储空间和网络的努力,以节省检查点图像。
2007-11-23 cs.DC
GridMonitor: Integration of Large Scale Facility Fabric Monitoring with Meta Data Service in Grid Environment
网格计算由协调使用大量不同的、地理上分布的资源来实现高性能计算组成。对这些计算资源的有效监控对于在网格上高效使用是极其重要的。网格中存在大量的异构计算实体,这使得网格计算具有很大的挑战性.在这项工作中,我们描述了一个网格监控系统,称为GridMonitor,捕获并提供最重要的信息,从一个大型计算设施。网格监控系统由本地监控、归档、发布和治理四个层次组成。该架构已应用于大规模的Linux农场和网络基础设施。它可以被许多更高级别的网格服务使用,包括调度服务和资源代理。
2003-06-13 cs.DC cs.PF