A Java Based Architecture of P2P-Grid Middleware
在过去的十年中,人们对网格技术产生了极大的兴趣,并且已经启动了许多具有各种网格愿景的网格项目。虽然所有这些愿景都有相同的目标,资源共享,他们不同的功能,网格支持,表征,编程环境等,我们提出了一个新的网格系统,致力于处理数据问题,称为DGET(数据网格环境和工具)。DGET的特点是它的对等通信系统和基于实体的体系结构,因此,利用这两个系统的主要功能; P2P和网格。DGET目前正在开发中,实施主要组成部分的原型正处于第一阶段的测试中。在本文中,我们将我们的描述限制在系统的体系结构特征和与其他系统的主要区别。关键词:网格计算,对等网,对等网网格
2006-08-29 cs.DC
Critical Analysis of Middleware Architectures for Large Scale Distributed Systems
分布式计算正日益被视为大规模分布式系统(LSDS)的下一个发展阶段。然而,大规模资源共享的愿景在许多领域还没有成为现实-网格计算是一个不断发展的计算领域,其中标准和技术仍在开发中,以实现这一新的范例。因此,在本文中,我们分析了目前的发展中间件工具LSDS,从多个角度:架构,应用和市场研究。对于每一个角度,我们感兴趣的是正在进行的项目中使用的相关技术,现有的产品或服务以及有用的设计问题。最后,基于这种方法,我们得出了一些结论,在这方面的未来研究方向。
2009-10-15 cs.DC cs.NI
Hybrid Quantum-HPC Middleware Systems for Adaptive Resource, Workload and Task Management
Ludwig Maximilian University(路德维希-马克西米利安大学);BMW Group(宝马集团);Utrecht University(乌得勒支大学);Rutgers University-New Brunswick(罗格斯大学新不伦瑞克校区);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室);Princeton University(普林斯顿大学)
本文提出混合量子-高性能计算系统中自适应资源、工作负载和任务管理的中间件方法,通过四层架构、执行动机集、Pilot-Quantum框架和Q-Dreamer工具包实现应用感知调度和性能建模。
2026-04-03 cs.DC quant-ph
The Gridbus Toolkit for Service Oriented Grid and Utility Computing: An Overview and Status Report
网格旨在利用自治分布式实体合作产生的协同效应。网格合作产生的协同效应包括共享、交换、选择和聚合地理上分布的资源,如计算机、数据库、软件和科学仪器,以解决科学、工程和商业中的大规模问题。为了使这种合作可持续,参与者需要有经济激励。因此,“激励”机制应被视为网格体系结构的关键设计参数之一。在这篇文章中,我们提出了一个开源的网格工具包,称为Gridbus,其体系结构是从根本上驱动的网格经济的需求的概述和状态。网格总线技术为计算网格和数据网格提供服务,为新兴的电子科学和电子商务应用提供动力。
2004-04-13 cs.DC
Market-Oriented Cloud Computing and the Cloudbus Toolkit
云计算已经深入到信息技术行业,足以影响各大公司将其纳入主流业务。使用虚拟化技术来实现云结构即服务(IaaS)的强大推动力已经导致企业利用公共云的面向订阅的计算能力来托管其应用服务。与此同时,学术界的研究一直在调查横向方面,如安全性,软件框架,服务质量和标准化。我们相信,云计算愿景的完全实现将导致引入一个虚拟市场,在这个市场中,云经纪人代表最终用户负责选择和组合不同云供应商所宣传的服务。为了实现这一目标,必须从市场导向的角度重新设计和扩展现有的解决方案和技术,并将其集成在一起,从而产生我们所说的市场导向的云计算。在本文中,我们将通过提供一个参考模型来评估云计算的现状,讨论研究人员和IT从业者所面临的挑战,并将在不久的将来遇到,并提出解决这些问题的方法,从Cloudbus工具包的角度来看,它包括一套面向实现市场导向的云计算愿景的技术。我们提供了实验结果,展示了面向市场的资源配置和代理云内和跨多个分布式资源。我们还包括一个应用程序,说明如何将ECG分析托管为Amazon IaaS(EC2和S3)服务上的SaaS。
2012-03-23 cs.DC
The CMS Integration Grid Testbed
CMS集成网格测试床(IGT)包括以下地点的USCMS Tier-1和Tier-2硬件:加州理工学院,费米国家加速器实验室,加州大学圣地亚哥分校和佛罗里达大学盖恩斯维尔分校。IGT使用带有DAGMan和Condor-G前端的Globus Toolkit运行作业。虚拟组织(VO)使用欧洲数据网格(EDG)的VO管理脚本进行管理。网格范围的监控是使用本地工具完成的,例如Ganglia与Globus元数据目录服务(MDS)和基于代理的Mona Lisa接口。特定领域的软件使用CMS的发布后分发(DAR)工具打包和安装,而虚拟数据工具包(VDT)主持下的中间件使用Pacman分发。在2002年秋季连续两个月的时间里,产生了超过100万个官方CMS GEANT蒙特卡罗事件,并返回CERN进行分析,同时在SC 2002上进行演示。在本文中,我们描述的过程,导致了世界上第一个连续可用,功能网格。
2003-06-10 cs.DC
Cloudbus Toolkit for Market-Oriented Cloud Computing
本主旨文件:(1)提出了21世纪计算的愿景,并确定了各种有望将计算作为一种实用工具提供的IT范式;(2)定义了利用虚拟机等技术创建面向市场的云和计算环境的架构;(3)提供了基于市场的资源管理策略的思想,包括客户驱动的服务管理和计算风险管理,以维持SLA-面向资源分配;(4)介绍了作为我们新的云计算计划(称为Cloudbus)的一部分而开展的工作:(i)Aneka,一个包含SDK的平台即服务软件系统(软件开发工具包),用于构建云应用并部署在私有云或公共云上,以及支持面向市场的资源管理;(iii)创建第三方云代理服务,用于构建内容分发网络和电子科学应用程序,并将其部署在IaaS提供商(如Amazon)的能力上以及网格混搭;(iv)CloudSim支持云的建模和模拟,用于性能研究;(v)用于创建和管理绿云的节能资源分配机制和技术;以及(vi)未来研究的途径。
2009-10-11 cs.DC
Nimrod/G: An Architecture of a Resource Management and Scheduling System in a Global Computational Grid
强大的微处理器和高速网络作为商品组件的可用性使得分布式系统上的高性能计算(广域集群计算)成为可能。在这种环境中,由于资源通常分布在地理上的各个层次(部门,企业,或世界各地)有一个很大的挑战,在整合,协调和呈现给用户作为一个单一的资源,从而形成一个计算网格。另一个挑战来自资源的分布式所有权,每个资源都有自己的访问策略、成本和机制。建议Nimrod/G网格启用的资源管理和调度系统建立在我们早期的工作Nimrod,并遵循模块化和基于组件的架构,使可扩展性,可移植性,易于开发,独立开发的组件和互操作性。它使用Globus工具包服务,并且可以很容易地进行扩展,以便与任何其他新兴的网格中间件服务一起运行。它侧重于管理和调度的计算在地理上分散在互联网上的部门,企业,或全球一级,特别强调开发调度计划的基础上的概念,计算经济的一个真正的测试床,即Globus测试床(GUSTO)。
2000-09-22 cs.DC
Web Portal for Photonic Technologies Using Grid Infrastructures
物理过程的建模是科学和技术研究的一个组成部分。在这一领域,Extendible C++ Application in Quantum Technologies(ECAQT)软件包提供了在退相干存在下复杂量子系统的数值模拟和建模,在光子学中具有广泛的应用。它允许创建相互作用的复杂系统的模型,并模拟它们的时间演化与一些可用的时间演化驱动程序。涉及大量计算的物理模拟通常在分布式计算基础设施上执行。对于非专业用户来说,使用这样的计算基础设施或者甚至使用基础设施上的高级库通常是困难的,因为他们通常需要熟悉中间件和工具、并行编程技术和包。P-RADE网格门户是一个网格门户解决方案,它允许用户管理在计算网格基础设施上执行并行应用程序的整个生命周期。本文介绍了基于ECAQT软件包的门户网站的功能和结构。
2013-01-09 cs.DC physics.comp-ph quant-ph
Classification and Characterization of Core Grid Protocols for Global Grid Computing
网格计算在过去的几年里吸引了许多研究人员,因此,许多新的协议已经出现,并且自十年前开始以来也在不断发展。网格协议在实现各种服务方面发挥着重要作用,这些服务促进了不同组织之间的协调资源共享。在本文中,我们提供了全面的覆盖不同的核心网格协议,可用于全球网格计算。我们建立分类的核心网格协议到i)网格网络通信和网格数据传输协议,ii)网格信息安全协议,iii)网格资源信息协议,iv)网格管理协议,和v)网格接口协议,根据这些协议处理的活动的种类。所有分类的协议也被组织到网格体系结构的沙漏模型的层,以了解这些协议之间的依赖关系。我们还介绍了每个协议的特点。为了更好地理解这些协议,我们还讨论了应用协议的例子,无论是Globus工具包或其他流行的网格中间件项目。我们相信,我们的网格协议的分类和特征,将使更好地了解核心网格协议,并将激励在全球网格计算领域的进一步研究。
2013-02-22 cs.DC
DotGrid: a .NET-based cross-platform software for desktop grids
网格基础设施提供了广泛的资源集成使用,正在成为事实上的计算平台,解决大规模的问题,在科学,工程和商业。在这一发展过程中,桌面网格技术允许网格社区利用普及桌面PC系统的空闲周期来增加可用的计算能力。在本文中,我们提出了点网格,一个跨平台的网格软件。DotGrid是第一个全面的桌面网格软件,它在基于Windows的环境中使用Microsoft的.NET Framework,在Unix类操作系统中使用MONO.NET。利用DotGrid服务和API可以方便地实现网格桌面中间件和应用程序。我们通过实现一组基于网格的应用程序来评估我们的DotGrid的性能。
2017-03-11 cs.DC
Scaling on Frontier: Uncertainty Quantification Workflow Applications using ExaWorks to Enable Full System Utilization
本文利用 ExaWorks 的 RADICAL-EnTK 组件在 Frontier 超算上实现了 ExaAM 不确定性量化工作流,支持多达 8000 节点、异构资源与容错,并达到最高 90% 的资源利用率。
2024-07-01 cs.DC
Sharing a conceptual model of grid resources and services
网格技术的目标是在局域网和广域网上实现协调的资源共享和问题解决能力,并跨越位置、组织、机器体系结构和软件边界。网格资源的异构性和不同网格中间件之间的互操作性要求共享一个公共的信息模型。不同风格的资源和服务的抽象和领域特定实体的概念模式需要协作努力,以使一致的信息服务合作。在本文中,我们提出了我们的经验,网格资源和服务建模的网格实验室统一环境(GLUE)的努力,美国和欧盟的高能物理项目合作,对网格的互操作性。第一个实现中立的协议,如批处理计算和存储管理器的服务,资源,如层次结构集群,子集群,主机和存储库。设计准则和操作结果与开放的问题和未来的演变一起描述。
2003-06-18 cs.DC
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准,在高性能计算社区中,至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案,这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性,但它缺乏生产力和容错能力。同样,Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例,它可以实现这些目标,但又缺乏对等通信支持,无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携,面向对等和面向组的通信服务,同时保留Spark的基本,理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Translating the Grid: How a Translational Approach Shaped the Development of Grid Computing
生物学知识的进步和改善的健康结果之间的差距越来越大,这激发了转化医学这一新学科的发展,在这一学科中,新知识的应用是研究计划的一个明确部分。艾布拉姆森和帕拉沙尔认为,复杂的计算技术和更具挑战性的应用之间存在类似的差距,需要类似的转化计算机科学学科,其中将研究成果有意识地转移到大规模实践中成为中心研究焦点,而不是事后的想法。我们从这个角度重新审视网格计算的发展和应用,从20世纪90年代中期开始,并发现一个翻译框架是有用的理解技术的发展和影响。我们讨论了如何发展的网格计算基础设施,特别是Globus工具包,受益于一个翻译的方法。我们确定的经验教训,可以适用于其他翻译计算机科学的举措。
2020-08-21 cs.DC
GRAPLEr: A Distributed Collaborative Environment for Lake Ecosystem Modeling that Integrates Overlay Networks, High-throughput Computing, and Web Services
GLEON研究和PRAGMA湖探险- GRAPLE -是计算机科学和湖泊生态学研究人员之间的合作努力。它旨在提高我们对淡水资源水质威胁的理解和预测能力,包括气候变化。本文介绍了GRAPLEr,一个分布式计算系统,用于解决GRAPLE研究人员的建模需求。GRAPLEr以一种新颖的方式集成和应用了覆盖虚拟网络、高吞吐量计算和Web服务技术。首先,其用户级IP-over-P2P(IPOP)覆盖网络允许将分布在独立管理的机构(包括私有云和公共云)中的计算和存储资源聚合到一个公共虚拟网络中,尽管存在防火墙和网络地址转换器。第二,由IPOP虚拟网络聚合的资源运行未经修改的高吞吐量计算中间件(HTCondor),以使大量模型仿真能够跨分布式计算资源并发执行。第三,Web服务接口允许最终用户使用与R统计计算环境集成的客户端库向系统提交作业请求。本文介绍了GRAPLEr架构,描述了它的实现,并报告了它在三个云基础设施(佛罗里达大学,CloudLab和Microsoft Azure)上批量进行通用湖模型(GLM)模拟的性能。
2015-09-29 cs.DC
AstroGrid-D: Grid Technology for Astronomical Science
我们目前的状态和结果的AstroGrid-D,天体物理学家和计算机科学家的共同努力,采用网格技术的科学应用。AstroGrid-D通过一组命令和软件接口提供对分布式机器网络的访问。它允许简单地使用计算机和存储设施,并计划或监控计算任务和数据管理。它基于Globus Toolkit中间件(GT 4)。第1章描述了导致天体物理学对高级软件解决方案需求的背景,并说明了该项目的目标。然后,我们提出了在第2章中已经实施的AstroGrid-D的特征天体物理学应用。我们描述了不同复杂性的模拟,在多个站点上运行的计算密集型计算,以及用于特定科学目的的高级应用程序,例如与机器人望远镜的连接。我们可以从这些例子中展示网格执行如何改进例如科学工作流程。第3章介绍了我们改编或新开发的软件工具和服务。第3.1节侧重于基础设施的管理方面,以管理用户和监视活动。第3.2节描述了我们架构的核心组件:收集和存储元数据的AstroGrid-D信息服务、文件管理系统、数据管理系统和自动提交计算任务的作业管理器。我们在第4章中总结了成功建立的基础设施,并总结了我们未来将AstroGrid-D作为现代电子天文学平台的计划。
2010-07-23 astro-ph.IM cs.DB cs.DC