Toward a Distributed Knowledge Discovery system for Grid systems
在过去的十多年里,我们不仅从科学领域,而且从工业和商业领域获得了大量的数据。虽然我们可用的数据量不断增加,但我们处理数据的能力变得越来越困难。因此,从这些数据集中有效地发现有用的知识正成为一项挑战和巨大的经济需求。这就需要开发大规模的数据采掘(DM)技术来处理这些来自科学或经济应用的巨大数据集。在这一章中,我们提出了一个新的DDM系统相结合的磁盘驱动和架构驱动的战略。数据驱动的策略将考虑数据的大小和异构性,而架构驱动的策略将关注数据集的分布。该系统是基于一个网格中间件工具,集成适当的大数据操作。因此,这允许在挖掘、集成和处理阶段期间具有更大的动态性和灵活性
2017-04-11 cs.DC
The Cactus Worm: Experiments with Dynamic Resource Discovery and Allocation in a Grid Environment
利用异构的、动态可用的“网格”资源的能力对于通常资源匮乏的计算科学家和工程师来说是有吸引力的,因为原则上它可以通过显著的因素增加可以交付给应用的周期的数量。然而,新的自适应应用程序结构和动态运行时系统机制,如果我们要在网格环境中有效地运作。为了在实际环境中探索这些问题中的一些,我们正在开发一个实验框架,称为Cactus,该框架结合了用于处理不断变化的资源特性的自适应应用程序结构和允许应用程序改变其资源分配的自适应资源选择机制(例如,通过迁移)。我们在这里描述的自适应资源选择机制,并描述如何使用它们来实现自动应用程序迁移到“更好”的资源性能下降。我们的研究结果提供了深入了解所需的架构结构,以支持自适应资源选择。此外,我们认为,这个“仙人掌蠕虫”是一个有趣的挑战问题的网格计算。
2001-08-01 cs.DC
MPICH-G2: A Grid-Enabled Implementation of the Message Passing Interface
用于分布式计算“网格”的应用程序开发可以从各种工具中受益,这些工具可以隐藏或启用对异构环境的关键方面的应用程序级管理。作为这些问题的调查的一部分,我们已经开发了MPICH-G2,网格启用的消息传递接口(MPI)的实现,允许用户在多台计算机上运行MPI程序,在相同或不同的网站,使用相同的命令,将在并行计算机上使用。此库扩展了MPI的Argonne MPICH实现,以使用Globus Toolkit提供的服务进行身份验证、授权、资源分配、可执行文件暂存和I/O,以及进程创建、监视和控制。各种性能关键操作(包括启动和集合操作)被配置为利用网络拓扑信息。该库还利用MPI结构进行性能管理;例如,MPI通信器结构用于应用程序级发现和适应网络拓扑和网络服务质量机制。我们描述了MPICH-G2的设计和实施,目前的性能结果,并审查应用程序的经验,包括创纪录的分布式模拟。
2002-06-25 cs.DC
Gridscape II: A Customisable and Pluggable Grid Monitoring Portal and its Integration with Google Maps
网格计算作为一种促进分布式异构资源共享、实现大规模环境下协作的有效手段而出现。然而,网格系统的性质,加上信息的过剩和碎片化,使得它难以监控资源,服务和计算,以便计划和决策。在本文中,我们提出了Gridscape II,一个可定制的门户组件,可以单独使用或插入到恭维现有的网格门户网站。Gridscape II管理从任意、异构和分布式源收集的信息,并在单个界面中无缝地将它们呈现在一起。它还利用Google Maps API来提供高度交互的用户界面。Gridscape II简单易用,为那些不希望从头开始投入大量资金开发自己的监控门户的用户提供了一个解决方案,也为那些希望易于定制和扩展以满足其特定需求的用户提供了解决方案。
2006-05-12 cs.DC
AliEnFS - a Linux File System for the AliEn Grid Services
在AliEn(ALICE环境http://alien.cern.ch)网格框架提供的服务中,有一个虚拟文件目录,允许使用各种文件传输协议透明地访问分布式数据集。$alienfs$(AliEn文件系统)使用LUFS(一种混合用户空间文件系统框架(开放源代码http://lufs.sourceforge.net))将AliEn文件目录作为新的文件系统类型集成到Linux内核中。LUFS使用称为VFS(虚拟文件系统交换机)的特殊内核接口级别,通过通用文件系统接口与Alien文件系统守护程序进行通信。AliEn框架用于身份验证、目录浏览、文件注册和读/写传输操作。C++ API实现了一般的文件系统操作。AliEnFS的目标是允许用户使用熟悉的shell命令(例如,cp,ls,rm.)本文讨论了网格文件系统的一般方面,Alien实现和Alien网格文件系统的现在和未来的发展。
2003-06-13 cs.DC
GridBank: A Grid Accounting Services Architecture (GASA) for Distributed Systems Sharing and Integration
计算网格作为一种新的基于Internet的并行和分布式计算的基础设施正在兴起。它们支持跨多个管理域、组织和企业的资源共享、交换、发现和聚合。为了实现这一点,网格需要支持各种服务的基础设施:安全性,统一访问,资源管理,调度,应用程序组合,计算经济性和问责制。许多网格项目已经开发出了一些技术,这些技术提供了许多这些服务,但责任除外。为了克服这个限制,我们提出了一个新的基础设施,称为网格银行,提供服务的会计。本文提出了网格问责制的要求和不同的模型,它可以运行,并提出网格银行服务体系结构,以满足他们。本文重点介绍了实施问题,并详细讨论了GridBank需要维护的各种记录/数据库的格式。它还提出了网格计算环境中GridBank和各种组件之间的交互协议。
2002-10-01 cs.DC
Admire framework: Distributed data mining on data grid platforms
在本文中,我们提出了ADMIRE架构,一个新的框架,开发新的和创新的数据采掘技术,以处理非常大的和分布式的异构数据集在商业和学术应用。主要的ADMIRE组件的详细说明,以及它的接口,使用户能够有效地开发和实现他们的数据采掘应用程序的网格平台上的技术,如Globus ToolKit,DGET等。
2017-03-28 cs.DC
A Grid Based Architecture for High-Performance NLP
我们描述了一个可扩展的,基于组件的自然语言工程应用程序的软件体系结构的设计和早期实现的接口与高性能的分布式计算服务。该架构利用现有的语言资源描述和发现机制的基础上元数据描述,结合这些在一个兼容的方式与其他软件定义抽象。在这种体系结构中,应用程序设计非常灵活,允许组合不同的组件以适应整个应用程序功能,并独立于处理问题进行正式描述。应用程序规约语言提供编程环境的抽象,并允许通过代理与高性能计算网格轻松接口。
2003-08-05 cs.CL cs.DC
Lattice QCD Data and Metadata Archives at Fermilab and the International Lattice Data Grid
格点规范理论社区产生了大量的数据。由于已完成的计算产生的数据构成今后工作的基础,因此必须维护现有数据和描述数据来源、生成参数和衍生特征的元数据的档案,不仅作为参考,而且作为今后工作的基础。按照所提供的数据和元数据格式以及各组成服务的软件接口的统一标准开发这些档案,可以大大简化机构之间的协作,并能够传播有意义的成果。本文介绍了在费米实验室晶格QCD设施的一套这样的档案的发展所取得的进展。我们正在协调这些设施的接口的发展和格式的数据和元数据,他们提供的努力,国际点阵数据网格(ILDG)的元数据和中间件工作组,其目标是开发标准格式的点阵QCD数据和元数据和一个统一的接口,存储它们的存档设施。正在开发的服务包括那些通常与数据网格相关联的服务:服务注册表、元数据数据库、副本目录和到海量存储器系统的接口。所有服务都提供符合现代标准(包括WSDL和SOAP)的GSI认证Web服务接口,并接受和提供符合ILDG元数据工作组提出的最新基于XML的格式的数据和元数据。
2004-10-12 cs.DC hep-lat
Simulation and Analysis of Distributed Wireless Sensor Network using Message Passing Interface
无线传感器网络(WSN)被许多行业所使用,从环境监测系统到NASA的太空探索计划,因为它允许社会以更少的成本和维护在问题发生之前进行监测和预防。本文旨在提出和分析一种高效的进程间通信(IPC)架构,使用最近邻/网格为基础的套接字架构。为了提高无线传感器网络的安全性,还使用了AES加密算法的并行化版本。首先,所提出的架构进行了比较,并与其他完善的体系结构。接下来,阐明AES加密算法的优点和缺点。通信采用C语言的消息解析接口(MPI)库,加密算法采用OpenMP并行化。接下来,对从多个模拟获得的结果进行分析。最后得出的结论是,基于网格的IPC架构与AES并行加密,有助于保持安全的无线传感器网络的通信,同时成本和功耗有效的操作。
2020-07-01 cs.DC
A Taxonomy of Peer-to-Peer Based Complex Queries: a Grid perspective
网格超级搜索需要支持高效和可伸缩的资源发现。资源发现活动涉及搜索与用户的作业要求相匹配的适当资源类型。为了实现这一目标,一个资源发现系统,支持所需的查找操作是强制性的。已经提出了针对这个问题的各种解决方案,包括集中式和分级信息服务器方法。然而,这两种方法在可扩展性、容错性和网络拥塞方面都有严重的局限性。为了克服这些局限性,组织资源信息使用对等(P2P)网络模型已被提出。现有的方法主张扩展到结构化的P2P协议,以支持网格资源信息系统(GRIS)。在本文中,我们确定了这样一个高效的,可扩展的,容错的,一致的和实用的GRIS系统使用P2P网络模型的设计相关的问题。我们在第三节和第四节中将这些问题汇编成各种分类法。此外,我们期待现有的作品,适用于基于P2P的网络协议的GRIS。我们认为,这种分类法及其映射到相关的系统将是有用的学术和工业为基础的研究人员从事可扩展的网格系统的设计。
2006-10-30 cs.DC cs.DS cs.NI
A new Dune grid for scalable dynamic adaptivity based on the p4est software library
本研究为 Dune 求解器库引入连接开源 p4est 软件的网格接口,以继承其 MPI 可扩展性与多块拓扑支持;数值实验表明新实现在可扩展性上优于 Dune-ALUGrid,并提出性能更优的 2:1 平衡替代策略。
2025-07-15 cs.DC
Distributed Heterogeneous Relational Data Warehouse In A Grid Environment
本文探讨了如何“分布式异构关系数据仓库“可以集成在一个网格环境中,将提供物理学家有效地访问大型和小型的对象集合从数据库在多个站点。本文探讨了网格使这样一个仓库的要求,并探讨了如何满足这些要求扩展现有的网格中间件。我们提出了初步的结果,这种工作原型仓库使用SQLServer和Oracle9i,网格启用的Web服务接口,使它更容易为Web应用程序安全地访问分布式数据库的内容。在原型成功的基础上,我们提出了一个通过Web服务接口使用异构关系型数据仓库的框架,为用户创建一个单一的“虚拟数据库系统”。以这种方式透明地访问数据的能力,如原型所示,对于希望整理和分析分布在网格上的信息的HENP和其他网格用户来说,可能是一个非常强大的工具。
2003-06-18 cs.DB cs.DC
A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Brok
计算网格,耦合地理上分布的资源,如个人电脑,工作站,集群,和科学仪器,已经成为下一代的计算平台,解决大规模的问题,在科学,工程和商业。然而,这些环境中的应用程序开发、资源管理和调度仍然是一项复杂的任务。在这篇文章中,我们将讨论我们的努力,在开发一个资源管理系统调度计算分布在世界各地的资源,不同的服务质量。我们的面向服务的网格计算系统称为Nimrod-G管理与远程执行相关的所有操作,包括资源发现,交易,基于经济原则和用户定义的服务质量要求的调度。Nimrod-G资源代理是通过利用Globus等现有技术实现的,并提供了构建工业强度网格所必需的新服务。我们讨论的初步实验结果调度一些参数计算使用Nimrod-G资源代理在一个世界范围内的网格测试平台,跨越五大洲。
2001-11-17 cs.DC
Virtual Environments for multiphysics code validation on Computing Grids
在本文中,我们提倡使用基于网格的基础设施,这些基础设施是为数字专家用户设计的无缝方法,即,多物理场应用设计师。它依赖于基于计算网格的复杂计算环境,连接异构计算资源:大型机、PC集群和运行多物理场代码和实用软件的工作站,例如,可视化工具。该方法基于HEAVEN* 联盟定义的概念。HEAVEN是一个欧洲科学联盟,包括来自航空航天,电信和软件行业的工业合作伙伴以及学术研究机构。目前,HEAVEN联盟正在进行一个旨在创建高级服务平台的项目。它旨在使“虚拟专用网格”支持各种环境,供用户操作适当的高级界面。这将成为未来通用服务的基础,允许集成各种服务,而无需部署特定的网格基础设施。
2005-10-26 cs.DC
Heterogeneous Relational Databases for a Grid-enabled Analysis Environment
基于网格的系统需要一种数据库访问机制,该数据库访问机制可以通过虚拟数据访问系统(即,可以负责跟踪存储在地理上分布的异构数据库中的数据的系统)来提供对所请求的数据的无缝同构访问。该系统应通过使用虚拟数据访问机制(即,可以向客户端应用程序隐藏后端数据库的异构性的机制)来提供存储在不同存储库中的数据的集成视图。本文主要研究通过Web服务接口访问存储在不同关系数据库中的数据,并利用数据仓库和数据集市的特点。我们提出了一个中间件,使应用程序访问存储在地理上分布的关系数据库中的数据,而不知道他们的物理位置和底层模式。提供了一个Web服务接口,使应用程序能够以独立于语言和平台的方式访问该中间件。基于Clarens [4]、Unity [7]和POOL [8]创建了一个原型实现。这种透明地访问存储在分布式关系数据库中的数据的能力对于网格用户,特别是希望整理和分析分布在网格上的数据的科学界来说可能是非常强大的。
2005-04-10 cs.DC
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一,因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中,高性能计算包括用于数据存储和数据复制的专用服务器。在本文中,我们提出了一种新的机制,分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理(DSSM)体系结构。这允许在网格计算中不仅共享计算周期,而且共享存储空间。可以从任何网格机器透明地访问存储,从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备(节点)划分为多个地理上分布的域,以促进本地化并简化域内存储管理。采用基于网格服务的存储资源,随着需求的增长,将简单的模块化服务逐块堆叠起来。为此,我们提出了四个定义轴:DSSM架构和算法描述,存储资源和资源发现到网格服务,评估目的原型系统,动态,可扩展性和带宽,并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理,以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
Performance Analysis of the Globus Toolkit Monitoring and Discovery Service, MDS2
监控和信息服务构成了分布式系统(网格)的关键组件。对这些服务的定量研究有助于了解性能限制,为监测系统的部署提供建议,并有助于评估未来的开发工作。为此,我们通过使用NetLogger对其主要服务进行检测来检查Globus Toolkit(reg. trdmrk)监视和发现服务(MDS2)的性能。我们的研究显示了缓存或预取数据的强大优势,以及在连接良好的站点上使用主要组件的必要性。
2004-07-28 cs.DC cs.PF
The Earth System Grid: Supporting the Next Generation of Climate Modeling Research
了解地球的气候系统以及它可能如何变化是一个突出的科学挑战。全球气候模型用于模拟过去、现在和未来的气候,实验在一系列分布式超级计算机上连续执行。由此产生的数据存档分布在多个站点,目前包含超过100 TB的模拟数据,并且正在迅速增长。展望十年中期及以后,我们必须预测并准备好分布式气候研究数据库。地球系统网格(ESG)是一个跨学科的合作项目,旨在解决在分布式和异构计算环境中对这些至关重要的数据集进行管理,发现,访问和分析的挑战。这个问题从根本上说是一个网格问题。ESG正在Globus工具包和各种其他技术的基础上开发一个环境,以解决认证、数据访问授权、大规模数据传输和管理、高性能远程数据访问的服务和抽象、可扩展数据复制机制、具有丰富语义和语法信息的编目、数据发现、分布式监测以及使用该系统的基于网络的门户。
2007-12-13 cs.CE cs.DC cs.NI
Large Scale In Silico Screening on Grid Infrastructures
用于计算机药物发现的大规模网格基础设施为被忽视和新出现的疾病提供了特别感兴趣的机会。在2005年和2006年,我们已经能够在WISDOM对抗疟疾和禽流感倡议的框架内部署大规模的计算机对接,需要在EGEE、Auvergrid和TWGrid基础设施上使用大约105年的CPU。这些成果表明了大规模网格基础设施的相关性,通过分子对接的虚拟筛选。这也允许评估网格基础设施的性能,并确定大规模部署带来的具体问题。
2006-11-17 cs.DC q-bio.QM