Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Deadline aware virtual machine scheduler for scientific grids and cloud computing
虚拟化技术使应用程序能够与底层硬件分离，从而提供可移植性、更好地控制执行环境和隔离的好处。它已被广泛应用于科学网格和商业云。由于虚拟化虽然有好处，但也会带来性能损失，这对于处理不确定性的系统来说可能很重要，例如高性能计算（HPC）应用程序，其中作业的截止日期很紧，并且在运行之前依赖于其他作业。主要的障碍在于弥合作业的性能要求和虚拟化技术提供的性能之间的差距，如果作业要在虚拟机中执行。在本文中，我们提出了一种新的方法来优化作业的最后期限时，在虚拟机上运行，通过开发一个最后期限感知算法，响应作业的执行延迟在实时的，并动态优化作业，以满足其最后期限的义务。我们的方法借用的概念都从信号处理和统计技术，其比较性能的结果，包括对硬件资源的利用率的影响，在本文的后面。
2010-09-24 cs.DC cs.PF cs.SE
SciTokens: Demonstrating Capability-Based Access to Remote Scientific Data using HTCondor
安全凭证的管理（例如，密码、密钥）是科学家和信息安全官员的负担。凭证问题（例如，过期、特权不匹配）导致工作流无法获取所需的输入数据或存储有价值的科学结果，从而通过要求科学家诊断问题、重新运行他们的计算以及等待更长时间以获得他们的结果而使他们从他们的研究中分心。SciTokens为分布式科学计算引入了基于能力的授权基础设施，以帮助科学家更可靠和安全地管理他们的安全凭证。SciTokens使用IETF标准的OAuth JSON Web令牌，用于基于功能的远程科学数据安全访问。这些访问令牌传递工作流所需的特定授权，而不是通用身份验证模拟凭证，以解决在包括NSF资源的分布式基础设施上运行的科学工作流的风险（例如，LIGO数据网格，开放科学网格，XSEDE）和公共云（例如，Amazon Web Services、Google Cloud、Microsoft Azure）。通过提高科学工作流程的互操作性和安全性，SciTokens 1）使分布式计算能够用于需要更大数据保护的科学领域，2）通过降低远程系统上的凭证滥用风险，使更广泛的分布式计算资源能够使用。在这个扩展摘要中，我们介绍了过去一年SciTokens模型的开源实现及其在开放科学网格中的部署，包括在HTCondor 8.8发布系列中添加的新OAuth支持。
2019-05-22 cs.DC
A Grid Service Broker for Scheduling Distributed Data-Oriented Applications on Global Grids
下一代科学实验和研究，通常被称为电子科学，是由分布在世界各地的研究人员进行的，他们从事分析科学仪器产生的大量数据。网格计算已经成为电子科学的推动者，因为它允许创建虚拟组织，将具有共同目标的社区聚集在一起。在社区内，数据汇集存储或复制在分布式资源上，以增强存储能力或访问效率。在这样的环境中，科学家需要有能力通过透明地访问分布式数据和计算资源来进行研究。在本文中，我们提出并开发了一个网格代理，通过（a）为给定的分析场景发现合适的数据源，（b）合适的计算资源，（c）最佳地将分析作业映射到资源，（d）在选定的资源上部署和监视作业执行，（e）在作业执行期间从本地或远程数据源访问数据，以及（f）整理和呈现结果。该代理支持用于创建网格应用程序的声明式和动态参数化编程模型。我们已经使用这个模型在网格启用高能物理分析应用程序（百丽分析软件框架）。该经纪人已被用于在网格测试平台上部署Belle实验数据分析工作，称为Belle分析数据网格，分布在澳大利亚各地的资源通过GrangeNet互连。
2004-05-06 cs.DC
JClarens: A Java Framework for Developing and Deploying Web Services for Grid Computing
高能物理（High Energy Physics，HEP）和其他科学团体已经采用面向服务的体系结构（Service Oriented Architectures，SOA）作为更大的网格计算工作的一部分。这项工作涉及到将许多遗留应用程序和编程库集成到SOA框架中。网格分析环境（GAE）是一个基于Clarens网格服务框架的面向服务的体系结构，正在开发中，作为欧洲粒子物理实验室（CERN）大型强子对撞机（LHC）紧凑型μ子螺线管（CMS）实验的一部分。Clarens提供了一组授权、访问控制和发现服务，以及对所有已部署服务的XMLRPC和SOAP访问。Clarens Web Services Framework的两个实现（Python和Java）为广泛的程序设计语言提供了集成的可能性。本文描述了名为JClarens的Clarens Web服务框架的Java实现。以及科学界和网格社区感兴趣的几个Web服务，它们都是使用JClarens部署的。
2005-04-11 cs.DC
HEP Analysis Facility An Approach to Grid Computing
HEP分析设施是在Scientific Linux Cern 5.5中设计和实现的一个集群，为高能物理研究人员提供一个可以承担特定任务的地方，或者提供一个并行处理架构，其中CPU资源在网络上共享，所有机器都作为一个大型超级计算机运行。
2012-10-29 cs.DC
Web Toolkit for Scientific Research: State of the Art and the Prospect for Development
本文探讨了当前的趋势，在设计系统，方便和安全的远程作业提交到各种计算机资源，包括超级计算机，计算机集群，云资源，数据存储和数据库，网格基础设施的授权用户，以及远程作业监控和获得的结果。目前，高性能的计算和存储资源能够独立解决科学技术领域的大多数实际问题。因此，新一代中间件的开发重点从全球网格系统转移到构建方便、高效的Web平台，以实现对单个计算资源的远程访问。本文探讨了构建的一般原则，并简要介绍了Web平台的一些具体实现。
2016-03-31 cs.DC
Using Provenance to support Good Laboratory Practice in Grid Environments
进行实验和记录结果是科学家的日常工作。良好和可追溯的文件使其他科学家能够确认程序和结果，以提高可信度。文件和科学行为受到监管，并被称为“良好实验室规范”。“实验室笔记本用于记录进行实验和处理数据的每一步。最初，这些笔记本是基于纸张的。由于计算机化的研究系统，所获得的数据变得更加精细，从而增加了对具有数据存储、计算功能和可靠的电子文档的电子笔记本的需求。作为一种新的方法，科学数据管理系统（数据库）的可追溯性文件的功能得到了增强。来源记录用于满足可追溯性的要求，该信息可以在以后进行查询以供进一步分析。DataBase对于科学文档还有其他重要的特性：它采用了异构和分布式数据存储的概念。这使得能够访问不同类型的数据存储系统（例如，G.网格数据基础设施、文件服务器）。在本章中，我们将描述一些可用或接近完成的开发的构建块。这些组件旨在组装一个电子实验室笔记本用于网格环境中，同时保持最大的灵活性，使用场景以及最大的兼容性相互重叠。通过使用这样一个系统，出处可以成功地用于跟踪研究数据的准备、执行、评价、解释和存档的科学工作流程。研究结果的可靠性提高，研究过程对远程研究伙伴保持透明。
2011-12-13 cs.CE cs.DB cs.DC
Advancements in Big Data Processing in the ATLAS and CMS Experiments
不断增长的科学数据量对分布式计算和网格技术提出了新的挑战。新兴的大数据革命推动了科学领域的探索，包括纳米技术，天体物理学，高能物理学，生物学和医学。新的举措正在改变数据驱动的科学领域，以新的方式进行大规模数据分析。在千万亿次数据处理中，科学家处理的是数据集，而不是单个文件。因此，任务（由许多作业组成）成为网格上千万亿次数据处理的一个单元。将大型数据处理任务拆分为作业可以实现细粒度检查点，类似于在数据传输期间将大型文件拆分为较小的TCP/IP数据包。通过自动重新发送丢弃的TCP/IP数据包，在小数据包中传输大数据可以实现可靠性。类似地，网格上的瞬时作业故障可以通过自动重试来恢复，以在网格上的千万亿次数据处理中实现可靠的六西格玛生产质量。ATLAS和CMS实验的计算经验为可靠性工程提供了基础，将网格技术扩展到千万亿次以上的数据处理。
2013-03-08 cs.DB cs.DC hep-ex
SciTokens: Capability-Based Secure Access to Remote Scientific Data
安全凭证的管理（例如，密码、密钥）是科学家和信息安全官员的负担。凭证问题（例如，过期、特权不匹配）导致工作流无法获取所需的输入数据或存储有价值的科学结果，从而通过要求科学家诊断问题、重新运行他们的计算以及等待更长时间以获得他们的结果而使他们从他们的研究中分心。在本文中，我们介绍了开源软件SciTokens，以帮助科学家更可靠，更安全地管理他们的安全凭证。我们描述了SciTokens系统的架构、设计和实现，解决了激光干涉仪引力波天文台（LIGO）科学合作和大型综合巡天望远镜（LSST）项目的用例。我们还介绍了我们与广泛使用的支持分布式科学计算的软件的集成，包括HTCondor，CVMFS和XrootD。SciTokens使用IETF标准的OAuth令牌，用于基于能力的远程科学数据安全访问。访问令牌传达工作流所需的特定授权，而不是通用认证模拟凭证，以解决在包括NSF资源的分布式基础设施上运行的科学工作流的风险（例如，LIGO数据网格，开放科学网格，XSEDE）和公共云（例如，Amazon Web Services、Google Cloud、Microsoft Azure）。通过提高科学工作流程的互操作性和安全性，SciTokens 1）使分布式计算能够用于需要更大数据保护的科学领域，2）通过降低远程系统上的凭证滥用风险，使更广泛的分布式计算资源能够使用。
2018-07-12 cs.DC
A Taxonomy of Workflow Management Systems for Grid Computing
随着网格技术和应用技术的出现，科学家和工程师们正在构建越来越复杂的应用程序来管理和处理大型数据集，并在分布式资源上执行科学实验。这样的应用场景需要用于组成和执行复杂工作流的手段。因此，许多努力已经朝着网格计算的工作流管理系统的发展。在本文中，我们提出了一个分类的特点和分类网格上的工作流的建设和执行的各种方法。我们还调查了几个有代表性的网格工作流系统开发的各种项目在世界范围内展示分类的全面性。该分类法不仅突出了设计和工程的相似性和差异，国家的最先进的网格工作流系统，但也确定了需要进一步研究的领域。
2005-04-13 cs.DC
Large-scale lattice Boltzmann simulations of complex fluids: advances through the advent of computational grids
在过去的两年里，RealityGrid项目使我们成为参与计算网格开发的少数科学团体之一。由于目前还没有能够顺利工作的生产网格，我们已经能够在项目中对软件开发和网格部署的方向产生实质性的影响。在本文中，我们回顾了我们的结果，从大规模的三维格子玻尔兹曼模拟在过去的两年中进行。我们描述了如何积极主动地使用计算转向和先进的工作迁移和可视化技术，使我们能够更有效地做我们的科学工作。在本文中报告的项目是复杂的流体流动剪切或多孔介质中的研究，以及大规模的参数搜索，和研究的自组织液体立方中间相。电影可在http://www.ica1.uni-stuttgart.de/~jens/pub/05/05-PhilTransReview.html上获得
2005-01-11 cond-mat.other cond-mat.soft cs.DC
CODE-RADE - Community Infrastructure for the Delivery of Physics Applications
科学计算在某种意义上可以被提炼为应用程序的执行-或者更确切地说，被组合成复杂工作流的应用程序集。由于科学软件包和计算平台的复杂性和数量，将这些应用程序交付给最终用户一直是网格时代的重大挑战，在云时代仍然如此。在这方面的贡献，我们描述了一个平台，用户驱动的，持续集成和交付的研究应用程序在分布式环境中的项目代码RADE。从描述手头问题的6个假设开始，我们提出了技术和社会解决方案。结合广泛使用和经过彻底测试的工具，我们展示了如何以几乎全自动的方式管理各种科学应用程序的依赖关系和配置。CODE-RADE平台是一种在公共计算和数据基础设施与各种开发人员和科学社区之间建立信任的手段。为任何新应用程序指定预定义的集成测试，允许系统由用户驱动。这大大加快了科学应用程序的生产时间，同时减少了HPC、网格和云安装管理员的工作量。最后，我们将深入探讨如何扩展这一平台，以解决非洲科学研究的可重复性和合作问题。
2017-07-31 cs.DC
Virtual Environments for multiphysics code validation on Computing Grids
在本文中，我们提倡使用基于网格的基础设施，这些基础设施是为数字专家用户设计的无缝方法，即，多物理场应用设计师。它依赖于基于计算网格的复杂计算环境，连接异构计算资源：大型机、PC集群和运行多物理场代码和实用软件的工作站，例如，可视化工具。该方法基于HEAVEN* 联盟定义的概念。HEAVEN是一个欧洲科学联盟，包括来自航空航天，电信和软件行业的工业合作伙伴以及学术研究机构。目前，HEAVEN联盟正在进行一个旨在创建高级服务平台的项目。它旨在使“虚拟专用网格”支持各种环境，供用户操作适当的高级界面。这将成为未来通用服务的基础，允许集成各种服务，而无需部署特定的网格基础设施。
2005-10-26 cs.DC
AstroGrid-D: Grid Technology for Astronomical Science
我们目前的状态和结果的AstroGrid-D，天体物理学家和计算机科学家的共同努力，采用网格技术的科学应用。AstroGrid-D通过一组命令和软件接口提供对分布式机器网络的访问。它允许简单地使用计算机和存储设施，并计划或监控计算任务和数据管理。它基于Globus Toolkit中间件（GT 4）。第1章描述了导致天体物理学对高级软件解决方案需求的背景，并说明了该项目的目标。然后，我们提出了在第2章中已经实施的AstroGrid-D的特征天体物理学应用。我们描述了不同复杂性的模拟，在多个站点上运行的计算密集型计算，以及用于特定科学目的的高级应用程序，例如与机器人望远镜的连接。我们可以从这些例子中展示网格执行如何改进例如科学工作流程。第3章介绍了我们改编或新开发的软件工具和服务。第3.1节侧重于基础设施的管理方面，以管理用户和监视活动。第3.2节描述了我们架构的核心组件：收集和存储元数据的AstroGrid-D信息服务、文件管理系统、数据管理系统和自动提交计算任务的作业管理器。我们在第4章中总结了成功建立的基础设施，并总结了我们未来将AstroGrid-D作为现代电子天文学平台的计划。
2010-07-23 astro-ph.IM cs.DB cs.DC
Novel Runtime Systems Support for Adaptive Compositional Modeling on the Grid
网格基础设施和计算环境在过去几年中取得了显著的进步。真正无缝网格使用的愿景依赖于运行时系统的支持，是认识到网格计算的基础上的操作问题，同时，是足够灵活，以适应不同的应用场景。本文讨论了网格基础设施和应用程序支持的两个方面，通过一个新的组合两种计算技术：编织-源语言独立的并行运行时组成框架，通过反向分析编译的目标文件，运行时推荐系统，帮助动态知识为基础的应用程序组合。特定于域的自适应性是通过一个新的组合系统，支持运行时推荐的代码模块和一个复杂的检查点和运行时迁移解决方案，可以透明地部署在网格基础设施。一组核心的“自适应模式”提供了大规模的科学计算的自适应组合的模板。实施问题，激励应用程序的背景下，和初步的结果进行了说明。
2003-01-21 cs.CE cs.DC
A Community Roadmap for Scientific Workflows Research and Development
科学应用的工作流系统的前景是众所周知的错综复杂，有数百个看似等效的工作流系统，许多孤立的研究索赔，以及陡峭的学习曲线。为了应对其中的一些挑战，并为工作流研究和开发的转型奠定基础，WorkflowsRI和ExaWorks项目合作，将国际工作流社区聚集在一起。本文报告了两次虚拟“工作流社区峰会”（2021年1月和4月）的讨论和结果。这些研讨会的总体目标是发展最先进的观点，确定工作流程社区的关键研究挑战，阐明潜在社区努力的愿景，并讨论实现这一愿景的技术方法。为此，与会者确定了六大主题：FAIR计算工作流; AI工作流; Exascale挑战; API，互操作性，重用和标准;培训和教育;以及建立工作流社区。我们总结了对每个主题的讨论和建议。
2021-10-08 cs.DC
Grid porting of Bhabha scattering code through a master-worker scheme
一个程序计算巴巴散射在高能对撞机被认为是移植到EGEE网格基础设施。该程序代码是aITALC项目的结果，通过使用主工人操作方案进行移植。作业的提交、执行和监控是使用GridWay元数据库实现的。无人值守的作业执行被证明是完整的，而且相当有效，即使在没有网格的先验知识的情况下。虽然这批作业仍然在用户端组织，但实际的计算是在phenogrid虚拟组织中进行的。科学结果支持了小角巴巴散射用于国际直线对撞机项目的光度测量。
2009-04-01 cs.DC hep-ph
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes（安第斯大学）
本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
A data Grid testbed environment in Gigabit WAN with HPSS
为了对大型实验进行数据分析，如LHC Atlas和其他日本高能和核物理项目，我们在ICEPP和KEK建造了一个网格测试台。这些研究所连接到国家科学千兆网络骨干称为SuperSINET。在我们的测试平台中，我们安装了基于Globus的NorduGrid中间件，并连接了KEK的120TB HPSS作为大规模数据存储。利用SuperSINET传输和访问了ICEPP的Atlas模拟数据。我们已经通过这个高速广域网测试了HPSS的各种性能和特性。测量包括计算和存储资源与低延迟LAN和长距离WAN紧密耦合之间的比较。
2003-09-03 cs.DC
Grid Computing: The Next Decade -- Report and Summary
在过去的10多年里，全球科学网络基础设施（CI）的发展导致了CI实例的巨大多样性。虽然专业化、竞争性和替代性的CI构建块是健康生态系统所固有的，但很明显，日益严重的碎片化阻碍了互操作，从而限制了协作，而协作对于通常跨越国际团体和多学科的现代科学界至关重要。（但即使是拥有较小和本地化社区的“小科学”，也往往嵌入到更大的科学生态系统中，并且越来越依赖CI的可用性。在技术和社会层面上，出现分裂的原因各不相同。但是，很明显，目前用于创建CI组件的资助模式在很大程度上未能通过将CS研究和IT工程挑战混合到相同的资助策略中来帮助从研究到生产的过渡。欧盟资助的“网格实验室”项目10周年（这是一个早期的雄心勃勃的尝试，旨在为特定的科学界提供一个统一的、面向科学的网络基础设施软件栈），并以此为契机，邀请了来自欧洲、美洲和亚洲的网格计算和电子科学领域的国际领导人和早期研究人员，以及欧盟和美国资助机构的代表，讨论CI发展的基本方面，并考虑对CI的全球发展采取更一致、更协调的方法的选择。这份公开文件代表了该讲习班的成果-包括一份任务说明草案和一份蓝图进程建议-以便向更广泛的社区提供信息，并鼓励外部专家提供反馈和意见。
2012-10-11 cs.CY cs.DC
QR Factorization of Tall and Skinny Matrices in a Grid Computing Environment
University of Tennessee（田纳西大学）；INRIA Saclay-Île de France（法国国家信息与自动化研究所萨克雷-法兰西岛分部）；Univ Paris Sud, University of Tennesse, LRI, INRIA（巴黎第十一大学、田纳西大学、LRI、法国国家信息与自动化研究所）；University of Colorado Denver（科罗拉多大学丹佛分校）
针对网格计算环境中高瘦矩阵QR分解的性能瓶颈，提出结合通信避免QR算法与拓扑感知中间件的方法，实现跨地域站点线性加速。
2009-12-14 cs.DC cs.NA math.NA
Data Sharing Options for Scientific Workflows on Amazon EC2
高效的数据管理是在分布式环境中实现科学工作流良好性能的关键组成部分。工作流应用程序通常使用文件在任务之间传递数据。当任务被分发时，这些文件或者从一个计算节点传输到另一个计算节点，或者通过共享存储系统访问。在网格和集群中，工作流数据通常存储在网络和并行文件系统上。在本文中，我们研究了一些在云中管理工作流数据的方法。我们在Amazon的EC2上使用三个典型的工作流应用程序进行了实验。我们讨论了我们使用的各种存储和文件系统，描述了我们在EC2上部署它们时遇到的问题，并分析了工作流的性能和成本。
2010-10-22 astro-ph.IM cs.DC
Parallel Tensor Compression for Large-Scale Scientific Data
University of Texas, Austin（德克萨斯大学奥斯汀分校）；Sandia National Labs（桑迪亚国家实验室）
本文提出首个分布式内存并行实现的Tucker分解，用于大规模科学数据的高效压缩，保持精度并实现高达5000倍的压缩率。
2016-02-23 cs.DC cs.NA math.NA
IMP Science Gateway: from the Portal to the Hub of Virtual Experimental Labs in Materials Science
“科学网关”（SG）思想是指科学家（或科学社区）与不同软件组件+各种分布式计算基础设施（DCI）（如网格、云、集群）之间的用户友好的直观界面，研究人员可以专注于他们的科学目标，而不太关注软件/DCI的特性。介绍了用于复杂工作流管理和分布式计算资源（如集群、服务网格、桌面网格、云）集成的“IMP Science Gateway Portal”（http：scigate.imp.kiev.ua）。它是在WS-PGRADE和gUSE技术的基础上创建的，其中WS-PGRADE是为科学工作流操作而设计的，而gUSE是为各种异构分布式计算基础设施（DCI）中的并行和分布式计算的可用资源的平滑集成而设计的。典型的科学工作流程，其准备和使用的可能方案。这些科学应用（科学工作流）的几个典型用例被认为是各种纳米结构（石墨烯层的纳米压痕，金属纳米晶体中的缺陷系统弛豫，氮化硼纳米管的热稳定性等）的复杂行为的分子动力学（MD）模拟。用户体验的背景下，其实际应用的MD模拟材料科学，物理学和纳米技术与可用的异构DCI的分析。总之，“科学网关”方法-工作流管理器（类似于WS-PGRADE）+ DCI资源管理器（如gUSE）-提供使用SG门户的机会（如“IMP Science Gateway Portal”），即作为各种虚拟实验室的中心（不同的软件组件+对资源的各种要求）在其实际MD应用的背景下，在材料科学，物理，…
2014-04-22 cond-mat.mtrl-sci cs.CE cs.DC
HEGrid: A High Efficient Multi-Channel Radio Astronomical Data Gridding Framework in Heterogeneous Computing Environments
充分利用现有和即将推出的大型单碟射电望远镜等科学仪器的潜力所面临的挑战是有效和高效地处理收集到的大量数据。作为一种具有“摩尔邻域模式”的“准2D模板计算”，网格化是射电天文学研究数据简化管道中计算量最大的步骤，使天文学家能够创建正确的天空图像以供进一步分析。然而，现有的网格框架要么只能运行在多核CPU架构上，要么不支持高并发、多通道的数据网格。它们的性能是有限的，并且需要创新的网格框架来处理来自大型单碟射电望远镜（如500米孔径球面望远镜（FAST））的数据。为了应对这些挑战，我们开发了一个高效网格框架HEGrid，克服了上述限制。具体而言，我们提出并构建了网格流水线在异构计算环境中，并实现了高性能的多通道处理的多管道并发。此外，我们提出了基于流水线的协同优化，以减轻潜在的负面性能影响可能的内部和内部流水线低计算和I/O利用率，包括组件共享为基础的冗余消除，线程级的数据重用和重叠的I/O和计算。我们的实验是基于模拟数据集和实际FAST观测数据集。结果表明，HEGrid的性能比其他最先进的网格框架高出5.5倍，并具有强大的硬件可移植性，包括AMD Radeon Instinct GPU和NVIDIA GPU。
2022-07-11 cs.DC
Web Portal for Photonic Technologies Using Grid Infrastructures
物理过程的建模是科学和技术研究的一个组成部分。在这一领域，Extendible C++ Application in Quantum Technologies（ECAQT）软件包提供了在退相干存在下复杂量子系统的数值模拟和建模，在光子学中具有广泛的应用。它允许创建相互作用的复杂系统的模型，并模拟它们的时间演化与一些可用的时间演化驱动程序。涉及大量计算的物理模拟通常在分布式计算基础设施上执行。对于非专业用户来说，使用这样的计算基础设施或者甚至使用基础设施上的高级库通常是困难的，因为他们通常需要熟悉中间件和工具、并行编程技术和包。P-RADE网格门户是一个网格门户解决方案，它允许用户管理在计算网格基础设施上执行并行应用程序的整个生命周期。本文介绍了基于ECAQT软件包的门户网站的功能和结构。
2013-01-09 cs.DC physics.comp-ph quant-ph
High-Performance Distributed Multi-Model / Multi-Kernel Simulations: A Case-Study in Jungle Computing
高性能科学应用程序需要越来越多的计算能力。多个分布式计算资源的并发使用对于科学进步至关重要。由此产生的分布式系统，即所谓的丛林计算系统，是高度异构和分层的，可能由网格，云，独立机器，集群，桌面网格，移动设备和超级计算机组成，可能带有加速器，如GPU。可以从丛林计算系统中受益的应用程序的一个引人注目的例子是多模型/多内核模拟。在这些模拟中，可能使用不同的技术和编程模型实现的多个模型被耦合到物理系统的单个模拟中。例子包括计算天体物理学和气候建模领域。在本文中，我们研究使用丛林计算系统，这样的多模型/多内核模拟。我们利用的软件开发的Ibis项目，它解决了许多问题时面临的丛林计算系统上运行的应用程序。我们创建了一个原型丛林感知版本的AMUSE，天体物理模拟框架。我们显示初步实验所产生的系统，使用集群，网格，独立的机器，和GPU。
2012-03-01 astro-ph.SR cs.DC
Checkpointing to minimize completion time for Inter-dependent Parallel Processes on Volunteer Grids
志愿者计算正在成功地用于大规模科学计算。这项研究是在Volpex的背景下，一个编程框架，支持在志愿者环境中的通信并行过程。Redemption和检查点相结合，以确保Volpex在这个独特的执行环境中的一致性，该环境的特点是异构的易发生故障的节点和相互依赖的复制过程。使用Volpex优化性能的一个重要参数是检查点的频率。本文提出了一个数学模型，通过寻找一个合适的检查点间隔来最小化志愿者环境中运行的相互依赖的并行进程的完成时间。验证是用一个在分布式志愿者节点池上运行的真实世界应用程序样本来执行的。结果表明，我们预测的检查点间隔的性能是相当接近的最佳性能经验获得不同的检查点间隔。
2016-03-11 cs.DC
A Systematic Evaluation of the Potential of Carbon-Aware Execution for Scientific Workflows
University of Glasgow（格拉斯哥大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本研究系统评估了碳感知执行在科学工作流中的潜力，通过量化碳排放问题并展示时间偏移和资源扩展对减排的显著影响，提出更可持续的执行模型。
2026-03-06 cs.DC
Managing Separation of Concerns in Grid Applications Through Architectural Model Transformations
网格能够通过称为虚拟组织（VO）的临时协作，使用文件、应用程序和存储设备来聚合、虚拟化和共享大量异构和地理上分散的资源，以解决跨机构和国家的计算和数据密集型问题。大多数实现都会导致软件层的复杂叠加，通常会带来较低的服务质量和应用程序质量。因此，基于网格的应用程序的设计和开发越来越复杂，使用最经典的工程实践是不成功的。不仅是这样的应用程序的开发是一项耗时，容易出错和昂贵的任务，而且由此产生的应用程序往往是硬编码的特定网格配置，平台和基础设施。在基于网格的应用程序的设计中既没有指导方针也没有规则是一个矛盾，因为有许多现有的分布式计算的体系结构方法，这些方法可以简化和促进基于软件组件重用的严格工程方法。我们相信，目前使用的ad-hoc和半正式的工程方法，不足以满足未来的网格开发需求。由于基于网格的应用程序解决多学科和复杂的领域（健康，军事，科学计算），他们的工程需要严格和控制。因此，本文主张一个正式的模型驱动的工程过程和相应的设计框架和工具，用于建设下一代网格。
2007-07-05 cs.DC cs.SE
Heterogeneous Strong Computation Migration
科学计算和工业对性能要求的不断提高，激发了对强大计算基础设施的需求。网格作为一种以并行和分布式方式廉价执行繁重应用程序的解决方案出现。它允许独立于资源的物理位置和体系结构来组合资源，从而形成一个可供所有网格用户使用的全局资源池。然而，网格环境是高度不稳定和不可预测的。在这方面，适应性是一个至关重要的问题，以便保证向用户提供适当的服务质量。迁移是一种经常用于实现适应的技术。本报告的目的是调查的问题，强迁移异构环境中，如网格的，相关的实施问题和当前的解决方案。
2010-10-03 cs.DC
A Time-driven Data Placement Strategy for a Scientific Workflow Combining Edge Computing and Cloud Computing
与传统的分布式计算环境（如网格）相比，云计算提供了一种更具成本效益的方式来部署科学工作流。科学工作流的每个任务都需要多个大型数据集，这些数据集位于来自云计算环境的不同数据中心，导致严重的数据传输延迟。边缘计算降低了数据传输延迟，支持科学工作流私有数据集的固定存储方式，但其存储容量存在瓶颈。如何结合边缘计算和云计算的优势，合理安排科学工作流程的数据布局，优化不同数据中心之间的数据传输时间，是一个挑战。传统的数据布局策略在给定的节点数下保持负载均衡，导致数据传输时间较长。提出了一种基于遗传算法算子的自适应离散粒子群优化算法（GA-DPSO），用于优化科学工作流中的数据传输时间。该方法考虑了边缘计算和云计算相结合的数据放置特征。此外，还考虑了边缘节点带宽、边缘节点数量、边缘节点存储容量等因素对传输时延的影响。采用遗传算法的交叉算子和变异算子，避免了传统粒子群算法的早熟收敛，增强了种群进化的多样性，有效减少了数据传输时间。实验结果表明，基于GA-DPSO的数据放置策略能够有效减少边缘计算和云计算相结合的工作流执行过程中的数据传输时间。
2019-01-24 cs.DC
Heterogeneous Relational Databases for a Grid-enabled Analysis Environment
基于网格的系统需要一种数据库访问机制，该数据库访问机制可以通过虚拟数据访问系统（即，可以负责跟踪存储在地理上分布的异构数据库中的数据的系统）来提供对所请求的数据的无缝同构访问。该系统应通过使用虚拟数据访问机制（即，可以向客户端应用程序隐藏后端数据库的异构性的机制）来提供存储在不同存储库中的数据的集成视图。本文主要研究通过Web服务接口访问存储在不同关系数据库中的数据，并利用数据仓库和数据集市的特点。我们提出了一个中间件，使应用程序访问存储在地理上分布的关系数据库中的数据，而不知道他们的物理位置和底层模式。提供了一个Web服务接口，使应用程序能够以独立于语言和平台的方式访问该中间件。基于Clarens [4]、Unity [7]和POOL [8]创建了一个原型实现。这种透明地访问存储在分布式关系数据库中的数据的能力对于网格用户，特别是希望整理和分析分布在网格上的数据的科学界来说可能是非常强大的。
2005-04-10 cs.DC
Exploiting ray tracing technology through OptiX to compute particle interactions with cutoff in a 3D environment on GPU
本研究提出利用GPU的光线追踪技术计算3D环境中带截断的粒子相互作用，无需构建单元网格或显式kd树即可实现准线性复杂度，虽当前性能多数情况下不及经典网格方法，但为相关研究提供了新思路。
2024-12-16 cs.DC cs.GR
Temporal blocking of finite-difference stencil operators with sparse "off-the-grid" sources
模板核在一系列科学应用中占据主导地位，包括地震和医学成像、图像处理和神经网络。时间阻塞是一种性能优化，旨在通过在多个时间步长中重用缓存中的数据来减少模板计算所需的内存带宽。它已经被证明是有益的这类算法。然而，将时间分块应用于实际应用的时间表仍然具有挑战性。这些计算通常由不与计算网格对齐的稀疏定位的算子组成（“离网”）。我们的工作的动机是建模问题，其中源注入的波场，然后必须在接收器通过插值从网格波场测量。由此产生的数据依赖性使得采用时间块更具挑战性。我们提出了一种方法来检查这些数据的依赖关系和重新排序的计算，导致模板代码的时间块不适用的性能增益。我们在Devito域特定的编译器工具链中实现了这个新方案。Devito实现了一种嵌入在Python中的特定于领域的语言，可以使用有限差分方法从高级符号问题定义中生成优化的偏微分方程求解器。我们评估我们的计划使用各向同性的声学，各向异性的声学，各向同性的弹性波传播的工业意义。在自动调整之后，性能评估表明，这使得通过时间分块能够实现高达1.6倍的高度优化的矢量化空间分块代码的实质性性能改善。
2021-02-25 cs.DC cs.MS cs.PF
