The Grid[Way] Job Template Manager, a tool for parameter sweeping
参数扫描是计算科学中广泛使用的一种算法技术。它特别适合于高吞吐量计算，因为评估参数空间的作业是松散耦合或独立的。提出了一种工具，它集成了建模的参数研究与控制的工作在一个分布式体系结构。主要任务是方便创建和删除作业模板，这些模板是描述要运行的作业的元素。额外的功能依赖于GridWay Metasloger，它充当作业提交和控制的中间件层。它支持有趣的功能，如多维扫描空间，参数通配符，范围的功能评估，值跳过和作业模板自动识别。由于作业模板和相应作业状态的系统化记录，使用此工具可提高参数扫描研究的可靠性。此外，它还简化了目标应用程序到网格的移植，减少了所需的时间和工作量。
2010-03-05 cs.DC
McRunjob: A High Energy Physics Workflow Planner for Grid Production Processing
McRunjob是一个强大的网格工作流管理器，用于管理高能物理中大量生产处理作业的生成。自1999年以来，McRunjob一直用于管理大型Monte Carlo生产过程，并正在扩展到常规生产过程中的分析和重建。在CHEP 2001中描述，McRunjob将核心元数据转换为可在各种环境中提交的作业。强大的核心元数据描述语言包括将元数据转换为持久形式、工作描述、多步骤工作流和数据起源信息的方法。该语言的功能允许在元数据中的结构，包括完整的表达式，命名空间，功能依赖，在网格环境中的站点特定的参数，和本体定义。它还具有简单的控制结构，用于大型作业的并行化。McRunjob采用了模块化设计，可以轻松扩展到新的工作描述语言或新的应用级任务。
2003-06-10 cs.DC
Flex: Grid-Responsive Provisioning and Scheduling for Elastic Cloud Clusters
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
CarbonFlex提出一种基于历史集群数据持续学习的碳感知资源供给与调度方法，扩展AWS ParallelCluster实现，在行业负载上较碳无关基线减排约57%，性能接近理想调度器。
2026-10-13 cs.DC
Scheduling in Data Intensive and Network Aware (DIANA) Grid Environments
在网格调度决策的基础上，往往是数据或计算密集型的工作：在数据密集型的情况下，工作可能会推到数据和计算密集型的情况下，数据可能会拉到作业。这种调度，其中有没有考虑网络特性，可能会导致性能下降，在网格环境中，并可能导致大的处理队列和作业执行延迟，由于网站过载。在本文中，我们描述了一种数据密集型和网络感知（DIANA）元调度方法，该方法在跨多个站点做出调度决策时考虑数据、处理能力和网络特征。通过一个网格测试平台上的实际实现，我们证明了数据密集型作业的队列和执行时间可以显着改善，当我们引入我们提出的DIANA调度。基本调度决策由每个潜在目标位置的加权因子决定，该加权因子是网络特性、处理周期以及数据位置和大小的计算函数。作业调度器提供计算资源的全局排名，然后基于该总体访问和执行成本来选择最优的计算资源。DIANA方法将网格视为活动网络元素的组合，并将网络特性作为调度决策矩阵中的第一类标准以及计算和数据。然后，调度器可以通过考虑网络的变化状态、数据的位置和大小以及可用处理周期池来做出明智的决策。
2007-07-05 cs.DC
Enabling and Optimizing Pilot Jobs using Xen based Virtual Machines for the HPC Grid Applications
采用虚拟化的主要动机是资源隔离、容量管理和资源定制：隔离和容量管理允许提供商将用户与站点隔离并控制其资源使用，而定制允许最终用户轻松地将所需环境投影到各种站点上。已经采取了各种方法来集成虚拟化和网格技术。在本文中，我们提出了一种方法，结合虚拟化现有的软件基础设施，如试点工作与资源提供商的一部分最小的变化。
2009-06-05 cs.DC cs.PF cs.SE
Efficient Resource Matching in Heterogeneous Grid Using Resource Vector
本文提出了一种在分布式校园网格环境中有效调度作业以获得最佳作业吞吐量的方法。传统的作业调度器根据用户和作业资源属性来确定作业调度。用户属性与当前使用、历史使用、用户优先级和项目访问相关。作业资源属性主要包括软需求（编译器，库）和硬需求，如内存，存储和互连。如果资源满足作业的硬要求和软要求，则作业调度程序将作业分派给资源。在作业执行期间的当前场景中，如果资源变得不可用，则向调度器呈现有限的选项，即重新排队作业或将作业迁移到不同的资源。这两种选择在数据和计算时间方面都很昂贵。如果考虑网格环境中资源的可用时间这一经常被忽略的因素，这些情况就可以避免。我们提出了资源排名的方法，在该方法中，作业被分派到一个资源，其中具有最高的排名之间的所有资源，匹配的作业的要求。结果表明，我们的方法可以提高许多串行/单片作业的吞吐量。
2010-06-07 cs.DC
A Mediated Definite Delegation Model allowing for Certified Grid Job Submission
网格计算基础设施需要提供对用户活动的可跟踪性和会计，并防止滥用和权限升级。多用户网格作业环境的一个核心方面是在作业提交过程中必须的特权委托。关于这些通用的要求，本文描述了一个改进的处理多用户网格作业的ALICE（“大型离子对撞机实验”）网格服务。ALICE网格作业模型的安全性分析与派生的安全目标，然后讨论现有的方法的基础上X.509代理证书和网格中间件gLExec的无限制的委托。不受限制的授权具有严重的安全后果和限制，最重要的是允许身份盗窃和伪造授权任务。这些限制进行了讨论和制定，无论是在一般情况下，并与采用符合多用户网格作业。基于ALICE网格服务的体系结构，一个新的一般模型的中介明确委托的开发和制定，允许代理分配上下文敏感的用户权限代理。该模式提供了强有力的问责制和长期可追溯性。一个原型实现允许认证网格作业，包括潜在的互动与gLExec。在系统安全性、恶意作业利用、身份保护和可问责性方面所取得的改进得到了强调，随后讨论了面对恶意网格作业时的不可否认性。
2011-12-12 cs.CR cs.DC
Using ATLAS@Home to exploit extra CPU from busy grid sites
网格计算通常为大型高能物理实验提供大部分数据处理资源。然而，典型的网格站点并没有被常规的工作负载充分利用。为了提高这些网格站点的CPU利用率，可以使用ATLAS@Home志愿者计算框架作为一种并行机制。结果表明，额外的15%到42%的CPU周期可以被运行常规工作负载的网格站点利用，而整体CPU利用率可以保持在90%以上。回填对网格作业的失败率没有影响，对网格作业的CPU效率的影响从1%到11%不等，具体取决于站点的配置。此外，回填作业的吞吐量（以每个模拟事件的CPU时间表示）与专用于ATLAS@Home的资源相同。这种方法是足够通用的，它可以很容易地扩展到其他集群。
2018-11-29 cs.DC hep-ex physics.comp-ph
Visualization of Job Scheduling in Grid Computers
作业调度是网格计算研究的热点问题之一。作业调度问题是NP完全问题，因此，使用启发式算法是解决这一问题的实际方法。提出了一种基于鱼群、作业调度器和可视化网格仿真的作业执行设想。
2013-08-02 cs.DC
A Grid Service Broker for Scheduling Distributed Data-Oriented Applications on Global Grids
下一代科学实验和研究，通常被称为电子科学，是由分布在世界各地的研究人员进行的，他们从事分析科学仪器产生的大量数据。网格计算已经成为电子科学的推动者，因为它允许创建虚拟组织，将具有共同目标的社区聚集在一起。在社区内，数据汇集存储或复制在分布式资源上，以增强存储能力或访问效率。在这样的环境中，科学家需要有能力通过透明地访问分布式数据和计算资源来进行研究。在本文中，我们提出并开发了一个网格代理，通过（a）为给定的分析场景发现合适的数据源，（b）合适的计算资源，（c）最佳地将分析作业映射到资源，（d）在选定的资源上部署和监视作业执行，（e）在作业执行期间从本地或远程数据源访问数据，以及（f）整理和呈现结果。该代理支持用于创建网格应用程序的声明式和动态参数化编程模型。我们已经使用这个模型在网格启用高能物理分析应用程序（百丽分析软件框架）。该经纪人已被用于在网格测试平台上部署Belle实验数据分析工作，称为Belle分析数据网格，分布在澳大利亚各地的资源通过GrangeNet互连。
2004-05-06 cs.DC
Mobile Computing in Physics Analysis - An Indicator for eScience
本文介绍了一个支持网格的物理分析环境的手持和其他资源有限的计算设备的使用移动设备在eScience的一个例子的设计和实现。手持设备提供了巨大的潜力，因为它们通过无线链路提供了无处不在的数据访问和全天候连接。我们的解决方案旨在为手持设备用户提供在计算和数据网格上启动繁重计算任务的能力，在执行过程中监控作业状态，并在作业完成后检索结果。用户将他们的作业以可执行文件（和相关的库）的形式携带在他们的手持设备上。用户可以透明地查看其作业的状态并返回其输出，而不必知道它们在哪里执行。通过这种方式，我们的系统能够作为一个高吞吐量的计算环境，从强大的台式机到小型手持设备的设备可以采用网格的力量。本文所示的结果很容易适用于更广泛的eScience社区。
2007-07-05 cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Deadline aware virtual machine scheduler for scientific grids and cloud computing
虚拟化技术使应用程序能够与底层硬件分离，从而提供可移植性、更好地控制执行环境和隔离的好处。它已被广泛应用于科学网格和商业云。由于虚拟化虽然有好处，但也会带来性能损失，这对于处理不确定性的系统来说可能很重要，例如高性能计算（HPC）应用程序，其中作业的截止日期很紧，并且在运行之前依赖于其他作业。主要的障碍在于弥合作业的性能要求和虚拟化技术提供的性能之间的差距，如果作业要在虚拟机中执行。在本文中，我们提出了一种新的方法来优化作业的最后期限时，在虚拟机上运行，通过开发一个最后期限感知算法，响应作业的执行延迟在实时的，并动态优化作业，以满足其最后期限的义务。我们的方法借用的概念都从信号处理和统计技术，其比较性能的结果，包括对硬件资源的利用率的影响，在本文的后面。
2010-09-24 cs.DC cs.PF cs.SE
Grid porting of Bhabha scattering code through a master-worker scheme
一个程序计算巴巴散射在高能对撞机被认为是移植到EGEE网格基础设施。该程序代码是aITALC项目的结果，通过使用主工人操作方案进行移植。作业的提交、执行和监控是使用GridWay元数据库实现的。无人值守的作业执行被证明是完整的，而且相当有效，即使在没有网格的先验知识的情况下。虽然这批作业仍然在用户端组织，但实际的计算是在phenogrid虚拟组织中进行的。科学结果支持了小角巴巴散射用于国际直线对撞机项目的光度测量。
2009-04-01 cs.DC hep-ph
Sustainable Grid through Distributed Data Centers: Spinning AI Demand for Grid Stabilization and Optimization
提出一种将AI作业调度至分布式高性能计算中心的范式，利用其庞大负荷稳定电网并促进可再生能源利用，通过市场激励机制实现能源与学习的联合优化。
2025-03-14 cs.DC
Hep Cluster First Step Towards Grid Computing
HEP集群是在Scientific Linux Cern 5.5中设计和实现的，为高能物理研究人员提供了一个可以执行特定任务的地方，或者提供一个并行处理架构，其中CPU资源在网络上共享，所有机器都作为一个大型超级计算机运行。它使物理学家能够透明地访问计算机和数据，而不必考虑位置、操作系统、帐户管理和其他细节。通过使用这种设备，研究人员可以比独立的桌面系统更快地处理他们的工作。关键词：集群，网络，存储，并行计算与Gris。
2012-10-29 cs.DC
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源，网格计算得到了广泛的应用。随着网格计算的出现，可以克服传统分布式系统的空间限制，并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务，其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题，特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制，以便读者了解哪种算法适用于不同的情况。关键词：广域网，分布式计算，负载均衡。
2014-09-12 cs.DC
Virtual Laboratory: Enabling On-Demand Drug Design with the World Wide Grid
计算网格是解决科学、工程和商业中大规模计算和数据密集型问题的一种流行模式。然而，在这些环境中的应用程序组合、资源管理和调度是一项复杂的任务。在本文中，我们说明了利用现有的网格技术，使分布式资源上的药物设计的分子建模的虚拟实验室环境的创建。它涉及针对蛋白质靶标、化学数据库（CDB）筛选数百万个化合物分子，以识别那些具有药物设计潜在用途的化合物。我们已经使网格的分子对接过程中组成的参数扫描应用程序使用Nimrod-G工具。然后，我们开发了新的工具，用于远程访问CDB小分子数据库中的分子。Nimrod-G资源代理与分子CDB数据代理一起用于分布式网格资源上作业的调度和按需处理。结果证明了Nimrod-G和虚拟实验室工具的易用性和适用性。
2001-11-17 cs.DC
Economic and On Demand Brain Activity Analysis on Global Grids
组织内部缺乏分析科学数据的计算能力，以及知识（科学家）和技术（先进科学设备）的分布是科学学科中常见的两个主要问题。脑科学就是这样一门学科。从MEG（脑磁图）仪器收集的大脑活动数据的分析是医学科学中的一个重要研究课题，因为它有助于医生识别疾病的症状。需要对数据进行详尽的分析，以有效地诊断和分析大脑功能，并需要访问大规模的计算资源。解决这种资源密集型应用的潜在平台是网格。本文介绍了我们开发的脑磁图数据分析系统，利用网格技术，主要是Nimrod-G，Gridbus和Globus。本文介绍了应用经济为基础的网格调度算法的问题域按需处理的分析工作。
2003-02-13 cs.DC
Proxy dynamic delegation in grid gateway
如今，研究遇到的主要障碍之一是难以访问所需的计算资源。网格能够为用户提供广泛的资源，即使它们对于非专业的最终用户来说往往太难利用。如今，使用简化已成为访问和利用云、网格和数据中心资源的常见做法。随着L-GRID网关的推出，我们引入了一种新的方式来处理网格门户。L-GRID是为了通过Web访问EGI网格基础设施而开发的一个非常轻的门户，允许用户在几分钟内从任何Web浏览器提交他们的作业，而无需了解底层网格基础设施。
2012-04-30 cs.CR cs.DC
Data Volume-aware Computation Task Scheduling for Smart Grid Data Analytic Applications
新兴的智能电网应用程序分析从数百万个电表和系统收集的大量数据，以促进分布式监控和实时控制任务。然而，目前的并行数据处理系统都是针对普通应用而设计的，并不知道所采集的数据量巨大，导致智能电网系统在计算过程中数据传输延迟长，响应时间慢。减少延迟的一个有希望的方向是联合调度计算任务和数据传输。我们发现，智能电网的数据分析工作需要不同的计算阶段之间的中间数据进行有序传输，以避免网络拥塞。这一新特性使得当前的调度算法效率低下。在这项工作中，一个集成的计算和通信任务调度方案的建议。给出了智能电网数据分析作业调度问题的数学描述，该问题由于强耦合约束而无法用现有的优化方法求解。几种技术相结合，使其线性化，以适应分支和切割方法。基于作业图中的拓扑信息，进一步提出了拓扑感知的分支割方法，以加快寻优速度。数值结果证明了所提出方法的有效性。
2023-02-02 cs.DC cs.PF cs.SY
A Deadline and Budget Constrained Cost-Time Optimisation Algorithm for Scheduling Task Farming Applications on Global Grids
计算网格和对等（P2P）网络使地理上分布的资源能够共享、选择和聚合，以解决科学、工程和商业中的大规模问题。然而，用于调度应用的资源和服务的管理和组合成为复杂的任务。我们已经提出了一个计算经济的框架，用于调节资源的供应和需求，并根据用户的服务质量要求将它们分配给应用程序。该框架需要经济驱动的最后期限和预算约束（DBC）调度算法分配资源的应用程序的作业，这样的方式，用户的要求得到满足。在本文中，我们提出了一种新的调度算法，称为DBC成本-时间优化，它扩展了DBC成本优化算法，优化时间，保持计算成本最低。这种新的调度算法的优越性，在实现较低的作业完成时间，通过模拟全球范围内的网格和调度任务农业应用程序不同的截止日期和预算的情况下，使用这种新的和成本优化调度算法证明。
2002-03-14 cs.DC
Advancements in Big Data Processing in the ATLAS and CMS Experiments
不断增长的科学数据量对分布式计算和网格技术提出了新的挑战。新兴的大数据革命推动了科学领域的探索，包括纳米技术，天体物理学，高能物理学，生物学和医学。新的举措正在改变数据驱动的科学领域，以新的方式进行大规模数据分析。在千万亿次数据处理中，科学家处理的是数据集，而不是单个文件。因此，任务（由许多作业组成）成为网格上千万亿次数据处理的一个单元。将大型数据处理任务拆分为作业可以实现细粒度检查点，类似于在数据传输期间将大型文件拆分为较小的TCP/IP数据包。通过自动重新发送丢弃的TCP/IP数据包，在小数据包中传输大数据可以实现可靠性。类似地，网格上的瞬时作业故障可以通过自动重试来恢复，以在网格上的千万亿次数据处理中实现可靠的六西格玛生产质量。ATLAS和CMS实验的计算经验为可靠性工程提供了基础，将网格技术扩展到千万亿次以上的数据处理。
2013-03-08 cs.DB cs.DC hep-ex
Resource Management Services for a Grid Analysis Environment
选择最佳的资源提交作业的计算网格或访问数据网格中的数据是任何网格中间件的最重要的任务之一。今天，大多数现代网格软件都满足了这一责任，并尽最大努力解决这一问题。几乎所有关于调度和数据访问的决定都是由软件自动做出的，用户几乎无法控制整个过程。为了解决这个问题，需要一个更具交互性的服务和中间件集，为用户提供更多的信息，网格天气，并给他们更多的控制决策过程。本文介绍了一组服务，已开发的网格分析环境（GAE）正在合作开发的加州理工学院，NUST和其他几个研究所提供更多的交互式资源管理功能。这些服务包括一个引导服务、一个作业监控服务和一个估算器服务，它们都是使用一个名为Clarens的通用网格Web服务框架设计和编写的。本文还提出了一个性能分析所开发的服务，以表明他们确实导致了一个更加互动和强大的系统，以用户为中心的网格启用物理分析。
2005-04-10 cs.DC
ATLAS and CMS applications on the WorldGrid testbed
WorldGrid是一个横跨欧洲和美国的洲际测试平台，它基于Globus工具包集成了架构上不同的网格实现。它是在DataTAG和iVDGL项目的背景下开发的，并在IST 2002（哥本哈根）和SC 2002（巴尔的摩）的WorldGrid演示中成功演示。两个HEP实验，ATLAS和CMS，成功地利用WorldGrid测试平台执行工作，模拟他们的探测器对物理事件的响应，这些事件是从2007年开始在LHC加速器上预期的真实碰撞产生的。多年来，这种数据密集型活动一直在由数百个节点和TB磁盘和磁带存储组成的本地专用计算场上运行。在WorldGrid测试平台中，HEP模拟作业首次在美国和欧洲的资源上提交并无差别地运行，尽管它们的底层网格实现不同，并产生可以在提交机器上检索和进一步分析的数据，或者简单地存储在远程资源上并注册在可供网格进一步处理的目录上。在这篇文章中，我们描述了来自欧洲的ATLAS和CMS应用程序的作业提交，通过在EDG用户界面上运行的GENIUS门户网站提交给EDG资源代理，指出所选择的互操作性解决方案，从应用程序的角度来看，在WorldGrid环境中的数据管理，以及CMS特定的生产工具，这些工具与GENIUS门户网站相连。
2003-10-14 cs.DC
Simulating the universe on an intercontinental grid of supercomputers
对宇宙最常见的组成部分--冷暗物质的难以捉摸阻碍了对宇宙的理解。几乎不可能观察到的暗物质可以通过模拟的方式进行有效的研究，在过去的十年里，可能没有其他研究领域的模拟带来了如此大的进展。宇宙学N体模拟是研究非线性区域密度扰动演化的重要工具。然而，模拟宇宙中大尺度结构的形成仍然是一个挑战，这是由于空间和时间坐标的巨大动态范围，以及由于所需的巨大计算机资源。动态范围一般用数值技术的混合处理。我们通过光网络连接两台超级计算机来处理计算需求，并使它们作为一台机器运行。这是具有挑战性的，如果只是因为我们选择的超级计算机被半个地球分开，因为一个位于阿姆斯特丹，另一个位于东京。两台计算机的协同调度和代码的“网格化”使我们能够实现这种分布式洲际超级计算机的90%效率。
2010-01-05 astro-ph.CO astro-ph.IM cs.DC
Scheduler Technologies in Support of High Performance Data Analysis
作业调度器是可伸缩计算基础设施的关键组件。它们协调在计算基础设施上执行的所有工作，并直接影响系统的有效性。最近，工作负载已经多样化，从长时间运行，同步并行模拟，包括短时间，独立并行高性能数据分析（HPDA）的工作。这些作业类型中的每一种都需要不同的功能和调度程序调优才能有效运行。已经开发了许多并行计算器来解决作业工作负载和计算系统异构性。高性能计算（HPC）调度器被设计为在超级计算机上调度大规模科学建模和模拟。大数据调度器旨在在集群上调度数据处理和分析工作。本白皮书比较和对比了HPC和大数据处理器的功能，重点是同时适应科学计算和高性能数据分析工作负载。作业延迟对于可扩展计算基础设施的有效利用至关重要，本文介绍了几个当前集群的作业启动基准测试结果：Slurm，网格引擎之子，Mesos和Yarn。我们发现，所有这些调度器都具有较低的短期运行作业的利用率。此外，采用多级调度显着提高了利用率在所有的集群。
2016-07-22 cs.DC
A Comprehensive Perspective on Pilot-Job Systems
Pilot-Job系统在支持分布式科学计算方面发挥着重要作用。开放科学网格社区每年使用它们来消耗超过7亿个CPU小时，并且每天为全球LHC计算网格上的ATLAS实验处理多达100万个作业。随着任务级并行在高性能计算中的重要性日益增加，Pilot-Job系统也正在超越传统领域。尽管对科学研究的影响越来越大，但对飞行员工作系统的定义并没有达成一致意见，也没有对潜在的抽象和范式有明确的理解。试点工作的实现已经激增，没有共享的最佳实践或开放的接口，也没有什么互操作性。最终，这会限制Pilot-Jobs的健壮性、可移植性和可维护性，从而阻碍Pilot-Jobs的全面影响。本文提供了一个全面的分析，飞行员工作系统批判性地评估其动机，演变，属性和实施。本文的三个主要贡献是：（i）的动机和演变的Pilot-Job系统的分析;（ii）的试点抽象的轮廓，其区分逻辑组件和功能，其术语，其架构模式;和（iii）的核心和辅助属性的Pilot-Job系统的描述和分析的七个范例Pilot-Job实现。总之，这些贡献说明了试点范例，它的一般性，以及它如何有助于解决分布式科学计算的一些挑战。
2016-03-05 cs.DC cs.SE
Advance Reservation based DAG Application Scheduling Simulator for Grid Environment
近十年来，网格环境下有向无环图（DAG）应用的调度问题引起了众多研究者的关注。然而，网格环境的部署需要技能，努力，预算和时间。虽然有各种各样的仿真工具或框架可用于模拟网格环境，但它们要么支持网格计算领域的各种可能的研究，要么需要大量的努力来塑造它们，使其适合DAG应用程序的调度。在本文中，我们描述了在网格环境中的DAG应用程序调度的GridSim为基础的设计和实现的准备使用的应用程序调度器。该应用调度器支持DAG应用的提供和网格资源的配置。我们还描述了最小最小静态调度算法的DAG应用程序的调度，以验证所提出的调度器的实现。我们提出的DAG应用程序调度模拟器是有用的，简单的，节省时间。
2012-11-07 cs.DC
Accelerating Machine Learning Inference with GPUs in ProtoDUNE Data Processing
本文研究在ProtoDUNE中微子数据处理中利用云端GPU加速推理服务器提升事件重建速度，通过数千并发网格作业验证100-GPU服务器可轻松满足需求且GPU处理速度比最新CPU快两倍，同时指出需注意网络带宽限制并讨论未来改进方向。
2023-10-28 cs.DC hep-ex physics.data-an
A Security Monitoring Framework For Virtualization Based HEP Infrastructures
Goethe-University Frankfurt（法兰克福歌德大学）；CERN（欧洲核子研究中心）
高能物理（HEP）分布式计算基础设施需要自动化工具来监控、分析潜在的安全事件并做出反应。这些工具应收集和检查资源消耗、日志和系统调用序列等数据，以检测表明存在恶意代理的异常情况。他们还应该能够在没有管理员干预的情况下对攻击执行自动反应。我们描述了一个新的框架，完成这些要求，在欧洲核子研究中心的ALICE实验的概念实现的证明。我们展示了如何实现一个完全虚拟化的环境，通过隔离服务和作业来提高安全性，而不会对性能产生重大影响。我们还描述了一个收集的数据集机器学习为基础的入侵预防和检测系统的网格计算。该数据集由资源消耗度量（如CPU、RAM和网络流量）、来自操作系统服务的日志文件以及从ALICE Grid测试站点中运行的生产作业收集的系统调用数据和大量恶意软件组成。该恶意软件是从安全研究网站收集的。基于此数据集，我们将继续开发能够检测恶意作业的机器学习算法。
2017-04-16 cs.AI cs.CR cs.DC
Simulating the weak death of the neutron in a femtoscale universe with near-Exascale computing
被称为量子色动力学（QCD）的基本粒子理论决定了质子和中子的一切，从它们的内在属性到将它们结合成原子核的相互作用。无法通过实验完全解决的问题，例如中子寿命（其精确值对于使太阳发光和生命成为可能的光原子元素的存在很重要），可以通过QCD的数值解来理解。我们用格点规范理论直接求解QCD，并计算了中子寿命等核观测量。我们已经开发了一种改进的算法，指数减少的时间解决方案，并将其应用于新的珊瑚超级计算机，塞拉利昂和首脑会议。我们使用运行时自动调优来分配GPU资源，在低节点数下实现20%的性能。我们还通过作业管理器开发了最佳应用程序映射，允许CPU和GPU作业交错，当部署在CORAL的大部分区域时，可获得15%的峰值性能。
2018-10-10 cs.DC hep-lat nucl-th
Arhuaco: Deep Learning and Isolation Based Security for Distributed High-Throughput Computing
CERN（欧洲核子研究组织）；Goethe-University Frankfurt（法兰克福歌德大学）
网格计算系统需要创新的方法和工具来识别网络安全事件并执行自主操作，即无需管理员干预。它们还需要隔离和跟踪作业有效负载活动的方法，以保护用户并找到恶意行为的证据。我们引入了一种集成的安全监控方法，通过Linux容器和深度学习方法的隔离安全来分析在虚拟化高吞吐量计算基础设施内运行的网格作业中的实时的数据，以检测和防止入侵。描述了一种用于网格计算中恶意软件检测的数据集。此外，我们还展示了利用递归神经网络的生成方法来改进收集的数据集。我们提出了Arhuaco，所提出的方法的原型实现。我们实证研究我们的技术的性能。结果表明，Arhuaco的性能优于网格计算入侵检测系统中使用的其他方法。这项研究是在ALICE协作网格中进行的，ALICE协作网格是全球LHC计算网格的一部分。
2018-01-12 cs.CR cs.DC cs.LG
Intrusion Prevention and Detection in Grid Computing - The ALICE Case
Johann-Wolfgang-Goethe University（约翰·沃尔夫冈·歌德大学）
网格允许用户通过远程通信网络灵活地按需使用计算资源。高能物理网格（HEP）研究的一个显著例子是欧洲核子研究中心的ALICE实验。物理学家可以提交用于处理大型强子对撞机（LHC）产生的大量粒子碰撞数据的作业。电网面临着复杂的安全挑战。它们是寻求巨大计算资源的攻击者的有趣目标。由于用户可以在网格站点上的工作节点中执行任意代码，因此应该特别注意这种环境。需要自动化工具来强化和监控这种情况。目前，还没有针对这种需求的集成解决方案。本文描述了一种新的安全框架，允许在沙箱环境中执行作业负载。它还允许通过机器学习方法进行进程行为监控，以检测入侵，即使在新的攻击方法或零日漏洞被利用时也是如此。我们计划实施建议的框架作为一个软件原型，将作为一个组件的ALICE网格中间件进行测试。
2017-04-20 cs.AI cs.CR cs.DC
A Simulation Study for T0/T1 Data Replication and Production Activities
本文讨论了最新一代的MONARC（MOdels的网络分析在区域中心）的仿真框架，作为一个设计和建模工具，大规模分布式系统应用于HEP实验。网格体系结构的仿真对于未来网格系统的部署具有重要的意义，可以为用户提供合适的反馈。我们在这里提出了一个例子，模拟复杂的数据处理系统和框架的方式来优化整体网格体系结构和/或管理网格的使用的政策。
2011-06-25 cs.DC hep-ex
Power-Flexible AI Data Centers: A New Paradigm for Grid-Responsive Compute
Emerald AI；Electric Power Research Institute (EPRI)（电力研究研究院）；National Grid（国家电网）；NVIDIA；Oracle
本文提出将GPU集群作为电网交互式资产，通过软件编排实现负载快速削减、持续降载和碳感知运行，同时保持优先级任务服务水平，并实现跨地理集群的性能感知负载迁移。
2026-06-25 cs.AI cs.DC cs.PF
Evolution of HEP Processing Frameworks
HEP数据处理软件必须支持许多实验的不同物理需求。对于对撞机和中微子环境，HEP实验通常使用数据处理框架来管理其大规模数据处理需求的计算复杂性。数据处理框架在这十年面临着新的挑战。过去三十年来，网格站点上运行的都是同质的单核x86批处理作业，现在的计算环境已经发生了变化。框架现在必须在不同平台的异构混合物上工作：多核机器，不同的CPU架构和计算加速器;以及不同的计算站点：网格，云和高性能计算。我们更详细地描述了这些挑战，以及框架如何面对它们。鉴于其历史性的成功，框架将继续成为使HEP实验能够满足其计算需求的关键软件系统。框架在过去经受住了计算革命的考验;在HEP社区的支持下，它们将再次经受住考验
2022-03-16 cs.DC hep-ex physics.data-an
AI-focused HPC Data Centers Can Provide More Power Grid Flexibility and at Lower Cost
本研究首次分析聚焦AI的GPU型HPC数据中心的电网灵活性供给能力与成本，提出考虑计算价值的成本模型，经真实数据验证其灵活性更强、成本比通用HPC数据中心低50%，且具备盈利性与可扩展性。
2024-12-13 cs.DC cs.SY eess.SY
Resource Pricing In A Dynamic Multi-Commodity Market For Computational Resources
在用于计算基础设施（诸如网格和集群）的资源管理系统中采用基于市场的原则允许以效用最大化的方式匹配对资源的需求和供给。因此，与传统的以系统为中心的方法相比，它们提供了产生更有效的资源分配的承诺，传统的以系统为中心的方法不允许消费者和提供者表达他们对计算资源的估价。在本文中，我们研究了网格资源的定价，通过使用计算商品市场的CPU资源，资源价格是通过计算的供求平衡。特别是，我们介绍了几类CPU的特点是他们的执行速度。这些资源在成本和性能上有所不同，但在执行作业时可以互换使用，因此代表了所谓的可替代资源。我们调查的性能的算法计算的供需平衡，在这个多商品设置下动态变化的消费者和供应商的人口。
2010-03-17 cs.DC cs.GT cs.NI
