GridMonitor: Integration of Large Scale Facility Fabric Monitoring with Meta Data Service in Grid Environment
网格计算由协调使用大量不同的、地理上分布的资源来实现高性能计算组成。对这些计算资源的有效监控对于在网格上高效使用是极其重要的。网格中存在大量的异构计算实体，这使得网格计算具有很大的挑战性.在这项工作中，我们描述了一个网格监控系统，称为GridMonitor，捕获并提供最重要的信息，从一个大型计算设施。网格监控系统由本地监控、归档、发布和治理四个层次组成。该架构已应用于大规模的Linux农场和网络基础设施。它可以被许多更高级别的网格服务使用，包括调度服务和资源代理。
2003-06-13 cs.DC cs.PF
Evolution of HEP Processing Frameworks
HEP数据处理软件必须支持许多实验的不同物理需求。对于对撞机和中微子环境，HEP实验通常使用数据处理框架来管理其大规模数据处理需求的计算复杂性。数据处理框架在这十年面临着新的挑战。过去三十年来，网格站点上运行的都是同质的单核x86批处理作业，现在的计算环境已经发生了变化。框架现在必须在不同平台的异构混合物上工作：多核机器，不同的CPU架构和计算加速器;以及不同的计算站点：网格，云和高性能计算。我们更详细地描述了这些挑战，以及框架如何面对它们。鉴于其历史性的成功，框架将继续成为使HEP实验能够满足其计算需求的关键软件系统。框架在过去经受住了计算革命的考验;在HEP社区的支持下，它们将再次经受住考验
2022-03-16 cs.DC hep-ex physics.data-an
HEPCloud, a New Paradigm for HEP Facilities: CMS Amazon Web Services Investigation
历史上，高能物理计算已经在大型专用计算系统上执行。这些最初是单站点计算设施，但已经发展成为今天使用的分布式计算网格。最近，商业云的容量和能力呈指数级增长。云资源是高度虚拟化的，旨在能够灵活地部署用于各种计算任务。云计算提供商对展示执行大规模科学计算的能力越来越感兴趣。在本文中，我们讨论了使用Fermilab HEPCloud设施的CMS实验的结果，该设施利用了本地Fermilab资源和Amazon Web Services Elastic Compute Cloud中的虚拟机。我们将讨论在大规模虚拟化资源集上执行物理工作流所涉及的规划、技术挑战和经验教训。此外，我们还将讨论在云中和专用资源上执行工作流时的经济性和运营效率。
2017-09-29 cs.DC physics.comp-ph
An Overview of a Grid Architecture for Scientific Computing
本文概述了NorduGrid项目的网格测试平台架构建议。该项目的目的是建立一个北欧国家间的试验台设施，用于实施广域计算和数据处理。该体系结构应该定义一个网格系统，适用于解决在欧洲核子研究中心的大型强子对撞机的数据密集型问题。我们提出了这样一个系统所需的各种架构组件。之后，我们继续通过显示任务流来描述动态。
2002-05-14 cs.DC
HEPchain: Novel Proof-of-Useful-Work blockchain consensus for High Energy Physics
本文提出HEPchain区块链与新型Proof-of-Useful-Work共识，将高能物理所需Monte Carlo模拟转化为有用工作量，在保障链安全的同时补充WLCG和BOINC计算资源。
2023-01-25 cs.DC cs.GT
JClarens: A Java Framework for Developing and Deploying Web Services for Grid Computing
高能物理（High Energy Physics，HEP）和其他科学团体已经采用面向服务的体系结构（Service Oriented Architectures，SOA）作为更大的网格计算工作的一部分。这项工作涉及到将许多遗留应用程序和编程库集成到SOA框架中。网格分析环境（GAE）是一个基于Clarens网格服务框架的面向服务的体系结构，正在开发中，作为欧洲粒子物理实验室（CERN）大型强子对撞机（LHC）紧凑型μ子螺线管（CMS）实验的一部分。Clarens提供了一组授权、访问控制和发现服务，以及对所有已部署服务的XMLRPC和SOAP访问。Clarens Web Services Framework的两个实现（Python和Java）为广泛的程序设计语言提供了集成的可能性。本文描述了名为JClarens的Clarens Web服务框架的Java实现。以及科学界和网格社区感兴趣的几个Web服务，它们都是使用JClarens部署的。
2005-04-11 cs.DC
A Security Monitoring Framework For Virtualization Based HEP Infrastructures
Goethe-University Frankfurt（法兰克福歌德大学）；CERN（欧洲核子研究中心）
高能物理（HEP）分布式计算基础设施需要自动化工具来监控、分析潜在的安全事件并做出反应。这些工具应收集和检查资源消耗、日志和系统调用序列等数据，以检测表明存在恶意代理的异常情况。他们还应该能够在没有管理员干预的情况下对攻击执行自动反应。我们描述了一个新的框架，完成这些要求，在欧洲核子研究中心的ALICE实验的概念实现的证明。我们展示了如何实现一个完全虚拟化的环境，通过隔离服务和作业来提高安全性，而不会对性能产生重大影响。我们还描述了一个收集的数据集机器学习为基础的入侵预防和检测系统的网格计算。该数据集由资源消耗度量（如CPU、RAM和网络流量）、来自操作系统服务的日志文件以及从ALICE Grid测试站点中运行的生产作业收集的系统调用数据和大量恶意软件组成。该恶意软件是从安全研究网站收集的。基于此数据集，我们将继续开发能够检测恶意作业的机器学习算法。
2017-04-16 cs.AI cs.CR cs.DC
Data center cooling choices shift water impacts across the grid: An integrated water-energy model for sustainable data center development
University of Michigan（密歇根大学）
本研究提出一个数据中心-能源-水关联模型，揭示冷却技术选择改变水消耗的空间和时间分布，并以密歇根州为例证明风冷虽降低总水耗但增加间接消耗，强调综合评估的必要性。
2026-09-23 cs.CY cs.DC cs.SY
An energy-efficient scheduling algorithm for shared facility supercomputer centers
高性能计算的发展与能源消耗的增长有关。集群计算的性能（通过提高性能和使用的处理器、GPU和协处理器的数量来提高）。计算元件数量的增加导致能量消耗的显著增长。超级计算机中心（SCC）的电网限制正在推动向更节能的解决方案过渡。计算资源的升级通常是逐步完成的，即旧超级计算机的部分被从服务中删除，并被新的超级计算机取代。单个SCC在任何时候都可以操作具有不同性能和功耗的多个计算系统。这就是为什么在SCC资源上调度并行程序执行以优化能耗并最小化执行时间的增加（节能调度）的问题是重要的。所提出的工作的目标是在SCC调度计算资源的一个新的节能算法的发展。为了达到这一目标，作者分析了在共享设施中调度计算资源的方法，包括能量消耗最小化方法。该研究使得有可能制定一组CC的节能调度问题，并提出了一种算法，其解决方案。NPB基准测试的实验允许实现显着降低能耗与运行时间的小幅增加。
2021-11-17 cs.DC
Modeling Distributed Computing Infrastructures for HEP Applications
本文提出基于 SimGrid 和 WRENCH 的现代仿真工具，用于建模运行 HEP 工作负载的分布式异构基础设施，并通过 HEP 案例验证其准确性、可扩展性及架构改进方向。
2024-05-13 cs.DC hep-ex
Performance of an Operating High Energy Physics Data Grid: D0SAR-Grid
费米实验室Tevatron的D 0实验将在未来五年内记录数PB的数据，以追求理解自然和寻找质量起源的目标。分析这些数据所需的计算资源远远超过任何一个机构的能力。此外，D 0合作者的地理分布非常分散，给人力和计算资源的最佳利用带来了进一步的严重困难。这些困难将在未来的高能物理实验中加剧，比如LHC。计算网格一直被认为是解决这些问题的一种方法。通过在D 0南方分析区域（D 0 SAR）开发网格D 0 SAR-Grid，使用其中的所有可用资源和本地任务管理器McFarm，该技术正在D 0中为最终用户提供更直接的现实。我们将介绍D 0 SAR网格的实现架构，网格的技术和功能的使用，以及在模拟，再处理和数据分析中操作网格的经验，目前正在运行的HEP实验。
2005-01-31 cs.DC physics.data-an physics.ins-det
Future Computing Platforms for Science in a Power Constrained Era
功耗将是高能物理（HEP）使用的分布式高吞吐量计算（DHTC）未来增长的关键制约因素。这使得性能功耗比成为选择经济高效的计算解决方案的关键指标。在本文中，我们对市场上可用的当前和新兴架构进行了广泛的调查，包括x86-64变体，ARMv7 32位，ARMv 8 64位，众核和GPU解决方案，以及较新的片上系统（SoC）解决方案。我们使用一套不断发展的标准化HEP相关基准和我们一直在开发的功率测量技术来比较性能和能效。我们评估的DHTC系统，如全球大型强子对撞机计算网格（WLCG）的背景下使用这种计算解决方案的潜力。
2015-07-28 cs.DC hep-ex
Surrogate Modeling for Scalable Evaluation of Distributed Computing Systems for HEP Applications
KASTEL - Institute of Information Security and Dependability, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院 KASTEL 信息安全与可靠性研究所）；II. Institute of Physics, Georg-August Universität Göttingen（哥廷根大学物理第二研究所）；Institute of Experimental Particle Physics (ETP), Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院实验粒子物理研究所）
本文评估了三种机器学习模型作为分布式计算系统仿真代理，以解决传统模拟器在准确性与可扩展性间的权衡问题，实现快速且准确的计算作业核心观测量预测。
2025-10-13 cs.DC cs.PF hep-ex
Intrusion Prevention and Detection in Grid Computing - The ALICE Case
Johann-Wolfgang-Goethe University（约翰·沃尔夫冈·歌德大学）
网格允许用户通过远程通信网络灵活地按需使用计算资源。高能物理网格（HEP）研究的一个显著例子是欧洲核子研究中心的ALICE实验。物理学家可以提交用于处理大型强子对撞机（LHC）产生的大量粒子碰撞数据的作业。电网面临着复杂的安全挑战。它们是寻求巨大计算资源的攻击者的有趣目标。由于用户可以在网格站点上的工作节点中执行任意代码，因此应该特别注意这种环境。需要自动化工具来强化和监控这种情况。目前，还没有针对这种需求的集成解决方案。本文描述了一种新的安全框架，允许在沙箱环境中执行作业负载。它还允许通过机器学习方法进行进程行为监控，以检测入侵，即使在新的攻击方法或零日漏洞被利用时也是如此。我们计划实施建议的框架作为一个软件原型，将作为一个组件的ALICE网格中间件进行测试。
2017-04-20 cs.AI cs.CR cs.DC
The TAAROA Project Specification
自从引入以来，网格计算范式在科学和工业领域都得到了广泛的采用。网格计算范例的主要优点是能够以透明的方式共享和协调属于不同机构域的多个异构和大规模分布式资源。其局限性之一是缺乏执行服务的设施。事实上，网格计算在传统上一直被用于运行计算密集型或数据密集型应用程序。服务与这类应用程序的不同之处在于，它通常等待来自客户端的请求并回复有用的信息;此外，服务通常受到一些预定义的约束，称为服务级别协议（SLA），包括时间和性能限制。在本文中，我们提出了TAAROA中间件，软件系统，试图扩展传统的目标的网格计算范例，包括服务的概念。它试图通过使用虚拟化技术来实现其目标。通过抽象计算机的硬件和软件资源，虚拟化为TAAROA带来了两个重要的好处：（1）服务运行时环境的封装，以及（2）通过迁移工具，将服务从运行它的计算机移动到另一台计算机的可能性，这有望降低违反某些SLA约束的风险。在当前版本的TAAROA中间件中，没有明确的机制来实现相关SLA定义的服务级别;这意味着实际上TAAROA只能提供尽力而为的服务。
2018-12-23 cs.DC
Bit2Watt: A Cyber-Physical Vulnerability Exploiting GPU Workloads Across Power and Computing Infrastructures
Zhejiang University（浙江大学）
研究揭示利用GPU工作负载的网络物理漏洞Bit2Watt，攻击者借此引发高频功率调制破坏电力及计算设施。通过多种实验验证，此漏洞会致电力质量下降、引发连锁故障等，还分析了反馈路径风险，强调跨层防御的迫切性。
2026-07-08 cs.AR cs.CR cs.DC
Power-aware applications for scientific cluster and distributed computing
计算硬件的总功率使用是科学集群和分布式计算系统中的重要成本因素。全球大型强子对撞机计算网格（WLCG）是这种分布式计算系统的一个主要例子，主要用于高吞吐量计算（HTC）应用。它的计算能力和功耗可与最大的超级计算机相媲美。预计该系统所需的计算能力在今后十年也将增长。因此，优化这种系统的功率利用和成本是非常有意义的。目前正在进行的许多趋势将为功耗感知优化提供新的机会。我们将讨论如何使用功率感知软件应用程序和调度来降低功耗，无论是作为自治实体还是作为（全局）分布式系统的一部分。作为计算中心的具体示例，我们提供了FNAL的大型HEP重点Tier-1和普林斯顿大学的Tigress高性能计算中心的信息，该中心在大学环境中提供HPC资源。
2014-10-22 cs.DC hep-ex physics.comp-ph
