FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond
University of Bristol(布里斯托大学)
FAST-HEP的Flow引擎将声明式工作流语言、编译器与运行时结合,编译生成与后端无关的执行计划,支持模块化替换与溯源记录,为高能物理及其他领域提供透明可重复的工作流基础。
2026-08-20 hep-ex physics.comp-ph
MLaaS4HEP: Machine Learning as a Service for HEP
机器学习(ML)将在CERN即将推出的高亮度LHC(HL-LHC)计划的成功中发挥重要作用。在未来十年中,LHC实验将收集前所未有的大量数据,这将需要新的方法来训练和使用ML模型。在本文中,我们讨论了HEP的机器学习即服务管道(MLaaS 4 HEP),它提供了三个独立的层:数据流层,用于以本地ROOT数据格式读取高能物理(HEP)数据;数据训练层,用于使用分布式ROOT文件训练ML模型;数据推理层,用于通过HTTP协议使用预先训练的ML模型进行预测。这种模块化设计开辟了通过从远程存储设施(例如,全球LHC计算网格(WLCG)基础设施)读取ROOT文件来大规模训练数据的可能性,并将数据馈送到用户喜爱的ML框架。作为TensorFlow即服务(TFaaS)实现的推理层可以提供对HEP域内部或外部的现有基础设施和应用程序中的预训练ML模型的轻松访问。特别是,我们证明了使用的MLaaS 4 HEP架构的物理用例,即最初使用定制的Ntuples进行CMS中的$t\bar{t}$希格斯分析。我们提供了使用分布式ROOT文件训练ML模型的详细信息,讨论了MLaaS和TFaaS方法用于选定物理分析的性能,并将结果与传统方法进行了比较。
2020-12-10 hep-ex physics.comp-ph
Extending DIRAC File Management with Erasure-Coding for efficient storage
网格式数据管理的最新技术水平是通过跨多个存储端点的数据文件的多个完整副本来实现数据的增强弹性。虽然这是有效的,但它并不是最节省空间的恢复方法,特别是当单个存储端点的可靠性足够高时,只有少数端点在任何时间点都处于非活动状态。我们报告的工作进行的一部分,GridPP \cite{GridPP},扩展狄拉克文件目录和文件管理接口,允许放置擦除编码的文件:每个文件分布为N个相同大小的数据块条纹在一个向量的存储端点,编码,使任何M块可以丢失,原始文件可以重建。开发的工具对用户是透明的,并且,以及允许数据上传和下载到网格存储,还提供了一次并行访问所有分布式块的可能性,提高数据传输和IO性能。我们预计这种方法对较小的VO最感兴趣,因为它们对可用存储的限制更严格,但较大的(WLCG)VO可能会感兴趣,因为它们的总数据在运行2期间增加。我们提供了该方法的成本和效益分析,以及该领域的未来发展和实施计划。一般来说,多个文件传输的开销是目前这种方法竞争力的最大问题。
2015-10-30 cs.DC hep-ex
Exploring Object Stores for High-Energy Physics Data Storage
在过去的二十年里,ROOT TTree已被用于存储超过1 EB的高能物理(HEP)事件。已经证明,TTree列式磁盘布局对于通常需要访问许多事件但仅访问为每个事件存储的信息的子集的HEP数据的分析是理想的。未来的对撞机,特别是HL-LHC,将使生成的数据量增加至少一个数量级。因此,使用现代存储硬件,如低延迟高带宽NVMe设备和分布式对象存储变得更加重要。然而,TTree并没有被设计成最佳地利用现代硬件,并且可能成为数据检索的瓶颈。ROOT RNTuple I/O系统旨在克服TTree的局限性,并为现代存储系统提供更高的效率。在本文中,我们通过使用英特尔DAOS作为底层存储的后端来扩展RNTuple,从而证明RNTuple架构可以容纳高性能的对象存储。从用户的角度来看,只需对代码进行最小的更改就可以访问数据,也就是说,通过用DAOS URI替换文件系统路径。我们的性能评估表明,新的后端可以用于现实的分析,同时优于DAOS项目提供的兼容性解决方案。
2021-07-15 cs.DB hep-ex
The Critical Importance of Software for HEP
本文针对高能物理未来实验数据增长带来的计算资源压力,指出软件与计算投入的关键作用,介绍AI、ML及新型硬件应用趋势,并更新了EPPSU软件与计算路线图,聚焦数据处理链的资源关键环节。
2025-06-12 hep-ex physics.comp-ph
Snowmass 2013 Computing Frontier: Networking
计算已经成为所有粒子物理实验和理论粒子物理学许多领域的主要组成部分。HEP实验和理论的进展将需要更多的计算,软件开发,存储和网络,不同的项目以不同的方式扩展未来的能力。然而,在HEP中的不同区域之间存在许多共同需求,因此建议更多的社区规划以提高效率。仔细和持续审查我们研究的主题,即,用户的需求和能力的当前和未来的技术,是需要的。
2013-11-11 hep-ex
BOA Constrictor: A Mamba-based lossless compressor for High Energy Physics data
University of Manchester(曼彻斯特大学)
针对高能物理实验PB级数据存储挑战,提出基于Mamba架构的字节级在线自回归无损压缩器BOA Constrictor,结合自回归Mamba模型与并行流范围编码器,在三个HEP数据集上压缩比优于LZMA-9,模型仅4.5MB,但吞吐量需进一步优化。
2025-11-14 hep-ex physics.comp-ph
Any Data, Any Time, Anywhere: Global Data Access for Science
数据访问是分布式高吞吐量计算(DHTC)驱动的科学的关键,DHTC是许多重大研究项目(如高能物理(HEP)实验)的关键技术。然而,当涉及许多独立的存储站点时,实现有效的数据访问变得相当困难,因为用户需要学习访问每个系统的复杂性并仔细跟踪数据位置。我们提出了一种替代方法:任何数据,任何时间,任何地方的基础设施。结合几个现有的软件产品,AAA提供了一个全球性的,统一的存储系统视图-一个“数据联合”,一个用于软件交付的全球文件系统,以及一个工作流管理系统。我们介绍了如何一个HEP实验,紧凑μ子螺线管(CMS),是利用AAA的基础设施和一些简单的性能指标。
2015-08-06 cs.DC hep-ex physics.comp-ph
First results from the PARSE.Insight project: HEP survey on data preservation, re-use and (open) access
在“数字时代”,人们对科学记录的保存和再利用问题越来越感兴趣。由欧盟委员会在第七框架计划下部分资助的PARSE.Insight项目有两个目的:评估科学成果数字保存领域的当前活动、趋势和风险,从原始数据到已发表的文章;为电子科学新兴电子基础设施的保存层设计提供信息。CERN作为PARSE.Insight联盟的合作伙伴,正在高能物理(HEP)社区内进行一项关于数据保存、再利用和(开放)访问的深入案例研究。HEP科学家的态度和关注的大规模调查的第一个结果。调查显示,人们普遍认为数据保存“非常重要”到“至关重要”。与此同时,它还突出表明,长期缺乏解决这一问题的资源和基础设施,以及在今后的分析中获取和理解保存的数据方面存在根深蒂固的关切。
2009-06-02 cs.DL hep-ex physics.data-an
Quantum Associative Memory in HEP Track Pattern Recognition
我们已经进入了嘈杂的中间尺度量子时代。大量的量子处理器原型允许评估量子计算范例在未来紧迫的计算问题的应用中的潜力。在高能LHC(2030年代)实验中预见到的不断增长的数据输入速率和探测器分辨率暴露了经典算法通常很高的时间和/或空间复杂性。在这种情况下,量子算法有可能成为复杂度较低的替代方案。在这项工作中,我们讨论了潜在的量子联想记忆(QuAM)的背景下,大型强子对撞机的数据触发。我们研究的实际限制的存储容量,以及存储和召回无误的效率,从国家的最先进的IBM量子处理器和大型强子对撞机实时带电轨道模式识别的要求。我们提出了一个软件原型实现的QuAM协议和分析的拓扑限制,最简单的QuAM实例移植到公共IBM 5 Q和14 Q基于云的超导芯片。
2019-03-16 hep-ex quant-ph
IRIS-HEP Strategic Plan for the Next Phase of Software Upgrades for HL-LHC Physics
探索自然的基本组成部分及其相互作用是人类最古老和最雄心勃勃的科学努力之一。欧洲核子研究中心的大型强子对撞机(LHC)代表了这一探索的巨大进步。希格斯玻色子的发现,$B$介子极其罕见的衰变的观测,以及对许多超越标准模型(SM)的可行物理理论的严格限制,都证明了大型强子对撞机物理计划的巨大科学价值。这个全球科学项目的下一阶段将是高亮度LHC(HL-LHC),它将从2029年开始收集数据,并持续到2030年代。主要的科学目标是寻找超越SM的物理学,如果它被发现,研究它的影响。在HL-LHC时代,ATLAS和CMS实验将记录大约100倍于发现希格斯玻色子所用的碰撞次数(以及两倍的能量)。美国国家科学基金会和能源部都在进行大规模的探测器升级投资,以便HL-LHC能够在这种高速率环境中运行。对用于获取、管理、处理和分析HL-LHC数据的软件研发的类似投资对于最大化升级加速器和探测器的投资回报至关重要。本报告提出了高能物理软件研究与创新研究所(IRIS-HEP)可能的第二个5年资助阶段(2023年至2028年)的战略计划,该计划将缩小剩余的软件和计算差距,以提供HL-LHC科学。
2023-02-02 hep-ex physics.acc-ph physics.comp-ph
Optimization of multi-gigabit transceivers for high speed data communication links in HEP Experiments
高能物理(HEP)实验中的数据采集(DAQ)架构的方案包括从在线探测器的前端电子器件(FEE)到读出单元(RU)的数据传输,读出单元(RU)执行数据的在线处理,然后到数据存储器用于离线分析。随着欧洲核子研究中心大型强子对撞机(LHC)实验的重大升级,DAQ系统中的数据传输速率预计将在未来几年内达到几TB/秒。这些高速率通常与高频损耗的增加相关联,这导致检测到的信号失真和信号完整性的劣化。为了解决这个问题,我们已经开发了一种优化技术的多千兆位收发器(MGT),并实现了它的国家的最先进的20纳米Arria-10 FPGA由英特尔公司生产。该设置已针对三种可用的高速数据传输协议进行了验证,即GBT,TTC-PON和10 Gbps以太网。信号完整性的改善通过两个指标来衡量,即误码率(BER)和眼图。据观察,该技术提高了信号的完整性,降低了误码率。的测试结果和改进的信号完整性的指标,不同的链路速度的介绍和讨论。
2019-01-09 hep-ex physics.ins-det
HEP Benchmark Suite: Enhancing Efficiency and Sustainability in Worldwide LHC Computing Infrastructures
本文提出 HEP Benchmark suite,通过整合 HEPScore23 及功耗等指标,统一测量全球 LHC 计算网格站点性能,有效建立资源利用标准化模型并定位异常,推动兼顾性能与环保的负责任计算实践。
2024-08-22 hep-ex
Potential of the Julia programming language for high energy physics computing
针对高能物理计算对性能与编程效率的双重需求,本文探讨了兼具高级编程与高性能的Julia语言在高能物理领域的适用性,分析了多维度关键特性,指出其大规模应用将使领域受益,并明确了需巩固的专属基础库。
2023-10-06 cs.PL hep-ex hep-ph
Celeritas: GPU-accelerated particle transport for detector simulation in High Energy Physics experiments
在未来十年内,实验高能物理(HEP)将通过粒子物理项目优先级小组(P5)推荐的一系列有针对性的计划进入科学发现的新时代,包括即将到来的高亮度大型强子对撞机(LHC)HL-LHC升级和深层地下中微子实验(DUNE)。在能量和强度前沿的这些努力将需要在包括蒙特卡罗(MC)探测器模拟在内的许多方面前所未有的计算能力。为了缓解这一即将到来的计算瓶颈,Atomitas MC粒子传输代码旨在利用新一代异构计算机架构,包括美国能源部(DOE)领导计算设施(LCF)的exascale计算能力,以Geant 4的全保真度对目标HEP检测器问题进行建模。本文介绍了计划中的路线图,包括其拟议的代码架构,物理功能,以及将其与现有和未来的实验HEP计算工作流程集成的策略。
2022-03-22 hep-ex physics.data-an
FuncADL: Functional Analysis Description Language
HEP分析软件中的传统方法是通过ROOT框架循环每个事件和每个对象。此方法遵循命令式范例,其中代码与存储格式和执行步骤绑定。更理想的策略是实现声明性语言,这样存储介质和执行就不包括在抽象模型中。这对于管理LHC和HL-LHC收集的大型数据集将变得越来越重要。一种新的分析描述语言(ADL)的灵感来自函数式编程,FuncADL,使用Python作为主机语言开发。这种语言的表现力进行了测试,通过实施示例分析任务,旨在基准的ADL的功能。许多简单的选择都可以用FuncADL以声明的方式表达,它可以用作检索过滤数据的接口。一些限制被确定,但语言的设计允许未来的扩展添加缺失的功能。FuncADL是由高能物理软件研究与创新研究所(IRIS-HEP)开发的一套分析软件工具的一部分。这些工具将可用于为LHC开发高度可扩展的物理分析。
2021-06-22 hep-ex physics.data-an
Enabling stable preservation of ML algorithms in high-energy physics with petrifyML
University of Glasgow(格拉斯哥大学);Jagiellonian University(亚捷隆大学)
提出petrifyML包,将HEP ML工具配置转换为ONNX或原生代码,确保算法行为稳定保存以支持科学可重复性。
2026-05-27 hep-ex hep-ph