Status Report of the DPHEP Collaboration: A Global Effort for Sustainable Data Preservation in High Energy Physics
高能物理(HEP)实验的数据是通过大量的财政和人力努力收集的,并且大多是独一无二的。作为未来加速器国际委员会(ICFA)的一个小组,召集了一个关于HEP数据保存和长期分析的实验间研究小组。该小组由大型对撞机实验组成,并调查了HEP数据保存的技术和组织方面。2009年11月发布了一份中期报告,阐述了高等教育方案中数据保存的一般问题,并于2012年发布了一份扩展蓝图文件。2014年7月,由于七家大型资助机构签署了合作协议(其他机构已加入或正在收购),DPHEP合作成立,并于2015年6月举行了第一次DPHEP合作研讨会和合作委员会会议。这份关于DPHEP合作的现状报告详细介绍了2013年至2015年期间的进展。
2016-02-17 cs.DL hep-ex
Data Preservation at LEP
在1989年至2000年期间,四个LEP实验ALEPH、DELPHI、L3和OPAL成功地记录了e+e碰撞数据。作为高能物理中普通演化的一部分,这些实验不能重复,因此它们的数据是唯一的。本文简要回顾了四个实验在数据采集结束后所做的数据保存工作。总结了保存的数据和相关工具的现状。
2009-12-09 cs.DL hep-ex physics.data-an
Status Report of the DPHEP Study Group: Towards a Global Effort for Sustainable Data Preservation in High Energy Physics
高能物理(HEP)实验的数据是通过大量的财政和人力努力收集的,并且大多是独一无二的。作为未来加速器国际委员会(ICFA)的一个小组,召集了一个关于HEP数据保存和长期分析的实验间研究小组。该小组由大型对撞机实验组成,并研究了HEP数据保存的技术和组织方面。2009年11月发布了一份中期报告,讨论了高等教育方案中数据保存的一般问题。本文包括并扩展了中间报告。报告分析了数据保存的研究案例,并详细介绍了实验、实验室和国际各级的各种项目。此外,本文还对建立一个负责高能物理数据管理和政策的国际组织提出了具体建议。
2012-05-21 cs.DL hep-ex
A Validation Framework for the Long Term Preservation of High Energy Physics Data
高能物理数据保存研究小组DPHEP正在转向一个新的合作结构,该结构将侧重于实施保存项目,例如该小组2012年发表的大规模报告中所述的项目。其中一个项目是开发一个验证框架,尽可能长时间地检查不断发展的计算环境和技术与实验软件的兼容性,目的是大大延长分析软件的寿命,从而延长数据的可用性。该框架旨在针对计算环境的变化和升级以及实验软件本身的变化自动测试和验证实验的软件和数据。从技术上讲,这是通过一个能够托管多个虚拟机映像的框架来实现的,这些映像是用不同配置的操作系统和相关软件构建的,包括任何必要的外部依赖关系。
2013-10-29 hep-ex
First results from the PARSE.Insight project: HEP survey on data preservation, re-use and (open) access
在“数字时代”,人们对科学记录的保存和再利用问题越来越感兴趣。由欧盟委员会在第七框架计划下部分资助的PARSE.Insight项目有两个目的:评估科学成果数字保存领域的当前活动、趋势和风险,从原始数据到已发表的文章;为电子科学新兴电子基础设施的保存层设计提供信息。CERN作为PARSE.Insight联盟的合作伙伴,正在高能物理(HEP)社区内进行一项关于数据保存、再利用和(开放)访问的深入案例研究。HEP科学家的态度和关注的大规模调查的第一个结果。调查显示,人们普遍认为数据保存“非常重要”到“至关重要”。与此同时,它还突出表明,长期缺乏解决这一问题的资源和基础设施,以及在今后的分析中获取和理解保存的数据方面存在根深蒂固的关切。
2009-06-02 cs.DL hep-ex physics.data-an
Data and Analysis Preservation, Recasting, and Reinterpretation
我们提出了系统,可靠地保存事件数据,衍生数据产品和可执行分析代码的案例。这种保存使分析能够在未来长期重复使用,以最大限度地发挥公共资助的粒子物理实验的科学影响。我们涵盖了实验和理论粒子物理学社区的需求,并概述了分析重铸和重新解释所特有的目标和好处。我们还讨论了技术挑战和基础设施需求,以及社会学的挑战和变化,并向粒子物理界提出了总结建议。
2022-03-18 hep-ex hep-ph
The H1 Data Preservation Project
H1数据保存项目于2009年启动,是高能物理全球数据保存倡议(DPHEP)的一部分。为了保留未来改进的全部潜力,H1协作的目标是DPHEP建议的第4级,这需要完整的模拟和重建链以及为未来分析保留的数据。因此,H1项目的一个主要目标是提供对H1数据和分析软件的安全、长期和有效的访问,这是与DESY-IT合作使用虚拟化技术实现的。通过实现这样一个系统,它是希望从HERA的独特的ep碰撞数据的寿命将延长,提供新的分析在未来的可能性。数据和软件的保存是与数字和非数字文件的合并方案一起进行的,其中一些文件可追溯到1980年代初。2012年7月将采用H1协作的新组织模式,反映长期阶段的变化。
2012-06-22 cs.DL hep-ex physics.data-an
Analysis Preservation and Reproducibility in Collider Physics: An ADL/CutLang Implementation of ATLAS Open Data Analyses
Istanbul University(伊斯坦布尔大学);Boğaziçi University(博阿齐奇大学)
研究针对高能物理中分析保存和可重复性难题,利用分析描述语言ADL及CutLang运行时解释器,以人类可读形式表达物理对象和标准,无需翻译。在ATLAS开放数据框架中重新实现基准分析,结果验证该工作流程可靠性,并评估CutLang能力及给出发展方向。
2026-07-22 hep-ex
DPHEP: From Study Group to Collaboration
国际高能物理数据保存研究小组(DPHEP)在2012年取得了一个里程碑式的成就,发表了备受期待的大型报告,其中描述了所有主要的高能物理对撞机实验和实验室的数据保存活动。DPHEP将在2013年发展成为一个新的合作结构。该研究小组的成立进行了说明,以及一些关键信息的报告侧重于物理案例保存高能物理数据和不同的保存模型的描述。最后,新的合作的未来工作方向进行了概述。
2013-09-30 hep-ex
Data Preservation in High Energy Physics
本文基于DPHEP合作组织15年经验,探讨高能物理数据保存如何提升科学产出,重点关注利用历史数据(如HERA用于EIC)和长期使用LHC数据,并提出充分利用大型实验投资的建议。
2025-03-30 hep-ex
Enabling stable preservation of ML algorithms in high-energy physics with petrifyML
University of Glasgow(格拉斯哥大学);Jagiellonian University(亚捷隆大学)
提出petrifyML包,将HEP ML工具配置转换为ONNX或原生代码,确保算法行为稳定保存以支持科学可重复性。
2026-05-27 hep-ex hep-ph
Data Preservation in High Energy Physics
本文总结了高能物理领域数据保存的现状,基于十余年国际经验探讨了范式与方法论进展,介绍了大型对撞机实验数据保存的科学回报及长期分析能力建设,并提出了受开放科学和FAIR原则启发的通用解决方案与未来行动计划。
2023-09-09 hep-ex
The ZEUS long term data preservation project
ZEUS数据保存(ZEUS DP)项目确保持续访问与实验相关的数据和文件。它旨在提供在未来继续从这些数据中产生有价值的科学结果的能力。本次演讲介绍了ZEUS DP项目中的分析机会及其对物理界的好处。保存的数据的影响进行了讨论的背景下,当前的数据分析,当代和未来的理论模型的验证和未来的实验和分析的规划。关于数据保存工作的详细文档可以作为当前和未来实验中数据保存工作的示例。
2016-07-07 hep-ex physics.ins-det
Rivet and the analysis preservation in heavy-ion collisions experiments
实验数据和理论预测的比较对于我们理解强子碰撞中的相互作用和粒子产生机制是重要的,无论是在大型强子对撞机还是在相对论重离子对撞机实验中。人们设想了几种工具来帮助解决这个问题。Rivet(实验和理论的鲁棒独立验证)是一个框架,它有助于高能物理实验测量值与能够使用HepMC包产生输出的Monte Carlo事件发生器之间的比较。Rivet包含一个由实验开发的分析算法库,提供分析文档和保存。最近的发展特点的实施重离子碰撞分析,如中心确定,将在这方面的贡献,连同一些开放的点仍有待解决。
2023-01-06 hep-ex nucl-ex physics.data-an
Designing for Reproducibility: A Qualitative Study of Challenges and Opportunities in High Energy Physics
生殖问题应是科学研究的基石,也是科学界和公众日益关注的问题。为了最大限度地发挥科学研究的积极影响,需要了解如何设计支持文献、保存和共享的服务和工具。我们对支持高能物理数据保存的系统进行了一项用户态度研究,高能物理是科学中数据最密集的分支之一。我们报告我们的采访研究与12个实验物理学家,研究的要求和机会,在设计研究保存和再现性。我们的研究结果表明,我们需要设计的动机和好处,以刺激贡献,并解决观察到的可扩展性的挑战。因此,研究人员对沟通,不确定性,协作和自动化的态度需要在设计中得到反映。根据我们的研究结果,我们提出了一个系统的用户需求和限制,定义系统的设计空间,支持可重复的做法。
2019-03-14 cs.HC hep-ex
Data Preservation in High Energy Physics: Global Report 2026
Siena University(锡耶纳大学);CERN(欧洲核子研究组织);Max-Planck-Institut für Physik(马克斯·普朗克物理研究所);University of Glasgow(格拉斯哥大学);Institute of High Energy Physics(IHEP), CAS(中国科学院高能物理研究所);University of Birmingham(伯明翰大学);Czech Academy of Sciences, FZU(捷克科学院,费米实验室);CPPM, CNRS/IN2P3 and Aix-Marseille University(马赛地中海粒子物理中心,法国国家科学研究中心/法国国家原子能和替代能源委员会和艾克斯-马赛大学);Austrian Academy of Sciences(奥地利科学院);University of Victoria(维多利亚大学);DESY(德国电子同步加速器);University of Hamburg(汉堡大学);University of Tehran(德黑兰大学);University of Michigan(密歇根大学);University of Minnesota Duluth(明尼苏达大学德卢斯分校);Deggendorf Institute of Technology(德根多夫应用技术大学);Brown University(布朗大学);Paul Scherrer Institute PSI(保罗谢尔研究所);Helsinki Institute of Physics(赫尔辛基物理研究所);Brookhaven National Laboratory(布鲁克海文国家实验室)
该报告总结2026年DPHEP研讨会贡献,反映高能物理数据保存进展、挑战与趋势,包括遗留数据复兴、可持续性问题,创新项目进步,转向自动化,以及开放科学势头增强等情况。
2026-07-09 hep-ex
Preservation through modernisation: The software of the H1 experiment at HERA
HERA对撞机产生的轻子-质子碰撞代表了一个独特的高能物理数据集。碰撞结束若干年后,H1实验收集的数据以及模拟事件和重建、模拟和数据分析所需的所有软件都转入了DESY的保存运行模式。最近对H1软件架构进行了现代化改造,这不仅将通过新纳入的现代分析工具促进正在进行和未来的数据分析工作,而且还将确保H1数据和相关软件的长期可用性。讨论了H1软件栈、数据、模拟和当前支持的数据分析活动计算平台的现状。
2021-06-21 hep-ex
Recommendations for Best Practices for Data Preservation and Open Science in HEP
本研究在ICFA数据生命周期小组框架下提出高能物理数据保存与开放科学最佳实践建议,强调数据活跃使用期收集丰富信息以保障长期可用性,给出可操作且领域特定的行动及依赖关系,提供网络应用访问途径。
2025-08-26 hep-ex
Data preservation at the Fermilab Tevatron
费米实验室Tevatron对撞机的数据采集运行于2011年9月结束,产生了具有丰富科学潜力的数据集。CDF和D0实验都有大约9 PB的对撞机和存储在磁带上的模拟数据。费米实验室有一个大型的计算基础设施,包括磁带存储、磁盘缓存和分布式网格计算,用于Tevatron数据的物理分析。费米实验室运行II数据保存项目旨在保持这种分析能力持续到2020年及以后。为了实现这一目标,我们已经实施了一个系统,该系统利用虚拟化,自动验证和迁移到软件和数据存储技术的新标准,并利用费米实验室当前运行的实验中可用的资源。这些努力还提供了有益的经验教训,确保许多实验的长期数据访问,并使未来几年的高质量科学产出成为可能。
2017-01-26 hep-ex physics.ins-det
Data Preservation at MINERvA
在2013年至2019年期间,MINERvA收集了一个加速器中微子相互作用数据集,该数据集与DUNE的能量范围唯一相关。这些是目前唯一可用的数据,在中等和高动量转移的多个核目标在同一束。MINERvA正在开展一项活动,以保存这些数据并使其公开,以便在MINERvA合作结束后对其进行分析。我们鼓励社区考虑开发集中资源,以便整个HEP社区能够长期访问这些数据和分析工具。
2022-09-27 hep-ex
The case for preserving our knowledge and data in physics experiments
本程序涵盖了我们用于科学数据保存的工具和技术,并表明这扩展了我们实验的科学范围。将已完成的实验数据储存在我们国家和国际实验室的磁带档案中是具有成本效益的。这些特定于主题的数据存储还提供了以技术说明、电子日志、网站等形式捕获和存档实验知识的技术。此外,还可以存档我们的源代码和计算环境。该文件说明了这些挑战与长期保存LEP数据的经验。
2017-12-04 hep-ex physics.data-an
LEP Data@EDM4hep: mitigating data loss risks by increasing data FAIRness, with a view on FCC-ee
CERN(欧洲核子研究中心);University of Paris-Saclay(巴黎萨克雷大学);INFN, Bari(意大利国家核物理研究所巴里分部)
本文探讨了通过提升数据FAIR性以保障LEP数据长期可用性,并提出利用EDM4hep格式迁移数据,以支持FCC-ee实验的物理潜力评估。
2026-03-16 hep-ex
Making Digital Objects FAIR in High Energy Physics: An Implementation for Universal FeynRules Output (UFO) Models
高能物理(HEP)的数据密集型学科的研究往往依赖于特定领域的数字内容。研究成果的复制依赖于对这些数字对象的妥善保存。本文反映了在这种情况下的可查找性,可访问性,互操作性和可重用性(FAIR)的原则的解释,并通过描述一个端到端的支持基础设施的发展,维护和访问通用费恩规则输出(UFO)模型的指导下,FAIR原则,展示了其实施。UFO模型是HEP社区用于对撞机物理事件的蒙特卡罗模拟的定制Python库。我们的框架提供了简单但强大的工具来保存和访问UFO模型和相应的元数据按照公平的原则。
2023-03-16 hep-ex hep-ph
Reinterpretation and preservation of data and analyses in HEP
本文强调粒子物理实验数据的独特性与长期科学价值,指出合作组及学界必须发布并保存算法、统计信息、模拟与记录数据等关键信息,以确保其潜在影响得以实现,并呼吁将此作为未来设施与实验的战略优先事项进行规划与资源分配。
2025-03-31 hep-ex hep-ph