Data Preservation and Long Term Analysis in High Energy Physics
高能物理数据是一项长期投资，包含超出合作寿命的物理结果的潜力。许多现有的实验正在结束他们的物理程序，并寻找方法来保护他们的数据遗产。保存高能物理数据和数据分析结构是一项挑战，过去的经验表明，如果没有充分的规划和资源，可能会很困难。现已成立一个研究小组，为今后的此类数据保存工作提供指导方针。2009年1月在环境和社会安全部举办的一次研讨会上确定了需要调查的关键领域，随后将于2009年5月在SLAC举办一次研讨会。更多信息请访问http://dphep.org
2009-07-09 cs.DL hep-ex physics.data-an
A Validation Framework for the Long Term Preservation of High Energy Physics Data
高能物理数据保存研究小组DPHEP正在转向一个新的合作结构，该结构将侧重于实施保存项目，例如该小组2012年发表的大规模报告中所述的项目。其中一个项目是开发一个验证框架，尽可能长时间地检查不断发展的计算环境和技术与实验软件的兼容性，目的是大大延长分析软件的寿命，从而延长数据的可用性。该框架旨在针对计算环境的变化和升级以及实验软件本身的变化自动测试和验证实验的软件和数据。从技术上讲，这是通过一个能够托管多个虚拟机映像的框架来实现的，这些映像是用不同配置的操作系统和相关软件构建的，包括任何必要的外部依赖关系。
2013-10-29 hep-ex
Data Preservation in High Energy Physics
本文基于DPHEP合作组织15年经验，探讨高能物理数据保存如何提升科学产出，重点关注利用历史数据（如HERA用于EIC）和长期使用LHC数据，并提出充分利用大型实验投资的建议。
2025-03-30 hep-ex
Data Preservation in High Energy Physics: Global Report 2026
Siena University（锡耶纳大学）；CERN（欧洲核子研究组织）；Max-Planck-Institut für Physik（马克斯·普朗克物理研究所）；University of Glasgow（格拉斯哥大学）；Institute of High Energy Physics(IHEP), CAS（中国科学院高能物理研究所）；University of Birmingham（伯明翰大学）；Czech Academy of Sciences, FZU（捷克科学院，费米实验室）；CPPM, CNRS/IN2P3 and Aix-Marseille University（马赛地中海粒子物理中心，法国国家科学研究中心/法国国家原子能和替代能源委员会和艾克斯-马赛大学）；Austrian Academy of Sciences（奥地利科学院）；University of Victoria（维多利亚大学）；DESY（德国电子同步加速器）；University of Hamburg（汉堡大学）；University of Tehran（德黑兰大学）；University of Michigan（密歇根大学）；University of Minnesota Duluth（明尼苏达大学德卢斯分校）；Deggendorf Institute of Technology（德根多夫应用技术大学）；Brown University（布朗大学）；Paul Scherrer Institute PSI（保罗谢尔研究所）；Helsinki Institute of Physics（赫尔辛基物理研究所）；Brookhaven National Laboratory（布鲁克海文国家实验室）
该报告总结2026年DPHEP研讨会贡献，反映高能物理数据保存进展、挑战与趋势，包括遗留数据复兴、可持续性问题，创新项目进步，转向自动化，以及开放科学势头增强等情况。
2026-07-09 hep-ex
Data Preservation and Long Term Analysis in High Energy Physics
在各种设施进行的几项重要而独特的高能物理实验计划即将结束，包括HERA、B工厂和Tevatron的计划。从这些实验中获得的丰富的物理数据是巨大的财力和人力投入的结果，但直到最近，还没有一致的数据保存和再利用策略。为了解决这个问题，2008年底召集了一个关于高能物理数据保存和长期分析的实验间研究小组，并于2009年发表了一份中期报告。研究小组的成员已经扩大，包括增加了LHC实验，现在已经发布了一份完整的状态报告。这份报告大大扩展了原始出版物中包含的想法，并提供了一套更可靠的建议，不仅涉及数据保存及其在高能物理中的实施，而且还涉及研究小组的未来方向和组织模式。该报告的主要信息首次在2012年高能与核物理计算国际会议上提出，并在这些会议记录中进行了总结。
2012-06-22 cs.DL hep-ex
Data Preservation in High Energy Physics
高能物理（HEP）实验的数据是通过大量的财政和人力努力收集的，并且大多是独一无二的。与此同时，HEP没有一致的数据保存和重用策略。2008年底，召开了一个关于HEP数据保存和长期分析的实验间研究小组会议，并在DESY（2009年1月）和SLAC（2009年5月）举办了两次研讨会。本文件是向未来加速器国际委员会（ICFA）提交的关于该研究组思考的中期报告。
2009-12-01 cs.DL hep-ex physics.data-an
Data Preservation in High Energy Physics - why, how and when?
长期保存高能物理学大型实验和探测器的数据和软件，对于确保（大多数是唯一的）数据的遗产和允许以后进行高级物理学（重新）分析至关重要。总结国际研究小组的工作，动机，用例和技术细节，为有组织的努力，以确保和使未来使用过去，现在和未来的实验数据。作为一个实际的应用案例和动机，JADE数据的恢复和相应的测量$α_s$在NNLO QCD的最新结果进行了评论。
2010-09-20 cs.DL hep-ex physics.data-an
Analysis Preservation and Reproducibility in Collider Physics: An ADL/CutLang Implementation of ATLAS Open Data Analyses
Istanbul University（伊斯坦布尔大学）；Boğaziçi University（博阿齐奇大学）
研究针对高能物理中分析保存和可重复性难题，利用分析描述语言ADL及CutLang运行时解释器，以人类可读形式表达物理对象和标准，无需翻译。在ATLAS开放数据框架中重新实现基准分析，结果验证该工作流程可靠性，并评估CutLang能力及给出发展方向。
2026-07-22 hep-ex
Data Preservation at LEP
在1989年至2000年期间，四个LEP实验ALEPH、DELPHI、L3和OPAL成功地记录了e+e碰撞数据。作为高能物理中普通演化的一部分，这些实验不能重复，因此它们的数据是唯一的。本文简要回顾了四个实验在数据采集结束后所做的数据保存工作。总结了保存的数据和相关工具的现状。
2009-12-09 cs.DL hep-ex physics.data-an
Data Preservation in High Energy Physics
本文总结了高能物理领域数据保存的现状，基于十余年国际经验探讨了范式与方法论进展，介绍了大型对撞机实验数据保存的科学回报及长期分析能力建设，并提出了受开放科学和FAIR原则启发的通用解决方案与未来行动计划。
2023-09-09 hep-ex
First results from the PARSE.Insight project: HEP survey on data preservation, re-use and (open) access
在“数字时代”，人们对科学记录的保存和再利用问题越来越感兴趣。由欧盟委员会在第七框架计划下部分资助的PARSE.Insight项目有两个目的：评估科学成果数字保存领域的当前活动、趋势和风险，从原始数据到已发表的文章;为电子科学新兴电子基础设施的保存层设计提供信息。CERN作为PARSE.Insight联盟的合作伙伴，正在高能物理（HEP）社区内进行一项关于数据保存、再利用和（开放）访问的深入案例研究。HEP科学家的态度和关注的大规模调查的第一个结果。调查显示，人们普遍认为数据保存“非常重要”到“至关重要”。与此同时，它还突出表明，长期缺乏解决这一问题的资源和基础设施，以及在今后的分析中获取和理解保存的数据方面存在根深蒂固的关切。
2009-06-02 cs.DL hep-ex physics.data-an
Data and Analysis Preservation, Recasting, and Reinterpretation
我们提出了系统，可靠地保存事件数据，衍生数据产品和可执行分析代码的案例。这种保存使分析能够在未来长期重复使用，以最大限度地发挥公共资助的粒子物理实验的科学影响。我们涵盖了实验和理论粒子物理学社区的需求，并概述了分析重铸和重新解释所特有的目标和好处。我们还讨论了技术挑战和基础设施需求，以及社会学的挑战和变化，并向粒子物理界提出了总结建议。
2022-03-18 hep-ex hep-ph
Enabling stable preservation of ML algorithms in high-energy physics with petrifyML
University of Glasgow（格拉斯哥大学）；Jagiellonian University（亚捷隆大学）
提出petrifyML包，将HEP ML工具配置转换为ONNX或原生代码，确保算法行为稳定保存以支持科学可重复性。
2026-05-27 hep-ex hep-ph
The ZEUS long term data preservation project
ZEUS数据保存（ZEUS DP）项目确保持续访问与实验相关的数据和文件。它旨在提供在未来继续从这些数据中产生有价值的科学结果的能力。本次演讲介绍了ZEUS DP项目中的分析机会及其对物理界的好处。保存的数据的影响进行了讨论的背景下，当前的数据分析，当代和未来的理论模型的验证和未来的实验和分析的规划。关于数据保存工作的详细文档可以作为当前和未来实验中数据保存工作的示例。
2016-07-07 hep-ex physics.ins-det
Preservation through modernisation: The software of the H1 experiment at HERA
HERA对撞机产生的轻子-质子碰撞代表了一个独特的高能物理数据集。碰撞结束若干年后，H1实验收集的数据以及模拟事件和重建、模拟和数据分析所需的所有软件都转入了DESY的保存运行模式。最近对H1软件架构进行了现代化改造，这不仅将通过新纳入的现代分析工具促进正在进行和未来的数据分析工作，而且还将确保H1数据和相关软件的长期可用性。讨论了H1软件栈、数据、模拟和当前支持的数据分析活动计算平台的现状。
2021-06-21 hep-ex
Designing for Reproducibility: A Qualitative Study of Challenges and Opportunities in High Energy Physics
生殖问题应是科学研究的基石，也是科学界和公众日益关注的问题。为了最大限度地发挥科学研究的积极影响，需要了解如何设计支持文献、保存和共享的服务和工具。我们对支持高能物理数据保存的系统进行了一项用户态度研究，高能物理是科学中数据最密集的分支之一。我们报告我们的采访研究与12个实验物理学家，研究的要求和机会，在设计研究保存和再现性。我们的研究结果表明，我们需要设计的动机和好处，以刺激贡献，并解决观察到的可扩展性的挑战。因此，研究人员对沟通，不确定性，协作和自动化的态度需要在设计中得到反映。根据我们的研究结果，我们提出了一个系统的用户需求和限制，定义系统的设计空间，支持可重复的做法。
2019-03-14 cs.HC hep-ex
Recommendations for Best Practices for Data Preservation and Open Science in HEP
本研究在ICFA数据生命周期小组框架下提出高能物理数据保存与开放科学最佳实践建议，强调数据活跃使用期收集丰富信息以保障长期可用性，给出可操作且领域特定的行动及依赖关系，提供网络应用访问途径。
2025-08-26 hep-ex
Rivet and the analysis preservation in heavy-ion collisions experiments
实验数据和理论预测的比较对于我们理解强子碰撞中的相互作用和粒子产生机制是重要的，无论是在大型强子对撞机还是在相对论重离子对撞机实验中。人们设想了几种工具来帮助解决这个问题。Rivet（实验和理论的鲁棒独立验证）是一个框架，它有助于高能物理实验测量值与能够使用HepMC包产生输出的Monte Carlo事件发生器之间的比较。Rivet包含一个由实验开发的分析算法库，提供分析文档和保存。最近的发展特点的实施重离子碰撞分析，如中心确定，将在这方面的贡献，连同一些开放的点仍有待解决。
2023-01-06 hep-ex nucl-ex physics.data-an
Data preservation at the Fermilab Tevatron
费米实验室Tevatron对撞机的数据采集运行于2011年9月结束，产生了具有丰富科学潜力的数据集。CDF和D0实验都有大约9 PB的对撞机和存储在磁带上的模拟数据。费米实验室有一个大型的计算基础设施，包括磁带存储、磁盘缓存和分布式网格计算，用于Tevatron数据的物理分析。费米实验室运行II数据保存项目旨在保持这种分析能力持续到2020年及以后。为了实现这一目标，我们已经实施了一个系统，该系统利用虚拟化，自动验证和迁移到软件和数据存储技术的新标准，并利用费米实验室当前运行的实验中可用的资源。这些努力还提供了有益的经验教训，确保许多实验的长期数据访问，并使未来几年的高质量科学产出成为可能。
2017-01-26 hep-ex physics.ins-det
LEP Data@EDM4hep: mitigating data loss risks by increasing data FAIRness, with a view on FCC-ee
CERN（欧洲核子研究中心）；University of Paris-Saclay（巴黎萨克雷大学）；INFN, Bari（意大利国家核物理研究所巴里分部）
本文探讨了通过提升数据FAIR性以保障LEP数据长期可用性，并提出利用EDM4hep格式迁移数据，以支持FCC-ee实验的物理潜力评估。
2026-03-16 hep-ex
The case for preserving our knowledge and data in physics experiments
本程序涵盖了我们用于科学数据保存的工具和技术，并表明这扩展了我们实验的科学范围。将已完成的实验数据储存在我们国家和国际实验室的磁带档案中是具有成本效益的。这些特定于主题的数据存储还提供了以技术说明、电子日志、网站等形式捕获和存档实验知识的技术。此外，还可以存档我们的源代码和计算环境。该文件说明了这些挑战与长期保存LEP数据的经验。
2017-12-04 hep-ex physics.data-an
Making Digital Objects FAIR in High Energy Physics: An Implementation for Universal FeynRules Output (UFO) Models
高能物理（HEP）的数据密集型学科的研究往往依赖于特定领域的数字内容。研究成果的复制依赖于对这些数字对象的妥善保存。本文反映了在这种情况下的可查找性，可访问性，互操作性和可重用性（FAIR）的原则的解释，并通过描述一个端到端的支持基础设施的发展，维护和访问通用费恩规则输出（UFO）模型的指导下，FAIR原则，展示了其实施。UFO模型是HEP社区用于对撞机物理事件的蒙特卡罗模拟的定制Python库。我们的框架提供了简单但强大的工具来保存和访问UFO模型和相应的元数据按照公平的原则。
2023-03-16 hep-ex hep-ph
Reinterpretation and preservation of data and analyses in HEP
本文强调粒子物理实验数据的独特性与长期科学价值，指出合作组及学界必须发布并保存算法、统计信息、模拟与记录数据等关键信息，以确保其潜在影响得以实现，并呼吁将此作为未来设施与实验的战略优先事项进行规划与资源分配。
2025-03-31 hep-ex hep-ph
Les Houches guide to reusable ML models in LHC analyses
针对机器学习在高能物理分析中应用增加后可复用模型发布的关键问题，本文讨论现状、实际挑战及确保可信分析保存的技术与战略方法，材料源自 LHC 相关论坛及研讨会讨论。
2024-09-11 hep-ex hep-ph
Snowmass 2013 Computing Frontier Storage and Data Management
综述了能量前沿、强度前沿、宇宙前沿、格点场论、微扰QCD和加速器科学的数据存储和数据管理需求。然后概述了数据存储技术和成本的前景，然后总结了数据，软件和物理分析能力保存的现状。HEP的前景进行了总结，指出未来的数据量可能会对什么是技术和财务上可行的应变。最后提出了特别注意和行动领域的建议。
2013-11-18 hep-ex physics.comp-ph
Training on Data Analysis Reproducibility via Containerization with Apptainer
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Manitoba（曼尼托巴大学）；Adelaide University（阿德莱德大学）；University of Alabama（阿拉巴马大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Princeton University（普林斯顿大学）；University of Zurich（苏黎世大学）；University of Puerto Rico Mayaguez（波多黎各大学马亚圭兹校区）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；Universidad Antonio Nariño（安东尼奥·纳里尼奥大学）
本文介绍了利用Apptainer容器化技术培训物理学家的材料与资源，展示了在高能物理和核物理中常用工具的容器化示例，提升分析的可重复性、可移植性和协作效率。
2026-04-05 hep-ex physics.data-an physics.ed-ph
Summary of workshop on Future Physics with HERA Data
HERA实验，Hermes，H1和ZEUS，最近的亮点进行了审查，并提出了未来的分析，充分利用这一独特的数据集的想法。本文是2014年底在汉堡DESY举行的HERA数据未来物理研讨会的总结。HERA物理学的所有领域都涵盖了实验学家和理论家的贡献。该文件概述了HERA物理学仍然可以做出重大贡献的领域，主要是在更深入地理解QCD及其与其他设施的相关性方面。在高能物理学数据保存的框架内，HERA的数据已被保存，以供在10年或更长时间内进行分析。因此，尽管这里列出了一个广泛的可能性清单，但数据的安全存储确保了它在未来提出新的想法和分析时也可以使用。
2016-01-07 hep-ex hep-ph
When, Where, and How to Open Data: A Personal Perspective
这是一个关于在公共数据发布的背景下共享数据的个人观点，适合进行通用分析。这些开放数据可以成为扩展高能物理科学的强大工具，但必须注意何时，何地以及如何使用它们。我认为，即使在合作中的数据保存需要额外的支持，以最大限度地发挥我们的科学潜力。此外，非协作成员也应该更容易参与协作。最后，我主张我们认识到一种新型的高能物理学家：“数据物理学家”，他们最适合分析开放数据，开发和部署新的先进数据科学工具，以便我们可以充分利用宝贵的数据。本文档与美国物理学会（APS）粒子与场（DPS）社区规划练习（'Snowmass'）理论前沿[1]委托的开放数据白皮书相协调，也与计算前沿相关。
2022-08-16 hep-ex hep-ph physics.data-an
Machine-Learning Compression for Particle Physics Discoveries
SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；University of California, Irvine（加州大学欧文分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
在基于对撞机的粒子和核物理实验中，数据以如此极端的速度产生，以至于只能记录一个子集供以后分析。通常，算法选择单个碰撞事件进行保存，并存储完整的实验响应。一种相对较新的替代策略是为较大的事件子集额外保存部分记录，从而允许稍后对较大部分的事件进行特定分析。我们提出了一个战略，这些范式的桥梁，通过压缩整个事件的通用离线分析，但在较低的保真度。基于最优传输的$β$变分自动编码器（VAE）用于自动压缩，超参数$β$控制压缩保真度。我们引入了一种新的方法，多目标学习功能，同时学习VAE适合所有值的$β$通过参数化。我们提出了一个示例用例，在大型强子对撞机（LHC）的双μ子共振搜索，在那里我们表明，由我们的$β$ -VAE压缩的模拟数据具有足够的保真度来区分不同的信号形态。
2022-12-18 cs.LG hep-ex hep-ph
