Big Data Analytics on Traditional HPC Infrastructure Using Two-Level Storage
数据密集型计算已经成为传统高性能计算(HPC)集群的主要工作负载之一。目前,在HPC集群上部署数据密集型计算软件框架仍然面临性能和可扩展性问题。在本文中,我们开发了一个新的两级存储系统,集成Tachyon,一个内存中的文件系统和OrangeFS,一个并行文件系统。我们模拟了四种存储结构的I/O吞吐量:HDFS,OrangeFS,Tachyon和两级存储。我们进行了计算实验来描述两级存储的I/O吞吐量行为,并使用TeraSort基准测试将其性能与HDFS和OrangeFS进行了比较。理论模型和实验测试都表明,两级存储系统可以提高聚合I/O吞吐量。这项工作为将来设计和构建HPC系统奠定了坚实的基础,这些HPC系统可以在保留现有计算资源的情况下为I/O密集型工作负载提供更好的支持。
2015-10-10 cs.DC
SIREN: Software Identification and Recognition in HPC Systems
针对HPC系统中传统软件识别方法的局限性,提出SIREN进程级数据收集框架,通过分析进程元数据、环境信息和可执行文件模糊哈希,实现软件识别与重复执行识别,提升系统优化与安全性。
2025-08-26 cs.DC
Survey the storage systems used in HPC and BDA ecosystems
HPC和BDA生态系统的发展要求更好地了解存储系统,以规划有效的解决方案。为了使应用程序更有效地访问数据进行计算,HPC和BDA生态系统采用不同的存储系统。每种存储系统都有其优点和缺点。因此,分别探讨HPC和BDA中使用的存储系统是值得和有趣的。此外,了解这样的存储系统如何大规模地处理数据一致性和容错也是很有意义的。在本文中,我们调查了四个存储系统Lustre,Ceph,HDFS和CockroachDB。Lustre和HDFS是HPC和BDA生态系统中最重要的文件系统。Ceph是一个即将推出的文件系统,正在被超级计算机使用。CockroachDB基于NewSQL系统,这是一种在行业中用于BDA应用程序的技术。这项研究有助于我们了解这些存储系统的底层架构以及用于创建它们的构建块。还概述了用于数据存储、数据访问、数据一致性、容错和故障恢复的协议和机制。比较研究将帮助系统设计人员了解这些存储系统的关键功能和架构目标,以选择更好的存储系统解决方案。
2021-12-23 cs.DC
To Stream or Not to Stream: Towards A Quantitative Model for Remote HPC Processing Decisions
Argonne National Laboratory(阿贡国家实验室)
针对科学仪器远程 HPC 处理是否应采用流式传输的问题,提出纳入数据速率、传输效率、算力和 I/O 开销的定量框架与 Streaming Speed Score,并基于 LCLS-II 验证其可识别流式传输收益区间。
2025-09-29 cs.DC cs.NI
Data Version Management and Machine-Actionable Reproducibility for HPC
Helmholtz-Zentrum Dresden-Rossendorf (HZDR)(德累斯顿-罗斯多夫亥姆霍兹中心);Center for Advanced Systems Understanding (CASUS)(高级系统理解中心)
针对HPC与SLURM环境,提出扩展DataLad以解决其与批处理不兼容的问题,实现数据版本控制与机器可执行可复现性,支持并发作业并避免并行文件系统低效。
2025-09-26 cs.DC
FBench: A Flexible Benchmark for CFG-Based What-If Exploration of HPC I/O Patterns
Johannes Gutenberg University Mainz(约翰内斯·古腾堡美因茨大学);Nanyang Technological University(南洋理工大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提出FBench,一种利用上下文无关文法从Recorder轨迹生成配置或重放I/O模式的灵活基准测试工具,支持POSIX和MPI-IO接口,无需代码修改即可快速实验,准确再现I/O行为并揭示优化效果。
2026-06-29 cs.DC cs.PF
MPCDF HPC Performance Monitoring System: Enabling Insight via Job-Specific Analysis
本文报告的HPC性能监测系统的设计和实施部署,以持续监测性能指标的所有作业的HPC系统在马克斯普朗克计算和数据设施(MPCDF)。因此,它向各种利益相关者,特别是用户,应用程序支持,系统管理员和管理人员揭示了重要信息。在每个计算节点上,硬件和软件性能监控数据由我们新开发的轻量级开源hpcmd中间件收集,该中间件构建在标准Linux工具上。数据通过rsyslog传输,并由Splunk系统进行聚合和处理,从而在Web浏览器中实现详细的每个集群和每个作业的交互式分析。此外,业绩报告以PDF文件形式提供给用户。最后,我们报告了在MPCDF HPC系统上大规模部署的实践经验和优势,展示了我们的解决方案如何适用于任何HPC中心。
2019-09-25 cs.DC
DisTRaC: Accelerating High Performance Compute Processing for Temporary Data Storage
高性能计算(HPC)集群通常会在代码执行过程中生成中间文件,并且消息传递并不总是能够为这些集群作业提供数据。在这些情况下,I/O返回到中央分布式存储以允许跨节点数据共享。这些系统通常具有高性能,其特点是每TB成本高,对工作负载类型(如调整为小型或大型文件I/O)敏感。但是,计算节点通常具有大量RAM,因此在处理系统寿命或可靠性不那么重要的中间文件时,可以使用本地RAM磁盘来获得性能优势。在本文中,我们将展示如何通过创建一个可以与对象存储系统Ceph交互的RAM块,以及创建一个部署工具来有效地在HPC基础设施上部署Ceph来解决这个问题。这项工作导致了一个系统,比中央高性能分布式存储系统在钻石减少I/O开销和处理时间Savu,层析成像数据处理应用程序,分别由81.04%和8.32%。
2022-12-06 cs.DC cs.OS
Performance comparison of Dask and Apache Spark on HPC systems for Neuroimaging
本文在HPC系统上比较了Apache Spark和Dask处理神经影像管线的运行时性能,发现两者性能相当但Spark内存占用更高,数据传输时间是主要瓶颈。
2024-06-03 cs.DC
Deploying a sharded MongoDB cluster as a queued job on a shared HPC architecture
数据存储是数据科学的基础,在其所有变体中,都是建立在其基础上的。它们为结构化和非结构化数据提供了一个可查询的接口。数据科学通常从利用这些查询功能来执行初始数据准备开始。但是,大多数数据存储都被设计为连续运行,以在很少或没有停机时间的情况下为不同的用户请求提供服务。许多HPC架构通过作业队列调度器处理用户请求,并维护一个分片文件系统来存储作业持久化数据。我们部署了一个MongoDB分片集群,其中包含一个运行脚本,旨在并发运行数据科学工作负载。作为我们的测试片,我们运行数据摄取和数据查询,以衡量性能与不同的配置上的蓝水超级计算机。
2022-09-06 cs.DC cs.PF
SDN helps Big Data to optimize access to data
本章介绍了高性能计算(HPC)与大数据分析相结合这一新兴领域的最新技术。为了了解这个新领域,本章首先调查了将HPC与大数据集成的现有方法。接下来,本章介绍了几种优化解决方案,重点是如何最大限度地减少从计算密集型应用程序到分析密集型应用程序的数据传输时间,以及最大限度地减少端到端解决方案的时间。该解决方案利用SDN自适应地使用高速互连网络和高性能并行文件系统来优化应用性能。设计和开发了一个名为DataBroker的计算框架,以实现HPC与数据分析的紧密集成。多种类型的实验已经进行了显示不同的性能问题,在消息传递和并行文件系统,并验证所提出的研究方法的有效性。
2020-12-30 cs.DC cs.NI cs.PF
Exploring Novel Data Storage Approaches for Large-Scale Numerical Weather Prediction
The University of Edinburgh(爱丁堡大学)
本文评估了DAOS和Ceph在HPC和AI应用中的性能,发现DAOS在可扩展性和灵活性上优于Ceph和Lustre,为大规模I/O提供了新的解决方案。
2026-02-19 cs.DB cs.DC
Large Scale Parallelization Using File-Based Communications
在本文中,我们提出了一种新的和新的基于文件的通信架构,使用本地文件系统的大规模并行化。这种新方法消除了在使用中央文件系统处理大型并行作业时文件系统过载和资源争用的问题。当发送和接收进程不在同一个节点上时,由于节点间的消息文件传输,新方法会产生额外的开销。然而,即使有这种额外的开销成本,除了在大规模并行作业的消息通信中的性能增强之外,它对整个集群操作的好处要大得多。例如,当运行一个2048进程的并行作业时,使用本地文件系统时,使用MPI_Bcast()可以获得大约34倍的性能。此外,由于传输消息文件的安全性完全通过使用安全复制协议(scp)和文件系统许可来处理,因此除了HPC系统上通常需要的那些安全措施或端口之外,不需要额外的安全措施或端口。
2019-09-03 cs.DC
Application-Level Differential Checkpointing for HPC Applications with Dynamic Datasets
高性能计算(HPC)需要弹性技术,如检查点,以容忍超级计算机中的故障。随着超级计算机中节点和内存数量的不断增加,检查点数据的大小也急剧增加,有时会导致I/O瓶颈。差分检查点(Differential checkpointing,dCP)旨在通过只写入数据差异来最小化检查点开销。这通常在内存页面级别实现,有时还辅以哈希算法。然而,这样的技术是无法应付动态大小的数据集。在这项工作中,我们提出了一种新的dCP实现与一种新的文件格式,允许受保护的数据集的碎片,以支持动态大小。我们使用哈希算法识别脏数据块。为了评估dCP的性能,我们移植了HPC应用程序xPic,LULESH 2.0和Heat 2D,并分析了它们使用dCP减少I/O的潜力以及这种数据减少如何影响检查点性能。在我们的实验中,我们实现了高达62%的检查点时间减少。
2019-06-12 cs.DC
ElasticBroker: Combining HPC with Cloud to Provide Realtime Insights into Simulations
对于大规模的科学模拟,存储原始模拟结果以执行后分析是昂贵的。为了最大限度地减少昂贵的I/O,通常使用“原位”分析,其中分析应用程序与科学模拟紧密耦合,并且可以在内存中访问和处理模拟结果。科学领域越来越多地采用大数据方法来分析科学发现的模拟。然而,在两个语义不同的生态系统(HPC和云系统)之间大规模组织、转换和传输数据仍然是一个挑战。为了应对这些挑战,我们设计并实现了ElasticBroker软件框架,该框架将HPC和云应用程序连接起来,形成一个“原位”科学工作流程。ElasticBroker不是将模拟结果写入并行文件系统,而是执行数据过滤、聚合和格式转换,以缩小HPC生态系统和不同云生态系统之间的差距。为了实现这一目标,ElasticBroker将模拟快照重组为连续的数据流,并将其发送到云端。在云中,我们部署分布式流处理服务来执行在线数据分析。在我们的实验中,我们使用ElasticBroker设置和执行跨生态系统的科学工作流,其中包括在超级计算机上运行的并行计算流体动力学(CFD)模拟,以及在云计算平台上运行的并行动态模式分解(DMD)分析应用程序。我们的研究结果表明,使用ElasticBroker在其原生环境中运行由解耦的HPC和大数据作业组成的科学工作流,可以实现高服务质量,良好的可扩展性,并为正在进行的模拟提供高质量的分析。
2020-11-30 cs.DC
CARAT: Client-Side Adaptive RPC and Cache Co-Tuning for Parallel File Systems
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Iowa State University(爱荷华州立大学)
CARAT通过基于机器学习的框架实现客户端远程过程调用与缓存参数的联合调优,提升并行文件系统在动态环境下的性能表现。
2026-02-25 cs.DC cs.PF
Performance Comparison of DAOS and Lustre for Object Data Storage Approaches
高性能对象存储是一种新兴技术,它在HPC存储领域提供了一种替代解决方案,有可能解决传统分布式POSIX文件系统中由于过度的一致性保证和元数据规定性而存在的长期可扩展性问题。在本文中,我们评估的性能存储对象的数据在一个标准的文件系统,其中的配置和访问机制尚未优化对象的访问行为,并比较和调查使用对象存储系统的好处。虽然这种方法没有以标准的方式利用文件系统,但这项工作使我们能够调查底层存储技术性能是否比文件系统或对象存储提供的软件接口和基础设施更重要或更不重要。
2022-11-16 cs.DC
AdapTBF: Decentralized Bandwidth Control via Adaptive Token Borrowing for HPC Storage
University of Delaware(特拉华大学)
AdapTBF通过自适应令牌借贷实现HPC存储的去中心化带宽控制,提升存储效率与公平性。
2026-02-25 cs.DC cs.PF cs.SY
Towards Efficient HPC Systems for Agents: Challenges and Opportunities
Harvard University(哈佛大学);Harvard FAS Research Computing(哈佛文理学院研究计算中心)
本文针对编码智能体大量占用HPC资源的问题,提出将智能体视为一等公民的协同设计理念,并概述计算、存储、记忆和安全方面的挑战与机遇。
2026-10-01 cs.DC
Twelve quick tips for designing AI-driven HPC workflows
Department of Computer Science(计算机科学系);Royal Holloway University of London(伦敦皇家霍洛威大学)
本文针对AI与HPC融合带来的新挑战,提出十二条实用技巧,涵盖容器化、作业数组、反馈循环和I/O优化,帮助设计高效、可扩展、可复现的AI驱动HPC工作流。
2026-09-01 cs.AI cs.DC cs.LG
I/O in Machine Learning Applications on HPC Systems: A 360-degree Survey
The Ohio State University(俄亥俄州立大学);Louisiana State University(路易斯安那州立大学);Lawrence Berkeley National Laboratory(伯克利国家实验室)
本文综述了2019至2024年间HPC系统上机器学习应用的I/O问题,系统梳理了ML各阶段的I/O模式、分析工具、基准测试及优化方法,并指出了未来研究方向。
2025-08-22 cs.AI cs.DC cs.LG
Improving Block-level Efficiency with scsi-mq
当前一代固态存储设备在Linux内核的SCSI和块层中暴露出新的瓶颈,其中IO吞吐量受到锁争用、低效的中断处理和较差的内存局部性的限制。为了解决这些限制,Linux内核块层经历了blk-mq项目的重大重写,从单请求队列迁移到多队列模型。Linux SCSI子系统为了使用这个新模型(称为scsi-mq)而进行的修改已经被合并到Linux内核中,并且正在为即将到来的Linux 4.0内核中的dm多路径支持而进行工作。在具有高可用性要求的Lustre并行文件系统中,这些部分对于使用多队列块层是必要的。我们通过scsi-mq和dm-multipath补丁向Lustre添加了对3.18内核的支持,以评估这些效率改进的潜力。在本文中,我们评估的块级性能的scsi-mq与备份存储硬件代表的HPC目标的光泽文件系统。我们的研究结果表明,SCSI写请求延迟减少了多达13.6%。此外,在分析我们的原型Lustre文件系统的CPU使用情况时,我们发现Linux 3.18和blk-mq的CPU空闲时间比标准的2.6.32 Linux内核增加了7倍。我们的研究结果表明,即使在现有的并行文件系统中使用基于磁盘的缓存存储阵列的多队列块层的效率提高。
2015-04-28 cs.DC cs.OS
Challenges and Considerations for Utilizing Burst Buffers in High-Performance Computing
随着高性能计算(HPC)进入亿亿次时代,计算机科学家和工程师必须找到传输和处理前所未有的数据量的创新方法。随着在这些机器上运行的应用程序的规模和复杂性的增加,它们的交互和数据交换的成本(在延迟、能量、运行时间等方面)会呈指数级增长为了解决I/O协调和通信问题,计算供应商正在开发计算节点与由不同类型的存储器(NVRAM、DRAM、SSD)组成的并行文件系统之间的中间层。这些大规模的存储器设备被称为“突发缓冲器”。“在本文中,我们设想了HPC硬件的各种级别的高级内存,并推导出如何利用它的潜在用例。然后,我们提出了在下一代超级计算机中使用突发缓冲区时出现的挑战和问题,并将挑战映射到用例。最后,我们讨论了新兴的最先进的突发缓冲解决方案,预计将在今年年底前在新的HPC系统中推出,以及这些实现可能满足哪些用例。
2015-09-29 cs.DC
Benchmarking SciDB Data Import on HPC Systems
SciDB是一个可扩展的计算数据库管理系统,使用数组模型进行数据存储。SciDB的阵列数据模型使其非常适合存储和管理大量成像数据。SciDB旨在支持数据库中的高级分析,从而减少提取数据进行分析的需求。它被设计为大规模并行,可以在高性能计算(HPC)环境中的商用硬件上运行。在本文中,我们提出了性能的SciDB使用模拟图像数据。动态分布式维度数据模型(D4M)软件用于在运行MIT SuperCloud软件栈的集群上实现基准测试。在该系统的单个节点上实现了每秒2.2M数据库插入的峰值性能。我们还表明,SciDB和D4M工具箱提供了更有效的方法来访问海量数据集的随机子卷相比,从单个文件读取体积数据的传统方法。这项工作描述了我们开发的D4M和SciDB工具,并提出了初步的性能结果。这种性能是通过使用并行插入、数据库内的数组合并以及超级计算技术(如分布式数组和单程序多数据编程)来实现的。
2016-09-24 cs.DB cs.DC cs.PF
RNTuple: Towards First-Class Support for HPC data centers
针对未来高能物理实验数据量激增的问题,研究团队改进ROOT的RNTuple I/O子系统及其Intel DAOS后端,优化与RDataFrame的集成,实现了单节点下典型HEP工作流分析吞吐量的显著提升。
2023-12-13 cs.DC physics.acc-ph physics.comp-ph
A Treasure Trove of Performance: Analyzing the IO500 Submission Data
Georg-August-Universität Göttingen(哥廷根大学);GWDG mbH(德国国家高性能计算中心)
本研究统计分析61个IO500提交数据,揭示分数跨四个数量级及阶段内强相关性,并发现日志中隐藏的文件系统特定模式,证明提交包是研究存储系统行为的宝贵资源。
2026-09-18 cs.DC
RAMSES: Secure high-performance computing for sensitive data
IT Center Cologne (ITCC) University of Cologne(科隆大学计算中心);NEC Deutschland GmbH(日本电气德国有限公司);Department of Translational Genomics University of Cologne(科隆大学转化基因组学系)
提出RAMSES系统,通过硬件内存加密、文件加密和多层安全架构,在保证高性能的同时实现数据全生命周期加密,满足GDPR等标准,性能影响有限。
2026-06-29 cs.CR cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流,探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置,揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
Parallel Seismic Data Processing Performance with Cloud-based Storage
针对云端地震波形数据,本文提出本地驱动的混合处理框架,证明通过云端预处理减少传输可消除并行下载瓶颈,并在 MsPASS 与 AWS Lambda 上达到接近本地 HPC 的吞吐性能。
2025-09-02 cs.DC physics.geo-ph
The MIT Supercloud Dataset
MIT(麻省理工学院);Northeastern University(东北大学);US Air Force(美国空军)
人工智能(AI)和机器学习(ML)工作负载在传统高性能计算(HPC)中心和商业云系统中的计算工作负载中所占份额越来越大。这导致HPC集群和商业云的部署方法发生变化,并重新关注优化资源使用的方法,新AI框架的分配和部署,以及支持快速原型设计和部署的功能,如Xueyter笔记本电脑。随着这些变化,需要更好地了解群集/数据中心操作,目标是开发改进的调度策略,识别资源利用率、能源/功耗、故障预测方面的低效率,以及识别违反策略的情况。在本文中,我们介绍了MIT超级云数据集,该数据集旨在促进创新的AI/ML方法来分析大规模HPC和数据中心/云操作。我们提供来自MIT Supercloud系统的详细监控日志,其中包括按作业划分的CPU和GPU使用情况、内存使用情况、文件系统日志和物理监控数据。本文讨论了数据集的细节,收集方法,数据的可用性,并讨论了使用这些数据正在开发的潜在挑战问题。数据集和未来的挑战公告将通过https://dcc.mit.edu提供。
2021-08-04 cs.AI cs.DC cs.LG
Data-Intensive Supercomputing in the Cloud: Global Analytics for Satellite Imagery
Descartes Labs(笛卡尔实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了我们的经验,使用云计算,以支持数据密集型分析卫星图像的商业应用。根据我们在高性能计算方面的背景,我们将早期的集群计算系统与当前的云计算及其颠覆HPC市场的潜力进行了比较。在云远程对象存储之上使用我们自己的虚拟文件系统层,我们使用512个Google Compute Engine(GCE)节点访问美国多区域标准存储桶,展示了每秒230 GB的聚合读取带宽。这个数字可以与现有的最好的HPC存储系统相媲美。我们还提出了几个我们的应用结果,包括在乌克兰的领域边界的识别,并从陆地卫星图像生成一个全球无云的基础层。
2017-02-13 cs.AI cs.DC
A Cross-Layer Solution in Scientific Workflow System for Tackling Data Movement Challenge
高性能计算环境下的科学应用越来越复杂,数据密集度越来越高。科学家通常依赖于工作流系统来管理复杂性:简单地将多个处理步骤定义为单个脚本,然后让工作流系统编译它并相应地调度所有任务。许多工作流系统已经被提出并被广泛使用,如Galaxy、Pegasus、Taverna、Kepler、Swift、AWE等,举几个例子。传统上,科学工作流系统使用并行文件系统,如Lustre、PVFS、Ceph或其他形式的远程共享存储系统。因此,数据(包括在工作流执行期间生成的中间数据)需要在计算节点和存储系统之间来回传输,这在I/O操作上引入了显著的性能瓶颈。随着CPU和存储设备之间性能差距的扩大,这一瓶颈预计将变得更糟。最近,我们引入了基于数据路径计算的新概念,以使任务和数据绑定更有效,从而降低数据移动成本。对于工作流系统来说,关键是利用HPC存储层次中的数据局部性:如果数据集存储在计算节点中,靠近工作流任务,则任务可以直接访问它们,从而以更少的网络使用获得更好的性能。最近的一些研究已经完成了关于构建这样的共享存储系统,利用计算节点资源,以服务于具有局部性的HPC工作流,例如Hercules [1]和WOSS [2]等。在本研究中,我们进一步认为,提供计算节点侧存储系统不足以充分利用数据局部性。一个结合存储系统、编译器和运行时的跨层解决方案是必要的。我们以Swift/T [3]这一面向数据密集型应用的工作…
2018-05-16 cs.DC
Cross-Facility LLM Pre-training on HPC: Elastic Aggregation, Data Leasing, and Queue-Aware Placement
SURF;Oak Ridge National Laboratory(橡树岭国家实验室)
提出一个跨设施HPC预训练系统,通过弹性聚合、数据租用和队列感知放置,在三台相距7400公里的超级计算机上训练语言模型,以可测量成本实现碎片化分配的统一训练。
2026-10-05 cs.DC
Rethinking Burst Buffer Optimization: Enabling Layout Heterogeneity via Hybrid Analysis and LLM Guidance
National University of Defense Technology(国防科技大学);Hunan University(湖南大学);Central South University(中南大学)
提出Proteus系统,通过结合静态代码结构和轻量级运行时信号重建I/O意图,在无需训练或详尽分析的情况下优化突发缓冲区的数据布局,实现高达3.24倍和2.9倍的写密集和元数据密集工作负载加速。
2026-06-23 cs.DC
Accelerating Time-to-Science by Streaming Detector Data Directly into Perlmutter Compute Nodes
本文提出一种将高数据速率电子探测器数据直接流式传输至 NERSC Perlmutter 计算节点内存的工作流,避免存储 I/O,实现最高 14 倍吞吐量提升。
2024-07-02 cs.DC cs.NI
Workflows Community Summit 2022: A Roadmap Revolution
本文总结了Workflows Community Summit 2022的讨论,指出ML/AI、边缘计算和量子计算等新兴需求正推动科学工作流系统在效率、弹性和集成度方面进行革命性路线图演进。
2023-03-31 cs.DC
The Artificial Scientist -- in-transit Machine Learning of Plasma Simulations
Helmholtz-Zentrum Dresden-Rossendorf (HZDR)(德累斯顿-罗斯托克亥姆霍兹中心);Chemnitz University of Technology(化学工业大学);Kitware Inc.(Kitware公司);Center for Advance Systems Understanding (CASUS)(先进系统理解中心);Georgia Institute of Technology(佐治亚理工学院);University of Delaware(德雷尔斯大学);Oak Ridge National Laboratory(奥克兰国家实验室);Forschungszentrum Jülich(尤利奇研究中心)
本文提出一种将等离子体模拟数据直接流式传输到机器学习框架的传输中学习工作流,绕过文件系统瓶颈,并以PIConGPU模拟开尔文-亥姆霍兹不稳定性为例,结合经验回放实现持续学习,验证了其在Frontier超算上的可行性。
2025-07-03 cs.DC cs.LG physics.comp-ph