Challenges and Opportunities of Machine Learning for Monitoring and Operational Data Analytics in Quantitative Codesign of Supercomputers
这项工作研究了超级计算机定量协同设计(QCS)背景下机器学习(ML)用于监控和操作数据分析(MODA)的挑战和机遇。MODA用于深入了解当前高性能计算(HPC)系统的行为,以提高系统效率、性能和可靠性(例如,通过优化冷却基础设施、作业调度和应用程序参数调整)。在这项工作中,我们的立场是,一般来说,QCS,特别是MODA,需要与ML社区密切交流,以实现数据驱动分析的全部潜力,从而使现有和未来的HPC系统受益。这种交流将有助于确定适当的机器学习方法,以深入了解当前的高性能计算系统,并超越基于专家的知识和经验法则。
2022-10-01 cs.DC
Harvesting energy consumption on European HPC systems: Sharing Experience from the CEEC project
Friedrich-Alexander-University(弗里德里希·阿列克桑德大学);University of Stuttgart(斯图加特大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Uppsala University(乌普萨拉大学)
本文分享了CEEC项目在测量和优化欧洲主要HPC系统能耗方面的经验,通过CFD应用案例研究评估了不同架构的能耗与时间指标,并强调了加速器和混合精度技术在降低能耗中的优势。
2025-11-04 cs.DC
Autonomy Loops for Monitoring, Operational Data Analytics, Feedback, and Response in HPC Operations
本文针对HPC领域MODA自主反馈循环进展受限的问题,基于MAPE-K循环形式化体系,结合达格斯图尔研讨会成果,提出开发通用自主循环的路径,以推动跨站点互操作与行业普及。
2024-01-30 cs.DC
Modeling the Carbon Footprint of HPC: The Top 500 and EasyC
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
本文针对 Top 500 超算系统碳足迹数据缺失问题,提出 EasyC 工具,利用有限公开数据建模并估算出 Top 500 的运营碳和隐含碳,并预测其到 2030 年的增长趋势。
2025-09-22 cs.DC
First Experiences in Performance Benchmarking with the New SPEChpc 2021 Suites
现代高性能计算系统采用创新的系统架构和新颖的编程模型构建,以进一步推动计算的速度极限。增加的复杂性对性能可移植性和性能评估提出了挑战。标准性能评估公司-SPEC在为现代计算机系统制定行业标准基准方面有着悠久的历史。SPEC是由High Performance Group开发的最新发布的SPEChpc 2021基准测试套件,是为最先进的HPC系统提供公平客观的基准测试工具的大胆尝试。由于支持多个主机和加速器编程模型,这些套件可以跨同构和异构架构进行移植。开发不同的工作负载以适应从几个计算节点到几百个计算节点的系统大小。在本文中,我们将对这些基准测试套件进行初步了解,并评估它们在各种流行和新兴HPC架构(包括x86 CPU、NVIDIA GPU和AMD GPU)上的可移植性和基本性能特征。本研究提供了在生产HPC系统上大规模执行SPEChpc 2021套件的第一手经验,讨论了真实用例,并作为使用基准套件的初始指南。
2022-03-28 cs.DC
Application Experiences on a GPU-Accelerated Arm-based HPC Testbed
本文评估了十个团队在GPU加速的Arm测试平台上移植和基准测试HPC应用的经验,证明当前软件和工具已成熟,足以支持大规模生产部署。
2022-12-19 cs.AR cs.DC
A Unified Ontology for Scalable Knowledge Graph-Driven Operational Data Analytics in High-Performance Computing Systems
本文提出首个面向HPC运维数据分析的统一本体,建模两大公开数据集,通过36个胜任力问题验证,并优化知识图谱存储开销最高达38.84%,支持跨系统分析。
2025-07-10 cs.DB cs.DC
Cloud to Ground Secured Computing: User Experiences on the Transition from Cloud-Based to Locally-Sited Hardware
将高性能计算(HPC)流程、工具和技术应用于受控非机密信息(CUI)既带来了机遇,也带来了挑战。基于我们开发、部署和管理AWS GovCloud托管的保留数据研究环境(REED)的经验,普渡大学的Research Computing最近部署了Weber,这是我们用于存储和分析CUI数据的本地HPC解决方案。Weber以低而稳定的成本向我们的客户群展示了数据访问、可移植性和可用性方面的进步,同时减少了我们信息技术支持团队的管理开销。
2021-07-30 cs.DC
MPCDF HPC Performance Monitoring System: Enabling Insight via Job-Specific Analysis
本文报告的HPC性能监测系统的设计和实施部署,以持续监测性能指标的所有作业的HPC系统在马克斯普朗克计算和数据设施(MPCDF)。因此,它向各种利益相关者,特别是用户,应用程序支持,系统管理员和管理人员揭示了重要信息。在每个计算节点上,硬件和软件性能监控数据由我们新开发的轻量级开源hpcmd中间件收集,该中间件构建在标准Linux工具上。数据通过rsyslog传输,并由Splunk系统进行聚合和处理,从而在Web浏览器中实现详细的每个集群和每个作业的交互式分析。此外,业绩报告以PDF文件形式提供给用户。最后,我们报告了在MPCDF HPC系统上大规模部署的实践经验和优势,展示了我们的解决方案如何适用于任何HPC中心。
2019-09-25 cs.DC
Generic and ML Workloads in an HPC Datacenter: Node Energy, Job Failures, and Node-Job Analysis
本研究基于国家级HPC数据中心的长期运行数据,对比分析ML与通用作业对数据中心性能、故障、能耗等的影响,得出多项关键结论并开源数据与工具,助力运维优化与系统研究。
2024-09-13 cs.AR cs.DC
Supercomputing with MPI meets the Common Workflow Language standards: an experience report
使用基于标准的工作流对于高性能计算用户来说仍然有些不寻常。在本文中,我们描述的经验,使用通用工作流语言(CWL)标准来描述执行,并行,MPI并行应用程序。特别是,我们的动机和描述的简单扩展的规范,这是必要的,以及我们的实现这一CWL参考运行。我们讨论了一些意想不到的好处,如简单的使用面向HPC的性能测量工具,和CWL的软件要求与HPC模块系统接口。最后,我们请求社区就如何在CWL标准的版本中采用这些功能发表评论。
2020-10-01 cs.DC
Dynamic Resource Management in Production HPC Clusters
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
针对生产HPC集群中刚性固定分配的问题,提出一种基于MPI可塑性的动态资源管理方法,通过DMR框架实现非侵入式集成,在三个TOP500超算上验证了与静态基线相当的性能并显著减少节点小时消耗。
2026-07-22 cs.DC
SIREN: Software Identification and Recognition in HPC Systems
针对HPC系统中传统软件识别方法的局限性,提出SIREN进程级数据收集框架,通过分析进程元数据、环境信息和可执行文件模糊哈希,实现软件识别与重复执行识别,提升系统优化与安全性。
2025-08-26 cs.DC
Training LLMs on HPC Systems: Best Practices from the OpenGPT-X Project
Forschungszentrum Jülich(于利希研究中心)
本文介绍了OpenGPT-X项目在HPC系统上训练多语言LLM的最佳实践,重点包括Teuken-7B模型的训练过程、系统架构、软件选择及性能优化方法。
2026-05-07 cs.DC
Correlation-wise Smoothing: Lightweight Knowledge Extraction for HPC Monitoring Data
Leibniz Supercomputing Centre(莱布尼茨超级计算中心);Technical University of Munich(慕尼黑工业大学);Fujitsu Enabling Software Technology GmbH(富士通使能软件技术有限公司)
现代高性能计算(HPC)和数据中心运营商越来越依赖数据分析技术来提高其运营的效率和可靠性。它们采用的模型可以摄取时间序列监测传感器数据,并将其转换为可操作的知识用于系统调优:这一过程称为操作数据分析(ODA)。然而,监测数据具有高维度,依赖于硬件并且难以解释。这一点,加上ODA的严格要求,使得大多数传统的数据采掘方法不切实际,反过来又使得这种类型的数据处理繁琐。大多数当前的ODA解决方案使用非通用的ad-hoc处理方法,对传感器的特征敏感并且不适合可视化。在本文中,我们提出了一种新的方法,称为相关平滑(CS),提取描述性签名的时间序列监测数据中的通用和轻量级的方式。我们的CS方法利用数据维度之间的相关性来形成组,并产生可以轻松操作,可视化和比较的图像状签名。我们在HPC-ODA上评估了CS方法,HPC-ODA是我们与这项工作一起发布的数据集集合,并表明它与大多数最先进的方法具有相同的性能,同时产生的签名最多可以小十倍,速度最多可以快十倍,同时获得可视化,跨系统的可移植性和清晰的缩放特性。
2021-02-19 cs.DC cs.LG cs.SY
Hybrid Cloud and HPC Approach to High-Performance Dataframes
数据预处理是任何数据驱动应用程序中的基本组件。随着数据处理操作的复杂性和数据量的增加,Cylon是一个分布式的嵌入式框架系统,它被开发来促进数据处理,既可以作为一个独立的应用程序,也可以作为一个库,特别是对于Python应用程序。虽然Cylon表现出了良好的性能,但我们在尝试与传统消息传递接口(MPI)不兼容的框架集成时遇到了困难。虽然MPI实现包含可扩展和高效的通信例程,但它们的进程启动机制与主流HPC系统配合良好,但与采用自己的资源管理系统的某些环境不兼容。在这项工作中,我们通过直接集成统一通信X(UCX)框架来缓解这个问题,该框架支持各种经典的HPC和非HPC进程引导机制作为我们的通信框架。当我们在Cylon上试验我们的方法时,同样的技术可以用于将MPI通信带到其他不使用MPI内置进程管理方法的应用程序中。
2022-12-29 cs.DC
What Artificial Intelligence can do for High-Performance Computing systems?
University of Luxembourg(卢森堡大学)
本文探讨人工智能在提升高性能计算系统效率中的作用,涵盖调度、性能优化、故障检测等六个应用领域,并指出LLM在自动化任务中的优势及MLOps的发展需求。
2026-01-03 cs.AI cs.DC
Challenges of Translating HPC codes to Workflows for Heterogeneous and Dynamic Environments
在本文中,我们想分享我们的经验,将计算流体动力学(CFD)问题的并行代码转换为RedisDG工作流引擎的并行版本。该系统能够捕捉异构和高度动态的环境,由于机会主义的调度策略。我们展示了如何移动到“HPC即服务”的领域,以使用异构平台。我们主要解释,通过CFD用例,如何转换的并行代码,我们表现出的挑战,以“展开”的任务图动态,以提高整体性能(在广义上)的工作流引擎。我们特别讨论了这种动态特性对工作流引擎的影响。本文指出,在我们重新审视云计算、边缘计算等新范式的潜力的情况下,高性能计算的新模型是可能的。
2021-05-24 cs.DC
Literature Study on Operational Data Analytics Frameworks in Large-scale Computing Infrastructures
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学)
本文研究了大规模计算基础设施中操作数据分析框架的核心方法与贡献,提出更全面的框架以提升效率并促进相关研究。
2026-03-19 cs.DC
Understanding Large-Scale HPC System Behavior Through Cluster-Based Visual Analytics
University of California, Davis(加州大学戴维斯分校);Argonne National Laboratory(阿贡国家实验室);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出一种可扩展的交互式可视化分析系统,用于探索和比较HPC系统计算节点行为,结合双阶段降维与对比学习方法,揭示集群内和跨集群的差异,提升异常检测能力。
2026-04-13 cs.DC
LASSi: Metric based I/O analytics for HPC
LASSi是一个旨在分析应用程序使用情况和HPC系统中使用共享资源(文件系统或网络)引起的争用的工具。LASSi最初是为了支持ARCHER系统而开发的,在ARCHER系统中,应用程序需求存在很大的变化,偶尔会有用户对文件系统性能的抱怨,表现为作业运行时的变化或交互响应差。LASSi采用定义与异常高的应用程序I/O行为相关的衍生风险和操作指标的方法。所示的指标与应用程序,可以体验可变的性能或可能会影响其他应用程序的性能。LASSi使用一段时间内的I/O统计数据来提供应用程序I/O配置文件,并自动为ARCHER生成每日报告。我们演示了LASSi如何通过监控文件系统I/O、生成文件系统和应用程序运行的粗略配置文件以及使用指标自动分析应用程序运行速度减慢来提供整体I/O分析。
2019-06-10 cs.DC cs.PF
Exploring Novel Data Storage Approaches for Large-Scale Numerical Weather Prediction
The University of Edinburgh(爱丁堡大学)
本文评估了DAOS和Ceph在HPC和AI应用中的性能,发现DAOS在可扩展性和灵活性上优于Ceph和Lustre,为大规模I/O提供了新的解决方案。
2026-02-19 cs.DB cs.DC
Big Data Meets HPC Log Analytics: Scalable Approach to Understanding Systems at Extreme Scale
当今的高性能计算(HPC)系统被大量地仪表化,从而生成包含关于异常事件的信息的日志,异常事件诸如关键条件、故障、错误和失败、系统资源利用以及关于用户应用的资源使用。这些日志一旦得到充分分析和关联,就可以生成有关系统健康状况、故障根本原因的详细信息,并分析应用程序与系统的交互,为领域科学家和系统管理员提供有价值的见解。但是,处理HPC日志需要深入了解系统堆栈多个层的硬件和软件组件。此外,大多数日志数据都是非结构化的,并且数量庞大,这使得系统用户和管理员更难以手动检查数据。随着HPC系统规模和复杂性的快速增长,日志数据处理正在成为一个大数据挑战。本文介绍了一种基于分布式NoSQL数据库技术的HPC日志数据分析框架,该框架提供了可扩展性和高可用性,以及用于日志数据快速内存处理的Apache Spark框架。分析框架可以提取有关系统的一系列信息,以便系统管理员和最终用户都可以获得针对其特定需求的必要见解。我们描述了我们的经验,使用这个框架收集的见解,从日志数据的系统行为泰坦超级计算机在橡树岭国家实验室。
2017-08-23 cs.DB cs.DC
Strategies for Democratization of Supercomputing: Availability, Accessibility and Usability of High Performance Computing for Education and Practice of Big Data Analytics
除了量子物理学和生物学的相对成熟的超级计算领域之外,在诸如文本分析、商业领域分析、预测和自然语言处理(NLP)的领域中,对通常被称为超级计算的高性能计算(HPC)的兴趣和需求也在增加。HPC已被广泛用于计算机科学(CS)和其他传统的计算密集型学科中,但在很大程度上仍然与大量的社会、行为、商业和经济学科隔离。然而,随着无处不在的大数据,迫切需要使HPC在技术上和经济上可访问,易于使用和操作民主化。因此,本研究的重点是作出两个关键的贡献,第一个是阐明战略的基础上的可用性,可访问性和可用性的去神秘化和民主化的HPC,基于分析审查的Caliburn,一个显着的超级计算机在其成立之初。第二个贡献是一组HPC采用的原则,基于HPC使用的经验叙述,从第一次用户的角度进行文本分析和社交媒体数据的NLP。总结了HPC使用过程和早期分析的输出。这项研究综合了HPC民主化战略的专家意见,并从多学科的角度记录了快速采用超级计算进行文本分析和NLP的挑战和机遇。演绎逻辑用于确定策略,这些策略可以导致研究人员,教师,专业人员和学生在广泛的学科中有效地参与,采用,生产和持续使用研究,教学,应用和创新。
2021-04-19 cs.CY cs.DC cs.HC
Nix to the Rescue for a Reproducible HPC-AI Software Stack
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国立信息与数学科学学院、图形学实验室);IFP Énergies-Nouvelles(法国石油研究院)
本文介绍使用Nix构建混合HPC/AI软件栈的经验,利用Nix特性解决传统方法的依赖等问题,统一多语言管理并生成部署容器,同时讨论相关权衡与Nixpkgs的ML包缺口。
2026-07-30 cs.DC
D0 Data Handling Operational Experience
我们报告的生产经验的D0实验在费米实验室Tevatron,使用SAM数据处理系统与各种计算硬件配置,批处理系统,和海量存储器的战略。我们在费米实验室Enstore海量存储器系统中存储了超过300 TB的数据。我们通过该系统以每天超过2 TB的平均速率向分析程序提供数据,通过智能缓存管理,消耗的数据大幅增加。我们在这个系统中处理超过170万个文件,并在四种类型的系统上为费米实验室的用户作业提供数据传输:重建农场,大型SMP系统,Linux批处理集群和Linux桌面集群。此外,我们还导入全球6个站点生成的模拟数据,并将数据交付给更多站点的作业。我们描述了全球范围内的数据处理部署的范围,该系统的操作经验,以及该经验的反馈。
2003-06-19 cs.AI cs.DC
Toward System-of-Systems Integration for Composable Cloud-HPC-Edge AI Platforms
Luleå tekniska universitet(吕勒奥理工学院)
本文提出将云-HPC-边缘AI平台视为系统之系统,通过基于接口、契约和策略的联邦化集成方法实现跨系统组合,并定义了边界测试、责任模型与七个集成面以支持互操作性和治理评估。
2026-09-29 cs.DC
To Stream or Not to Stream: Towards A Quantitative Model for Remote HPC Processing Decisions
Argonne National Laboratory(阿贡国家实验室)
针对科学仪器远程 HPC 处理是否应采用流式传输的问题,提出纳入数据速率、传输效率、算力和 I/O 开销的定量框架与 Streaming Speed Score,并基于 LCLS-II 验证其可识别流式传输收益区间。
2025-09-29 cs.DC cs.NI
BiJuTy: An Interactive HPC-Aware Big Data Cluster Lifecycle Manager and Performance Assessment Utility for JupyterHub
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据分析和人工智能中心);Center for Interdisciplinary Digital Sciences (CIDS)(跨学科数字科学中心);TUD Dresden University of Technology(德累斯顿工业大学)
提出BiJuTy,通过Jupyter交互界面简化HPC上大数据集群的生命周期管理和性能评估,降低使用门槛,支持多集群管理和迭代优化。
2026-06-24 cs.DC
From a Last-Week Add-On to First-Day Practice: Three Years of Integrating MPI Performance Analysis into HPC Education with EduMPI Suite
Fulda University of Applied Sciences(富尔达应用科技大学)
EduMPI Suite 通过自动化与可视化降低 MPI 性能分析门槛,三年实践表明早期引入能提升学生理解与接受度,应贯穿 MPI 教育。
2026-10-26 cs.DC
The Locus Algorithm III: A Grid Computing system to generate catalogues of optimised pointings for Differential Photometry
本文讨论了用于实现轨迹算法的网格计算系统的硬件和软件组成,以确定61,662,376颗恒星和23,799个类星体的差分测光的最佳点。数据的规模以及初始操作评估需要高性能计算(HPC)系统来完成数据分析。网格计算被选为HPC解决方案,作为该项目中可用的最佳选择。国家网格计算基础设施的物理和逻辑结构为所采取的方法提供了信息。这种方法是将不同的项目组件分层分离,以实现最大的灵活性和可扩展性。
2020-03-11 astro-ph.IM cs.DC
Enhancing Energy Efficiency in Scientific Workflows through CFD based PIVAEs
University of Leicester(莱斯特大学);Rutherford Appleton Laboratory, Science and Technology Facilities Council (STFC–UKRI)(鲁瑟福阿普顿实验室,科学与工程设施委员会(STFC-UKRI))
提出一种结合计算流体动力学与物理信息变分自编码器的AI辅助调度框架,通过生成物理真实的合成工作负载数据,在HPC环境中实现能效优化,实验表明适度降低CPU性能可显著节能。
2026-05-22 cs.DC
DaVE -- A Curated Database of Visualization Examples
本文提出精选可视化示例数据库 DaVE,依据用户描述推荐 HPC 场景中的可视化技术,并提供示例、代码、容器模板与集成资源,支持社区扩展。
2024-12-03 cs.DC cs.GR cs.HC
Monte Cimone: Paving the Road for the First Generation of RISC-V High-Performance Computers
新的开放和免版税的RISC-V ISA吸引了从微控制器到超级计算机的整个计算连续体的兴趣。高性能RISC-V处理器和加速器已经宣布,但基于RISC-V的HPC系统将需要全面的协同设计工作,跨越内存,存储层次互连和完整的软件堆栈。在本文中,我们描述了Monte Cimone,一个基于U 740的全操作多刀片计算机原型和硬件-软件测试平台,U 740是一个双精度多核,64位RISC-V SoC。Monte Cimone的目标不是实现强大的浮点性能,但它的目的是“启动管道”,并探索集成多节点RISC的挑战-V集群能够提供HPC生产堆栈,包括RISC-V硬件上的互连、存储和电源监控基础设施。我们展示了我们硬件/软件集成工作的成果,这些成果展示了软件和硬件的就绪性和成熟度,表明第一代RISC-V HPC机器可能不会太远。
2022-05-07 cs.AR cs.DC
Integrated monitoring of multi-domain backbone connections -- Operational experience in the LHC optical private network
新颖的大型研究项目往往需要遍布全球的各种不同项目合作伙伴之间的合作。它们不仅需要巨大的计算资源,还需要一个可靠的网络来运行,欧洲核子研究中心的大型强子对撞机(LHC)就是这样一个项目的代表。它的实验产生了大量的数据,这对世界各地的研究人员来说都很有趣。为了将数据从CERN传送到11个数据处理和存储站点,已经构建了一个光专用网络(OPN)。由于实验数据非常宝贵,LHC对底层网络基础设施提出了非常高的要求。为了满足这些要求,必须对连接进行永久管理和监控。在本文中,我们提出了综合监测解决方案开发的LHCOPN。我们首先概述需求,并展示如何在单个网络层上满足这些需求。之后,我们将描述如何将这些单个测量组合成一个集成视图。我们涵盖了设计概念以及工具实现亮点。
2011-01-20 cs.DC cs.NI
Wattlytics: A Web Platform for Co-Optimizing Performance, Energy, and TCO in HPC Clusters
Department of Computer Science, Friedrich-Alexander-Universität(弗里德里希-亚历山大大学计算机系)
Wattlyics通过整合GPU性能缩放、DVFS功率建模和TCO分析,提供一个交互式平台,帮助用户在不确定条件下进行HPC集群设计和采购决策。
2026-10-16 cs.AR cs.DC cs.ET
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa(帕尔米斯大学计算机科学系);ISTI – National Research Council(国家研究理事会ISTI)
本文系统综述了122篇论文,提出八个研究方向和九个用例领域,分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning
DeepSeek-AI(深度求索人工智能公司)
本文提出 Fire-Flyer AI-HPC 软硬件协同设计架构,通过万卡 PCIe A100 集群、HFReduce 通信加速及计算通信重叠,以一半成本和更低能耗实现接近 DGX-A100 的性能。
2024-08-31 cs.AI cs.DC
Running Alchemist on Cray XC and CS Series Supercomputers: Dask and PySpark Interfaces, Deployment Options, and Data Transfer Times
Alchemist是一个系统,允许Apache Spark通过与HPC库接口实现更好的性能,以进行大规模分布式计算。在本文中,我们重点介绍了一些最近的发展炼金术士感兴趣的Cray用户和科学界一般。我们讨论了将Alchemist移植到容器镜像并将其部署在Cray XC(使用Shifter)和CS(使用Singularity)系列超级计算机以及本地Kubernetes集群上的经验。新开发的Python、Dask和PySpark接口使Alchemist能够与其他数据分析框架一起使用。我们还简要讨论了Alchemist与RLlib的结合,RLlib是一个越来越受欢迎的强化学习库,并考虑了在强化学习中利用HPC模拟的好处。最后,由于客户端应用程序和炼金术士之间的数据传输是炼金术士遇到的主要开销,我们给出了这些传输时间的定性评估与不同的~因素。
2019-11-28 cs.DC
Pseudonymization at Scale: OLCF's Summit Usage Data Case Study
大量数据的分析和复杂计算作业的处理传统上依赖于高性能计算(HPC)系统。了解这些分析的需求对于设计能够带来更好科学的解决方案至关重要,同样,了解这些系统上的用户行为特征对于改善HPC系统上的用户体验也很重要。收集有关用户行为的数据的常用方法是分析仅系统管理员可用的系统日志数据。然而,最近在橡树岭领导计算设施(OLCF),我们通过使用普通Unix命令从用户的角度收集数据,揭示了Summit超级计算机的用户行为。在这里,我们讨论了准备发布和提交开放数据挑战的过程,挑战和经验教训。原始数据集包含有关OLCF用户的个人身份信息(PII),这些信息需要在发布之前进行屏蔽,我们确定完全擦洗PII的匿名化破坏了太多的数据结构,因此无法进行数据挑战。相反,我们选择对数据集进行匿名化,以减少其与用户身份的关联性。假名化比匿名化在计算上要昂贵得多,我们的数据集的大小(大约1.75亿行原始文本)需要开发一个可以在不同HPC机器上重用的并行工作流。我们在OLCF的两个领导级HPC系统上演示了工作流的扩展行为,并且我们表明,我们能够将单个节点上的整体完工时间从不切实际的20多个小时降低到2小时左右。作为这项工作的结果,我们发布了整个匿名数据集,并公开了工作流程和源代码。
2022-12-19 cs.DC cs.DL
Data-Intensive Supercomputing in the Cloud: Global Analytics for Satellite Imagery
Descartes Labs(笛卡尔实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了我们的经验,使用云计算,以支持数据密集型分析卫星图像的商业应用。根据我们在高性能计算方面的背景,我们将早期的集群计算系统与当前的云计算及其颠覆HPC市场的潜力进行了比较。在云远程对象存储之上使用我们自己的虚拟文件系统层,我们使用512个Google Compute Engine(GCE)节点访问美国多区域标准存储桶,展示了每秒230 GB的聚合读取带宽。这个数字可以与现有的最好的HPC存储系统相媲美。我们还提出了几个我们的应用结果,包括在乌克兰的领域边界的识别,并从陆地卫星图像生成一个全球无云的基础层。
2017-02-13 cs.AI cs.DC
Experiences Building Enterprise-Level Privacy-Preserving Federated Learning to Power AI for Science
Argonne National Laboratory(阿贡国家实验室);National Center for Supercomputing Applications(国家超级计算应用中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Chicago(芝加哥大学)
本文基于构建高级隐私保护联邦学习(APPFL)框架的经验,提出企业级隐私保护FL框架愿景,明确其需具备的五项关键能力并讨论架构设计,以弥合研究原型与企业部署差距,助力科学AI发展。
2025-11-12 cs.DC
Cross-Facility LLM Pre-training on HPC: Elastic Aggregation, Data Leasing, and Queue-Aware Placement
SURF;Oak Ridge National Laboratory(橡树岭国家实验室)
提出一个跨设施HPC预训练系统,通过弹性聚合、数据租用和队列感知放置,在三台相距7400公里的超级计算机上训练语言模型,以可测量成本实现碎片化分配的统一训练。
2026-10-05 cs.DC
Analytics of Longitudinal System Monitoring Data for Performance Prediction
Google, Inc.(谷歌公司);University of Maryland(马里兰大学)
本文利用 HPC 全系统纵向监控数据与机器学习建模控制作业性能,识别主导预测特征,并证明模型可应用无关地预测未训练应用的性能。
2024-07-02 cs.DC cs.LG cs.PF