Operational Data Analytics in Practice: Experiences from Design to Deployment in Production HPC Environments
随着HPC系统复杂性的增长,高效和可管理的操作变得越来越重要。因此,许多中心开始探索使用操作数据分析(ODA)技术,从大量的监测数据中提取知识,并将其用于控制和可视化目的。由于官方发展援助是一个多方面的问题,已作出很大努力研究其各个方面:然而,官方发展援助的生产经验仍然很难找到。在这项工作中,我们的目标是缩小ODA研究和生产使用之间的差距,介绍我们的经验,在生产中的ODA,特别是涉及冷却基础设施的控制和作业数据的可视化两个HPC系统。我们涵盖从设计到部署的整个开发过程,突出我们的见解,努力推动社区向前发展。我们依靠开源工具,这些工具构成了适用于大多数情况的通用官方发展援助框架。
2021-06-28 cs.DC cs.SY eess.SY
Strategies for Democratization of Supercomputing: Availability, Accessibility and Usability of High Performance Computing for Education and Practice of Big Data Analytics
除了量子物理学和生物学的相对成熟的超级计算领域之外,在诸如文本分析、商业领域分析、预测和自然语言处理(NLP)的领域中,对通常被称为超级计算的高性能计算(HPC)的兴趣和需求也在增加。HPC已被广泛用于计算机科学(CS)和其他传统的计算密集型学科中,但在很大程度上仍然与大量的社会、行为、商业和经济学科隔离。然而,随着无处不在的大数据,迫切需要使HPC在技术上和经济上可访问,易于使用和操作民主化。因此,本研究的重点是作出两个关键的贡献,第一个是阐明战略的基础上的可用性,可访问性和可用性的去神秘化和民主化的HPC,基于分析审查的Caliburn,一个显着的超级计算机在其成立之初。第二个贡献是一组HPC采用的原则,基于HPC使用的经验叙述,从第一次用户的角度进行文本分析和社交媒体数据的NLP。总结了HPC使用过程和早期分析的输出。这项研究综合了HPC民主化战略的专家意见,并从多学科的角度记录了快速采用超级计算进行文本分析和NLP的挑战和机遇。演绎逻辑用于确定策略,这些策略可以导致研究人员,教师,专业人员和学生在广泛的学科中有效地参与,采用,生产和持续使用研究,教学,应用和创新。
2021-04-19 cs.CY cs.DC cs.HC
Challenges and Opportunities of Machine Learning for Monitoring and Operational Data Analytics in Quantitative Codesign of Supercomputers
这项工作研究了超级计算机定量协同设计(QCS)背景下机器学习(ML)用于监控和操作数据分析(MODA)的挑战和机遇。MODA用于深入了解当前高性能计算(HPC)系统的行为,以提高系统效率、性能和可靠性(例如,通过优化冷却基础设施、作业调度和应用程序参数调整)。在这项工作中,我们的立场是,一般来说,QCS,特别是MODA,需要与ML社区密切交流,以实现数据驱动分析的全部潜力,从而使现有和未来的HPC系统受益。这种交流将有助于确定适当的机器学习方法,以深入了解当前的高性能计算系统,并超越基于专家的知识和经验法则。
2022-10-01 cs.DC
Autonomy Loops for Monitoring, Operational Data Analytics, Feedback, and Response in HPC Operations
本文针对HPC领域MODA自主反馈循环进展受限的问题,基于MAPE-K循环形式化体系,结合达格斯图尔研讨会成果,提出开发通用自主循环的路径,以推动跨站点互操作与行业普及。
2024-01-30 cs.DC
Simplifying HPC resource selection: A tool for optimizing execution time and cost on Azure
针对Azure云HPC资源选择难题,开发开源工具,结合应用输入参数与数据分析优化技术,自动化环境配置、基准测试等流程并提供资源建议,初步验证可减少云执行次数。
2024-12-03 cs.DC
LincoSim: a web based HPC-cloud platform for automatic virtual towing tank analysis
在这项工作中,我们提出了一个新的基于Web的HPC云平台自动虚拟拖曳水池分析。众所周知,新船体的设计项目需要使用分析工具、3D计算方法、实验设备和耐波性试验来持续集成形状假设和流体动力学验证。从分析工具到耐波性试验,这种设计工具的复杂性和成本显著增加。为了在成本和高质量数据获取之间进行有意义的权衡,在过去十年中,3D计算模型的使用也受到众所周知的技术因素的推动而增长。然而,在过去,从硬件和软件成本到所需的特定技术技能,在用于执行虚拟拖曳水池数据获取的3D计算模型的广泛传播上存在几个限制因素。在这项工作中,我们提出了一种创新的高层次的方法,这是体现在所谓的LincoSim网络应用程序中,一个假设的设计师用户可以进行模拟,只有从自己的几何形状和一组有意义的物理参数。LincoSim自动管理并向用户隐藏CFD建模和HPC基础设施使用的所有必要细节,允许他们访问、可视化和分析来自Web浏览器的同一个访问点的输出。除了Web界面外,该平台还包括一个后端服务器,该服务器实现了云逻辑,并可以连接到多个HPC机器进行计算。LincoSim目前使用有限体积Open-FOAM CFD引擎。已经进行了初步的验证活动,以评估该工具的鲁棒性和可靠性,并提出了一种新的方法,用于开发计算机辅助工程(CAE)应用。
2018-10-23 cs.DC
A Unified Ontology for Scalable Knowledge Graph-Driven Operational Data Analytics in High-Performance Computing Systems
本文提出首个面向HPC运维数据分析的统一本体,建模两大公开数据集,通过36个胜任力问题验证,并优化知识图谱存储开销最高达38.84%,支持跨系统分析。
2025-07-10 cs.DB cs.DC
ElasticBroker: Combining HPC with Cloud to Provide Realtime Insights into Simulations
对于大规模的科学模拟,存储原始模拟结果以执行后分析是昂贵的。为了最大限度地减少昂贵的I/O,通常使用“原位”分析,其中分析应用程序与科学模拟紧密耦合,并且可以在内存中访问和处理模拟结果。科学领域越来越多地采用大数据方法来分析科学发现的模拟。然而,在两个语义不同的生态系统(HPC和云系统)之间大规模组织、转换和传输数据仍然是一个挑战。为了应对这些挑战,我们设计并实现了ElasticBroker软件框架,该框架将HPC和云应用程序连接起来,形成一个“原位”科学工作流程。ElasticBroker不是将模拟结果写入并行文件系统,而是执行数据过滤、聚合和格式转换,以缩小HPC生态系统和不同云生态系统之间的差距。为了实现这一目标,ElasticBroker将模拟快照重组为连续的数据流,并将其发送到云端。在云中,我们部署分布式流处理服务来执行在线数据分析。在我们的实验中,我们使用ElasticBroker设置和执行跨生态系统的科学工作流,其中包括在超级计算机上运行的并行计算流体动力学(CFD)模拟,以及在云计算平台上运行的并行动态模式分解(DMD)分析应用程序。我们的研究结果表明,使用ElasticBroker在其原生环境中运行由解耦的HPC和大数据作业组成的科学工作流,可以实现高服务质量,良好的可扩展性,并为正在进行的模拟提供高质量的分析。
2020-11-30 cs.DC
ARM SVE Unleashed: Performance and Insights Across HPC Applications on Nvidia Grace
本文首次评估 ARM SVE 在 Nvidia Grace 上用于 HPC 的成熟度,结合硬件事件、分析模型、改进 roofline 模型和决策树量化向量化收益并识别瓶颈。
2025-05-14 cs.DC
Attack Graph Generation on HPC Clusters
针对攻击图生成存在的耗时耗内存及状态空间爆炸问题,提出使用高性能计算(HPC)集群实现攻击图生成器,经实验评估其性能,为解决相关问题提供平衡方案。
2025-08-16 cs.CR cs.DC
Toward Real-time Analysis of Experimental Science Workloads on Geographically Distributed Supercomputers
科学基础设施的大规模升级正在推动数据速度的上升,同时刺激采用越来越多的数据密集型分析。虽然下一代百亿亿次超级计算机承诺为I/O密集型工作流提供强有力的支持,但HPC在很大程度上仍未被现场实验所利用,因为在面对稀缺的仪器时间时,数据传输和不同的批处理策略是禁止的。为了弥合这一鸿沟,我们引入了Balsam:一个分布式编排平台,使边缘工作流能够安全有效地触发用户管理的HPC执行站点联合会的分析任务。我们描述的香脂服务,它提供了一个工作流管理API的体系结构,和分布式站点,提供资源和调度可扩展的,容错的执行。我们展示了Balsam如何有效地将两个DOE光源的实时的【形】分析同时扩展到三台超级计算机(Theta,Summit和Cori)上,同时保持按需计算的低开销,并提供Python库与现有的数据分析工具生态系统无缝集成。
2021-07-02 cs.DC
Data-Intensive Supercomputing in the Cloud: Global Analytics for Satellite Imagery
Descartes Labs(笛卡尔实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了我们的经验,使用云计算,以支持数据密集型分析卫星图像的商业应用。根据我们在高性能计算方面的背景,我们将早期的集群计算系统与当前的云计算及其颠覆HPC市场的潜力进行了比较。在云远程对象存储之上使用我们自己的虚拟文件系统层,我们使用512个Google Compute Engine(GCE)节点访问美国多区域标准存储桶,展示了每秒230 GB的聚合读取带宽。这个数字可以与现有的最好的HPC存储系统相媲美。我们还提出了几个我们的应用结果,包括在乌克兰的领域边界的识别,并从陆地卫星图像生成一个全球无云的基础层。
2017-02-13 cs.AI cs.DC
Literature Study on Operational Data Analytics Frameworks in Large-scale Computing Infrastructures
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学)
本文研究了大规模计算基础设施中操作数据分析框架的核心方法与贡献,提出更全面的框架以提升效率并促进相关研究。
2026-03-19 cs.DC
Analytics of Longitudinal System Monitoring Data for Performance Prediction
Google, Inc.(谷歌公司);University of Maryland(马里兰大学)
本文利用 HPC 全系统纵向监控数据与机器学习建模控制作业性能,识别主导预测特征,并证明模型可应用无关地预测未训练应用的性能。
2024-07-02 cs.DC cs.LG cs.PF
Hybrid Reusable Computational Analytics Workflow Management with Cloudmesh
在本文中,我们总结了我们的努力,创建和利用一个简单的框架来协调计算分析任务的工作流系统的帮助下。我们的设计是基于一个极简的方法,而在同一时间允许访问通过业主的计算机,HPC计算中心,云资源和分布式系统提供的计算资源一般。对这个框架的访问包括一个用于监视和管理工作流的简单GUI、一个REST服务、一个命令行界面以及一个Python界面。由此产生的框架是针对混合计算资源上的AI应用程序基准的几个示例开发的,并作为一种教育工具,用于教授科学家和学生复杂的概念,以在从单个计算机到数千台计算机的资源上执行计算,作为内部部署和云基础设施的一部分。我们证明了一些例子的工具的实用性。该代码在GitHub中作为开源项目提供,并基于一个易于增强的工具cloudmesh。
2022-10-30 cs.DC