A Serverless Tool for Platform Agnostic Computational Experiment Management
在数据汇集和越来越多的计算密集型工具的支持下,神经科学已经进入大数据和高性能计算(HPC)领域。虽然管理HPC实验需要相当的技术敏锐度,但已经开发了平台和标准来减轻科学家的这一负担。虽然门户网站使资源可以广泛访问,但数据组织(如Brain Imaging数据结构)和工具描述语言(如Boutiques)为研究人员提供了一个立足点,可以使用他们自己的数据集、管道和环境来解决这些问题。虽然这些标准降低了神经科学应用采用HPC和云系统的障碍,但它们仍然需要整合不同的特定领域知识。我们介绍了Clowdr,一个轻量级的工具,用于在HPC系统和云上启动实验,记录丰富的执行记录,并实现实验摘要和结果的可访问共享。Clowdr独特地位于网络平台和用于实验管理的裸机应用程序之间,通过保留自己动手解决方案的灵活性,同时为开发,部署和传播神经科学分析提供低障碍。
2018-09-02 cs.DC cs.SE
Multi-level Memory-Centric Profiling on ARM Processors with ARM SPE
本文提出一种基于 ARM SPE 的多级内存剖析工具,并在 ARM Ampere 上用 HPC 与云负载评估不同采样周期和 aux 缓冲区大小下的时间开销与采样精度。
2024-10-02 cs.DC
The ExaNeSt Prototype: Evaluation of Efficient HPC Communication Hardware in an ARM-based Multi-FPGA Rack
本文介绍含256个Xilinx MPSoC的液冷多FPGA机架ExaNeSt Prototype,通过定制低延迟RDMA互连与MPI运行时验证其HPC通信效率和扩展性能。
2023-07-18 cs.DC
Understanding Layered Portability from HPC to Cloud in Containerized Environments
该研究在三个 ARM 平台上用六个 HPC 应用评估容器虚拟化、主机 OS/内核及执行模式对 HPC 向云迁移的性能影响,发现多数应用开销较低,且无根与特权模式差异可忽略。
2024-06-17 cs.DC
Experience Deploying Containerized GenAI Services at an HPC Center
Sandia National Laboratories(桑迪亚国家实验室)
本文总结在 HPC 中心集成 Kubernetes 与 HPC 平台、利用多种容器运行时和 vLLM 部署 Llama 等容器化 GenAI 服务的实践经验。
2025-09-29 cs.AI cs.AR cs.DC
MIDAS: Adaptive Proxy Middleware for Mitigating Metadata Hotspots in HPC I/O at Scale
Kathmandu University(加德满都大学)
MIDAS通过自适应中间件缓解大规模HPC I/O中的元数据热点问题,提升系统稳定性和性能。
2025-11-22 cs.DC
AdapTBF: Decentralized Bandwidth Control via Adaptive Token Borrowing for HPC Storage
University of Delaware(特拉华大学)
AdapTBF通过自适应令牌借贷实现HPC存储的去中心化带宽控制,提升存储效率与公平性。
2026-02-25 cs.DC cs.PF cs.SY
Evaluating HPC-Style CPU Performance and Cost in Virtualized Cloud Infrastructures
The Citadel(萨瑟兰堡学院);Western New England University(新英格兰西部大学)
本文通过SPEC ACCEL套件中的OpenMP工作负载子集,评估四大云提供商(AWS、Azure、GCP、OCI)不同CPU实例的HPC风格性能与成本,发现AWS性能最优但成本高,OCI最经济,为云HPC实例选择提供参考。
2025-11-12 cs.DC cs.PF
Deploying a Task-based Runtime System on Raspberry Pi Clusters
ARM技术在HPC中变得越来越重要。最近,基于\arm的系统Fugaku在Top500排行榜中名列第一。Raspberry Pis提供了一个便宜的平台来熟悉这种架构。然而,PI本身也可以是有用的。在这里,我们描述了我们在配置和基准测试Raspberry Pi集群与HPX/Phylanx平台(通常用于HPC应用程序)的使用方面所做的努力,并记录了我们学到的经验教训。首先,我们强调Pi配置中所需的更改以获得性能。其次,我们探讨有限的内存带宽如何限制我们的共享内存基准测试中的所有核心的使用。第三,我们评估低网络带宽是否影响分布式性能。第四,我们讨论了功耗和由此产生的运营成本和性能的权衡。
2021-04-09 cs.DC
Power, Energy and Speed of Embedded and Server Multi-Cores applied to Distributed Simulation of Spiking Neural Networks: ARM in NVIDIA Tegra vs Intel Xeon quad-cores
这篇短文是关于一个分布在MPI进程上的脉冲神经网络模拟器(DPSNN-STDP)在嵌入式平台(基于双插槽四核ARM平台)或服务器平台(基于Intel的四核双插槽平台)上执行时的瞬时功率、总能耗、执行时间和每个突触事件的能量成本的比较。我们还将该措施与领先的定制和半定制设计报告的措施进行了比较:TrueNorth和SpiNNaker。总之,我们观察到:1-我们在“嵌入式平台”上每个模拟事件花费2.2微焦耳,约为2.2微焦耳。4.4 2-“嵌入式平台”的瞬时功耗比“服务器平台”低14.4倍; 3-服务器平台快3.3倍。“嵌入式平台”由NVIDIA Jetson TK 1电路板组成,通过以太网互连,每个电路板安装一个Tegra K1芯片,包括一个2.3GHz的四核ARM Cortex-A15。“服务器平台”是基于双插槽四核英特尔至强CPU(E5620在2.4GHz)。这些措施是通过INFN开发的DPSNN-STDP模拟器(具有突触尖峰时间依赖可塑性的多突触脉冲神经网络的分布式模拟器)获得的,该模拟器已经证明了其在数百个类似的“服务器”核心和MPI进程上的有效可扩展性和执行速度,适用于由数十亿个突触组成的神经网络。
2015-05-12 cs.DC q-bio.NC
Intelligent colocation of HPC workloads
Universidade Federal da Bahia(巴伊亚联邦大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);University of Pittsburgh(匹兹堡大学);Norwegian University of Science and Technology(挪威科技大学)
许多HPC应用遭受在共享高速缓存、指令执行单元、I/O或内存带宽中的瓶颈,即使剩余资源可能未被充分利用。开发人员和运行时系统很难确保单个应用程序充分利用所有关键资源,因此提高HPC系统利用率的一种有吸引力的技术是将多个应用程序托管在同一台服务器上。然而,当应用程序共享关键资源时,对共享资源的争用可能导致应用程序性能降低。在本文中,我们表明,服务器的效率可以提高,首先建模的预期性能下降的托管应用程序的基础上测得的硬件性能计数器,然后利用该模型来确定优化组合的托管应用程序。本文提出了一种新的智能资源管理器,并作出了以下贡献:(1)一个新的机器学习模型来预测基于硬件计数器的应用程序的性能下降和(2)部署在现有的资源管理器的智能调度方案,使应用程序协同调度与最小的性能下降。我们的研究结果表明,我们的方法实现了7%(平均值)和12%(最大值)的性能提高现有的作业管理器常用的标准政策相比。
2021-03-16 cs.DC cs.LG cs.PF
On the performance of a highly-scalable Computational Fluid Dynamics code on AMD, ARM and Intel processors
没有哪个计算领域比高性能计算(HPC)对性能的需求更迫切了,HPC的需求仍然是处理器性能和加速器采用的主要驱动力,并且还推动了内存、存储和网络技术的进步。英特尔处理器在过去十年中占据主导地位的一个关键特征是广泛采用GPU作为协处理器,而最近的发展已经看到了许多CPU处理器的可用性增加,包括基于ARM的新型芯片。本文分析了最先进的计算流体动力学(CFD)代码在三个HPC集群系统上的性能和可扩展性,这三个HPC集群系统分别配备了AMD EPYC-Rome(EPYC,4096核)、基于ARM的Marvell ThunderX 2(TX 2,8192核)和Intel Skylake(SKL,8000核)处理器。采用$4^{th}$阶中心差分格式或$5^{th}$阶WENO格式,设计了三个基准算例,分别为盖驱动空腔流、Taylor-Green涡和孤立波。我们的结果表明,EPYC集群为所有考虑中的设置提供了最佳的代码性能。在前两个基准测试中,SKL集群显示出比TX 2系统更快的计算时间,而在孤立波模拟中,TX 2集群实现了良好的可扩展性和与EPYC系统相似的性能,两者都比SKL集群获得的性能有所改善。这些结果表明,虽然英特尔SKL内核提供了最佳的强大可扩展性,但与EPYC系统相比,相关的群集性能较低。TX 2群集性能很有前途,因为它最近加入了HPC产品组合。
2020-10-12 cs.DC physics.flu-dyn
LincoSim: a web based HPC-cloud platform for automatic virtual towing tank analysis
在这项工作中,我们提出了一个新的基于Web的HPC云平台自动虚拟拖曳水池分析。众所周知,新船体的设计项目需要使用分析工具、3D计算方法、实验设备和耐波性试验来持续集成形状假设和流体动力学验证。从分析工具到耐波性试验,这种设计工具的复杂性和成本显著增加。为了在成本和高质量数据获取之间进行有意义的权衡,在过去十年中,3D计算模型的使用也受到众所周知的技术因素的推动而增长。然而,在过去,从硬件和软件成本到所需的特定技术技能,在用于执行虚拟拖曳水池数据获取的3D计算模型的广泛传播上存在几个限制因素。在这项工作中,我们提出了一种创新的高层次的方法,这是体现在所谓的LincoSim网络应用程序中,一个假设的设计师用户可以进行模拟,只有从自己的几何形状和一组有意义的物理参数。LincoSim自动管理并向用户隐藏CFD建模和HPC基础设施使用的所有必要细节,允许他们访问、可视化和分析来自Web浏览器的同一个访问点的输出。除了Web界面外,该平台还包括一个后端服务器,该服务器实现了云逻辑,并可以连接到多个HPC机器进行计算。LincoSim目前使用有限体积Open-FOAM CFD引擎。已经进行了初步的验证活动,以评估该工具的鲁棒性和可靠性,并提出了一种新的方法,用于开发计算机辅助工程(CAE)应用。
2018-10-23 cs.DC
Jupyter as Common Technology Platform for Interactive HPC Services
明尼苏达州超级计算研究所已经实现了Xueyterhub和Xueyter笔记本服务器,作为交互式高性能计算服务的通用入口点。这种操作模式与传统的面向作业的HPC操作背道而驰,但在易用性、数据探索、原型设计和工作流开发方面具有显著优势。从用户的角度来看,这些功能使计算集群更接近与新兴云计算选项的对等。另一方面,从完全计划的、基于作业的资源分配撤退对资源可用性和利用效率提出了挑战,并且可能涉及超级计算中心的操作人员的典型核心能力之外的工具和技术。MSI试图通过采用Quixyter作为交互式服务的通用技术平台来缓解这些挑战,该平台能够提供对HPC资源的命令行、图形和面向工作流的访问,同时仍与作业调度系统集成并使用现有的计算资源。本文将描述MSI已经到位的机制,研究和教学用途的优势,以及经验教训。
2018-07-26 cs.CY cs.DC
The First OpenFOAM HPC Challenge (OHC-1)
Wikki GmbH(Wikki有限公司);Technical University of Munich (TUM)(慕尼黑工业大学);Toga Networks - a Huawei Company(Toga网络(华为公司))
本文介绍了首个OpenFOAM HPC挑战赛OHC-1,通过比较硬件限制和软件优化提交结果,分析了计算性能与能耗平衡及未来挑战。
2026-03-29 cs.DC
Methods and Metrics for Fair Server Assessment under Real-Time Financial Workloads
能源效率一直是企业面临的一个严峻挑战。金融业经营着世界上一些最大的金融中心。随着能源成本的增加和金融服务行业的增长,新兴的金融分析工作负载可能会产生极高的运营成本,以满足其延迟目标。微服务器最近已经成为高端服务器的替代品,通过横向扩展,有望在数据中心实现可扩展的性能和低能耗。不幸的是,架构特征、形状因子和设计考虑方面的明显差异使得服务器和微服务器之间的公平比较异常具有挑战性。在本文中,我们提出了一个严格的方法和新的指标,公平比较服务器和微服务器平台。我们部署了我们的方法和指标来比较一个带有ARM内核的微服务器和两个带有x86内核的服务器,运行相同的实时的【形】财务分析工作负载。我们定义了特定于工作负载但独立于平台的性能指标,用于平台比较,目标是数据中心运营商和最终用户。我们的方法确定了基于Xeon Phi处理器的服务器可提供最高的性能和能效。然而,通过扩展节能微服务器,我们实现了竞争力或更好的能源效率比一个功率等效的服务器与两个桑迪桥插槽,尽管微服务器的核心速度较慢。使用一个新的iso-QoS(iso-服务质量)度量,我们发现,ARM微服务器的规模足以满足市场的吞吐量需求,即100%的QoS方面的及时选项定价,与少至55%的能量消耗的Sandy Bridge服务器。
2014-12-30 cs.DC
Great Expectations: Benchmarking the Real-World Performance of RVV 1.0 in HPC
Jülich Supercomputing Centre - Forschungszentrum Jülich GmbH(于利希超级计算中心 - 于利希研究中心有限公司)
本文通过对多款支持RVV 1.0的硬件开展HPC基准测试,将其性能与NVIDIA Grace对比,发现RVV 1.0性能优于标量执行,但仍存在硬件实现挑战,需克服障碍才能成为HPC主流技术。
2026-08-31 cs.AR cs.DC cs.ET
oneDAL Optimization for ARM Scalable Vector Extension: Maximizing Efficiency for High-Performance Data Science
Fujitsu Research of India Pvt. Ltd.(富士通印度私人有限公司研究院)
本文将oneDAL移植到ARM SVE架构并用OpenBLAS替代MKL,通过稀疏矩阵、统计函数和SVM的SVE优化,在AWS Graviton3上实现最高200倍加速,性能比肩甚至超越成本近两倍的x86实现。
2025-04-05 cs.AI cs.DC cs.PF
On the Performance of Cloud-based ARM SVE for Zero-Knowledge Proving Systems
本文评估云端 ARM SVE/SVE2 对零知识证明中 Merkle 树构建等负载的性能,发现当前 Graviton4、Axion 受 128 位向量和频率限制落后于 x86-64,但 512 位 SVE 有望兼顾性能与成本优势。
2025-06-11 cs.DC cs.ET cs.PF
Blockchain Goes Green? Part II: Characterizing the Performance and Cost of Blockchains on the Cloud and at the Edge
虽然最先进的许可区块链可以在x86/64架构的商品硬件上每秒实现数千次交易,但它们在不同架构上运行时的性能尚不清楚。这项工作的目标是描述不同硬件系统上的许可区块链的性能和成本,这一点很重要,因为不同的应用领域都在采用这种技术。为此,我们对两种许可的区块链进行了广泛的成本和性能评估,分别是Hyperledger Fabric和P2P Sys Quorum,在五种不同类型的硬件上,覆盖x86/64和ARM架构,以及云和边缘计算。硬件节点包括采用Intel Xeon CPU的服务器、采用基于ARM的Amazon Graviton CPU的服务器以及采用基于ARM的CPU的边缘设备。我们的研究结果揭示了两种区块链在不同设置下的不同特征,展示了硬件选择对整体性能和成本的影响。我们发现Graviton服务器在许多设置中优于Xeon服务器,这是由于其强大的CPU和高内存带宽。另一方面,具有ARM架构的边缘设备表现出较低的性能。当比较云与边缘时,我们表明,如果不考虑人力成本,从长远来看,后者的成本要小得多。
2022-05-14 cs.DB cs.DC cs.PF
SAKURAONE: Empowering Transparent and Open AI Platforms through Private-Sector HPC Investment in Japan
本文介绍日本SAKURA Internet Research Center开发的SAKURAONE HPC集群,其以800 GbE开放网络和SONiC系统跻身TOP500第49位,并通过H100 GPU、Lustre存储及RoCEv2互连实现面向LLM训练的高性能计算。
2025-07-02 cs.DC cs.NI
Cnuas: A Software-Defined AI/HPC Rack-scale Emulation Platform and Hyperscale Data Center Facility Twin
University of Limerick(利默里克大学);Packet Five Networks Ltd.(Packet Five Networks有限公司)
本文提出Cnuas,一个遵循OCP Open Rack v3规范的开源机架级仿真平台,通过功能仿真支持AI/HPC软件研发,并提供RDMA、交换机及OpenBMC管理接口,以促进社区协作。
2026-09-15 cs.AR cs.DC cs.NI
Reactive NaN Repair for Applying Approximate Memory to Numerical Applications
人工智能和高性能计算领域的应用需要大量的内存容量,服务器主机的内存消耗的能量不断增加。通过应用近似计算可以大大降低主存的能量消耗,以换取增加的比特出错率。AI和HPC应用程序在一定程度上对比特错误具有鲁棒性,因为小的数值错误可以通过其迭代性质进行摊销。然而,由于位翻转导致的NaN的单次出现破坏了整个计算结果。问题是使用ECC修复每个位翻转会产生太多开销,因为位出错率比正常环境中高得多。我们提出了一个低开销的方法来修复NaNs时,近似计算应用到主内存。其主要思想是反应性地修复NaN,同时保留其他非致命的数值错误,以减少开销。我们利用x86 CPU的浮点异常实现了一个原型,初步评估表明,我们的方法产生的开销可以忽略不计。
2018-03-26 cs.DC cs.ET cs.OS
Multi-Partner Project: Multi-GPU Performance Portability Analysis for CFD Simulations at Scale
National Technical University of Athens(雅典国立技术大学);KTH Royal Institute of Technology(皇家理工学院);Hewlett Packard Enterprise (HPE)(惠普企业);Technical University of Delft(代尔夫特理工大学);University of Michigan(密歇根大学)
本文分析了SOD2D在不同GPU架构上的性能可移植性,揭示了内存访问优化对加速速度的影响,并强调了多级调优的重要性。
2026-01-20 cs.AR cs.DC
Energy Efficiency Features of the Intel Skylake-SP Processor and Their Impact on Performance
绝大多数高性能计算(HPC)系统和服务器基础架构都使用英特尔x86处理器。这使得这些处理器的架构分析与管理员和性能工程师的广泛受众相关。在本文中,我们描述了英特尔Skylake-SP处理器的硬件控制的能源效率功能的影响。由于微架构周期延长,这扩展了英特尔以前的Tick-Tock方案,我们的研究结果也将与后续架构相关。本文的研究结果包括以下几点:C状态延迟在Haswell-EP处理器一代中显着增加。控制非核频率的机制具有大约10 ms的延迟,并且不可能真正将非核频率固定到特定水平。使用512位宽向量的工作负载的无序节流也发生在低处理器频率下。数据对处理器功耗有显著影响,这会导致仅依赖于指令的能量模型出现较大误差。
2020-09-11 cs.DC
A Study of Performance Portability in Plasma Physics Simulations
本研究通过场线追踪和粒子网格代码,在四种HPC平台上评估了Kokkos和OpenMP框架,证明二者能实现跨不同硬件架构的性能可移植性,其中Kokkos覆盖范围最广。
2024-10-19 cs.DC cs.PF physics.comp-ph
Techniques and tools for measuring energy efficiency of scientific software applications
近年来,科学高性能计算(HPC)和高吞吐量计算(HTC)的规模显著增加,并且对总能源使用和成本变得敏感。因此,能量效率已经成为诸如高能物理(HEP)的科学领域中的重要关注点。利用替代架构(例如低功耗ARM处理器)来取代传统的Intel x86架构的兴趣越来越大。然而,即使这样的解决方案已经成功地用于具有低I/O和存储器需求的移动应用中,但尚不清楚它们在科学计算环境中是否合适并且更节能。此外,缺乏工具和经验来推导和比较各种工作负载的架构之间的功耗,并最终支持软件支持软件优化以提高能效。为此,我们对运行在ARM和英特尔架构上的HEP应用程序的工作负载进行了几次物理和基于软件的测量,并比较了它们的功耗和性能。我们利用几种分析工具(包括硬件和软件)来提取电力使用的不同特征。我们报告了这些测量的结果以及在开发一套测量技术和分析工具以准确评估科学工作负载的功耗方面所获得的经验。
2014-10-10 cs.DC hep-ex physics.comp-ph