Multi-level Memory-Centric Profiling on ARM Processors with ARM SPE
本文提出一种基于 ARM SPE 的多级内存剖析工具,并在 ARM Ampere 上用 HPC 与云负载评估不同采样周期和 aux 缓冲区大小下的时间开销与采样精度。
2024-10-02 cs.DC
Multi-FPGA Designs and Scaling of HPC Challenge Benchmarks via MPI and Circuit-Switched Inter-FPGA Networks
虽然FPGA加速器板及其各自的高级设计工具正在成熟,但仍然缺乏多FPGA应用程序、库,尤其是针对这些设备的持续HPC使用的基准和参考实现。与HPC中GPU的早期一样,对于可以合理地解耦为松散耦合工作集的工作负载,可以通过在主机端使用标准通信接口(如MPI)来实现多加速器支持。然而,对于性能和生产力,一些应用程序可以从加速器的更紧密耦合中获益。FPGA提供了独特的机会,在这里扩展的低功耗特性,以他们的通信接口。在这项工作中,我们通过多FPGA支持和三个缺失的基准测试来扩展HPCC FPGA基准测试套件,这些基准测试特别表征或强调设备间通信:b_eff,PTRANS和LINPACK。通过对当前采用英特尔和Xilinx FPGA的主板实施的所有基准测试,我们建立了多FPGA性能的基准。此外,对于以通信为中心的基准测试,我们探索了通过电路交换FPGA间网络进行直接FPGA到FPGA通信的潜力,该网络目前仅适用于其中一个电路板。在多达26个FPGA板上并行执行的评估使用了最大的学术FPGA安装之一。
2022-02-28 cs.AR cs.DC
HALO 1.0: A Hardware-agnostic Accelerator Orchestration Framework for Enabling Hardware-agnostic Programming with True Performance Portability for Heterogeneous HPC
Arizona State University(亚利桑那州立大学)
本文介绍了HALO 1.0,一个开放式的可扩展的多代理软件框架,实现了一组建议的硬件无关的加速器编排(HALO)的原则。HALO实现了一种新颖的以计算为中心的消息传递接口(C^2MPI)规范,用于实现跨异构加速器的硬件无关主机应用程序的性能可移植执行。对基于Intel Xeon E5-2620 CPU、Intel Arria 10 GX FPGA和NVIDIA GeForce RTX 2080 Ti GPU的八个广泛使用的HPC子程序进行评估的实验结果表明,HALO 1.0允许主机程序的统一控制流在所有计算设备上运行,并具有一致的最高性能可移植性得分,这比基于OpenCL的解决方案高出五个数量级。
2022-07-06 cs.CL cs.DC cs.PF
Scheduling Beyond CPUs for HPC
高性能计算(HPC)正在经历重大变革。新兴的HPC应用包括计算密集型和数据密集型应用。为了满足新兴的数据密集型应用程序的强烈I/O需求,在生产系统中部署了突发缓冲区。现有的HPC处理器主要以CPU为中心。硬件设备的极端异构性与工作负载变化相结合,迫使配置者考虑多个资源(例如,突发缓冲区)超出CPU,在决策。在这项研究中,我们提出了一个多资源调度方案BBSched调度用户作业的基础上,不仅他们的CPU要求,但也有其他可扩展的资源,如突发缓冲区。BBSched将调度问题转化为一个多目标优化问题,并使用多目标遗传算法快速求解。BBSched生成的多个解决方案使系统管理员能够在各种资源之间探索潜在的权衡,从而更好地利用所有资源。使用真实系统工作负载进行的跟踪驱动模拟表明,与现有方法相比,BBSched将调度性能提高了41%,这表明显式优化CPU以外的多个资源对于HPC调度至关重要。
2020-12-10 cs.DC
Scaling the memory wall using mixed-precision -- HPG-MxP on an exascale machine
本研究针对百亿亿次系统提出了高度优化的 HPG-MxP 基准测试实现及算法增强,首次在现代基于 GPU 的超级计算机上利用双精度与单精度结合实现了 1.6 倍的加速。
2025-07-15 cs.DC cs.NA cs.PF
Parallel Paradigms in Modern HPC: A Comparative Analysis of MPI, OpenMP, and CUDA
本文比较了MPI、OpenMP和CUDA三种HPC并行模型,分析其架构、性能与适用性,指出混合方法在异构环境中效果最佳,选择需依应用、硬件和开发约束而定。
2025-06-18 cs.DC
Active Access: A Mechanism for High-Performance Distributed Data-Centric Computations
远程内存访问(RMA)是一种新兴的高性能编程模型,它直接使用RDMA硬件。然而,访问远程存储器不能调用活动的目标,复杂的实现和限制性能的数据为中心的算法。我们提出了主动访问(AA),一种机制,集成了著名的主动消息(AM)的语义与RMA,使高性能的分布式数据为中心的计算。AA支持一种新的编程模型,在这种模型中,用户指定在传入的放置和获取引用指定地址时触发的处理程序。AA基于对输入/输出存储管理单元(IOMMU)的一组扩展,IOMMU是一个为将I/O访问重新映射到存储器提供高性能硬件支持的单元。我们说明了AA优于现有的AM和RMA设计,加速各种代码,如分布式哈希表或日志计划,并启用新的协议,如增量检查点的RMA。我们还讨论了扩展IOMMU如何可以支持虚拟化的全局地址空间在分布式系统中,提供已知的功能,从节点上的内存虚拟化。我们期望AA能够增强大型计算中心的HPC操作和运行时系统的设计。
2020-10-18 cs.AR cs.DC cs.NI
MEMPOWER: Efficient Power Management with Fine-grained Memory Analysis and Modeling for HPC Workloads
Oregon State University(俄勒冈州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对HPC应用的计算与数据移动不平衡问题,提出基于细粒度内存行为建模的MEMPOWER框架,可降低6%-42%的EDP且对执行时间影响小。
2026-08-24 cs.DC
Metall: A Persistent Memory Allocator For Data-Centric Analytics
数据分析应用程序在执行分析之前将原始输入数据转换为特定于分析的数据结构。不幸的是,这样的数据摄取步骤通常比分析更昂贵。此外,各种类型的NVRAM设备已经在当今的许多HPC系统中使用。这样的设备对于在单个过程生存周期之外存储和重用数据结构将是有用的。我们开发了Metall,一个建立在内存映射文件机制之上的持久内存分配器。Metall使应用程序能够透明地将自定义C++数据结构分配到各种类型的持久性内存中。Metall融合了受Supermalloc启发的简洁且高性能的存储管理算法和由Boost.Interprocess库开发的丰富C++接口。在动态图构建工作负载上,Metall的性能分别比Boost.Interprocess和memkind(PMEM类)提高了11.7倍和48.3倍。我们还展示了Metall的高适应性集成到一个图形处理框架,GraphBLAS模板库。这项研究的结果表明,Metall将是一个强大的工具,通过允许应用程序有效地利用持久内存来加速未来的大规模数据分析。
2022-03-01 cs.DC
The Landscape of GPU-Centric Communication
Koç University(科奇大学);University of Trento(特伦托大学);Sapienza University of Rome(罗马智慧大学)
本文探讨GPU导向通信的现状,分析其复杂性与多样性,定义术语并分类现有方法,旨在为研究人员和工程师提供多GPU系统的优化指南。
2026-04-23 cs.DC cs.ET cs.PF
Callipepla: Stream Centric Instruction Set and Mixed Precision for Accelerating Conjugate Gradient Solver
FPGA处理能力的持续增长加上高带宽存储器(HBM),使得像Xilinx U280这样的系统成为线性求解器的可靠平台,这些线性求解器通常主导着科学和工程应用的运行时间。在本文中,我们提出了Callipepla,一个加速器的预处理共轭梯度线性求解器(CG)。CG的FPGA加速面临三个挑战:(1)如何支持任意问题并动态终止加速处理,(2)如何协调处理模块之间的长向量数据流,以及(3)如何节省片外内存带宽并保持双倍(FP 64)精度准确度。为了解决这三个挑战,我们提出了(1)用于高效流处理和控制的以流为中心的指令集,(2)向量流重用(VSR)和分散式向量流调度,以协调模块之间的向量数据流,并通过双存储器通道设计进一步减少片外存储器访问,以及(3)混合精度方案,以节省带宽而仍然实现有效的双精度的质量解决方案。据我们所知,这是第一个工作,介绍了VSR的概念,片上模块之间的数据重用,以减少不必要的片外访问的FPGA加速器。我们在Xilinx U280 HBM FPGA上实现了加速器原型。我们的评估表明,与Xilinx HPC产品XcgSolver相比,Callipepla实现了3.94倍的加速比,3.36倍的吞吐量和2.94倍的能效。与内存带宽是Callipepla 4倍的NVIDIA A100 GPU相比,我们仍然实现了77%的吞吐量,能源效率提高了3.34倍。该代码可在https://gi…
2022-12-29 cs.AR cs.DC
The Memory Controller Wall: Benchmarking the Intel FPGA SDK for OpenCL Memory Interface
凭借其高能效和高级综合(HLS)的最新进展,FPGA正在迅速进入HPC和云系统。到目前为止,已经做了大量的工作,对不同的应用程序在FPGA上使用HLS的循环和面积优化。然而,在文献中缺少对FPGA的存储器控制器的行为和效率的全面分析,当考虑到现代FPGA与其GPU对应物相比有限的内存带宽时,这变得更加关键。在这项工作中,我们将分析英特尔FPGA SDK为OpenCL生成的内存接口,这些接口具有不同的输入/输出阵列配置、向量大小、交错、内核编程模型、片上通道、工作频率、填充和多种类型的重叠阻塞。我们的研究结果指出了英特尔FPGA的内存控制器中的多个缺点,特别是在内存访问对齐方面,这可能会阻碍程序员在设计中最大限度地提高内存性能的能力。对于其中的某些情况,我们将提供解决方案来提高内存带宽效率;但是,一般解决方案需要对内存控制器本身进行重大更改。
2020-02-14 cs.AR cs.DC
AI Hardware Accelerators for Large Language Models: Architectures and the Memory Wall
Shiv Nadar Institution of Eminence(Shiv Nadar卓越学院)
本综述梳理了各类面向大语言模型的AI硬件加速器架构,基于Transformer与Roofline分析指出内存是加速核心约束,对比各平台特性并展望了未来以内存为中心的异构系统发展方向。
2026-08-31 cs.AR cs.DC
PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems
个性化推荐的发展显着提高了信息匹配的准确性和电子商务平台的收入。近年来,它有两个趋势:1)推荐系统必须及时训练,以应对不断增长的新产品和不断变化的用户兴趣,从在线营销和社交网络; 2)SOTA推荐模型引入DNN模块,以提高预测精度。传统的基于CPU的推荐系统不能满足这两个趋势,以GPU为中心的训练已经成为一种趋势。然而,我们观察到GPU设备在训练推荐系统中的利用率不足,并且它们不能达到预期的吞吐量提高,因为它在CV和NLP领域已经取得了成就。这个问题可以解释为这些推荐模型的两个特点:第一,它们包含多达一千个输入特征字段,引入零碎和内存密集型操作;第二,多个组成特征交互子模块引入了大量的小型计算内核。为了消除这个障碍,推荐系统的发展,我们提出了一个新的框架名为PICASSO商品硬件上的推荐模型的训练加速。具体而言,我们进行了系统的分析,以揭示培训推荐模型中遇到的瓶颈。我们利用模型结构和数据分布,通过我们的打包、交织和缓存优化来释放硬件的潜力。实验表明,PICASSO在SOTA基准的基础上,硬件利用率提高了一个数量级,对各种行业推荐模型的吞吐量提升高达6倍。在生产中使用相同的硬件预算,PICASSO平均将日常培训任务的walltime缩短了7个小时,大大减少了持续交付的延迟。
2022-04-17 cs.DC cs.IR
Next-Gen Computing Systems with Compute Express Link: a Comprehensive Survey
针对处理器与设备互连性能落后于计算性能的问题,本文全面综述了基于英特尔CXL技术的计算系统进展,涵盖单机(内存扩展、统一内存)与分布式场景,探讨了未来内存中心计算方向。
2025-02-20 cs.DC
Toward a Unified GPU-Aware OpenSHMEM Specification
Hewlett Packard Enterprise (HPE)(惠普企业);Advanced Micro Devices, Inc.(超威半导体公司)
研究针对领导级HPC系统中GPU内存模型缺乏可移植语义的问题,提出支持GPU通信的OpenSHMEM辅助规范,通过扩展内存模型等方式,实现跨多供应商GPU的语义指定与实现,迈向规范统一。
2026-07-10 cs.DC