Parallel Sparse Matrix-Matrix Multiplication and Indexing: Implementation and Experiments
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出一种基于二维块数据分布和串行超稀疏内核的并行SpGEMM方法,实现了分布式内存中通用稀疏矩阵索引的高效算法,并在数千处理器上展示可扩展性。
2012-04-26 cs.DC cs.MS cs.NA
Performance Evaluation of Sparse Matrix Multiplication Kernels on Intel Xeon Phi
Intel Xeon Phi是最近发布的一款高性能协处理器,其特点是61个内核,每个内核支持4个硬件线程,具有512位宽的SIMD寄存器,在双精度的中实现了1 Tflop/s的峰值理论性能。许多科学应用涉及大型稀疏矩阵的运算,如线性求解器,特征求解器和图形挖掘算法。这些应用程序的核心大多涉及到一个大的,稀疏矩阵与密集向量(SpMV)的乘法。在本文中,我们研究了用于SpMV的Xeon Phi协处理器的性能。我们首先提供了一个全面的介绍,这种新的架构,并分析其峰值性能与一些微基准。虽然Xeon Phi内核的设计与现代处理器中的内核没有太大区别,但其大量内核和超线程功能使许多应用程序能够饱和可用的内存带宽,而许多尖端处理器并非如此。然而,我们的性能研究表明,这是内存延迟,而不是带宽,这创造了一个瓶颈的SpMV在这个架构。最后,我们的实验表明,Xeon Phi的稀疏内核性能非常有前途,甚至优于尖端的通用处理器和GPU。
2013-02-05 cs.AR cs.PF
Performance Modeling of Streaming Kernels and Sparse Matrix-Vector Multiplication on A64FX
A64 FX CPU是目前Top500排行榜上排名第一的超级计算机。虽然它是一个传统的基于缓存的多核处理器,但其峰值性能和内存带宽可与加速器设备相媲美。为这样一个新的体系结构生成高效的代码需要很好地理解其性能特性。利用这些功能,我们构建的执行缓存存储器(ECM)的性能模型的A64 FX处理器在FX 700超级计算机,并验证它使用流循环。我们还确定架构的特点,并获得优化提示。将ECM模型应用于稀疏矩阵向量乘法(SpMV),我们激发了CRS矩阵存储格式不合适的原因以及SELL-C-sigma格式如何通过适当的代码优化实现SpMV的带宽饱和。
2020-09-29 cs.AR cs.DC cs.PF
Parallel Multi Channel Convolution using General Matrix Multiplication
Trinity College Dublin(都柏林圣三一学院)
卷积神经网络(CNN)已经成为用于图像和视频处理的最成功的机器学习技术之一。CNN计算最密集的部分是卷积层,它将多通道图像与多个内核进行卷积。实现卷积层的常见方法是将图像扩展为列矩阵(im2col),并使用现有的并行通用矩阵乘法(GEMM)库执行多通道多核(MCMK)卷积。这种im2col转换极大地增加了输入矩阵的内存占用,并降低了数据局部性。在本文中,我们提出了一种新的方法MCMK卷积,是基于一般矩阵乘法(GEMM),但不是im2col。我们的算法消除了对输入数据复制的需要,从而使我们能够直接在输入图像上应用卷积核。我们已经实现了我们的算法在CPU处理器和嵌入式ARM处理器的几个变种。在CPU上,我们的算法在大多数情况下比im2col快。
2017-07-03 cs.CV cs.PF
A matrix math facility for Power ISA(TM) processors
International Business Machines Corporation(国际商业机器公司)
Power ISA(TM)3.1版引入了一系列新的矩阵数学指令,统称为矩阵乘法辅助(MMA)工具。该工具中的指令在小矩阵上实现数值线性代数运算,旨在加速计算密集型内核,例如矩阵乘法,卷积和离散傅立叶变换。这些指令在未来的POWER10处理器中实现了高吞吐量数学引擎的功耗和面积效率。在恒定频率下,每个核心的性能比上一代POWER9处理器高4倍。我们还提倡使用编译器内置程序作为利用这些指令的首选方式,我们通过案例研究来说明,包括矩阵乘法和卷积。
2021-04-07 cs.AR cs.LG cs.PF
Model-guided Performance Analysis of the Sparse Matrix-Matrix Multiplication
稀疏矩阵的数值核实现高效率是至关重要的,因为它们是许多模拟代码的一部分,往往会使用大部分可用的计算时间和资源。此外,特别是在大型仿真框架中,数学表达式的可读性和易用性是软件持续维护、修改和扩展的重要组成部分。在这种情况下,稀疏矩阵矩阵乘法是特别感兴趣的。本文深入分析了Blaze智能表达式模板(SET)框架中稀疏矩阵-矩阵乘法内核的单核性能。我们开发简单的模型来估计可实现的最大性能,并使用它们来评估我们的实现的效率。此外,我们将这些内核与几个常用的基于SET的C++库进行了比较,这些库与Blaze一样,旨在将高性能的要求与优雅的用户界面相结合。对于这里考虑的不同稀疏矩阵结构,我们证明了我们的实现在当前英特尔多核处理器上的大多数问题大小上都比其他SET库具有竞争力或更快。
2013-05-06 cs.MS cs.PF
Chebyshev Filter Diagonalization on Modern Manycore Processors and GPGPUs
切比雪夫滤波器对角化在量子化学和量子物理中被很好地建立,以计算大型稀疏矩阵的特征值。选择一个块向量实现,我们调查优化的机会,具有高带宽和低带宽内存的高性能计算设备的新的类。我们关注的是对两种架构所支持的完整地址空间的透明访问:英特尔至强融核“骑士登陆”和英伟达“帕斯卡”。“我们提出了两个优化:(1)应用子空间分块来提高性能和数据访问效率。我们还表明,它允许透明地处理问题比高带宽内存大得多,而没有显着的性能损失。(2)连续子空间的通信和计算阶段的流水线实现隐藏通信成本,而无需额外的内存流量。作为一个应用场景,我们使用拓扑绝缘体材料的过滤器对角化研究。OakForest-PACS和Piz Daint超级计算机上多达512个节点的性能数据,实现了超过100 Tflop/s,用于计算10亿维稀疏矩阵的100个内部特征值。
2018-03-06 cs.MS cs.PF physics.comp-ph
Red-blue pebbling revisited: near optimal parallel matrix-matrix multiplication
我们建议宇宙空间协会:一种并行矩阵-矩阵乘法算法,对于矩阵维度、处理器计数和存储器大小的所有组合而言,该算法接近通信最优。COSMA背后的关键思想是导出一个最佳的(对于10 MB的快速内存,最高可达0.03\%)顺序调度,然后将其并行化,保持I/O最优性。为了实现这一点,我们使用红蓝卵石游戏精确建模MMM依赖,并推导出一个建设性的和紧密的顺序和并行I/O下界证明。与2D或3D算法(预先修复处理器分解,然后将其映射到矩阵维度)相比,它将通信量减少了高达$\sqrt{3}$倍。COSMA在所有场景中的性能都优于ScaLAPACK、CARMA和CTF算法,最高可达12.8倍(平均2.2倍),达到Piz Daint峰值性能的88%。我们的工作不需要任何手动调优,并且作为开源实现进行维护。
2019-12-13 cs.CC cs.DC cs.PF
Evaluation of DVFS techniques on modern HPC processors and accelerators for energy-aware applications
对于计算系统,特别是对于大规模HPC设施,能量效率变得越来越重要。在这项工作中,我们评估,从用户的角度来看,使用动态电压和频率调节(DVFS)技术,辅助现代处理器的功率和能源监测能力,以调整应用程序的能源效率。我们在HPC环境中广泛使用的两个高端处理器上运行选定的内核和完整的HPC应用程序,即NVIDIA K80 GPU和Intel Haswell CPU。我们评估可用的能源之间的权衡解决方案和时间的解决方案,尝试一个功能的功能频率调谐。最后,我们估计了在HPC多GPU节点上运行完整代码所能获得的好处,相对于默认的时钟频率调控器。我们对代码进行检测,以准确监控功耗和执行时间,而无需任何额外的硬件,并且我们使其能够在运行时更改CPU和GPU的时钟频率。我们分析了我们的结果不同的架构,使用一个简单的能源性能模型,并得出了一些节能策略,可以很容易地通过最近的高端HPC系统的通用应用程序。
2017-03-08 cs.DC cs.PF
Mixed-mode implementation of PETSc for scalable linear algebra on multi-core processors
随着多核处理器成为现代超级计算机中无处不在的构建块,现在是时候让应用程序在处理器设计中接受这些发展了。为了实现亿级性能,应用程序将需要利用现代高性能计算机中暴露的新并行级别的方法。一种典型的方法是使用共享内存编程技术来最好地利用多核节点以及节点间消息传递。在本文中,我们描述了在PETSc库中添加OpenMP线程功能。我们强调了一些问题,阻碍了线程应用程序在现代处理器上的良好性能,并描述了如何否定它们。PETSc的OpenMP分支使用从Fluidity中提取的矩阵进行基准测试,Fluidity是一种CFD应用程序代码,使用该库作为其线性求解器引擎。混合模式实现的整体性能优于纯MPI版本。
2012-08-10 cs.DC cs.PF
Bridging the Architecture Gap: Abstracting Performance-Relevant Properties of Modern Server Processors
我们描述了一种通用的建模方法,用于预测服务器处理器上的稳定状态循环的单核和多核运行时间。为此,我们严格区分应用程序和机器模型:应用程序模型包括循环代码,问题大小和其他运行时参数,而机器模型是CPU所有性能相关属性的抽象。我们介绍了一个通用的方法来确定机器模型和相关的服务器处理器架构的英特尔,AMD,IBM和Marvell/Cavium目前的结果。考虑到如此广泛的体系结构,足够的性能建模所需的特性集出奇地少。为了验证我们的方法,我们比较性能预测的经验数据的OpenMP并行预处理CG算法,其中包括计算和内存绑定的内核。单核心和多核心分析表明,该模型具有5%和10%的平均和最大相对误差。偏离模型和获得的见解进行了详细讨论。
2019-07-01 cs.AR cs.DC cs.PF
Performance limitations for sparse matrix-vector multiplications on current multicore environments
多核处理器的重要性日益增加,要求重新评估现有的数值算法,因为它们能够从这种新的硬件概念中获益。为了优化现有的算法,不同的性能限制因素的详细知识是强制性的。在这篇文章中,我们研究稀疏矩阵向量乘法,这是许多稀疏特征值求解器中的主导操作。在过去,已经设想了两种概念上不同的存储方案和计算内核,分别针对基于高速缓存的架构和向量架构。从一系列微基准测试开始,我们将所获得的洞察力应用于优化的稀疏MVM实现,我们在最先进的多核系统上评估了其串行和OpenMP并行性能。
2009-10-26 cs.PF
DGEMM without FP64 Arithmetic - Using FP64 Emulation and FP8 Tensor Cores with Ozaki Scheme
Information Technology Center, Nagoya University(名古屋大学信息技术中心)
本研究针对AI硬件趋势转向FP8低精度浮点运算的现状,重新审视Ozaki方案,探索使用FP8张量核心及整数算术模拟FP64,并引入内积维度分块加速FP16实现,在NVIDIA RTX Blackwell GPU上验证了有效性。
2025-09-25 cs.AR cs.MS cs.PF
Understanding Big Data Analytic Workloads on Modern Processors
大数据分析应用程序在数据中心中发挥着重要作用,因此了解它们的行为以进一步提高数据中心计算机系统的性能变得越来越重要,其中表征代表性工作负载是关键的实际问题。在本文中,在调查了三个最重要的应用领域的页面浏览量和每日访问量之后,我们选择了11个代表性的数据分析工作负载,并通过使用硬件性能计数器来表征其微架构行为,以了解数据分析工作负载对配备现代超标量乱序处理器的系统的影响和含义。我们的研究表明,大数据分析应用程序本身具有许多固有的特征,这些特征使它们与传统的工作负载和横向扩展服务不同。为了进一步了解大数据分析工作负载的特征,我们对CPI(每指令周期)与其他微架构级别特征进行了相关性分析,并调查了大数据软件堆栈对应用程序行为的影响。我们的相关性分析表明,尽管大数据分析工作负载具有显著的流水线前端停顿,但影响CPI性能的主要因素是长延迟数据访问,而不是前端停顿。我们的软件栈调查发现,典型的大数据软件栈显著地导致前端停滞,并导致更大的工作集。最后,我们给出了几个建议,架构师,程序员和大数据系统设计人员与知识,从本文中获得的。
2015-04-20 cs.DC cs.PF
Performance analysis of the Kahan-enhanced scalar product on current multi- and manycore processors
我们调查的性能特点的数值增强的标量积(点)内核循环,使用Kahan算法来补偿数值误差,并描述了高效的SIMD向量化实现最近的多核和众核处理器。使用低级别的指令分析和执行缓存内存(ECM)的性能模型,我们查明了单核和线程并行执行的相关性能瓶颈,并预测性能和饱和行为。我们表明,Kahan增强标量积来在几乎没有额外的成本相比,天真(非Kahan)标量积,如果适当的低层次优化,特别是SIMD矢量化和展开,应用。ECM模型经过适当扩展,不仅可以容纳现代英特尔多核芯片,还可以容纳英特尔至强融核“Knights Corner”协处理器和IBM POWER8 CPU。这使我们能够讨论处理器功能对与高性能计算相关的四种现代体系结构性能的影响。
2016-04-07 cs.DC cs.PF
A Quantitative Analysis and Guidelines of Data Streaming Accelerator in Modern Intel Xeon Scalable Processors
本文针对现代CPU集成片上加速器的趋势,深入分析英特尔第四代至强处理器搭载的DSA的特性、通用性与吞吐量优势,总结使用指南并通过DPDK Vhost案例验证其实际应用价值。
2024-01-29 cs.AR cs.PF
Exploring performance and power properties of modern multicore chips via simple machine models
现代多核芯片在性能和功耗方面表现出复杂的行为。从英特尔Sandy Bridge处理器开始,直接测量CPU芯片的功耗并将此数据与运行代码的性能属性相关联已成为可能。超越一个简单的瓶颈分析,我们采用最近发表的执行缓存内存(ECM)模型来描述流内核的单核和多核性能。该模型改进了著名的屋顶线模型,因为它可以预测的缩放和饱和行为的带宽有限的循环内核在多核芯片上。饱和点与能量消耗的考虑特别相关。从功耗测量的基准程序有很大的不同要求的硬件,我们得出一个简单的,现象学的功率模型的桑迪桥处理器。与ECM模型一起,我们能够解释多核处理器的性能和功耗行为的许多特点,并推导出并行程序节能执行的指导方针。最后,我们表明,ECM和功率模型可以成功地用于描述的缩放和功率行为的格子玻尔兹曼流求解器代码。
2014-03-19 cs.DC cs.PF
Accelerating Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
稀疏通用矩阵-矩阵乘法(spGEMM)是许多科学和数据分析应用中的重要组成部分。然而,输入矩阵的稀疏模式和它们的模式的相互作用使得spGEMM具有挑战性。现代GPU包括张量核心单元(TCU),专门用于密集矩阵乘法。我们的目标是为稀疏矩阵重新使用TCU。我们的spGEMM算法tSparse的关键思想是使用TCU的混合精度模式来乘以稀疏矩形块。tSparse将输入矩阵划分为tile,并仅对包含一个或多个元素的tile进行操作。它创建区块的任务列表,并使用TCU执行这些区块的矩阵乘法。据我们所知,这是首次在spGEMM背景下使用TCU。我们表明,spGEMM,我们的平铺方法,从TCU的好处。与cuSPARSE、CUSP、RMerge 2、Nsparse、AC-SpGEMM和spECK相比,我们的方法显著提高了spGEMM的性能。
2020-09-29 cs.DC cs.MS cs.PF
Accelerating 128-bit Floating-Point Matrix Multiplication on FPGAs
本研究针对SDP等应用对高精度运算的需求及现有处理器支持不足的问题,在FPGA上实现了binary128精度GEMM加速,性能达90GFlops,是20线程CPU的147倍,并首次成功加速了LU分解与SDP问题。
2023-06-07 cs.AR cs.DC cs.MS
Accelerating Reduction and Scan Using Tensor Core Units
在深度学习的推动下,矩阵乘法的专用处理器激增,称为TensorCore单元(TCU)。这些TCU能够在小矩阵(通常为4x 4或16 x16)上执行矩阵乘法,以加速深度学习工作负载中的卷积和递归神经网络。在本文中,我们利用NVIDIA的TCU来表示矩阵乘法的减少和扫描,并显示其优点-在程序简单性,效率和性能方面。我们的算法可以使用闲置的NVIDIA TCU,实现89%-98%的峰值内存复制带宽,并且比机器学习和科学应用中常见的最先进的小段大小方法快几个数量级(缩减高达100倍,扫描高达3倍)。我们的算法实现了这一点,同时降低了功耗高达22%的减少和16%的扫描。
2019-11-23 cs.PF
A Recursive Algebraic Coloring Technique for Hardware-Efficient Symmetric Sparse Matrix-Vector Multiplication
对称稀疏矩阵向量乘法(SymmSpMV)是许多数值线性代数核运算或图遍历应用的重要构建块。由于需要管理结果向量上的冲突更新,因此在当今多达100个内核的多核平台上对SymmSpMV进行并行化是很困难的。着色方法可以用来解决这个问题,没有数据重复,但现有的着色算法不考虑负载均衡和深存储层次结构,阻碍了可扩展性和全芯片性能。在这项工作中,我们提出了递归代数着色引擎(RACE),一种新的着色算法和开源库实现,它消除了以前的着色方法在硬件效率和并行化开销方面的缺点。我们描述了RACE中的级别构造、距离k着色和负载均衡步骤,使用它来并行化SymmSpMV,并在两个现代多核处理器上比较了它在31个稀疏矩阵上与其他最先进的着色技术和英特尔MKL的性能。RACE大大优于所有其他方法,并根据Roofline模型进行操作。对异常值进行了详细的讨论和分析。虽然我们专注于SymmSpMV在本文中,我们的算法和软件是适用于任何稀疏矩阵操作的数据依赖关系,可以解决距离-k着色。
2019-07-15 cs.DC cs.PF