首页/论文/1402.5897

arXiv 1402.58972014-02-21cs.MScs.NAcs.PFmath.NA

缓存影响的研究：密集线性代数内核序列

A Study on the Influence of Caching: Sequences of Dense Linear Algebra Kernels

AICES, RWTH Aachen（亚琛工业大学 AICES 研究所）

Elmar Peise, Paolo Bientinesi

备注：: Submitted to the Ninth International Workshop on Automatic Performance Tuning (iWAPT2014)

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

AI总结：

本文研究了缓存对线性代数算法性能建模和预测的重要性，指出数据局部性比浮点运算优化更关键。

摘要：

众所周知，缓存对实现高性能至关重要：在许多情况下，数据局部性（空间和时间）比优化浮点运算数量更具决定性。本文证明，至少对于线性代数算法，缓存也是准确性能建模和预测的关键因素。

英文摘要：

It is universally known that caching is critical to attain high- performance implementations: In many situations, data locality (in space and time) plays a bigger role than optimizing the (number of) arithmetic floating point operations. In this paper, we show evidence that at least for linear algebra algorithms, caching is also a crucial factor for accurate performance modeling and performance prediction.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Kokkos Kernels：性能可移植的稀疏/稠密线性代数和图核

Kokkos Kernels: Performance Portable Sparse/Dense Linear Algebra and Graph Kernels

随着硬件体系结构向百亿亿级发展，开发计算科学和工程（CSE）应用程序依赖于可持续软件开发的性能可移植方法。本文介绍了一个方面的性能可移植性与开发一个可移植的内核库，服务于几个CSE应用程序和软件框架的需求。我们描述Kokkos Kernels，一个用于稀疏线性代数，稠密线性代数和图形内核的内核库。我们描述了这样一个库的设计原则，并展示了一些选定的内核库的便携式性能。具体来说，我们展示了四个稀疏内核，三个密集批处理内核，两个图形内核和一个团队级算法的性能。

2021-03-22cs.MS

高性能稠密线性代数的最后一英里自动化

Automating the Last-Mile for High Performance Dense Linear Algebra

高性能密集线性代数（DLA）库通常依赖于使用汇编或向量内部函数实现的通用矩阵乘法（Gemm）内核。特别是，实值Gemm内核提供了复值Gemm内核的绝大多数性能，以及整个3级BLAS和许多实和复LAPACK例程。因此，实现Gemm内核的高性能转化为该内核之上的高性能线性代数堆栈。然而，对于领域专家来说，为每个库支持的体系结构手动实现内核是一项艰巨的任务。这导致人们相信宝石内核的工艺更像是黑暗艺术而不是科学。正是这个前提推动了DLA领域中使用代码生成进行自动调优的流行。相反，本文的重点是分析方法的代码生成的Gemm内核的不同的体系结构，为了阐明的细节或巫术需要实现一个高性能的Gemm内核。我们蒸馏的内核到一个更小的内核，外产品的实施，并分析确定如何可用的SIMD指令可以用来计算外产品有效。我们将这种方法编入一个系统，自动生成一个高性能的SIMD实现的Gemm内核。实验结果表明，我们的方法产生的内核与人工实现的内核或使用经验搜索的性能具有竞争力。

2017-04-28cs.MS

FLOPs作为稠密线性代数算法的判别式

FLOPs as a Discriminant for Dense Linear Algebra Algorithms

涉及矩阵和向量的表达式（称为线性代数表达式）通常通过一系列调用BLAS和LAPACK等库中提供的高度优化的内核进行评估。一个核序列代表一个算法，一般来说，由于结合性、代数恒等式和多个核，一个表达式可以通过许多不同的算法来计算。这些算法在数学上都是等价的（即，在精确的算术中，它们都计算相同的结果），但在执行时间方面往往有明显的不同。当面临决策时，高级语言、库和工具（如Julia、Armadillo和Linnea）会选择最小化FLOP计数的算法。在本文中，我们测试的有效性的FLOP计数作为一个判别密集的线性代数算法，分析“异常”：问题的情况下，最快的算法不执行最少的FLOP。为此，我们专注于相对简单的表达式，并分析异常发生的时间和原因。我们发现，异常存在，并倾向于集群成大的连续区域。一方面，表情异常是罕见的，而另一方面，它们是丰富的。我们的结论是，FLOPs是不是一个足够可靠的判别式，即使在建立高度优化的内核的算法。另外，即使过滤掉内核间缓存的影响，大多数异常仍然存在。我们推测，结合FLOP计数与内核性能模型将显着提高我们的能力，选择最佳的算法。

2022-07-05cs.MScs.PF

偶特征域上稠密线性代数的M4RIE库

The M4RIE library for dense linear algebra over small fields with even characteristic

在这项工作中，我们提出了M4 RIE库，该库实现了GF（2^e）上具有稠密矩阵的线性代数的有效算法，其中2 <= 2 <= 10。正如库的名称所示，它大量使用了M4 RI库，既直接（即，通过调用它）和间接地（即，使用其概念）。我们提供了一个开源的GPLv 2 + C库，用于GF（2^e）上的有效线性代数，其中e很小。在这个库中，我们实现了Bradshaw和Boothby的一个想法，它将GF（p^k）上的矩阵乘法简化为GF（p）上的一系列矩阵乘法。此外，我们提出了一种缓存技术-牛顿-约翰表-以避免有限域乘法，这是受Kronrod的方法（“M4 RM”）的启发，在GF（2）上的矩阵乘法。使用这两种技术，我们提供了渐近快速三角求解矩阵（TRSM）和基于PL的高斯消除。因此，我们能够显着改善GF（2^e）上的稠密线性代数的最新技术水平，其中2 <= e <= 10。

2011-11-29cs.MS

KBLAS：基于GPU加速器的稠密矩阵向量乘法优化库

KBLAS: An Optimized Library for Dense Matrix-Vector Multiplication on GPU Accelerators

KBLAS是一个新的开源高性能库，为支持CUDA的GPU上的Level 2 BLAS功能子集提供优化的内核。由于密集矩阵向量乘法的性能受到内存访问开销的阻碍，采用双缓冲优化技术来重叠数据运动与计算。在确定了一组适当的调优参数后，KBLAS能够在不同代的各种GPU架构上高效运行，避免了耗时的代码重写步骤，同时仍然符合标准BLAS API。另一种高级优化技术允许在处理子矩阵时确保合并的存储器访问，特别是在高级密集线性代数算法的上下文中。所有四种精度KBLAS内核都已被用于多GPU环境，这需要引入新的API来缓解用户在这些具有挑战性的系统上的体验。KBLAS的性能优于现有的最先进的实现在所有矩阵大小，实现渐近高达50%和60%的加速比单GPU和多GPU系统，分别，并验证了我们的性能模型。KBLAS高性能内核的一个子集已集成到NVIDIA的标准BLAS实现（cuBLAS）中，以便从6.0版开始进行更大范围的传播。

2014-10-07cs.MS

英特尔 Max 系列 GPU 上深度学习稀疏矩阵内核的性能优化

Performance Optimization of Deep Learning Sparse Matrix Kernels on Intel Max Series GPU

Old Dominion University（老道明大学）；Intel Corporation（英特尔公司）

本文利用英特尔 oneAPI 的 ESIMD SYCL 扩展 API 优化了 SPMM、SDDMM 和 FusedMM 三种稀疏矩阵运算，在英特尔 Max 系列 GPU 上实现接近峰值性能，并优于 oneMKL 及 NVIDIA V100 上的 CUDA 实现。

2023-11-01cs.LGcs.MS