首页/论文/0707.2347

arXiv 0707.23472007-07cs.MS

Strassen-Winograd矩阵乘法算法的内存有效调度

Memory efficient scheduling of Strassen-Winograd's matrix multiplication algorithm

Brice Boyer, Jean-Guillaume Dumas, Clément Pernet, Wei Zhou

发表信息：: (International Symposium on Symbolic and Algebraic Computation 2009), Séoul : Corée, République de (2009)

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了几个新的时间表Strassen-Winograd的矩阵乘法算法，他们减少了额外的内存分配要求，通过三种不同的手段：通过引入一些预添加，通过对输入矩阵，或通过使用第一递归级的经典乘法。特别是，我们展示了两个完全到位的时间表：一个具有相同数量的操作，如果输入矩阵可以被覆盖;另一个，稍微增加常数的复杂性的前导项，如果输入矩阵是只读的。这些时间表中的许多已经发现了一个基于卵石游戏的穷举搜索算法的实现。

英文摘要：

We propose several new schedules for Strassen-Winograd's matrix multiplication algorithm, they reduce the extra memory allocation requirements by three different means: by introducing a few pre-additions, by overwriting the input matrices, or by using a first recursive level of classical multiplication. In particular, we show two fully in-place schedules: one having the same number of operations, if the input matrices can be overwritten; the other one, slightly increasing the constant of the leading term of the complexity, if the input matrices are read-only. Many of these schedules have been found by an implementation of an exhaustive search algorithm based on a pebble game.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于并行Strassen和Winograd算法的多精度矩阵乘法性能评估

Performance evaluation of multiple precision matrix multiplications using parallelized Strassen and Winograd algorithms

众所周知，Strassen和Winograd算法可以减少与稠密矩阵乘法相关的计算成本。我们已经证明，它们对于基于软件的多精度浮点运算环境（如MPFR/GMP库）也非常有效。在本文中，我们表明，我们可以获得相同的效率双（DD）和四倍双（QD）的QD库支持的环境，并行化可以提高这些多精度矩阵乘法的速度。最后，我们证明了我们实现的并行Strassen和Winograd算法可以提高并行LU分解的速度。

2015-10-29cs.MScs.NAmath.NA

矩阵乘法的几种方法及其实现

Methods of Matrix Multiplication: An Overview of Several Methods and their Implementation

在这篇概述文章中，我们介绍了几种矩阵相乘的方法以及这些方法在C中的实现。并给出了一个小程序对它们的运行时间和数值稳定性进行了比较。这些方法是：朴素方法、处理数组的朴素方法、具有\textsc{Kahan}技巧的朴素方法、具有循环展开的三种方法、Winograd方法和缩放变体、原始\textsc{Strassen}方法和\textsc{Strassen} - \textsc{Winograd}变体。请注意，这是第一个版本。这些算法没有经过很好的测试，而且实现也没有优化。如果你想加入这个项目，请联系我。

2011-06-03cs.MS

实用快速矩阵乘法算法族的生成

Generating Families of Practical Fast Matrix Multiplication Algorithms

矩阵乘法（GEMM）是许多科学应用的核心运算。传统的实现Strassen类快速矩阵乘法（FMM）算法通常不执行，除了非常大的矩阵大小，由于内存移动的成本增加，这是特别明显的非正方形矩阵。这样的实现还需要相当大的工作空间和对标准BLAS接口的修改。我们提出了一个代码生成器框架，自动实现一个大家庭的FMM算法适合于任意矩阵大小和形状的乘法。通过用三个矩阵[U，V，W]来表示FMM，这些矩阵捕获所形成的子矩阵的线性组合，我们可以使用Kronecker积来定义类Strassen算法的多级表示。将Strassen类算法必须执行的矩阵加法扩展到GEMM内部的固有打包和微内核操作中，避免了额外的工作空间，并降低了内存移动的成本。采用与高性能GEMM实现相同的循环结构，允许所有FMM算法的并行化，具有简单但有效的数据并行，而没有任务并行的开销。我们提出了一个简单的性能模型，一般FMM算法和比较实际性能的20+ FMM算法建模的预测。我们的实现表现出的性能优势，传统的GEMM单核和多核系统。这项研究表明，类Strassen快速矩阵乘法可以纳入图书馆的实际使用。

2016-11-03cs.MS

用BLIS实现Strassen算法

Implementing Strassen's Algorithm with BLIS

我们消除与“街头智慧”关于Strassen的算法的矩阵矩阵乘法（DGEMM）的实际执行。传统观点：它只适用于非常大的矩阵。我们的实现是实用的小矩阵。传统观点认为：被乘的矩阵应该是相对平方的。我们的实现对于rank-k更新是实用的，其中k相对较小（对于像LAPACK这样的库来说是重要的形状）。传统智慧：它本质上需要大量的工作空间。我们的实现不需要超出缓冲区的工作空间已经纳入传统的高性能DGEMM实现。传统观点：Strassen DGEMM接口必须在工作区中传递。我们的实现不需要这样的工作区，可以与标准DGEMM接口插件兼容。传统观点：很难证明多核架构的加速。我们的实现证明了即使在使用240个线程的英特尔（R）至强融核（TM）协处理器上也比传统的DGEMM加速。我们展示了如何分布式存储器矩阵矩阵乘法也受益于这些进步。

2016-05-03cs.MS

基于Strassen的快速$A^t A$并行乘法

Fast Strassen-based $A^t A$ Parallel Multiplication

矩阵乘法$A^t A$作为一种中间运算出现在许多问题的求解过程中。本文提出了一种新的$A^t A$乘法的高速缓存无关算法。我们的算法A $\scriptstyle \mathsf{T}$ A调用经典的Strassen算法作为子例程，将传统的$A^t A$乘法的计算成本%（以执行的产品的数量表示）降低到$\frac{2}{7}n^{\log_2 7}$。它适用于一般的矩形矩阵，并利用所得乘积矩阵的特殊对称性来节省内存。我们使用MPI范例来并行实现A $\scriptstyle \mathsf{T}$ A，并在Galileo集群的一小部分节点上测试其性能。实验结果表明，该通信系统具有良好的可扩展性和加速性，同时所设计的通信系统中交换的消息数最少。在测试的配置中，并行开销和固有的顺序时间分数可以忽略不计。

2019-02-06cs.DCcs.MS

Strassen矩阵乘法算法仍然更快

Strassen's Matrix Multiplication Algorithm Is Still Faster

针对新发现的强化学习矩阵乘法算法缺乏实际性能验证的问题，本文提出Matrix Flow项目用于自动生成实现快速矩阵乘法算法，实验证明Strassen原始算法在现代GPU上仍性能最优。

2023-12-20cs.MScs.PF

更多相关论文收起更多论文

在NVIDIA Volta GPU上用CUTLASS实现Strassen算法

Implementing Strassen's Algorithm with CUTLASS on NVIDIA Volta GPUs

Strassen算法的传统GPU实现（Strassen）通常依赖于现有的高性能矩阵乘法（GEMM），以空间换取时间。因此，这种方法只能实现实际的加速相对较大的，“平方”矩阵由于额外的内存开销，其使用是有限的，由于相当大的工作空间。我们提出了新的Strassen图元的GPU，可以组成生成一个家庭的Strassen算法。我们的算法利用GPU上的内存和线程层次结构，重用从GEMM继承的共享内存和寄存器文件，融合额外的操作，并避免额外的工作空间。我们进一步利用内核内和内核间的并行性，流，并采用原子操作。我们还为NVIDIA Volta GPU开发了一个性能模型，以选择适当的阻塞参数并预测GEMM和Strassen的性能。总体而言，我们的1级Strassen可以实现高达1.11倍的加速比，交叉点小至1，536，而NVIDIA Tesla V100 GPU上的cublasSgemm。通过额外的工作空间，我们的2级Strassen可以实现1.19倍的加速比，交叉点为7，680。

2018-08-24cs.MS

张量收缩的Strassen算法

Strassen's Algorithm for Tensor Contraction

张量收缩（TC）是一个重要的计算内核，广泛应用于许多应用。它是矩阵乘法（GEMM）的多维推广。虽然Strassen的GEMM算法在理论和实践上都得到了很好的研究，但将其扩展到加速TC之前还没有进行过。因此，我们相信这是第一篇论文，以证明如何在实践中可以加快张量收缩与Strassen的算法。通过采用一种新的以矩阵为中心的张量布局，即块-分散-矩阵格式，我们可以在概念上将TC视为一般步幅存储的GEMM，并进行隐式张量到矩阵的变换。这一见解使我们能够定制最近的状态的最先进的实现斯特拉森的算法TC，避免显式的换位（排列）和额外的工作空间，并减少内存移动所产生的开销。通过性能模型以及在现代单核、多核和分布式内存并行架构上的实践证明了性能优势，实现了高达1.3倍的加速比。由此产生的实现可以作为各种应用程序的直接替代品，具有显著的加速效果。

2017-04-11cs.MS

大整数的快速乘法：DKSS算法的实现与分析

Fast Multiplication of Large Integers: Implementation and Analysis of the DKSS Algorithm

Schönhage-Strassen算法（SSA）是大整数乘法的事实标准。对于$N$位数，它的时间界限为$O(N \cdot \log N \cdot \log \log N)$。De，Kurur，Saha和Saptharishi（DKSS）提出了一种渐近快速的算法，该算法具有更好的时间界$N \cdot \log N \cdot 2^{O(\log^* N)}$。在这篇毕业论文中，DKSS乘法的实现结果：运行时间比SSA大30倍，而内存需求比SSA高3.75倍。一个可能的交叉点估计是遥不可及的，即使我们利用整个宇宙的计算机内存。

2015-03-17cs.MS

GF上稠密矩阵的有效乘法（2）

Efficient Multiplication of Dense Matrices over GF(2)

我们描述了一个有效的实现算法的层次结构的乘法稠密矩阵在域上的两个元素（GF（2））。特别是，我们提出了我们的实现-在M4 RI库-的Strassen-Winograd矩阵乘法和“四个俄罗斯人的方法”乘法（M4 RM），并将其与其他可用的实现进行比较。良好的性能表现在AMD的Opteron上，特别是在英特尔的Core 2 Duo上。开源M4 RI库可以独立使用，也可以作为Sage数学软件的一部分使用。在机器术语中，GF（2）中的加法是逻辑XOR，乘法是逻辑AND，因此64位的机器字允许并行操作GF（2）的64个元素：最多一个CPU周期用于64个并行加法或乘法。因此，GF（2）上的逐元素运算相对便宜。事实上，在本文中，我们得出的结论是，实际的瓶颈是内存读写和数据局部性问题。我们提出了我们的实证研究结果，最大限度地减少这些，并给出了分析。

2008-11-11cs.MS

实用平行快速矩阵乘法的框架

A Framework for Practical Parallel Fast Matrix Multiplication

Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）

本文提出一个框架，展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法，同时探讨矩阵形状对算法选择的影响，并开发代码生成工具实现多种并行变体。

2014-09-09cs.DCcs.MScs.NA