首页/论文/2210.04441

arXiv 2210.044412022-10-10cs.DC

容错Strassen矩阵乘法

Fault-Tolerant Strassen-Like Matrix Multiplication

Osman B. Guney, Suayb S. Arslan

备注：: 6 pages, 2 figures
DOI：: 10.1109/SIU49456.2020.9302383

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在这项研究中，我们提出了一个简单的容错类Strassen矩阵乘法的方法。所提出的方法是基于使用两个不同的类Strassen算法，而不是复制一个给定的。我们已经意识到，使用两种不同的算法，新的检查关系的出现，导致更多的本地计算。这些局部计算是使用计算机辅助搜索找到的。为了提高性能，特殊的奇偶校验（额外的）子矩阵乘法（PSMM）产生（其中两个）的代价增加系统的通信/计算成本。我们的初步结果表明，所提出的方法优于具有两个副本的Strassen类算法，并且仅使用2个PSMM就可以确保非常接近三个副本版本的性能，从而将计算节点的总数减少约24%，即，从21到16。

英文摘要：

In this study, we propose a simple method for fault-tolerant Strassen-like matrix multiplications. The proposed method is based on using two distinct Strassen-like algorithms instead of replicating a given one. We have realized that using two different algorithms, new check relations arise resulting in more local computations. These local computations are found using computer aided search. To improve performance, special parity (extra) sub-matrix multiplications (PSMMs) are generated (two of them) at the expense of increasing communication/computation cost of the system. Our preliminary results demonstrate that the proposed method outperforms a Strassen-like algorithm with two copies and secures a very close performance to three copy version using only 2 PSMMs, reducing the total number of compute nodes by around 24\% i.e., from 21 to 16.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Strassen算法的一部分可以在并行博弈中加速矩阵乘法

Part of the Strassen algorithm can speed up matrix multiplication in a parallel pebbling game

University of Victoria（维多利亚大学）

本文提出部分Strassen算法，通过使用部分Strassen步骤在更短时间内完成矩阵乘法，内存占用小，三级版本比BLAS快20%，且随矩阵增大性能优于传统Strassen算法。

2026-10-08cs.DC

Stark：使用Apache Spark的快速可扩展Strassen矩阵乘法

Stark: Fast and Scalable Strassen's Matrix Multiplication using Apache Spark

本文在Strassen矩阵乘法算法的基础上，在Apache Spark平台上提出了一种新的快速、高可扩展的分布式矩阵乘法算法Stark。Stark在分布式环境中保留了Strassen的7乘法方案，从而实现了更快的执行速度。它基于两个新的思想：建立一个计算的递归树，树的每一层对应于弹性分布式数据集（RDD）形式的分布式矩阵块的划分和组合;它并行处理每个除法和合并步骤，并通过智能标记其中的矩阵块来记忆子矩阵。据我们所知，Stark是Strassen在Spark平台上的第一个实现。我们的实验表明，斯塔克具有很强的可扩展性，随着矩阵大小的增加，使我们能够乘以两个（16384 × 16384）矩阵与28%和36%的挂钟时间分别比马林和MLLib，国家的最先进的矩阵乘法方法的基础上火花。

2018-11-22cs.DC

基于Strassen算法的可高效并行化矩阵与其转置的乘法

Efficiently Parallelizable Strassen-Based Multiplication of a Matrix by its Transpose

本研究提出缓存无关的ATA算法，以Strassen算法为子例程计算矩阵转置乘积$A^T A$，降低计算成本、节省内存，在共享内存与分布式环境下均展现出良好的可扩展性与优于现有方法的性能。

2021-10-25cs.DC

基于Strassen的快速$A^t A$并行乘法

Fast Strassen-based $A^t A$ Parallel Multiplication

矩阵乘法$A^t A$作为一种中间运算出现在许多问题的求解过程中。本文提出了一种新的$A^t A$乘法的高速缓存无关算法。我们的算法A $\scriptstyle \mathsf{T}$ A调用经典的Strassen算法作为子例程，将传统的$A^t A$乘法的计算成本%（以执行的产品的数量表示）降低到$\frac{2}{7}n^{\log_2 7}$。它适用于一般的矩形矩阵，并利用所得乘积矩阵的特殊对称性来节省内存。我们使用MPI范例来并行实现A $\scriptstyle \mathsf{T}$ A，并在Galileo集群的一小部分节点上测试其性能。实验结果表明，该通信系统具有良好的可扩展性和加速性，同时所设计的通信系统中交换的消息数最少。在测试的配置中，并行开销和固有的顺序时间分数可以忽略不计。

2019-02-06cs.DCcs.MS

Strassen矩阵乘法的通信最优并行算法

Communication-Optimal Parallel Algorithm for Strassen's Matrix Multiplication

并行矩阵乘法是分布式高性能计算中研究最多的基本问题之一。我们得到了一个新的并行算法，该算法是基于Strassen的快速矩阵乘法和最小化通信。该算法优于所有已知的并行矩阵乘法算法，经典的和基于Strassen的，无论是渐进的，并在实践中。并行化Strassen算法的一个关键瓶颈是处理器之间的通信。Ballard，Demmel，Holtz和Schwartz（SPAA'11）使用底层计算图的扩展特性证明了这些通信成本的下限。我们的算法匹配这些下限，因此是通信最优的。它在最大可能范围内表现出完美的强缩放性。基准测试我们的实现在Cray XT4上，我们获得了超过经典和基于Strassen的算法的加速比，范围从24%到184%，对于固定的矩阵维数n=94080，其中节点的数量范围从49到7203。我们的并行化方法推广到其他快速矩阵乘法算法。

2012-02-14cs.CCcs.DCcs.DS

矩阵乘法算法的强标度性与存储无关通信下界

Strong Scaling of Matrix Multiplication Algorithms and Memory-Independent Communication Lower Bounds

如果并行算法在P个处理机上的运行时间是1/P线性的，包括所有的通信开销，则该并行算法具有完美的强标度性。具有完美强标度的矩阵乘法的分布式内存并行算法最近才被发现。一种是基于经典矩阵乘法（Solomonik and Demmel，2011），另一种是基于Strassen的快速矩阵乘法（Ballard，Demmel，Holtz，Lipshitz，and Schwartz，2012）。这两种算法都可以完美地扩展，但只能扩展到处理器间通信不再扩展的处理器数量。我们得到了一个内存独立的通信成本的经典和基于Strassen的分布式存储矩阵乘法算法的下界。这些界限意味着，没有经典的或基于Strassen的并行矩阵乘法算法可以强大的规模完全超出上述两个并行算法已经达到的范围。记忆无关的边界和强缩放边界推广到其他算法。

2012-02-14cs.CCcs.DCcs.DS

更多相关论文收起更多论文

提高处理器不经意矩阵乘算法的空时效率

Improving the Space-Time Efficiency of Processor-Oblivious Matrix Multiplication Algorithms

经典的高速缓存无关并行矩阵乘法算法在时间和空间上都达到了最优，但不能同时达到最优，这促使人们对这类算法的最佳平衡或折衷进行了大量的研究。我们研究了现代处理器无关的运行时系统，并找出了几种方法来提高算法的时间界限，同时仍然有界空间和缓存的要求是渐近最优的。通过我们的研究，我们给出了半环上一般矩阵乘法的次线性时间、最优工作、空间和缓存算法以及类Strassen快速算法。我们的实验也表明，这样的算法有经验的优势，经典的同行。本文的研究从理论和实证两个方面为如何优化高速缓存无关并行算法提供了新的见解和研究角度。

2019-11-13cs.DC

快速矩阵乘法的图扩展和通信代价

Graph Expansion and Communication Costs of Fast Matrix Multiplication

算法的通信成本（也称为I/O复杂度）与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法，并获得第一个下界的通信成本。在顺序情况下，其中处理器具有大小为$M$的快速存储器，其太小而不能存储三个$n$ × $n$矩阵，对于许多矩阵乘法算法，在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$，其中$ω_0$是算术计数中的指数（例如，用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$）。对于$p$并行处理器，每个处理器具有大小为$M$的快速存储器，下限小$p$倍。这些界限是可达到的顺序和并行算法，因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得（例如，用于LU、QR和求解Sylvester方程的算法）。

2011-09-08cs.CCcs.DCcs.DS

SPIN：Apache Spark中一种快速可扩展的矩阵求逆方法

SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark

大数据在诸如地球科学、社交网络、物理科学等领域中的增长导致了对高效且可扩展的线性代数运算（例如，矩阵求逆）的巨大需求。使用大数据平台进行高效和分布式矩阵求逆的现有方法依赖于基于LU分解的块递归算法。然而，这些算法是复杂的，需要大量的边计算，例如矩阵乘法，在各种级别的递归。在本文中，我们提出了一个不同的计划的基础上Strassen的矩阵求逆算法（在Strassen的原始文件在1969年提到），它使用少得多的操作，在每一级的递归。我们实现了所提出的算法，并通过大量的实验，表明它是更有效的比最先进的方法。此外，我们提供了一个详细的理论分析所提出的算法，并推导出理论上的运行时间密切配合的经验观察挂钟运行时间，从而解释了U形行为w.r.t.块大小。

2018-01-15cs.DC

基于任务的可扩展块秩稀疏矩阵乘法算法

Scalable Task-Based Algorithm for Multiplication of Block-Rank-Sparse Matrices

基于任务的可扩展通用矩阵乘法算法（SUMMA），一个流行的矩阵乘法（MM）算法，适用于乘法的层次自由，秩结构的矩阵，出现在量子化学（QC）领域。我们制定的新功能是：（1）并发调度多个SUMMA迭代，（2）细粒度的基于任务的组合。这些功能使它容忍的负载不平衡，由于不规则的矩阵结构，并消除所有人为的来源的全球synchronization.Scalability迭代计算的平方根逆块秩稀疏QC矩阵的证明;满秩（密集）矩阵的性能，我们的SUMMA制定通常超过了国家的最先进的密集MM实现（ScaLAPACK和Cyclops张量框架）。

2015-10-09cs.DC

实用平行快速矩阵乘法的框架

A Framework for Practical Parallel Fast Matrix Multiplication

Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）

本文提出一个框架，展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法，同时探讨矩阵形状对算法选择的影响，并开发代码生成工具实现多种并行变体。

2014-09-09cs.DCcs.MScs.NA

用于安全编码多方批矩阵乘法的噪声对齐GCSA码

GCSA Codes with Noise Alignment for Secure Coded Multi-Party Batch Matrix Multiplication

考虑了一个安全的多方批量矩阵乘法问题（SMBMM），其目标是通过将计算分布在S个服务器上，使Master能够高效地计算两批大规模矩阵的两两乘积.任何X共谋服务器都不会获得关于输入的任何信息，主服务器也不会获得关于产品之外的输入的任何额外信息。基于交叉子空间对齐码，提出了一种带噪声对齐的广义交叉子空间对齐码（GCSA-NA）。SMBMM的现有技术解决方案是由Nodehi和Maddah-Ali提出的称为多项式共享（PS）的编码方案。GCSA-NA在几个关键方面优于PS代码-更高效和安全的服务器间通信，更低的延迟，灵活的服务器间网络拓扑，高效的批处理，以及对落伍者的容忍度。噪声对齐的思想也可以与N源交叉子空间对齐（N-CSA）码和快速矩阵乘法算法（如Strassen构造）相结合。此外，噪声对齐可以应用于对称安全私有信息检索，以实现渐近容量。

2020-09-06cs.CRcs.DCcs.IT

使用GASPI通信层构建容错应用程序

Building a fault tolerant application using the GASPI communication layer

人们普遍认为，在Exascale计算机上高度并行的软件将遭受更多的运行时故障，由于平均故障时间（MTTF）的下降趋势。因此，在容错和故障缓解领域进行大量研究并不奇怪。应用程序应该能够在故障中幸存下来，并且/或者能够以最小的成本恢复。MPI在处理故障方面还不是很成熟，用户级故障缓解（ULFM）提案是目前最有前途的方法，仍处于原型阶段。在我们的工作中，我们使用GASPI，这是一个相对较新的通信库的基础上PGAS模型。它提供了缺失的功能，以允许容错应用程序的设计。而不是引入基于算法的容错在其真正的意义上，我们演示了我们如何建立（现有的）聪明的检查点和扩展应用程序，允许集成一个低成本的故障检测机制，如果必要的话，恢复应用程序的飞行。从进程管理、组恢复和恢复机制等方面进行了详细的介绍。我们使用一个稀疏矩阵向量乘法为基础的应用程序来执行这样的修改所引入的开销的分析。我们的故障检测机制在无故障的情况下不会引起开销，而在故障的情况下，故障检测和恢复成本是合理的可接受的顺序，并显示出良好的可扩展性。

2015-05-18cs.DC

应用于高性能计算的基于算法的容错

Algorithmic Based Fault Tolerance Applied to High Performance Computing

提出了一种新的高性能计算系统的容错方法。我们的方法是基于一个仔细适应的基于并行分布计算的容错技术（黄和亚伯拉罕，1984年）的需要。我们得到了一个强可扩展的容错机制。我们还可以在计算过程中检测和纠正错误（位翻转）。为了评估我们的方法的可行性，我们已经开发了一个容错矩阵矩阵乘法子程序，我们提出了一些模型来预测其运行时间。我们的并行容错矩阵矩阵乘法得分1.4 TFLOPS 484处理器（集群jacquard.nersc.gov），并返回一个正确的结果，而一个进程失败发生。这代表了机器峰值效率的65%，并且相对于最快的无故障实现而言，开销小于12%。我们预测（并且已经观察到），随着处理器数量的增加，容错的开销会显著下降。

2008-06-19cs.DCcs.MS

FT-GEMM：x86 CPU 上的一种容错高性能 GEMM 实现

FT-GEMM: A Fault Tolerant High Performance GEMM Implementation on x86 CPUs

FT-GEMM 是一种在 x86 CPU 上实现的高性能容错 GEMM，通过算法级融合内存操作实现软错误容忍，在 Intel Cascade Lake 上比 MKL、OpenBLAS 和 BLIS 快 3.50% 至 22.14%。

2023-05-09cs.DCcs.PF

GPU上具备在线容错能力的高性能GEMM的剖析

Anatomy of High-Performance GEMM with Online Fault Tolerance on GPUs

针对大规模计算平台下GEMM的可靠性问题，本文提出GPU上的多层级容错高性能GEMM设计，采用内核融合降延迟、模板化自动代码生成适配多矩阵形状，实验显示其性能优于cuBLAS且容错开销极低。

2023-05-01cs.DCcs.PF

用于分层分布矩阵乘法的阵列BP-XOR码

Array BP-XOR Codes for Hierarchically Distributed Matrix Multiplication

提出了一种基于阵列置信传播（BP）-可译码异或（BP-XOR）码的分布式矩阵-矩阵乘法容错计算方法。所提出的方案被证明是可配置的，并适合于现代分层计算架构，如图形处理单元（GPU）配备了多个节点，其中每个都有许多小的独立处理单元，增加了核心到核心的通信。研究表明，在存在缓慢节点的情况下，所提出的方案在端到端总执行时间方面优于一些众所周知的早期策略，称为$stragglers$。这种性能优势是由于阵列码的精心设计，它以增加主从通信为代价将编码操作分布在集群（从）节点上。端到端延迟和总通信成本之间的一个有趣的权衡精确地描述。此外，为了能够解决一个确定的问题，缩放落后者，一个渐进版本的阵列BP-XOR码的基础上投影几何提出了一些计算开销的代价。对所有方案进行了彻底的延迟分析，以证明所提出的方案从端到端延迟的角度来看，在计算产品的大小的次线性和线性制度中实现了顺序最优计算。

2021-12-10cs.DCcs.ITmath.IT

分布式矩阵乘法中的掉队抑制：基本极限和最优编码

Straggler Mitigation in Distributed Matrix Multiplication: Fundamental Limits and Optimal Coding

我们考虑的问题，大量的矩阵乘法，这是许多数据分析应用程序的基础，在一个大规模的分布式系统，包括一组工作节点。我们针对掉队者的延迟性能瓶颈，这是由于等待最慢的节点（或掉队者）完成其任务的不可预测的延迟。我们提出了一种新的编码策略，命名为\emph{entangled polynomial code}，用于设计工作节点处的中间计算，以最小化恢复阈值（即，我们需要等待的工人数量，以计算最终的输出）。我们证明了纠缠多项式码在几种情况下的最优性，并表明它提供了有序的改进，比传统的计划，减少掉队。此外，我们描述了最佳恢复阈值之间的所有线性编码策略的$2$的一个因素内使用\emph{bilinear complexity}，通过开发一个改进版本的纠缠多项式码。特别是，虽然评估双线性复杂性是一个众所周知的具有挑战性的问题，我们表明，线性编码策略的最佳恢复阈值可以近似在这个基本量的$2$的一个因素。另一方面，改进版本的纠缠多项式码，使进一步和有序减少恢复阈值，相比其基本版本。最后，我们表明，本文中开发的技术也可以扩展到其他几个问题，如编码卷积和容错计算，导致紧的特征。

2020-04-09cs.DCcs.ITmath.IT

用于编码分布式计算的代数几何Rook码

Algebraic Geometric Rook Codes for Coded Distributed Computing

针对有限域上工作节点数受域大小限制的问题，本文提出代数几何Rook码，支持一般矩阵乘法的分布式容错计算，并给出与亏格相关的恢复阈值界。

2024-10-28cs.DCcs.DMcs.IT