Simple, Fast and Practicable Algorithms for Cholesky, LU and QR Decomposition Using Fast Rectangular Matrix Multiplication
Universidad de Cantabria（坎塔布里亚大学）
本文提出了一种基于快速矩形矩阵乘法的Cholesky/LU/QR分解算法，时间复杂度为O(n^{2.529})，并展示了其在实际应用中的优势。
2018-12-05 cs.DS cs.NA math.NA
Complexity Analysis of a Fast Directional Matrix-Vector Multiplication
我们考虑一个快速的，数据稀疏的方向性方法来实现矩阵矢量产品相关的亥姆霍兹核的点评价。该方法是基于点集和矩阵的分层分区。所考虑的亥姆霍兹核的定向多级近似甚至可以有效地应用于高频水平。我们提供了一个详细的分析所提出的方法的几乎线性渐近复杂性。我们的数值实验与所提供的理论是一致的。
2021-01-07 cs.NA math.NA
Fast construction of hierarchical matrix representation from matrix-vector multiplication
Princeton University（普林斯顿大学）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出一种基于随机奇异值分解的算法，仅通过矩阵-向量乘法即可构建层次矩阵表示，计算复杂度为O(n log n)。
2010-08-21 cs.NA math.NA
Better Late Than Never: Filling a Void in the History of Fast Matrix Multiplication and Tensor Decompositions
Lehman College of the City University of New York（纽约市立大学莱曼学院）；The Graduate Center of the City University of New York（纽约市立大学研究生院）
本文填补了1972年俄文发表的张量分解在快速矩阵乘法历史中的空白，并介绍了其对两个领域的影响。
2014-11-06 cs.NA math.NA
Improving the numerical stability of fast matrix multiplication
Sandia National Laboratories（桑迪亚国家实验室）；Wake Forest University（维克森林大学）；Stanford University（斯坦福大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Hebrew University（希伯来大学）
本文探讨了快速矩阵乘法在实际应用中的数值稳定性问题，提出通过理论和实证方法改进算法精度，并通过实验验证提升效果。
2016-07-25 cs.NA math.NA
Fast and Stable Arbitrary Precision Approximate Matrix Multiplication
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对APA矩阵乘法，提出新搜索算法、优化加法数量的方法，并证明Bini算法的稳定性，改进了⟨2,4,5⟩矩阵乘法的边界秩上界。
2026-10-12 cs.NA math.NA
Faster arbitrary-precision dot product and matrix multiplication
本文提出任意精度浮点和球算术下的点积与矩阵乘法算法，基于GMP分支数组实现低开销点积，并利用缩放整数矩阵块加速大型矩阵乘法，在Arb中实现后显著提升了多项式运算与线性代数的速度。
2019-05-10 cs.MS cs.NA math.NA
A Split Fast Fourier Transform Algorithm for Block Toeplitz Matrix-Vector Multiplication
针对块 Toeplitz 矩阵乘法中多级嵌入带来的内存与计算冗余，提出惰性嵌入与急切投影算法，利用分裂 FFT 显著降低渐近计算量与峰值内存，并支持多设备并行化。
2024-06-25 cs.NA math.NA
Efficient algorithms for Tucker decomposition via approximate matrix multiplication
本文给出了给定多线性秩的Tucker分解的快速有效算法。将随机投影和幂方法相结合，提出了截断高阶奇异值分解（T-HOSVD）和序贯T-HOSVD（ST-HOSVD）两种有效的随机化Tucker分解近似算法.为了降低这两种算法的复杂度，将这两种算法结合起来，并结合近似矩阵乘法，设计了快速有效的算法。基于标准高斯矩阵的奇异值的界和近似矩阵乘法的理论结果，得到了相应的理论结果。最后，这些算法的效率通过一些测试张量从合成和真实数据集说明。
2023-03-21 cs.NA math.NA
Fast Matrix Multiplication with Sketching
本文提出基于矩阵抽样技术的近似矩阵乘法算法，通过稀疏化矩阵降低计算成本，证明在样本数足够大时算法精度与现有方法相当。
2014-06-11 cs.DS cs.NA math.NA
A Framework for Practical Parallel Fast Matrix Multiplication
Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出一个框架，展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法，同时探讨矩阵形状对算法选择的影响，并开发代码生成工具实现多种并行变体。
2014-09-09 cs.DC cs.MS cs.NA
Towards automated generation of fast and accurate algorithms for recursive matrix multiplication
我们提出一种自动生成非交换递归矩阵乘法快速且精确算法的策略，通过最小化范数界、优化运算次数和替代基稀疏化，得到比已知算法更精确且时间复杂度更优的2x2矩阵乘法算法。
2025-06-24 cs.NA cs.SC math.NA
Graph Expansion Analysis for Communication Costs of Fast Rectangular Matrix Multiplication
University of California, Berkeley（加州大学伯克利分校）；Technische Universität Berlin（柏林工业大学）
本文通过图扩展分析方法，为快速矩形矩阵乘法算法推导通信成本下界，并证明部分下界最优。
2012-09-11 cs.CC cs.DS cs.NA
Equivalent Polyadic Decompositions of Matrix Multiplication Tensors
矩阵乘法张量的多进分解的不变性变换定义了这种分解的集合上的等价关系。本文给出了一个判定矩阵乘张量的两个多元分解是否等价的算法。利用该算法分析了几种矩阵乘法张量分解的等价类。这种分析是相关的快速矩阵乘法的研究，因为它涉及到有多少本质上不同的快速矩阵乘法算法存在的问题。这个问题首先由de~Groote研究，他证明了对于$2\times2$矩阵与$7$有效乘法的乘法，所有算法本质上都等价于Strassen算法。相反，我们的分析结果表明，对于较大矩阵的乘法，（例如，$2\times3$乘$3\times2$或$3\times3$乘$3\times3$矩阵），两种分解很可能本质上不同。我们进一步提供了一个必要的标准，一个多元分解是等价的多元分解与整数条目。具有特定整数项的分解，例如，2的幂，提供了具有更好的效率和稳定性的快速矩阵乘法算法。这个条件可以测试算法，我们提出的结论得到的分解的小/中矩阵乘法张量。
2022-04-14 cs.CC cs.NA math.NA
Solving Sparse Linear Systems Faster than Matrix Multiplication
线性方程组能比矩阵乘法更快求解吗？虽然对于图结构线性系统的特殊情况已经有了显著的进展，但是在一般设置中，求解$n \times n$线性系统$Ax=b$的位复杂度是$\tilde{O}(n^ω)$，其中$ω< 2.372864$是矩阵乘法指数。即使对于具有多$(n)$条件数的稀疏线性系统，改进这一点也是一个开放的问题。在本文中，我们提出了一个算法，解决稀疏矩阵的线性系统渐近快于矩阵乘法的任何$ω> 2$。这种加速适用于具有$o(n^{ω-1}/\log(κ(A)))$非零的任何输入矩阵$A$，其中$κ(A)$是$A$的条件数。对于具有$\tilde{O}(n)$非零值的多$(n)$条件矩阵，以及$ω$的当前值，我们的算法在任何$1/\text{poly}(n)$误差内求解的位复杂度为$O(n^{2.331645})$。我们的算法可以被看作是一个有效的，随机执行块Krylov方法通过递归低位移秩分解。它的灵感来自于[Eberly et al. ISSAC `06 `07]的算法，用于有限域上的逆矩阵。在我们的数值稳定性分析中，我们发展了矩阵反集中技术来限制半随机矩阵的最小特征值和特征值中的最小间隙。
2021-01-07 cs.DS cs.NA math.NA
Fast matrix multiplication is stable
本文对一类递归矩阵乘法算法进行前向误差分析，证明矩阵乘法指数可通过数值稳定算法实现，并表明群论算法也属于稳定算法。
2006-12-07 cs.CC cs.DS cs.NA
Fast Sparse Matrix-Vector Multiplication on GPUs: Implications for Graph Mining
Ohio State University（俄亥俄州立大学）
提出一种非参数、自调优的数据表示方法，结合新颖的平铺算法，在GPU上高效处理幂律图的稀疏矩阵向量乘法，显著提升PageRank、HITS和带重启随机游走等核心数据挖掘算法的性能。
2011-03-12 cs.MS cs.NA math.NA
Fast Multiplication of Matrices with Decay
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出稀疏近似矩阵乘法（SpAMM）算法，通过降低乘积空间复杂度实现具有衰减性质矩阵的快速近似乘法，在量子化学矩阵中相比截断方法显著减少浮点运算次数。
2010-11-15 cond-mat.mtrl-sci cs.DS cs.MS
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本（也称为I/O复杂度）与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法，并获得第一个下界的通信成本。在顺序情况下，其中处理器具有大小为$M$的快速存储器，其太小而不能存储三个$n$ × $n$矩阵，对于许多矩阵乘法算法，在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$，其中$ω_0$是算术计数中的指数（例如，用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$）。对于$p$并行处理器，每个处理器具有大小为$M$的快速存储器，下限小$p$倍。这些界限是可达到的顺序和并行算法，因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得（例如，用于LU、QR和求解Sylvester方程的算法）。
2011-09-08 cs.CC cs.DC cs.DS
Correction of 'J. Laderman, V. Pan, X. H. Sha, On practical Algorithms for Accelerated Matrix Multiplication, Linear Algebra and its Applications. Vol. 162-164 (1992) pp. 557-588'
本文修正了J. Laderman，V. Pan，X. H.沙，加速矩阵乘法的实用算法，线性代数及其应用。第162-164卷（1992年），第162 -164页。557- 588“，这对于矩阵维数等于2或更大是不正确的。该公式是两个算法的基础，不相交和单矩阵乘法。必要的修正使非标积的数量增加，略微增加了算法的时间复杂度。我们还纠正了显式公式，在双线性型，三重不相交矩阵乘法。它们是显式的，从而便于实际使用的快速矩阵乘法算法的问题。
2023-02-15 cs.NA math.NA
A theoretical contribution to the fast implementation of null linear discriminant analysis method using random matrix multiplication with scatter matrices
Jiangsu Normal University（江苏师范大学）；China University of Mining and Technology（中国矿业大学）
本文提出一种理论方法，通过合理选择随机矩阵保证null LDA的列满秩，避免信息丢失，提升计算效率。
2014-09-09 cs.CV cs.LG cs.NA
Fast matrix multiplication using coherent configurations
Microsoft Research New England（微软研究院新英格兰）；Computing + Mathematical Sciences, California Institute of Technology（加州理工学院计算与数学科学系）
本文引入张量秩的松弛概念s-秩，证明矩阵乘法张量的s-秩上界可导出普通秩上界，并通过一致构形的邻接代数推广Cohn-Umans的群论方法，最终证明交换一致构形可能足以证明ω=2。
2012-12-27 cs.DS cs.NA math.NA
Spectrum Approximation Beyond Fast Matrix Multiplication: Algorithms and Hardness
MIT（麻省理工学院）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）；University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了如何在比矩阵乘法时间更快的运行时间内近似矩阵的谱，提出了一种基于随机迹估计、多项式逼近和快速系统求解器的算法，能够高效地隔离矩阵谱的不同范围并近似奇异值的数量，从而在许多应用中替代真实的奇异值。
2019-01-03 cs.DS cs.LG cs.NA
Learning Multiplication-free Linear Transformations
University Politehnica of Bucharest（布加勒斯特理工大学）
本文提出了一种字典学习算法，用于稀疏表示，同时对学习到的字典施加特定结构，使其在数值上更高效：减少加法/乘法次数甚至避免乘法。我们基于字典的高结构化基本构建块（二进制正交、缩放和剪切变换）来建立工作，可以写出优化问题的闭式解。我们在图像数据上展示了方法的有效性，并与已知的数值高效变换如快速傅里叶变换和快速离散余弦变换进行比较。
2020-12-05 cs.LG cs.NA math.NA
Communication-Optimal Parallel Algorithm for Strassen's Matrix Multiplication
并行矩阵乘法是分布式高性能计算中研究最多的基本问题之一。我们得到了一个新的并行算法，该算法是基于Strassen的快速矩阵乘法和最小化通信。该算法优于所有已知的并行矩阵乘法算法，经典的和基于Strassen的，无论是渐进的，并在实践中。并行化Strassen算法的一个关键瓶颈是处理器之间的通信。Ballard，Demmel，Holtz和Schwartz（SPAA'11）使用底层计算图的扩展特性证明了这些通信成本的下限。我们的算法匹配这些下限，因此是通信最优的。它在最大可能范围内表现出完美的强缩放性。基准测试我们的实现在Cray XT4上，我们获得了超过经典和基于Strassen的算法的加速比，范围从24%到184%，对于固定的矩阵维数n=94080，其中节点的数量范围从49到7203。我们的并行化方法推广到其他快速矩阵乘法算法。
2012-02-14 cs.CC cs.DC cs.DS
Approximate Weighted $CR$ Coded Matrix Multiplication
线性代数中最常见但同时也是最昂贵的运算之一是将两个矩阵$A$和$B$相乘。随着机器学习的快速发展和数据量的增加，执行快速矩阵密集乘法已成为一个主要障碍。克服这个问题的两种不同方法是：1）近似乘积; 2）分布式执行乘法。\textit{$CR$-multiplication}是一种近似，其中分别对$A$和$B$的列和行进行替换采样。在分布式环境中，多个工作者并行执行矩阵乘法子任务。有些工人可能是掉队者，这意味着他们没有及时完成任务。我们提出了一种新的\textit{approximate weighted $CR$ coded matrix multiplication}计划，实现分布式矩阵乘法的性能改善。
2020-11-19 cs.IT cs.NA math.IT
