Fast and forward stable randomized algorithms for linear least-squares problems
针对超定线性最小二乘问题，本文证明合理实现的迭代草图随机算法兼具前向稳定性与高效性，通过数值实验验证其在大规模问题上比基于QR的求解器更快且稳定，解决了此前草图预处理算法存在数值不稳定性的相关疑问。
2024-04-11 cs.NA math.NA
Sketching with Kerdock's crayons: Fast sparsifying transforms for arbitrary linear maps
给定一个任意矩阵$A\in\mathbb{R}^{n\times n}$，我们考虑计算$Ax$的任何$x\in\mathbb{R}^n$，使$Ax$是$s$ -稀疏的基本问题。虽然存在用于$A$的特定选择的快速算法，例如离散傅立叶变换，但是目前没有处理非结构化情况的$o(n^2)$算法。在本文中，我们设计了一个随机的方法来解决非结构化的情况下。我们的方法依赖于表示$A$在某些实值相互无偏基地来自Kerdock集。在我们算法的预处理阶段，我们在$O(n^3\log n)$操作中计算$A$的这种表示。接下来，给定任何单位向量$x\in\mathbb{R}^n$，使得$Ax$是$s$ -稀疏的，我们的随机化快速变换使用$A$的这种表示来计算仅在$O(sn + ε^{-2}\|A\|_{2\to\infty}^2n\log n)$操作中具有高概率的$Ax$的逐条目$ε$ -硬阈值。除了性能保证，我们提供的数值结果表明，我们的算法在现实世界中实现的可扩展性。
2021-05-12 cs.CC cs.NA math.NA
Simple, Fast and Practicable Algorithms for Cholesky, LU and QR Decomposition Using Fast Rectangular Matrix Multiplication
Universidad de Cantabria（坎塔布里亚大学）
本文提出了一种基于快速矩形矩阵乘法的Cholesky/LU/QR分解算法，时间复杂度为O(n^{2.529})，并展示了其在实际应用中的优势。
2018-12-05 cs.DS cs.NA math.NA
ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
在本文中，我们开发了一种新的程序，即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}（ISLET）的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching}，即，基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明，所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下，随机高斯系综设计。此外，如果一个张量是低秩的组稀疏，我们的程序也实现了极大极小最优性。此外，我们通过数值研究表明，ISLET实现可比或更好的均方误差性能，现有的最先进的方法，同时具有大量的存储和运行时的优势，包括并行和分布式计算的能力。特别是，我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
Sketching for low-rank nonnegative matrix approximation: Numerical study
本文提出基于随机草图的近似交替投影方法求解低秩非负矩阵近似问题，分析复杂度并经数值实验证明其比确定性方法更快且收敛性质相近。
2023-04-24 cs.NA math.NA math.OC
Construction of Hierarchically Semi-Separable matrix Representation using Adaptive Johnson-Lindenstrauss Sketching
本文提出了一种基于自适应Johnson-Lindenstrauss抽样技术的HSS矩阵构造算法，通过扩展抽样算子类型，提升了HSS构造的效率和性能。
2025-01-06 cs.NA math.NA
A Bootstrap Method for Error Estimation in Randomized Matrix Multiplication
Department of Statistics University of California at Davis（加州大学戴维斯分校统计学系）；Department of Computer Science Stevens Institute of Technology（史蒂文斯理工学院计算机科学系）；International Computer Science Institute and Department of Statistics University of California at Berkeley（伯克利大学国际计算机科学研究所和统计学系）
本文提出了一种自助方法，用于直接估计随机矩阵乘法（降维）的准确性，作为解决一般问题的原型设置。该方法在计算上不显著增加标准降维方法的成本，并通过插值技术实现，同时提供了理论和实证结果以证明其有效性。
2019-04-04 cs.LG cs.NA math.NA
Faster SGD Using Sketched Conditioning
The Hebrew University（希伯来大学）
本文提出通过Sketching方法加速随机优化算法，通过构造低成本的conditioner提升SGD效率，并在深度学习中验证其有效性。
2015-06-08 cs.LG cs.NA math.NA
Stability Improvements for Fast Matrix Multiplication
本研究通过实现增广拉格朗日方法最小化约束最小二乘代价函数，得到矩阵乘法张量的新离散分解与参数族分解，可用于发现更快更稳定的矩阵乘法算法。
2023-10-04 cs.NA math.NA
Fast ultrametric matrix-vector multiplication
研究超度量矩阵的性质，旨在设计快速超度量矩阵向量乘法算法。我们将展示如何在二次时间内将这样的矩阵编码为树结构，并演示如何使用所得到的表示在线性时间内执行矩阵向量乘法。伴随着这篇文章，我们提供了一个实现所提出的算法，并提出了实证结果，其实际性能。
2021-12-31 cs.NA math.NA
On fast matrix-vector multiplication with a Hankel matrix in multiprecision arithmetics
本文提出了两种矩阵向量乘法的快速算法$y=Ax$，其中$A$是一个汉克尔矩阵。目前渐近最快的方法是基于快速傅里叶变换（FFT），然而，在具有非常高精度的多精度运算中，对于高达$n=8000$的矩阵大小，FFT方法实际上比教科书乘法慢。提出的一种方法是基于将多精度数分解为和，并应用标准或双精度FFT。第二种方法受Karatsuba乘法的启发，基于递归地执行原始矩阵一半大小的乘法。就矩阵大小$n$而言，其复杂度为$Θ(n^{\log 3})$。这两种方法都适用于Toeplitz矩阵和循环矩阵。
2014-03-24 cs.NA math.NA
Solving Sparse Linear Systems Faster than Matrix Multiplication
线性方程组能比矩阵乘法更快求解吗？虽然对于图结构线性系统的特殊情况已经有了显著的进展，但是在一般设置中，求解$n \times n$线性系统$Ax=b$的位复杂度是$\tilde{O}(n^ω)$，其中$ω< 2.372864$是矩阵乘法指数。即使对于具有多$(n)$条件数的稀疏线性系统，改进这一点也是一个开放的问题。在本文中，我们提出了一个算法，解决稀疏矩阵的线性系统渐近快于矩阵乘法的任何$ω> 2$。这种加速适用于具有$o(n^{ω-1}/\log(κ(A)))$非零的任何输入矩阵$A$，其中$κ(A)$是$A$的条件数。对于具有$\tilde{O}(n)$非零值的多$(n)$条件矩阵，以及$ω$的当前值，我们的算法在任何$1/\text{poly}(n)$误差内求解的位复杂度为$O(n^{2.331645})$。我们的算法可以被看作是一个有效的，随机执行块Krylov方法通过递归低位移秩分解。它的灵感来自于[Eberly et al. ISSAC `06 `07]的算法，用于有限域上的逆矩阵。在我们的数值稳定性分析中，我们发展了矩阵反集中技术来限制半随机矩阵的最小特征值和特征值中的最小间隙。
2021-01-07 cs.DS cs.NA math.NA
Graph Expansion Analysis for Communication Costs of Fast Rectangular Matrix Multiplication
University of California, Berkeley（加州大学伯克利分校）；Technische Universität Berlin（柏林工业大学）
本文通过图扩展分析方法，为快速矩形矩阵乘法算法推导通信成本下界，并证明部分下界最优。
2012-09-11 cs.CC cs.DS cs.NA
Fast multiplication, determinants, and inverses of arrowhead and diagonal-plus-rank-one matrices over associative fields
本文考虑F^（nxn）中的箭头矩阵和对角加秩一矩阵，其中F在R，C或H中。H是一个非交换的四元数域。我们给出统一的公式快速矩阵向量乘法，决定因素，并考虑矩阵的逆。这些公式在交换和非交换代数中都成立，在这个意义上是统一的。算法复杂度为O（n）大多数公式也适用于分块矩阵。
2022-12-21 cs.NA math.NA
Acceleration of Multiple Precision Matrix Multiplication using Ozaki scheme
优化的多精度基本线性计算，特别是矩阵乘法，是解决病态问题的关键。最近提出的Ozaki方案，它使用现有的优化的低精度矩阵乘法实现精确的矩阵乘法，被称为是有用的多精度以及。在本文中，我们实现了固定精度的多分量方式矩阵乘法使用Ozaki计划，并表明在某些情况下，它是比现有的优化矩阵乘法更快。我们还表明，任意精度的矩阵乘法使用Ozaki计划也比Strassen矩阵乘法到一定的精度。
2023-01-25 cs.NA math.NA
Fast and Accurate Interpolative Decompositions for General, Sparse, and Structured Tensors
本研究针对两类张量插值分解，提出带与张量规模无关误差界的自适应方法，结合随机草图实现高效精确计算，还为稀疏及CP格式张量设计专用算法，经理论与实验验证有效。
2025-03-24 cs.NA math.NA
An extra-components method for evaluating fast matrix-vector multiplication with special functions
在计算积分或离散变换时，使用快速算法将向量乘以其元素指定为特殊值（切比雪夫、勒让德、拉盖尔等）的矩阵。功能协调发展的目前可用的快速算法比快速傅里叶变换的效率低几个数量级。为了提高计算效率，本文提出了一种计算矩阵向量积的通用方法。在此基础上开发的一系列快速简单结构的算法可以有效地用基于现代微处理器的软件实现。该方法具有$O(N^2 \log N)$的预计算复杂度和$O(N \log N)$的执行复杂度。计算实验结果表明，与传统的矩阵向量乘直接法相比，该算法的计算时间可减少几个数量级。
2021-12-02 cs.NA math.NA
Fast matrix multiplication is stable
本文对一类递归矩阵乘法算法进行前向误差分析，证明矩阵乘法指数可通过数值稳定算法实现，并表明群论算法也属于稳定算法。
2006-12-07 cs.CC cs.DS cs.NA
Complexity Analysis of a Fast Directional Matrix-Vector Multiplication
我们考虑一个快速的，数据稀疏的方向性方法来实现矩阵矢量产品相关的亥姆霍兹核的点评价。该方法是基于点集和矩阵的分层分区。所考虑的亥姆霍兹核的定向多级近似甚至可以有效地应用于高频水平。我们提供了一个详细的分析所提出的方法的几乎线性渐近复杂性。我们的数值实验与所提供的理论是一致的。
2021-01-07 cs.NA math.NA
Fast construction of hierarchical matrix representation from matrix-vector multiplication
Princeton University（普林斯顿大学）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出一种基于随机奇异值分解的算法，仅通过矩阵-向量乘法即可构建层次矩阵表示，计算复杂度为O(n log n)。
2010-08-21 cs.NA math.NA
Fast Multiplication of Matrices with Decay
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出稀疏近似矩阵乘法（SpAMM）算法，通过降低乘积空间复杂度实现具有衰减性质矩阵的快速近似乘法，在量子化学矩阵中相比截断方法显著减少浮点运算次数。
2010-11-15 cond-mat.mtrl-sci cs.DS cs.MS
Faster arbitrary-precision dot product and matrix multiplication
本文提出任意精度浮点和球算术下的点积与矩阵乘法算法，基于GMP分支数组实现低开销点积，并利用缩放整数矩阵块加速大型矩阵乘法，在Arb中实现后显著提升了多项式运算与线性代数的速度。
2019-05-10 cs.MS cs.NA math.NA
Better Late Than Never: Filling a Void in the History of Fast Matrix Multiplication and Tensor Decompositions
Lehman College of the City University of New York（纽约市立大学莱曼学院）；The Graduate Center of the City University of New York（纽约市立大学研究生院）
本文填补了1972年俄文发表的张量分解在快速矩阵乘法历史中的空白，并介绍了其对两个领域的影响。
2014-11-06 cs.NA math.NA
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本（也称为I/O复杂度）与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法，并获得第一个下界的通信成本。在顺序情况下，其中处理器具有大小为$M$的快速存储器，其太小而不能存储三个$n$ × $n$矩阵，对于许多矩阵乘法算法，在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$，其中$ω_0$是算术计数中的指数（例如，用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$）。对于$p$并行处理器，每个处理器具有大小为$M$的快速存储器，下限小$p$倍。这些界限是可达到的顺序和并行算法，因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得（例如，用于LU、QR和求解Sylvester方程的算法）。
2011-09-08 cs.CC cs.DC cs.DS
Improving the numerical stability of fast matrix multiplication
Sandia National Laboratories（桑迪亚国家实验室）；Wake Forest University（维克森林大学）；Stanford University（斯坦福大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；The Hebrew University（希伯来大学）
本文探讨了快速矩阵乘法在实际应用中的数值稳定性问题，提出通过理论和实证方法改进算法精度，并通过实验验证提升效果。
2016-07-25 cs.NA math.NA
Fast and Stable Arbitrary Precision Approximate Matrix Multiplication
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对APA矩阵乘法，提出新搜索算法、优化加法数量的方法，并证明Bini算法的稳定性，改进了⟨2,4,5⟩矩阵乘法的边界秩上界。
2026-10-12 cs.NA math.NA
A Framework for Practical Parallel Fast Matrix Multiplication
Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出一个框架，展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法，同时探讨矩阵形状对算法选择的影响，并开发代码生成工具实现多种并行变体。
2014-09-09 cs.DC cs.MS cs.NA
Towards automated generation of fast and accurate algorithms for recursive matrix multiplication
我们提出一种自动生成非交换递归矩阵乘法快速且精确算法的策略，通过最小化范数界、优化运算次数和替代基稀疏化，得到比已知算法更精确且时间复杂度更优的2x2矩阵乘法算法。
2025-06-24 cs.NA cs.SC math.NA
A Split Fast Fourier Transform Algorithm for Block Toeplitz Matrix-Vector Multiplication
针对块 Toeplitz 矩阵乘法中多级嵌入带来的内存与计算冗余，提出惰性嵌入与急切投影算法，利用分裂 FFT 显著降低渐近计算量与峰值内存，并支持多设备并行化。
2024-06-25 cs.NA math.NA
Equivalent Polyadic Decompositions of Matrix Multiplication Tensors
矩阵乘法张量的多进分解的不变性变换定义了这种分解的集合上的等价关系。本文给出了一个判定矩阵乘张量的两个多元分解是否等价的算法。利用该算法分析了几种矩阵乘法张量分解的等价类。这种分析是相关的快速矩阵乘法的研究，因为它涉及到有多少本质上不同的快速矩阵乘法算法存在的问题。这个问题首先由de~Groote研究，他证明了对于$2\times2$矩阵与$7$有效乘法的乘法，所有算法本质上都等价于Strassen算法。相反，我们的分析结果表明，对于较大矩阵的乘法，（例如，$2\times3$乘$3\times2$或$3\times3$乘$3\times3$矩阵），两种分解很可能本质上不同。我们进一步提供了一个必要的标准，一个多元分解是等价的多元分解与整数条目。具有特定整数项的分解，例如，2的幂，提供了具有更好的效率和稳定性的快速矩阵乘法算法。这个条件可以测试算法，我们提出的结论得到的分解的小/中矩阵乘法张量。
2022-04-14 cs.CC cs.NA math.NA
Recovery of Sparse Matrices via Matrix Sketching
Syracuse University（雪城大学）；Technion-Israel Institute of Technology（以色列理工学院）
本文研究通过矩阵草图Y=AXB^T恢复未知稀疏矩阵X的问题，采用矩阵形式而非克罗内克积结构改进FISTA和OMP算法，提升计算效率。
2013-11-11 cs.IT cs.NA math.IT
Fast Sparse Matrix-Vector Multiplication on GPUs: Implications for Graph Mining
Ohio State University（俄亥俄州立大学）
提出一种非参数、自调优的数据表示方法，结合新颖的平铺算法，在GPU上高效处理幂律图的稀疏矩阵向量乘法，显著提升PageRank、HITS和带重启随机游走等核心数据挖掘算法的性能。
2011-03-12 cs.MS cs.NA math.NA
A theoretical contribution to the fast implementation of null linear discriminant analysis method using random matrix multiplication with scatter matrices
Jiangsu Normal University（江苏师范大学）；China University of Mining and Technology（中国矿业大学）
本文提出一种理论方法，通过合理选择随机矩阵保证null LDA的列满秩，避免信息丢失，提升计算效率。
2014-09-09 cs.CV cs.LG cs.NA
