A Rigorous Extension of the Schönhage-Strassen Integer Multiplication Algorithm Using Complex Interval Arithmetic
University of Canterbury(坎特伯雷大学)
针对Schönhage-Strassen算法在浮点硬件上的舍入误差问题,提出使用区间算术保证结果正确性并确定硬件极限,实验表明双精度可处理75000位256进制整数。
2010-06-02 cs.CR cs.DS cs.NA
Fast Integer Multiplication using Modular Arithmetic
本文给出了一个用于两个$N$位整数相乘的$O(N\cdot \log N\cdot 2^{O(\log^*N)})$算法,它改进了Schönhage-Strassen的$O(N\cdot \log N\cdot \log\log N)$算法.这两种算法都使用模运算。最近,傅勒给出了一个$O(N\cdot \log N\cdot 2^{O(\log^*N)})$算法,但使用算术复数,而不是模块化的算术。在本文中,我们使用多元多项式乘法以及从Fürer算法的想法,以实现这种改进的模块化设置。我们的算法也可以被看作是一个$p$ -adic版本的Fürer的算法。因此,我们表明,这两个看似不同的方法,整数乘法,模和复杂的算术,是相似的。
2008-09-19 cs.DS cs.SC
Graph Expansion Analysis for Communication Costs of Fast Rectangular Matrix Multiplication
University of California, Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
本文通过图扩展分析方法,为快速矩形矩阵乘法算法推导通信成本下界,并证明部分下界最优。
2012-09-11 cs.CC cs.DS cs.NA
Faster Polynomial Multiplication via Discrete Fourier Transforms
研究了任意域上多项式乘法的复杂性。我们提出了一个统一的方法,概括了所有已知的渐近最快的算法,这个问题。特别是,著名的算法乘法多项式的领域支持DFT的大光滑的订单,Schönhage-Strassen的算法在任意领域的特点不同2,Schönhage的算法在领域的特点2,和康托-Kaltofen的算法在任意代数-都似乎是这种方法的实例。我们还获得了更快的算法多项式乘法在某些领域不支持DFT的大光滑订单。我们证明,Schönhage-Strassen的上限不能进一步提高有理数领域,如果我们只考虑算法的基础上连续应用DFT,所有已知的最快的算法。我们还探讨了如何将最近的整数乘法的Fürer算法转移到正特征的任意域上的多项式乘法问题。这项工作的灵感来自最近的改进密切相关的问题的复杂性整数乘法的傅勒及其随之而来的模块化算术处理由于德,Kurur,萨哈,和Saptharishi。我们探讨的障碍,在转移技术的解决方案的一个问题的解决方案的其他。
2010-10-06 cs.CC cs.DS
Matrix multiplication algorithms from group orbits
我们展示了如何构造高度对称的矩阵乘法算法。特别是,我们考虑的算法,矩阵乘法张量分解成一个和秩1张量,分解本身由轨道下的一些有限群作用。我们展示了如何使用相应的组的表示理论,以获得简单的约束的分解,我们解决了手为n= 2,3,4,5,恢复斯特拉森的算法(在一个特别对称的形式)和新的算法更大的n。虽然这些新的算法不提高已知的上界张量秩或矩阵乘法指数,他们是美丽的,在自己的权利,我们指出修改这个想法,可能会导致进一步的改进。我们的构造还提出了可以为新算法挖掘的进一步模式,包括与格的诱人联系。特别是,使用格,我们给最透明的证明日期Strassen的算法;相同的证明工程的所有n,产生一个分解与$n^3 - n + 1$条款。
2016-12-12 cs.CC cs.DS math.AG
The I/O complexity of hybrid algorithms for square matrix multiplication
本文导出了一类计算$n \times n$方阵乘积的混合算法的I/O复杂度的渐近紧下界,该混合算法结合了具有计算复杂度$Θ{n^{\log_2 7}}$的“\emph{Strassen-like}”快速矩阵乘法方法和具有计算复杂度$Ω\left(n^3\right)$的“\emph{standard} "矩阵乘法算法.我们提出了一个新的和紧密的$Ω\left(\left(\frac{n}{\max\{\sqrt{M},n_0\}}\right)^{\log_2 7}\left(\max\{1,\frac{n_0}{M}\}\right)^3M\right)$下界的I/O复杂性的一类"\emph{uniform, non-stationary}“混合算法时,执行在一个两级存储层次结构与$M$字的快速存储器,其中$n_0$表示的阈值大小的子问题,使用标准算法计算的代数复杂性$Ω\left(n^3\right)$。下限实际上是为更一般的“\emph{non-uniform, non-stationary}”混合算法类推导的,这种混合算法允许递归调用具有不同的结构,即使它们涉及相同大小和相同递归级别的矩阵乘法,尽管定量表达式变得更加复杂。我们的研究结果是第一个I/O下界为这些类的混合算法。所有提出的下界适用,即使重新计算的部分结果是允许的,是渐近紧。证明技术结合分析的格里戈里耶夫流的矩阵乘…
2019-04-29 cs.DS
Symmetries of matrix multiplication algorithms. I
在这项工作中,矩阵的快速乘法算法被认为是。任何算法都有一定的自同构群。这些自同构群被发现的一些著名的算法,包括算法的Hopcroft,Laderman和潘。对于Hopcroft算法和Laderman算法,自同构群分别同构于$S_3\times Z_2$和$S_4$.算法的对称性研究对于寻找快速算法可能是一个富有成效的想法,通过与众所周知的代码,格和图的优化问题进行类比。{ \em Keywords}:Strassen算法,对称性,快速矩阵乘法。
2015-08-05 cs.CC cs.DS math.GR
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本(也称为I/O复杂度)与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法,并获得第一个下界的通信成本。在顺序情况下,其中处理器具有大小为$M$的快速存储器,其太小而不能存储三个$n$ × $n$矩阵,对于许多矩阵乘法算法,在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$,其中$ω_0$是算术计数中的指数(例如,用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$)。对于$p$并行处理器,每个处理器具有大小为$M$的快速存储器,下限小$p$倍。这些界限是可达到的顺序和并行算法,因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得(例如,用于LU、QR和求解Sylvester方程的算法)。
2011-09-08 cs.CC cs.DC cs.DS
Asymptotic Rank Speedup Theorems, Revisited
Columbia University(哥伦比亚大学)
本文基于快速矩阵乘法和渐近张量秩与细粒度复杂性之间的联系,重新审视经典矩阵乘法文献中的工具,并开发了一个框架,以获得比矩阵乘法更优的张量渐近秩上界。
2026-09-24 cs.CC cs.DS
Faster Walsh-Hadamard Transform and Matrix Multiplication over Finite Fields using Lookup Tables
我们使用查找表来设计更快的算法,在有限域上的重要代数问题。这些只使用算术运算和查找表运算的快速算法可能有助于解释确定这些重要问题的复杂性的困难。我们在有限域上的结果如下。可以使用$O(N \log N / \log \log N)$位操作来计算长度为$N$的向量的沃尔什-哈达玛变换。这推广到定义为固定矩阵的克罗内克幂的任何变换。相比之下,快速沃尔什-阿达玛变换(类似于快速傅立叶变换)使用$O(N \log N)$算术运算,这被认为是最佳的常数因子。使用$O(N^ω)$运算将两个$N \times N$矩阵相乘的任何代数算法都可以转换为使用$O(N^ω/ (\log N)^{ω/2 - 1})$位运算的算法。例如,Strassen的算法可以转换成使用$O(N^{2.81} / (\log N)^{0.4})$位操作的算法。它仍然是一个开放的问题,具有实际意义,以确定最小的常数$c$,使Strassen的算法可以实现使用$c \cdot N^{2.81} + o(N^{2.81})$算术运算;使用查找表允许保存一个超常数因子位操作。
2022-11-09 cs.DS
Fast integer multiplication using generalized Fermat primes
近35年来,Sch{<$}nhage-Strassen的算法一直是已知的最快的整数乘法算法,其时间复杂度为O(n $\times$ log n $\times$ log log n)。在2007年,F{ü}rer证明了存在K > 1和一个算法执行此操作的时间复杂度为O(n $\times$ log n $\times$ K log n)。Harvey、van der Hoeven和Lecerf最近的工作表明,这个复杂性估计可以得到改进,以使K = 8,实际上K = 4。使用另一种算法,它依赖于算术模广义费马素数,我们得到了同样的结果K = 4,通过仔细的复杂性分析,在确定性的多带图灵模型。
2018-04-17 cs.CC cs.DM cs.DS
Simple, Fast and Practicable Algorithms for Cholesky, LU and QR Decomposition Using Fast Rectangular Matrix Multiplication
Universidad de Cantabria(坎塔布里亚大学)
本文提出了一种基于快速矩形矩阵乘法的Cholesky/LU/QR分解算法,时间复杂度为O(n^{2.529}),并展示了其在实际应用中的优势。
2018-12-05 cs.DS cs.NA math.NA
Algorithmic Applications of Baur-Strassen's Theorem: Shortest Cycles, Diameter and Matchings
考虑一个有向图或无向图,其整边权重来自集合[-W,W],不包含负权重圈。在本文中,我们介绍了一个通用的框架,解决问题,这样的图使用矩阵乘法。该框架是基于使用Baur-Strassen定理和Strojohann的行列式算法。它使我们能够给新的和简单的解决方案,以下列问题:* 寻找最短的循环-我们给出了一个简单的\tilde{O}(Wn^ω)时间算法,在无向和有向图中寻找最短的循环。对于有向图(以及具有非负权重的无向图),这与Roditty和Vassilevska-Williams在2011年获得的时间界限相匹配。另一方面,对于具有负权重的无向图,以前没有在\tilde{O}(Wn^ω)时间内工作的算法。此外,我们的算法对于一个给定的有向或无向图检测它是否包含一个负权重循环在相同的运行时间。* 计算直径和半径--我们给出了一个计算无向图或有向图的直径和半径的简单的\tilde{O}(Wn^ω)时间算法。据我们所知,没有算法与此运行时间是已知的无向图与负权重。* 寻找最小权完美匹配-我们提出了一个\tilde{O}(Wn^ω)的时间算法,在无向图中寻找最小权完美匹配。这解决了Sankowski在2006年提出的一个公开问题,他提出了这样的算法,但仅限于二分图的情况。为了解决最小权完美匹配问题,我们发展了一种新的组合解释的对偶解决方案,这揭示了这个问题的新的光。这样的组合解释是以前不知道的…
2012-08-17 cs.DS
Algorithms for matrix multiplication via sampling and opportunistic matrix multiplication
本文提出一种基于采样构造更大矩阵并单次运行 broken 乘法算法的近似矩阵乘法方法,将渐近运行时间从 $O(n^{2.778})$ 改进到 $O(n^{2.763})$,并评估了其实际运行时间,指出仍需进一步优化才能具备竞争力。
2024-02-13 cs.DS
Fast matrix multiplication techniques based on the Adleman-Lipton model
在分布式存储器电子计算机上,快速并行矩阵乘法算法的实现和关联已经产生了惊人的结果和见解。在这篇论文中,我们使用分子生物学的工具来证明Strassen的快速矩阵乘法算法与DNA的理论编码的基础上的$n$ -模集的剩余数系统,从而证明计算数学与DNA的可行性。其结果是,一般可扩展的实现该模型的DNA计算范式,并可以推广到DNA计算机上的应用程序的\emph{all}快速矩阵乘法算法。我们还讨论了这种可扩展的实现的实际能力和问题。用DNA进行矩阵计算的快速方法很重要,因为它们也允许用DNA有效地实现其他算法(即求逆、计算行列式和图论)。
2011-12-19 cs.DS cs.ET q-bio.QM
Tensor Decompositions and Adiabatic Quantum Computing for Discovering Practical Matrix Multiplication Algorithms
本文将张量分解表述为 HUBO/QUBO 并利用量子退火发现矩阵乘法算法,提出分解式与整体式两种方法,后者可从理论上搜索更快的固定长度分解。
2024-06-19 cs.DS quant-ph
Rectangular matrix multiplication from polynomial products
Pathway(Pathway公司)
本文扩展了OpenAI的矩阵乘法分析至矩形情形,证明相关指数界,并应用于全对最短路径,将运行时间改进至$O(n^{2.4999})$。
2026-10-08 cs.DS
Fine-Grained Computation in 3-Space: Matrix Multiplication and Graph Problems
本文基于经典物理约束,提出了三维空间中矩阵乘法及图和迷宫问题的最优细粒度算法,证明了三维网格在渐近意义上优于现有并行算法并确立了计算下界。
2024-12-19 cs.DS
Engineering Boolean Matrix Multiplication for Multiple-Accelerator Shared-Memory Architectures
研究布尔代数$(0,1,\vee,\wedge)$上或二元域$(0,1,+,\cdot)$上的二元矩阵的乘法问题。我们为当代多加速器共享内存架构设计高性能开源算法实现,目标是以时间和能源效率扩展到接近可用共享内存容量的输入大小。例如,给定两个太二进制方阵作为输入,我们的实现在大约2100秒内计算布尔乘积(1.0 Pbop/s,3.3 pJ/bop,总计2.1 kWh/产品)和二元产品,(2.4有效Pbop/s,1.5有效pJ/bop,总计0.92 kWh/产品),功率消耗为峰值系统功率(3.5 kW)。我们的贡献是(a)对于二进制乘积,我们使用Karstadt和Schwartz [SPAA '17]的交替基技术来设计用于$2\times 2$块乘法的Strassen递归的新的交替基变体[Numer. Math.13(1969)],(b)构造并行块递归和存储器布局,用于加速器硬件上的合并和寄存器局部化执行,(c)用于特定目标硬件的最内层块乘积的低级工程,以及(d)构造顶层共享存储器实现,以向加速器馈送数据,并针对超出可用加速器的总存储器容量的输入和输出大小来整合结果。
2019-09-04 cs.DS
Faster Convolutions: Yates and Strassen Revisited
本文通过多线性代数视角分析乘积域卷积,利用快速矩阵乘法理论推导出改进的$O(|D|^{1.582})$时间算法,并指出Strassen渐近秩猜想将意味着准线性时间算法。
2025-05-28 cs.CC cs.DS
Fast Matrix Multiplication Without Tears: A Constraint Programming Approach
University of Toronto(多伦多大学)
本文提出约束规划方法求解快速矩阵乘法的约束满足问题,通过对称性破除、有效不等式、稀疏分解及求解器性能波动,发现算法或证明不可行,并在 CP Optimizer 上快速找到至 $3\ imes3$ 矩阵的算法。
2023-07-17 cs.AI cs.DS math.CO
Unifying and Strengthening Hardness for Dynamic Problems via the Online Matrix-Vector Multiplication Conjecture
考虑下面的在线布尔矩阵-向量乘法问题:我们给出一个$n\times n$矩阵$M$,并将逐个接收大小为$n$的$n$列向量,用$v_1,\ldots,v_n$表示。在看到每个矢量$v_i$之后,我们必须输出乘积$Mv_i$,然后才能看到下一个矢量。一个简单的算法可以解决这个问题,使用$O(n^3)$时间的总和,其运行时间可以稍微改善到$O(n^3/\log^2 n)$ [威廉姆斯SODA'07]。我们表明,一个猜想,有没有真正的次立方($O(n^{3-ε})$)时间算法,这个问题可以用来表现出潜在的多项式时间硬度共享许多动态问题。对于一些问题,如子图连通性,Pagh问题,$d$ -失效连通性,递减单源最短路,递减传递闭包,这个猜想意味着紧硬度的结果.因此,证明或反驳这个猜想将是非常有趣的,因为它要么意味着几个严格的无条件下界,要么突破阻碍这些问题进展的共同障碍。这一猜想也可能被认为是对这些问题的任何进一步改进的有力证据,因为反驳它将意味着组合布尔矩阵乘法和其他长期存在的问题的重大突破,如果术语“组合算法”被解释为“非Strassen-like算法”[Ballard et al. SPAA'11]。该猜想还导致了以前基于不同问题和结构的问题的硬度结果,如3SUM,组合布尔矩阵乘法,三角形检测和多相,从而提供了一种统一的方法来证明动态算法的多项式硬度结果;一些新的证明也更简单,甚至变得…
2015-11-20 cs.DS
Limits on All Known (and Some Unknown) Approaches to Matrix Multiplication
我们研究了设计矩阵乘法算法的已知技术。两种主要的方法是斯特拉森的激光方法,以及科恩和乌曼斯的群论方法。我们定义了一个基于归零的推广,它包含这两种方法,我们称之为太阳能方法,以及一个更一般的方法,我们称之为银河系方法。然后,我们设计了一套技术证明下限值的$ω$,矩阵乘法的指数,这可以通过使用许多张量$T$和银河方法的算法来实现。我们的一些技术利用$T$的“局部”性质,如找到$T$的一个子张量,该子张量是如此“弱”,以至于$T$本身不能用于在$ω$上实现良好的绑定,而另一些技术利用“全局”性质,如$T$是一个群代数的结构张量的单项退化。我们的主要结果是,存在一个普适常数$\ell>2$,使得对于任何$q$,推广Coppersmith-Winograd张量$CW_q$的一大类张量不能在银河方法中使用,以显示$ω$上的界优于$\ell$。我们给出的证据表明,以前的下界技术不足以证明这一点。我们还证明了一些互补的结果,包括对于任何组$G$,结构张量的$\mathbb{C}[G]$可以用来恢复最好的约束$ω$的Coppersmith-Winograd方法得到使用$CW_{|G|-2}$,只要渐近秩的结构张量不是太大。
2018-10-19 cs.CC cs.DS
Limits on the Universal Method for Matrix Multiplication
在这项工作中,我们证明了已知的方法设计矩阵乘法算法的局限性。Alman和Vassilevska Williams最近定义了通用方法,它基本上推广了所有已知的方法,包括Strassen的激光方法和Cohn和Umans的群论方法。我们证明了具体的下界的算法,可以设计的通用方法,许多不同的张量。我们的证明使用新的工具上界的渐近切片秩的张量范围很广。我们的主要结果是,适用于任何Coppersmith-Winograd张量$CW_q$的通用方法不能产生一个比$2.16805$更好的$ω$上的界,矩阵乘法的指数。相比之下,以前只知道应用于$CW_q$的较弱的“银河系方法”不能达到$2$的指数。我们还研究了激光方法(这是,在原则上,一个非常特殊的情况下,通用方法),并证明它是“完整的”矩阵乘法算法:当它适用于张量$T$,它实现$ω= 2$当且仅当它是可能的通用方法应用于$T$实现$ω= 2$。因此,最初用作算法工具的激光方法也可以被视为下边界工具。例如,在他们具有里程碑意义的论文中,Coppermith和Winograd通过将激光方法应用于$CW_q$,实现了$ω\leq 2.376$的边界。根据我们的结果,他们没有实现$ω=2$的事实意味着应用于$CW_q$的通用方法的下限。事实上,如果将通用方法应用于$CW_q$可以获得$ω=2$,那么Coppersmith和Winograd应用激光方法就可…
2019-05-01 cs.CC cs.DS math.CO
(Approximate) Matrix Multiplication via Convolutions
本文研究利用FFT加速矩阵乘法,提出精确算法并扩展群论框架至近似矩阵乘法,打破了组合AMM的线性速度-精度权衡,并探索了基于多项式低度近似的实用AMM方法。
2025-11-05 cs.DM cs.DS
Exact Causal Attention with 10% Fewer Operations
提出精确因果注意力(ECA)算法,利用机器学习发现的代数恒等式,将因果注意力中的三角矩阵乘法操作减少 10%,为计算受限场景提供新方案。
2025-10-11 cs.DM cs.DS cs.LG
Generalizations of Matrix Multiplication can solve the Light Bulb Problem
本文提出用可省略项并含误差项的推广张量替代矩阵乘法张量,结合局部敏感哈希解决灯泡问题,并给出比 Strassen 更快的新张量 $T_{2112}$。
2023-11-02 cs.DS
Algorithm to Compute Squares of 1st N Natural Numbers Without Using Multiplication
处理器可能会发现一些基本操作比其他操作更快。虽然一个操作在概念上可能与其他操作一样简单,但两者的处理速度可能会有所不同。一个聪明的程序员总是试图选择更快的指令来完成任务。本文提出了一种不使用乘法(* 运算符)显示第1 ~ N个自然数平方的算法。相反,可以使用加法(+运算符)完成相同的工作。结果也可以用来计算这些平方和。如果我们将计算第一N个自然数平方的常规方法与该方法进行比较,我们可以得出结论,本文所讨论的算法在时间复杂度方面更优化。
2012-12-22 cs.CC cs.DS
Quantum Worst-Case to Average-Case Reduction for Matrix-Vector Multiplication
本研究提出一种更高效、更简单的量子最坏情况到平均情况归约方法,用于矩阵向量乘法问题,改善了对成功概率的依赖性,为量子细粒度复杂性研究奠定基础。
2025-10-17 cs.CC cs.DS quant-ph