Limits on All Known (and Some Unknown) Approaches to Matrix Multiplication
我们研究了设计矩阵乘法算法的已知技术。两种主要的方法是斯特拉森的激光方法,以及科恩和乌曼斯的群论方法。我们定义了一个基于归零的推广,它包含这两种方法,我们称之为太阳能方法,以及一个更一般的方法,我们称之为银河系方法。然后,我们设计了一套技术证明下限值的$ω$,矩阵乘法的指数,这可以通过使用许多张量$T$和银河方法的算法来实现。我们的一些技术利用$T$的“局部”性质,如找到$T$的一个子张量,该子张量是如此“弱”,以至于$T$本身不能用于在$ω$上实现良好的绑定,而另一些技术利用“全局”性质,如$T$是一个群代数的结构张量的单项退化。我们的主要结果是,存在一个普适常数$\ell>2$,使得对于任何$q$,推广Coppersmith-Winograd张量$CW_q$的一大类张量不能在银河方法中使用,以显示$ω$上的界优于$\ell$。我们给出的证据表明,以前的下界技术不足以证明这一点。我们还证明了一些互补的结果,包括对于任何组$G$,结构张量的$\mathbb{C}[G]$可以用来恢复最好的约束$ω$的Coppersmith-Winograd方法得到使用$CW_{|G|-2}$,只要渐近秩的结构张量不是太大。
2018-10-19 cs.CC cs.DS
An Adaptable Fast Matrix Multiplication Algorithm, Going Beyond the Myth of Decimal War
本文提出了一种自适应的快速矩阵乘法(AFMM)算法,该算法计算两个n × n稠密矩阵的乘积矩阵,其平均复杂度为Tavg(n)= d1d2n3,并承认平均计数是通过加法而不是乘法来获得的,而乘法可能是现有矩阵乘法算法中基本运算的毫无疑问的选择。
2013-08-11 cs.DS
Error correction in fast matrix multiplication and inverse
我们提出了新的算法来检测和纠正错误的产品中的两个矩阵,或逆矩阵,在任意字段。我们的算法不需要任何额外的信息或编码以外的原始输入和错误的输出。当错误的数量足够小时,它们的运行时间在这些矩阵中的非零条目的数量上是软线性的,并且它们还包含快速矩阵乘法,以便当错误的数量很大时,成本可以很好地缩放。这些算法建立在Gasieniec等人(2017)关于校正矩阵乘积的最新结果,以及验证算法,稀疏低秩线性代数和稀疏多项式插值的现有工作基础上。
2018-02-07 cs.DS cs.SC
GPU-Accelerated Search for Fast Matrix Multiplication over $\mathbb{F}_2$
Northeastern University(东北大学)
提出GPU加速搜索矩阵乘法翻转图算法,每秒超十亿步,证明$\mathbb{F}_2$上翻转图强连通,找到$7\times7$矩阵乘法245次乘法的新纪录。
2026-10-28 cs.DS cs.SC
Fast Integer Multiplication using Modular Arithmetic
本文给出了一个用于两个$N$位整数相乘的$O(N\cdot \log N\cdot 2^{O(\log^*N)})$算法,它改进了Schönhage-Strassen的$O(N\cdot \log N\cdot \log\log N)$算法.这两种算法都使用模运算。最近,傅勒给出了一个$O(N\cdot \log N\cdot 2^{O(\log^*N)})$算法,但使用算术复数,而不是模块化的算术。在本文中,我们使用多元多项式乘法以及从Fürer算法的想法,以实现这种改进的模块化设置。我们的算法也可以被看作是一个$p$ -adic版本的Fürer的算法。因此,我们表明,这两个看似不同的方法,整数乘法,模和复杂的算术,是相似的。
2008-09-19 cs.DS cs.SC
Fast integer multiplication using generalized Fermat primes
近35年来,Sch{<$}nhage-Strassen的算法一直是已知的最快的整数乘法算法,其时间复杂度为O(n $\times$ log n $\times$ log log n)。在2007年,F{ü}rer证明了存在K > 1和一个算法执行此操作的时间复杂度为O(n $\times$ log n $\times$ K log n)。Harvey、van der Hoeven和Lecerf最近的工作表明,这个复杂性估计可以得到改进,以使K = 8,实际上K = 4。使用另一种算法,它依赖于算术模广义费马素数,我们得到了同样的结果K = 4,通过仔细的复杂性分析,在确定性的多带图灵模型。
2018-04-17 cs.CC cs.DM cs.DS
Further limitations of the known approaches for matrix multiplication
我们认为,目前最好的矩阵乘法算法背后的技术。我们的成果有三个方面。(1)我们提供了一个统一的框架,表明所有已知的矩阵乘法运行时间,自1986年以来,可以实现从一个非常自然的张量-结构张量$T_q$的模的整数$q$。(2)我们表明,如果一个人适用于推广的已知技术(任意零出张量的权力,以获得独立的矩阵产品,以使用的渐近和不等式Schönhage)的任意单项退化的$T_q$,然后有一个明确的下限,取决于$q$,上界的矩阵乘法指数$ω$,可以实现。我们还显示了上界值$α$,可以实现,其中$α$是这样的$n\times n^α\times n$矩阵乘法可以计算在$n^{2+o(1)}$时间。(3)我们证明了当$q$趋于无穷大时,$ω$的下界接近$2$。这表明了一种有希望的方法来改善$ω$上的结合:对于可变的$q$,找到$T_q$的单项退化,使用已知的技术,产生作为$q$的函数的$ω$上的上界。然后,将$q$带到无穷大。不排除,因此可能的是,可以以这种方式获得$ω=2$。
2017-12-19 cs.CC cs.DS
Faster integer multiplication using short lattice vectors
我们证明了$n$位整数可以在$O(n \log n \, 4^{\log^* n})$位运算中相乘.这个复杂性界限以前已经实现了几个作者,假设各种未经证明的数论假设。我们的证明是无条件的,并在一个基本的方式依赖于闵可夫斯基定理关于对称凸集的格向量。
2018-02-22 cs.DS cs.SC math.NT
Sparsifying the Operators of Fast Matrix Multiplication Algorithms
快速矩阵乘法算法可能是有用的,只要它们的运行时间在实践中是好的。特别地,它们的算术复杂度的前导系数需要小。许多次立方算法具有大的前导系数,使得它们不切实际。Karstadt和Schwartz(SPAA'17,JACM'20)演示了如何通过稀疏化算法的双线性算子来减少这些系数。不幸的是,寻找最佳稀疏化的问题是NP-难的。为此,我们得到了三个新的方法,并将其应用到现有的快速矩阵乘法算法,从而提高其领先系数。这些方法在最坏情况下的运行时间是指数级的,但在实际中运行速度很快,并提高了许多快速矩阵乘法算法的性能。其中两种方法保证产生领先系数,在某些假设下,是最佳的。
2020-08-09 cs.DS
Symmetries of matrix multiplication algorithms. I
在这项工作中,矩阵的快速乘法算法被认为是。任何算法都有一定的自同构群。这些自同构群被发现的一些著名的算法,包括算法的Hopcroft,Laderman和潘。对于Hopcroft算法和Laderman算法,自同构群分别同构于$S_3\times Z_2$和$S_4$.算法的对称性研究对于寻找快速算法可能是一个富有成效的想法,通过与众所周知的代码,格和图的优化问题进行类比。{ \em Keywords}:Strassen算法,对称性,快速矩阵乘法。
2015-08-05 cs.CC cs.DS math.GR
Faster Online Matrix-Vector Multiplication
我们考虑由Henzinger等人[STOC'15]研究的在线布尔矩阵-向量乘法(OMV)问题:给定$n \times n$布尔矩阵$M$,我们每次接收一个$n$布尔向量$v_1,\ldots,v_n$,并且对于所有$i$,在看到向量$v_{i+1}$之前,需要输出$M v_i$(在布尔半环上)。以前已知的算法,这个问题是组合,运行在$O(n^3/\log^2 n)$时间。Henzinger等人猜想,对于所有的$\varepsilon > 0$,不存在OMV的$O(n^{3-\varepsilon})$时间算法;他们的OMV猜想被证明对许多基本的动力学问题具有强的困难性。我们给出了一个更快的方法来计算OMV,运行在$n^3/2^{Ω(\sqrt{\log n})}$随机时间。事实上,在看到$2^{ω(\sqrt{\log n})}$向量之后,我们已经实现了矩阵向量乘法的$n^2/2^{Ω(\sqrt{\log n})}$分摊时间。我们的方法给出了一种方法,以减少矩阵向量乘法解决一个版本的正交向量问题,这反过来又减少到“小”代数矩阵矩阵乘法。应用包括更快的独立集检测,部分匹配检索和2-CNF评估。我们还展示了如何修改我们的方法给出了一个细胞探测数据结构OMV最坏的情况下$O(n^{7/4}/\sqrt{w})$时间每个查询向量,其中$w$是字的大小。这一结果排除了使用纯信息论论证OMV…
2016-05-06 cs.CC cs.DS
How Fast Can We Multiply Large Integers on an Actual Computer?
我们提供了两个复杂性度量,可用于测量计算长整数乘法的算法的运行时间。具有单位成本或对数成本的随机存取机不足以测量像长整数乘法这样的任务的复杂性。图灵机在这里更有用,但未能考虑到短整数的乘法指令,这在物理计算设备上是可用的。一个有趣的结果是,所提出的改进的复杂性措施不排名众所周知的乘法算法的方式与图灵机模型。
2014-02-08 cs.CC cs.DS
Simple, Fast and Practicable Algorithms for Cholesky, LU and QR Decomposition Using Fast Rectangular Matrix Multiplication
Universidad de Cantabria(坎塔布里亚大学)
本文提出了一种基于快速矩形矩阵乘法的Cholesky/LU/QR分解算法,时间复杂度为O(n^{2.529}),并展示了其在实际应用中的优势。
2018-12-05 cs.DS cs.NA math.NA
Graph Expansion Analysis for Communication Costs of Fast Rectangular Matrix Multiplication
University of California, Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
本文通过图扩展分析方法,为快速矩形矩阵乘法算法推导通信成本下界,并证明部分下界最优。
2012-09-11 cs.CC cs.DS cs.NA
Matrix multiplication algorithms from group orbits
我们展示了如何构造高度对称的矩阵乘法算法。特别是,我们考虑的算法,矩阵乘法张量分解成一个和秩1张量,分解本身由轨道下的一些有限群作用。我们展示了如何使用相应的组的表示理论,以获得简单的约束的分解,我们解决了手为n= 2,3,4,5,恢复斯特拉森的算法(在一个特别对称的形式)和新的算法更大的n。虽然这些新的算法不提高已知的上界张量秩或矩阵乘法指数,他们是美丽的,在自己的权利,我们指出修改这个想法,可能会导致进一步的改进。我们的构造还提出了可以为新算法挖掘的进一步模式,包括与格的诱人联系。特别是,使用格,我们给最透明的证明日期Strassen的算法;相同的证明工程的所有n,产生一个分解与$n^3 - n + 1$条款。
2016-12-12 cs.CC cs.DS math.AG
Faster integer and polynomial multiplication using cyclotomic coefficient rings
我们提出了一个算法,计算两个n位整数的产品在O(nlog n(4 \sqrt 2)^{log^* n})位操作。最好的算法是O(n log n ^{log^* n})。我们还证明了,对于一个固定的素数p,多项式在F_p[X]的次数n可以乘以O(n log n 4^{log^* n})位操作;以前的最佳界是O(n log n 8^{log^* n})。
2017-12-11 cs.DS cs.SC math.NT
More Asymmetry Yields Faster Matrix Multiplication
Columbia University(哥伦比亚大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
该研究通过在激光方法分析中引入更多不对称性,结合数值优化进展,将平方矩阵乘法指数界从ω<2.371552提升至ω<2.371177,同时改进了矩形矩阵乘法的指数界。
2026-08-20 cs.CC cs.DS
Faster Matrix Multiplication via Asymmetric Hashing
本文通过非对称哈希方法部分补偿Coppersmith-Winograd张量分析中的组合损失,改进了快速矩阵乘法的激光方法,将时间复杂度指数ω的上界提升至2.371866,打破了此前2.3725的下界。
2023-11-28 cs.DS
Fast matrix multiplication is stable
本文对一类递归矩阵乘法算法进行前向误差分析,证明矩阵乘法指数可通过数值稳定算法实现,并表明群论算法也属于稳定算法。
2006-12-07 cs.CC cs.DS cs.NA
Fast Context-Free Grammar Parsing Requires Fast Boolean Matrix Multiplication
1975年,Valiant证明布尔矩阵乘法可以用于解析上下文无关文法(CFG),产生了已知的最快(尽管不实用)的CFG解析算法。我们证明了一个对偶结果:任何具有时间复杂度$O(g n^{3 - \epsilson})$的CFG解析器(其中$g$是语法的大小,$n$是输入串的长度)都可以被有效地转换成在时间上乘以$m \times m$布尔矩阵的算法$O(m^{3 - ε/3})$。鉴于实际的,基本上是次立方布尔矩阵乘法算法已经很难找到,因此,我们解释了为什么一直没有什么进展,在开发实用的,基本上是次立方一般的CFG解析器。在证明这一结果,我们还开发了一个形式化的概念解析。
2001-12-15 cs.CL cs.DS
Towards Faster Feasible Matrix Multiplication by Trilinear Aggregation
针对现有快速矩阵乘法算法多不适用于实际可行输入规模的问题,采用三线性聚合结合de Groote等价性替换、稀疏分解等优化,得到基例28起即更优、适用规模同Pan算法的$O(n^{2.773203})$算法,推动实用快速矩阵乘法发展。
2025-08-03 cs.DS
Fast Approximate Matrix Multiplication by Solving Linear Systems
在本文中,我们提出了新的确定性算法乘以两个$n \times n$矩阵近似。给定两个矩阵$A,B$,我们返回一个矩阵$C'$,它是$C = AB$的\emph{approximation}。我们考虑近似矩阵乘法的概念,其目标是使误差矩阵$C-C'$的Frobenius范数任意小。我们的主要贡献是首先减少矩阵乘法问题,解决一组线性方程组,然后使用标准的技术,找到一个近似的解决方案,该系统在$\tilde{O}(n^2)$时间。据我们所知,这是第一次检查到设计二次时间确定性算法的近似矩阵乘法,保证任意低的\emph{absolute error} w.r.t.弗罗贝纽斯·诺姆。
2014-08-20 cs.DS
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本(也称为I/O复杂度)与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法,并获得第一个下界的通信成本。在顺序情况下,其中处理器具有大小为$M$的快速存储器,其太小而不能存储三个$n$ × $n$矩阵,对于许多矩阵乘法算法,在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$,其中$ω_0$是算术计数中的指数(例如,用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$)。对于$p$并行处理器,每个处理器具有大小为$M$的快速存储器,下限小$p$倍。这些界限是可达到的顺序和并行算法,因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得(例如,用于LU、QR和求解Sylvester方程的算法)。
2011-09-08 cs.CC cs.DC cs.DS
Limits on the Universal Method for Matrix Multiplication
在这项工作中,我们证明了已知的方法设计矩阵乘法算法的局限性。Alman和Vassilevska Williams最近定义了通用方法,它基本上推广了所有已知的方法,包括Strassen的激光方法和Cohn和Umans的群论方法。我们证明了具体的下界的算法,可以设计的通用方法,许多不同的张量。我们的证明使用新的工具上界的渐近切片秩的张量范围很广。我们的主要结果是,适用于任何Coppersmith-Winograd张量$CW_q$的通用方法不能产生一个比$2.16805$更好的$ω$上的界,矩阵乘法的指数。相比之下,以前只知道应用于$CW_q$的较弱的“银河系方法”不能达到$2$的指数。我们还研究了激光方法(这是,在原则上,一个非常特殊的情况下,通用方法),并证明它是“完整的”矩阵乘法算法:当它适用于张量$T$,它实现$ω= 2$当且仅当它是可能的通用方法应用于$T$实现$ω= 2$。因此,最初用作算法工具的激光方法也可以被视为下边界工具。例如,在他们具有里程碑意义的论文中,Coppermith和Winograd通过将激光方法应用于$CW_q$,实现了$ω\leq 2.376$的边界。根据我们的结果,他们没有实现$ω=2$的事实意味着应用于$CW_q$的通用方法的下限。事实上,如果将通用方法应用于$CW_q$可以获得$ω=2$,那么Coppersmith和Winograd应用激光方法就可…
2019-05-01 cs.CC cs.DS math.CO
Fast matrix multiplication techniques based on the Adleman-Lipton model
在分布式存储器电子计算机上,快速并行矩阵乘法算法的实现和关联已经产生了惊人的结果和见解。在这篇论文中,我们使用分子生物学的工具来证明Strassen的快速矩阵乘法算法与DNA的理论编码的基础上的$n$ -模集的剩余数系统,从而证明计算数学与DNA的可行性。其结果是,一般可扩展的实现该模型的DNA计算范式,并可以推广到DNA计算机上的应用程序的\emph{all}快速矩阵乘法算法。我们还讨论了这种可扩展的实现的实际能力和问题。用DNA进行矩阵计算的快速方法很重要,因为它们也允许用DNA有效地实现其他算法(即求逆、计算行列式和图论)。
2011-12-19 cs.DS cs.ET q-bio.QM
OpenTensor: Reproducing Faster Matrix Multiplication Discovering Algorithms
School of Data Science, Fudan University(复旦大学数据科学学院)
OpenTensor复现了AlphaTensor框架,通过清理算法流程、澄清技术细节并改进训练过程,成功利用深度强化学习发现了高效的矩阵乘法算法。
2024-05-31 cs.AI cs.DS cs.LG
Fast Matrix Multiplication Without Tears: A Constraint Programming Approach
University of Toronto(多伦多大学)
本文提出约束规划方法求解快速矩阵乘法的约束满足问题,通过对称性破除、有效不等式、稀疏分解及求解器性能波动,发现算法或证明不可行,并在 CP Optimizer 上快速找到至 $3\ imes3$ 矩阵的算法。
2023-07-17 cs.AI cs.DS math.CO
An Improved Upper Bound on Maximal Clique Listing via Rectangular Fast Matrix Multiplication
最大团列表问题的第一个输出敏感算法是由Tsukiyama等人在1977年给出的。作为落入逆向搜萦范例的任何算法,它执行对具有要列出的对象(即,最大团)作为其节点的有向树(RS树)的DFS访问。在递归实现中,RS树对应于算法的递归树。时间延迟由生成节点的下一个子节点的成本给出,Tsukiyama表明它是$O(mn)$。2004年,Makino和Uno通过计算\emph{square}快速矩阵乘法在一个Single Shot中生成一个节点的所有子节点,将时间延迟锐化为$O(n^ω)$。在本文中,我们进一步提高了渐近探索相同的RS-树的分组后代的计算更进一步。我们的想法是依靠矩形快速矩阵乘法,以计算所有的孩子$n^2$节点在一个镜头。根据快速矩阵乘法的当前上界,由此时间延迟从$O(n^{2.3728639})$改善到$O(n^{2.093362})$。
2015-08-24 cs.DM cs.DS
On cap sets and the group-theoretic approach to matrix multiplication
在2003年,Cohn和Umans描述了一个通过将矩阵乘法简化为群代数乘法来证明矩阵乘法的指数$ω$上界的框架,并且在2005年,Cohn,Kleinberg,Szegedy和Umans提出了如何获得$ω=2$的具体方法。在本文中,我们排除了获得$ω=2$在这个框架下,从阿贝尔群的有界指数。要做到这一点,我们绑定的大小三色和自由集在这样的群体,扩展了突破性的成果,克鲁特,列夫,帕奇,艾伦伯格和Gijswijt帽集。作为我们的证明的副产品,我们表明,由于陶张量秩的一个变体给出了定量的理解不稳定张量的概念,从几何不变理论。
2017-01-14 cs.DS math.CO math.GR
Generalizations of Matrix Multiplication can solve the Light Bulb Problem
本文提出用可省略项并含误差项的推广张量替代矩阵乘法张量,结合局部敏感哈希解决灯泡问题,并给出比 Strassen 更快的新张量 $T_{2112}$。
2023-11-02 cs.DS
A Computational Model for Tensor Core Units
Stony Brook University(石溪大学);University of Padova(帕多瓦大学);Free University of Bozen(博岑自由大学)
为了满足深度神经网络的高效训练和推理需求,已经引入了大量特定于领域的硬件架构,例如Google Tensor Processing Units和NVIDIA Tensor Cores。这些架构的共同特征是用于有效地计算给定小尺寸的密集矩阵乘法的硬件电路。为了拓宽利用这些系统的算法的类,我们提出了一个计算模型,命名为TCU模型,它捕获的能力,本机乘小矩阵。然后,我们使用TCU模型设计快速算法的几个问题,包括矩阵运算(密集和稀疏乘法,高斯消元),图形算法(传递闭包,所有对最短距离),离散傅立叶变换,模板计算,整数乘法,多项式评估。最后,我们强调TCU模型和外部存储器模型之间的关系。
2020-07-09 cs.AR cs.DC cs.DS
Engineering Compressed Matrix Multiplication with the Fast Walsh-Hadamard Transform
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
该研究通过快速沃尔什-哈达玛变换改进压缩矩阵乘法,实现高速计算并优于现有DGEMM性能。
2026-01-14 cs.DS
Fast Matrix Multiplication with Sketching
本文提出基于矩阵抽样技术的近似矩阵乘法算法,通过稀疏化矩阵降低计算成本,证明在样本数足够大时算法精度与现有方法相当。
2014-06-11 cs.DS cs.NA math.NA
On Fast Computation of a Circulant Matrix-Vector Product
本文研究循环矩阵。它表明,一个循环矩阵可以乘以一个向量的时间为O(n log(n))的环的根的单位,而不使用FFT算法。与我们的算法相比,我们实现了一个因子的加速比约为2.25的两个多项式的乘法与整数系数的乘法FFT算法。作为进一步的应用,本文还讨论了大整数乘法.
2021-03-03 cs.DS
Fast Multiplication of Matrices with Decay
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出稀疏近似矩阵乘法(SpAMM)算法,通过降低乘积空间复杂度实现具有衰减性质矩阵的快速近似乘法,在量子化学矩阵中相比截断方法显著减少浮点运算次数。
2010-11-15 cond-mat.mtrl-sci cs.DS cs.MS
Fully Polynomial-time Algorithms Parameterized by Vertex Integrity Using Fast Matrix Multiplication
本文以顶点完整性为参数,利用快速矩阵乘法为围长、最大匹配、四顶点诱导子图检测和 APSP 设计完全多项式时间算法,并在复杂度上优于既有树深参数化方法。
2024-03-04 cs.DS
Solving Sparse Linear Systems Faster than Matrix Multiplication
线性方程组能比矩阵乘法更快求解吗?虽然对于图结构线性系统的特殊情况已经有了显著的进展,但是在一般设置中,求解$n \times n$线性系统$Ax=b$的位复杂度是$\tilde{O}(n^ω)$,其中$ω< 2.372864$是矩阵乘法指数。即使对于具有多$(n)$条件数的稀疏线性系统,改进这一点也是一个开放的问题。在本文中,我们提出了一个算法,解决稀疏矩阵的线性系统渐近快于矩阵乘法的任何$ω> 2$。这种加速适用于具有$o(n^{ω-1}/\log(κ(A)))$非零的任何输入矩阵$A$,其中$κ(A)$是$A$的条件数。对于具有$\tilde{O}(n)$非零值的多$(n)$条件矩阵,以及$ω$的当前值,我们的算法在任何$1/\text{poly}(n)$误差内求解的位复杂度为$O(n^{2.331645})$。我们的算法可以被看作是一个有效的,随机执行块Krylov方法通过递归低位移秩分解。它的灵感来自于[Eberly et al. ISSAC `06 `07]的算法,用于有限域上的逆矩阵。在我们的数值稳定性分析中,我们发展了矩阵反集中技术来限制半随机矩阵的最小特征值和特征值中的最小间隙。
2021-01-07 cs.DS cs.NA math.NA
Decoding Hidden Markov Models Faster Than Viterbi Via Online Matrix-Vector (max, +)-Multiplication
University of Trento(特伦托大学);Politecnico di Milano(米兰理工大学);University of Verona(维罗纳大学)
本文提出了一种新的时间齐次隐马尔可夫模型(HMM)的最大后验译码(MAPD)算法,将经典Viterbi算法的最坏情况下的运行时间提高了一个对数因子。在我们的方法中,我们解释的维特比算法作为一个重复计算的矩阵向量$(\max, +)$乘法。在时间齐次的Hynomial上,这种计算是在线的:一个预先知道的矩阵必须与几个向量相乘,每次一个。我们的主要贡献是一个算法解决这个版本的矩阵向量$(\max,+)$乘法在次二次时间,通过执行多项式预处理的矩阵。采用这种快速乘法算法,我们解决了在$O(mn^2/ \log n)$时间的任何时间齐次HMM的大小$n$和观察序列的长度$m$的MAPD问题,与额外的多项式预处理成本可以忽略不计的$m > n$。据我们所知,这是第一个算法的MAPD问题需要次二次时间每次观察,唯一的假设下-通常在实践中验证-转移概率矩阵不随时间变化。
2015-12-11 cs.DS cs.IT cs.LG
Fast multiplication by two's complement addition of numbers represented as a set of polynomial radix 2 indexes, stored as an integer list for massively parallel computation
本文提出了一种基于多项式基数2索引集合的快速乘法方法,通过二进制补码加法实现高效并行计算,克服了传统并行乘法的内存共享限制。
2025-11-27 cs.DC cs.DS cs.LG