Randomized and quantum approximate matrix multiplication
Simons Institute, UC Berkeley(西蒙斯研究所,加州大学伯克利分校);Institute for Quantum Information and Matter, Caltech(量子信息与物质研究所,加州理工学院)
本文统一随机化矩阵乘法为均值估计,改进经典算法并提出更快的单一算法,并利用量子均值估计实现量子加速。
2025-10-09 cs.DS quant-ph
An Optimal MPC Algorithm for Subunit-Monge Matrix Multiplication, with Applications to LIS
提出一种$O(1)$轮完全可扩展的确定性大规模并行算法计算单元-蒙日矩阵的min-plus乘法,进而得到$O(\log n)$轮求解精确LIS的算法,显著改进先前复杂度并匹配近似最优。
2024-04-20 cs.DS
Randomization of Approximate Bilinear Computation for Matrix Multiplication
我们提出了一种随机化矩阵乘积双线性计算公式的方法。我们考虑这种随机化的影响时,有两个来源的错误:一个是由于公式本身只是近似正确的,一个是由于使用浮点运算。我们的理论结果和数值实验表明,我们的方法可以提高性能时,这些误差源分别存在,以及当它们同时存在。
2022-01-10 cs.DS cs.NA math.NA
Solving Tall Dense Linear Programs in Nearly Linear Time
本文给出了求解具有$n$约束和$d$变量的线性规划问题的一个$\tilde{O}(nd+d^{3})$时间随机算法。为了获得这一结果,我们提供了一种鲁棒的原始-对偶$\tilde{O}(\sqrt{d})$ -迭代内点方法,该方法受到Lee和Sidford(2014,2019)方法的启发,并展示了如何使用基于重命中器,Johnson-Lindenstrauss引理和逆维护的新数据结构有效地实现这种方法。有趣的是,我们得到这个运行时间,而不使用快速矩阵乘法,因此,除非在线性系统求解的重大进展,我们的运行时间是接近最佳的算法,不使用快速矩阵乘法解决密集的线性程序。
2021-08-22 cs.DS math.OC
Optimal Approximate Matrix Multiplication over Sliding Windows
East China Normal University(华东师范大学)
本文提出DS-COD算法,在滑动窗口模型中实现最优空间-误差权衡的近似矩阵乘法,并给出理论下界及自适应版本aDS-COD,实验验证其有效性。
2025-02-26 cs.DS cs.LG
Approximate Triangle Counting via Sampling and Fast Matrix Multiplication
有一个简单的$O(\frac{n^3}{T})$时间算法用于近似三角形计数,其中$T$是图中三角形的数量,$n$是顶点的数量。同时,可以使用时间上的快速矩阵乘法$\tilde{O}(n^ω)$来精确地计数三角形。是否有可能在保持$n^ω$对$n$的依赖性的同时,获得对三角形$T$数量的负依赖性?我们积极回答这个问题,提供了一个算法,运行在时间$O\big(\frac{n^ω}{T^{ω- 2}}\big) \cdot \text{poly}(n^{o(1)}/ε)$。这是最佳的,因为只要$T$的指数独立于$n, T$,它就不能在保持对$n$的依赖性的同时得到改善;这是根据Eden和Rosenbaum的下限得出的[APPROX/RANDOM 2018]。我们的算法改进了现有技术,当$T = ω(1)$和$T = o(n)$。我们还考虑了稀疏图中近似三角形计数的问题,参数化的边缘$m$的数量。最著名的算法在时间上运行$\tilde{O}\big(\frac{m^{3/2}}{T}\big)$ [Eden等人,SIAM Journal on Computing,2017]。还有一个众所周知的算法,用于精确的三角形计数,它在时间上运行$\tilde{O}(m^{2ω/(ω+ 1)})$。我们再次得到了一个算法,保留了$m$的指数,同时在具有大量三角形的图上运行得更快。具体来说,我们的算法在…
2021-05-16 cs.DS
(Approximate) Matrix Multiplication via Convolutions
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文研究利用FFT加速矩阵乘法,提出精确算法并扩展群论框架至近似矩阵乘法,打破了组合AMM的线性速度-精度权衡,并探索了基于多项式低度近似的实用AMM方法。
2025-11-05 cs.DM cs.DS
Solving Empirical Risk Minimization in the Current Matrix Multiplication Time
University of Washington(华盛顿大学);Microsoft Research Redmond(微软研究院雷德蒙德分院);UT-Austin(得克萨斯大学奥斯汀分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
机器学习和计算机科学中的许多凸问题具有相同的形式:\begin{align*} \min_{x} \sum_{i} f_i( A_i x + b_i), \end{align*}其中$f_i$是$\mathbb{R}^{n_i}$上的凸函数,具有常数$n_i$,$A_i \in \mathbb{R}^{n_i \times d}$,$b_i \in \mathbb{R}^{n_i}$和$\sum_i n_i = n$。该问题是线性规划的推广,包含了经验风险最小化中的许多问题。本文给出了一个按时间运行的算法\begin{align*} O^* ( ( n^ω + n^{2.5 - α/2} + n^{2+ 1/6} ) \log (n / δ) ) \end{align*},其中$ω$是矩阵乘法的指数,$α$是矩阵乘法的对偶指数,$δ$是相对精度。请注意,运行时仅对条件编号或其他数据相关参数具有日志依赖性,这些参数在$δ$中捕获。对于当前绑定的$ω\sim 2.38$ [Vassilevska Williams'12,Le Gall'14]和$α\sim 0.31$ [Le Gall,Urrutia'18],我们的运行时$O^* ( n^ω \log (n / δ))$匹配当前最佳解,以解决密集最小二乘回归问题,这是我们考虑的问题的特殊情况。最近,[Alman'18]证明,所有目前已…
2019-05-11 cs.DS cs.LG math.OC
Leveraging Well-Conditioned Bases: Streaming \& Distributed Summaries in Minkowski $p$-Norms
近似线性代数的工作已经导致了有效的分布式和流式算法的问题,如近似矩阵乘法,低秩近似,回归,主要是欧几里德范数$\ell_2$。我们研究了其他$\ell_p$范数,这些范数对$p < 2$更稳健,并且可以用于发现$p > 2$的离群值。与以前的算法,这样的规范,我们给出的算法是(1)确定性,(2)同时工作的每个$p \geq 1$,包括$p = \infty$,(3)可以在分布式和流环境中实现。我们将我们的结果应用到$\ell_p$ -回归,条目式$\ell_1$ -低秩近似,和近似矩阵乘法。
2018-07-06 cs.DS
Algorithms for matrix multiplication via sampling and opportunistic matrix multiplication
本文提出一种基于采样构造更大矩阵并单次运行 broken 乘法算法的近似矩阵乘法方法,将渐近运行时间从 $O(n^{2.778})$ 改进到 $O(n^{2.763})$,并评估了其实际运行时间,指出仍需进一步优化才能具备竞争力。
2024-02-13 cs.DS
Graded Projection Recursion (GPR): Corrections, Obstructions, and Conservative Approximate Matrix Multiplication
University of Missouri-Columbia(密苏里大学哥伦比亚分校)
本文修正了GPR框架,摒弃了精确稠密矩阵乘法定理,提出保守近似矩阵乘法方法,通过局部工具和全局障碍分析,确保保护查询的精确性和误差局部化。
2026-05-11 cs.CC cs.DS
Fast Multiplication of Matrices with Decay
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出稀疏近似矩阵乘法(SpAMM)算法,通过降低乘积空间复杂度实现具有衰减性质矩阵的快速近似乘法,在量子化学矩阵中相比截断方法显著减少浮点运算次数。
2010-11-15 cond-mat.mtrl-sci cs.DS cs.MS
Multiplication of 0-1 matrices via clustering
Graduate School of Informatics, Kyoto University(京都大学信息科学研究科);Institute of Informatics, University of Warsaw(华沙大学信息学研究所);Department of Computer Science, Lund University(隆德大学计算机科学系);Department of Computer Science and Media Technology, Malmö University(马尔默大学计算机科学与媒体技术系)
研究聚类在计算两个0-1矩形矩阵近似和精确算术矩阵积算法设计中的应用,给出简单高效确定性算法,还基于随机聚类给出改进算法。
2026-07-07 cs.DS
OpenTensor: Reproducing Faster Matrix Multiplication Discovering Algorithms
School of Data Science, Fudan University(复旦大学数据科学学院)
OpenTensor复现了AlphaTensor框架,通过清理算法流程、澄清技术细节并改进训练过程,成功利用深度强化学习发现了高效的矩阵乘法算法。
2024-05-31 cs.AI cs.DS cs.LG
Graph Sparsification by Approximate Matrix Multiplication
本文从 RandNLA 视角研究加权图谱稀疏化,利用随机化矩阵乘法分析按边权采样,并通过 CR-MM 算法得到无偏、最小方差且计算高效的 Laplacian 估计,同时提出加性谱稀疏化器新概念。
2023-04-26 cs.DM cs.DS cs.NA
Fast Commutative Matrix Algorithm
我们证明了交换环上的n × 3矩阵和3 × 3矩阵的乘积可以用6 n +3次乘法来计算。对于两个3x 3矩阵,这给了我们一个使用21次乘法的算法。这是相对于使用22次乘法的Makarov算法的改进[13]。本文将结果推广到n × 3和3 × 3矩阵,给出了一个计算交换环上1 × n矩阵与n × m矩阵乘积的算法,当m为奇数时,用n(lm+l+m-1)/2次乘法,当m为偶数时,用(n(lm+l+m-1)+l-1)/2次乘法. Waksman和Islam的奇数n算法需要(n-1)(lm+l+m-1)/2+lm次乘法[10,19],因此在这两种情况下,我们的算法需要较少的乘法。我们还给出了一个算法,即使n使用n(lm+l+m-1)/2乘法,而不使用除法,因为Waksman和伊斯兰的算法使用了一些除以2 [10,19]。此外,我们提出了一个新颖的矩阵乘法:在本文中,我们表明,一些具有特殊性质的非双线性算法可以用作递归算法。与双线性算法相比,对于小的n × n矩阵,比如n<20,我们得到了一些更好的结果。从这些非双线性算法,我们最终得到近似的非双线性算法。例如,我们得到了一个近似的非双线性算法的5x 5矩阵,只使用89乘法。如果有可能将该算法与双线性算法进行比较,我们将获得比Smirnov算法更好的结果[15]。
2020-07-27 cs.CC cs.DS
Sampling Random Spanning Trees Faster than Matrix Multiplication
我们提出了一个算法,以高概率,生成一个随机生成树从边加权无向图在$\tilde{O}(n^{4/3}m^{1/2}+n^{2})$时间($\tilde{O}(\cdot)$符号隐藏$\operatorname{polylog}(n)$因素)。树是从一个分布中采样的,其中每棵树的概率与其边权重的乘积成比例。这改进了以前的最佳算法,由于Colbourn等人。运行在矩阵乘法时间,$O(n^ω)$。对于未加权图的特殊情况,这改进了$m \gg n^{5/3}$的$\tilde{O}(\min\{n^ω,m\sqrt{n},m^{4/3}\})$的最佳先前已知的运行时间(Colbourn等人,'96,Kelner-Madry '09,Madry等人,'15)。有效电阻度量对我们的算法至关重要,正如Madry等人的工作一样,但是我们避开了先前算法所使用的基于行列式和基于随机游走的技术。相反,我们的算法是基于高斯消除,以及有效电阻被保留在图中的事实,从消除顶点的子集(称为舒尔补)。作为我们的算法的一部分,我们展示了如何计算$ε$ -近似有效电阻的一组$S$顶点对通过近似舒尔补充$\tilde{O}(m+(n + |S|)ε^{-2})$时间,而不使用约翰逊-林登施特劳斯引理,需要$\tilde{O}( \min\{(m + |S|)ε^{-2}, m+nε^{-4} +|S|ε^{-2}\})$…
2017-06-20 cs.DS
All Pairs Shortest Paths using Bridging Sets and Rectangular Matrix Multiplication
本文提出了两个求解加权有向图的{ \em所有对最短路径}(APSP)问题的新算法。这两种算法都使用快速矩阵乘法算法。第一个算法解决了加权有向图的APSP问题,其中边的权重是在$\Ot(n^{2+μ})$时间的小绝对值的整数,其中$μ$满足方程$ω(1,μ,1)=1+2μ$和$ω(1,μ,1)$是$n\times n^μ$矩阵乘以$n^μ\times n$矩阵的指数。目前,由Coppermith获得的关于$ω(1,μ,1)$的最佳可用界限意味着$μ<0.575$。因此,我们的算法的运行时间是$O(n^{2.575})$。该算法改进了$\Ot(n^{(3+ω)/2})$时间算法,其中$ω=ω(1,1,1)<2.376$是矩阵乘法的常用指数,由Alon,Galil和Margalit得到,其运行时间仅为$O(n^{2.688})$ .第二个算法解决了APSP问题{ \em almost}精确的有向图与{ \em arbitrary}非负实权重。该算法以$\Ot((n^ω/\eps)\log (W/\eps))$时间运行,其中$\eps>0$是误差参数,W是图中的最大边权重,在边权重被缩放之后,使得图中的最小非零边权重为1。它返回图中所有距离的估计值,最多为$1+\eps$。也可以有效地找到相应的路径。
2000-08-16 cs.DS
A Deterministic Linear Program Solver in Current Matrix Multiplication Time
求解线性规划的内点算法已经被广泛研究了很长一段时间[例如Karmarkar 1984; Lee,Sidford FOCS'14; Cohen,Lee,Song STOC'19]。对于具有$n$变量和$d$约束的形式为$\min_{Ax=b, x \ge 0} c^\top x$的线性规划,一般情况$d = Ω(n)$最近已由Cohen、Lee和Song [STOC'19]解决。他们的算法可以在$\tilde O(n^ω\log(n/δ))$期望时间内求解线性规划,其中$δ$是相对精度。这基本上是最优的,因为所有已知的线性系统求解器需要高达$O(n^ω)$时间来求解$Ax = b$。然而,对于确定性求解器的情况,最佳上限是Vaidya的30年前的$O(n^{2.5} \log(n/δ))$界[FOCS'89]。在本文中,我们表明,人们也可以解决确定性的设置通过去随机化科恩等人。的$\tilde{O}(n^ω\log(n/δ))$时间算法。这允许一个严格的$\tilde{O}(n^ω\log(n/δ))$时间界限,而不是一个预期的,和一个简化的分析,减少了他们的中心路径方法的证明长度大约一半。去随机化这个算法也是Song博士论文中提出的一个开放性问题。实现这一结果的主要工具是一种新的数据结构,它可以在次二次时间内保持线性系统的解。更准确地,我们能够在对角矩阵$U$和向量$v$的$\el…
2020-04-18 cs.DS
Low Rank Matrix-Valued Chernoff Bounds and Approximate Matrix Multiplication
在本文中,我们开发的算法近似矩阵乘法的谱范数。设A \in{\RR^{n\times m}}和B \in \RR^{n \times p}是两个矩阵,且\eps >0。我们使用两个下采样草图\tilde{A} \in \RR^{t\times m}和\tilde{B} \in \RR^{t\times p}来近似乘积A^ \top B,其中t \ll n使得\norm{\tilde{A}^\top \tilde{B} - A^\top B} \leq \eps \norm{A} \norm{B}具有高概率。我们使用两种不同的采样程序来构建\tilde{A}和\tilde{B} ;其中一种是通过i.i.d.从A和B的非均匀采样行,另一个是通过采取它们的行的随机线性组合来完成的。我们证明的界限,只依赖于内在的维数的A和B,这是他们的排名和他们的稳定排名,即他们的弗罗贝纽斯和运营商规范之间的平方比。为了实现依赖于排名的界限,我们采用标准的工具,从高维几何,如浓度的测量参数结合精心设计的\eps -网络结构。对于依赖于稳定秩的较小参数的边界,这种技术本身似乎很弱。然而,我们表明,结合一个简单的截断参数是经得起提供这样的界限。为了处理行采样的类似界,我们提出了一个新的矩阵值的Beschoff界不等式,我们称之为低秩矩阵值Beschoff界。由于这个不等式,我们能够给出仅依赖于输入矩阵的稳定秩…
2010-10-27 cs.DM cs.DS math.PR
Robustifying Sparse Matrix Multiplication
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);National and Kapodistrian University of Athens(雅典国立卡波蒂斯坦大学)
本文提出一种黑盒归约方法,将鲁棒稀疏矩阵乘法转化为传统稀疏矩阵乘法,仅需多对数开销,从而显著改进计算前k大输出项的算法复杂度。
2026-07-03 cs.DS
Elastic-Degenerate String Matching via Fast Matrix Multiplication
弹性简并(ED)弦是总长度为$N$的弦的$n$集合的序列,其最近被提出来模拟一组相似序列。ED字符串匹配(EDSM)问题是在ED文本中找到长度为$m$的模式的所有出现。用于EDSM的$O(nm^{1.5}\sqrt{\log m}+N)$时间算法是已知的[Aoyama等人,CPM 2018]。关于这个问题的先前工作中的标准假设是$N$实质上大于$n$和$m$,因此我们希望对前者具有线性依赖性。在这个假设下,自然的开放问题是我们是否可以降低时间复杂度的1.5指数,类似于相关的(但据我们所知,不等价)断字问题[Backurs and Indyk,FOCS 2016]。我们的出发点是EDSM的条件下界。我们使用流行的组合布尔矩阵乘法(BMM)猜想,说明BMM没有真正的亚立方组合算法[Abboud和Williams,FOCS 2014]。通过设计一个适当的减少,我们表明,一个组合算法解决EDSM问题的$O(nm^{1.5-e}+N)$时间,任何$e>0$,驳斥了这一猜想。我们的减少应该被理解为减少指数需要快速矩阵乘法的指示。字符串周期性和快速傅立叶变换是字符串算法中的两个标准工具。我们的主要技术贡献是,我们成功地将这些工具与快速矩阵乘法结合起来,设计了一个非组合的$\tilde{O}(nm^{ω-1}+N)$时间算法EDSM,其中$ω$表示矩阵乘法指数。据我们所知,我们是第一个将这些工具结…
2021-05-04 cs.DS
Faster Multi-Source Reachability and Approximate Distances via Shortcuts, Hopsets and Matrix Multiplication
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Reykjavik Uniersity(雷克雅未克大学)
本文提出了一种基于捷径、跳转集和矩阵乘法的算法,用于加速多源可达性计算和近似距离计算,改进了现有方法的复杂度。
2026-05-11 cs.DC cs.DS
Fast Matrix Multiplication with Sketching
本文提出基于矩阵抽样技术的近似矩阵乘法算法,通过稀疏化矩阵降低计算成本,证明在样本数足够大时算法精度与现有方法相当。
2014-06-11 cs.DS cs.NA math.NA
Faster $p$-Norm Regression Using Sparsity
对于矩阵$A\in \mathbb{R}^{n\times d}$与$n\geq d$,我们考虑$\min \|Ax-b\|_p^p, \, b\in \mathbb{R}^n$与$\min_{A^\top x=b} \|x\|_p^p,\, b\in \mathbb{R}^d$的对偶问题.我们提高了运行时解决这些问题的高精度为每个$p>1$足够稀疏的矩阵。我们表明,最近的进展,快速稀疏线性求解器可以利用获得比矩阵乘法算法更快的任何$p > 1$,即,在时间$\tilde{O}(pn^θ)$中,对于某些$θ< ω$,矩阵乘法常数。通过对平滑$p$ -范数函数的行采样定理,我们给出了第一个用$1 < p \leq 2$求解$\min \|Ax-b\|_p^p$的高精度输入稀疏$p$-范数回归算法.对于任何$1<p\leq 2$,该算法在时间上运行$\tilde{O}(\text{nnz}(A) + d^4)$,对于接近$2$的$p$,该算法在时间上运行$\tilde{O}(\text{nnz}(A) + d^θ)$,改进了先前的最佳界限,其中$d$的指数随着$\max\{p, p/(p-1)\}$增长。
2021-11-19 cs.DS
Dynamic Trace Estimation
我们研究了动态版本的隐式迹估计问题。由于访问一个oracle计算矩阵向量乘法与一个动态变化的矩阵A,我们的目标是保持一个准确的近似A的轨迹使用尽可能少的乘法。我们提出了一个实用的算法来解决这个问题,并证明,在一个自然的设置,其复杂性是二次优于标准的解决方案,反复应用哈钦森的随机跟踪估计。我们还提供了一种改进的算法,假设对动态矩阵A的假设略强。我们支持我们的理论与实证结果,显示显着的计算改进机器学习和网络科学中的三个应用程序:跟踪时刻的海森谱密度在神经网络优化,计数三角形,并估计自然连接的动态变化的图形。
2021-10-26 cs.DS
Faster Online Matrix-Vector Multiplication
我们考虑由Henzinger等人[STOC'15]研究的在线布尔矩阵-向量乘法(OMV)问题:给定$n \times n$布尔矩阵$M$,我们每次接收一个$n$布尔向量$v_1,\ldots,v_n$,并且对于所有$i$,在看到向量$v_{i+1}$之前,需要输出$M v_i$(在布尔半环上)。以前已知的算法,这个问题是组合,运行在$O(n^3/\log^2 n)$时间。Henzinger等人猜想,对于所有的$\varepsilon > 0$,不存在OMV的$O(n^{3-\varepsilon})$时间算法;他们的OMV猜想被证明对许多基本的动力学问题具有强的困难性。我们给出了一个更快的方法来计算OMV,运行在$n^3/2^{Ω(\sqrt{\log n})}$随机时间。事实上,在看到$2^{ω(\sqrt{\log n})}$向量之后,我们已经实现了矩阵向量乘法的$n^2/2^{Ω(\sqrt{\log n})}$分摊时间。我们的方法给出了一种方法,以减少矩阵向量乘法解决一个版本的正交向量问题,这反过来又减少到“小”代数矩阵矩阵乘法。应用包括更快的独立集检测,部分匹配检索和2-CNF评估。我们还展示了如何修改我们的方法给出了一个细胞探测数据结构OMV最坏的情况下$O(n^{7/4}/\sqrt{w})$时间每个查询向量,其中$w$是字的大小。这一结果排除了使用纯信息论论证OMV…
2016-05-06 cs.CC cs.DS
Centralized, Parallel, and Distributed Multi-Source Shortest Paths via Hopsets and Rectangular Matrix Multiplication
考虑一个无向加权图$G = (V,E,w)$。我们研究的问题计算$(1+ε)$ -近似最短路径的$S \times V$,一个子集$S \subseteq V$的$|S| = n^r$源,一些$0 < r \le 1$。我们设计了一个显着改进的算法,这个问题在整个范围内的参数$r$,在经典的集中式和并行(PRAM)模型的计算,并在广泛的$r$中的分布式(拥塞集团)模型。具体来说,我们的集中式算法这个问题需要时间$\tilde{O}(|E| \cdot n^{o(1)} + n^{ω(r)})$,其中$n^{ω(r)}$是所需的时间乘以一个$n \times n$矩阵的$n^r \times n$。我们的PRAM算法具有多对数时间$(\log n)^{O(1/ρ)}$,它的工作复杂度是$\tilde{O}(|E| \cdot n^ρ+ n^{ω(r)})$,对于任何任意小的常数$ρ>0$。特别地,对于$r \le 0.313\ldots$,我们的集中式算法计算$S \times V$ $(1+ε)$ -在$n^{2 + o(1)}$时间内的近似最短路径。对于任意小的常数$ρ>0$,我们的PRAM多步时间算法的工作复杂度为$O(|E| \cdot n^ρ+ n^{2+o(1)})$。先前存在的解决方案要么需要$O(|E| \cdot |S|)$的集中时间/并行工作,要么提供弱得多的近似…
2021-02-12 cs.DS
Solving Linear Programs with Fast Online Learning Algorithms
本文提出快速一阶方法近似求解线性规划,通过适配在线算法和变量复制技术降低最优性差距,并集成到筛选列生成方案中,可作为直接求解器或初始化子程序。
2024-11-05 cs.DS math.OC
Constant-Depth and Subcubic-Size Threshold Circuits for Matrix Multiplication
McCulloch-Pitts阈值门布尔电路是20世纪后期作为一般计算模型而被大量研究的神经计算的经典模型。大规模神经计算硬件的最新进展使其实际实现成为近期的可能性。我们描述了一种理论方法,用于乘以两个$N$的$N$矩阵,集成了阈值门逻辑与传统的快速矩阵乘法算法,执行$O(N^ω)$算术运算的正常数$ω< 3$。我们的方法将这样一个快速矩阵乘法算法转换成一个恒定深度的阈值电路,大约$O(N^ω)$门。在此之前,我们的工作,这是不知道是否$Θ(N^3)$门矩阵乘法障碍是克服了恒定深度的阈值电路。稠密矩阵乘法是卷积神经网络训练中的核心运算。在神经架构上执行这项工作,而不是将其卸载到GPU上可能是一个有吸引力的选择。
2020-06-25 cs.DC cs.DS cs.NE
Decoding Hidden Markov Models Faster Than Viterbi Via Online Matrix-Vector (max, +)-Multiplication
University of Trento(特伦托大学);Politecnico di Milano(米兰理工大学);University of Verona(维罗纳大学)
本文提出了一种新的时间齐次隐马尔可夫模型(HMM)的最大后验译码(MAPD)算法,将经典Viterbi算法的最坏情况下的运行时间提高了一个对数因子。在我们的方法中,我们解释的维特比算法作为一个重复计算的矩阵向量$(\max, +)$乘法。在时间齐次的Hynomial上,这种计算是在线的:一个预先知道的矩阵必须与几个向量相乘,每次一个。我们的主要贡献是一个算法解决这个版本的矩阵向量$(\max,+)$乘法在次二次时间,通过执行多项式预处理的矩阵。采用这种快速乘法算法,我们解决了在$O(mn^2/ \log n)$时间的任何时间齐次HMM的大小$n$和观察序列的长度$m$的MAPD问题,与额外的多项式预处理成本可以忽略不计的$m > n$。据我们所知,这是第一个算法的MAPD问题需要次二次时间每次观察,唯一的假设下-通常在实践中验证-转移概率矩阵不随时间变化。
2015-12-11 cs.DS cs.IT cs.LG
The Complexity of Simulation and Matrix Multiplication
计算给定Kripke结构的模拟前序(即,具有$n$标记的顶点的有向图)在时序逻辑的模型检查中具有重要的应用。它相当于解决一个特定的两个玩家的可达性游戏,称为模拟策略类游戏。我们提供了这个问题的第一个条件下界,我们将其复杂性(计算,验证和认证)的$n\times n$矩阵乘法的一些变种。我们表明,任何$O(n^α)$时间算法的模拟游戏,甚至限制到非循环游戏/结构,可以用来计算$n\times n$布尔矩阵乘法(BMM)在$O(n^α)$时间。这是第一个证据表明,改善现有的$O(n^{3})$时间的解决方案可能是困难的,而不诉诸快速矩阵乘法。在非循环的情况下,我们匹配这个下限,提出了第一个次立方算法,基于快速BMM,并在$n^{ω+o(1)}$时间(其中$ω<2.376$是矩阵乘法的指数)运行。对于非循环和循环结构,我们指出存在的自然和规范的$O(n^{2})$大小的证书,可以在真正的亚立方时间进行验证。在非循环情况下,采用标准矩阵乘积验证,$O(n^{2})$时间是足够的。在循环情况下,使用$\max$ -半布尔矩阵乘法(MSBMM),即,半环$(\max,\times)$上的矩阵乘法,其中一个矩阵仅包含$0$和$1$。通过简化为$(\max,\min)$ -乘法,该MSBMM在真正的次立方$n^{(3+ω)/2+o(1)}$时间内是可计算的(因此是可验证的)。最后,我们展示了从MS…
2016-08-30 cs.CC cs.DS
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本(也称为I/O复杂度)与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法,并获得第一个下界的通信成本。在顺序情况下,其中处理器具有大小为$M$的快速存储器,其太小而不能存储三个$n$ × $n$矩阵,对于许多矩阵乘法算法,在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$,其中$ω_0$是算术计数中的指数(例如,用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$)。对于$p$并行处理器,每个处理器具有大小为$M$的快速存储器,下限小$p$倍。这些界限是可达到的顺序和并行算法,因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得(例如,用于LU、QR和求解Sylvester方程的算法)。
2011-09-08 cs.CC cs.DC cs.DS
Performance Enhancement Strategies for Sparse Matrix-Vector Multiplication (SpMV) and Iterative Linear Solvers
稀疏线性方程组和稀疏特征值问题的迭代求解在科学研究和工程应用中具有重要的作用。这种迭代解的关键计算核心是稀疏矩阵乘以稠密向量。因此,稀疏矩阵向量乘法(SpMV)和线性求解器的有效实现是必不可少的,并且已经在各种计算架构和加速器(诸如中央处理单元(CPU)、图形处理单元(GPU)、许多集成核(MIC)和现场可编程门阵列(FPGA))上进行了广泛的研究。释放架构/加速器的全部潜力需要确定影响SpMV有效实施的因素。这篇文章是第一篇此类深入调查,涵盖了200多个用于求解稀疏迭代线性系统的最新优化方案,重点是计算SpMV。提出了一种新的分类迭代解决方案和SpMV技术共同的所有架构。本文包括对所有体系结构的SpMV技术的回顾,以巩固单一的分类法,从而鼓励跨体系结构和异构体系结构的开发。然而,主要的焦点是GPU。的主要贡献,以及主要的,次要的,和第三的贡献的SpMV技术首先突出利用分类,然后定性比较。分别讨论了每个体系结构的研究现状的总结。最后,几个开放的问题和未来的研究方向的关键挑战进行了概述。
2022-12-14 cs.DS cs.NA math.NA
Optimal approximate matrix product in terms of stable rank
MIT(麻省理工学院);Harvard(哈佛大学);IBM Almaden(IBM阿尔马登研究中心)
我们证明,使用子空间嵌入保证在一个黑盒的方式,可以实现谱范数保证近似矩阵乘法的降维映射有$m = O(\tilde{r}/\varepsilon^2)$行。这里,$\tilde{r}$是最大稳定秩,即被相乘的两个矩阵的弗罗贝纽斯范数和算子范数的平方比。这是对[MZ 11,KVZ 14]以前工作的定量改进,并且对于任何不经意的降维映射也是最佳的。此外,由于黑盒依赖于子空间嵌入属性在我们的证明,我们的定理可以应用到一个更一般的类的素描矩阵比以前所知道的,除了实现更好的界限。例如,可以将我们的定理应用于有效的子空间嵌入,例如子采样随机Hadamard变换或稀疏子空间嵌入,甚至可以应用于未来可能开发的子空间嵌入构造。我们的主要定理,通过连接与谱误差矩阵乘法在以前的工作中,意味着定量的改进近似最小二乘回归和低秩近似。我们的主要结果也已经被应用于改善$k$ -均值聚类的降维保证[CEMMP 14],并暗示了非参数回归的新结果[YPW 15]。我们还分别指出[BSS 12]的“BSS”确定性行采样结果的证明可以修改为:对于任何稳定秩至多为$\tilde{r}$的矩阵$A, B$,通过对多项式时间内找到的$O(\tilde{r}/\varepsilon^2)$行进行确定性采样,可以实现$A^T B$的近似矩阵乘法的谱范数保证。[BSS 12]的原始结果是秩而不是稳定秩。我们的观察导致[KMST 1…
2016-03-02 cs.DS cs.LG stat.ML
Fully Dynamic $k$-Center in Low Dimensions via Approximate Furthest Neighbors
设$P$是度量空间中的点集。近似最远邻居问题是,给定第二点集$C,$,以找到作为来自$C.$的$(1+ε)$近似最远邻居的点$p \in P$。动态版本是在点的插入和删除上保持$P,$,在某种程度上,允许有效地解决目前的$P.$的近似最远邻居问题,我们提供了第一个算法,解决这个问题的度量空间有限倍维度我们的算法是建立在导航网数据结构之上的。一个直接的应用是解决动态$k$中心问题的两个新算法。第一种方法是在有界双维的一般度量空间中动态地保持$(2+ε)$近似$k$ -中心,第二种方法是保持$(1+ε)$近似欧氏$k$ -中心.这两种动态算法的工作原理是从一个已知的相应的静态算法求解近似$k$ -中心,并取代静态的精确最远邻居子程序所使用的算法与我们新的动态近似最远邻居。与以前的算法动态$k$ -中心与这些相同的近似比,我们的新的不需要知道$k$或$ε$提前。在欧几里德的情况下,我们的算法似乎也是第一个确定性的解决方案。
2023-02-20 cs.CG cs.DS
Fast linear algebra is stable
本文证明,若n×n矩阵乘法可在O(n^{ω+η})次操作内完成,则几乎所有标准线性代数运算(如LU分解、QR分解、线性方程组求解、矩阵求逆、最小二乘问题、特征值问题及奇异值分解)均可在相同复杂度下稳定实现。
2007-08-28 cs.CC cs.DS cs.NA
An Algorithm for Solving Solvable Polynomial Equations of Arbitrary Degree by Radicals
本文给出了求解任意次可解一元代数方程$f(x)=0$($f(x)\in\mathbb{Q}[x]$)并求其精确根式的一种方法(算法)。这种方法要求我们事先知道伽罗瓦群是$f(x)$的根的置换群,并以足够的精度给出近似根。当然,近似根不是必需的,但可以帮助减少计算量。算法复杂度近似与$f(x)$的伽罗瓦群的大小的4次方成比例。整个算法不需要处理大量的多项式,也不需要约简对称多项式。
2022-03-26 cs.DS math.GR math.RA
A Fast Optimization View: Reformulating Single Layer Attention in LLM Based on Tensor and SVM Trick, and Solving It in Matrix Multiplication Time
The University of Washington(华盛顿大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Boston University(波士顿大学)
本文提出一种基于张量与 SVM 技巧的迭代贪心算法,用于优化单层注意力网络的目标函数,并在矩阵乘法时间内实现可证明的求解保证。
2023-09-14 cs.DS cs.LG stat.ML