A 51-Addition Alternative-Basis Kernel for Rank-23 $3\times3$ Matrix Multiplication
本文提出一种秩23的3×3矩阵乘法算法,在交替基下用51次加法,加上转换共56次,结合线性规划与稀疏基搜索,并给出机器可验证的证书。
2026-09-29 cs.CC cs.DS cs.SC
Solving Empirical Risk Minimization in the Current Matrix Multiplication Time
University of Washington(华盛顿大学);Microsoft Research Redmond(微软研究院雷德蒙德分院);UT-Austin(得克萨斯大学奥斯汀分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
机器学习和计算机科学中的许多凸问题具有相同的形式:\begin{align*} \min_{x} \sum_{i} f_i( A_i x + b_i), \end{align*}其中$f_i$是$\mathbb{R}^{n_i}$上的凸函数,具有常数$n_i$,$A_i \in \mathbb{R}^{n_i \times d}$,$b_i \in \mathbb{R}^{n_i}$和$\sum_i n_i = n$。该问题是线性规划的推广,包含了经验风险最小化中的许多问题。本文给出了一个按时间运行的算法\begin{align*} O^* ( ( n^ω + n^{2.5 - α/2} + n^{2+ 1/6} ) \log (n / δ) ) \end{align*},其中$ω$是矩阵乘法的指数,$α$是矩阵乘法的对偶指数,$δ$是相对精度。请注意,运行时仅对条件编号或其他数据相关参数具有日志依赖性,这些参数在$δ$中捕获。对于当前绑定的$ω\sim 2.38$ [Vassilevska Williams'12,Le Gall'14]和$α\sim 0.31$ [Le Gall,Urrutia'18],我们的运行时$O^* ( n^ω \log (n / δ))$匹配当前最佳解,以解决密集最小二乘回归问题,这是我们考虑的问题的特殊情况。最近,[Alman'18]证明,所有目前已…
2019-05-11 cs.DS cs.LG math.OC
OpenTensor: Reproducing Faster Matrix Multiplication Discovering Algorithms
School of Data Science, Fudan University(复旦大学数据科学学院)
OpenTensor复现了AlphaTensor框架,通过清理算法流程、澄清技术细节并改进训练过程,成功利用深度强化学习发现了高效的矩阵乘法算法。
2024-05-31 cs.AI cs.DS cs.LG
An Exact 56-Addition, Rank-23 Scheme for General 3*3 Matrix Multiplication
Purdue University(普渡大学)
本文提出一个通用3×3矩阵乘法的秩23算法,使用56次加减和23次乘法,总操作数为79次标量运算,优于之前的58次加法方案,适用于任意结合但可能非交换的系数环。
2026-04-30 cs.CC cs.DS
Algorithm to Compute Squares of 1st N Natural Numbers Without Using Multiplication
处理器可能会发现一些基本操作比其他操作更快。虽然一个操作在概念上可能与其他操作一样简单,但两者的处理速度可能会有所不同。一个聪明的程序员总是试图选择更快的指令来完成任务。本文提出了一种不使用乘法(* 运算符)显示第1 ~ N个自然数平方的算法。相反,可以使用加法(+运算符)完成相同的工作。结果也可以用来计算这些平方和。如果我们将计算第一N个自然数平方的常规方法与该方法进行比较,我们可以得出结论,本文所讨论的算法在时间复杂度方面更优化。
2012-12-22 cs.CC cs.DS
Mathematical Programming Strategies for Solving the Minimum Common String Partition Problem
University of the Basque Country UPV/EHU(巴斯克大学 UPV/EHU);Universidad Santo Tomás(圣托马斯大学)
最小公共串划分问题是计算生物学中的一个NP-难组合优化问题。在这项工作中,我们提出了第一个整数线性规划模型来解决这个问题。此外,整数线性规划模型的基础上,我们开发了一个确定性的两阶段启发式算法,适用于较大的问题实例。结果表明,对于文献中的中小规模问题实例,用CPLEX求解所提出的整数线性规划模型,可以得到较好的最优解。此外,新的最知名的解决方案,从文献中获得所有考虑的问题实例。关于启发式,我们能够表明,它优于相关文献中的启发式竞争对手。
2014-05-22 cs.AI cs.DS
Privately Solving Linear Programs
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
本文系统地研究了差分隐私下的线性规划问题。第一步是简单地定义问题:为此,我们引入了几个自然类的私人线性程序,捕捉不同的方式敏感数据可以被纳入一个线性程序。对于每一类线性规划,我们给出了一个有效的,差分私人求解器的基础上的乘法权重框架,或者我们给出了一个不可能的结果。
2014-05-08 cs.CR cs.DS cs.LG
Solving Linear Programs with Fast Online Learning Algorithms
本文提出快速一阶方法近似求解线性规划,通过适配在线算法和变量复制技术降低最优性差距,并集成到筛选列生成方案中,可作为直接求解器或初始化子程序。
2024-11-05 cs.DS math.OC
A more accurate rational non-commutative algorithm for multiplying 4x4 matrices using 48 multiplications
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);cnrs(法国国家科学研究中心);Grenoble inp – uga(格勒诺布尔理工学院);ljk(联合计算与知识实验室);Univ. Lille(里尔大学)
本文提出一种更精确的4x4矩阵乘法算法,使用48次非交换乘法,改进了误差界指数并提升了实际精度。
2026-07-30 cs.DS cs.SC
Faster Online Matrix-Vector Multiplication
我们考虑由Henzinger等人[STOC'15]研究的在线布尔矩阵-向量乘法(OMV)问题:给定$n \times n$布尔矩阵$M$,我们每次接收一个$n$布尔向量$v_1,\ldots,v_n$,并且对于所有$i$,在看到向量$v_{i+1}$之前,需要输出$M v_i$(在布尔半环上)。以前已知的算法,这个问题是组合,运行在$O(n^3/\log^2 n)$时间。Henzinger等人猜想,对于所有的$\varepsilon > 0$,不存在OMV的$O(n^{3-\varepsilon})$时间算法;他们的OMV猜想被证明对许多基本的动力学问题具有强的困难性。我们给出了一个更快的方法来计算OMV,运行在$n^3/2^{Ω(\sqrt{\log n})}$随机时间。事实上,在看到$2^{ω(\sqrt{\log n})}$向量之后,我们已经实现了矩阵向量乘法的$n^2/2^{Ω(\sqrt{\log n})}$分摊时间。我们的方法给出了一种方法,以减少矩阵向量乘法解决一个版本的正交向量问题,这反过来又减少到“小”代数矩阵矩阵乘法。应用包括更快的独立集检测,部分匹配检索和2-CNF评估。我们还展示了如何修改我们的方法给出了一个细胞探测数据结构OMV最坏的情况下$O(n^{7/4}/\sqrt{w})$时间每个查询向量,其中$w$是字的大小。这一结果排除了使用纯信息论论证OMV…
2016-05-06 cs.CC cs.DS
Randomized Rounding without Solving the Linear Program
随机舍入是一种基于概率方法的标准方法,用于设计组合近似算法。在Raghavan的开创性论文介绍了该方法(1988年),他写道:“解决整数规划的线性规划松弛所花费的时间在理论上占主导地位的净运行时间(而且,很可能在实践中也是如此)。本文探讨了如何避免包装和覆盖问题(线性规划或混合整数线性规划,没有负系数)的随机舍入算法的瓶颈。所得到的算法是贪心算法,并且比标准的随机舍入算法更快、更简单地实现。这种方法也可以用来理解包装/覆盖线性规划的拉格朗日松弛算法:这种算法可以被视为(去随机化)随机舍入方案。
2002-05-18 cs.DM cs.DS
Decoding Hidden Markov Models Faster Than Viterbi Via Online Matrix-Vector (max, +)-Multiplication
University of Trento(特伦托大学);Politecnico di Milano(米兰理工大学);University of Verona(维罗纳大学)
本文提出了一种新的时间齐次隐马尔可夫模型(HMM)的最大后验译码(MAPD)算法,将经典Viterbi算法的最坏情况下的运行时间提高了一个对数因子。在我们的方法中,我们解释的维特比算法作为一个重复计算的矩阵向量$(\max, +)$乘法。在时间齐次的Hynomial上,这种计算是在线的:一个预先知道的矩阵必须与几个向量相乘,每次一个。我们的主要贡献是一个算法解决这个版本的矩阵向量$(\max,+)$乘法在次二次时间,通过执行多项式预处理的矩阵。采用这种快速乘法算法,我们解决了在$O(mn^2/ \log n)$时间的任何时间齐次HMM的大小$n$和观察序列的长度$m$的MAPD问题,与额外的多项式预处理成本可以忽略不计的$m > n$。据我们所知,这是第一个算法的MAPD问题需要次二次时间每次观察,唯一的假设下-通常在实践中验证-转移概率矩阵不随时间变化。
2015-12-11 cs.DS cs.IT cs.LG
The Complexity of Simulation and Matrix Multiplication
计算给定Kripke结构的模拟前序(即,具有$n$标记的顶点的有向图)在时序逻辑的模型检查中具有重要的应用。它相当于解决一个特定的两个玩家的可达性游戏,称为模拟策略类游戏。我们提供了这个问题的第一个条件下界,我们将其复杂性(计算,验证和认证)的$n\times n$矩阵乘法的一些变种。我们表明,任何$O(n^α)$时间算法的模拟游戏,甚至限制到非循环游戏/结构,可以用来计算$n\times n$布尔矩阵乘法(BMM)在$O(n^α)$时间。这是第一个证据表明,改善现有的$O(n^{3})$时间的解决方案可能是困难的,而不诉诸快速矩阵乘法。在非循环的情况下,我们匹配这个下限,提出了第一个次立方算法,基于快速BMM,并在$n^{ω+o(1)}$时间(其中$ω<2.376$是矩阵乘法的指数)运行。对于非循环和循环结构,我们指出存在的自然和规范的$O(n^{2})$大小的证书,可以在真正的亚立方时间进行验证。在非循环情况下,采用标准矩阵乘积验证,$O(n^{2})$时间是足够的。在循环情况下,使用$\max$ -半布尔矩阵乘法(MSBMM),即,半环$(\max,\times)$上的矩阵乘法,其中一个矩阵仅包含$0$和$1$。通过简化为$(\max,\min)$ -乘法,该MSBMM在真正的次立方$n^{(3+ω)/2+o(1)}$时间内是可计算的(因此是可验证的)。最后,我们展示了从MS…
2016-08-30 cs.CC cs.DS
Graph Expansion and Communication Costs of Fast Matrix Multiplication
算法的通信成本(也称为I/O复杂度)与相应计算图的扩展特性密切相关。我们证明了这对Strassen的和其他快速矩阵乘法算法,并获得第一个下界的通信成本。在顺序情况下,其中处理器具有大小为$M$的快速存储器,其太小而不能存储三个$n$ × $n$矩阵,对于许多矩阵乘法算法,在快速和慢速存储器之间移动的字的数目的下限是$Ω((\frac{n}{\sqrt M})^{ω_0}\cdot M)$,其中$ω_0$是算术计数中的指数(例如,用于Strassen的$ω_0 = \lg 7$和用于常规矩阵乘法的$ω_0 = 3$)。对于$p$并行处理器,每个处理器具有大小为$M$的快速存储器,下限小$p$倍。这些界限是可达到的顺序和并行算法,因此最佳的。这些界限也可以通过线性代数中的许多快速算法来获得(例如,用于LU、QR和求解Sylvester方程的算法)。
2011-09-08 cs.CC cs.DC cs.DS