RSVDPACK: An implementation of randomized algorithms for computing the singular value, interpolative, and CUR decompositions of matrices on multi-core and GPU architectures
RSVDPACK库通过高效随机算法实现矩阵低秩近似,支持SVD、ID和CUR分解,提升数据解释效率并降低内存需求。
2016-08-29 cs.MS cs.NA math.NA
Hierarchical interpolative factorization for elliptic operators: differential equations
Stanford University(斯坦福大学)
本文提出了一种用于二维和三维椭圆偏微分方程的分层插值分解方法,通过稀疏化密集的前导矩阵降低计算成本,验证了其在二维和三维中的线性和拟线性复杂度。
2015-04-20 cs.NA math.NA
Multidimensional Phase Recovery and Interpolative Decomposition Butterfly Factorization
本文重点研究了$K\in \mathbb{C}^{N\times N}$的矩阵$g=Kf$的快速计算,$K\in \mathbb{C}^{N\times N}$是具有核函数$K(x,ξ)=e^{2\piıΦ(x,ξ)}$的多维振荡积分变换$g(x) = \int K(x,ξ) f(ξ)dξ$的离散化,其中$Φ(x,ξ)$是具有$x$和$ξ$的分段光滑相位函数,$\mathbb{R}^d$用于$d=2$或$3$。在只能间接访问相位函数$Φ$的情况下,引入了一个新的框架来计算具有$O(N\log N)$时间和存储复杂度的$Kf$。该框架由两个主要步骤组成:1)提出了一种从间接访问中恢复多维相位函数$Φ$的$O(N\log N)$算法; 2)设计了一种多维插值分解蝶形分解(MIDBF),一旦$Φ$可用,则以$O(N\log N)$的复杂度来评估矩阵$Kf$。数值结果证明了所提出的框架的有效性。
2020-03-23 cs.NA math.NA
A Hierarchical Butterfly LU Preconditioner for Two-Dimensional Electromagnetic Scattering Problems Involving Open Surfaces
提出了一种求解二维电场积分方程的分层插值分解蝶形LU分解(H-IDBF-LU)预条件子. H-IDBF-LU利用插值分解蝶形因子分解(IDBF)来压缩离散化EFIE算子的密集块以加快其应用;此压缩算子也用作EFIE算子的近似LU因子分解,从而在迭代求解器中产生有效的预处理器。在一次迭代中,H-IDBF-LU求解器的内存需求和计算成本都是$O(N\log^2 N)$;在我们所有的数值测试中,获得相当好的精度所需的迭代总数是$O(1)$到$O(\log^2N)$。建议的预处理迭代求解器的有效性和准确性证明,通过其应用到广泛的散射体,涉及高达$100$万未知数。
2019-10-04 cs.NA math.NA
Approximate inversion of discrete Fourier integral operators
本文介绍了一种可应用于拟线性时间的离散傅里叶积分算子逆的因式分解。因子分解开始于用蝶形因子分解近似算子。其次,构造了由傅里叶积分算子与其伴随算子构成的埃尔米特矩阵的层次矩阵表示。该算法基于层次插值因式分解,有效地实现了该表示的逆变换。通过组合这两种因式分解,傅里叶积分算子的近似逆因式分解被获得为大小为$N\times N$的$O(\log N)$稀疏矩阵的乘积。由此产生的近似逆分解可以用作直接求解器或预处理器。一维和二维傅里叶积分算子,包括广义Radon变换的数值例子,证明了这种新方法的性能。
2021-05-06 cs.NA math.NA
A technique for updating hierarchical skeletonization-based factorizations of integral operators
Stanford University(斯坦福大学);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Department of Mathematics, Stanford University(斯坦福大学数学系)
本文提出一种方法,用于更新分层因子分解以求解具有椭圆核的线性积分方程。通过局部扰动几何或系数,以近似复杂度更新初始因子分解,适用于递归骨架化分解和分层插值分解,并展示了不同2D问题设置的扩展结果。
2015-11-02 cs.NA math.NA
Algorithm librla: A library of randomized linear algebra routines
Department of Applied Mathematics, University of Colorado Boulder(科罗拉多大学博尔德分校应用数学系);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院)
librla是为中等规模矩阵设计的随机线性代数库,能在多种高级语言中稳定高效运行,功能比现有软件更多,用户可按需求选分解方式,数值结果显示其在三种语言中性能相当。
2026-08-06 cs.MS cs.NA math.NA
Hierarchical Alternating Least Squares Methods for Quaternion Nonnegative Matrix Factorizations
本文提出一种用于四元数非负矩阵分解的分层交替最小二乘方法,在统一框架下处理RGB彩色与偏振图像,实验验证其优于现有方法。
2024-07-22 cs.NA math.NA
Hierarchical Prior Regularized Matrix Factorization for Image Completion
最近的低秩先验模型有效地解决了张量完成问题。然而,这些模型未能利用张量的局部模式,这损害了张量完成的性能。本文提出了一种新的张量完备化的分层先验正则化矩阵分解模型。该模型将低秩先验、全变差先验和稀疏编码先验分层融合到矩阵分解中,同时刻画了张量的全局低秩性和局部光滑性.对于所提出的模型,我们使用乘子的交替方向法来建立我们的算法。此外,还对算法的复杂度和收敛性进行了分析,进一步验证了算法的有效性.然后通过各种数据集对所提出的方案进行评估。实验结果表明,该方法优于几种现有的方法。
2021-04-10 cs.NA math.NA
Second Order Accurate Hierarchical Approximate Factorization of Sparse SPD Matrices
我们描述了一个二阶精确的方法来稀疏对称正定矩阵的分层近似分解的非对角块稀疏化。新方法所产生的误差的范数依赖于给定块的低秩近似中的误差的平方,而不是线性。对所得到的两电平预条件子的分析表明,该预条件子也具有二阶精度。我们将新的方法到最近的稀疏嵌套解剖算法[SIAM J.矩阵分析。应用程序、41(2020),pp. 715-746],并在广泛的问题上进行测试。新方法将收敛所需的共轭梯度迭代次数减半,具有几乎相同的因式分解复杂度,提高了算法的总运行时间。我们的方法可以结合到其他的秩结构的方法来解决稀疏线性系。
2020-08-04 cs.NA math.NA
Nonnegative Tensor Factorization, Completely Positive Tensors and an Hierarchical Elimination Algorithm
The Hong Kong Polytechnic University(香港理工大学);Suzhou University of Science and Technology(苏州科技大学)
本文研究了非负张量分解、完全正张量的性质及其分层消除算法,探讨了张量的对称性和支配性,提出了一种判断完全正张量的方法。
2013-05-23 cs.NA math.NA
Fast symmetric factorization of hierarchical matrices with applications
本文给出了一个计算弱容许条件下对称正定分层矩阵对称分解的快速直接算法,即$A = WW^T$。对于分层非对角低秩矩阵,对称因式分解的计算成本按比例缩放为$\mathcal{O}(n \log^2 n)$。一旦获得该因式分解,反演、应用和行列式计算的成本按比例缩放为$\mathcal{O}(n \log n)$。特别地,这允许在$A$是协方差阵的情况下,相关随机变量的接近最优的生成。这种对称因式分解算法依赖于两个关键因素。首先,我们提出了一个新的对称因式分解公式低秩更新的形式$I+UKU^T$的身份。如果扰动的秩足够小,则可以在$\mathcal{O}(n)$时间内计算该因式分解。第二,将该公式与递归分治策略相结合,可以得到层次结构矩阵的近似线性复杂度对称分解。我们提出的数值结果矩阵相关的问题,概率\统计(高斯过程),插值(径向基函数),和布朗动力学计算流体力学(Rotne-Prager-Yamakawa张量)。
2016-12-30 cs.NA math.NA physics.flu-dyn
Hierarchical Orthogonal Factorization: Sparse Least Squares Problems
在这项工作中,我们开发了一个快速的层次求解器解决大型,稀疏最小二乘问题。我们建立在算法,spaQR(稀疏QR),这是由作者开发的解决大型稀疏线性系。我们的算法是建立在一个嵌套的解剖为基础的multifrontal QR方法。我们使用低秩近似的正面矩阵稀疏的顶点分离器在每一个级别的消除树。使用两步稀疏化方案,我们减少了列的数量,并保持在每个前面的行列的比例,而不引入任何额外的填充。有了这个即兴的计划,我们表明,该算法的运行时间尺度为$\mathcal{O}(M \log N)$,并使用$\mathcal{O}(M)$内存来存储的因式分解。这是在一个小的和可控的近似误差的代价。最终结果是矩阵的近似因式分解,存储为稀疏正交和上三角因子的序列,因此易于使用向量应用/求解。最后,我们比较了spaQR算法在求解稀疏最小二乘问题的性能直接多波前QR和CGLS迭代法与一个标准的对角预条件。
2021-03-04 cs.NA math.NA
Hierarchical Orthogonal Factorization: Sparse Square matrices
在这项工作中,我们开发了一个新的快速算法,spaQR -稀疏QR,解决大型,稀疏线性系。我们的方法的关键是使用低秩近似来稀疏化基于嵌套解剖的Householder QR分解中的分离器。首先,使用嵌套解剖的修改版本来识别内部/分隔符并重新排序矩阵。然后,经典的Householder QR被用来分解内部,从叶子到根到消除树。在每一级内部分解之后,我们通过使用低秩近似来稀疏剩余的分离器。该操作减小了分离器的尺寸,而不会在基质中引入任何填充物。然而,它引入了一个小的近似误差,可以由用户控制。所得到的近似因式分解被存储为稀疏正交和稀疏上三角因子的序列。因此,它可以有效地应用于解决线性系。此外,我们进一步改进了算法,通过使用块对角缩放。然后,我们展示了一个系统的分析的逼近误差和有效性的算法在解决线性系。最后,我们对基准非对称问题进行了数值测试,以评估算法的性能。因式分解时间尺度为$\mathcal{O}(N \log N)$,求解时间尺度为$\mathcal{O}(N)$。
2020-10-14 cs.NA math.NA
Complexity estimates for triangular hierarchical matrix algorithms
本文研究了三角形分层矩阵算法的复杂性,通过理论估计证明了LR分解与矩阵乘法和逆运算的复杂性关系,并改进了矩阵乘法的复杂性上界。
2019-05-26 cs.NA math.NA
A Butterfly-Based Direct Integral Equation Solver Using Hierarchical LU Factorization for Analyzing Scattering from Electrically Large Conducting Objects
Department of Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气与计算机工程系);University of Michigan(密歇根大学);Department of Microwave Engineering, University of Electronic Science and Technology of China(电子科技大学微波工程系);University of Electronic Science and Technology of China(电子科技大学)
本文提出一种基于蝴蝶算法的直接联合场积分方程求解器,通过压缩分层LU分解后的离散CFIE算子块,提高计算效率,其内存和计算成本分别为O(N log²N)和O(N¹·⁵ logN),优于低秩分解求解器。
2017-01-15 cs.NA math.NA
Accelerated Multiplicative Updates and Hierarchical ALS Algorithms for Nonnegative Matrix Factorization
非负矩阵分解(NMF)是一种数据分析技术,广泛应用于文本挖掘、图像处理、高光谱数据分析、计算生物学和聚类等领域。在本文中,我们考虑了两种旨在解决NMF问题的著名算法,即Lee和Seung的乘法更新以及Cichocki等人的分层交替最小二乘。我们提出了一种简单的方法来显着加速这些方案,基于仔细分析每次迭代所需的计算成本,同时保持其收敛性。这种加速技术也可以应用于其他算法,我们举例说明的投影梯度法林。经验证明,图像和文本数据集上的加速算法的效率,并与最先进的交替非负最小二乘算法相媲美。
2011-10-06 cs.NA math.NA math.OC
Randomized Strong Recursive Skeletonization: Simultaneous Compression and LU Factorization of Hierarchical Matrices using Matrix-Vector Products
The Ohio State University(俄亥俄州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种利用矩阵-向量乘积同时压缩和分解H²矩阵的算法,具有低采样复杂度和对不定性和病态的鲁棒性。
2025-11-13 cs.NA math.NA
Sparse Hierarchical Solvers with Guaranteed Convergence
Stanford University(斯坦福大学)
本文提出一种稀疏线性系统求解器,通过提高低频误差精度,增强求解器对线性系统条件数的鲁棒性,保持线性计算成本和内存占用。
2017-03-13 cs.NA math.NA
Sparse Hierarchical Tucker Factorization and its Application to Healthcare
Georgia Institute of Technology(佐治亚理工学院)
本文提出稀疏分层Tucker分解方法,用于处理稀疏高阶张量数据。该方法通过嵌套采样技术解决传统分层Tucker方法的可扩展性问题,提升了效率和准确性,并在医疗数据集上验证了其性能。
2016-10-25 cs.LG cs.NA math.NA
Simple non-extensive sparsification of the hierarchical matrices
Institute of Numerical Mathematics Russian Academy of Sciences(俄罗斯科学院计算数学研究所);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
本文提出一种非广泛稀疏分解方法,用于替代直接求解H2矩阵的系统,通过等效稀疏矩阵实现高效求解,验证了其在HODLR、H2Lib和IFMM等方法中的有效性。
2018-04-28 cs.NA math.NA
Learning the Hierarchical Parts of Objects by Deep Non-Smooth Nonnegative Matrix Factorization
RIKEN(日本理化学研究所);SKOLTECH(莫斯科SKOLTECH)
本文提出深度非光滑非负矩阵分解方法,通过更深层架构学习复杂数据的层次特征,结合非负约束生成部分特征并提取更高层次抽象特征,实验表明其在聚类分析中表现优异。
2018-03-20 cs.CV cs.DS cs.NA
A hierarchical preconditioner for wave problems in quasilinear complexity
本文介绍了一种新的,分层预条件子的基础上嵌套的剖分和分层矩阵压缩。该预条件子用于求解椭圆问题的连续和不连续Galerkin公式。我们利用的性质,Schur补在这样的问题中产生的可以很好地近似分层矩阵。近似因式分解可以在无矩阵的情况下以(准)线性数量的运算来计算。嵌套分解是专门设计来帮助使用分层矩阵的因式分解过程。我们证明了一系列的二维问题,包括亥姆霍兹方程和弹性波方程的预条件的可行性。在所有的测试中,包括高波数的波动现象,广义最小残差方法(GMRES)与建议的预处理收敛在一个非常低的迭代次数。我们证明,这是由于我们的方法,使高波数限制管理的层次性质。
2021-05-17 cs.DS cs.NA math.NA
Solving Linear Systems on a GPU with Hierarchically Off-Diagonal Low-Rank Approximations
我们感兴趣的是解决线性系所产生的三个应用:(1)核方法在机器学习中,(2)离散化的边界积分方程从数学物理,(3)舒尔补形成在许多大型稀疏矩阵的因式分解。系数矩阵通常是数据稀疏的,因为它们的非对角块具有低的数值秩;具体来说,我们专注于“分层非对角低秩(HODLR)”矩阵。我们介绍了因式分解HODLR矩阵和在GPU上应用因式分解的算法。该算法利用了批处理稠密线性代数的效率,并且当数值秩固定时,它们与矩阵大小近似线性地缩放。HODLR矩阵近似的精度是一个可调参数,因此我们可以构造高精度的快速直接求解器或低精度的鲁棒预处理器。数值结果表明,我们可以在一个GPU上在几秒钟内解决数百万个未知数的问题。
2022-08-12 cs.NA math.NA
Asymmetric Multiresolution Matrix Factorization
University of Chicago(芝加哥大学);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Flatiron Institute(弗莱提荣研究所)
多分辨率矩阵分解(MMF)最近被引入作为占主导地位的低秩范式的替代方案,以捕获多个不同尺度下的矩阵结构。利用多分辨分析的思想,通过构造一系列小波基,梳理出对称矩阵的层次结构。虽然对这样的矩阵有效,但有大量的数据更自然地表示为非对称矩阵(例如有向图),但仍然具有类似的分层结构。在本文中,我们探讨的技术,扩展MMF到任何方阵。我们在许多矩阵压缩任务上验证了我们的方法,与低秩方法相比,证明了它的有效性。此外,我们还表明,一个组合的低秩和MMF的方法,这相当于删除一个小的全球规模的组成部分的矩阵,然后提取层次结构的残差,是更有效的比每两个互补的矩阵压缩方法。
2019-10-10 cs.LG cs.NA math.NA
$O(N)$ distributed direct factorization of structured dense matrices using runtime systems
本文将异步运行时系统 PaRSEC 用于 HSS-ULV 结构化稠密矩阵直接分解,解决层级合并的并行难题,并在 Fugaku 上相对 STRUMPACK 与 LORAPO 取得最高 2 倍加速且精度相当或更优。
2023-11-02 cs.MS cs.NA math.NA
Parallel Sparse and Data-Sparse Factorization-based Linear Solvers
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
针对大规模病态不定代数方程,综述了稀疏直接求解器在减少通信延迟和利用低秩压缩降低计算复杂度方面的最新进展,并讨论了现代异构并行机器上的并行化挑战与最佳实践。
2026-05-22 cs.DC cs.MS cs.NA
Efficient arithmetic operations for rank-structured matrices based on hierarchical low-rank updates
本文提出基于分层低秩更新的算法,实现对H²矩阵的乘积、逆及分解的近线性复杂度运算,通过递归过程和局部低秩更新提升计算效率。
2014-07-03 cs.NA math.NA
A recursive skeletonization factorization based on strong admissibility
Stanford University(斯坦福大学);TSMC Technology Inc.(台积电科技);University of California, Berkeley(加州大学伯克利分校)
本文提出基于递归骨架化的强递归骨架化分解方法,用于求解二维、三维椭圆偏微分方程的离散化线性积分方程,通过压缩远场交互实现低秩增长的近似分解。
2017-01-06 cs.NA math.NA
"Compress and eliminate" solver for symmetric positive definite sparse matrices
提出了一种新的求解对称正定稀疏矩阵线性系组的近似因式分解。简而言之,该算法是应用分层块高斯消去法,并额外压缩填充。具有填充的有效压缩的系统大多产生于偏微分方程的离散化。我们表明,由此产生的因式分解可以作为一个有效的预条件,并比较所提出的方法与最先进的直接和迭代求解器。
2018-05-05 cs.NA math.NA
A Preconditioner Based on Low-Rank Approximation of Schur Complements
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出基于Schur补分层低秩压缩的预处理子,通过Hierarchically-Semi-Separable矩阵近似,实现无需原矩阵显式形式的$ LDM^t $因子分解,用于求解椭圆和双曲问题的DG有限元近似。
2015-08-31 cs.NA math.NA
Sparse Hierarchical Preconditioners Using Piecewise Smooth Approximations of Eigenvectors
当求解由PDE离散化产生的线性系统时,迭代法(如共轭梯度法、GMRES或MINRES)通常是唯一实用的选择。然而,为了在少量迭代中收敛,它们必须与有效的预条件子相结合。预条件子的效率很大程度上取决于其对对应于小特征值的特征向量的精度,不幸的是,黑箱方法通常不能保证这些特征向量的足够精度。因此,构建预条件子成为一个问题依赖的任务。然而,对于一大类问题,包括许多椭圆型方程,对应于小特征值的特征向量是PDE网格的光滑函数。在本文中,我们描述了一个分层近似因式分解的方法,重点是提高精度的光滑特征向量。通过保持分解矩阵对网格的分段多项式函数的作用,提高了精度。基于因子分解,我们提出了一族具有$O(n)$或$O(n \log{n})$构造复杂度的稀疏预条件子。我们的方法表现出最佳的$O(n)$解决方案的时间在基准上运行的大型椭圆问题的不同类型,例如在流动或机械模拟。在线性弹性方程的情况下,预条件是精确的近核刚体模式。
2020-02-21 cs.NA math.NA physics.comp-ph
The QR factorization of a banded-plus-semiseparable matrix is computable in linear complexity with Householder reflections
Imperial College London(帝国理工学院)
本文证明带状加半可分离矩阵的QR分解可通过Householder反射在线性复杂度内完成,并进一步展示对称情形下RQ积保持结构,实现每步线性复杂度的QR算法。
2026-08-25 cs.NA math.NA
Hierarchical LU preconditioning for the time-harmonic Maxwell equations
针对时谐 Maxwell 方程有限元离散系统的不定性与迭代收敛缓慢问题,本文研究基于 $\mathcal{H}$-matrix 近似逆的直接求解及 $\mathcal{H}$-LU 预条件方法,并评估迭代次数。
2023-04-27 cs.NA math.NA
Sparse matrix factorizations for fast linear solvers with application to Laplacian systems
Université catholique de Louvain(天主教鲁汶大学);Université de Namur(纳穆尔大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种在稀疏搜索方向和非稀疏搜索方向之间进行插值的方法,通过新的稀疏分解技术实现高效的线性系统求解,并应用于拉普拉斯系统的近线性时间求解。
2016-12-02 cs.NA math.NA math.OC
An exact solver for simple ${\mathcal H}$-matrix systems
本文提出一种在O(n log²n)操作内精确求解简单H矩阵系统的方法,通过避免计算逆矩阵,利用Sherman-Morrison-Woodbury方程进行低秩更新来高效表示LU分解。
2014-02-21 cs.NA math.NA
Fast hierarchical solvers for sparse matrices using extended sparsification and low-rank approximation
用标准的直接求解方案求稀疏矩阵的逆是鲁棒的,但是计算昂贵。另一方面,迭代求解器表现出更好的可扩展性;但是,需要与适当的预处理器一起使用(例如,ILU、AMG、Gauss-Seidel等)为了正确的收敛。有效预条件子的选择是高度依赖于问题的。提出了一种新的全代数稀疏矩阵求解算法,该算法的复杂度与问题规模成线性关系。我们的方案是基于高斯消元法。对于一个给定的矩阵,我们近似的LU分解与先验确定的可调精度。该方法可以作为一个独立的直接求解器,具有线性复杂度和可调精度,或者它可以作为一个黑盒预处理器与迭代法,如GMRES。建议的求解器是基于低秩近似的消除过程中产生的填充。类似于H矩阵,对应于邻接图中良好分离的块的填充通过分层结构来表示。算法的线性复杂度是有保证的,如果块对应于良好分离的变量集群是数值低秩。
2016-12-15 cs.DS cs.NA math.NA
Distributed Bayesian Matrix Factorization with Limited Communication
Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University(赫尔辛基信息科技研究院 HIIT,计算机科学系,阿莱大学);Department of Informatics, University of Bergen(信息学院,卑尔根大学)
本文提出了一种分布式贝叶斯矩阵分解方法,通过分层分解联合后验分布,结合并行计算和高效近似实现,提高了大规模数据处理效率,同时保持预测准确性。
2019-02-27 cs.DC cs.LG cs.NA