Spectrum-Revealing Cholesky Factorization for Kernel Methods
UC Berkeley(加州大学伯克利分校)
本文提出一种可靠的低秩矩阵分解——揭示谱的Cholesky分解,用于核矩阵近似,并开发高效的随机算法,实验表明该算法在机器学习任务中效果与传统Cholesky分解方法相当,但速度更快。
2018-04-14 cs.NA math.NA
An Efficient Solver for Sparse Linear Systems Based on Rank-Structured Cholesky Factorization
本文提出一种结合传统超节点Cholesky算法高效内存访问与秩结构直接求解器内存效率的稀疏Cholesky算法,用于求解由偏微分方程离散化得到的正定线性系统,展现出更优的内存使用和运行时间表现。
2015-07-20 cs.NA math.NA
GR decompositions and their relations to Cholesky-like factorizations
对于一个给定的矩阵,我们感兴趣的是计算GR分解$A=GR$,其中$G$是一个等距关于给定的标量产品。正交QR分解是欧几里德标积的代表。对于签名矩阵,给出相应的因子分解作为双曲QR分解。考虑斜对称矩阵导致辛QR分解。计算GR分解的标准方法是基于次对角矩阵项的连续消除。对于双曲和辛的情况下,这种方法一般不会导致令人满意的数值精度。另一种方法通过Cholesky分解来计算QR分解,但稳定性也很差。通过第二次重复该过程来改进。以同样的方式,双曲和辛QR分解与$LDL^T$和反对称Cholesky样分解有关。我们表明,利用这种连接的方法可以提供更好的数值稳定性比基于消除的方法。
2020-06-11 cs.NA math.NA
Analysis of Randomized Householder-Cholesky QR Factorization with Multisketching
Center for Computing Research, Sandia National Laboratories(桑迪亚国家实验室计算研究中心);Temple University(天普大学)
提出随机Householder-Cholesky QR算法,通过多重草图矩阵在NVIDIA A100 GPU上实现高瘦矩阵分解,兼具shifted CholeskyQR3的稳定性和CholeskyQR2的低成本,成为理论与实践中的优越方法。
2025-03-14 cs.NA math.NA
Randomized Cholesky QR factorizations
本文提出并分析了矩阵$X$的随机Cholesky QR分解的几种变体。而不是从$X^T X$计算R因子,如通过标准方法所做的,我们从一个小的,有效地计算随机草图的$X$,从而节省计算成本,提高数值稳定性。提出的随机Cholesky QR的直接变体只需要一半的触发器和相同的通信成本作为经典的Cholesky QR。同时,它更鲁棒,因为只要输入矩阵是满秩的,它就保证是稳定的。秩揭示随机化Cholesky QR变体具有整理出$X$的线性相关列的能力,这允许具有无条件的数值稳定性,并在$X$秩不足时降低计算成本。我们还描述了一个列导向的随机Cholesky QR,建立了与随机Gram-Schmidt过程的连接,以及一个减少的变体,输出Q因子的低维投影,而不是全因子,因此产生了巨大的计算节省。结果表明,在所提出的算法中,以更高的精度执行较小的操作可以允许与主矩阵维数无关的工作单元循环的稳定性。此功能可能是特别感兴趣的QR分解的高和瘦的矩阵上的低精度架构。
2022-10-22 cs.NA math.NA
RCHOL: Randomized Cholesky Factorization for Solving SDD Linear Systems
我们引入一个随机算法,即RCHOL,来构造一个给定拉普拉斯矩阵(a.k.a.,图Laplacian)。从图的角度来看,精确的Cholesky分解在消除行/列之后在底层图中引入了一个团。通过随机化,RCHOL使用Spielman和Kyng开发的随机采样仅保留集团中边缘的稀疏子集。我们证明了RCHOL是无故障的,并将其应用于求解具有对称对角占优矩阵的大型稀疏线性系。此外,我们并行化RCHOL的基础上嵌套解剖排序共享内存的机器。我们报告的数值实验,证明RCHOL的鲁棒性和可扩展性。例如,我们的并行代码在单个节点上扩展到64个线程,用于求解3D泊松方程,该方程在$1024\times 1024 \times 1024$网格上使用7点模板离散化,该问题具有10亿个未知数。
2021-09-02 cs.MS cs.NA math.NA
Shifted CholeskyQR for computing the QR factorization of ill-conditioned matrices
Hokkaido University(北海道大学);Arup(奥雅纳);National Institute of Informatics(国立情报学研究所);The University of Electro-Communications(电气通信大学);JST CREST(日本科学技术振兴机构战略创造事业);Waseda university(早稻田大学)
本文提出了一种改进的CholeskyQR算法,通过在Gram矩阵上引入偏移来克服病态矩阵计算中的数值不稳定性,从而实现更高效的QR分解。
2018-09-28 cs.NA math.NA
On the minimum FLOPs problem in the sparse Cholesky factorization
TU Berlin(柏林工业大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
通过显式可扩展构造证明稀疏Cholesky分解中最小化填充与最小化FLOPs在严格意义上是不同的问题,并给出NP难度的归约证明。
2013-10-28 cs.CC cs.NA math.NA
Parallel Cholesky Factorization for Banded Matrices using OpenMP Tasks
针对放射治疗计划等数值优化场景中带状矩阵Cholesky分解的性能瓶颈,提出基于OpenMP任务的多线程分解方法,在多款Intel CPU上性能优于或持平于Intel MKL,最高提升约26%。
2023-05-08 cs.DC cs.NA math.NA
Jordan algebras, hemiplex numbers, and the Cholesky decomposition of arbitrary symmetric matrices
Massachusetts Institute of Technology(麻省理工学院);Washington University School of Medicine(华盛顿大学医学院)
研究任意对称矩阵Cholesky分解,通过类比正定矩阵与特定二次方程,利用半复数这种非结合代数实现分解,无需pivoting保持带状结构,对奇异矩阵可生成零空间参数化,为求解对称线性方程增添实用工具。
2026-07-24 cs.NA math.NA math.RA
Developing robust incomplete Cholesky factorizations in half precision arithmetic
本文研究半精度算术下病态对称正定问题的鲁棒不完全 Cholesky 分解,通过预缩放、前瞻策略、全局位移等方法防止分解中断,并结合混合精度精化实现双精度准确度。
2025-02-02 cs.NA math.NA
Efficient and Stable Algorithms to Extend Greville's Method to Partitioned Matrices Based on Inverse Cholesky Factorization
Shenzhen University(深圳大学)
Greville的方法已被用于BLS(Broad Learn-ing System)中,提出了一种有效的增量学习系统,而无需从一开始就对整个网络进行重新训练。对于第二部分由p列组成的列分块矩阵,Greville方法需要p次迭代来从第一部分的伪逆计算整个矩阵的伪逆。BLS中的增量算法是对Greville方法的一种扩展,即从第一部分矩阵的伪逆计算整个矩阵的伪逆,只需一次迭代,但这种方法忽略了一些可能的情况,需要进一步提高效率和数值稳定性。在本文中,我们提出了一个有效的和数值稳定的算法从Greville的方法,计算整个矩阵的伪逆的第一部分的伪逆,只有1次迭代,其中考虑了所有可能的情况下,最近提出的逆Cholesky分解可以应用,以进一步降低计算复杂性。最后给出了BLS中列分块矩阵的完整算法。另一方面,我们也给出了BLS中行分块矩阵的算法。
2022-10-27 cs.LG cs.NA math.NA
Some new techniques to use in serial sparse Cholesky factorization algorithms
本文提出两种串行右视超节点稀疏Cholesky分解新变体,通过超节点内列重排序减少并增大非对角块,其中RLB无需浮点工作存储且不执行组装,在使用多线程BLAS时显著快于现有方法。
2024-09-19 cs.MS cs.NA math.NA
A computational study of low precision incomplete Cholesky factorization preconditioners for sparse linear least-squares problems
University of Reading(雷丁大学);STFC Rutherford Appleton Laboratory(STFC鲁瑟福阿普尔顿实验室);Faculty of Mathematics and Physics, Charles University(查理大学数学物理学院)
研究大型稀疏线性最小二乘问题,探索用混合精度求解,重点关注低精度不完全Cholesky分解预条件器,通过实验对比基于层级和内存受限的预条件器,发现后者有效,可依精度需求和内存限制选择半精度或单精度。
2026-07-29 cs.NA math.NA
High dimensional Bayesian inference for Gaussian directed acyclic graph models
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);York University(约克大学);Stanford University(斯坦福大学)
针对固定父节点排序的高斯DAG模型,构建修正Cholesky参数的共轭贝叶斯推断框架,推导闭式后验量与兼容DAG的选择方法,通过模拟和实例验证并说明局限。
2026-08-23 math.ST stat.OT stat.TH
On computing the symplectic $LL^T$ factorization
本文分析了两种计算对称正定辛矩阵$A$的辛$LL^T$分解$A=LL^T$的算法。第一算法$HH^T$是来自[Dopico等人,2009],见定理5.2。第二种算法$W_2$使用对称正定矩阵的Cholesky分解和逆Cholesky分解。我们提出了这些算法的比较,并说明其性能的数值实验在MATLAB中。特别强调了浮点运算中计算矩阵的单纯性性质。
2022-04-08 cs.NA math.NA
Efficiently generating inverse-Wishart matrices and their Cholesky factors
本文提出一种生成随机逆Wishart矩阵的新算法,可直接生成矩阵的Cholesky因子而无需计算分解,在以精度矩阵或其Cholesky因子参数化时比标准算法更高效。
2023-10-24 cs.NA math.NA stat.CO
Mixed precision multigrid with smoothing based on incomplete Cholesky factorization
CNRS-IRIT(法国国家科学研究中心-信息学与系统技术研究所);IFP Energies Nouvelles(法国石油研究院);Department of Numerical Mathematics, Charles University(布拉格查理大学数值数学系);Technical University of Munich - Campus Heilbronn(慕尼黑工业大学海尔布隆校区);Ludwig-Maximilians-Universität München - Department of Earth and Environmental Sciences(慕尼黑路德维希-马克西米利安大学地球与环境科学系);Department of Computer Science, FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学计算机系);Department of Applied Mathematics, VSB-Technical University of Ostrava(俄斯特拉发理工大学应用数学系);Centre Européen de Recherche et de Formation Avancée en Calcul Scientifique(欧洲高级科学计算研究与培训中心)
研究求解大规模稀疏线性方程组的多重网格法,提出混合精度公式,推导V循环相对有限精度误差界,研究基于不完全Cholesky分解的带平滑的V循环法,实验表明该方法在低精度下应用可提升性能、节能并减少内存。
2026-07-29 cs.NA math.NA
Adaptive Algebraic Reuse of Reordering in Cholesky Factorization with Dynamic Sparsity Pattern
针对动态稀疏模式下Cholesky求解器符号重排序开销大的问题,提出Parth方法,通过层次图分解自适应局部更新排序向量,在IPC和重新网格化基准上实现最高255倍排序加速和5.89倍整体求解加速。
2025-07-03 cs.GR cs.NA math.NA
Stability Analysis of QR factorization in an Oblique Inner Product
University of Colorado Denver(科罗拉多大学丹佛分校)
本文研究了在斜内积下QR分解的稳定性,分析了基于A矩阵分解的两种算法,并通过数值实验验证了误差界的有效性,展示了并行架构中通信避免算法的优势。
2014-01-21 cs.NA math.NA
Analysis of randomized CholeskyQR for sparse matrices
The Hong Kong Polytechnic University(香港理工大学);Huawei Leibniz Research Center(华为莱布尼茨研究中心)
本文针对稀疏矩阵建立新模型,对随机化CholeskyQR型算法进行舍入误差分析,并通过理论与实验比较不同稀疏性模型下的误差界,验证算法的适用性、精度、效率与鲁棒性。
2025-11-07 cs.NA math.NA
An improved Shifted CholeskyQR based on columns
针对病态矩阵 QR 分解,提出基于矩阵列性质的新定义 $[X]_{g}$ 以减小 Shifted CholeskyQR3 的移位参数 $s$,改善了 $κ_{2}(X)$ 充分条件,并从理论和数值实验上证明了正交性与残差稳定性的提升。
2025-05-05 cs.NA math.NA
Localization of Matrix Factorizations
Northern Illinois University(北伊利诺伊大学);University of California at Davis(加州大学戴维斯分校)
研究矩阵因子化在保持原矩阵定位性质的条件和方法,推导出全面框架以回答何时及何种条件下基本因子化继承原矩阵的定位特性。
2013-05-07 cs.NA math.NA
Communication-optimal Parallel and Sequential Cholesky Decomposition
University of California, Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
针对Cholesky分解,通过扩展矩阵乘法的通信下界并设计算法,实现串行和并行环境下通信最优(包括带宽和延迟)的O(n^3)实现。
2010-04-12 cs.CC cs.DS cs.NA
Solving Shifted Systems for Quasiseparable Matrices
Università di Pisa(比萨大学)
提出快速数值算法,利用Givens和双曲平面旋转更新半定拟可分矩阵的Cholesky型分解,以求解移位线性系统,并设计基于生成元的快速更新变体。
2026-06-26 cs.NA math.NA
A randomized preconditioned Cholesky-QR algorithm
本文提出 rpCholesky-QR 随机预条件 Cholesky-QR 算法,用于满秩矩阵薄 QR 分解,证明其低误差、稳定不崩溃及二范数扰动界,并通过实验验证其精度和条件数依赖优势。
2024-06-17 cs.NA math.NA
Neural Acceleration of Incomplete Cholesky Preconditioners
本文提出用 GPU 训练的简单人工神经网络生成不完全稀疏 Cholesky 预条件子,以克服传统数值调参与并行化困难,实验表明其稳定且减迭代效果不劣于多种传统技术。
2024-03-01 cs.DC cs.NA math.NA
Fast measure modification of orthogonal polynomials via matrices with displacement structure
本文揭示了正交多项式测度修改问题中 Gram 矩阵的位移结构,将连接系数计算的复杂度从 $\mathcal{O}(n^3)$ 降至 $\mathcal{O}(n^2)$,并针对带状矩阵和 Chebyshev 多项式利用低秩结构进一步优化了近似 Cholesky 分解的效率。
2024-12-23 cs.NA math.NA
Convergence of pivoted Cholesky for Lipschitz kernels
Cornell University(康奈尔大学)
本文研究了选主元Cholesky算法的连续类似物,为最小平滑性的Lipschitz连续核建立了定量收敛保证,证明了残差的一致上界,并展示了结果在离散类似物、高斯过程回归和P-greedy插值等下游应用中的传播。
2026-10-21 cs.NA math.NA
sTiles: An Accelerated Computational Framework for Sparse Factorizations of Structured Matrices
本文提出GPU加速框架sTiles,通过tile算法、结构感知任务调度和left-looking Cholesky变体高效分解箭头形稀疏对称矩阵,相比CHOLMOD等实现最高11.08倍加速。
2025-01-05 cs.NA cs.PF math.NA
Robust and Practical Solution of Laplacian Equations by Approximate Elimination
本研究提出基于近似Cholesky分解的SDDM矩阵线性方程组求解算法,用Julia实现两个版本,实验表明其鲁棒性优于现有主流求解器,且公开了代码与SDDM2023基准测试集。
2023-06-14 cs.DS cs.MS cs.NA
Compression, inversion, and approximate PCA of dense kernel matrices at near-linear computational complexity
从位置$\{ x_{i} \}_{1 \leq i \leq N} \subset \mathbb{R}^{d}$处的协方差函数$G$的点评估获得的稠密核矩阵$Θ\in \mathbb{R}^{N \times N}$出现在统计、机器学习和数值分析中。对于协方差函数是格林函数的椭圆边值问题和离散分布的采样点,我们展示了如何确定一个子集$S \subset \{ 1 , \dots , N \}^2$,与$\# S = O ( N \log (N) \log^{d} ( N /ε) )$,使零填充不完全Cholesky分解的稀疏矩阵$Θ_{ij} 1_{( i, j ) \in S}$是$ε$ -近似的$Θ$。这种因式分解可以证明在空间和$O ( N \log^{2}( N ) \log^{2d}( N /ε) )$时间的复杂性$O ( N \log( N ) \log^{d}( N /ε) )$,提高了现有技术的一般椭圆算子,我们进一步提出的数值证据表明,$d$可以被视为是固有的尺寸的数据集,而不是周围的空间。该算法只需要知道的$x_{i}$的空间配置,并不需要$G$的解析表示。此外,这种因式分解直接提供了一种近似稀疏PCA,其在算子范数中具有最佳收敛速度。因此,通过仅使用子采样和不完全Cholesky分解,我们得到,在接近线性的复杂性,压缩,反演和近似PCA的一大类协方差矩阵。通…
2020-10-30 cs.CC cs.DS cs.NA
On the stability of the Bareiss and related Toeplitz factorization algorithms
本文对位移秩为2的对称正定矩阵的Cholesky分解的分解算法进行了数值稳定性分析。类中的算法可以表示为基本的downdating步骤的序列。因子分解算法的稳定性直接来自于实现初等降期运算的算法的数值性质。证明了分解对称正定Toeplitz矩阵的Bareiss算法属于该类,因此Bareiss算法是稳定的.通过数值实验比较了Bareiss算法和Levinson算法的性能。这些实验表明,在一般情况下(当反射系数不都是积极的),莱文森算法是不稳定的;当然,它可以给更大的残差比Bareiss算法。
2010-04-30 cs.NA math.NA
Matrix Factorizations with Uniformly Random Pivoting
UC Berkeley(加州大学伯克利分校)
本文提出了一种随机选主元规则,统一分析了多种矩阵分解算法,证明了Jacobi算法的稳定性界。
2026-03-12 cs.NA math.NA
Operator Learning at Machine Precision
Department of Computing and Mathematical Sciences, California Institute of Technology(加州理工学院计算与数学科学部);Department of Applied Mathematics, Illinois Institute of Technology(伊利诺伊理工学院应用数学系);Department of Applied Mathematics, University of Washington(华盛顿大学应用数学系)
本文提出CHONKNORIS和FONKNORIS模型,通过Cholesky因子回归实现非线性PDE的高精度求解。
2025-11-25 cs.LG cs.NA math.NA
Approximating Matrices with Multiple Symmetries
Cornell University(康奈尔大学)
本文研究了如何在近似对称且完美洗牌对称矩阵时,利用并保持结构,通过块对角化和半尺寸的 pivoted Cholesky 分解来提高效率。
2014-11-27 cs.NA math.NA
Minimizing Communication in Linear Algebra
1981年,洪和孔证明了使用传统的$O(n^3)$算法执行密集矩阵乘法所需的通信量的下限,其中输入矩阵太大而无法容纳在小而快的存储器中。在2004年Irony,Toledo和Tiskin给出了这个结果的一个新的证明,并将其推广到平行情形。在这两种情况下,下限可以表示为$Ω$(算术运算数/ $\sqrt{M}$),其中M是快速存储器(或并行情况下的本地存储器)的大小。在这里,我们将这些结果推广到更广泛的算法,包括LU分解,Cholesky分解,$LDL^T$分解,QR分解,特征值和奇异值的算法,即,线性代数的所有直接方法。该证明适用于稠密或稀疏矩阵,以及顺序或并行算法。除了移动的数据量(带宽)的下限之外,我们还得到了移动数据所需的消息数量(延迟)的下限。我们说明了如何将我们的下界技术扩展到线性代数运算的组合(如矩阵的计算能力),以决定是否足以调用一系列更简单的最佳算法(如矩阵乘法)来最大限度地减少通信,或者我们是否可以做得更好。我们举两个例子。我们还展示了如何将我们的下界扩展到某些图论问题。我们指出最近设计的算法密集LU,Cholesky,QR,特征值和SVD问题,达到这些下限; LU和QR的实现显示出大的加速比传统的线性代数算法在标准库,如LAPACK和ScaLAPACK。许多悬而未决的问题仍然存在。
2009-05-15 cs.CC cs.DS cs.NA
Exact Matrix Factorization Updates for Nonlinear Programming
LU和Cholesky矩阵分解算法是用于求解在解决最优化问题时遇到的线性方程组(SLE)的核心子例程。标准分解式算法是高效的,但仍然容易受到循环误差的积累,这可能导致求解器返回实际上无效的可行性和最优性声明。本文介绍了一种新的方法来解决序列密切相关的线性方程组遇到的非线性规划有效和无循环误差。具体来说,它介绍了一阶更新算法的舍入误差无(REF)因式分解框架,一个工具集建立在整数保持算法,导致了故障证明SLE解决方案子例程的开发和实施线性规划。所提出的算法的正式保证,建立通过推导的理论见解。它们的优势得到了计算实验的支持,实验证明,在具有超过一百万个条目的完全稠密矩阵上,精确因式分解运行时间的改进高达75倍。该方法的一个显着的优点是,通过所提出的算法计算的任何系数的长度是有界的多项式的输入的大小,而不必求助于最大公因数操作,这是所需的,从而阻碍了一个有效的实现精确的合理的算术方法。
2022-07-22 cs.DS cs.NA math.NA
HILUCSI: Simple, Robust, and Fast Multilevel ILU for Large-Scale Saddle-Point Problems from PDEs
不完全因子分解是Krylov子空间方法求解大型稀疏线性系的一种广泛使用的预处理技术。它的多级变体,如ILUPACK,对于许多对称或非对称线性系比传统的单级不完全LU(或ILU)技术更鲁棒。然而,以前的多层ILU技术仍然缺乏鲁棒性和效率的一些大规模的鞍点问题,这往往会出现在系统的偏微分方程(PDE)。我们介绍HILUCSI,或分层不完整的LU-Crout与可扩展性为导向和反向为基础的下降。作为一个多级预处理器,HILUCSI静态和动态地将单个行和列排列到下一级以进行延迟因子分解。与ILUPACK不同,HILUCSI在顶层应用对称预处理技术,但在较粗的层次总是使用非对称预处理和非对称因子分解。延迟与混合预处理相结合,使几乎或部分对称系统的统一处理,并简化了实现,避免混合$1\times 1$和$2\times 2$枢轴对称不确定系统。我们表明,这种组合提高了不确定系统的鲁棒性,而不影响效率。此外,为了使具有数百万或更多未知数的大规模系统具有更高的效率,HILUCSI引入了面向可扩展性的丢弃,并结合了基于逆的丢弃的变体。我们证明了HILUCSI的有效性,几十个基准问题,包括那些从混合制定的泊松方程,斯托克斯方程,和Navier-斯托克斯方程。我们还比较了它的性能与ILUPACK,超级节点ILUTP在SuperLU,多线程直接求解器在PARDISO和MUMPS。
2021-05-28 cs.MS cs.NA math.NA
G-RADI: A Low-Rank ADI Algorithm for General-Form Large-Scale Continuous-Time Algebraic Riccati Equations
School of Electronic Information and Electrical Engineering, Yangtze University(长江大学电子信息与电气工程学院)
本文提出一种基于$LDL^\top$分解的广义低秩ADI算法,有效求解大规模一般形式Riccati方程,通过低秩Cholesky分解避免Sherman-Morrison-Woodbury公式,展示了在状态估计和控制器设计中的应用效果。
2026-11-17 cs.NA cs.SY eess.SY
Deep Learning of Preconditioners for Conjugate Gradient Solvers in Urban Water Related Problems
Universität Innsbruck(因斯布鲁克大学)
线性方程组的求解是水利工程应用中经常遇到的问题。通常问题的规模太大,无法通过直接因式分解来解决。如果矩阵是对称正定的,则可以采用迭代方法,特别是共轭梯度法。预条件进一步提高收敛速度,但迄今为止,只有手工制作的需要专业知识已被使用。我们提出了一种创新的方法,采用机器学习,特别是一个卷积神经网络,专门为手头的问题独立设计预处理矩阵。基于流体模拟中的深入案例研究,我们能够证明我们学习的预处理器能够提高收敛速度,甚至超过了不完全Cholesky因式分解或代数MultiGrid等成熟的方法。
2019-06-17 cs.LG cs.NA math.NA
Logarithmic barriers for sparse matrix cones
University of California, Los Angeles(加州大学洛杉矶分校);MOSEK ApS(MOSEK公司)
针对稀疏正半定矩阵锥及其对偶锥,提出基于多波前稀疏Cholesky分解的高效算法,用于计算对数障碍函数的梯度和海森矩阵,以支持稀疏半定规划的非对称锥内点法。
2012-03-13 cs.NA math.NA math.OC
Structural Packing and Dyadic Factorization of Sparse Positive Definite Matrices
Institute of Mathematics, University of Wrocław(弗罗茨瓦夫大学数学研究所);Department of Statistics, Lund University(隆德大学统计系)
本研究将嵌套剖分重构为两阶段框架,提出基于ℓ₁准则的打包算法与二元结构化矩阵分解理论,实现了大型稀疏正定矩阵的高效求逆。
2026-09-01 cs.NA math.NA stat.CO
$O(N)$ distributed direct factorization of structured dense matrices using runtime systems
本文将异步运行时系统 PaRSEC 用于 HSS-ULV 结构化稠密矩阵直接分解,解决层级合并的并行难题,并在 Fugaku 上相对 STRUMPACK 与 LORAPO 取得最高 2 倍加速且精度相当或更优。
2023-11-02 cs.MS cs.NA math.NA
Direct QR factorizations for tall-and-skinny matrices in MapReduce architectures
Stanford University(斯坦福大学);Purdue University(普渡大学);University of California, Berkeley(加州大学伯克利分校)
针对MapReduce环境,提出一种数值稳定的高瘦矩阵直接QR分解方法,仅需略多于两次数据遍历,并可与SVD兼容,性能优于传统Householder QR方法。
2013-01-06 cs.DC cs.NA math.NA
Robust Optimal-Complexity Multilevel ILU for Predominantly Symmetric Systems
针对主要对称的线性系统,提出多层不完全LU分解技术PS-MILU,利用对称性结合对角主元与延迟分解,在保证鲁棒性和最优时间复杂度的同时显著加速分解。
2019-01-10 cs.NA math.NA
Quasi-optimal complexity $hp$-FEM for the Poisson Equation on a rectangle
Department of Mathematics, University of Oxford(牛津大学数学系);Department of Mathematics, Imperial College(帝国理工学院数学系);Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机性研究所)
本文利用hp-FEM离散的特殊稀疏结构,结合反向Cholesky分解和ADI方法,在矩形上以拟最优复杂度求解泊松方程及非线性时间演化偏微分方程,并展示了其作为变系数PDE预条件子的有效性。
2025-11-10 cs.NA math.NA
Parallelization and scalability analysis of inverse factorization using the Chunks and Tasks programming model
针对大规模电子结构计算中块稀疏矩阵的逆因式分解需求,提出三种基于 Chunks and Tasks 模型的分布式并行方法,实验证明其计算成本随系统规模线性增长,且局部逆因式分解方法在弱扩展性上优于现有实现且通信开销显著降低。
2019-01-24 cs.CE cs.NA math.NA
Autotuning Apache TVM-based Scientific Applications Using Bayesian Optimization
Argonne National Laboratory(阿贡国家实验室);University of South Dakota(南达科他大学)
本文提出一种基于贝叶斯优化的 Apache TVM 自动调优框架,实现了 LU、Cholesky 等线性代数核心,并在 GPU 集群上验证了其性能在多数情况下优于 AutoTVM。
2023-09-13 cs.AI cs.LG cs.NA
High-performance sampling of generic Determinantal Point Processes
决定点过程(DPPs)是由Macchi引入的,作为排斥(费米子)粒子分布的模型。但它们最近的普及主要是由于它们在推荐系统的最后阶段鼓励多样性的有用性。有限DPP的标准采样方案是谱分解,随后是正交投影的随机对角旋转的Cholesky分解的等价物,其仅适用于Hermitian核并且具有昂贵的设置成本。研究人员已经开始将DPP采样与$LDL^H$因子分解连接起来,作为避免初始谱分解的一种手段,但是现有的方法仅在特殊情况下优于谱分解方法,其中保留的模式的数量是地面集大小的一小部分。本文证明了$LU$和$LDL^H$因子分解的微小修改分别为非Hermitian和Hermitian DPP内核产生有效的直接采样方案。此外,它是实验表明,即使动态调度,共享内存并行化的高性能密集和稀疏直接因式分解可以平凡地修改,以产生DPP采样方案具有基本相同的性能。作为本研究的一部分开发的软件Catamari,https://hodestar.com/catamari,在Mozilla公共许可证v2.0下发布。它包含密集和稀疏直接、Hermitian和非Hermitian DPP采样器的仅报头、C++14加上OpenMP 4.0实现。
2019-08-17 cs.NA math.NA
Randomized Strong Recursive Skeletonization: Simultaneous Compression and LU Factorization of Hierarchical Matrices using Matrix-Vector Products
The Ohio State University(俄亥俄州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种利用矩阵-向量乘积同时压缩和分解H²矩阵的算法,具有低采样复杂度和对不定性和病态的鲁棒性。
2025-11-13 cs.NA math.NA
Optimal and Low-Memory Near-Optimal Preconditioning of Fully Implicit Runge-Kutta Schemes for Parabolic PDEs
Runge-Kutta(RK)格式,特别是Gauss-Legendre和其他一些全隐式RK(FIRK)格式,由于其A-稳定性和高阶精度,在抛物型偏微分方程的时间积分中是理想的。然而,这是显着更具挑战性的构造最佳预条件相比,对角隐式RK(或DIRK)计划。为了解决这一挑战,我们首先引入数学上最优的预条件,称为块复舒尔分解(BCSD),块实舒尔分解(BRSD),和块约旦形式(BJF),由块循环预条件和约旦形式解决方案技术IRK的动机。然后,我们得到了一个有效的,近最佳的单对角近似BRSD(SABRSD)的近似实Schur分解中的准三角矩阵使用一个优化的上三角形矩阵与一个单一的对角线值。SABRSD的一个理想特性是它具有与单个DIRK(SDIRK)相当的内存需求和因子分解(或设置)成本。在这些预处理技术中,我们使用具有(近)线性复杂度的不完全因式分解来近似对角块,例如多级ILU,ILU(0)或具有基于ILU的平滑器的多重网格方法。本文将右预处理GMRES中的块预处理子应用于三维对流扩散方程的有限元和有限差分法求解。我们表明,BCSD,BRSD和BJF显着优于其他预条件的GMRES迭代,和SABRSD是有竞争力的,他们和现有技术的计算成本方面,同时需要最少的内存。
2021-06-13 cs.NA math.AP math.NA
Scalable Linear Time Dense Direct Solver for 3-D Problems Without Trailing Sub-Matrix Dependencies
大型密集矩阵的因式分解在工程和数据科学应用中无处不在,例如迭代边界积分求解器的预处理器,稀疏多波前求解器中的波前矩阵,以及计算协方差阵的行列式。HSS和$\mathcal{H}^2$ -矩阵是分层低秩矩阵格式,其可以降低将这种密集矩阵从$\mathcal{O}(N^3)$因子分解为$\mathcal{O}(N)$的复杂性。对于HSS矩阵,可以在Cholesky/LU分解期间去除对拖尾矩阵的依赖性,这导致高度并行的算法。然而,HSS的弱容许性导致非对角块的秩增长的3-D问题,该方法不再是$\mathcal{O}(N)$。另一方面,$\mathcal{H}^2$ -矩阵的强容许性允许它在$\mathcal{O}(N)$中处理3-D问题,但引入了对尾随矩阵的依赖性。在目前的工作中,我们预先计算的填充,并将它们集成到共享的基础上,这使得我们能够消除对尾随矩阵的依赖,即使是$\mathcal{H}^2$ -矩阵。与块低秩因子分解代码LORAPO的比较显示,对于具有复杂几何形状的3D问题,最大速度提高了4,700倍。
2022-08-23 cs.NA math.NA
Towards an Efficient Tile Matrix Inversion of Symmetric Positive Definite Matrices on Multicore Architectures
University of Tennessee(田纳西大学);University of Colorado Denver(科罗拉多大学丹佛分校)
针对多核架构上对称正定矩阵求逆问题,提出基于动态任务调度和编译器优化(数组重命名、循环反转和流水线)的分块算法,实现LAPACK代码到高效并行分块算法的转换。
2010-02-22 cs.MS cs.NA math.NA