Developing robust incomplete Cholesky factorizations in half precision arithmetic
本文研究半精度算术下病态对称正定问题的鲁棒不完全 Cholesky 分解,通过预缩放、前瞻策略、全局位移等方法防止分解中断,并结合混合精度精化实现双精度准确度。
2025-02-02 cs.NA math.NA
RCHOL: Randomized Cholesky Factorization for Solving SDD Linear Systems
我们引入一个随机算法,即RCHOL,来构造一个给定拉普拉斯矩阵(a.k.a.,图Laplacian)。从图的角度来看,精确的Cholesky分解在消除行/列之后在底层图中引入了一个团。通过随机化,RCHOL使用Spielman和Kyng开发的随机采样仅保留集团中边缘的稀疏子集。我们证明了RCHOL是无故障的,并将其应用于求解具有对称对角占优矩阵的大型稀疏线性系。此外,我们并行化RCHOL的基础上嵌套解剖排序共享内存的机器。我们报告的数值实验,证明RCHOL的鲁棒性和可扩展性。例如,我们的并行代码在单个节点上扩展到64个线程,用于求解3D泊松方程,该方程在$1024\times 1024 \times 1024$网格上使用7点模板离散化,该问题具有10亿个未知数。
2021-09-02 cs.MS cs.NA math.NA
A computational study of low precision incomplete Cholesky factorization preconditioners for sparse linear least-squares problems
University of Reading(雷丁大学);STFC Rutherford Appleton Laboratory(STFC鲁瑟福阿普尔顿实验室);Faculty of Mathematics and Physics, Charles University(查理大学数学物理学院)
研究大型稀疏线性最小二乘问题,探索用混合精度求解,重点关注低精度不完全Cholesky分解预条件器,通过实验对比基于层级和内存受限的预条件器,发现后者有效,可依精度需求和内存限制选择半精度或单精度。
2026-07-29 cs.NA math.NA
On the minimum FLOPs problem in the sparse Cholesky factorization
TU Berlin(柏林工业大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
通过显式可扩展构造证明稀疏Cholesky分解中最小化填充与最小化FLOPs在严格意义上是不同的问题,并给出NP难度的归约证明。
2013-10-28 cs.CC cs.NA math.NA
Parallel Cholesky Factorization for Banded Matrices using OpenMP Tasks
针对放射治疗计划等数值优化场景中带状矩阵Cholesky分解的性能瓶颈,提出基于OpenMP任务的多线程分解方法,在多款Intel CPU上性能优于或持平于Intel MKL,最高提升约26%。
2023-05-08 cs.DC cs.NA math.NA
On computing the symplectic $LL^T$ factorization
本文分析了两种计算对称正定辛矩阵$A$的辛$LL^T$分解$A=LL^T$的算法。第一算法$HH^T$是来自[Dopico等人,2009],见定理5.2。第二种算法$W_2$使用对称正定矩阵的Cholesky分解和逆Cholesky分解。我们提出了这些算法的比较,并说明其性能的数值实验在MATLAB中。特别强调了浮点运算中计算矩阵的单纯性性质。
2022-04-08 cs.NA math.NA
Jordan algebras, hemiplex numbers, and the Cholesky decomposition of arbitrary symmetric matrices
Massachusetts Institute of Technology(麻省理工学院);Washington University School of Medicine(华盛顿大学医学院)
研究任意对称矩阵Cholesky分解,通过类比正定矩阵与特定二次方程,利用半复数这种非结合代数实现分解,无需pivoting保持带状结构,对奇异矩阵可生成零空间参数化,为求解对称线性方程增添实用工具。
2026-07-24 cs.NA math.NA math.RA
Sparse inverse Cholesky factorization of dense kernel matrices by greedy conditional selection
本文提出以条件互信息贪心选择构造稠密核矩阵稀疏逆 Cholesky 因子的模式,降低复杂度并在分解、GP 回归和预条件中优于 k-近邻。
2025-05-09 cs.NA math.NA stat.CO
Mixed precision multigrid with smoothing based on incomplete Cholesky factorization
CNRS-IRIT(法国国家科学研究中心-信息学与系统技术研究所);IFP Energies Nouvelles(法国石油研究院);Department of Numerical Mathematics, Charles University(布拉格查理大学数值数学系);Technical University of Munich - Campus Heilbronn(慕尼黑工业大学海尔布隆校区);Ludwig-Maximilians-Universität München - Department of Earth and Environmental Sciences(慕尼黑路德维希-马克西米利安大学地球与环境科学系);Department of Computer Science, FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学计算机系);Department of Applied Mathematics, VSB-Technical University of Ostrava(俄斯特拉发理工大学应用数学系);Centre Européen de Recherche et de Formation Avancée en Calcul Scientifique(欧洲高级科学计算研究与培训中心)
研究求解大规模稀疏线性方程组的多重网格法,提出混合精度公式,推导V循环相对有限精度误差界,研究基于不完全Cholesky分解的带平滑的V循环法,实验表明该方法在低精度下应用可提升性能、节能并减少内存。
2026-07-29 cs.NA math.NA
Some new techniques to use in serial sparse Cholesky factorization algorithms
本文提出两种串行右视超节点稀疏Cholesky分解新变体,通过超节点内列重排序减少并增大非对角块,其中RLB无需浮点工作存储且不执行组装,在使用多线程BLAS时显著快于现有方法。
2024-09-19 cs.MS cs.NA math.NA
Multiplicative perturbation bounds for the Generalized block Cholesky downdating problem
得到了广义块Cholesky downdating问题的强、弱严格乘法扰动界的显式表达式。将改进的矩阵向量方程方法与Lyapunov优函数方法和Banach不动点定理结合起来,得到了强严格乘性扰动界.利用矩阵方程方法给出了弱严格乘法界。数值实验来说明所得到的结果。
2021-06-25 cs.NA math.NA
Efficient and Stable Algorithms to Extend Greville's Method to Partitioned Matrices Based on Inverse Cholesky Factorization
Shenzhen University(深圳大学)
Greville的方法已被用于BLS(Broad Learn-ing System)中,提出了一种有效的增量学习系统,而无需从一开始就对整个网络进行重新训练。对于第二部分由p列组成的列分块矩阵,Greville方法需要p次迭代来从第一部分的伪逆计算整个矩阵的伪逆。BLS中的增量算法是对Greville方法的一种扩展,即从第一部分矩阵的伪逆计算整个矩阵的伪逆,只需一次迭代,但这种方法忽略了一些可能的情况,需要进一步提高效率和数值稳定性。在本文中,我们提出了一个有效的和数值稳定的算法从Greville的方法,计算整个矩阵的伪逆的第一部分的伪逆,只有1次迭代,其中考虑了所有可能的情况下,最近提出的逆Cholesky分解可以应用,以进一步降低计算复杂性。最后给出了BLS中列分块矩阵的完整算法。另一方面,我们也给出了BLS中行分块矩阵的算法。
2022-10-27 cs.LG cs.NA math.NA
Localization of Matrix Factorizations
Northern Illinois University(北伊利诺伊大学);University of California at Davis(加州大学戴维斯分校)
研究矩阵因子化在保持原矩阵定位性质的条件和方法,推导出全面框架以回答何时及何种条件下基本因子化继承原矩阵的定位特性。
2013-05-07 cs.NA math.NA
Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes
针对基于高斯过程的非线性PDE求解中稠密核矩阵计算复杂度高的问题,提出一种近线性复杂度的稀疏Cholesky分解算法,结合Vecchia近似实现快速求解,并在多类非线性PDE上验证了其近线性时空复杂度。
2024-03-09 cs.NA math.NA math.OC
Adaptive Algebraic Reuse of Reordering in Cholesky Factorization with Dynamic Sparsity Pattern
针对动态稀疏模式下Cholesky求解器符号重排序开销大的问题,提出Parth方法,通过层次图分解自适应局部更新排序向量,在IPC和重新网格化基准上实现最高255倍排序加速和5.89倍整体求解加速。
2025-07-03 cs.GR cs.NA math.NA
Solving Shifted Systems for Quasiseparable Matrices
Università di Pisa(比萨大学)
提出快速数值算法,利用Givens和双曲平面旋转更新半定拟可分矩阵的Cholesky型分解,以求解移位线性系统,并设计基于生成元的快速更新变体。
2026-06-26 cs.NA math.NA
Sparse Cholesky factorization by Kullback-Leibler minimization
我们建议通过最小化高斯分布$\mathcal{N}(0, Θ)$和$\mathcal{N}(0, L^{-\top} L^{-1})$之间的Kullback-Leibler散度来计算密集协方差矩阵$Θ$的稀疏近似逆Cholesky因子$L$,并受到稀疏约束。令人惊讶的是,这个问题有一个封闭形式的解决方案,可以有效地计算,恢复流行的Vecchia近似空间统计。根据最近的结果的近似稀疏性的逆Cholesky因子的$Θ$的椭圆边值问题的格林函数的成对评估点$\{x_{i}\}_{1 \leq i \leq N} \subset \mathbb{R}^{d}$,我们提出了一个消除订购和稀疏模式,使我们能够计算$ε$ -近似逆Cholesky因子的$Θ$的计算复杂性$\mathcal{O}(N \log(N/ε)^d)$在空间和$\mathcal{O}(N \log(N/ε)^{2d})$在时间。据我们所知,这是这类问题的最佳渐近复杂性。此外,我们的方法是并行的,自动利用低维结构的数据,并可以执行高斯过程回归线性(在$N$)空间复杂度。我们的方法的最优性属性的激励下,我们提出的方法将其应用到高斯过程回归的训练和预测点的联合协方差,大大提高了稳定性和计算成本。最后,我们展示了如何将我们的方法应用于加性噪声的高斯过程的重要设置,既不牺牲精度,也不牺牲计算复杂性。
2021-10-22 cs.NA math.NA math.OC
Fast measure modification of orthogonal polynomials via matrices with displacement structure
本文揭示了正交多项式测度修改问题中 Gram 矩阵的位移结构,将连接系数计算的复杂度从 $\mathcal{O}(n^3)$ 降至 $\mathcal{O}(n^2)$,并针对带状矩阵和 Chebyshev 多项式利用低秩结构进一步优化了近似 Cholesky 分解的效率。
2024-12-23 cs.NA math.NA
Approximating Matrices with Multiple Symmetries
Cornell University(康奈尔大学)
本文研究了如何在近似对称且完美洗牌对称矩阵时,利用并保持结构,通过块对角化和半尺寸的 pivoted Cholesky 分解来提高效率。
2014-11-27 cs.NA math.NA
Robust and Practical Solution of Laplacian Equations by Approximate Elimination
本研究提出基于近似Cholesky分解的SDDM矩阵线性方程组求解算法,用Julia实现两个版本,实验表明其鲁棒性优于现有主流求解器,且公开了代码与SDDM2023基准测试集。
2023-06-14 cs.DS cs.MS cs.NA
New rigorous perturbation bounds for the LU and QR factorizations
College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院);School of Mathematical Sciences and Key Laboratory of Mathematics for Nonlinear Sciences, Fudan University(复旦大学数学科学学院与非线性科学数学重点实验室)
本文结合矩阵向量方程方法与Lyapunov主函数技术及巴纳赫不动点原理,推导出LU和QR分解在矩阵扰动下的新严格扰动界,改进了Chang和Stehlé的结果,并给出了最优的一阶扰动界表达式。
2014-05-23 cs.NA math.NA math.OA
Minimizing Communication in Linear Algebra
1981年,洪和孔证明了使用传统的$O(n^3)$算法执行密集矩阵乘法所需的通信量的下限,其中输入矩阵太大而无法容纳在小而快的存储器中。在2004年Irony,Toledo和Tiskin给出了这个结果的一个新的证明,并将其推广到平行情形。在这两种情况下,下限可以表示为$Ω$(算术运算数/ $\sqrt{M}$),其中M是快速存储器(或并行情况下的本地存储器)的大小。在这里,我们将这些结果推广到更广泛的算法,包括LU分解,Cholesky分解,$LDL^T$分解,QR分解,特征值和奇异值的算法,即,线性代数的所有直接方法。该证明适用于稠密或稀疏矩阵,以及顺序或并行算法。除了移动的数据量(带宽)的下限之外,我们还得到了移动数据所需的消息数量(延迟)的下限。我们说明了如何将我们的下界技术扩展到线性代数运算的组合(如矩阵的计算能力),以决定是否足以调用一系列更简单的最佳算法(如矩阵乘法)来最大限度地减少通信,或者我们是否可以做得更好。我们举两个例子。我们还展示了如何将我们的下界扩展到某些图论问题。我们指出最近设计的算法密集LU,Cholesky,QR,特征值和SVD问题,达到这些下限; LU和QR的实现显示出大的加速比传统的线性代数算法在标准库,如LAPACK和ScaLAPACK。许多悬而未决的问题仍然存在。
2009-05-15 cs.CC cs.DS cs.NA
Rigorous Perturbation Bounds for the QX Decomposition for Centrosymmetric Matrices
本文针对中心对称矩阵的 QX 分解,利用矩阵方程方法、Lyapunov 主函数和 Banach 不动点定理,推导了范数型和分量型扰动下的严格扰动界及条件数上界,并通过数值实验验证了理论结果。
2025-02-07 cs.NA math.FA math.NA
$LDL^\top$ Factorization-based Generalized Low-rank ADI Algorithm for Solving Large-scale Algebraic Riccati Equations
School of Electronic Information and Electrical Engineering, Yangtze University(长江大学电子信息与电气工程学院)
本文提出一种基于$LDL^\top$分解的广义低秩ADI算法,有效求解大规模一般形式Riccati方程,通过低秩Cholesky分解避免Sherman-Morrison-Woodbury公式,展示了在状态估计和控制器设计中的应用效果。
2026-04-15 cs.NA cs.SY eess.SY