Hierarchical Orthogonal Factorization: Sparse Square matrices
在这项工作中，我们开发了一个新的快速算法，spaQR -稀疏QR，解决大型，稀疏线性系。我们的方法的关键是使用低秩近似来稀疏化基于嵌套解剖的Householder QR分解中的分离器。首先，使用嵌套解剖的修改版本来识别内部/分隔符并重新排序矩阵。然后，经典的Householder QR被用来分解内部，从叶子到根到消除树。在每一级内部分解之后，我们通过使用低秩近似来稀疏剩余的分离器。该操作减小了分离器的尺寸，而不会在基质中引入任何填充物。然而，它引入了一个小的近似误差，可以由用户控制。所得到的近似因式分解被存储为稀疏正交和稀疏上三角因子的序列。因此，它可以有效地应用于解决线性系。此外，我们进一步改进了算法，通过使用块对角缩放。然后，我们展示了一个系统的分析的逼近误差和有效性的算法在解决线性系。最后，我们对基准非对称问题进行了数值测试，以评估算法的性能。因式分解时间尺度为$\mathcal{O}(N \log N)$，求解时间尺度为$\mathcal{O}(N)$。
2020-10-14 cs.NA math.NA
A Column-Wise Update Algorithm for Sparse Stochastic Matrix Factorization
非负矩阵分解在机器学习和数据分析中广泛存在。对于给定的秩为r的分解，我们考虑了稀疏随机阵分解（SSMF），即把给定的m × n随机阵V分解为m × r随机阵W和r × n随机阵H的乘积，其中W和H都是稀疏的.与规定的稀疏水平，我们重新制定的SSMF作为一个无约束的非凸非光滑最小化问题，并介绍了一个列的更新算法来解决最小化问题。我们证明了我们的算法是全局收敛的。该算法的主要优点是生成的序列收敛到费用函数的一个特殊的临界点，该临界点在W因子的每个列向量上几乎是全局极小点，并且如果对H因子没有稀疏性要求，则在H因子上是全局极小点.仿真和真实数据集上的数值实验证明了该算法的有效性。
2022-07-18 cs.NA math.NA
Hierarchical Orthogonal Factorization: Sparse Least Squares Problems
在这项工作中，我们开发了一个快速的层次求解器解决大型，稀疏最小二乘问题。我们建立在算法，spaQR（稀疏QR），这是由作者开发的解决大型稀疏线性系。我们的算法是建立在一个嵌套的解剖为基础的multifrontal QR方法。我们使用低秩近似的正面矩阵稀疏的顶点分离器在每一个级别的消除树。使用两步稀疏化方案，我们减少了列的数量，并保持在每个前面的行列的比例，而不引入任何额外的填充。有了这个即兴的计划，我们表明，该算法的运行时间尺度为$\mathcal{O}(M \log N)$，并使用$\mathcal{O}(M)$内存来存储的因式分解。这是在一个小的和可控的近似误差的代价。最终结果是矩阵的近似因式分解，存储为稀疏正交和上三角因子的序列，因此易于使用向量应用/求解。最后，我们比较了spaQR算法在求解稀疏最小二乘问题的性能直接多波前QR和CGLS迭代法与一个标准的对角预条件。
2021-03-04 cs.NA math.NA
Scalable Approximate Selected Inversion Based on Single-Level Incomplete $LDL^T$ Factorization and Spectral Corrections for Large Sparse Systems
TU Braunschweig（布伦瑞克工业大学）；Università della Svizzera italiana（瑞士意大利语大学）
本文提出四种基于不完全LDL^T分解的并行近似求逆技术（SelInv、NInv、Mix和Mix-SPAI），并结合特征向量低秩修正，用于高效计算大规模稀疏对称系统逆矩阵元素，实验验证了其性能。
2026-09-11 cs.NA math.NA
Sparse LDL, LU, and inverse butterfly factorization via tree decomposition
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校赛尔计算与数据科学学院）
本文提出稠密和稀疏对称矩阵的LDL分解算法，利用鞍点形式的选主元LU分解，复杂度分别为O(n^ω)和O(nτ^{ω-1})，并证明全秩有界树宽矩阵的逆具有互补低秩结构。
2026-07-02 cs.NA math.NA
Structural Packing and Dyadic Factorization of Sparse Positive Definite Matrices
Institute of Mathematics, University of Wrocław（弗罗茨瓦夫大学数学研究所）；Department of Statistics, Lund University（隆德大学统计系）
本研究将嵌套剖分重构为两阶段框架，提出基于ℓ₁准则的打包算法与二元结构化矩阵分解理论，实现了大型稀疏正定矩阵的高效求逆。
2026-09-01 cs.NA math.NA stat.CO
VeST: Very Sparse Tucker Factorization of Large-Scale Tensors
Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）；Department of Computer Science and Engineering, Seoul National University（首尔大学计算机科学与工程系）
本文提出VeST方法，通过部分可观测数据的张量分解，输出非常稀疏的核心张量和因子矩阵，同时保持高精度，实现对实际数据结果的稀疏模式解释。
2019-04-09 cs.NA math.NA
Newton-Based Optimization for Kullback-Leibler Nonnegative Tensor Factorizations
具有非负约束的张量因子分解已经在分析来自网络流量、社交网络和其他领域的数据中得到应用。我们认为应用程序数据最好被描述为由泊松过程生成（例如，计数数据），这导致可以由稀疏因子矩阵建模的稀疏张量。在本文中，我们研究有效的技术计算一个适当的规范的多元张量因式分解的基础上的Kullback-Leibler发散函数。我们提出了新的子问题求解器内的标准交替块变量的方法。我们的新方法利用结构和重新制定的最优化问题为小的独立的子问题。我们采用边界约束牛顿法和拟牛顿法。我们将我们的算法与其他代码进行比较，证明了高精度结果的优越速度和快速找到稀疏解决方案的能力。
2014-11-10 cs.NA math.NA
"Compress and eliminate" solver for symmetric positive definite sparse matrices
提出了一种新的求解对称正定稀疏矩阵线性系组的近似因式分解。简而言之，该算法是应用分层块高斯消去法，并额外压缩填充。具有填充的有效压缩的系统大多产生于偏微分方程的离散化。我们表明，由此产生的因式分解可以作为一个有效的预条件，并比较所提出的方法与最先进的直接和迭代求解器。
2018-05-05 cs.NA math.NA
A computational study of low precision incomplete Cholesky factorization preconditioners for sparse linear least-squares problems
University of Reading（雷丁大学）；STFC Rutherford Appleton Laboratory（STFC鲁瑟福阿普尔顿实验室）；Faculty of Mathematics and Physics, Charles University（查理大学数学物理学院）
研究大型稀疏线性最小二乘问题，探索用混合精度求解，重点关注低精度不完全Cholesky分解预条件器，通过实验对比基于层级和内存受限的预条件器，发现后者有效，可依精度需求和内存限制选择半精度或单精度。
2026-07-29 cs.NA math.NA
Scalable Robust Matrix Factorization with Nonconvex Loss
Paradigm Inc.（第四范式）
本文提出使用非凸损失来增强鲁棒性，并通过改进的MM算法和对偶优化方法提高可扩展性，从而在准确性和可扩展性上优于现有方法。
2018-09-23 cs.NA math.NA math.OC
Butterfly Factorization
Department of Mathematics, Stanford University（斯坦福大学数学系）；ICME, Stanford University（斯坦福大学计算数学工程研究所）
本文提出蝶形分解作为满足互补低秩性质矩阵的数据稀疏近似方法，通过高效算法或独立采样实现快速构造，适用于大规模矩阵的快速运算。
2015-04-27 cs.NA math.NA
Sparse and Unique Nonnegative Matrix Factorization Through Data Preprocessing
University of Waterloo（滑铁卢大学）
本文提出一种基于数据预处理的非负矩阵分解方法，利用M-矩阵理论和几何解释，在可分离性假设下得到稀疏且唯一的最优解。
2012-04-11 cs.NA math.NA math.OC
HYLU: Hybrid Parallel Sparse LU Factorization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
HYLU是一种针对多核共享内存架构高效求解稀疏线性系统（Ax=b）的通用求解器，通过混合数值内核适应不同稀疏模式，数值分解阶段性能优于Intel MKL PARDISO。
2026-04-01 cs.AR cs.DC cs.MS
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法，用于大规模稀疏数据集的非负矩阵分解与KL散度优化，实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
Parallel Sparse and Data-Sparse Factorization-based Linear Solvers
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对大规模病态不定代数方程，综述了稀疏直接求解器在减少通信延迟和利用低秩压缩降低计算复杂度方面的最新进展，并讨论了现代异构并行机器上的并行化挑战与最佳实践。
2026-05-22 cs.DC cs.MS cs.NA
Sparse Hierarchical Tucker Factorization and its Application to Healthcare
Georgia Institute of Technology（佐治亚理工学院）
本文提出稀疏分层Tucker分解方法，用于处理稀疏高阶张量数据。该方法通过嵌套采样技术解决传统分层Tucker方法的可扩展性问题，提升了效率和准确性，并在医疗数据集上验证了其性能。
2016-10-25 cs.LG cs.NA math.NA
Sparse matrix factorizations for fast linear solvers with application to Laplacian systems
Université catholique de Louvain（天主教鲁汶大学）；Université de Namur（纳穆尔大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种在稀疏搜索方向和非稀疏搜索方向之间进行插值的方法，通过新的稀疏分解技术实现高效的线性系统求解，并应用于拉普拉斯系统的近线性时间求解。
2016-12-02 cs.NA math.NA math.OC
Sparse Power Factorization: Balancing peakiness and sample complexity
Institute for Numerical and Applied Mathematics, Universität Göttingen（哥廷根大学数值与应用数学研究所）；Department of Mathematics, Technische Universität München（慕尼黑工业大学数学系）
本文提出稀疏功率分解方法，通过增加测量数量来扩展信号类，提升稀疏信号恢复的鲁棒性。
2018-04-24 cs.IT cs.NA math.IT
Radix-2 Self-Recursive Sparse Factorizations of Delay Vandermonde Matrices for Wideband Multi-Beam Antenna Arrays
提出了一种基于真实时延的宽带模拟多波束波束形成中范德蒙矩阵的自包含分解方法。所提出的分解包含稀疏矩阵和正交矩阵。为了降低多波束模拟波束形成系统的电路复杂度，提出了一种新的基于真时延的延迟和滤波器组的Vandermonde矩阵自递归基2算法。本文提出的算法对范德蒙矩阵通过一个向量获得$\mathcal{O}(N \log N)$延迟放大器电路计数。建立了与真实时滞相关的Vandermode矩阵的误差界，然后分析了数值稳定性。通过信号流图，高频模拟电路实现的起点，所提出的算法的现实世界的电路实现的潜力。
2022-06-01 cs.NA eess.SP math.NA
Graph Regularized Sparse $L_{2,1}$ Semi-Nonnegative Matrix Factorization for Data Reduction
本文提出一种基于 L_{2,1} 范数的图正则化半非负矩阵分解算法，以克服 Frobenius 范数对噪声和离群点敏感的问题，并通过收敛性分析和多组混合符号数据实验验证其在噪声条件下的性能优势。
2024-10-21 cs.NA math.NA
sTiles: An Accelerated Computational Framework for Sparse Factorizations of Structured Matrices
本文提出GPU加速框架sTiles，通过tile算法、结构感知任务调度和left-looking Cholesky变体高效分解箭头形稀疏对称矩阵，相比CHOLMOD等实现最高11.08倍加速。
2025-01-05 cs.NA cs.PF math.NA
Some new techniques to use in serial sparse Cholesky factorization algorithms
本文提出两种串行右视超节点稀疏Cholesky分解新变体，通过超节点内列重排序减少并增大非对角块，其中RLB无需浮点工作存储且不执行组装，在使用多线程BLAS时显著快于现有方法。
2024-09-19 cs.MS cs.NA math.NA
Multidimensional Butterfly Factorization
Stanford University（斯坦福大学）；Duke University（杜克大学）
本文提出多维蝴蝶分解，用于表示满足互补低秩性质的多维核矩阵。该分解将N×N的核矩阵近似为O(logN)个稀疏矩阵的乘积，每个矩阵包含O(N)个非零元素，并提出高效算法以处理不同情况下的构造问题。
2015-09-25 cs.NA math.NA
On the minimum FLOPs problem in the sparse Cholesky factorization
TU Berlin（柏林工业大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
通过显式可扩展构造证明稀疏Cholesky分解中最小化填充与最小化FLOPs在严格意义上是不同的问题，并给出NP难度的归约证明。
2013-10-28 cs.CC cs.NA math.NA
Large Enforced Sparse Non-Negative Matrix Factorization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出一种强制生成稀疏中间和输出矩阵的NMF改进方法，提升内存和计算性能，同时保持或提高主题模型的准确性和算法收敛速度。
2015-10-18 cs.LG cs.NA cs.SI
Sparse Hierarchical Solvers with Guaranteed Convergence
Stanford University（斯坦福大学）
本文提出一种稀疏线性系统求解器，通过提高低频误差精度，增强求解器对线性系统条件数的鲁棒性，保持线性计算成本和内存占用。
2017-03-13 cs.NA math.NA
Message-Passing GNNs Fail to Approximate Sparse Triangular Factorizations
AIC, Skoltech（斯克里普金技术大学人工智能中心）；Skoltech AI4S Center（斯克里普金技术大学AI4S中心）；Sberbank of Russia（俄罗斯储蓄银行）；AIRI
本文通过理论和实验证明，消息传递图神经网络在逼近稀疏三角分解时存在根本性局限，需要超越消息传递的架构创新。
2026-05-25 cs.AI cs.LG cs.NA
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University（华中师范大学）；The University of Hong Kong（香港大学）
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性，底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明，所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下，包括加性高斯噪声，加性拉普拉斯噪声，和泊松观测的详细误差范围可以推导出来。此外，极大极小下界与所建立的上界相匹配，最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果，这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比，基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
Scalable methods for nonnegative matrix factorizations of near-separable tall-and-skinny matrices
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Purdue University Institute for Computational and Bindley Biosciences Center（普渡大学计算与Bindley生物科学中心）；Computer Science Mathematical Engineering（计算机科学数学工程）
本文提出高效算法处理高瘦矩阵的非负矩阵分解，通过正交变换保持分离性，适用于流式数据和分布式计算环境。
2014-02-27 cs.DC cs.LG cs.NA
Sparse inverse Cholesky factorization of dense kernel matrices by greedy conditional selection
本文提出以条件互信息贪心选择构造稠密核矩阵稀疏逆 Cholesky 因子的模式，降低复杂度并在分解、GP 回归和预条件中优于 k-近邻。
2025-05-09 cs.NA math.NA stat.CO
Block Basis Factorization for Scalable Kernel Matrix Evaluation
Stanford University（斯坦福大学）；Duke University（杜克大学）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
核方法广泛应用于机器学习中，但是，它们受到核矩阵的构造、应用和存储的二次复杂性的限制。低秩矩阵近似算法被广泛用于解决这个问题，并降低了运算和存储成本。然而，我们观察到，对于一些具有广泛的类内变异性的数据集，较小类的最佳核参数会产生一个矩阵，该矩阵不太适合低秩方法。在本文中，我们提出了一种有效的结构化低秩近似方法-块基分解（BBF）-及其快速构造算法来近似径向基函数（RBF）核矩阵。我们的方法具有线性内存成本和浮点运算的许多机器学习内核。BBF适用于广泛的内核带宽参数，并显着扩展了低秩近似方法的适用范围。我们的实证结果表明，稳定性和优越性的最先进的核近似算法。
2021-05-04 cs.LG cs.NA math.NA
Scalable Tensor Factorizations for Incomplete Data
数据不完整的问题，即，在生物医学信号处理、网络流量分析、文献计量学、社会网络分析、化学计量学、计算机视觉、通信网络等中普遍存在具有缺失值或未知值的数据。我们考虑如何以捕获数据的潜在结构并可能重构缺失值（即，张量完备化）。我们专注于一个最著名的张量分解，捕捉多线性结构，CANDECOMP/PARAFAC（CP）。在存在缺失数据的情况下，CP可以被公式化为仅对已知条目建模的加权最小二乘问题。我们开发了一种算法称为CP-WOPT（CP加权优化），使用一阶优化方法来解决加权最小二乘问题。基于大量的数值实验，我们的算法被证明是成功的因式分解张量与噪声和高达99%的缺失数据。我们的方法的一个独特之处在于它可以扩展到稀疏的大规模数据，例如，1000 x 1000 x 1000，500万个已知条目（密度为0.5%）。我们进一步证明了CP-WOPT在两个现实世界的应用程序的有用性：一个新的EEG（脑电图）应用程序，经常遇到的数据丢失，由于断开电极和建模的计算机网络流量的数据可能会缺席的问题，由于数据收集过程的费用。
2010-05-12 cs.NA math.NA physics.data-an
Scalable Tucker Factorization for Sparse Tensors - Algorithms and Discoveries
Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出P-Tucker算法，通过并行交替最小二乘法有效处理稀疏张量，减少内存占用并提升效率，实验显示其在速度和精度上优于现有方法，适用于大规模数据发现潜在概念。
2018-02-25 cs.DB cs.IR cs.NA
RCHOL: Randomized Cholesky Factorization for Solving SDD Linear Systems
我们引入一个随机算法，即RCHOL，来构造一个给定拉普拉斯矩阵（a.k.a.，图Laplacian）。从图的角度来看，精确的Cholesky分解在消除行/列之后在底层图中引入了一个团。通过随机化，RCHOL使用Spielman和Kyng开发的随机采样仅保留集团中边缘的稀疏子集。我们证明了RCHOL是无故障的，并将其应用于求解具有对称对角占优矩阵的大型稀疏线性系。此外，我们并行化RCHOL的基础上嵌套解剖排序共享内存的机器。我们报告的数值实验，证明RCHOL的鲁棒性和可扩展性。例如，我们的并行代码在单个节点上扩展到64个线程，用于求解3D泊松方程，该方程在$1024\times 1024 \times 1024$网格上使用7点模板离散化，该问题具有10亿个未知数。
2021-09-02 cs.MS cs.NA math.NA
Sparseness-constrained Nonnegative Tensor Factorization for Detecting Topics at Different Time Scales
本文提出稀疏约束非负张量分解（S-NCPD）及其在线变体，用于自动检测时间数据中不同持续时间的主题，并定量控制主题长度，实验表明在线变体能更快降低重构误差。
2023-09-01 cs.IR cs.NA cs.SI
Learning incomplete factorization preconditioners for GMRES
Uppsala University（乌普萨拉大学）
针对传统不完全LU分解预条件器计算耗时、对超参数敏感的问题，提出用图神经网络学习近似矩阵分解，设计可逆保证激活函数与稀疏输出架构，经实验验证可有效减少GMRES迭代次数、改善谱特性。
2024-12-11 cs.LG cs.NA math.NA
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC（南加州大学）；MIT（麻省理工学院）
基于计算统计推断的抽样问题，我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$，和一个常数$-1 \leq p \leq 1$，我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$，使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵，使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$，我们的算法在$m$中以接近线性的方式工作，并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样，它在随机性方面是最优的，在工作量和并行复杂度方面几乎是最优的。此外，我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes
针对基于高斯过程的非线性PDE求解中稠密核矩阵计算复杂度高的问题，提出一种近线性复杂度的稀疏Cholesky分解算法，结合Vecchia近似实现快速求解，并在多类非线性PDE上验证了其近线性时空复杂度。
2024-03-09 cs.NA math.NA math.OC
Neural incomplete factorization: learning preconditioners for the conjugate gradient method
Uppsala University（乌普萨拉大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出 NeuralIF，用图神经网络生成矩阵不完全分解作为共轭梯度法预条件子，并以 Frobenius 损失随机近似和稀疏矩阵理论启发的消息传递模块实现高效训练，加快迭代收敛。
2024-10-24 cs.LG cs.NA math.NA
