Parallel QR Factorization of Block Low-Rank Matrices
我们提出了两个新的算法的Householder QR分解块低秩（BLR）矩阵：一个是执行块列的QR，另一个是基于平铺QR。我们展示了块列算法如何利用BLR结构来实现$\mathcal{O}(mn)$的算术复杂性，而平铺的BLR-QR表现出$\mathcal{O}(mn^{1.5})$复杂性。然而，区块化BLR-QR具有更精细的任务粒度，允许在共享存储器系统上基于并行任务的执行。我们比较块列明智的BLR-QR使用fork-join并行与平铺BLR-QR使用基于任务的并行。我们还比较了Householder BLR-QR的这两种实现，一种是使用fork-join并行的逐块列修改的Gram-Schmidt（MGS）BLR-QR，另一种是英特尔MKL中最先进的供应商优化的密集Householder QR。对于大小为131 k $\times$ 65 k的矩阵，所有BLR方法都比MKL中的密集QR快数量级以上。我们的方法也是强大的病态和产生更好的正交因子比现有的基于MGS的方法。在一个64核的CPU上，我们的并行平铺Householder和块列式Householder算法分别显示出50倍和37倍的加速比。
2022-08-12 cs.MS cs.NA math.NA
Parallelization and scalability analysis of inverse factorization using the Chunks and Tasks programming model
针对大规模电子结构计算中块稀疏矩阵的逆因式分解需求，提出三种基于 Chunks and Tasks 模型的分布式并行方法，实验证明其计算成本随系统规模线性增长，且局部逆因式分解方法在弱扩展性上优于现有实现且通信开销显著降低。
2019-01-24 cs.CE cs.NA math.NA
HYLU: Hybrid Parallel Sparse LU Factorization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
HYLU是一种针对多核共享内存架构高效求解稀疏线性系统（Ax=b）的通用求解器，通过混合数值内核适应不同稀疏模式，数值分解阶段性能优于Intel MKL PARDISO。
2026-04-01 cs.AR cs.DC cs.MS
A practical factorization of a Schur complement for PDE-constrained Distributed Optimal Control
Stanford University（斯坦福大学）
本文提出了一种新的Schur补因子分解方法，用于求解由线性椭圆偏微分方程约束的分布式最优控制问题，通过并行线性域分解求解器FETI-DPH解决子问题，展示了该方法在数值稳定性和并行扩展性方面的优势。
2013-12-19 cs.NA math.NA
Parallel Sparse and Data-Sparse Factorization-based Linear Solvers
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对大规模病态不定代数方程，综述了稀疏直接求解器在减少通信延迟和利用低秩压缩降低计算复杂度方面的最新进展，并讨论了现代异构并行机器上的并行化挑战与最佳实践。
2026-05-22 cs.DC cs.MS cs.NA
A rigorous sequential update strategy for parallel kinetic Monte Carlo simulation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出一种在并行环境中严格遵守平衡条件的顺序更新方法，保证精确的平衡统计，并在多种并行设置中保持非平衡动力学的最小误差，实现高精度采样。
2014-04-13 cs.NA math.NA physics.comp-ph
Parallel Cholesky Factorization for Banded Matrices using OpenMP Tasks
针对放射治疗计划等数值优化场景中带状矩阵Cholesky分解的性能瓶颈，提出基于OpenMP任务的多线程分解方法，在多款Intel CPU上性能优于或持平于Intel MKL，最高提升约26%。
2023-05-08 cs.DC cs.NA math.NA
Parallel Algorithms for Constrained Tensor Factorization via the Alternating Direction Method of Multipliers
Technical University of Crete（克里特理工大学）；University of Minnesota（明尼苏达大学）
本文提出基于交替方向乘子法的约束张量分解框架，简化计算并支持分布式并行实现，适用于大数据应用。非负性作为基准约束，展示了该方法在非负张量分解中的潜力。
2015-05-05 cs.DC cs.IT cs.NA
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法，用于大规模稀疏数据集的非负矩阵分解与KL散度优化，实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
Parallel matrix factorization for low-rank tensor completion
Rice University（莱斯大学）；Dalian University of Technology（大连理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出通过同时进行所有模式矩阵化低秩矩阵分解来恢复低秩张量，采用交替最小化算法并结合自适应秩调整策略，有效从更少样本中恢复合成低秩张量，并在真实数据上表现优异。
2015-03-24 cs.NA math.NA stat.CO
PSelInv -- A Distributed Memory Parallel Algorithm for Selected Inversion : the Symmetric Case
我们描述了一个有效的并行实现的分布式存储计算机系统，我们称之为\texttt{PSelInv}的选定的反演算法。\texttt{PSelInv}方法计算可分解为$A = LU$的一般稀疏矩阵$A$的选定元素，其中$L$是下三角形，而$U$是上三角形。本文所描述的实现集中在稀疏对称矩阵的情况下。它包含一个与分布式内存并行稀疏直接因式分解\texttt{SuperLU\_DIST}兼容的接口。然而，\texttt{PSelInv}的底层数据结构和设计允许它容易地与其他因式分解例程（如\texttt{PARDISO}）组合。我们讨论一般的并行化策略，如数据和任务分配方案。特别是，我们描述了如何利用与$A$的$LU$因子分解相关的消除树所暴露的并发性。我们证明了\texttt{PSelInv}的效率和准确性，提出了一些数值实验。特别是，我们表明，\texttt{PSelInv}可以有效地运行在一个中等大小的矩阵超过$4,000$核心。我们还演示了如何\texttt{PSelInv}可以用来加速大规模的电子结构计算。
2015-05-28 cs.DC cs.NA math.NA
Unifying Optimization and Dynamics to Parallelize Sequential Computation: A Guide to Parallel Newton Methods for Breaking Sequential Bottlenecks
STANFORD UNIVERSITY（斯坦福大学）
本文提出并行牛顿方法，通过统一固定点方法，解决动态系统并行化中的效率、稳定性及收敛性问题，基于Lyapunov指数确定并行加速条件。
2026-03-17 cs.AI cs.DC cs.NA
Some new techniques to use in serial sparse Cholesky factorization algorithms
本文提出两种串行右视超节点稀疏Cholesky分解新变体，通过超节点内列重排序减少并增大非对角块，其中RLB无需浮点工作存储且不执行组装，在使用多线程BLAS时显著快于现有方法。
2024-09-19 cs.MS cs.NA math.NA
Accelerated Parallel and Distributed Algorithm using Limited Internal Memory for Nonnegative Matrix Factorization
Japan Advanced Institute of Science and Technology（日本科学技术高等学院）；University of Engineering and Technology, Vietnam National University, Hanoi（越南国立大学河内大学工程技术学院）；John von Neumann Institute, Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市冯·诺依曼研究所）
本文提出一种基于全分解的灵活加速算法，结合反偏算法和快速块坐标下降算法，实现非负矩阵分解的线性收敛性，适用于大规模数据集。
2015-06-30 cs.NA math.NA math.OC
An $N \log N$ Parallel Fast Direct Solver for Kernel Matrices
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种 $O(dN\log N)$ 的并行算法，用于近似求解正则化核矩阵的分解，从而在 $O(N\log N)$ 工作量内求解线性系统，无需全局低秩近似。
2017-01-09 cs.DC cs.NA math.NA
Parallel MMF: a Multiresolution Approach to Matrix Computation
The University of Chicago（芝加哥大学）
本文提出并行MMF算法，用于多尺度结构分析和矩阵压缩，通过实验展示其在稀疏矩阵压缩和预处理中的有效性。
2015-07-15 cs.LG cs.NA math.NA
Butterfly factorization via randomized matrix-vector multiplications
本文提出了一种用$m\approx n$计算$m\times n$矩阵的蝶形分解的自适应随机算法，只要该矩阵及其转置可以快速地应用于任意向量。所得到的因式分解由$O(\log n)$稀疏因子组成，每个因子包含$O(n)$非零项。可以使用$O(n^{3/2}\log n)$计算和$O(n\log n)$存储器资源来获得因子分解。该算法适用于强和弱的容许条件所产生的表面积分方程求解器具有严格的误差界的矩阵，并在并行实现。
2020-02-09 cs.MS cs.NA math.NA
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC（南加州大学）；MIT（麻省理工学院）
基于计算统计推断的抽样问题，我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$，和一个常数$-1 \leq p \leq 1$，我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$，使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵，使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$，我们的算法在$m$中以接近线性的方式工作，并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样，它在随机性方面是最优的，在工作量和并行复杂度方面几乎是最优的。此外，我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
Distributed Bayesian Matrix Factorization with Limited Communication
Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University（赫尔辛基信息科技研究院 HIIT，计算机科学系，阿莱大学）；Department of Informatics, University of Bergen（信息学院，卑尔根大学）
本文提出了一种分布式贝叶斯矩阵分解方法，通过分层分解联合后验分布，结合并行计算和高效近似实现，提高了大规模数据处理效率，同时保持预测准确性。
2019-02-27 cs.DC cs.LG cs.NA
