A Novel Randomized XR-Based Preconditioned CholeskyQR Algorithm
CholeskyQR是通过Cholesky分解的一种简单而快速的QR分解，但它被认为对条件数高度敏感。在本文中，我们提供了一个随机的预处理框架CholeskyQR算法。在此框架下，提出并讨论了两种方法（随机LU-CholeskyQR和随机QR-CholeskyQR）。我们证明了所提出的预条件子可以有效地减少条件数，数值试验也证明了这一点。大量的数值试验表明，该方法比现有算法更稳定、更快速，并具有良好的可扩展性。
2021-11-24 cs.NA math.NA
Tackling Parallelization Challenges of Randomized Preconditioners With Dependency Tracking
University of California, Berkeley（加州大学伯克利分校）；North Carolina State University（北卡罗来纳州立大学）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）；Rice University（莱斯大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Amazon Web Services（亚马逊云服务）
针对随机预条件子并行化瓶颈，提出ParAC，通过动态依赖追踪和架构感知内存管理在CPU/GPU上并行化rchol算法，在不规则图拉普拉斯系统上实现显著加速且保证收敛。
2026-09-11 cs.DC cs.DS cs.NA
Two-level Nyström--Schur preconditioner for sparse symmetric positive definite matrices
随机化方法在数值线性代数中越来越受欢迎。然而，很少有人尝试使用它们来开发预处理器。我们的兴趣在于解决大型稀疏对称正定线性系方程组的系统矩阵是预先排序的双边界块对角形式（例如，使用嵌套的解剖排序）。我们研究使用随机方法来构建高质量的预条件。特别是，我们提出了一种新的和有效的方法，采用Nyström的方法计算低秩近似开发强大的代数两级预条件。新的预条件的建设涉及迭代求解一个更小，但更密集的对称正定舒尔补系统与多个右手边。来自一系列应用领域的问题的数值实验表明，这个内部系统可以解决廉价使用块共轭梯度，并使用一个大的收敛公差，以限制成本不会产生不利影响的质量Nyström-Schur两级预处理。
2021-07-27 cs.NA math.NA
Robust, randomized preconditioning for kernel ridge regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；California Institute of Technology（加州理工学院）；University of California San Diego（加州大学圣地亚哥分校）
针对中大规模核岭回归问题，提出两种具有互补理论保证的随机预处理器，分别适配全数据和受限场景，实验验证其鲁棒性优于现有方法。
2026-08-11 cs.NA math.NA stat.ML
A Comparison of Image and Scalar-Based Approaches in Preconditioner Selection
本研究比较图像与标量方法在预条件器选择中的效果，提出基于RGB图像和CNN的多类分类方法，在126个SuiteSparse矩阵上实现32%准确率提升和25%计算减速降低。
2023-12-25 cs.NA math.NA
Fast, High-Accuracy, Randomized Nullspace Computations for Tall Matrices
University of California Berkeley（加州大学伯克利分校）；EPF Lausanne（洛桑联邦理工学院）；University of Oxford（牛津大学）
本文提出RLOBPCG方法，通过随机预处理与LOBPCG结合，高效计算高矩阵的最小奇异向量，实现高精度和速度提升。
2026-02-18 cs.NA math.NA
Perturbation Analysis for Preconditioned Normal Equations in Mixed Precision
North Carolina State University（北卡罗来纳州立大学）
本文分析了混合精度下预条件正则方程的条件数，提出基于随机预条件的高效方法，证明预条件质量对条件数影响有限，但残差大小仍起关键作用，展示了随机预条件在GPU上的应用优势。
2026-03-17 cs.NA math.NA
A fast randomized algorithm for orthogonal projection
提出一种随机算法，通过预处理和随机化快速计算任意向量在矩阵零空间和行空间上的正交投影，并可用于求解超定最小二乘问题，加速凸优化内点法。
2009-12-10 cs.NA math.NA
Randomized Preconditioned Solvers for Strong Constraint 4D-Var Data Assimilation
针对强约束4D-Var数据同化中下降方向计算成本高的问题，提出三种基于随机化技术的可扩展预处理器，结合自适应策略，在两类模型问题上显著降低了PCG迭代和黑塞矩阵乘积次数。
2025-06-12 cs.NA math.NA
Randomized Nyström Preconditioning
本文介绍了求解对称正定线性系的NyströmPCG算法。该算法应用随机化Nyström方法来形成矩阵的低秩近似，这导致可以与共轭梯度算法一起部署的有效预处理器。理论分析表明，只要近似秩与矩阵中的有效自由度数目相当，预处理系统就具有恒定的条件数。本文还开发了自适应的方法，可证明实现类似的性能，而不知道的有效尺寸。数值试验表明，NyströmPCG可以快速解决大型线性系的数据分析问题，它超越了文献中的几个竞争的方法。
2021-12-17 cs.NA math.NA
Accelerated Kaczmarz Algorithms using History Information
IBM Research-Tokyo（IBM 东京研究所）
本文提出两种方法加速随机Kaczmarz算法，利用历史估计生成预条件器或结合SAG方法提升收敛速度，数值实验显示性能显著优于标准算法。
2016-08-01 cs.NA math.NA
Learning Preconditioner for Conjugate Gradient PDE Solvers
本文提出用图神经网络学习预条件子，为共轭梯度求解器引入归纳偏置，并在二维和三维线性二阶PDE上验证了有效性与泛化性。
2023-09-06 cs.NA math.NA
A Note On The Randomized Kaczmarz Method With A Partially Weighted Selection Step
在本文中，我们重新考虑了两个已知的算法，这两个算法通常比Strohmer和Vershynin（2009）引入的随机Kaczmarz方法收敛得更快，但需要在每一步额外计算迭代的所有残差。如文献中已经指出的，例如arXiv：2007.02910和arXiv：2011.14693，表明两种算法的非随机化版本至少与随机化版本一样快地收敛，同时仍然需要计算所有残差。基于该观察结果，arXiv：2011.14693引入了一种新的简单随机样本选择方案，以减少所需的残差总数。在同样的光，我们提出了一种替代的随机选择方案，可以很容易地被包括作为一个'部分加权选择步骤'到经典的随机Kaczmarz算法没有太多的麻烦。数值例子表明，随机确定的所需残差的数量可以是相当温和的。
2021-06-30 cs.NA math.NA
A randomized preconditioned Cholesky-QR algorithm
本文提出 rpCholesky-QR 随机预条件 Cholesky-QR 算法，用于满秩矩阵薄 QR 分解，证明其低误差、稳定不崩溃及二范数扰动界，并通过实验验证其精度和条件数依赖优势。
2024-06-17 cs.NA math.NA
Faster Least Squares Optimization
本文研究了带随机预条件子的超定最小二乘问题的迭代法，其中预条件子是基于数据矩阵的随机嵌入。我们考虑两种不同的方法：草图计算一次（固定预条件），或者随机投影在每次迭代时刷新，即，独立于前一个采样（变化的预处理器）。虽然固定的草图为基础的预处理器在最近的文献中得到了相当大的关注，很少有人知道刷新草图的性能。对于固定的草图，我们刻画了最优迭代法，即预条件共轭梯度法，以及它的收敛速率的子空间嵌入性质的随机嵌入。对于刷新的草图，我们提供了迭代Hessian草图（IHS）的预期误差的封闭式公式，即。预处理的最速下降。与基于子空间嵌入性质的固定预条件子的保证和分析相反，我们的公式是精确的，并且它涉及随机投影的期望逆矩。我们的主要技术贡献是表明，这种收敛速度，令人惊讶的是，无法改进与重球动量。此外，我们构造了局部最优的一阶方法，其收敛速度是有界的IHS。基于这些理论和数值研究，我们没有观察到刷新草图的额外随机性比固定的预条件子提供了明显的优势。因此，我们规定PCG作为选择方法，并根据我们的分析优化草图尺寸。我们规定的草图大小产生最先进的计算复杂性，解决高度超定线性系。最后，我们说明了我们的算法的数值效益。
2021-04-13 cs.CC cs.NA math.NA
Convergence Rates for Greedy Kaczmarz Algorithms, and Faster Randomized Kaczmarz Rules Using the Orthogonality Graph
Kaczmarz方法是求解线性等式和不等式系统的迭代算法，迭代地投影到这些约束上。最近，Strohmer和Vershynin [J. Fourier Anal.应用程序、15（2）：262-278，2009]给出了该算法的非渐近收敛率分析，促使Kaczmarz方法的许多扩展和推广。而不是在这项工作中分析的随机选择规则，在本文中，我们讨论贪婪和近似贪婪的选择规则。我们表明，在某些应用中，贪婪选择和随机选择的计算成本是相当的，并且在许多情况下，贪婪选择规则比随机选择规则提供更快的收敛速度。此外，我们给出了一个特定的贪婪规则的Kaczmarz方法的第一个多步分析，并提出了一个可证明的快速随机选择规则的矩阵与许多成对正交行。
2016-12-22 cs.NA math.NA
On subspace-constrained preconditioning for randomized iterative methods
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）
本文通过QR分解将原线性系统转化为块正交形式，避免满秩假设，并设计加速变体，证明期望线性收敛，数值实验验证了预条件策略的有效性。
2026-05-28 cs.NA math.NA
Matrix Phylogeny: Compact Spectral Fingerprints for Trap-Robust Preconditioner Selection
Department of Computer Science, Oregon State University（计算机科学系，俄勒冈州立大学）
Matrix Phylogeny 引入基于 Chebyshev 迹矩的紧凑谱指纹（CSF/ASF），在避免特征分解的前提下实现矩阵家族的高效聚类与匹配，并支持物理指导的预条件子自动推荐，在对抗性测试中达到近神谕性能。
2025-10-19 cs.LG cs.NA math.NA
A sublinear-time randomized algorithm for column and row subset selection based on strong rank-revealing QR factorizations
本文提出一种基于均匀随机选取与强秩揭示QR分解细化的亚线性时间行列子集选择算法，并在非相干性与稀疏性假设下证明了CUR低秩逼近的误差界。
2024-02-21 cs.NA math.NA
Adaptive randomized pivoting for column subset selection, DEIM, and low-rank approximation
提出自适应随机主元选择算法，用于列子集选择、DEIM、交叉近似和Nyström近似，在期望误差上匹配或改进最优确定性结果，并给出去随机化版本。
2025-06-19 cs.NA math.NA
Randomized strong rank-revealing QR for column subset selection and low-rank matrix approximation
本研究提出一种随机化强秩揭示QR分解，借助满足ε-嵌入性质的随机概要矩阵，通过概要矩阵的确定性强秩揭示QR选列，实现矩阵谱特性揭示，可用于列子集选择、低秩逼近等任务。
2025-03-24 cs.NA math.NA
Data selection: at the interface of PDE-based inverse problem and randomized linear algebra
Californian Institute of Technology（加州理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文探讨了基于偏微分方程的反问题中数据选择的挑战，介绍了随机线性代数在解决无限维问题中的应用。
2026-01-14 cs.NA math.NA math.OC
Adaptive LSQR Preconditioning from One Small Sketch
本文提出APLICUR框架，通过一次小规模近似 sketch 实现大规模线性最小二乘问题的自适应预条件化，无需前期构建高成本高质量预条件器，提升收敛速度。
2026-04-06 cs.NA math.NA
Greedy randomized sampling nonlinear Kaczmarz methods
最近提出的非线性Kaczmarz方法来解决非线性方程组。在本文中，我们首先讨论两个贪婪选择规则，即，非线性Kaczmarz迭代的最大残差准则和最大距离准则。在此基础上，提出了两种贪婪随机抽样方法。此外，我们还设计了四个相应的贪婪随机区组方法，即，基于多样本的方法。证明了所提出的方法均具有期望的线性收敛性。数值结果表明，在布朗概线性函数和广义线性模型等应用中，贪婪选择规则比随机选择规则具有更快的收敛速度，块方法优于单样本方法.
2022-09-13 cs.NA math.NA
Detecting when one probe vector is enough for preconditioned log-determinant approximation
University of Pisa（比萨大学）；Scuola Normale Superiore di Pisa（比萨高等师范学院）
本文提出了一种基于预条件和随机迹估计的算法，用于高效估计正则化对称半正定矩阵的对数行列式，并通过实验验证其有效性。
2026-02-19 cs.NA math.NA
Numerically Stable Cholesky-QR on GPU via Mixed-Precision Randomized Preconditioning
Dept. of Mathematics North Carolina State University（北卡罗来纳州立大学数学系）
针对 Cholesky-QR 在 GPU 上因条件数平方导致数值不稳定的问题，提出 MRCQR 算法，通过混合精度随机预处理使条件数接近 1，在保持 BLAS-3 效率的同时实现数值稳定，实验表明在 H100 GPU 上性能优于现有方法。
2026-07-03 cs.NA math.NA
Adaptive Row Selection Meets Asynchrony in Randomized Kaczmarz
University of Mary Washington（玛丽华盛顿大学）
研究随机化Kaczmarz中自适应行选择与异步性，通过在96核节点上339次运行测量实际延迟，发现稳定性受边界$\ell^*(T)$等影响，阈值贪婪选择在高线程数不稳定，欠松弛可恢复边界，不一致读取更优，还验证实现并概述分布式两级采样器。
2026-08-25 cs.DC cs.NA math.NA
Nearly-Linear Time Algorithms for Preconditioning and Solving Symmetric, Diagonally Dominant Linear Systems
提出一种近线性时间随机化算法，用于求解对称弱对角占优线性系统，并构造改进的子图预处理器，在平面结构下达到近线性期望时间，计算近似Fiedler向量。
2012-09-13 cs.DS cs.NA math.NA
Adaptive randomized pivoting and volume sampling
University of California Berkeley（加州大学伯克利分校）；Caltech（加州理工学院）
本文将自适应随机 pivoting 算法与体积采样分布及线性回归主动学习算法联系起来，提出新的分析和更高效的实现方法。
2026-04-03 cs.DS cs.LG cs.NA
Restarted randomized surrounding methods for solving large linear equations
提出了一类重新开始随机包围法，利用重新开始技术加速求解线性方程的包围算法。理论分析证明了该方法在随机行选择规则下的收敛性，并给出了期望收敛速度。数值实验进一步证明了所提算法的有效性，在超定和欠定线性方程的求解以及图像处理中的应用效果均优于现有方法.
2022-07-09 cs.NA math.NA
High-precision randomized iterative methods for the random feature method
本文针对随机特征方法产生的大规模病态超定稀疏最小二乘问题，提出基于count sketch与QR/SVD分解的预条件迭代方法CSQRP-LSQR与CSSVDP-LSQR，证明了条件数上界独立于原矩阵，数值实验表明其精度高且计算更高效。
2024-09-24 cs.NA math.NA
Randomized algorithms for Tikhonov regularization in linear least squares
我们描述了两个算法，有效地解决正则线性最小二乘系统的基础上草图。该算法计算用于$\min \|Ax-b\|^2_2 + λ\|x\|^2_2$的预处理器，其中$A\in\mathbb{R}^{m\times n}$和$λ>0$是正则化参数，使得LSQR在$ε$精度的$\mathcal{O}(\log(1/ε))$迭代中收敛。我们专注于最佳正则化参数未知的情况下，系统必须解决一些参数$λ$。我们的算法适用于欠定$m\ll n$和超定$m\gg n$设置。首先，我们提出了一个基于Cholesky的草图预处理算法，使用一个“部分准确”的草图，只需要一个草图的$N$正则化参数$λ$的集合。求解$N$参数的复杂度为$\mathcal{O}(mn\log(\max(m,n)) +N(\min(m,n)^3 + mn\log(1/ε)))$。其次，我们介绍了一种算法，它使用的草图的大小$\mathcal{O}(\text{sd}_λ(A))$的情况下，统计尺寸$\text{sd}_λ(A)\ll\min(m,n)$。我们提出的方案不需要计算的革兰氏矩阵，从而在这方面比现有的算法更稳定的计划。我们可以在$\mathcal{O}(mn\log(\max(m,n)) + \min(m,n)\,\text{sd}_{\minλ_i}(A)^2 + Nmn\log(1/ε))$运算中求解$λ_i$的$N$…
2022-03-14 cs.NA math.NA
Positive semidefinite and positive semidefinite splitting iteration methods for solving nonsingular positive semidefinite systems
Minab Higher Education Center, University of Hormozgan（霍尔木甘大学米纳布高等教育学院）；Department of Mathematics, University of Hormozgan（霍尔木甘大学数学系）；Faculty of Mathematical Sciences, University of Guilan（吉兰大学数理学院）
本文提出一种半正定分裂迭代方法求解非奇异半正定线性方程组，通过矩阵分裂建立收敛条件，推广了现有方法并验证了所导出预条件子的有效性。
2026-09-07 cs.NA math.NA
Efficient QR-based Column Subset Selection through Randomized Sparse Embeddings
PSI Center for Scientific Computing, Theory and Data（瑞士保罗谢勒研究所科学计算、理论与数据中心）；Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）
介绍一种结合列主元 QR 分解与稀疏子空间嵌入的列子集选择高效算法 SE - QRCS，对宽矩阵有效，能从草图矩阵选列并映射回原矩阵，证明其分解有强秩揭示特性，所得界对\(A\)列数依赖性降低，一般矩阵可扩展。
2026-07-27 cs.NA math.NA
Randomized block Kaczmarz with volume sampling: Momentum acceleration and efficient implementation
针对随机分块 Kaczmarz 依赖行铺砌的问题，提出体积采样分块选择与动量加速，并给出稀疏矩阵下近对数复杂度的高效实现，显著改善收敛因子。
2025-03-18 cs.NA math.NA
Pseudoinverse-free randomized block iterative algorithms for consistent and inconsistent linear systems
随机迭代算法由于能够近似求解大规模线性系方程组而不需要访问整个系数矩阵，近年来受到了广泛的关注。本文提出了求解相容和不相容线性系的两个新的无伪逆随机块迭代算法。所提出的算法需要两个用户定义的随机矩阵：一个用于行采样，另一个用于列采样。我们可以恢复著名的双随机高斯-赛德尔，随机Kaczmarz，随机坐标下降，随机扩展Kaczmarz算法，通过选择适当的随机矩阵在我们的算法。由于我们的算法允许这两个随机矩阵的更广泛的选择，一些新的特定的算法可以得到。我们证明了算法在均方意义下的线性收敛。对具有合成系数矩阵和真实系数矩阵的线性系的数值实验表明了本文算法在某些特殊情况下的有效性。
2021-10-21 cs.NA math.NA
Randomized Discrete Empirical Interpolation Method for Nonlinear Model Reduction
离散经验插值方法（DEIM）是一种用于非线性模型简化的常用方法，它有两个主要组成部分：由解的快照集合计算的插值基和确定要模拟的非线性分量的一组指标。这两个成分的计算占主导地位的DEIM算法的总成本。为了具体解决这两个问题，我们提出了随机版本的DEIM算法。本文的主要贡献有三点。首先，我们使用随机范围发现算法，有效地找到一个近似DEIM基础。其次，我们开发了基于杠杆分数的随机子集选择工具，以有效地选择非线性分量。第三，我们开发了几个理论结果，量化的精度随机化的DEIM近似。我们还提出了数值实验，证明所提出的算法的好处。
2020-03-26 cs.NA math.NA
Singular Value Decomposition Approximation via Kronecker Summations for Imaging Applications
Emory University（埃默里大学）
本文提出通过将矩阵分解为克罗内克积之和来近似大型结构矩阵的截断奇异值分解，更高效地计算奇异值和向量，用于求解大规模病态逆问题。
2018-04-02 cs.NA math.NA
RJD-BASE: Multi-Modal Spectral Clustering via Randomized Joint Diagonalization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出RJD-BASE方法，通过随机凸组合拉普拉斯矩阵结合BASE选择规则实现多模态谱聚类，在低计算成本下优于经典多模态聚类方法。
2026-08-07 cs.NA eess.SP math.NA
Randomized progressive iterative approximation for B-spline curve and surface fittings
本文提出随机渐进迭代逼近（RPIA）用于B样条曲线与曲面拟合，通过随机索引选择局部调整控制点，证明其极限在期望上收敛于最小二乘拟合结果，数值实验验证了其优势。
2022-12-13 cs.NA math.NA
Low-Rank SPIKE Framework for Solving Large Sparse Linear Systems with Applications
针对大型稀疏线性系统求解问题，提出基于低秩SVD近似非对角块的LR-SPIKE变体框架，可作为黑箱预条件子或近似直接求解器，在SuiteSparse矩阵（含3D有限元矩阵）上验证了有效性，与FEAST配对显著减少迭代次数。
2025-04-15 cs.MS cs.NA math.NA
Greedy Motzkin-Kaczmarz methods for solving linear systems
著名的贪婪随机Kaczmarz（GRK）方法使用最大距离的贪婪选择规则来确定工作行的索引子集。利用最大残差的贪婪选择准则，提出了求解线性系的贪婪随机Motzkin-Kaczmarz（GRMK）方法.文中还给出了新方法的块形式。我们分析了这两种方法的收敛性，并给出了相应的收敛因子。大量的数值实验表明，GRMK方法对稠密矩阵具有与GRK方法几乎相同的性能，而对某些稀疏矩阵，GRMK方法在计算时间上优于GRK方法，而且GRMK和GRK方法的分块版本总是具有几乎相同的性能.
2020-11-12 cs.NA math.NA
Randomized Algorithms for Computation of Tucker decomposition and Higher Order SVD (HOSVD)
大数据分析已成为物联网、网络物理分析、深度学习、异常检测等新兴技术的重要组成部分。在许多其他技术中，降维在此类分析中起着关键作用，并有助于特征选择和特征提取。随机算法是处理大数据张量的有效工具。它们通过降低确定性算法的计算复杂性和存储层次结构的不同级别之间的通信来加速分解大规模数据张量，这是现代计算环境和架构中的主要瓶颈。本文综述了Tucker分解和高阶奇异值分解（HOSVD）计算中的随机化方法的最新进展。我们讨论了随机投影和采样方法，单通道和多通道随机算法，以及如何利用它们在计算的塔克分解和HOSVD。模拟合成和真实的数据集提供了一些最好的和最有前途的算法的性能进行比较。
2021-12-12 cs.NA math.NA
RGDBEK: Randomized Greedy Double Block Extended Kaczmarz Algorithm with Hybrid Parallel Implementation and Applications
本文提出随机贪婪双块扩展 Kaczmarz（RGDBEK）算法，通过基于残差概率的随机行列块选择缓解跷跷板效应，并利用混合 CPU-GPU 并行实现提升大规模稀疏线性系统求解效率，在合成与真实矩阵上均优于现有 Kaczmarz 变体。
2025-09-23 cs.NA math.NA
Randomized Iterative Methods for Linear Systems
University of Edinburgh（爱丁堡大学）
本文提出一种新颖的随机迭代方法，通过调整两个参数可得到多种已知算法，证明了误差范数的指数收敛性，并给出了迭代过程的精确公式。
2016-01-06 cs.NA math.NA
