Fast & Accurate Randomized Algorithms for Linear Systems and Eigenvalue Problems
本文发展了一类新的求解一般线性系和本征值问题的算法。这些算法应用快速随机草图来加速子空间投影方法，如GMRES和Rayleigh-Ritz。这种方法在设计近似子空间的基础方面提供了很大的灵活性，这可以提高许多计算环境中的可扩展性。由此产生的算法优于经典的方法，以最小的精度损失。对于模型问题，数值实验表明，MATLAB的优化例程，包括一个$100 \times$加速gmres和一个$10 \times$加速eigs有很大的优势。
2022-02-16 cs.NA math.NA
Kaczmarz-type inner-iteration preconditioned flexible GMRES methods for consistent linear systems
我们提出使用贪婪和随机Kaczmarz内迭代作为预条件的右预条件灵活GMRES方法来解决一致的线性系，与参数调整策略调整内迭代的数量和松弛因子。我们还提出了理论上的理由的右预处理灵活GMRES解决一致的线性系。对超定和欠定线性系的数值实验表明，与NE-SOR内迭代预处理的GMRES方法相比，该方法在总的CPU时间上有明显的优势.
2021-02-23 cs.NA math.NA
Randomized sketched TT-GMRES for linear systems with tensor structure
针对线性张量方程求解，本文结合不完全正交化、结构化草图及张量级流式舍入等随机化策略增强 Krylov 型 TT-GMRES，使其效率可媲美先进 ALS 方法。
2024-09-14 cs.NA math.NA
A weighted global GMRES algorithm with deflation for solving large Sylvester matrix equations
大型Sylvester矩阵方程的求解在控制和大型科学计算中起着重要的作用。一种流行的方法是使用全局GMRES算法。在这项工作中，我们首先考虑全局GMRES算法的加权策略，并提出了一些新的方案，基于残差更新的加权矩阵。由于内存需求和计算成本的增长，有必要重新启动算法有效。收缩策略是求解大型线性系和大型本征值问题的一种常用策略，但据我们所知，将收缩策略应用于求解大型Sylvester矩阵方程组的全局GMRES算法的研究还很少。然后，我们考虑如何结合加权策略和放气重新启动，并提出了一个加权的全局GMRES算法放气求解大型西尔维斯特矩阵方程。理论分析表明，为什么新算法的工作有效。此外，与[{ \sc M.恩布里河B. Morgan和H. V. Nguyen}，{ \em Weighted inner products for GMRES and GMRES-DR}，（2017），arXiv：1607.00255v2]，我们证明了在我们的新算法中，不需要将关于对角矩阵的内积改变为关于非对角矩阵的内积，并且我们的方案便宜得多。数值例子说明了所提出的算法的数值行为。
2017-06-05 cs.NA math.NA
Random-sketching Techniques to Enhance the Numerical Stability of Block Orthogonalization Algorithms for s-step GMRES
本文将随机草图技术引入 s-step GMRES 的块正交化流程，并基于 Trilinos 在 Perlmutter 上验证其可在几乎不增加运行时间的情况下提升数值稳定性。
2025-09-30 cs.DC cs.NA math.NA
Low-rank SI-DSA and GMRES-DSA for Radiative Transfer Equation with Adaptive Accuracy Control
The Hong Kong University of Science and Technology（香港科技大学）；University of Innsbruck（因斯布鲁克大学）；Texas Tech University（德克萨斯理工大学）
针对辐射传输方程低秩迭代求解器在早期迭代过求解及多尺度问题失效的缺陷，提出自适应精度控制与两阶段混合采样策略，并开发非精确柔性GMRES-DSA求解器，数值实验验证了其有效性。
2026-10-07 cs.NA math.NA
Heavy Ball GMRESR method for Nonsymmetric Linear Systems
The University of Texas at Arlington（阿灵顿得克萨斯大学）
本文针对GMRESR收敛慢的问题，提出以HBGMRES为内层循环的HBGMRESR方法，通过真实数据测试验证其性能优于GMRESR与HBGMRES。
2026-08-13 cs.NA math.NA
Low synchronization GMRES algorithms
National Renewable Energy Laboratory（国家可再生能源实验室）；University of Colorado Denver（科罗拉多大学丹佛分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出低同步的迭代CGS和MGS算法，通过减少全局减少步骤提升可扩展性，引入后向归一化延迟实现稳定GMRES算法。
2018-09-16 cs.NA math.NA
Randomized sketching for Krylov approximations of large-scale matrix functions
f（A）b的计算，即矩阵函数对向量的作用，是科学计算的许多领域中出现的一项任务。在许多应用中，矩阵A是稀疏的，但如此之大，以至于只能存储相当少量的Krylov基向量。在这里，我们讨论了一种新的方法来克服这些限制，随机素描结合整表示的f（A）b。介绍了两种不同的近似，一种基于草图FOM和另一种基于草图GMRES近似。对于正实矩阵的Stieltjes函数，分析了后一种方法的收敛性。我们还推导出一个封闭的形式表达的草图FOM逼近和约束其距离的完整FOM逼近。数值实验证明了所提出的草图绘制方法的潜力。
2023-03-17 cs.NA math.NA
A Nonlinear GMRES Optimization Algorithm for Canonical Tensor Decomposition
提出了一种新的算法来计算一个正则秩R张量近似，该近似在Frobenius范数下与给定的张量具有最小距离，其中正则秩R张量由R秩1分量之和组成。该方法的每次迭代由三个步骤组成。在第一步中，一个试探性的新的迭代是由一个独立的一步过程，我们使用交替最小二乘（ALS）。在第二步中，一个加速的非线性广义最小残差（GMRES）的方法，重组以前的迭代以最佳的方式，并基本上使用独立的一步过程作为预条件。特别地，使用由Washio和Oosterlee在[ETNA Vol.15（2003），pp. [165-185]对于非线性偏微分方程问题。在第三步中，执行线搜索以进行全球化。由此产生的非线性GMRES（N-GMRES）优化算法被施加到密集和稀疏张量分解测试问题。数值试验表明，N-GMRES加速的ALS可以显著优于独立ALS和标准非线性共轭梯度最优化方法，特别是当需要高精度稳定点的困难问题。所提出的N-GMRES优化算法是基于一般概念的，可以应用于其他非线性最优化问题。
2011-05-26 cs.NA math.NA
Accelerating GMRES with Matrix-Free Multiscale Robin Preconditioners
University of São Paulo（圣保罗大学）；Piri Technologies, LLC（Piri科技有限公司）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出一种基于过采样多尺度Robin耦合方法的无矩阵右预条件策略，用于GMRES求解地下流椭圆问题，显著减少迭代次数，常在一两次迭代内收敛。
2026-06-07 cs.NA math.NA
A fast solver for ill-conditioned linear systems using randomized stable solutions of its blocks
Indian Institute of Science（印度科学学院）
提出一种改进的基于行的随机块Kaczmarz方法，通过块更新正则化和基于残差与块间正交性的动态提议分布，高效求解病态稀疏或稠密最小二乘问题，可作为预求解器加速其他迭代方法。
2026-06-17 cs.NA math.NA
Randomized block Gram-Schmidt process for solution of linear systems and eigenvalue problems
本研究提出用于QR分解的随机分块Gram-Schmidt过程（RBGS），兼具高效性与稳定性，基于其开发了线性系统和特征值问题求解方法的随机版本并通过数值算例验证。
2023-05-27 cs.NA math.NA
Randomized algorithms for rounding in the Tensor-Train format
Tensor-Train（TT）格式是高维张量的高度紧凑的低秩表示。当表示某些类型的参数化偏微分方程的解的近似时，TT特别有用。对于这些问题中的许多问题，显式计算解决方案将需要不可行的内存和计算时间。虽然TT格式使这些问题易于处理，但求解偏微分方程的迭代技术必须适应于在保持隐式结构的同时执行算术。用于保持可行的内存和计算时间的基本运算称为舍入，其截断已经在TT格式中的张量的内部秩。我们提出了几个随机算法，为这项任务的随机低秩矩阵近似算法的推广，并提供显着减少计算相比，确定性TT-舍入算法。随机化在四舍五入TT张量的总和的情况下特别有效（我们观察到20倍加速），这是GMRES适应TT格式向量的瓶颈计算。我们提出了随机算法，并比较其经验的准确性和计算时间与确定性的替代品。
2021-10-08 cs.NA math.NA
Steepest Descent Preconditioning for Nonlinear GMRES Optimization
研究了最近提出的求解无约束非线性最优化的非线性广义极小残差（N-GMRES）优化算法的最速下降预处理问题。提出了两种最速下降预处理方法。第一个采用线搜索，而第二个采用预定义的小步。在对目标函数和线搜索过程的较弱标准条件下，给出了带第一最速下降预条件子（带线搜索）的N-GMRES优化算法的一个简单的整体收敛证明. N-GMRES优化的最速下降预处理也是通过在具有对称正定算子的二次最优化问题的情况下将其与线性系统的标准非预处理GMRES相关联而激发的。对多种模型问题的数值试验表明，N-GMRES优化算法能够非常显著地加快独立最速下降优化的收敛速度。此外，最速下降预处理N-GMRES的性能被证明是具有竞争力的标准的非线性共轭梯度法和有限记忆Broyden-Fletcher-Goldfarb-Shanno方法所考虑的模型问题。这些结果有助于理论和数值建立最陡下降预处理N-GMRES作为无约束非线性最优化的一般最优化方法，与性能相比，已建立的技术似乎很有前途。此外，有人认为，真正的潜力的N-GMRES优化框架在于，它可以利用问题相关的非线性预条件，比最速下降更强大（或者，等价地，N-GMRES可以被用作一个简单的包装周围的任何其他迭代优化过程，以寻求该过程的加速），并说明了这种潜力与进一步的应用程序的例子。
2011-07-24 cs.NA math.NA math.OC
On global randomized block Kaczmarz algorithm for solving large-scale matrix equations
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）
本文提出两种全局随机块Kaczmarz算法，用于高效求解大规模线性矩阵方程，并在图像去模糊中表现出色。
2022-04-29 cs.NA math.NA
A FFT-based GMRES for fast solving of Poisson equation in concatenated geometry
针对拼接复合几何中的 Poisson 方程，提出结合 FFT 预条件子与 GMRES 的区域分解法，保持单步最优复杂度并实现二阶精度，最高加速逾40倍。
2025-09-27 cs.NA math.NA physics.comp-ph
Randomized Householder QR
本文提出随机化 Householder QR 分解（RHQR），通过草图矩阵等价于标准 QR，获得良态基并用于 GMRES 等，成本减半且稳定，实验验证其精度。
2024-05-22 cs.NA math.NA
Fast randomized algorithms for low-rank matrix approximations with applications in global comparative analysis of a class of data sets
针对低秩数据矩阵的广义奇异值计算问题，提出一种先近似提取基再高效计算的随机算法，经理论分析与多数据集实验验证，该算法在保证比较分析精度的同时实现了最快运行速度。
2024-04-15 cs.NA math.NA
An inexact Matrix-Newton method for solving NEPv
本文提出一种基于全局Krylov子空间的无矩阵非精确矩阵-牛顿方法，用于在矩阵层面求解NEPv，并通过数值实验证明其优于传统SCF算法。
2024-09-03 cs.NA math.NA
Spacetime Wavelet Method for Linear Boundary-Value Problems in Sylvester Matrix Equation Form
本研究提出一种基于小波的高阶时空数值方法，将线性初边值问题离散为Sylvester矩阵方程，结合递归小波算法的全局GMRES方法求解，验证了其高阶收敛性及优于Kronecker积公式的性能。
2025-09-02 cs.NA math.NA physics.comp-ph
Structured Sketching for Linear Systems
本文针对线性系统求解问题，提出基于草图-投影的迭代算法，通过利用残差历史等草图选择策略实现短递归公式，在降低内存占用和迭代复杂度的同时，数值表现可与 GMRES、SYMMLQ 及先进随机求解器相媲美。
2024-06-30 cs.MS cs.NA math.NA
Gl-QFOM and Gl-QGMRES: two efficient algorithms for quaternion linear systems with multiple right-hand sides
针对多右端项四元数线性系统求解问题，提出基于四元数矩阵Krylov子空间投影的Gl-QFOM与Gl-QGMRES算法，推导全局四元数Arnoldi过程，完成收敛分析并拓展至Sylvester四元数矩阵方程，数值实验验证其优于传统实表示迭代法。
2023-08-25 cs.NA math.NA
Global Asymptotic Rates Under Randomization: Gauss-Seidel and Kaczmarz
本文通过新方法分析随机迭代算法的谱半径，缩小理论与实践间的差距，并揭示松弛参数提升性能的作用，解决了一个开放性问题。
2026-03-18 cs.NA math.NA
Low-Synch Gram-Schmidt with Delayed Reorthogonalization for Krylov Solvers
Krylov迭代法的并行强标度在很大程度上取决于每次迭代所需的全局约简的数量。GMRES和Krylov-Schur算法采用Arnoldi算法来处理非对称矩阵。底层的正交化方案是左视的，一次处理一列。因此，每次迭代至少需要一次全局约简。用于生成Krylov-Schur算法的正交Krylov基向量的传统算法是经典的Gram Schmidt应用两次再正交化（CGS 2），每步需要三次全局约简。CGS 2的一个新的变种，只需要一个减少每次迭代应用到Arnoldi-QR迭代。给出了求非对称矩阵特征值对的强标度结果。Hernandez等人提出了一个初步的尝试，以获得一个类似的算法（一个减少每个Arnoldi迭代与一个强大的正交化计划）。（2007年）。与我们的方法不同，他们的方法对特征值不是前向稳定的。
2021-05-15 cs.NA math.NA
On the global convergence of randomized coordinate gradient descent for non-convex optimization
在本文中，我们分析了非凸优化问题中随机选择坐标和步长的坐标梯度下降法的整体收敛性。在一般的假设下，我们证明了该算法几乎肯定会逃脱严格的鞍点的目标函数。因此，如果所有鞍点都是严格的，则保证算法收敛到局部极小。我们的证明是基于观察坐标下降算法作为一个非线性随机动力系统和定量有限块分析其线性化周围的鞍点。
2022-11-30 cs.NA math.DS math.NA
A Projected Drift-Randomized Milstein Method for SDEs with Non-differentiable and Super-linear Drift Coefficients
Financial Technology Thrust, Society Hub（金融科技推动力，社会中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对不可微且超线性增长漂移系数的随机微分方程，提出投影漂移随机化米尔斯坦方法，通过纳入漂移投影扩展方法，在特定条件下建立稳定性估计与残差界，实现L2意义下一阶强收敛，数值实验验证了收敛率与适用性。
2026-07-20 cs.NA math.NA
Linear convergence of randomized Kaczmarz method for solving complex-valued phaseless equations
最近提出了一种用于相位恢复的随机Kaczmarz方法，数值结果表明，该方法在采样复杂度和计算时间方面都表现出优于其他最先进相位恢复算法的经验性能。虽然在信号和测量矢量都是实值的真实情况下已经很好地研究了收敛的收敛速率，但是在复数情况下不能保证收敛。事实上，用于相位恢复的随机化Kaczmarz方法在复杂设置中的线性收敛被Tan和Vershynin作为猜想留下。本文首先给出了它的理论保证，证明了对于从复单位球面独立一致地画出的随机测量$\mathbf{a}_j \in \mathbb{C}^n, j=1,\ldots,m $或等价的独立复高斯随机向量，当$m \ge Cn$对某个普适正常数$C$，具有良好初始化的随机化Kaczmarz方案以高概率线性收敛到期望的目标解（直到全局相位）。这给了这个猜想一个肯定的答案。
2021-09-24 cs.NA math.NA
Efficient randomized tensor-based algorithms for function approximation and low-rank kernel interactions
在本文中，我们介绍了一种多元函数逼近的方法，使用功能评估，切比雪夫多项式，和基于张量的压缩技术通过塔克格式。我们开发了新的随机技术来完成张量压缩，提供了一个详细的分析计算成本，提供洞察所得近似的错误，并讨论所提出的方法的好处。我们还应用基于张量的函数近似来开发低秩矩阵近似，以描述两组点之间的成对相互作用的核矩阵;由此产生的低秩近似计算和存储效率高（复杂度在点数上是线性的）。我们有详细的数值实验的例子问题，涉及多元函数逼近，低秩矩阵近似的核矩阵，涉及良好分离的集群的源和目标点，和全球低秩近似的核矩阵与高斯过程的应用。
2021-07-27 cs.NA math.NA
Randomized Krylov-Projected Iterated Tikhonov Regularization for Large-Scale Ill-posed Problems Under A Posteriori Stopping Rule
Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）
针对大规模线性不适定逆问题，提出RIGKT和RIAT随机迭代正则化框架，结合随机迭代Tikhonov正则化与Krylov子空间投影技术，纳入多种策略及后验停止规则，经分析和实验验证其能可靠重建结构特征。
2026-07-28 cs.NA math.NA
Linear Convergence of Comparison-based Step-size Adaptive Randomized Search via Stability of Markov Chains
Inria, LRI, Bât 660, University Paris Sud（法国国家信息与自动化研究所，研究与教学实验室，660号楼，巴黎南大学）
本文研究了基于比较的自适应随机搜索算法在缩放不变目标函数上的线性收敛性，通过马尔可夫链的稳定性分析，推导了全局线性收敛的充分条件。
2016-06-02 cs.NA math.NA
Randomized Quasi-Newton Updates are Linearly Convergent Matrix Inversion Algorithms
我们开发和分析了一个广泛的家庭的随机/随机化算法的矩阵求逆。我们还开发了专门的变种保持对称性或正定性的迭代。该家族中的所有方法都全局收敛和线性收敛（即，误差以指数方式衰减）。在特殊情况下，我们得到了几个拟牛顿更新的随机块变体，包括坏Broyden（BB），好Broyden（GB），Powell-symmetric-Broyden（PSB），Davidon-Fletcher-Powell（DFP）和Broyden-Fletcher-Goldfarb-Shanno（BFGS）。我们的是这些更新的第一个随机版本，收敛到一个固定矩阵的逆。通过一个对偶的观点，我们揭示了拟牛顿更新和近似逆预处理之间的基本联系。此外，我们开发了一个自适应的随机块BFGS的变体，在那里我们修改的分布的随机性的方法在整个迭代过程中，以实现更快的收敛。通过对不同应用中的几个矩阵进行反演，我们证明了AdaRBFGS与成熟的Newton-Schulz和最小残差方法相比具有很强的竞争力。特别是，在大规模的问题，我们的方法优于标准方法的数量级。在大数据时代到来之际，发展有效的方法来估计超大矩阵的逆是预处理和变尺度最优化方法所急需的工具。
2016-03-23 cs.NA math.NA
Adaptively Sketched Bregman Projection Methods for Linear Systems
草图投影算法是求解线性系的一种通用原型算法，它统一了随机Kaczmarz和随机坐标下降等多种随机迭代法。然而，由于它的目的是从一个线性系找到一个最小范数解，随机稀疏Kaczmarz不能被包括在内。这促使我们提出了一个更一般的框架，称为草图Bregman投影（SBP）方法，在其中，我们能够找到解决方案与某些结构的线性系。为了推广自适应采样的SBP方法的概念，我们展示了如何进步，布雷格曼距离测量，单步直接依赖于一个草图损失函数。理论上，我们提供了详细的整体收敛的SBP方法与不同的自适应采样规则的结果。最后，对稀疏Kaczmarz方法进行了一组数值模拟，验证了与其他采样规则相比，采用采样Kaczmarz-Motzkin规则的方法在达到给定误差界时所需的计算量最少.
2021-12-29 cs.NA math.NA
Linear Convergence on Positively Homogeneous Functions of a Comparison Based Step-Size Adaptive Randomized Search: the (1+1) ES with Generalized One-fifth Success Rule
INRIA Saclay-Ile-de-France（法国国家信息与自动化研究所萨克莱-法兰西岛中心）
本文研究了基于比较的步长自适应随机搜索在正齐函数上的全局线性收敛性，证明了(1+1)ES在广义五分之一成功规则下的线性收敛性，适用于非准凸和非连续函数。
2013-10-31 cs.NA math.NA
Global Convergence of Hessenberg Shifted QR III: Approximate Ritz Values via Shifted Inverse Iteration
我们给出了一个自包含的随机算法的基础上移位逆迭代可证明计算的特征值的任意矩阵$M\in\mathbb{C}^{n\times n}$向后错误$δ\|M\|$在$O(n^4+n^3\log^2(n/δ)+\log(n/δ)^2\log\log(n/δ))$浮点运算使用$O(\log^2(n/δ))$位的精度。虽然$O(n^4)$的复杂性对于大矩阵是禁止的，但是该算法是简单的，并且可以用于使用受控精度可证明地计算小矩阵的特征值，特别是用于计算移位QR算法中的Ritz值，如（Banks，Garza-Vargas，Srivastava，2022）。
2022-05-13 cs.NA math.NA
Domain-Decomposed Randomized Neural Networks for Partial Differential Equations in Unbounded Domains
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；State Key Laboratory of Multiphase Flow in Power Engineering, Xi’an Jiaotong University（西安交通大学动力工程多相流国家重点实验室）
提出域分解随机神经网络框架，通过近场和远场子网络分别捕获局部特征和外部衰减，利用Petrov-Galerkin或配点法求解线性最小二乘系统，适用于无界区域椭圆、穿孔和时间依赖问题。
2026-07-01 cs.LG cs.NA math.NA
SO-PIFRNN: Self-optimization physics-informed Fourier-features randomized neural network for solving partial differential equations
本研究提出SO-PIFRNN框架，通过双层优化架构结合傅里叶基函数激活、导数神经网络方法和MSC-PSO算法，显著提升了偏微分方程的数值求解精度与频率捕捉能力。
2025-08-07 cs.NA cs.NE math.NA
Adaptive Randomized Neural Networks for PDEs: Structure-Aware Feature Redistribution and Residual-Driven Block Enrichment
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；School of Mathematics and Statistics & State Key Laboratory of Multiphase Flow in Power Engineering, Xi’an Jiaotong University（西安交通大学数学与统计学院）
该研究针对随机神经网络求解偏微分方程时无法捕捉解的空间与尺度结构的问题，提出SFRBE--RaNN两阶段自适应方法，经数值实验验证其有效性。
2026-10-16 cs.LG cs.NA math.NA
