A Kaczmarz Method with Simple Random Sampling for Solving Large Linear Systems
Kaczmarz方法是求解大规模线性系的一种常用迭代格式。随机化Kaczmarz方法（RK）通过将系数矩阵的行按随机顺序排列而不是按给定顺序排列，大大提高了Kaczmarz方法的收敛速度。随机Kaczmarz方法的一个明显缺点是它的概率标准选择的活动或工作行的系数矩阵。在[{\sc Z. Z. Bai，W. Wu}，{\em On the greedy randomized Kaczmarz method for solving large sparse线性系}，SIAM Journal on Scientific Computing，2018，40：A592--A606]，作者提出了一种贪婪随机Kaczmarz方法（GRK）。然而，当矩阵的大小很大时，这种方法可能遭受严重的计算成本，并且对于大数据问题，开销将非常大。这项工作的贡献如下。首先，从概率显著性的角度，我们提出了一种部分随机化Kaczmarz方法，它可以减少贪婪随机化Kaczmarz方法所需的计算开销。其次，基于Chebyshev大数定律和Z检验，我们将一种简单的抽样方法应用于部分随机化Kaczmarz方法。所提出的方法的收敛性。第三，将新策略应用于岭回归问题，提出了一种基于简单随机抽样的部分随机Kaczmarz方法。数值实验表明，新算法优于许多国家的最先进的随机Kaczmarz方法的大型线性系问题和岭回归问题。
2020-11-30 cs.NA math.NA
On multi-step extended maximum residual Kaczmarz method for solving large inconsistent linear systems
提出多步扩展最大残差Kaczmarz方法求解大型不相容线性系统，理论证明收敛并给出上界，数值实验显示其优于现有方法。
2023-09-06 cs.NA math.NA
The standard forms and convergence theory of the Kaczmarz-Tanabe type methods for solving linear systems
本文提出两类Kaczmarz-Tanabe方法的标准形式，使其迭代矩阵可连续复用，理论分析与数值实验证明其收敛速率优于SIRT等方法。
2023-05-20 cs.NA math.NA
On averaging block Kaczmarz methods for solving nonlinear systems of equations
本文提出了一类求解非线性方程组的平均块非线性Kaczmarz方法，建立了其在常数和自适应步长下的收敛理论与收敛率上界，数值实验证明该方法在迭代步数和计算成本上优于现有方法。
2023-07-28 cs.NA math.NA
On Kaczmarz method with oblique projection for solving large overdetermined linear systems
本文介绍并分析了Kaczmarz方法的一种扩展--斜投影Kaczmarz方法（KO）。该方法大大减少了求解超定线性方程组的迭代次数，节省了计算时间，特别是对于含有近似线性相关的线性方程组的问题。同时，建立了一种随机化的斜投影随机化Kaczmarz方法（RKO）.给出了这两种方法的收敛性证明，数值实验表明了这两种方法对均匀分布随机数据的有效性。特别是当系统中存在相关行时，实验结果的改善非常突出。
2021-06-25 cs.NA math.NA
On maximum residual block Kaczmarz method for solving large consistent linear systems
本研究针对大型相容线性方程组求解问题，提出最大残差块Kaczmarz方法及无需伪逆计算的最大残差平均块Kaczmarz方法，证明收敛性并给出收敛上界，实验验证其性能优于部分现有块Kaczmarz方法。
2024-04-15 cs.NA math.NA
On Levenberg-Marquardt-Kaczmarz iterative methods for solving systems of nonlinear ill-posed equations
本文研究了求解不适定非线性算子方程非线性系统稳定解的一种改进的Levenberg-Marquardt方法和Kaczmarz策略。我们证明了该方法是一个收敛的正则化方法。数值试验的非线性反掺杂问题的双极模型的基础上。
2020-11-18 cs.NA math.NA
Accelerated Kaczmarz methods via randomized sketch techniques for solving consistent linear systems
针对相容线性系统求解问题，本文采用两种随机草图技术改进两类Kaczmarz方法，完成收敛性分析与解偏差上界推导，实验验证新方法在同等精度下运行效率更优。
2025-11-17 cs.NA math.NA
On global randomized block Kaczmarz algorithm for solving large-scale matrix equations
本文提出两种全局随机块Kaczmarz算法，用于高效求解大规模线性矩阵方程，并在图像去模糊中表现出色。
2022-04-29 cs.NA math.NA
Kaczmarz-Type Methods for Solving Matrix Equations
本文针对矩阵方程$AX=B$和$XA=C$提出多种Kaczmarz型迭代方法，无需矩阵乘法，适用于满秩或秩亏矩阵，并证明其收敛性，数值实验表明在高维情形下比传统含矩阵乘法的迭代方法更高效。
2023-05-31 cs.NA math.NA
Randomized double and triple Kaczmarz for solving extended normal equations
随机Kaczmarz算法由于其简单、快速和近似求解大规模线性系方程组的能力而受到广泛关注。本文提出了求解$\bf A^\top Ax=A^\top b-c$形式的扩展正规方程的随机双Kaczmarz算法和三Kaczmarz算法。所提出的算法避免了显式地形成$\bf A^\top A$，并且适用于{ \it arbitrary} $\mbf A\in\mbbr^{m\times n}$（满秩或秩亏，$m\geq n$或$m<n$）。给出了算法均方指数收敛的{ \it Tight}上界，并给出了数值实验.
2020-10-27 cs.NA math.NA
Greedy Motzkin-Kaczmarz methods for solving linear systems
著名的贪婪随机Kaczmarz（GRK）方法使用最大距离的贪婪选择规则来确定工作行的索引子集。利用最大残差的贪婪选择准则，提出了求解线性系的贪婪随机Motzkin-Kaczmarz（GRMK）方法.文中还给出了新方法的块形式。我们分析了这两种方法的收敛性，并给出了相应的收敛因子。大量的数值实验表明，GRMK方法对稠密矩阵具有与GRK方法几乎相同的性能，而对某些稀疏矩阵，GRMK方法在计算时间上优于GRK方法，而且GRMK和GRK方法的分块版本总是具有几乎相同的性能.
2020-11-12 cs.NA math.NA
The Averaged Kaczmarz Iteration for Solving Inverse Problems
National University of Defense Technology（国防科技大学）；University of Innsbruck（因斯布鲁克大学）
本文提出一种新的迭代正则化方法，用于求解可表示为Hilbert空间中线性或非线性方程组的反问题。该方法结合Landweber和Kaczmarz方法，通过评估一个正向和一个伴随子问题实现稳定性提升，并在光电声学断层成像的有限数据问题中进行了数值研究。
2018-01-18 cs.NA math.NA
Two-dimensional greedy randomized Kaczmarz methods for solving large-scale linear systems
针对大规模线性系统求解，提出基于贪婪选择和半随机策略的二维随机Kaczmarz方法，理论上证明其收敛于唯一最小范数解，且数值实验显示其在计算时间上优于现有方法。
2025-06-26 cs.NA math.NA
On projective Landweber-Kaczmarz methods for solving systems of nonlinear ill-posed equations
在这篇文章中，我们结合投影Landweber方法，最近提出的作者，与Kaczmarz的方法求解系统的非线性不适定方程。在这项工作中使用的基本假设是切向锥条件。我们证明了所提出的迭代是一个收敛的正则化方法。数值试验的非线性反问题相关的Dirichlet到Neumann映射，表明所提出的方法相比，其他良好的建立迭代的优越性能。我们的初步研究表明，由此产生的迭代是一个有前途的替代计算稳定的解决方案的大规模系统的非线性不适定方程。
2020-11-11 cs.NA math.NA
Randomized extended block Kaczmarz for solving least squares
随机迭代算法最近被提出来解决大规模线性系。本文提出了一个简单的随机扩展块Kaczmarz算法，该算法以均方指数收敛于给定线性系方程组的唯一最小$\ell_2$范数最小二乘解.该算法是伪逆自由，因此不同的投影为基础的随机双块Kaczmarz算法的Needell，赵，和Zouzias。我们强调，我们的方法适用于所有类型的线性系（一致或不一致，超定或欠定，满秩或秩亏）。此外，我们的方法可以利用分布式计算单元上的高效实现，在计算时间上产生显着的改善。数值算例表明了新算法的有效性。
2020-07-08 cs.NA math.NA
Randomized Block Kaczmarz Method with Projection for Solving Least Squares
Claremont McKenna College（克莱蒙特麦肯纳学院）；Claremont Graduate Univ.（克莱蒙特研究生大学）；IBM Research Lab, Zurich（IBM苏黎世研究实验室）
本文提出两种随机块Kaczmarz方法，通过矩阵分块加速对不一致系统的最小二乘解的收敛。
2015-06-23 cs.NA math.NA
Inertial randomized Kaczmarz algorithms for solving coherent linear systems
本研究针对相干线性系统求解问题，将双子空间Kaczmarz方法视为交替惯性随机Kaczmarz算法并提出更优收敛速率估计，进一步提出多步惯性随机Kaczmarz算法加速收敛，实验验证其性能显著更优。
2023-06-14 cs.NA math.NA math.OC
On Convergence Behavior of Randomized Kaczmarz-type Methods for Solving Doubly Noisy Linear Systems
Imagination Corp.（Imagination公司）；Fictional University（虚构大学）；School of Mathematics, China University of Mining and Technology（中国矿业大学数学学院）
本文针对双重噪声线性系统，首次分析了REK、RBK、RDBK等随机Kaczmarz型算法的收敛性，证明其收敛到无噪声系统最小二乘解邻域，并通过数值实验验证了理论结果。
2026-10-09 cs.NA math.NA
On greedy multi-step inertial randomized Kaczmarz method for solving linear systems
本文针对大规模线性系统求解问题，提出融合贪心概率准则与更严格阈值的贪心多步惯性随机Kaczmarz方法，证明其收敛性更优，阐明多步惯性外推的几何解释及与两类投影方法的关联，通过数值实验验证结论。
2024-10-08 cs.NA math.NA
Kaczmarz-Type Method for Solving Matrix Equation $AXB=C$
本文针对矩阵方程 $AXB=C$ 提出多种行和列正交投影的 Kaczmarz 型迭代方法，无需矩阵乘法，并证明其收敛到解或最小二乘解，在高维情形下比含矩阵乘法的迭代方法更高效。
2023-05-26 cs.NA math.NA
Relaxed Greedy Randomized Kaczmarz with Signal Averaging for Solving Doubly-Noisy Linear Systems
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出RGRK-SA方法，通过信号平均解决双噪声线性系统，实现多项式收敛速率，数值实验显示其优于传统随机Kaczmarz方法。
2026-03-31 cs.NA math.NA
Random Greedy Fast Block Kaczmarz Method for Solving Large-Scale Nonlinear Systems
针对大规模非线性系统求解，提出随机贪婪快速块Kaczmarz方法，通过融合随机与贪婪策略并避免Jacobian子矩阵伪逆计算，在期望下实现线性收敛，显著提升了求解效率与鲁棒性。
2025-08-13 cs.NA math.NA
Solving systems of phaseless equations via Riemannian optimization with optimal sampling complexity
Hong Kong University of Science and Technology（香港科技大学）；Fudan University（复旦大学）
本文提出基于秩1正定矩阵嵌入流形的黎曼梯度下降算法及其截断变体，证明截断变体在方程数量与未知数数量成比例时能有效恢复解，且在理论和实验上均优于其他非凸优化方法。
2018-09-08 cs.NA math.NA
Preconditioning Kaczmarz method by sketching
Skolkovo Institute of Science and Technology（斯科尔科沃科学与技术学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文提出了一种通过采样预条件化Kaczmarz方法的新方法，利用QR分解构建最优预条件器，但其复杂度过高，因此采用随机采样降低复杂度，并在随机和实际过定线性系统中进行了数值实验。
2019-03-05 cs.NA math.NA
Randomized Extended Kaczmarz is a Limit Point of Sketch-and-Project
用于求解线性方程组的草图和投影（SAP）框架已经统一了流行的投影迭代法（诸如随机Kaczmarz、随机坐标下降及其变体）背后的理论。随机化扩展Kaczmarz（REK）方法是随机化Kaczmarz方法的一个流行的扩展，用于解决不一致系统，尚未被证明是在SAP框架内。在这项工作中，我们表明，在某种意义上说，REK可以表示为一个家庭的SAP方法的极限点，但我们认为，它是不太可能的，REK可以被翻译成一个SAP方法本身。我们提供了一个广泛的理论分析家庭的方法，包括所述限制，包括收敛保证和进一步连接到REK。我们遵循这一点，一系列的实验证明这些方法和它们在实践中的联系。
2022-04-11 cs.NA math.NA
Randomized Kaczmarz for Tensor Linear Systems
求解线性系方程组是数学中的一个基本问题。当线性系很大，无法立即装入内存时，迭代法（如随机Kaczmarz方法）就很好。在这里，我们将随机Kaczmarz方法扩展到求解张量-张量t-乘积下的多线性（张量）系统。我们提供的张量随机Kaczmarz的矩阵线性系的随机Kaczmarz方法类似的收敛保证。我们证明了张量随机Kaczmarz方法收敛速度比传统的随机Kaczmarz适用于一个天真的矩阵化版本的线性系。此外，我们绘制所提出的算法和以前已知的矩阵线性系的随机Kaczmarz算法的扩展之间的连接。
2020-06-01 cs.NA math.NA
Randomized block subsampling Kaczmarz-Motzkin method
通过引入子采样策略，提出了一种求解线性系的随机块Kaczmarz-Motzkin方法.这种策略不仅决定了块的大小，而且结合和扩展了两个著名的策略，随机性和贪婪，因此可以继承他们的优点。理论分析表明，所提出的方法线性收敛于期望的最小欧几里德范数的解决方案。数值算例验证了新方法的有效性和可行性。
2022-11-30 cs.NA math.NA
Randomized Extended Kaczmarz for Solving Least-Squares
University of Toronto（多伦多大学）；IBM Research - Zürich（IBM苏黎世研究中心）
提出一种随机迭代算法，指数收敛到线性系统的最小欧几里得范数最小二乘解，其运算复杂度与系统条件数的平方和输入矩阵非零元数成正比。
2013-01-05 cs.DS cs.NA math.NA
Kaczmarz Algorithm with Soft Constraints for User Interface Layout
本文提出改进的Kaczmarz算法以处理包含软约束的用户界面布局规范，通过优先级IIS检测算法提升性能，实验表明其优于Matlab的LINPROG。
2013-09-27 cs.NA math.NA
A Kaczmarz Algorithm for Solving Tree Based Distributed Systems of Equations
Electrical and Computer Engineering, Iowa State University, Ames, IA 50011（电子与计算机工程系，爱荷华州立大学，爱荷华州阿姆斯，IA 50011）；Department of Mathematics, Iowa State University, 396 Carver Hall, Ames, IA 50011（数学系，爱荷华州立大学，396号Carver大楼，爱荷华州阿姆斯，IA 50011）
本文提出了一种改进的Kaczmarz算法，用于求解分布式环境中的线性方程组，该算法适用于具有树结构的网络，并在方程组一致时收敛到解，在不一致时收敛到加权最小二乘解。
2019-04-11 cs.LG cs.NA math.NA
Landweber-Kaczmarz method in Banach spaces with inexact inner solvers
Mathematical Sciences Institute, Australian National University（澳大利亚国立大学数学科学学院）
本文提出在Banach空间中使用不精确内求解器的Landweber-Kaczmarz方法，通过ε-次微分理论分析其收敛性，并结合Nesterov策略提出加速版本，通过计算断层成像和偏微分方程参数识别的数值实验验证方法有效性。
2016-03-24 cs.NA math.NA
Two-dimensional greedy randomized extended Kaczmarz methods
本文提出二维贪心随机扩展Kaczmarz方法及其半随机改进版，通过每次迭代选取残差中两个较大条目对应的两行两列，加速大规模最小二乘求解，数值实验显示计算时间更优。
2025-06-19 cs.NA math.NA
A Model-Informed Deep Learning Algorithm for Solving the Phaseless Inverse Scattering Problem
Kansas State University（堪萨斯州立大学）
提出一种无监督、两步式、模型驱动的深度学习框架，利用Lippmann-Schwinger积分方程和谱域方程耦合约束，通过神经网络参数化散射体和对比源，实现高效鲁棒的无相位逆散射重建。
2026-09-29 cs.NA math.NA
Randomized batch-sampling Kaczmarz methods for solving linear systems
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出一种统一的随机批量采样Kaczmarz框架，通过集中不等式推导出新的期望线性收敛率界，并探讨其在特定应用中的高效性能潜力。
2026-04-18 cs.NA math.NA stat.ML
Average block nonlinear Kaczmarz methods with adaptive momentum for nonlinear systems of equations
School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）；Hunan Research Center of the Basic Discipline Fundamental Algorithmic Theory and Novel Computational Methods, School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院基础学科基本算法理论与新型计算方法湖南省研究中心）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
本文提出一种适用于大规模非线性系统和病态问题的自适应动量平均块非线性Kaczmarz方法，通过自适应选择步长和动量系数，提高了计算效率并证明了收敛性。
2026-03-27 cs.NA math.NA
On the relaxed greedy randomized Kaczmarz methods with momentum acceleration for solving matrix equation AXB=C
本文针对矩阵方程 AXB=C，在 ME-RGRK 方法中引入 Polyak 和 Nesterov 动量加速收敛，证明其线性收敛到最小 Frobenius 范数最小二乘解，并通过数值实验和曲面拟合应用验证有效性。
2023-01-30 cs.NA math.NA
Kaczmarz-type inner-iteration preconditioned flexible GMRES methods for consistent linear systems
我们提出使用贪婪和随机Kaczmarz内迭代作为预条件的右预条件灵活GMRES方法来解决一致的线性系，与参数调整策略调整内迭代的数量和松弛因子。我们还提出了理论上的理由的右预处理灵活GMRES解决一致的线性系。对超定和欠定线性系的数值实验表明，与NE-SOR内迭代预处理的GMRES方法相比，该方法在总的CPU时间上有明显的优势.
2021-02-23 cs.NA math.NA
Numerical Instabilities in the Kaczmarz Method and Stabilization by Iterative Refinement
University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究了经典和加速随机Kaczmarz方法的稳定性问题，指出其缺乏前向稳定性，并提出通过迭代细化来控制误差累积，恢复高精度解，实验验证了该方法的有效性。
2026-05-16 cs.NA math.NA
On Subsampled Quantile Randomized Kaczmarz
本文提出并分析 sQRK 算法，用子采样残差近似分位数阈值，以在含少量严重损坏测量的大规模线性系统中避免全残差计算，并证明其唯一解收敛性。
2023-08-15 cs.NA math.NA
Deterministic Versus Randomized Kaczmarz Iterative Projection
Tennessee State University（田纳西州立大学）
本文分析了确定性和随机化Kaczmarz算法的收敛性，探讨了两者间的联系，并提出新的随机化方法以加快收敛速度。
2014-07-21 cs.NA math.NA
On convergence of residual-based extended randomized Kaczmarz methods for matrix equations
College of Science, China University of Petroleum（中国石油大学理学院）
本文提出了一种双空间残差基随机扩展Kaczmarz方法及其带有Nesterov动量的变种，无需系数矩阵的满列秩假设，推导了收敛率上界，并通过数值实验验证了其有效性。
2026-04-07 cs.NA math.NA
On convergence of greedy block nonlinear Kaczmarz methods with momentum
针对非线性方程组，本文融合加权非线性 Kaczmarz 与 heavy ball 技术，提出两种免伪逆的动量贪心分块方法，并在无 Jacobi 矩阵列满秩假设下证明收敛、给出速率上界，实验显示其显著优于现有方法。
2025-03-13 cs.NA math.NA
A Weighted Randomized Sparse Kaczmarz Method for Solving Linear Systems
本研究提出一种加权随机稀疏Kaczmarz方法，通过基于残差的概率采样选择投影超平面，在随机与贪心Kaczmarz方法间建立关联，理论证明其期望线性收敛且效率不低于原有方法，数值实验验证了其优越性。
2023-06-12 cs.NA math.NA math.OC
A deterministic Kaczmarz algorithm for solving linear systems
提出一种用反射替代正交投影的确定性Kaczmarz算法，通过球面点分布平均逼近线性系统解，并证明其与随机化Kaczmarz算法性能相当。
2023-05-16 cs.NA math.NA
Solving Inverse Acoustic Obstacle Scattering Problem with Phaseless Far-Field Measurement Using Deep Neural Network Surrogates
本研究提出用深度神经网络作为代理模型求解无相远场测量下的声学障碍物逆散射问题，建立了ReLU全连接网络的逼近表达速率，验证了其在贝叶斯反演中可显著加速后验分布探索。
2025-09-05 cs.NA math.AP math.NA
A Weighted Randomized Kaczmarz Method for Solving Linear Systems
用于求解线性系统$Ax = b$的Kaczmarz方法将这样的系统解释为方程的集合$\left\langle a_i, x\right\rangle = b_i$，其中$a_i$是$A$的$i-$第行，然后挑选这样的方程并校正$x_{k+1} = x_k + λa_i$，其中选择$λ$使得满足$i-$第方程。收敛率很难确定。假设行被标准化，$\|a_i\|_{\ell^2}=1$，Strohmer \& Vershynin建立了如果随机选择方程的顺序，则$\mathbb{E}~ \|x_k - x\|_{\ell^2}$以指数方式收敛。我们证明了，如果$i-$第行被选择的似然正比于$\left|\left\langle a_i, x_k \right\rangle - b_i\right|^{p}$，其中$0<p<\infty$，那么$\mathbb{E}~\|x_k - x\|_{\ell^2}$收敛速度比纯随机方法。作为$p \rightarrow \infty$，该方法去随机化并解释了为什么最大校正方法工作良好。我们根据经验观察到，该方法计算$A$的小奇异向量的近似作为副产品。
2021-09-14 cs.NA math.NA math.OC
On spectral properties and fast initial convergence of the Kaczmarz method
Technical University of Denmark（丹麦技术大学）；TU Eindhoven（埃因霍温理工大学）
本文研究了Kaczmarz方法的谱性质及快速初始收敛性，通过谱分析和统计分析揭示了其快速收敛机制及半收敛性原因。
2026-01-12 cs.NA math.NA
A federated Kaczmarz algorithm
提出一种受随机化 Kaczmarz 启发的联邦线性系统求解算法，给出收敛保证，并验证其在稀疏逼近、不相容系统和真实数据上的有效性。
2025-05-14 cs.NA math.NA
Parallelization Strategies for the Randomized Kaczmarz Algorithm on Large-Scale Dense Systems
针对现有Kaczmarz算法并行研究多聚焦稀疏系统的问题，本文探究大规模稠密系统下共享与分布式内存的并行化方案，实现RKA方法并提出性能更优的分块平均方法。
2024-01-30 cs.DC cs.NA math.NA
Block Matrix and Tensor Randomized Kaczmarz Methods for Linear Feasibility Problems
本文提出块随机Kaczmarz方法B-MRK及两种张量随机Kaczmarz方法TRK-L和TRK-LB，分别处理矩阵与张量线性可行性问题，并证明其期望线性收敛性。
2024-06-17 cs.NA math.NA math.OC
Survey of a Class of Iterative Row-Action Methods: The Kaczmarz Method
本文以大规模稠密随机线性方程组为基准，系统比较原生Kaczmarz算法及其随机、无放回和拟随机采样等变体，揭示相容与不相容系统下的最优求解选择。
2024-04-09 cs.NA math.NA
Modified iterated Tikhonov methods for solving systems of nonlinear ill-posed equations
研究了求解不适定非线性算子方程稳定解的迭代Tikhonov方法和Kaczmarz策略。我们证明了该方法是一个收敛的正则化方法。在噪声数据的情况下，我们提出了一种修改，所谓的loping迭代Tikhonov-Kaczmarz方法，其中引入了一系列的松弛因子和不同的停止规则使用。文中还给出了该方法的收敛性分析。
2020-12-22 cs.NA math.NA
Reverse Quantile-RK and its Application to Quantile-RK
本文提出逆分位数随机Kaczmarz方法，利用分位数信息加速随机Kaczmarz算法，并可与分位数随机Kaczmarz方法结合，在不增加计算复杂度的情况下高效鲁棒地求解大规模稀疏污染线性系统。
2024-10-17 cs.NA math.NA
