Linear convergence of Gearhart-Koshy accelerated Kaczmarz methods for tensor linear systems
Beihang University(北京航空航天大学)
本文研究了改进的Gearhart-Koshy加速Kaczmarz方法在张量线性系统中的线性收敛性,证明其能收敛到唯一最小范数解,并提出高效的Gram-Schmidt实现方法,与Arnoldi型Krylov子空间方法建立联系。
2026-04-07 cs.NA math.NA
Refined upper bounds for the convergence of the randomized extended Kaczmarz and Gauss-Seidel algorithms
School of Mathematical Sciences and Fujian Provincial Key Laboratory of Mathematical Modeling and High-Performance Scientific Computing, Xiamen University(厦门大学数学科学学院、福建省数学建模与高性能科学计算重点实验室)
本文研究随机扩展Kaczmarz和Gauss-Seidel算法的收敛性,提出更精确的收敛上界。
2018-01-10 cs.NA math.NA
Convergence rates for Kaczmarz-type algorithms
Ovidius University of Constanta(奥维迪乌斯康斯坦察大学);“Gheorghe Mihoc - Caius Iacob” Institute of Statistical Mathematics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院格奥尔基·米霍克-卡尤斯·雅各布统计数学与应用数学研究所)
本文分析了Kaczmarz和扩展Kaczmarz投影算法在常用控制序列下的收敛速度,证明了Kaczmarz-Tanabe及其扩展方法的线性收敛性,并为近似循环和最远集控制策略的Kaczmarz算法及其扩展版本建立了亚线性和线性收敛性结果。
2017-01-27 cs.NA math.NA
On Convergence Behavior of Randomized Kaczmarz-type Methods for Solving Doubly Noisy Linear Systems
Imagination Corp.(Imagination公司);Fictional University(虚构大学);School of Mathematics, China University of Mining and Technology(中国矿业大学数学学院)
本文针对双重噪声线性系统,首次分析了REK、RBK、RDBK等随机Kaczmarz型算法的收敛性,证明其收敛到无噪声系统最小二乘解邻域,并通过数值实验验证了理论结果。
2026-10-09 cs.NA math.NA
Randomized block Kaczmarz with volume sampling: Momentum acceleration and efficient implementation
针对随机分块 Kaczmarz 依赖行铺砌的问题,提出体积采样分块选择与动量加速,并给出稀疏矩阵下近对数复杂度的高效实现,显著改善收敛因子。
2025-03-18 cs.NA math.NA
On spectral properties and fast initial convergence of the Kaczmarz method
Technical University of Denmark(丹麦技术大学);TU Eindhoven(埃因霍温理工大学)
本文研究了Kaczmarz方法的谱性质及快速初始收敛性,通过谱分析和统计分析揭示了其快速收敛机制及半收敛性原因。
2026-01-12 cs.NA math.NA
A simple linear convergence analysis of the randomized reshuffling Kaczmarz method
本文提出对随机重排Kaczmarz方法的新分析,证明其线性收敛于线性系统唯一最小范数解,且收敛上界紧且不依赖矩阵维度。
2025-08-07 cs.NA math.NA
Error estimates of Kaczmarz and randomized Kaczmarz methods
Kaczmarz方法是求解相容系统$Ax = b$的一种迭代投影格式。后来,它被推广到不一致和不适定的线性问题。但经典的Kaczmarz方法对相邻方程的相关性很敏感。为了减小相关性对收敛速度的影响,分别提出了随机化Kaczmarz方法和随机化块Kaczmarz方法。在现有文献中,这些方法的误差估计结果都是基于误差$\|x_k-x_*\|_2$建立的,其中$x_*$是线性系$Ax=b$的解。本文在KunioTanabe收敛定理的基础上,推广了Kaczmarz方法和随机Kaczmarz方法的现有误差估计,得到了关于误差$\|x_k-P_{N(A)}x_0-x^\dagger\|_2$的一些一般性结果.
2022-10-02 cs.NA math.NA
On convergence of residual-based extended randomized Kaczmarz methods for matrix equations
College of Science, China University of Petroleum(中国石油大学理学院)
本文提出了一种双空间残差基随机扩展Kaczmarz方法及其带有Nesterov动量的变种,无需系数矩阵的满列秩假设,推导了收敛率上界,并通过数值实验验证了其有效性。
2026-04-07 cs.NA math.NA
On convergence of greedy block nonlinear Kaczmarz methods with momentum
针对非线性方程组,本文融合加权非线性 Kaczmarz 与 heavy ball 技术,提出两种免伪逆的动量贪心分块方法,并在无 Jacobi 矩阵列满秩假设下证明收敛、给出速率上界,实验显示其显著优于现有方法。
2025-03-13 cs.NA math.NA
On Block Accelerations of Quantile Randomized Kaczmarz for Corrupted Systems of Linear Equations
随着大数据和大规模学习任务的增长,对高效和鲁棒的线性系求解器的需求大于以往任何时候。随机Kaczmarz方法(RK)和类似的随机迭代法由于其高效的实现和内存占用而受到了相当大的关注。这些方法可以容忍流式数据,一次只访问部分数据,并且即使系统受到噪声的影响,也可以近似最小二乘解。然而,当数据受到大的(可能是对抗性的)破坏的影响时,这些方法无法收敛,因为破坏的数据点绘制的迭代远离真正的解决方案。最近提出的解决方案是QuantileRK方法,它通过在方法迭代时仔细探索空间来避免有害的损坏数据。探索组件需要计算来自系统的大样本的分位数,并且在计算上比随后的迭代更新重得多。在本文中,我们提出了一种方法,更好地利用在勘探过程中获得的信息,将块Kaczmarz方法的平均版本。这显著加快了收敛速度,同时仍然允许一个常数部分的方程被任意破坏。我们提供了理论上的收敛保证以及实验支持的证据。我们还证明了经典的基于投影的块Kaczmarz方法不能对稀疏对抗性腐败具有鲁棒性,而是必须通过平均一维投影来进行阻塞。
2022-12-21 cs.NA math.NA
Sparse Sampling Kaczmarz-Motzkin Method with Linear Convergence
随机稀疏Kaczmarz方法是最近提出的恢复线性系稀疏解的方法。在这项工作中,我们引入了一个贪婪的变体的随机稀疏Kaczmarz方法,采用采样Kaczmarz-Motzkin方法,并证明其线性收敛的预期在无噪声和噪声情况下的Bregman距离。该贪婪算法是抽样Kaczmarz-Motzkin方法和随机稀疏Kaczmarz方法的统一,继承了这两种方法的优点。数值上,我们报告了一对夫妇的实验结果,以证明其优越性
2021-01-14 cs.NA math.NA math.OC
On sampling Kaczmarz-Motzkin methods for solving large-scale nonlinear systems
本文提出了一种求解大型非线性方程组的非线性采样Kaczmarz-Motzkin(NSKM)方法。基于局部切锥条件和Jensen不等式,在两种不同的假设下证明了算法的收敛性.然后,为求解非线性方程组的凸约束,我们提出了两个变种的NSKM方法:投影采样Kaczmarz-Motzkin(PSKM)方法和加速投影采样Kaczmarz-Motzkin(APSKM)方法。利用投影的非扩张性和NSKM方法的收敛性,给出了收敛性分析。数值结果表明,在适当的样本大小下,NSKM方法在计算时间上优于非线性随机Kaczmarz(NRK)方法。APSKM方法和PSKM方法对于求解有约束的非线性问题是很有前途的。
2022-09-09 cs.NA math.NA
Online Signal Recovery via Heavy Ball Kaczmarz
从一系列线性测量中恢复信号$x^\ast \in \mathbb{R}^n$在诸如计算机断层摄影和压缩感测的领域中是一个重要的问题。在这项工作中,我们考虑一个在线设置,其中测量值是从一些源分布一个接一个地采样。我们建议解决这个问题的一个变种的Kaczmarz方法与额外的重球动量项。作为求解线性方程组的一种流行技术,最近的工作表明,Kaczmarz方法在应用于随机测量模型时也具有线性收敛,然而,当连续测量高度相干时,收敛可能会减慢。我们证明,除了重球动量可能会加速收敛的Kaczmarz方法时,数据是一致的,并提供了一个理论分析的方法最终在一个线性收敛保证广泛的一类源分布。
2022-11-11 cs.NA math.NA
Linear convergence of randomized Kaczmarz method for solving complex-valued phaseless equations
最近提出了一种用于相位恢复的随机Kaczmarz方法,数值结果表明,该方法在采样复杂度和计算时间方面都表现出优于其他最先进相位恢复算法的经验性能。虽然在信号和测量矢量都是实值的真实情况下已经很好地研究了收敛的收敛速率,但是在复数情况下不能保证收敛。事实上,用于相位恢复的随机化Kaczmarz方法在复杂设置中的线性收敛被Tan和Vershynin作为猜想留下。本文首先给出了它的理论保证,证明了对于从复单位球面独立一致地画出的随机测量$\mathbf{a}_j \in \mathbb{C}^n, j=1,\ldots,m $或等价的独立复高斯随机向量,当$m \ge Cn$对某个普适正常数$C$,具有良好初始化的随机化Kaczmarz方案以高概率线性收敛到期望的目标解(直到全局相位)。这给了这个猜想一个肯定的答案。
2021-09-24 cs.NA math.NA
Randomized Kaczmarz with Averaging
随机Kaczmarz(RK)方法是一种用于逼近大型线性系方程组的最小二乘解的迭代法。标准的RK方法使用顺序更新,使得并行计算变得困难。在这里,我们研究了RK的一个并行版本,其中使用了独立更新的加权平均值。我们分析了平均RK的收敛性,并实证证明了其性能。我们发现,随着线程数的增加,收敛的收敛速率提高,不一致系统的收敛范围减小。
2020-02-10 cs.NA math.NA
The sparse Kaczmarz method with surrogate hyperplane for the regularized basis pursuit problem
针对正则化基追踪问题,本文提出带代理超平面的稀疏Kaczmarz方法通用框架,给出基于残差的具体实现,证明收敛性并比较线性收敛速率,实验验证了方法的有效性。
2024-06-21 cs.NA math.NA
Accelerated Kaczmarz Algorithms using History Information
IBM Research-Tokyo(IBM 东京研究所)
本文提出两种方法加速随机Kaczmarz算法,利用历史估计生成预条件器或结合SAG方法提升收敛速度,数值实验显示性能显著优于标准算法。
2016-08-01 cs.NA math.NA
Deterministic Versus Randomized Kaczmarz Iterative Projection
Tennessee State University(田纳西州立大学)
本文分析了确定性和随机化Kaczmarz算法的收敛性,探讨了两者间的联系,并提出新的随机化方法以加快收敛速度。
2014-07-21 cs.NA math.NA
On maximum residual block Kaczmarz method for solving large consistent linear systems
本研究针对大型相容线性方程组求解问题,提出最大残差块Kaczmarz方法及无需伪逆计算的最大残差平均块Kaczmarz方法,证明收敛性并给出收敛上界,实验验证其性能优于部分现有块Kaczmarz方法。
2024-04-15 cs.NA math.NA
On averaging block Kaczmarz methods for solving nonlinear systems of equations
本文提出了一类求解非线性方程组的平均块非线性Kaczmarz方法,建立了其在常数和自适应步长下的收敛理论与收敛率上界,数值实验证明该方法在迭代步数和计算成本上优于现有方法。
2023-07-28 cs.NA math.NA
Adaptive Randomized Extended Bregman-Kaczmarz Method for Combined Optimization Problems
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能自主系统研究院);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);The Institute for Advanced Study, Shenzhen University(深圳大学高等研究院)
本文提出了一种自适应随机平均块扩展Bregman-卡茨马茨方法,用于解决联合优化问题,通过自动调整松弛参数提升收敛速度和鲁棒性。
2026-01-16 cs.NA math.NA
Selectable Set Randomized Kaczmarz
随机Kaczmarz方法(RK)是一种用于求解线性系的随机迭代法,由于其速度快、内存要求低,近年来受到越来越多的关注。可选集合随机化Kaczmarz(SSRK)是RK的一个变体,它利用关于Kaczmarz随机化的现有信息来识别自适应的“可选集合”,从而产生改进的收敛保证。在本文中,我们提出了一个一般的角度选择集的方法,并证明了该框架的收敛结果。此外,我们定义了两个特定的可选择的集合抽样策略,具有竞争力的收敛保证的RK的其他变种。一种可选的集合采样策略利用了关于先前的矩阵的信息,而另一种策略通过Gramian矩阵利用了问题的正交结构。我们补充我们的理论结果与数值实验,比较我们提出的规则与现有的文献中。
2022-02-02 cs.NA math.NA
Multi-Randomized Kaczmarz for Latent Class Regression
线性回归在识别数据集中可解释的趋势方面是有效的,但平均化了对数据内亚组的潜在不同影响。我们提出了一个迭代算法的基础上的随机Kaczmarz(RK)方法,自动识别数据中的子组,并同时对这些组进行线性回归。我们证明了该方法的几乎必然收敛,以及在一定条件下的期望线性收敛。结果是一个可解释的回归变量的不同权向量集合,这些向量捕获数据中的不同趋势。此外,我们通过实验验证了我们的收敛结果,证明该方法可以成功地识别模拟数据中的两个趋势。
2022-12-07 cs.NA math.NA
Acceleration and restart for the randomized Bregman-Kaczmarz method
本文提出一种分块加速随机化Bregman-Kaczmarz方法,通过利用对偶问题的Polyak-Lojasiewicz性质并在原始空间中分析,实现了强凸函数线性约束优化问题的线性收敛,数值实验验证了其高效性。
2024-04-03 cs.NA math.NA
Residual-based Kaczmarz methods for tensor linear equations with t-product
School of Mathematical Sciences, Tongji University(同济大学数学科学学院)
针对t-积张量线性方程,提出基于残差的张量Kaczmarz方法,证明收敛性并给出收敛率上界,进一步开发带重球动量的加速方法,数值实验验证其高效性。
2026-06-04 cs.NA math.NA
Linear convergence of the Randomized Sparse Kaczmarz Method
已知解线性系的随机化Kaczmarz方法在期望中线性收敛。在这项工作中,我们扩展了这一结果,并表明,最近提出的随机稀疏Kaczmarz方法恢复稀疏的解决方案,以及许多变种,也线性收敛的预期。这一结果是在分裂可行性问题及其解决方案的框架内通过随机Bregman投影关于强凸函数。为了获得预期的收敛速度,我们证明了投影的误差界的扩展。收敛结果表明,持有在更一般的设置,包括光滑凸函数,分段线性二次函数,也正则化核范数,这是用于该地区的低秩矩阵问题。数值实验表明,随机稀疏Kaczmarz方法在求解欠定和过定线性系问题时,优于非随机和非稀疏Kaczmarz方法.
2016-10-10 cs.NA math.NA math.OC
On the relaxed greedy randomized Kaczmarz methods with momentum acceleration for solving matrix equation AXB=C
本文针对矩阵方程 AXB=C,在 ME-RGRK 方法中引入 Polyak 和 Nesterov 动量加速收敛,证明其线性收敛到最小 Frobenius 范数最小二乘解,并通过数值实验和曲面拟合应用验证有效性。
2023-01-30 cs.NA math.NA
Convergence properties of the randomized extended Gauss-Seidel and Kaczmarz methods
本文研究了随机扩展Gauss-Seidel和Kaczmarz方法在不同系统设定下的收敛性,提供了统一理论及证明扩展版本在欠定情况下能收敛到最小范数解。
2018-02-01 cs.NA math.NA
A Relaxed Randomized Averaging Block Extended Bregman-Kaczmarz Method for Combined Optimization Problems
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能无人系统研究院);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);The Institute for Advanced Study, Shenzhen University(深圳大学高等研究院);Key Laboratory of Intelligent Computing and Applications (Ministry of Education), School of Mathematical Sciences, Tongji University(同济大学数学科学学院智能计算与应用教育部重点实验室)
本文提出了一种用于联合优化问题的rRABEBK方法,通过引入平均块策略和松弛参数,提升收敛速度和稳定性,并在理论和实践中均优于传统Kaczmarz算法。
2025-12-10 cs.NA math.NA
Random Greedy Fast Block Kaczmarz Method for Solving Large-Scale Nonlinear Systems
针对大规模非线性系统求解,提出随机贪婪快速块Kaczmarz方法,通过融合随机与贪婪策略并避免Jacobian子矩阵伪逆计算,在期望下实现线性收敛,显著提升了求解效率与鲁棒性。
2025-08-13 cs.NA math.NA
Preasymptotic Convergence of Randomized Kaczmarz Method
Zhongnan University of Economics and Law(中南财经政法大学);University College London(伦敦大学学院);Wuhan University(武汉大学)
本文研究了随机Kaczmarz方法的预渐进行为,发现低频误差衰减快于高频误差,并提出方差减少策略以稳定渐近收敛。
2017-09-23 cs.NA math.NA math.OC
Inertial randomized Kaczmarz algorithms for solving coherent linear systems
本研究针对相干线性系统求解问题,将双子空间Kaczmarz方法视为交替惯性随机Kaczmarz算法并提出更优收敛速率估计,进一步提出多步惯性随机Kaczmarz算法加速收敛,实验验证其性能显著更优。
2023-06-14 cs.NA math.NA math.OC
Read Between the Hyperplanes: On Spectral Projection and Sampling Approaches to Randomized Kaczmarz
University of California, Irvine(加州大学尔湾分校)
本文提出通过行间关系和谱多样性行采样改进随机Kaczmarz方法,以加速病态和过定线性系统的收敛。
2026-02-28 cs.NA math.NA
Quantile-Based Random Kaczmarz for corrupted linear systems of equations
我们考虑线性系$Ax = b$,其中$A \in \mathbb{R}^{m \times n}$由规范化的行,$\|a_i\|_{\ell^2} = 1$,其中高达$βm$条目的$b$已损坏(可能由任意大的数字)。Haddock、Needell、Rebrova和Swartworth提出了一种基于分位数的随机Kaczmarz方法,并证明了对于某些随机矩阵$A$,它以很高的似然收敛到真实解。我们证明了一个确定性的版本,任何矩阵$A$,$β_A$的数量,使有收敛的所有扰动与$β< β_A$。假设随机矩阵启发式,这证明了具有高达$\sim 0.5\%$损坏(可能会改进的数字)的高高斯矩阵的收敛性。
2021-07-12 cs.NA math.NA
A federated Kaczmarz algorithm
提出一种受随机化 Kaczmarz 启发的联邦线性系统求解算法,给出收敛保证,并验证其在稀疏逼近、不相容系统和真实数据上的有效性。
2025-05-14 cs.NA math.NA
On the alternating randomized block Kaczmarz method
School of Mathematics and Statistics, South-Central Minzu University(中南民族大学数学与统计学院);School of Mathematics and Computational Science, Huaihua University(怀化学院数学与计算科学系);College of Applied Mathematics, Shanxi University of Finance and Economics(山西财经大学应用数学学院)
本文提出交替随机块Kaczmarz方法用于求解线性矩阵方程,通过随机索引选择方案实现线性收敛。
2023-11-01 cs.NA math.NA
On the convergence analysis of the greedy randomized Kaczmarz method
本文对贪心随机Kaczmarz(GRK)方法进行收敛性分析,提出更精确的概率准则并证明其确定性线性收敛,引入动量改进性能,数值实验验证mGRK更高效。
2023-11-14 cs.NA math.NA
An accelerated randomized Bregman-Kaczmarz method for strongly convex linearly constraint optimization
本文提出一种求解线性约束下强凸优化问题的加速随机Bregman-Kaczmarz方法,利用与坐标下降法的对偶关系实现加速,理论分析与数值实验均证明其比现有方法更高效。
2025-04-01 cs.NA math.NA math.OC
Reverse Quantile-RK and its Application to Quantile-RK
本文提出逆分位数随机Kaczmarz方法,利用分位数信息加速随机Kaczmarz算法,并可与分位数随机Kaczmarz方法结合,在不增加计算复杂度的情况下高效鲁棒地求解大规模稀疏污染线性系统。
2024-10-17 cs.NA math.NA
Randomized Block Kaczmarz Method with Projection for Solving Least Squares
Claremont McKenna College(克莱蒙特麦肯纳学院);Claremont Graduate Univ.(克莱蒙特研究生大学);IBM Research Lab, Zurich(IBM苏黎世研究实验室)
本文提出两种随机块Kaczmarz方法,通过矩阵分块加速对不一致系统的最小二乘解的收敛。
2015-06-23 cs.NA math.NA
RGDBEK: Randomized Greedy Double Block Extended Kaczmarz Algorithm with Hybrid Parallel Implementation and Applications
Indian Institute of Science(印度科学学院)
本文提出随机贪婪双块扩展 Kaczmarz(RGDBEK)算法,通过基于残差概率的随机行列块选择缓解跷跷板效应,并利用混合 CPU-GPU 并行实现提升大规模稀疏线性系统求解效率,在合成与真实矩阵上均优于现有 Kaczmarz 变体。
2025-09-23 cs.NA math.NA
On Kaczmarz method with oblique projection for solving large overdetermined linear systems
本文介绍并分析了Kaczmarz方法的一种扩展--斜投影Kaczmarz方法(KO)。该方法大大减少了求解超定线性方程组的迭代次数,节省了计算时间,特别是对于含有近似线性相关的线性方程组的问题。同时,建立了一种随机化的斜投影随机化Kaczmarz方法(RKO).给出了这两种方法的收敛性证明,数值实验表明了这两种方法对均匀分布随机数据的有效性。特别是当系统中存在相关行时,实验结果的改善非常突出。
2021-06-25 cs.NA math.NA
Single Projection Kaczmarz Extended Algorithms
University of Heidelberg(海德堡大学);OVIDIUS University of Constanta(康斯坦察奥维迪乌斯大学)
本文研究了单投影Kaczmarz扩展算法,通过同时去除误差项和应用Kaczmarz迭代,实现对大不一致方程组的最小二乘解的收敛。
2015-04-01 cs.DS cs.NA math.NA
Block Kaczmarz Method with Inequalities
本文提出一种块型方法用于混合等式和不等式系统,通过矩阵分块提升收敛性,并证明线性收敛率,同时探讨不等式块在特定几何条件下同样有效。
2014-09-02 cs.NA math.NA
A randomized Kaczmarz algorithm with exponential convergence
针对超定相容线性方程组,提出一种随机Kaczmarz算法,证明其期望收敛速度为指数级,且与方程数量无关,在极度过定系统中优于现有方法。
2007-02-08 cs.NA math.NA math.PR
Kaczmarz-Type Methods for Solving Matrix Equations
本文针对矩阵方程$AX=B$和$XA=C$提出多种Kaczmarz型迭代方法,无需矩阵乘法,适用于满秩或秩亏矩阵,并证明其收敛性,数值实验表明在高维情形下比传统含矩阵乘法的迭代方法更高效。
2023-05-31 cs.NA math.NA
Randomized Kaczmarz Methods with Beyond-Krylov Convergence
University of Michigan(密歇根大学);University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
针对传统随机Kaczmarz方法收敛慢于Krylov子空间方法的问题,提出带自适应动量等改进的Kaczmarz++算法,可利用离群奇异值实现超Krylov收敛,半正定系统变体CD++运算效率与CG、GMRES相当。
2025-07-29 cs.DS cs.LG cs.NA
Randomized batch-sampling Kaczmarz methods for solving linear systems
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出一种统一的随机批量采样Kaczmarz框架,通过集中不等式推导出新的期望线性收敛率界,并探讨其在特定应用中的高效性能潜力。
2026-04-18 cs.NA math.NA stat.ML
Minimal error momentum Bregman-Kaczmarz
本文提出基于极小误差原理自适应选择动量参数的 Bregman-Kaczmarz 方法,证明其相比非加速方法具有改进的收敛性,并在数值实验中验证了实际加速效果。
2023-07-28 cs.NA math.NA math.OC
Faster Randomized Block Sparse Kaczmarz by Averaging
标准随机稀疏Kaczmarz(RSK)方法是计算方程的线性系的稀疏解的算法,并且使用顺序更新,并且因此不利用并行计算。在这项工作中,我们介绍了一个并行(小批量)版本的RSK平均几个Kaczmarz步骤的基础上。自然,这种方法允许并行化,我们表明,它也可以利用大的过度松弛。我们证明了线性预期收敛,并表明,由于并行计算可以利用,该方法可证明提供更快的收敛速度比标准方法。这种方法也可以被看作是一个变种的线性化Bregman算法,一个随机双块坐标下降更新,一个随机镜像下降更新,或一个放松版本的RSK和我们恢复标准RSK方法时,批量大小等于1。我们还提供了不一致的系统的估计,并表明,迭代收敛到一个错误的顺序的噪声水平。最后,数值例子说明了新算法的好处。
2022-10-17 cs.NA math.NA math.OC
Generalized Gearhart-Koshy acceleration is a Krylov subspace method
本文证明广义Gearhart-Koshy加速可解释为求解与原相容非方形线性方程组等价的方形方程组的Krylov子空间方法,给出其Gram-Schmidt正交化等价形式并通过数值实验验证收敛性。
2025-06-17 cs.NA math.NA
On block Gaussian sketching for the Kaczmarz method
Kaczmarz算法由于其简单性和计算效率而成为求解大规模超定线性方程组最常用的方法之一。此方法可视为更一般的草图和项目方法类的特殊实例。最近,提出了一个块高斯版本,该版本使用块高斯草图,享受高斯草图的正则化属性,并结合块变体的加速。理论分析只提供了非块版本的高斯草图方法。在这里,我们提供了理论保证的块高斯Kaczmarz方法,证明了一些收敛结果显示收敛到解决方案的指数快速的期望。另一方面,有了这个理论和广泛的实验支持,我们观察到,每次迭代的数值复杂性通常使这种方法不如其他迭代投影方法。我们只强调一种可能有利的设置,即当正则化效应用于减少某些噪声模型下迭代的方差和某些特定矩阵构造的收敛性时。
2020-01-21 cs.NA math.NA math.PR
Regularization of systems of nonlinear ill-posed equations: I. Convergence Analysis
在这篇文章中,我们开发和分析新的迭代正则化技术的解决方案的非线性不适定的算子方程。其基本思想是分别考虑该系统的每个方程,并结合一个跳跃策略。第一种技术是Kaczmarz型方法,配备了一个新的停止标准。第二种方法是使用嵌入策略获得的,并且再次使用Kaczmarz类型的方法。我们证明了这两种方法的适定性,稳定性和收敛性。
2020-11-19 cs.NA math.NA