On Convergence Behavior of Randomized Kaczmarz-type Methods for Solving Doubly Noisy Linear Systems
Imagination Corp.(Imagination公司);Fictional University(虚构大学);School of Mathematics, China University of Mining and Technology(中国矿业大学数学学院)
本文针对双重噪声线性系统,首次分析了REK、RBK、RDBK等随机Kaczmarz型算法的收敛性,证明其收敛到无噪声系统最小二乘解邻域,并通过数值实验验证了理论结果。
2026-10-09 cs.NA math.NA
Linear convergence of Gearhart-Koshy accelerated Kaczmarz methods for tensor linear systems
Beihang University(北京航空航天大学)
本文研究了改进的Gearhart-Koshy加速Kaczmarz方法在张量线性系统中的线性收敛性,证明其能收敛到唯一最小范数解,并提出高效的Gram-Schmidt实现方法,与Arnoldi型Krylov子空间方法建立联系。
2026-04-07 cs.NA math.NA
On spectral properties and fast initial convergence of the Kaczmarz method
Technical University of Denmark(丹麦技术大学);TU Eindhoven(埃因霍温理工大学)
本文研究了Kaczmarz方法的谱性质及快速初始收敛性,通过谱分析和统计分析揭示了其快速收敛机制及半收敛性原因。
2026-01-12 cs.NA math.NA
A simple linear convergence analysis of the randomized reshuffling Kaczmarz method
本文提出对随机重排Kaczmarz方法的新分析,证明其线性收敛于线性系统唯一最小范数解,且收敛上界紧且不依赖矩阵维度。
2025-08-07 cs.NA math.NA
On convergence of residual-based extended randomized Kaczmarz methods for matrix equations
College of Science, China University of Petroleum(中国石油大学理学院)
本文提出了一种双空间残差基随机扩展Kaczmarz方法及其带有Nesterov动量的变种,无需系数矩阵的满列秩假设,推导了收敛率上界,并通过数值实验验证了其有效性。
2026-04-07 cs.NA math.NA
On convergence of greedy block nonlinear Kaczmarz methods with momentum
针对非线性方程组,本文融合加权非线性 Kaczmarz 与 heavy ball 技术,提出两种免伪逆的动量贪心分块方法,并在无 Jacobi 矩阵列满秩假设下证明收敛、给出速率上界,实验显示其显著优于现有方法。
2025-03-13 cs.NA math.NA
On sampling Kaczmarz-Motzkin methods for solving large-scale nonlinear systems
本文提出了一种求解大型非线性方程组的非线性采样Kaczmarz-Motzkin(NSKM)方法。基于局部切锥条件和Jensen不等式,在两种不同的假设下证明了算法的收敛性.然后,为求解非线性方程组的凸约束,我们提出了两个变种的NSKM方法:投影采样Kaczmarz-Motzkin(PSKM)方法和加速投影采样Kaczmarz-Motzkin(APSKM)方法。利用投影的非扩张性和NSKM方法的收敛性,给出了收敛性分析。数值结果表明,在适当的样本大小下,NSKM方法在计算时间上优于非线性随机Kaczmarz(NRK)方法。APSKM方法和PSKM方法对于求解有约束的非线性问题是很有前途的。
2022-09-09 cs.NA math.NA
Online Signal Recovery via Heavy Ball Kaczmarz
从一系列线性测量中恢复信号$x^\ast \in \mathbb{R}^n$在诸如计算机断层摄影和压缩感测的领域中是一个重要的问题。在这项工作中,我们考虑一个在线设置,其中测量值是从一些源分布一个接一个地采样。我们建议解决这个问题的一个变种的Kaczmarz方法与额外的重球动量项。作为求解线性方程组的一种流行技术,最近的工作表明,Kaczmarz方法在应用于随机测量模型时也具有线性收敛,然而,当连续测量高度相干时,收敛可能会减慢。我们证明,除了重球动量可能会加速收敛的Kaczmarz方法时,数据是一致的,并提供了一个理论分析的方法最终在一个线性收敛保证广泛的一类源分布。
2022-11-11 cs.NA math.NA
Linear convergence of randomized Kaczmarz method for solving complex-valued phaseless equations
最近提出了一种用于相位恢复的随机Kaczmarz方法,数值结果表明,该方法在采样复杂度和计算时间方面都表现出优于其他最先进相位恢复算法的经验性能。虽然在信号和测量矢量都是实值的真实情况下已经很好地研究了收敛的收敛速率,但是在复数情况下不能保证收敛。事实上,用于相位恢复的随机化Kaczmarz方法在复杂设置中的线性收敛被Tan和Vershynin作为猜想留下。本文首先给出了它的理论保证,证明了对于从复单位球面独立一致地画出的随机测量$\mathbf{a}_j \in \mathbb{C}^n, j=1,\ldots,m $或等价的独立复高斯随机向量,当$m \ge Cn$对某个普适正常数$C$,具有良好初始化的随机化Kaczmarz方案以高概率线性收敛到期望的目标解(直到全局相位)。这给了这个猜想一个肯定的答案。
2021-09-24 cs.NA math.NA
Randomized Kaczmarz with Averaging
随机Kaczmarz(RK)方法是一种用于逼近大型线性系方程组的最小二乘解的迭代法。标准的RK方法使用顺序更新,使得并行计算变得困难。在这里,我们研究了RK的一个并行版本,其中使用了独立更新的加权平均值。我们分析了平均RK的收敛性,并实证证明了其性能。我们发现,随着线程数的增加,收敛的收敛速率提高,不一致系统的收敛范围减小。
2020-02-10 cs.NA math.NA
The sparse Kaczmarz method with surrogate hyperplane for the regularized basis pursuit problem
针对正则化基追踪问题,本文提出带代理超平面的稀疏Kaczmarz方法通用框架,给出基于残差的具体实现,证明收敛性并比较线性收敛速率,实验验证了方法的有效性。
2024-06-21 cs.NA math.NA
Accelerated Kaczmarz Algorithms using History Information
IBM Research-Tokyo(IBM 东京研究所)
本文提出两种方法加速随机Kaczmarz算法,利用历史估计生成预条件器或结合SAG方法提升收敛速度,数值实验显示性能显著优于标准算法。
2016-08-01 cs.NA math.NA
Convergence acceleration of Kaczmarz's method
Université des Sciences et Technologies de Lille(里尔科学技术大学);Università degli Studi di Padova(帕多瓦大学)
针对Kaczmarz方法收敛慢的问题,提出基于序列变换的加速策略,通过直接加速或重启加速提高效率,数值实验验证有效性。
2013-02-01 cs.NA math.NA
Deterministic Versus Randomized Kaczmarz Iterative Projection
Tennessee State University(田纳西州立大学)
本文分析了确定性和随机化Kaczmarz算法的收敛性,探讨了两者间的联系,并提出新的随机化方法以加快收敛速度。
2014-07-21 cs.NA math.NA
On maximum residual block Kaczmarz method for solving large consistent linear systems
本研究针对大型相容线性方程组求解问题,提出最大残差块Kaczmarz方法及无需伪逆计算的最大残差平均块Kaczmarz方法,证明收敛性并给出收敛上界,实验验证其性能优于部分现有块Kaczmarz方法。
2024-04-15 cs.NA math.NA
On averaging block Kaczmarz methods for solving nonlinear systems of equations
本文提出了一类求解非线性方程组的平均块非线性Kaczmarz方法,建立了其在常数和自适应步长下的收敛理论与收敛率上界,数值实验证明该方法在迭代步数和计算成本上优于现有方法。
2023-07-28 cs.NA math.NA
Adaptive Randomized Extended Bregman-Kaczmarz Method for Combined Optimization Problems
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能自主系统研究院);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);The Institute for Advanced Study, Shenzhen University(深圳大学高等研究院)
本文提出了一种自适应随机平均块扩展Bregman-卡茨马茨方法,用于解决联合优化问题,通过自动调整松弛参数提升收敛速度和鲁棒性。
2026-01-16 cs.NA math.NA
Selectable Set Randomized Kaczmarz
随机Kaczmarz方法(RK)是一种用于求解线性系的随机迭代法,由于其速度快、内存要求低,近年来受到越来越多的关注。可选集合随机化Kaczmarz(SSRK)是RK的一个变体,它利用关于Kaczmarz随机化的现有信息来识别自适应的“可选集合”,从而产生改进的收敛保证。在本文中,我们提出了一个一般的角度选择集的方法,并证明了该框架的收敛结果。此外,我们定义了两个特定的可选择的集合抽样策略,具有竞争力的收敛保证的RK的其他变种。一种可选的集合采样策略利用了关于先前的矩阵的信息,而另一种策略通过Gramian矩阵利用了问题的正交结构。我们补充我们的理论结果与数值实验,比较我们提出的规则与现有的文献中。
2022-02-02 cs.NA math.NA
Multi-Randomized Kaczmarz for Latent Class Regression
线性回归在识别数据集中可解释的趋势方面是有效的,但平均化了对数据内亚组的潜在不同影响。我们提出了一个迭代算法的基础上的随机Kaczmarz(RK)方法,自动识别数据中的子组,并同时对这些组进行线性回归。我们证明了该方法的几乎必然收敛,以及在一定条件下的期望线性收敛。结果是一个可解释的回归变量的不同权向量集合,这些向量捕获数据中的不同趋势。此外,我们通过实验验证了我们的收敛结果,证明该方法可以成功地识别模拟数据中的两个趋势。
2022-12-07 cs.NA math.NA
Sparse Sampling Kaczmarz-Motzkin Method with Linear Convergence
随机稀疏Kaczmarz方法是最近提出的恢复线性系稀疏解的方法。在这项工作中,我们引入了一个贪婪的变体的随机稀疏Kaczmarz方法,采用采样Kaczmarz-Motzkin方法,并证明其线性收敛的预期在无噪声和噪声情况下的Bregman距离。该贪婪算法是抽样Kaczmarz-Motzkin方法和随机稀疏Kaczmarz方法的统一,继承了这两种方法的优点。数值上,我们报告了一对夫妇的实验结果,以证明其优越性
2021-01-14 cs.NA math.NA math.OC
Residual-based Kaczmarz methods for tensor linear equations with t-product
School of Mathematical Sciences, Tongji University(同济大学数学科学学院)
针对t-积张量线性方程,提出基于残差的张量Kaczmarz方法,证明收敛性并给出收敛率上界,进一步开发带重球动量的加速方法,数值实验验证其高效性。
2026-06-04 cs.NA math.NA
Greedy randomized sampling nonlinear Kaczmarz methods
最近提出的非线性Kaczmarz方法来解决非线性方程组。在本文中,我们首先讨论两个贪婪选择规则,即,非线性Kaczmarz迭代的最大残差准则和最大距离准则。在此基础上,提出了两种贪婪随机抽样方法。此外,我们还设计了四个相应的贪婪随机区组方法,即,基于多样本的方法。证明了所提出的方法均具有期望的线性收敛性。数值结果表明,在布朗概线性函数和广义线性模型等应用中,贪婪选择规则比随机选择规则具有更快的收敛速度,块方法优于单样本方法.
2022-09-13 cs.NA math.NA
Convergence properties of the randomized extended Gauss-Seidel and Kaczmarz methods
本文研究了随机扩展Gauss-Seidel和Kaczmarz方法在不同系统设定下的收敛性,提供了统一理论及证明扩展版本在欠定情况下能收敛到最小范数解。
2018-02-01 cs.NA math.NA
Greedy Motzkin-Kaczmarz methods for solving linear systems
著名的贪婪随机Kaczmarz(GRK)方法使用最大距离的贪婪选择规则来确定工作行的索引子集。利用最大残差的贪婪选择准则,提出了求解线性系的贪婪随机Motzkin-Kaczmarz(GRMK)方法.文中还给出了新方法的块形式。我们分析了这两种方法的收敛性,并给出了相应的收敛因子。大量的数值实验表明,GRMK方法对稠密矩阵具有与GRK方法几乎相同的性能,而对某些稀疏矩阵,GRMK方法在计算时间上优于GRK方法,而且GRMK和GRK方法的分块版本总是具有几乎相同的性能.
2020-11-12 cs.NA math.NA
A Count Sketch Kaczmarz Method For Solving Large Overdetermined Linear Systems
本文结合计数草图和最大加权残差Kaczmarz方法,提出了一种求解大型超定线性系的快速随机化算法。对新算法进行了收敛性分析。数值实验表明,在相同的精度下,我们的方法表现出更好的计算时间相比,最先进的算法。
2020-04-06 cs.NA math.NA
Acceleration of Randomized Kaczmarz Method via the Johnson-Lindenstrauss Lemma
Stanford University(斯坦福大学);Technion - Israel Institute of Technology(以色列理工学院)
本文提出一种改进的随机Kaczmarz方法,通过从随机选择的集合中选择最优投影,并利用Johnson-Lindenstrauss降维技术保持运行时间,显著加速收敛。
2011-02-12 cs.NA math.NA
A Relaxed Randomized Averaging Block Extended Bregman-Kaczmarz Method for Combined Optimization Problems
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能无人系统研究院);School of Mathematical Sciences, Tongji University(同济大学数学科学学院);The Institute for Advanced Study, Shenzhen University(深圳大学高等研究院);Key Laboratory of Intelligent Computing and Applications (Ministry of Education), School of Mathematical Sciences, Tongji University(同济大学数学科学学院智能计算与应用教育部重点实验室)
本文提出了一种用于联合优化问题的rRABEBK方法,通过引入平均块策略和松弛参数,提升收敛速度和稳定性,并在理论和实践中均优于传统Kaczmarz算法。
2025-12-10 cs.NA math.NA
Random Greedy Fast Block Kaczmarz Method for Solving Large-Scale Nonlinear Systems
针对大规模非线性系统求解,提出随机贪婪快速块Kaczmarz方法,通过融合随机与贪婪策略并避免Jacobian子矩阵伪逆计算,在期望下实现线性收敛,显著提升了求解效率与鲁棒性。
2025-08-13 cs.NA math.NA
A Kaczmarz Method with Simple Random Sampling for Solving Large Linear Systems
Kaczmarz方法是求解大规模线性系的一种常用迭代格式。随机化Kaczmarz方法(RK)通过将系数矩阵的行按随机顺序排列而不是按给定顺序排列,大大提高了Kaczmarz方法的收敛速度。随机Kaczmarz方法的一个明显缺点是它的概率标准选择的活动或工作行的系数矩阵。在[{\sc Z. Z. Bai,W. Wu},{\em On the greedy randomized Kaczmarz method for solving large sparse线性系},SIAM Journal on Scientific Computing,2018,40:A592--A606],作者提出了一种贪婪随机Kaczmarz方法(GRK)。然而,当矩阵的大小很大时,这种方法可能遭受严重的计算成本,并且对于大数据问题,开销将非常大。这项工作的贡献如下。首先,从概率显著性的角度,我们提出了一种部分随机化Kaczmarz方法,它可以减少贪婪随机化Kaczmarz方法所需的计算开销。其次,基于Chebyshev大数定律和Z检验,我们将一种简单的抽样方法应用于部分随机化Kaczmarz方法。所提出的方法的收敛性。第三,将新策略应用于岭回归问题,提出了一种基于简单随机抽样的部分随机Kaczmarz方法。数值实验表明,新算法优于许多国家的最先进的随机Kaczmarz方法的大型线性系问题和岭回归问题。
2020-11-30 cs.NA math.NA
Randomized Kaczmarz for Tensor Linear Systems
求解线性系方程组是数学中的一个基本问题。当线性系很大,无法立即装入内存时,迭代法(如随机Kaczmarz方法)就很好。在这里,我们将随机Kaczmarz方法扩展到求解张量-张量t-乘积下的多线性(张量)系统。我们提供的张量随机Kaczmarz的矩阵线性系的随机Kaczmarz方法类似的收敛保证。我们证明了张量随机Kaczmarz方法收敛速度比传统的随机Kaczmarz适用于一个天真的矩阵化版本的线性系。此外,我们绘制所提出的算法和以前已知的矩阵线性系的随机Kaczmarz算法的扩展之间的连接。
2020-06-01 cs.NA math.NA
On fast greedy block Kaczmarz methods for solving large consistent linear systems
结合一般贪婪策略和平均技术,提出了一类求解大型相容线性系的快速贪婪块Kaczmarz方法。理论分析的收敛性所提出的方法给出了详细的。数值实验表明,所提出的方法是有效的,比现有的方法更快。
2022-10-17 cs.NA math.NA
Read Between the Hyperplanes: On Spectral Projection and Sampling Approaches to Randomized Kaczmarz
University of California, Irvine(加州大学尔湾分校)
本文提出通过行间关系和谱多样性行采样改进随机Kaczmarz方法,以加速病态和过定线性系统的收敛。
2026-02-28 cs.NA math.NA
Quantile-Based Random Kaczmarz for corrupted linear systems of equations
我们考虑线性系$Ax = b$,其中$A \in \mathbb{R}^{m \times n}$由规范化的行,$\|a_i\|_{\ell^2} = 1$,其中高达$βm$条目的$b$已损坏(可能由任意大的数字)。Haddock、Needell、Rebrova和Swartworth提出了一种基于分位数的随机Kaczmarz方法,并证明了对于某些随机矩阵$A$,它以很高的似然收敛到真实解。我们证明了一个确定性的版本,任何矩阵$A$,$β_A$的数量,使有收敛的所有扰动与$β< β_A$。假设随机矩阵启发式,这证明了具有高达$\sim 0.5\%$损坏(可能会改进的数字)的高高斯矩阵的收敛性。
2021-07-12 cs.NA math.NA
Linear convergence of the Randomized Sparse Kaczmarz Method
已知解线性系的随机化Kaczmarz方法在期望中线性收敛。在这项工作中,我们扩展了这一结果,并表明,最近提出的随机稀疏Kaczmarz方法恢复稀疏的解决方案,以及许多变种,也线性收敛的预期。这一结果是在分裂可行性问题及其解决方案的框架内通过随机Bregman投影关于强凸函数。为了获得预期的收敛速度,我们证明了投影的误差界的扩展。收敛结果表明,持有在更一般的设置,包括光滑凸函数,分段线性二次函数,也正则化核范数,这是用于该地区的低秩矩阵问题。数值实验表明,随机稀疏Kaczmarz方法在求解欠定和过定线性系问题时,优于非随机和非稀疏Kaczmarz方法.
2016-10-10 cs.NA math.NA math.OC
A federated Kaczmarz algorithm
提出一种受随机化 Kaczmarz 启发的联邦线性系统求解算法,给出收敛保证,并验证其在稀疏逼近、不相容系统和真实数据上的有效性。
2025-05-14 cs.NA math.NA
A Novel Greedy Kaczmarz Method For Solving Consistent Linear Systems
通过一种完全不同的确定工作行的方法,我们提出了一种新的求解相容线性系的贪婪Kaczmarz方法。对新方法进行了收敛性分析。数值实验表明,在相同的精度下,本文方法优于贪婪随机Kaczmarz方法和最近由Bai和Wu [Z.Z. BAI和W.T.吴,关于求解大型稀疏线性系的贪婪随机Kaczmarz方法,SIAM J. Sci.计算:40(2018),pp. A592-A606; Z.Z. BAI和W.T.吴,解大型稀疏线性系的松弛贪婪随机Kaczmarz方法,应用数学快报,83(2018),pp. [21- 26]计算时间。
2020-04-05 cs.NA math.NA
On the alternating randomized block Kaczmarz method
School of Mathematics and Statistics, South-Central Minzu University(中南民族大学数学与统计学院);School of Mathematics and Computational Science, Huaihua University(怀化学院数学与计算科学系);College of Applied Mathematics, Shanxi University of Finance and Economics(山西财经大学应用数学学院)
本文提出交替随机块Kaczmarz方法用于求解线性矩阵方程,通过随机索引选择方案实现线性收敛。
2023-11-01 cs.NA math.NA
On the convergence analysis of the greedy randomized Kaczmarz method
本文对贪心随机Kaczmarz(GRK)方法进行收敛性分析,提出更精确的概率准则并证明其确定性线性收敛,引入动量改进性能,数值实验验证mGRK更高效。
2023-11-14 cs.NA math.NA
On multi-step extended maximum residual Kaczmarz method for solving large inconsistent linear systems
提出多步扩展最大残差Kaczmarz方法求解大型不相容线性系统,理论证明收敛并给出上界,数值实验显示其优于现有方法。
2023-09-06 cs.NA math.NA
Preasymptotic Convergence of Randomized Kaczmarz Method
Zhongnan University of Economics and Law(中南财经政法大学);University College London(伦敦大学学院);Wuhan University(武汉大学)
本文研究了随机Kaczmarz方法的预渐进行为,发现低频误差衰减快于高频误差,并提出方差减少策略以稳定渐近收敛。
2017-09-23 cs.NA math.NA math.OC
RGDBEK: Randomized Greedy Double Block Extended Kaczmarz Algorithm with Hybrid Parallel Implementation and Applications
本文提出随机贪婪双块扩展 Kaczmarz(RGDBEK)算法,通过基于残差概率的随机行列块选择缓解跷跷板效应,并利用混合 CPU-GPU 并行实现提升大规模稀疏线性系统求解效率,在合成与真实矩阵上均优于现有 Kaczmarz 变体。
2025-09-23 cs.NA math.NA
On Kaczmarz method with oblique projection for solving large overdetermined linear systems
本文介绍并分析了Kaczmarz方法的一种扩展--斜投影Kaczmarz方法(KO)。该方法大大减少了求解超定线性方程组的迭代次数,节省了计算时间,特别是对于含有近似线性相关的线性方程组的问题。同时,建立了一种随机化的斜投影随机化Kaczmarz方法(RKO).给出了这两种方法的收敛性证明,数值实验表明了这两种方法对均匀分布随机数据的有效性。特别是当系统中存在相关行时,实验结果的改善非常突出。
2021-06-25 cs.NA math.NA
Inertial randomized Kaczmarz algorithms for solving coherent linear systems
本研究针对相干线性系统求解问题,将双子空间Kaczmarz方法视为交替惯性随机Kaczmarz算法并提出更优收敛速率估计,进一步提出多步惯性随机Kaczmarz算法加速收敛,实验验证其性能显著更优。
2023-06-14 cs.NA math.NA math.OC
Block Kaczmarz Method with Inequalities
本文提出一种块型方法用于混合等式和不等式系统,通过矩阵分块提升收敛性,并证明线性收敛率,同时探讨不等式块在特定几何条件下同样有效。
2014-09-02 cs.NA math.NA
Accelerated Kaczmarz methods via randomized sketch techniques for solving consistent linear systems
School of Mathematics and Statistics, Guangdong University of Technology(广东工业大学数学与统计学院)
针对相容线性系统求解问题,本文采用两种随机草图技术改进两类Kaczmarz方法,完成收敛性分析与解偏差上界推导,实验验证新方法在同等精度下运行效率更优。
2025-11-17 cs.NA math.NA
Randomized Kaczmarz method with adaptive stepsizes for inconsistent linear systems
我们研究了随机Kaczmarz方法,自适应更新的步长使用现成的信息解决不一致的线性系。一个新的几何解释,这表明该方法可以被看作是一个正交投影方法在某种意义上。我们证明了该方法线性期望收敛于该线性系的唯一最小欧氏范数最小二乘解,并给出了该方法收敛性的一个紧上界.数值实验也验证了理论结果。
2023-03-16 cs.NA math.NA
Penalty & Augmented Kaczmarz Methods For Linear Systems & Linear Feasibility Problems
在这项工作中,我们阐明了所谓的Kaczmarz方法解决线性系(LS)和线性可行性(LF)问题,从优化的角度来看。我们介绍了著名的优化方法,如拉格朗日惩罚和增广拉格朗日随机Kaczmarz(RK)方法。在这样做时,我们提出了RK方法的两个变体,即随机罚Kacmarz(RPK)方法和随机增强Kacmarz(RAK)方法。我们对所提出的方法进行了收敛性分析,得到了线性收敛的结果。
2022-08-12 cs.NA math.NA math.OC
Preconditioning Kaczmarz method by sketching
Skolkovo Institute of Science and Technology(斯科尔科沃科学与技术学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出了一种通过采样预条件化Kaczmarz方法的新方法,利用QR分解构建最优预条件器,但其复杂度过高,因此采用随机采样降低复杂度,并在随机和实际过定线性系统中进行了数值实验。
2019-03-05 cs.NA math.NA
Acceleration and restart for the randomized Bregman-Kaczmarz method
本文提出一种分块加速随机化Bregman-Kaczmarz方法,通过利用对偶问题的Polyak-Lojasiewicz性质并在原始空间中分析,实现了强凸函数线性约束优化问题的线性收敛,数值实验验证了其高效性。
2024-04-03 cs.NA math.NA
Single Projection Kaczmarz Extended Algorithms
University of Heidelberg(海德堡大学);OVIDIUS University of Constanta(康斯坦察奥维迪乌斯大学)
本文研究了单投影Kaczmarz扩展算法,通过同时去除误差项和应用Kaczmarz迭代,实现对大不一致方程组的最小二乘解的收敛。
2015-04-01 cs.DS cs.NA math.NA
Regularization of systems of nonlinear ill-posed equations: I. Convergence Analysis
在这篇文章中,我们开发和分析新的迭代正则化技术的解决方案的非线性不适定的算子方程。其基本思想是分别考虑该系统的每个方程,并结合一个跳跃策略。第一种技术是Kaczmarz型方法,配备了一个新的停止标准。第二种方法是使用嵌入策略获得的,并且再次使用Kaczmarz类型的方法。我们证明了这两种方法的适定性,稳定性和收敛性。
2020-11-19 cs.NA math.NA
A randomized Kaczmarz algorithm with exponential convergence
针对超定相容线性方程组,提出一种随机Kaczmarz算法,证明其期望收敛速度为指数级,且与方程数量无关,在极度过定系统中优于现有方法。
2007-02-08 cs.NA math.NA math.PR
On Block Accelerations of Quantile Randomized Kaczmarz for Corrupted Systems of Linear Equations
随着大数据和大规模学习任务的增长,对高效和鲁棒的线性系求解器的需求大于以往任何时候。随机Kaczmarz方法(RK)和类似的随机迭代法由于其高效的实现和内存占用而受到了相当大的关注。这些方法可以容忍流式数据,一次只访问部分数据,并且即使系统受到噪声的影响,也可以近似最小二乘解。然而,当数据受到大的(可能是对抗性的)破坏的影响时,这些方法无法收敛,因为破坏的数据点绘制的迭代远离真正的解决方案。最近提出的解决方案是QuantileRK方法,它通过在方法迭代时仔细探索空间来避免有害的损坏数据。探索组件需要计算来自系统的大样本的分位数,并且在计算上比随后的迭代更新重得多。在本文中,我们提出了一种方法,更好地利用在勘探过程中获得的信息,将块Kaczmarz方法的平均版本。这显著加快了收敛速度,同时仍然允许一个常数部分的方程被任意破坏。我们提供了理论上的收敛保证以及实验支持的证据。我们还证明了经典的基于投影的块Kaczmarz方法不能对稀疏对抗性腐败具有鲁棒性,而是必须通过平均一维投影来进行阻塞。
2022-12-21 cs.NA math.NA
The Averaged Kaczmarz Iteration for Solving Inverse Problems
National University of Defense Technology(国防科技大学);University of Innsbruck(因斯布鲁克大学)
本文提出一种新的迭代正则化方法,用于求解可表示为Hilbert空间中线性或非线性方程组的反问题。该方法结合Landweber和Kaczmarz方法,通过评估一个正向和一个伴随子问题实现稳定性提升,并在光电声学断层成像的有限数据问题中进行了数值研究。
2018-01-18 cs.NA math.NA