Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题，证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性，并通过数值实验验证理论。
2024-04-23 math.OC
Stability of KKT systems and superlinear convergence of the SQP method under parabolic regularity
本文件追求一个双重目标。首先，我们针对一类由抛物正则集生成的约束最优化问题，给出了扰动Karush-Kuhn-Tucker系统重要鲁棒稳定性的新的二阶刻画.其次，所得到的特征被用来建立适定性和超线性收敛的基本序列二次规划方法来解决抛物正则约束最优化问题。
2020-04-14 math.OC
Convergence Rate Analysis of Proximal Iteratively Reweighted $\ell_1$ Methods for $\ell_p$ Regularization Problems
研究了求解$\ell_p$正则化问题的近似迭代重加权$\ell_1$算法的局部收敛速度，该算法广泛应用于稀疏解的诱导.证明了当满足Kurdyka-Lojasiewicz（KL）性质时，算法收敛到唯一的一阶稳定点，并且算法具有局部线性收敛或局部次线性收敛.我们得到的理论结果比迭代重加权$\ell_1$算法的现有结果强得多。
2021-01-11 math.OC
Convergence rate analysis for averaged fixed point iterations in the presence of Hölder regularity
本文在希尔伯特空间中建立了由平均算子生成的不动点迭代的次线性和线性收敛性。我们的结果是在有界Hölder正则性假设下实现的，该假设推广了著名的有界线性正则性概念。作为我们的结果的应用，我们提供了一个收敛速度分析Krasnoselskiii-Mann迭代，循环投影算法，道格拉斯-Rachford可行性算法以及一些变种。在重要的情况下，其中的基础集是凸多项式在有限维空间中所描述的凸集，我们表明，Hölder正则性自动满足，从次线性收敛如下。
2016-08-18 math.OC
Extended convergence analysis of the Scholtes-type regularization for cardinality-constrained optimization problems
我们推广了基数约束最优化问题的Scholtes型正则化方法的收敛性分析。它的行为是澄清附近的鞍点，而不仅仅是极小，因为它已经在以前的文献中完成。这成为可能，通过使用作为一个中间步骤，最近推出的基数约束最优化问题的正则化连续重新制定。我们表明，Scholtes型正则化方法是定义良好的局部周围的非退化的T-平稳点，这种正则化的连续重新。此外，相应的Scholtes型正则化的非退化Karush-Kuhn-Tucker点收敛到具有相同指标的T-平稳点，即其拓扑型持续存在.总的来说，我们的结论是，整体结构的正则化连续reformulation和Scholtes型正则化基本上是一致的。
2022-12-30 math.OC
Strong convergence of an inertial Tikhonov regularized dynamical system governed by a maximally comonotone operator
该研究在希尔伯特框架下分析了由极大共单调算子控制的惯性Tikhonov正则化动力系统，证明其轨迹强收敛于算子零点的最小范数元，建立了特定正则化参数下的收敛速率，并通过数值例子验证了系统有效性。
2024-11-29 math.OC
Second Order Optimality Conditions and Improved Convergence Results for a Scholtes-type Regularization for a Continuous Reformulation of Cardinality Constrained Optimization Problems
本文考虑基数约束下的非线性最优化问题。基于连续的重构，我们引入了二阶最优性的充分必要条件最优性条件。在这样的二阶条件下，我们可以保证M-平稳点的局部唯一性。最后，我们利用这一观察到的基数约束最优化问题的Scholtes型松弛法，保证在适当的假设下的迭代的存在性和收敛性提供了扩展的局部收敛理论。
2017-09-05 math.OC
Weak, Strong and Linear Convergence of the CQ-Method Via the Regularity of Landweber Operators
考虑了不动点条件下的分裂凸可行性问题。受Byrne（2002）的CQ方法的启发，我们定义了一个抽象的Weber变换，它比度量投影更适用于一般的算子。我们把这种变换的结果称为Landweber算子。事实证明，Landweber变换保留了许多有趣的性质。例如，一个（拟/固）非扩张映射的Landweber变换也是（拟/固）非扩张的。此外，（弱/线性）正则映射的Landweber变换也是（弱/线性）正则的。正则性的保持是重要的，因为它导致许多CQ型方法的（弱/线性）收敛。
2018-12-18 math.OC
Faster convergence rates of relaxed Peaceman-Rachford and ADMM under regularity assumptions
分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法。它们产生了算法，其中分解的简单片段被单独处理。这导致易于实现和高度并行化的算法，往往获得接近国家的最先进的性能。在本文中，我们提供了一个全面的收敛速度分析的道格拉斯-Rachford分裂（DRS），Escheman-Rachford分裂（PRS），和交替方向法的乘法器（ADMM）算法在各种正则性假设，包括强凸性，Lipschitz可微性，和有界线性正则性。这项工作的主要结果是，放松的PRS和ADMM自动适应的规律性的问题，并实现收敛速度，提高（紧）最坏情况下的利率，在没有这样的规律性。所有的结果都是使用简单的技术获得的。
2015-05-01 math.OC
Moduli of regularity and rates of convergence for Fejér monotone sequences
本文引入正则模的概念，作为分析不动点理论、单调算子理论和凸优化中出现的Fejér单调序列类的收敛速度（包括有限终止）的工具.这个概念允许对几个概念，如弱锐极小值、误差界、度量次正则性、Hölder正则性等，采用统一的方法，以及获得Picard迭代、Mann算法、邻近点法和循环算法的收敛速度。作为一个副产品，我们得到了一个众所周知的事实，即凸下半连续函数的最小值集与其次微分的零点集和其预解式的不动点集一致的定量版本。
2018-06-03 math.OC
Fast convergence of dynamical systems with implicit Hessian damping and Tikhonov regularization
本文针对线性等式约束凸优化问题，提出带隐式Hessian阻尼的原始-对偶动力系统以消除振荡并实现快速收敛，并结合Tikhonov正则化证明轨迹强收敛到最小范数解，数值实验验证了理论结果。
2025-08-23 math.OC
Accelerated gradient methods with strong convergence to the minimum norm minimizer: a dynamic approach combining time scaling, averaging, and Tikhonov regularization
在Hilbert框架下，对于凸可微优化问题，我们考虑了通过结合时间尺度和平均技术与Tikhonov正则化得到的加速梯度法。我们从连续的最速下降动态与一个额外的Tikhonov正则化项，其系数渐近消失。我们提供了一个广泛的一阶发展方程的李雅普诺夫分析。然后，我们适用于这个动态的时间缩放和平均最近推出的Attouch，博特和阮的方法。因此，我们得到一个惯性动态，其中涉及粘性阻尼与Nesterov的方法，隐式海森阻尼和Tikhonov正则化。在一个适当的参数设置，只是使用詹森不等式，而不需要另一个李雅普诺夫分析，我们表明，轨迹在同一时间有几个显着的属性：它们提供了一个快速收敛的值，快速收敛的梯度为零，和强收敛到最小范数最小。这些结果完善和改进了作者以前的结果。
2022-11-18 math.OC
Convergence analysis of a Tikhonov regularized inertial dynamical system and algorithm for convex optimization problems
Chongqing Technology and Business University（重庆工商大学）；Chongqing University（重庆大学）
本文研究了带时间缩放、渐消阻尼和Hessian驱动阻尼的Tikhonov正则化二阶惯性动力系统，分析其在求解凸优化问题中的收敛性，证明轨迹弱收敛到极小解，并展示通过参数调节可同时实现函数值快速收敛和轨迹强收敛到最小范数解。
2026-03-01 math.OC
Strong asymptotic convergence of a slowly damped inertial primal-dual dynamical system controlled by a Tikhonov regularization term
本研究针对希尔伯特空间线性约束凸优化问题，提出带Tikhonov正则项的慢阻尼惯性原始-对偶动力系统，通过Lyapunov分析证明其轨迹强收敛至解集最小范数元并给出收敛速率，辅以数值实验验证理论。
2024-06-21 math.OC
Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems
本文提出两种基于SR1更新的正则化近端拟牛顿方法求解非光滑凸复合问题，首次证明其具有与初始化无关的全局非渐近超线性收敛速率，并在机器学习应用中验证了理论性质。
2024-11-21 math.OC
Distributed Regularized Primal-Dual Method: Convergence Analysis and Trade-offs
研究了可分目标函数全局不等式约束分布式优化问题的确定性和随机原始-对偶次梯度算法。在这两种算法中，拉格朗日乘子的范数通过用二次正则化项增广相应的拉格朗日函数来控制。具体来说，我们表明，当每个算法的步长满足一定的限制，拉格朗日乘子的范数是上界的表达式，是成反比的正则化参数。我们使用这个结果来计算拉格朗日函数的次梯度的上界。对于确定性算法，我们证明了达到最优目标值的收敛速度。在随机最优化的情况下，我们同样证明了收敛速度的期望和高概率，使用有界鞅差的方法。对于这两种算法，我们证明了一个权衡之间的收敛速度和约束违反的衰减速率，在这个意义上说，提高收敛速度减缓约束违反的衰减速率，反之亦然。我们证明了我们提出的算法的收敛性数值分布回归铰链和逻辑损失函数在不同的图形结构。
2017-06-19 math.OC
Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition
利用鲁棒控制理论来分析和设计优化和机器学习算法的兴趣越来越大。研究了一类费用函数满足正则性条件的非凸最优化问题。经验研究表明，加速梯度下降（AGD）算法（例如Nesterov的加速和Heavy-ball）与适当的初始化通常在实践中工作得很好。然而，这种AGD算法的收敛性在文献中很大程度上是未知的。本文的主要贡献是通过鲁棒控制工具分析了RC下AGD的收敛区域。由于这种最优化问题经常出现在许多应用中，如相位恢复，神经网络的训练和矩阵传感器，我们的结果表明，在这些领域的鲁棒控制理论的承诺。
2019-12-09 math.OC
Totally Asynchronous Large-Scale Quadratic Programming: Regularization, Convergence Rates, and Parameter Selection
二次规划出现在机器人、通信、智能电网和许多其他应用中。随着这些问题的规模不断扩大，寻找解决方案的计算要求越来越高，需要新的算法来大规模有效地解决这些问题。针对大规模的问题，我们开发了一个多智能体二次规划框架中，每个代理更新只有一小部分的总决策变量的问题。智能体相互传递更新后的值，尽管我们对它们这样做的时间没有任何限制，也没有限制这些传输的延迟。此外，我们允许代理之间的弱参数耦合，在这个意义上说，他们可以自由地独立选择自己的步长，受到温和的限制。我们进一步提供了代理独立正则化他们解决的问题的方法，从而提高收敛性能，同时保持代理在选择参数方面的独立性，并确保满足正则化误差的全局范围。更大的正则化加速收敛，但增加了获得的解决方案中的错误，我们量化的收敛速度和解决方案的质量之间的权衡。仿真结果来说明这些发展。
2020-06-15 math.OC
Convergence rates for critical point regularization
Tikhonov正则化涉及最小化数据差异项和正则化项的组合，并且是求解逆问题的标准方法。使用非凸正则化器，例如由训练的神经网络定义的正则化器，已被证明在许多情况下是有效的。然而，在非凸的情况下找到全局极小值可能是具有挑战性的，使得现有的理论不适用。正则化理论的最新发展通过提供基于临界点而不是严格的最小值的收敛性来放松这一要求。本文使用Bregman距离研究了具有临界点的正则化的收敛速度。此外，我们表明，当通过迭代算法实现近最小化，有限数量的迭代是足够的，而不影响收敛速度。
2023-02-17 cs.NA math.NA math.OC
A unified approach to convergence rates for $\ell^1$-regularization and lacking sparsity
在$\ell^1$ -正则化中，它是信号和图像处理中的一个重要工具，人们通常关注的是在一些合适的基（例如小波基）中具有稀疏表示的信号和图像。关于线性不适定问题的稀疏近似解的收敛性和收敛速度的许多结果是已知的，但是在缺乏稀疏性的情况下$\ell^1$ -正则化的速度结果直到2013年才发表。然而，在过去的两年中，出现了两篇文章，提供了充分条件的收敛速度的情况下，非稀疏，但几乎稀疏的解决方案。在本文中，我们提出了第三个充分条件，它统一了现有的两个，顺便说一句，也纳入了著名的限制等距属性。
2015-06-04 math.FA math.OC
On the strong convergence of the trajectories of a Tikhonov regularized second order dynamical system with asymptotically vanishing damping
研究了一类含有Tikhonov正则化项的阻尼为零的二阶动力系统，并讨论了凸Fréchet可微函数$g$的极小化问题.我们表明，适当的吉洪诺夫正则化参数的目标函数的值在生成的轨迹收敛到全局极小值的目标函数和轨迹生成的动力系统弱收敛到最小的目标函数。我们还得到了速度的快速收敛性和一些积分估计。尽管如此，我们的主要目标是扩展和改进\cite{ABCR}和\cite{AL-nemkoz}最近获得的一些结果，关于强收敛的生成的轨迹的元素的最小范数从$\argmin$集的目标函数$g$。我们的分析还表明，阻尼系数和Tikhonov正则化系数强相关。
2022-02-16 math.FA math.OC
Convergence rate of Tsallis entropic regularized optimal transport
该研究针对连续场景下的Tsallis熵正则化最优传输问题，证明其Γ收敛于Monge--Kantorovich问题，推导了带显式常数的收敛速率，并证实KL正则化在Tsallis框架下收敛速率最快。
2024-10-07 math.FA math.OC math.PR
Convergence Rates for Regularized Optimal Transport via Quantization
本文研究散度正则化最优传输在正则化参数趋于零时的收敛速率，提出基于量化与鞅耦合的新方法，适用于非紧致边际，并获得了熵正则化2-Wasserstein距离的尖锐首阶项。
2023-06-21 math.OC math.PR stat.ML
Geometry and Convergence of Quadratically Regularized Optimal Transport I
Columbia University（哥伦比亚大学）
本文研究二次正则化最优传输在小正则化参数下的收敛速率，刻画支撑的稀疏几何，证明对偶势的一致 Hessian 界及收敛速率，并确定收敛失效的阈值。
2026-10-05 math.AP math.OC
Variational Inequalities and Improved Convergence Rates for Tikhonov Regularisation on Banach Spaces
University of Vienna（维也纳大学）
针对Banach空间上的线性算子方程，利用对偶泛函的变分不等式，推导出Tikhonov型凸正则化在Bregman距离下的高阶收敛速率，突破了传统低阶限制。
2011-07-13 cs.NA math.NA math.OC
Convergence rates for regularized unbalanced optimal transport: the discrete case
本文针对离散情形下两类狄拉克质量加权和测度，研究正则化非平衡最优传输的代价与计划向原始解收敛的速率，该方法可用于机器学习中处理异常值鲁棒性问题。
2025-10-03 cs.NA math.NA math.OC
An Application of Source Inequalities for Convergence Rates of Tikhonov Regularization with a Non-differentiable Operator
University of Vienna（维也纳大学）
本文利用源不等式方法，针对非可微算子方程，在真解不同光滑性假设下推导出Tikhonov正则化的收敛速度，最高可达线性收敛。
2012-09-11 cs.NA math.NA math.OC
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University（俄亥俄州立大学）
三次正则化牛顿法（CR）是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而，现有的理解CR的收敛速度的条件下，特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz（KL）性质，研究了CR的渐近收敛速度.具体地，我们刻画了CR的各种最优性测度的渐近收敛速度，包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外，我们还证明了在KL性质下，CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
Convergence of Variational Regularization Methods for Imaging on Riemannian Manifolds
University of Vienna（维也纳大学）；Austrian Academy of Sciences（奥地利科学院）
针对紧线性算子在闭有限维黎曼流形上的不适定算子方程，研究Tikhonov型正则化方法的适定性、稳定性、收敛性和收敛率，并给出数值实现与实验。
2011-05-12 cs.NA math.NA math.OC
Strong convergence and fast rates for systems with Tikhonov regularization
研究实希尔伯特空间中带Tikhonov正则化的二阶动力系统，通过消失阻尼和校正项实现轨迹向最小范数解的强收敛及快速收敛率，并将其应用于线性约束凸优化的原始对偶系统。
2024-11-26 math.DS math.FA math.OC
Conditions for Convergence in Regularized Machine Learning Objectives
UC Berkeley（加州大学伯克利分校）
本文研究了现代凸优化算法收敛率的分析方法，探讨了分布式计算中非线性延迟对收敛性的影响，并给出了收敛性的存在性和收敛率下界。
2013-05-17 cs.LG cs.NA math.NA
Convergence Rates of Smooth Message Passing with Rounding in Entropy-Regularized MAP Inference
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
最大后验概率（MAP）推理是统计推理的一种基本计算范式。在图形模型的设置中，MAP推理需要解决组合优化问题以找到离散值模型的最可能配置。Sherali-Adams层次中的线性规划（LP）松弛被广泛用于尝试解决这个问题，并且已经提出了平滑消息传递算法来解决这些LP的正则化版本，并且取得了巨大成功。本文利用熵正则化LP的最新研究成果，分析了一类基于边的光滑消息传递算法在松弛条件下收敛到$ε$ -最优的速度。通过适当选择正则化常数，我们提出了一个理论保证的迭代次数足以恢复真正的积分MAP解决方案时，LP是紧的，解决方案是唯一的。
2020-03-01 cs.LG math.OC stat.ML
Nonconvex notions of regularity and convergence of fundamental algorithms for feasibility problems
针对欧氏空间中的非凸可行性问题，基于集合的(ε,δ)-正则性引入松弛的局部固有不扩张性，结合交集正则性的强制性条件，证明了交替投影方法在非凸问题上的局部线性收敛性。
2013-06-24 cs.NA math.NA math.OC
