Fixed-Time Convergence for a Class of Nonconvex-Nonconcave Min-Max Problems
University of Michigan（密歇根大学）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）
在放松标准凸性假设的条件下，建立了求解min-max问题的固定时间收敛鞍点动力系统。特别是，它示出，通过利用动力系统的观点的优化算法，加速收敛到一个鞍点可以获得。代替要求目标函数是强凸-强凹的（如几个鞍点算法的加速收敛所必需的），对于仅满足双侧Polyak-Prosojasiewicz（PL）不等式的函数，保证了一致的固定时间收敛。大量的实际问题，包括稳健最小二乘估计，已知满足双边PL不等式。所提出的方法实现任意快速收敛相比，任何其他国家的最先进的方法与线性甚至超线性收敛，也证实了在数值案例研究。
2022-07-26 cs.AI cs.LG cs.SY
A Closed-Form Bound on the Asymptotic Linear Convergence of Iterative Methods via Fixed Point Analysis
在许多迭代优化方法中，不动点理论使得能够通过与不动点算子的线性近似相关联的收缩因子来分析收敛速度。虽然这个因素的特点是渐近线性收敛速度，它并不能解释这些算法在非渐近制度的非线性行为。在这封信中，我们考虑到一阶近似误差的影响，并提出了一个封闭形式的收敛性的限制，在所需的迭代次数之间的距离，达到一个任意小的分数的初始距离。我们的约束包括两个条件：一个对应于定点算子的线性化版本所需的迭代次数，另一个对应于与近似误差相关联的开销。重点讨论了标量情形下的收敛性，证明了正二次一阶差分方程所提界的紧性。
2022-06-20 cs.NA cs.SY eess.SY
Linear Convergence Rates for Extrapolated Fixed Point Algorithms
本文在实希尔伯特空间中建立了一类基于动态串平均方法的外推不动点算法的线性收敛速率。这特别适用于外推的同步和循环刀具方法。我们的分析涵盖了度量和次梯度投影的情况。
2018-05-10 math.OC
On the convergence of the continuous gradient projection method
在对目标函数和步长函数作适当假设的情况下，证明了连续梯度投影法的轨迹的弱收敛性和强收敛性.此外，当目标函数满足全局Holderian误差界不等式时，我们估计了系统到达平衡态的衰减率.
2018-10-28 math.OC
Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Tata Consultancy Services Research（塔塔咨询服务公司研究院）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
加速梯度法是大规模数据驱动的最优化问题的基础，这些问题在机器学习和其他涉及数据分析的领域中自然出现。我们引入了一个基于梯度的优化框架，实现加速，基于最近推出的固定时间稳定的动力系统的概念。该方法提出了自己作为一个简单的基于梯度的方法适当缩放，以实现收敛到优化在固定的时间，独立的初始化的推广。我们实现这一点，首先利用连续时间框架设计固定时间稳定的动力系统，后来提供了一个一致的离散化策略，这样，等效的离散时间算法跟踪优化在一个实际上固定的迭代次数。我们还提供了一个理论分析所提出的梯度流的收敛行为，和他们的鲁棒性添加剂的干扰的一系列功能服从强凸性，严格凸性，并可能nonconvexity，但满足Polyak-Jesojasiewicz不等式。我们还证明了，凭借固定时间收敛的收敛速度的遗憾界是常数。超参数具有直观的解释，并且可以调整以适应对所需收敛速度的要求。我们验证了加速收敛性能的数值例子对国家的最先进的优化算法的范围内所提出的计划。我们的工作提供了见解，通过离散化的连续时间流开发新的优化算法。
2022-03-20 cs.AI cs.LG cs.SY
The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions
本文研究了求解$L$ -光滑函数的固定步长梯度法（或最速下降法）的收敛速度。我们建立了一个新的收敛速度，并表明，在某些情况下，特别是当所有的步长位于区间$(0,1/L]$的界限可能是准确的。此外，我们推导出一个最佳的步长的新的界限。
2021-10-07 math.OC
Convergence rates for the Heavy-Ball continuous dynamics for non-convex optimization, under Polyak-Łojasiewicz condition
在凸和非凸光滑优化框架下，研究了常阻尼重球动力系统轨迹的收敛性。通过使用Polyak-Chaojasiewicz条件，我们得到了新的线性收敛速率的相关轨迹，在目标函数值，而不假设唯一的最小值。
2022-01-26 math.OC
Second Order Optimality Conditions and Improved Convergence Results for a Scholtes-type Regularization for a Continuous Reformulation of Cardinality Constrained Optimization Problems
本文考虑基数约束下的非线性最优化问题。基于连续的重构，我们引入了二阶最优性的充分必要条件最优性条件。在这样的二阶条件下，我们可以保证M-平稳点的局部唯一性。最后，我们利用这一观察到的基数约束最优化问题的Scholtes型松弛法，保证在适当的假设下的迭代的存在性和收敛性提供了扩展的局部收敛理论。
2017-09-05 math.OC
Stochastic Quasi-Fejér Block-Coordinate Fixed Point Iterations With Random Sweeping II: Mean-Square and Linear Convergence
文献[11]研究了块坐标不动点算法的几乎必然弱收敛性，并讨论了它们在非线性分析和优化中的应用。该算法框架具有随机扫描规则，以任意选择在迭代过程中被激活的变量块，并且它允许在算子的评估中出现随机误差。本文建立了迭代的均方收敛和线性收敛的结果。应用单调算子分裂和邻近优化算法。
2018-04-16 math.OC
Conical averagedness and convergence analysis of fixed point algorithms
研究了平均非扩张算子的锥扩张及其在不动点算法收敛性分析中的作用。系统地研究了锥平均算子的各种性质，特别是松弛、凸组合和复合下的稳定性。得到了广义单调算子的预解式的锥平均性质。然后利用这些属性，以分析的收敛性的邻近点法，向前向后算法，和自适应道格拉斯-Rachford算法。我们的研究统一，改进和投射新的光在这些主题的最近研究。
2020-11-30 math.OC
A note on the optimal convergence rate of descent methods with fixed step sizes for smooth strongly convex functions
基于Taylor、Hendrickx和Glineur（J. Optim.理论应用，178（2）：455--476，2018）关于光滑强凸函数梯度下降法的可达收敛速度，给出了固定步长下一般下降法的初等收敛性分析.它涵盖了一般的变度量法，梯度相关的角度和缩放条件下的搜索方向，以及不精确的梯度法。在所有情况下，最佳速率获得。
2022-03-23 math.OC
A note on strong convergence to common fixed points of nonexpansive mappings in Hilbert spaces
本文的目的是研究${\cal T}_C$类算法、CQ算法和收缩投影方法之间的联系。我们证明了这些算法的强收敛性与相干的${\cal T}_C$类映射序列有关。给出了非扩张映射有限集和非扩张半群的一些例子。它们推广了一些已有的定理。
2009-09-18 math.OC
Stochastic fixed-point iterations for nonexpansive maps: Convergence and error bounds
本文研究了非扩张映射Krasnoselskii-Mann迭代的随机扰动版本，推导了几乎必然收敛的条件与非渐近误差界，并应用于平均奖励马尔可夫决策过程的强化学习。
2023-03-31 math.OC
Convergence Rate Analysis for Fixed-Point Iterations of Generalized Averaged Nonexpansive Operators
我们估计了一类非线性算子的不动点迭代的收敛速度，这类算子的部分动机是解凸优化问题。引入了具有正指数的广义平均非扩张（GAN）算子的概念，并给出了GAN算子不动点迭代的收敛速度分析。所提出的广义平均非扩张性比平均非扩张性弱，但比非扩张性强。证明了正指数GAN算子的不动点迭代收敛于其不动点，并根据指数的取值范围估计了局部收敛速度（收敛速度与相邻迭代点之间的距离有关）.我们证明了正指数严格小于1的GAN算子的不动点迭代可以达到指数整体收敛速度（收敛速度表示为解与顶点之间的距离）.进一步，当GAN算子也是H $\ddot{\text{o}}$ lder正则算子时，我们建立了GAN算子的不动点迭代的整体收敛速度，它依赖于广义平均非扩张性指数和H $\ddot{\text{o}}$ lder正则性指数.然后，我们将所建立的理论应用于数据科学中经常出现的三种类型的凸优化问题，设计用于解决这些最优化问题的不动点迭代算法，并分析其收敛特性。
2021-08-15 cs.NA math.NA math.OC
Convergence of discrete time Kalman filter estimate to continuous time estimate
本文讨论了当时间离散化细化时，由离散时间卡尔曼滤波得到的状态估计收敛到连续时间估计的问题。我们得到不同系统的收敛速度估计，首先有限维，然后无限维有界或无界观测算子。最后，在系统动力学由解析半群控制的情况下，我们得到了它的收敛速度。证明是基于应用离散时间卡尔曼滤波器上的一个稠密的子集的一定的时间间隔$[0,T]$。
2015-12-09 math.OC
A strong convergence theorem for solving an equilibrium problem and a fixed point problem using the Bregman distance
本文利用Bregman距离，提出了一种新的投影型算法，用于求平衡问题的解集和不动点集的公共元素.然后在适当的条件下证明了算法产生的序列的强收敛性。最后，利用MATLAB软件，我们给出了一个数值例子来说明我们的算法的收敛性能。
2021-12-26 math.FA math.OC
Essential Convergence Rates of Continuous-Time Models for Optimization Methods
The University of Tokyo（东京大学）；Tokyo Metropolitan University（东京都立大学）
本文提出本质收敛速率的概念，通过证明离散化方法无法超越其本质收敛速率，解决了连续时间模型中收敛速率的歧义问题。
2025-12-29 math.OC
Continuous-Time Convergence Rates in Potential and Monotone Games
在本文中，我们提供了指数收敛到内部纳什均衡的连续时间双空间博弈动态，如镜像下降（MD）和演员-评论家（AC）。我们进行我们的分析，在$N$玩家连续凹游戏，满足一定的单调性假设，同时也可能承认势函数。在本文的第一部分中，我们提供了一个新的单调对策的相对特征，并证明了MD及其折扣版本收敛于$\mathcal{O}(e^{-βt})$在相对强和相对次单调对策，分别。在本文的第二部分中，我们将我们的结果专门的游戏，承认一个相对较强的凹势，并显示AC收敛与$\mathcal{O}(e^{-βt})$。这些速率扩展了它们已知的收敛条件。模拟进行经验备份我们的结果。
2022-02-03 cs.GT cs.MA cs.SY
Finite mean field games: fictitious play and convergence to a first order continuous mean field game
在这篇文章中，我们考虑有限平均场游戏（MFG），即有限时间和有限状态。我们采用Gomes Mohr和Souza在2010年提出的框架，研究了两个尚未探索的主题。在第一个，我们分析了虚拟游戏学习过程的收敛性，连续MFG的结果的启发。第二章讨论了有限MFG与连续一阶MFG的关系。即，给定一个连续的一阶MFG问题和一列精化的时空网格，构造一列有限的MFG，其解存在极限点，且每一个这样的极限点解连续的一阶MFG问题.
2018-05-15 math.OC
Convergence rate analysis for averaged fixed point iterations in the presence of Hölder regularity
本文在希尔伯特空间中建立了由平均算子生成的不动点迭代的次线性和线性收敛性。我们的结果是在有界Hölder正则性假设下实现的，该假设推广了著名的有界线性正则性概念。作为我们的结果的应用，我们提供了一个收敛速度分析Krasnoselskiii-Mann迭代，循环投影算法，道格拉斯-Rachford可行性算法以及一些变种。在重要的情况下，其中的基础集是凸多项式在有限维空间中所描述的凸集，我们表明，Hölder正则性自动满足，从次线性收敛如下。
2016-08-18 math.OC
Accelerating Diagonal Methods for Bilevel Optimization: Unified Convergence via Continuous-Time Dynamics
该研究针对简单双层规划的快速对角方法，借助连续时间动力学分析在一般几何条件下给出统一收敛分析，得到显式收敛速率与弱收敛保证，改进拓展了加速方案相关结果，并通过数值实验验证了方法优势与理论结论。
2025-05-20 math.OC
Noisy Optimization: Convergence with a Fixed Number of Resamplings
已知连续域中的进化策略在噪声存在下可能不收敛。还已知的是，在温和的假设下，并且使用增加数量的重采样，可以减轻加性噪声的影响并恢复收敛。我们展示了新的充分条件的进化算法的收敛性与恒定数量的重采样，特别是，我们得到快速的速度（对数线性收敛）提供的方差下降的最佳略快于在所谓的乘性噪声模型。关键词：噪声优化，进化算法，理论。
2014-04-09 math.OC stat.ML
Weak Convergence Theorem by a New Extragradient Method for Fixed Point Problems and Variational Inequality Problems
本文在[S. H. Khan，A Picard-Mann Hybrid Iterative Process，不动点理论与应用，doi：10.1186/1687-1812-2013-69]，用于在希尔伯特空间中找到非扩张映射的不动点集和逆强单调映射的变分不等式的解集的公共元素。利用这一过程，我们证明了希尔伯特空间中非扩张映象类的一个弱收敛定理。最后，作为应用，我们利用预解算子和严格伪压缩映射给出了几个定理。
2014-03-13 math.FA math.OC
Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Mitsubishi Electrics Research Laboratories（三菱电机研究实验室）
在本文中，我们提出了两个不连续的动力系统在连续时间内保证规定的有限时间局部收敛到严格的局部极小值的给定费用函数。我们的方法包括利用一个基于Lyapunov的微分不等式的微分包含，这导致有限时间稳定性，从而有限时间收敛与可证明的边界上的解决时间。特别地，对于上述微分不等式的精确解，稳定时间界也是精确的，从而实现了规定的有限时间收敛。因此，我们构造了一类不连续的动力系统，二阶的费用函数，作为连续时间优化算法的有限时间收敛和规定的收敛时间。最后，我们说明我们的结果Rosenbrock函数。
2019-12-18 cs.LG math.OC stat.ML
Convergence Theorems for Hierarchical Fixed Point Problems and Variational Inequalities
本文讨论近似非扩张映象的分层不动点问题解的一种改进的迭代投影逼近法。在一定的映射和参数近似假设下，给出了该方法的强收敛定理。作为一种特殊情况，这种投影方法解决了一些二次极小化问题。应该注意的是，所提出的方法可以被视为Wang等人[15]，Wanget. [14][15][16][17][18][19]
2014-03-14 math.FA math.OC
Linear convergence of relocated fixed-point iterations
School of Mathematics and Statistics, University of Melbourne（墨尔本大学数学与统计学院）；Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（智利大学数学建模中心（CNRS IRL2807））；Department of Mathematics, University of Dhaka（达卡大学数学系）
研究重定位不动点迭代的线性收敛性，在算法算子满足线性误差界假设下建立其收敛性，应用于重定位Douglas - Rachford算法及变步长预解式分裂算法，得到相应算法在特定条件下的线性收敛性。
2026-07-08 math.OC
Convergence Analysis of the Self-Adaptive Projection Method for Variational Inequalities with Non-Lipschitz Continuous Operators
针对非 Lipschitz 连续拟单调算子的变分不等式，提出带自适应步长的 Tseng 超梯度方法，证明温和条件下的收敛性，并通过数值实验验证其有效性与优越性。
2025-06-09 math.OC
Convergence of discrete-time Kalman filter estimate to continuous-time estimate for systems with unbounded observation
在这篇文章中，我们补充了最近的结果的收敛状态估计通过应用离散时间卡尔曼滤波器的时间采样连续时间系统。随着时间离散化的细化，估计收敛到由卡尔曼-布西滤波器给出的连续时间估计。我们将给出这两个估计之间差异方差的收敛速度的界。本文的贡献是在不同的假设条件下将收敛结果推广到具有无界观测算子的系统，包括具有可对角化生成元的系统、具有容许观测算子的系统和具有解析半群的系统.证明是基于应用离散时间卡尔曼滤波器的时间间隔[0，T]上的一个密集的，可扩展的子集和边界的增量获得。这些界是通过研究基本半群的正则性和无噪声输出得到的。
2015-12-08 math.OC
Robust Market Convergence: From Discrete to Continuous Time
本文建立了离散与连续时间稳健金融市场模型间的联系，证明了不确定性集在 Hausdorff 度量下收敛及相关最坏情况期望的弱收敛，并利用 Kushner 马尔可夫链近似方法提出了计算连续时间稳健超对冲价格的递归算法。
2024-10-16 math.OC math.PR
Solving Time-Continuous Stochastic Optimal Control Problems: Algorithm Design and Convergence Analysis of Actor-Critic Flow
本文提出actor-critic框架求解时间连续随机最优控制问题，采用最小二乘时间差分和策略梯度方法，并建立了线性收敛速率，通过数值实验验证了其有效性。
2025-01-24 math.OC
Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Boston University（波士顿大学）
提出GenFlow算法及其动量变体，基于固定时间稳定性理论设计加速优化框架，在固定时间内收敛至满足PL不等式的最优解，并一致有界地快速逃离非退化鞍点，解决极小极大问题。
2023-10-22 cs.AI cs.LG cs.SY
Improved Convergence Factor of Windowed Anderson Acceleration for Symmetric Fixed-Point Iterations
本文针对对称不动点迭代的加窗安德森加速算法，首次证明其在线性对称算子及非线性对称雅可比场景下的收敛因子提升效果，并通过仿真和泰勒M估计实验验证了算法的优越性。
2025-07-31 cs.NA math.NA math.OC
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
A Control Space Ensuring the Strong Convergence of Continuous Approximation for a Controlled Sweeping Process
本文针对带邻近正则集和端点约束的受控扫掠过程，构造完全位于集合内部的连续逼近以证明最优解存在并导出局部最优性条件，所得次微分严格小于Clarke和Mordukhovich次微分。
2023-01-01 math.OC
Rates of convergence for inexact Krasnosel'skii-Mann iterations in Banach spaces
研究了计算非扩张映射不动点的经典Krasnosel'skiii-Mann迭代的一个不精确形式的收敛性。我们的主要结果建立了一个新的度量界的不动点残差，从中我们得到他们的收敛速率以及收敛到一个不动点的迭代。结果被应用到三个变种的基本迭代：不可行的迭代与近似投影，石川迭代，对角Krasnosels的kii-Mann计划。为了研究由非扩张算子控制的非自治发展方程的渐近性，将结果推广到连续时间。
2017-06-01 math.OC
Fast Krasnosel'skii-Mann algorithm with a convergence rate of the fixed point iteration of $o\left(\frac{1}{k}\right)$
针对基础KM算法的收敛速度问题，通过引入Nesterov动量更新构建Fast KM算法，在保留迭代弱收敛性的同时实现不动点残差$o(1/k)$的收敛速度，实验验证其优于多种不动点迭代格式。
2023-08-24 cs.NA math.NA math.OC
Fixed-Time Convergence of Time-Varying Neurodynamic Systems for Mixed Variational Inequalities
Aligarh Muslim University（阿利加尔穆斯林大学）
本文提出了一种新的固定时间收敛神经动力学方法，用于解决混合变分不等式问题。通过设计一类一阶近似神经动力学模型，确保从任意初始条件出发都能在固定时间内收敛到解，并通过时间变系数设计提升了收敛速度。
2026-02-14 math.DS math.OC
Zero-sum continuous-time Markov pure jump game over a fixed duration
本文研究了在Borel状态空间和行动空间中，在固定有限时间内的两人零和连续时间马氏纯跳对策。该模型的主要假设是存在一个漂移函数，它限制了奖励率。在一定的规则性条件下，我们证明了博弈有一个值，并且双方都有自己的最优策略。
2017-03-30 math.OC
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学 重庆应用数学中心）
本文针对多目标优化加速梯度法的点收敛性公开问题，分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
Strong convergence with a modified iterative projection method for hierarchical fixed point problems and variational inequalities
本文讨论了近似非扩张映象序列关于非扩张映象的分层不动点问题的一种改进的迭代投影逼近方法。证明了在对算子和参数作一定的近似假设下，修正的迭代序列强收敛于几乎非扩张映象的公共不动点集的一个公共元，并且该公共元解了某些变分不等式.作为一种特殊情况，这种投影方法可用于求给定变分不等式的最小范数解。所得结果改进和推广了其他作者最近的相应结果.
2014-03-13 math.FA math.OC
Graph splitting methods: Fixed points and strong convergence for linear subspaces
University of Alicante（阿利坎特大学）；University of British Columbia（不列颠哥伦比亚大学）
本文研究图分裂方法的固定点和强收敛性，通过分析线性子空间的法向量算子，推导出极限点的显式公式，并通过实例统一和扩展了已有结果。
2026-03-10 math.OC
On the linear convergence rates of exchange and continuous methods for total variation minimization
分析了R d的子集$Ω$上Radon测度空间M（$Ω$）上全变分正则化反问题数值解的交换算法.我们的主要结果表明，在一定的正则性条件下，该方法最终线性收敛。此外，我们证明了不断优化的目标措施的位置的幅度将成功地在一个良好的初始化的线性速率。最后，我们建议将这两种方法结合成一个交替的方法，并讨论这种方法的比较优势。
2019-06-24 eess.SP math.OC
Linear Asymptotic Convergence of Anderson Acceleration: Fixed-Point Analysis
University of Waterloo（滑铁卢大学）
我们研究了AA（$m$）的渐近收敛性，即，用于加速不动点方法$x_{k+1}=q(x_{k})$、$x_k \in R^n$的具有窗口大小$m$的Anderson加速。加速收敛AA（$m$）已被广泛观察到，但没有得到很好的理解。我们考虑的情况下，不动点迭代函数$q(x)$是可微的和不动点方法本身的收敛是根线性的。我们用数值方法证明了AA（$m$）收敛的几个显著性质：第一，AA（$m$）序列$\{x_k\}$是根线性收敛的，但根线性收敛因子强烈依赖于初始条件;第二，当$\{x_k\}$收敛到$x^*$时，AA（$m$）加速系数$β^{(k)}$不收敛而是振荡。为了阐明这些意见，我们写的AA（$m$）迭代作为一个增广的不动点迭代$z_{k+1} =Ψ(z_k)$，$z_k \in R^{n(m+1)}$和分析的连续性和可微性的$Ψ(z)$和$β(z)$。我们发现加速度系数$β(z)$的向量在不动点$z^*$处是不连续的。然而，我们表明，尽管$β(z)$的不连续性，迭代函数$Ψ(z)$是Lipschitz连续的，并在$z^*$的AA（1）方向可微，我们推广到AA（$m$）与$m>1$的大多数情况下。此外，我们发现，$Ψ(z)$是不可微的$z^*$。然后，我们讨论这些理论研究结果与所观察到的AA（$m$）的收敛行为。$β(z)$在$z^*$处的不连续性允许$β^{(k)}$在$\{x_k\…
2022-05-03 cs.LG cs.NA math.NA
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University（德克萨斯A&M大学）
这项工作解决了分布式优化，其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和，每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法，使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同，我们在更新中加入了积分反馈，使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验，验证了采用积分反馈的优点，以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
Random Function Iterations for Stochastic Fixed Point Problems
研究了寻找相应Markov算子的不变测度的随机函数迭代的收敛性。我们把寻找这样一个不变测度的问题称为随机不动点问题。这推广了早期研究随机可行性问题的工作，即找到概率为1的点，即随机函数的不动点[Hermer，Luke，Sturm，2019]。当不存在这样的点时，随机可行性问题被称为不相容的，但仍然在某些假设下，更一般的随机不动点问题有解，并且随机函数迭代收敛到相应的马尔可夫算子的不变测度。有两种主要的收敛类型：在随机可行的情况下，迭代几乎必然收敛到一个不动点，以及更一般的分布依分布收敛。我们展示了如何在确定性不动点理论的共同结构可以利用建立存在的不变测度和收敛的马尔可夫链。我们表明，较弱的假设比通常遇到的分析马尔可夫链保证线性/几何收敛。这个框架专门针对当前感兴趣的许多应用，包括，例如，大规模分布式计算的随机算法，以及具有计算误差的确定性迭代过程。在这项研究中开发的理论提供了一个坚实的基础，描述简单的计算方法的收敛性，而无需假设无限精度的算术或消失的计算误差。
2022-03-23 math.FA math.OC math.PR
Convergence rate for a Gauss collocation method applied to unconstrained optimal control
研究了基于高斯求积的正交配置法求解无约束最优控制问题的局部收敛速度。若连续问题有充分光滑解且Hamilton算子满足强凸性条件，则离散问题在连续解的邻域内存在局部极小，且随着配置点数目的增加，离散解以指数超范数快速收敛于连续解.这是基于全局多项式的正交配置法应用于最优控制问题的第一个收敛速度结果。
2015-08-16 math.OC
Perturbed Iterate SGD for Lipschitz Continuous Loss Functions
本文给出了Lipschitz连续损失函数最小化的随机梯度下降法的一个推广。我们的动机是用于非光滑非凸随机最优化问题，这是经常遇到的应用程序，如机器学习。利用Clarke $ε$ -次微分，证明了该方法在期望下非渐近收敛到一个近似稳定点.从这个结果出发，得到了一个高概率非渐近收敛的方法，以及一个几乎必然渐近收敛到Clarke平稳点的方法.我们的结果保持在假设随机损失函数是Carathéodory函数，几乎处处Lipschitz连续的决策变量。据我们所知，这是第一个非渐近收敛分析下，这些最小的假设。
2022-10-04 math.OC
Convergence Rates of Tseng's Splitting Method and Its Acceleration Schemes for Monotone Inclusion Problem with a Sum of Hölder Continuous Operators
The Hong Kong Polytechnic University（香港理工大学）
针对Hölder连续算子（弱于Lipschitz连续）的单调包含问题，研究了Tseng分裂方法及其两种加速变体的收敛速率，数值实验验证了理论速率。
2026-06-23 math.OC
Sparse Training with Lipschitz Continuous Loss Functions and a Weighted Group L0-norm Constraint
本文的动机是深度神经网络训练的结构化稀疏性。研究了一类加权群L0-范数约束，给出了这类约束的投影和法锥。使用随机平滑，我们开发的零阶和一阶算法，最小化Lipschitz连续函数约束的任何闭集，可以投影到。非渐近收敛的保证被证明在预期的两个相关的收敛标准，可以被认为是近似平稳点的算法。使用所提出的算法给出了两个进一步的方法：一个具有非渐近收敛保证的高概率，和其他渐近保证几乎必然的一个平稳点。我们特别相信，这些是第一个这样的非渐近收敛的结果，约束Lipschitz连续损失函数。
2022-12-20 math.OC
On Convergence Rate of a Continuous-Time Distributed Self-Appraisal Model with Time-Varying Relative Interaction Matrices
本文研究了最近提出的一个连续时间分布的自我评价模型，该模型具有$n$个体网络之间的时变相互作用，其特征在于一系列时变相对相互作用矩阵。该模型通过反映评价机制实时描述了个体的社会置信水平的演变。我们首先通过例子表明，当相对相互作用矩阵是随机的（不是双重随机的），社会置信水平的个人可能不会收敛到一个稳定的状态。然后，我们证明了当相对交互作用矩阵是双随机的时，$n$个体的置信水平在适当的假设下都将以指数速度收敛到$1/n$，这表明$1/n$是一个民主的状态，并给出了收敛速度的显式表达式。
2017-03-16 math.OC
The fixed point iteration of positive concave mappings converges geometrically if a fixed point exists: implications to wireless systems
证明了具有非空不动点集的任意正凹映射的不动点迭代对任意起点几何收敛。我们还表明，积极性是至关重要的，这个结果举行，和（非线性）谱半径的概念，渐近映射为我们提供了有关的收敛因子的信息。作为这里所示的结果的实际含义，我们严格地解释了为什么在无线网络中的一些功率控制和负载估计算法，这是不动点迭代的特定实例，在模拟中显示几何收敛。这些算法通常是通过考虑标准干涉映射的一般类的不动点迭代导出的，因此在以前的研究中不能排除次线性收敛速度的可能性，除非在特殊情况下，通常比这里考虑的更严格。
2022-09-13 math.OC
Convergence Rate Analysis of Continuous- and Discrete-Time Smoothing Gradient Algorithms
本文针对不可微目标函数最小化，分析采用递减平滑参数的连续与离散时间平滑梯度算法，并借助统一 Lyapunov 函数证明二者收敛速率等价。
2023-12-07 math.OC
Strong convergence of inertial extragradient algorithms for solving variational inequalities and fixed point problems
本文提出两种惯性外梯度算法，用于求解单调Lipschitz变分不等式与半压缩不动点问题的公共解，无需Lipschitz常数先验信息和线搜索，每次迭代仅需一次投影，并证明了强收敛性。
2020-07-06 math.FA math.OC
Convergence of fixed-point continuation algorithms for matrix rank minimization
矩阵秩最小化问题在系统辨识、最优控制、低维嵌入等领域有着广泛的应用。由于该问题一般是NP-困难的，因此其凸松弛问题--核范数最小化问题往往被求解。最近，Ma，Goldfarb和Chen提出了一种求解核范数最小化问题的不动点延拓算法.该算法通过引入一种近似的奇异值分解技术，通常可以得到矩阵秩最小化问题的解。本文研究了矩阵秩最小化问题的不动点延拓算法及其变形的收敛性和可恢复性。启发式确定矩阵的秩时，其真实的秩是未知的也提出了。这些算法中的一些与压缩感知中的贪婪算法密切相关。这些算法求解仿射约束矩阵秩最小化问题的数值结果的报告。
2010-12-29 cs.IT math.IT math.OC
