Finite mean field games: fictitious play and convergence to a first order continuous mean field game
在这篇文章中，我们考虑有限平均场游戏（MFG），即有限时间和有限状态。我们采用Gomes Mohr和Souza在2010年提出的框架，研究了两个尚未探索的主题。在第一个，我们分析了虚拟游戏学习过程的收敛性，连续MFG的结果的启发。第二章讨论了有限MFG与连续一阶MFG的关系。即，给定一个连续的一阶MFG问题和一列精化的时空网格，构造一列有限的MFG，其解存在极限点，且每一个这样的极限点解连续的一阶MFG问题.
2018-05-15 math.OC
Fast convergence of dynamical ADMM via time scaling of damped inertial dynamics
在本文中，我们提出了一个二阶时间连续动态系统的快速收敛保证，以解决仿射约束的结构凸极小化问题的希尔伯特设置。该系统是与增广拉格朗日制定的最小化问题。相应的动力学发挥作用的三个一般的时变参数，每个特定的属性，并分别与粘性阻尼，外推和时间缩放。通过适当地调整这些参数，我们开发了一个李雅普诺夫分析，它提供了快速收敛性能的值和可行性差距。这些结果自然会为开发相应的加速ADMM算法铺平道路，通过时间离散化获得。
2021-03-23 math.OC
High-order augmented Lagrangian methods and robust multilevel inner solvers
Texas State University（德克萨斯州立大学）
本文提出了一种高阶增广拉格朗日方法，用于求解凸优化问题，实现了任意快速的收敛速度，并应用于数据拟合、流体流动和科学机器学习等领域。
2026-11-10 math.OC
Accelerating Diagonal Methods for Bilevel Optimization: Unified Convergence via Continuous-Time Dynamics
该研究针对简单双层规划的快速对角方法，借助连续时间动力学分析在一般几何条件下给出统一收敛分析，得到显式收敛速率与弱收敛保证，改进拓展了加速方案相关结果，并通过数值实验验证了方法优势与理论结论。
2025-05-20 math.OC
Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition
在Solodov [1998]和Tseng [1998]假设每个梯度$f_i'$的范数由平均梯度$f'$的范数的线性函数有界的情况下，我们考虑优化函数光滑凸函数$f$，该函数是一组可微函数$f_i$的平均。证明了在这些假设下，具有极小常数步长的基本随机梯度法具有$O(1/k)$收敛速度，并且当$g$是强凸的时，具有线性收敛速率.
2013-08-29 math.OC
Fast Reflected Forward-Backward algorithm: achieving fast convergence rates for convex optimization with linear cone constraints
University of Vienna（维也纳大学）；Faculty of Mathematics and Computer Science, University of Science, Ho Chi Minh City（胡志明市科技大学数学与计算机科学学院）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）；Northwest Normal University（西北师范大学）
本文提出快速反射前向-后向算法，通过引入Nesterov动量项和修正项，在实希尔伯特空间中求解单调算子之和的零点问题，实现线性锥约束凸优化的最后迭代$o(1/k)$收敛速率，并给出数值验证。
2025-10-16 math.OC
Convergence Analysis of the Self-Adaptive Projection Method for Variational Inequalities with Non-Lipschitz Continuous Operators
针对非 Lipschitz 连续拟单调算子的变分不等式，提出带自适应步长的 Tseng 超梯度方法，证明温和条件下的收敛性，并通过数值实验验证其有效性与优越性。
2025-06-09 math.OC
Convergence of discrete-time Kalman filter estimate to continuous-time estimate for systems with unbounded observation
在这篇文章中，我们补充了最近的结果的收敛状态估计通过应用离散时间卡尔曼滤波器的时间采样连续时间系统。随着时间离散化的细化，估计收敛到由卡尔曼-布西滤波器给出的连续时间估计。我们将给出这两个估计之间差异方差的收敛速度的界。本文的贡献是在不同的假设条件下将收敛结果推广到具有无界观测算子的系统，包括具有可对角化生成元的系统、具有容许观测算子的系统和具有解析半群的系统.证明是基于应用离散时间卡尔曼滤波器的时间间隔[0，T]上的一个密集的，可扩展的子集和边界的增量获得。这些界是通过研究基本半群的正则性和无噪声输出得到的。
2015-12-08 math.OC
A Nesterov type algorithm with double Tikhonov regularization: fast convergence of the function values and strong convergence to the minimal norm solution
本文研究带双重Tikhonov正则化的Nesterov型算法，证明其强收敛到光滑凸函数最小范数解，且保持$\mathcal{O}(n^{-2})$最优收敛速率，并给出离散速度与梯度估计。
2023-08-09 math.OC
Solving Time-Continuous Stochastic Optimal Control Problems: Algorithm Design and Convergence Analysis of Actor-Critic Flow
本文提出actor-critic框架求解时间连续随机最优控制问题，采用最小二乘时间差分和策略梯度方法，并建立了线性收敛速率，通过数值实验验证了其有效性。
2025-01-24 math.OC
Fast convergence of dynamical systems with implicit Hessian damping and Tikhonov regularization
本文针对线性等式约束凸优化问题，提出带隐式Hessian阻尼的原始-对偶动力系统以消除振荡并实现快速收敛，并结合Tikhonov正则化证明轨迹强收敛到最小范数解，数值实验验证了理论结果。
2025-08-23 math.OC
Fast Convergence Rates for Distributed Non-Bayesian Learning
我们考虑分布式学习的问题，其中代理网络的共同目标是同意一个假设，最好地解释了一组条件独立的随机过程的分布式观测。我们提出了一个分布式算法，并建立一致性，以及一个非渐近的，明确的和几何收敛速度的信念周围的最佳假设集的浓度。此外，如果代理在静态网络上进行交互，我们提供了一个改进的学习协议，具有更好的可扩展性，在网络中的节点数量。
2017-04-11 math.OC
Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题，证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性，并通过数值实验验证理论。
2024-04-23 math.OC
Fast convex optimization via inertial systems with asymptotically vanishing viscosity and Hessian-driven damping
本文研究了一族由渐近消失粘性和Hessian驱动阻尼惯性系统离散化得到的惯性算法的收敛速度，证明了在凸及Polyak-Łojasiewicz条件下的次线性收敛和强凸条件下的线性收敛，为Nesterov加速梯度法提供了新见解。
2025-07-17 math.OC
Fast Convergence of an Inertial Gradient-like System with Vanishing Viscosity
在实Hilbert空间$\mathcal H$中，研究了二阶发展方程$t \to + \infty$的轨道的快速收敛性质，其中$\nabla Φ$是凸连续可微函数$Φ: \mathcal H \rightarrow \mathbb R$的梯度，$α$是正参数.在该惯性系中，粘性阻尼系数$\fracα{t}$以适度的方式渐近消失。对于$α> 3$，我们表明，任何轨迹弱收敛到极小的$Φ$，只是假设的极小集是非空的。强收敛是在各种实际情况下建立的。这些结果补充了$\mathcal O(t^{-2})$收敛速度的值由苏，博伊德和坎迪斯。这个系统的时间离散化，以及它的一些变体，提供了新的快速收敛算法，扩展了Nesterov介绍的结构化凸最小化的快速方法领域，并由Beck和Teboulle进一步开发。这项研究也补充了Chambolle和Dossal的最新进展。
2015-07-16 math.OC
Robust Market Convergence: From Discrete to Continuous Time
本文建立了离散与连续时间稳健金融市场模型间的联系，证明了不确定性集在 Hausdorff 度量下收敛及相关最坏情况期望的弱收敛，并利用 Kushner 马尔可夫链近似方法提出了计算连续时间稳健超对冲价格的递归算法。
2024-10-16 math.OC math.PR
A Control Space Ensuring the Strong Convergence of Continuous Approximation for a Controlled Sweeping Process
本文针对带邻近正则集和端点约束的受控扫掠过程，构造完全位于集合内部的连续逼近以证明最优解存在并导出局部最优性条件，所得次微分严格小于Clarke和Mordukhovich次微分。
2023-01-01 math.OC
Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Mitsubishi Electrics Research Laboratories（三菱电机研究实验室）
在本文中，我们提出了两个不连续的动力系统在连续时间内保证规定的有限时间局部收敛到严格的局部极小值的给定费用函数。我们的方法包括利用一个基于Lyapunov的微分不等式的微分包含，这导致有限时间稳定性，从而有限时间收敛与可证明的边界上的解决时间。特别地，对于上述微分不等式的精确解，稳定时间界也是精确的，从而实现了规定的有限时间收敛。因此，我们构造了一类不连续的动力系统，二阶的费用函数，作为连续时间优化算法的有限时间收敛和规定的收敛时间。最后，我们说明我们的结果Rosenbrock函数。
2019-12-18 cs.LG math.OC stat.ML
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法，用于求解闭凸集上可分解非光滑凸函数的极小值，并将其命名为光滑加速邻近梯度（SAPG）算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案，并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外，我们在SAPG算法中引入了一个误差项，得到了非精确平滑加速邻近梯度算法。在误差可和条件下，我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
Multilevel Regularized Newton Methods with Fast Convergence Rates
UniDistance Suisse（瑞士远程大学）；Imperial College（帝国理工学院）
该研究提出用于大规模无约束优化的正则化多层牛顿方法，利用低维粗粒度子问题二阶信息正则化，证明其全局收敛且速率优于梯度下降，凸函数下达$\boldsymbol{\text{O}}(k^{-2})$，数值实验显示其性能优于现有最优方法。
2026-10-07 math.OC
Fast convergence of Frank-Wolfe algorithms on polytopes
该研究提出一个统一推导框架，基于误差界和扩展曲率这两个仿射不变性质，推导多面体上四类Frank-Wolfe算法从次线性到线性的收敛速率，速率结果不依赖仿射相关对象。
2025-05-20 math.OC
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学 重庆应用数学中心）
本文针对多目标优化加速梯度法的点收敛性公开问题，分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
The convergence rate of the accelerated proximal gradient algorithm for Multiobjective Optimization is faster than $O(1/k^2)$
针对多目标优化，本文改进 Tanabe 等人的加速近似梯度算法，利用新的外推项将收敛速率从 $O(1/k^2)$ 提升至 $o(1/k^2)$，并给出同速率的非精确版本。
2023-12-12 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法（SAPGM）求解非光滑多目标优化，通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$，并证明迭代序列收敛到Pareto最优解，数值实验验证了方法有效性。
2024-10-18 math.OC
Fast convergence of generalized forward-backward algorithms for structured monotone inclusions
本文提出了计算n个极大单调算子和的零点的快速收敛的前向-后向算法。首先考虑两个一般算子的经典向前向后方法的修改，通过将惯性项（接近Nesterov引入的加速技术），常数松弛因子和校正项。在希尔伯特空间中，我们证明了迭代算法$(x_n)$的弱收敛到平衡点，并给出了$ o(n^{-2})$的最坏收敛速度，而不是${\cal O}(n^{-1})$的经典收敛速度.然后，我们的程序适用于更一般的单调包含和一个快速的原始对偶法提出了解决凹凸鞍点问题。
2021-07-21 math.OC
On fast convergence rates for generalized conditional gradient methods with backtracking stepsize
提出了一种求解其中一个可微的两个凸函数之和极小化的广义条件梯度法。这种迭代法依赖于两个主要成分：第一，部分线性化的目标泛函的最小化，以计算下降方向，第二，基于Armijo样条件的步长选择，以确保在每次迭代中充分下降。我们提供了几个收敛的结果。在温和的假设下，该方法产生的迭代序列收敛，上的连续性，朝着极小。此外，推导出了目标函数值的次线性收敛速率。其次，我们表明，该方法享有改善的收敛速度，如果部分线性化的问题满足一定的增长估计。最值得注意的是，这些结果不需要强凸性的目标功能。对多种具有挑战性的偏微分方程约束最优化问题的数值试验证实了该算法的实际效率。
2021-09-30 math.OC
Convergence rate for a Gauss collocation method applied to unconstrained optimal control
研究了基于高斯求积的正交配置法求解无约束最优控制问题的局部收敛速度。若连续问题有充分光滑解且Hamilton算子满足强凸性条件，则离散问题在连续解的邻域内存在局部极小，且随着配置点数目的增加，离散解以指数超范数快速收敛于连续解.这是基于全局多项式的正交配置法应用于最优控制问题的第一个收敛速度结果。
2015-08-16 math.OC
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Perturbed Iterate SGD for Lipschitz Continuous Loss Functions
本文给出了Lipschitz连续损失函数最小化的随机梯度下降法的一个推广。我们的动机是用于非光滑非凸随机最优化问题，这是经常遇到的应用程序，如机器学习。利用Clarke $ε$ -次微分，证明了该方法在期望下非渐近收敛到一个近似稳定点.从这个结果出发，得到了一个高概率非渐近收敛的方法，以及一个几乎必然渐近收敛到Clarke平稳点的方法.我们的结果保持在假设随机损失函数是Carathéodory函数，几乎处处Lipschitz连续的决策变量。据我们所知，这是第一个非渐近收敛分析下，这些最小的假设。
2022-10-04 math.OC
Convergence Rates of Tseng's Splitting Method and Its Acceleration Schemes for Monotone Inclusion Problem with a Sum of Hölder Continuous Operators
The Hong Kong Polytechnic University（香港理工大学）
针对Hölder连续算子（弱于Lipschitz连续）的单调包含问题，研究了Tseng分裂方法及其两种加速变体的收敛速率，数值实验验证了理论速率。
2026-06-23 math.OC
On a Faster $R$-Linear Convergence Rate of the Barzilai-Borwein Method
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Barzilai-Borwein（BB）方法在非线性最优化中已经证明了巨大的经验成功。然而，BB方法的收敛速度并没有得到很好的理解，因为已知的BB方法对二次问题的收敛速度比最速下降（SD）方法差得多。因此，理论和实践之间存在很大的差异。为了缩小这一差距，我们证明了BB方法收敛$R$ -线性的速度为$1-1/κ$，其中$κ$是条件数，强凸二次问题。最后，给出了一个具有理论收敛速率的例子，说明了我们的界的紧性。
2021-01-22 cs.LG math.OC
Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了\cite{shamir2015stochastic}引入的快速计算前导奇异向量的VR-PCA算法的收敛性。我们证明了几个新的结果，包括一个正式的分析块版本的算法，从随机初始化和收敛。我们还做了一些独立的利益，如如何预初始化，只有一个确切的权力迭代可以显着提高随机方法的运行时间，以及什么是凸性和非凸性的基本优化问题的性质。
2015-07-31 cs.LG cs.NA math.NA
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
本文针对有限和强凸优化问题，提出将对称秩1更新与块更新融入增量拟牛顿框架，实现与条件数无关的局部超线性收敛，且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
Extra-Gradient Method with Flexible Anchoring: Strong Convergence and Fast Residual Decay
本文提出一种锚定项由一般参数控制的超梯度方法，基于Tikhonov正则化单调流的显式离散化，建立了强收敛性与参数化收敛速率，并在标准参数下恢复$O(k^{-1})$快速残差衰减。
2024-10-18 cs.NA math.NA math.OC
Towards Fast-Convergence, Low-Delay and Low-Complexity Network Optimization
分布式网络优化已经研究了十多年。然而，我们仍然没有一个很好的想法，如何设计方案，可以同时提供良好的性能，跨维度的效用最优性，收敛速度和延迟。为了解决这些挑战，在本文中，我们提出了一个新的算法框架，所有这些指标接近最优。我们的新算法的显着特点是三重：（i）快速收敛：它收敛只有$O(\log(1/ε))$迭代，是所有现有算法中最快的速度;（ii）低延迟：它保证了有限的队列长度的最佳效用;（iii）简单的实现：该算法的控制变量是基于虚拟队列，不需要维护每个流的信息。该方法建立在交替方向乘子法中的一种不精确Uzawa方法的基础上，为证明这种方法的全局和线性收敛速度提供了一条新的理论途径，而不需要对约束矩阵作满秩假设.
2017-07-17 cs.NI math.OC
Strong convergence and fast rates for systems with Tikhonov regularization
研究实希尔伯特空间中带Tikhonov正则化的二阶动力系统，通过消失阻尼和校正项实现轨迹向最小范数解的强收敛及快速收敛率，并将其应用于线性约束凸优化的原始对偶系统。
2024-11-26 math.DS math.FA math.OC
On the linear convergence rates of exchange and continuous methods for total variation minimization
分析了R d的子集$Ω$上Radon测度空间M（$Ω$）上全变分正则化反问题数值解的交换算法.我们的主要结果表明，在一定的正则性条件下，该方法最终线性收敛。此外，我们证明了不断优化的目标措施的位置的幅度将成功地在一个良好的初始化的线性速率。最后，我们建议将这两种方法结合成一个交替的方法，并讨论这种方法的比较优势。
2019-06-24 eess.SP math.OC
Finite-time and Fixed-time Convergence in Continuous-time Optimization
众所周知，梯度法可以被看作是一个动态系统，其中各种迭代方案可以被设计为具有期望性质的闭环系统的一部分。本文主要研究连续时间优化问题的有限时间收敛性和固定时间收敛性。利用滑模控制的优点，提出了一种有限时间梯度法，其收敛时间依赖于初始条件。为了使收敛时间对初始条件具有鲁棒性，给出了两种不同的固定时间梯度法设计。一种是利用正弦函数的收敛时间与正弦函数的频率有关的性质设计的。另一种是利用Mittag-Leffler函数的性质设计的，其收敛时间由Mittag-Leffler函数的第一个正零点决定。所有的结果被扩展到更一般的情况下，最后证明了一些专门的仿真例子。
2021-09-30 cs.SY eess.SY math.OC
Exponentially fast convergence to (strict) equilibrium via hedging
LIG-CNRS, Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学LIG-CNRS）
出于快速收敛是必不可少的数据网的应用程序，我们分析了学习的问题，在一般的N人游戏，承认一个纯策略的纳什均衡。具体来说，我们考虑的情况下，玩家反复互动，并试图从过去的经验中学习的小调整的基础上本地-和可能不完美的-收益信息。具体来说，我们专注于所谓的“对冲”的指数权重算法的变种，玩家选择一个行动的概率成正比的行动的累积收益随着时间的推移的指数。当参与者对他们的混合收益有完美的信息时，算法局部收敛到严格的均衡，收敛速度是指数级的-$\mathcal{O}(\exp(-a\sum_{j=1}^{t}γ_{j}))$，其中$a>0$是常数，$γ_{j}$是算法的步长。在存在不确定性的情况下，收敛需要一个更保守的步长策略，但在很大的概率下，该算法保持局部收敛，并达到指数收敛速度。
2016-07-29 cs.GT cs.LG math.OC
Fast Linear Convergence of Randomized BFGS
自20世纪50年代后期拟牛顿法首次出现以来，它已成为求解无约束优化问题的一种应用最广泛、最有效的算法范式。尽管它们在实践中取得了巨大的成功，但几乎没有理论表明为什么这些方法如此有效。我们提供了一个半局部的收敛速率的随机BFGS方法，可以显着优于梯度下降，最后给出理论证据支持优越的经验性能的方法。
2021-02-03 cs.NA math.NA math.OC
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University（德克萨斯A&M大学）
这项工作解决了分布式优化，其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和，每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法，使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同，我们在更新中加入了积分反馈，使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验，验证了采用积分反馈的优点，以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们（即，无替换抽样）;然而，对于极大极小算法，特别是在分析者分析（强）单调设置之外，关于这种方法的理论结果很少。为了缩小这一差距，我们研究了SGDA与随机重排（SGDA-RR）的光滑非凸非凹目标与Polyak-Jasojasiewicz（Pennsylvania）几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标，并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR，恢复了全批量梯度下降-上升（GDA）的已知速率。最后，我们提出了一个全面的下界的GDA与任意的步长比，它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Implicit Midpoint Gradient Descent: Fast and Learning rate free convergence for Zero-Sum Games
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究无约束双线性零和博弈，引入由辛积分方法推导的隐式中点梯度下降规则，该方法继承连续时间动力学的强大特性，在零和博弈中同时具备有界轨道等特性，且计算实验显示其显著优于标准方法。
2026-07-14 cs.GT math.OC
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题，本文提出投影近端梯度下降法（PPGD），在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下，证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率，并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快，严重依赖于双线性结构的问题，这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法，使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题，没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下，得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如，对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题，算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Continuous-time quantized consensus: convergence of Krasowskii solutions
Politecnico di Torino（都灵理工大学）
研究具有量化交互和时变有向拓扑的连续时间多智能体网络，利用Krasovskii解的概念证明在极限连通图存在全局可达节点时，系统在有限时间内达到量化精度内的一致，并给出时不变拓扑下的收敛时间上界。
2011-11-17 cs.SY eess.SY math.OC
Continuous-Time Convergence Rates in Potential and Monotone Games
在本文中，我们提供了指数收敛到内部纳什均衡的连续时间双空间博弈动态，如镜像下降（MD）和演员-评论家（AC）。我们进行我们的分析，在$N$玩家连续凹游戏，满足一定的单调性假设，同时也可能承认势函数。在本文的第一部分中，我们提供了一个新的单调对策的相对特征，并证明了MD及其折扣版本收敛于$\mathcal{O}(e^{-βt})$在相对强和相对次单调对策，分别。在本文的第二部分中，我们将我们的结果专门的游戏，承认一个相对较强的凹势，并显示AC收敛与$\mathcal{O}(e^{-βt})$。这些速率扩展了它们已知的收敛条件。模拟进行经验备份我们的结果。
2022-02-03 cs.GT cs.MA cs.SY
Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation
University of British Columbia（英属哥伦比亚大学）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Element AI（元素人工智能公司）；CCAI Affiliate Chair (Amii)（加拿大先进人工智能研究所CCAI附属主席）
考虑了在过参数化模型所满足的插值条件下极小化光滑强凸函数的随机二阶方法。在此条件下，我们证明了正则化下采样牛顿法（R-SSN）具有自适应步长和恒定批量，实现了全局线性收敛。通过增长批量大小的二次采样梯度和海森，我们表明，R-SSN可以收敛在一个局部邻域的解决方案的二次率。我们还表明，R-SSN达到局部线性收敛的家庭的自协调功能。此外，我们还分析了插值情形下的随机BFGS算法，证明了它们的全局线性收敛性。我们凭经验评估随机L-BFGS和“Hessian自由”的R-SSN的实现二进制分类合成，线性可分离的数据集和真实的数据集下的内核映射。我们的实验结果表明，这些方法的快速收敛，无论是在迭代次数和挂钟时间。
2020-03-22 cs.LG math.OC stat.ML
Convergence Properties of Fast quasi-LPV Model Predictive Control
本文研究了无不等式约束的 quasi-LPV 系统快速非线性模型预测控制迭代算法的收敛性质，提出了保证收敛的条件，并设计了一种保持最优性的算法变体，在仿真基准中验证了其性能。
2023-09-14 cs.SY eess.SY math.OC
