Geometric Convergence of Gradient Play Algorithms for Distributed Nash Equilibrium Seeking
研究了一类具有强单调映射的非合作凸对策纳什均衡的分布式求解算法。每个参与者都可以访问自己的平滑局部费用函数，并且可以与无向图中的邻居进行通信。为了处理快速分布式学习的纳什均衡在这样的设置下，我们引入了一个所谓的增广博弈映射，并提供条件下，这个映射是强单调的。我们考虑一个分布式梯度播放算法确定纳什均衡（GRANE）。该算法涉及每个玩家执行梯度步骤，以最小化她自己的费用函数，同时在网络中的邻居之间共享和检索本地信息。利用强单调增广博弈映射下的Nash均衡问题，证明了该算法以几何速度收敛到Nash均衡。此外，我们引入Nesterov型加速梯度播放算法。我们证明，类似于集中式优化和变分不等式问题的加速算法，我们的加速算法优于GRANE的收敛速度。此外，为了放宽保证强单调增广映射的假设条件，我们分析了该映射的限制强单调性，并在较弱的假设条件下证明了分布梯度播放的几何收敛性.
2018-10-23 math.OC
An inertial forward-backward algorithm for monotone inclusions
TU Braunschweig（布伦瑞克工业大学）；Graz University of Technology（格拉茨工业大学）；AIT Austrian Institute of Technology GmbH（AIT奥地利技术研究所有限公司）
在本文中，我们提出了一个惯性向前向后分裂算法来计算两个单调算子之和的零点，其中两个算子之一是共强制的。该算法的灵感来自Nesterov的加速梯度法，但可以应用于更大的一类问题，包括凹凸鞍点问题和一般单调包含。我们证明了该算法在Hilbert空间设置的收敛性，并表明，最近提出的几个一阶方法可以得到的一般算法的特殊情况。数值结果表明，该算法在保持每次迭代的计算量基本不变的情况下，比现有方法收敛更快。
2014-09-12 cs.CV cs.NA math.NA
Analogues of Switching Subgradient Schemes for Relatively Lipschitz-Continuous Convex Programming Problems
最近，Yu选择了一些特定类别的非光滑和非Lipschitz凸优化问题。Nesterov与H.~陆我们考虑目标函数和函数约束具有相似光滑条件的凸规划问题。我们引入了一个新的概念，一个不精确的模型，并提出了一些类似的切换次梯度计划的凸规划问题的相对Lipschitz连续的目标函数和功能的限制。研究了一类在线凸优化问题。所提出的方法是最优的最优化问题类相对Lipschitz连续的目标和功能的约束。
2021-05-06 math.OC
Some Methods for Relatively Strongly Monotone Variational Inequalities
本文致力于发展求解具有较强单调算子的变分不等式的数值方法。考虑了两类与几年前出现的算子的利普希茨条件类似的变分不等式。其中一类与算子的相对有界性有关，另一类与类似的利普希茨条件（即相对光滑性）有关。对于具有相对有界和相对强单调算子的变分不等式，我们引入了一种改进的镜像下降法，它优化了收敛速度.我们还提出了自适应ProximalPirror算法及其重新启动的版本与线性收敛速率的问题相对光滑和相对较强的单调算子。
2022-05-24 math.OC
Algorithm for solving variational inequalities with relatively strongly monotone operators
基于最近提出的一些求解含非光滑算子的变分不等式的方法，在算子的相对光滑性和相对强单调性的假设下，我们提出了一种类似于镜像Prox方法的方法来求解这类问题.
2021-06-08 math.OC
The Pseudomonotone Polar for Multivalued Operators
本文从极性的角度研究了多值算子的伪单调性，类似于Martínez-Legaz和Svaiter提出的单调极算子，以及最近提出的拟单调极算子.我们表明，这个新的极性，适应伪单调性，具有类似的性质的单调和拟单调的极性，其中包括伪单调性，极大性和预极大性的表征。此外，我们刻画了Hadjisavvas引入的$D$ -极大伪单调性的概念。最后，我们研究了伪单调性与变分不等式问题之间的联系。
2016-11-07 math.OC
New Version of Mirror Prox for Variational Inequalities with Adaptation to Inexactness
对求解变分不等式的镜像Prox方法提出了自适应模拟。在这项工作中，我们认为适应不仅Lipschitz常数的值，但也预言错误的大小。这种方法，特别是，使我们能够证明一个复杂的$O\left(\frac{1}{\varepsilon}\log_2\frac{1}{\varepsilon}\right)$附近的变分不等式的一类特殊的单调有界算子。这个估计对于具有单调Lipschitz连续算子的变分不等式是最优的。然而，存在一些误差，这些误差可能并不重要。所提出的方法与一些已知的类似物的比较实验的结果。此外，我们还讨论了在非欧邻近设置的情况下，矩阵对策的实验结果。
2019-09-28 math.OC
Fast second-order dynamics with slow vanishing damping approaching the zeros of a monotone and continuous operator
本文提出带慢速消失阻尼的二阶动力学系统求解连续单调算子零点，推导了算子范数和间隙函数的收敛速率，并证明轨迹弱收敛，离散化算法保持类似性质，数值实验验证了理论。
2024-07-22 math.CA math.OC
Non-Euclidean Monotone Operator Theory with Applications to Recurrent Neural Networks
我们提供了一个新的转录单调算子理论的非欧有限维空间$\ell_1$和$\ell_{\infty}$。首先建立了关于非欧范数$\ell_1$或$\ell_{\infty}$单调的映射的性质。与它们的欧几里德对应物类似，关于非欧几里德范数单调的映射可以用许多算法来计算它们的零点。我们证明了计算单调算子零点的几种经典迭代法在非欧框架下是直接适用的。我们提出了一个循环神经网络的平衡计算的案例研究，并证明了铸造计算作为一个合适的运营商分裂问题，提高了收敛速度。
2022-07-18 cs.SY eess.SY math.OC
Distributed Fast Fixed-Point Algorithms for Composite Monotone Inclusions over Networks
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学国家科技大学）
本文提出两种分布式快速不动点算法（ND-DFFP和NI-DFFP），通过Nesterov加速与原始-对偶技术结合，在两种假设下实现复合单调包含问题的$\mathcal{O}(1/k)$收敛速率，并在实验中验证了其高效性。
2026-09-15 math.OC stat.ML
Higher-order methods for convex-concave min-max optimization and monotone variational inequalities
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提供了改进的收敛速度的约束凸-凹极小-极大问题和单调变分不等式高阶光滑。在最小-最大设置的$p^{th}$阶导数是Lipschitz连续的，我们给出了一个算法高阶Prox，实现了迭代复杂度为$O(1/T^{\frac{p+1}{2}})$时，获得了一个Oracle的查找一个不动点的$p^{th}$阶方程。我们对弱单调变分不等式问题给出了类似的速率。对于$p>2$，我们的结果改进了Nemirovski [2004]的一阶镜像Prox方法和Monteiro和Svaiter [2012]的二阶方法的迭代复杂度。我们进一步实例化我们的整个算法在无约束的$p=2$的情况下。
2020-07-09 cs.LG math.OC stat.ML
On the analysis of variance-reduced and randomized projection variants of single projection schemes for monotone stochastic variational inequality problems
经典的外梯度格式及其随机格式是求解单调变分不等式问题的基石。然而，这样的方案具有到凸集上的两个投影的每次迭代复杂度，并且需要对映射进行两次评估，如果$X$是复杂的集合，则前者可能相对昂贵。我们考虑两个相关的途径，其中每迭代的复杂性显着降低：（i）一个随机投影反射梯度法需要一个单一的评价的地图和一个单一的投影;和（ii）一个随机次梯度extragradial方法，需要两个评价的地图，一个单一的投影到$X$，和一个显着便宜的投影（到一个半空间）可计算的封闭形式。在一个方差缩减的框架下，我们证明了几乎必然（a.s.）迭代收敛到两种方案的解集中的随机点。此外，这两种方案都显示出$\mathcal{O}(1/K)$的非渐近速率，其中$K$表示迭代次数;值得注意的是，这两种速率都与确定性机制中获得的速率相匹配。为了解决由大量凸约束的交集给出的可行性集，我们将上述两种方案都适应于随机投影框架。然后，我们表明，这两个方案的随机投影类似物也显示a.s.收敛弱清晰度的要求下;此外，不强加的弱清晰度的要求，这两个计划的特点是证明率$\mathcal{O}(1/\sqrt{K})$方面的间隙函数的平均序列的投影到$X$，以及该序列的不可行性。初步的数值支持理论研究结果和计划优于标准的extragradiation计划的每迭代的复杂性。
2020-12-19 math.OC
The quasi-convex Rockafellar theorem
Università di Firenze（佛罗伦萨大学）；Université Paris–Dauphine, Université PSL, CNRS & MOKAPLAN, Inria Paris（巴黎第九大学、巴黎文理研究大学、法国国家科学研究中心及法国国家数字科学与技术研究所巴黎）
该研究建立了拟凸情形下的Rockafellar定理，证明可分Banach空间中循环拟单调算子包含于拟凸函数的法锥算子，推广了Afriat定理并得到最优运输问题的Kantorovich型势函数。
2026-10-14 math.FA math.OC
Perseus: A Simple and Optimal High-Order Method for Variational Inequalities
University of California, Berkeley（加州大学伯克利分校）
本文提出Perseus，一种无需线搜索的简单p阶方法，以最优速率O(ε^{-2/(p+1)})求解光滑单调变分不等式，并通过匹配下界证明其最优性，同时扩展至非单调Minty条件情形。
2024-02-16 cs.LG math.OC
Circuit realization and hardware linearization of monotone operator equilibrium networks
University of Sydney（悉尼大学）
本文证明电阻-二极管网络的端口行为对应于ReLU单调算子均衡网络的解，并提出硬件线性化方法实现网络在硬件中的直接训练，通过器件级电路仿真验证。
2026-10-08 cs.LG cs.NE cs.SY
Polyak-Type Extragradient Methods for Monotone Root-Finding Problems
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出并分析Polyak型外梯度方法，用于求解确定性和随机单调求根问题，统一了收敛性分析，并针对无共同解情形提出DecPolyakSEG算法，实现次线性残差收敛。
2026-09-23 cs.LG math.OC
