Conditional extragradient algorithms for solving variational inequalities
本文利用可行集的非零法向量推广了求解变分不等式问题的经典外梯度算法。特别是，概念算法提出了两个不同的线搜索。然后，我们建立这些算法在温和的假设下的收敛结果。我们的研究表明，非零的法向量，如果选择适当，可以显着提高收敛。
2019-02-22 math.OC
A Bregman inertial iteratively regularized extragradient method for bilevel variational inequality problems
Tokyo Metropolitan University（东京都立大学）；Nagoya Institute of Technology（名古屋工业大学）；Kyoto University（京都大学）
本文提出一种Bregman惯性正则化外梯度方法求解双层变分不等式问题，在偶空间进行惯性外推，推导了广义间隙函数的非渐近收敛界，并通过交通网络和多投资组合纳什均衡实验验证了有效性。
2026-09-29 math.OC
Weak Convergence Theorem by a New Extragradient Method for Fixed Point Problems and Variational Inequality Problems
本文在[S. H. Khan，A Picard-Mann Hybrid Iterative Process，不动点理论与应用，doi：10.1186/1687-1812-2013-69]，用于在希尔伯特空间中找到非扩张映射的不动点集和逆强单调映射的变分不等式的解集的公共元素。利用这一过程，我们证明了希尔伯特空间中非扩张映象类的一个弱收敛定理。最后，作为应用，我们利用预解算子和严格伪压缩映射给出了几个定理。
2014-03-13 math.FA math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法，用于求解实希尔伯特空间中的光滑单调变分不等式，具备更优的迭代复杂度，且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Parallel extragradient - viscosity methods for equilibrium problems and fixed point problems
本文提出了两种并行的外梯度-粘性方法，分别用于求平衡问题组和多个不动点问题组的公共解集中的一个特殊元素。这个特殊点是变分不等式问题在公共解集上的唯一解。本文的主要思想是将超梯度法、Mann迭代法、混合最速下降法与并行分裂技术相结合，设计出性能优于现有方法的算法。在平衡双函数广泛使用的假设下，建立了强收敛定理。
2016-03-06 math.OC
A self-adaptive subgradient extragradient method with conjugate gradient-type direction for pseudomonotone variational inequalities
本文提出一种带共轭梯度型方向的自适应次梯度外梯度算法，用于求解Hilbert空间中的伪单调变分不等式，无需已知Lipschitz常数，并证明了强收敛性及数值有效性。
2025-05-06 math.OC
A modified double inertial subgradient extragradient algorithm for non-monotone variational inequality with applications
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
本文提出了一种改进的双惯性迭代方法，用于解决非单调变分不等式问题，通过自适应步长规则在不预先知道算子Lipschitz常数的情况下实现弱收敛，并讨论了不同算子类型的收敛性及线性收敛性。
2026-03-18 math.FA math.OC
Bounded perturbation resilience of extragradient-type methods and their applications
本文研究实希尔伯特空间中解变分不等式（VI）问题的外梯度和次梯度外梯度方法的有界扰动恢复性.这是算法的一个重要属性，它保证了该方案在可加误差下的收敛性，这意味着也可以考虑该方法的不精确版本。此外，一旦一个算法被证明是有界扰动弹性，superiorizion可以使用，这允许灵活地选择有界扰动，以获得一个优越的解决方案，以及解释的文件。我们还讨论了一些惯性外梯度方法。在VI映射的单调性和Lipschitz连续性的温和和标准假设下，证明了扰动外梯度法和次梯度外梯度法的收敛性。此外，我们证明了扰动算法的收敛速度为$O(1/t)$。数值例子证明了算法的性能。
2017-11-16 math.OC
On the Convergence Properties of Non-Euclidean Extragradient Methods for Variational Inequalities with Generalized Monotone Operators
本文研究了一类广义单调变分不等式（GMVI）问题，其算子不一定是单调的（例如，伪单调）。我们提出了计算这些问题的近似强解的非欧外梯度（N-EG）方法，并证明了它们的迭代复杂性如何依赖于其算子的全局Lipschitz或Hölder连续性以及N-EG算法中所用距离母函数的光滑性。我们还介绍了一个变种，该算法通过将一个简单的线搜索过程来处理更一般的连续算子的问题。数值研究表明，所开发的算法比现有的解决大规模GMVI问题的显着优势。
2013-11-12 math.OC
Extragradient Type Methods for Riemannian Variational Inequality Problems
Georgia Tech（佐治亚理工学院）；AMSS, China（中国科学院数学与系统科学研究院）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文研究单调黎曼变分不等式问题，提出REG和RPEG方法，通过处理和乐效应证明了其最后迭代 $O(1/\sqrt{T})$ 和平均迭代 $O(1/T)$ 的收敛率。
2024-06-01 cs.LG math.OC
An Anderson-accelerated stochastic extragradient method for stochastic variational inequalities
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
提出一种Anderson加速的随机外梯度算法，在随机逼近框架下求解随机变分不等式，证明在采样算子非伪单调时算法几乎必然收敛，并建立次线性收敛率和最优oracle复杂度。
2026-05-26 math.OC
Variance-Based Bregman Extragradient Algorithm with Line Search for Solving Stochastic Variational Inequalities
本文的主要目的是提出一种基于方差的线搜索Bregman外梯度算法来求解随机变分不等式，该算法对未知的Lipschitz常数具有鲁棒性。我们用一种更简洁有效的方法证明了该算法的几乎必然收敛性，而不用上鞅收敛定理。此外，我们不仅得到了$\mathcal{O}(1/k)$在$X$有界时关于间隙函数的收敛速度，而且还得到了在$X$无界时关于自然剩余函数的收敛速度.在Minty变分不等式条件下，我们得到了这两种情况下的迭代复杂度$\mathcal{O}(1/\varepsilon)$和预言复杂度$\mathcal{O}(1/\varepsilon^2)$.最后，数值结果表明了该算法的优越性。
2022-08-30 math.OC
Inertial extragradient algorithms for solving variational inequalities and fixed point problems
本研究的目的是探讨一个凸可行性问题，它由一个单调变分不等式问题和一个不动点问题组成。介绍了四种基于惯性法的惯性外梯度算法：次梯度外梯度法、Tseng外梯度法和具有简单步长的Mann型方法。在一定的标准和适当的条件下，建立了算法的强收敛定理。最后，我们实施了一些计算测试，以显示所提出的算法的效率和优势，并比较他们与一些现有的。
2020-06-30 math.FA math.OC
Extragradient Sliding for Composite Non-Monotone Variational Inequalities
本文针对由单调与非单调算子之和构成的复合变分不等式，提出一种超梯度滑动算法，将非单调算子的 oracle 复杂度从 $O((L_p+L_q)^2/\varepsilon^2)$ 降至 $O(L_p^2/\varepsilon^2)$，并通过数值实验验证了其优越性。
2024-03-22 math.OC
Strong convergence of an inertial Tseng's extragradient algorithm for pseudomonotone variational inequalities with applications to optimal control problems
University of Electronic Science and Technology of China（电子科技大学）；Zhejiang Normal University（浙江师范大学）
该研究提出一种带新步长的惯性粘性型Tseng外梯度算法，在无需算子Lipschitz常数先验信息和额外投影的条件下证明强收敛性，经计算测试验证优势并可应用于最优控制中的变分不等式问题，改进了现有结果。
2020-07-23 cs.NA math.NA math.OC
PGA-based Predictor-Corrector Algorithms for Monotone Generalized Variational Inequality
本文考虑了单调广义变分不等式（MGVI），其中单调算子是Lipschitz连续的.受外梯度法和单调变分不等式的投影收缩算法的启发，提出了一类基于PGA的预测-校正算法。我们的算法的一个显着特点是可分离的多块凸优化问题，他们可以很好地适应并行计算。对不同稀疏恢复模型的数值模拟表明了本文方法的广泛适用性和有效性。
2020-09-08 math.OC
A New Iterative Projection Method for Approximating Fixed Point Problems and Variational Inequality Problems
在实希尔伯特空间中，引入并研究了一个新的外梯度迭代程序，用于寻找非扩张映象无限族的不动点集与逆强单调映象的变分不等式的解集的公共元.同时，在相当温和的条件下，证明了新的外梯度方法所定义的迭代序列强收敛于非扩张映象无限族的不动点问题和经典的变分不等式问题的解.此外，利用这一结果，我们提供了一些应用所考虑的问题，而不仅仅是给一个纯粹的扩展现有的数学问题。
2014-05-21 math.FA math.OC
Revisiting Stochastic Extragradient
KAUST（阿卜杜拉国王科技大学）；EPFL（洛桑联邦理工学院）；MIPT（莫斯科物理技术学院）
我们通过提供一种新的采样策略来解决随机外梯度方法中的一个基本问题，该策略的动机是近似隐式更新。由于（Juditsky等人，2011）发散的一个简单的双线性问题时，域是没有界的，我们证明了保证解决变分不等式，超越现有的设置。此外，我们数值说明，所提出的变种收敛速度比许多其他方法对双线性鞍点问题。我们还讨论了如何将外梯度应用于训练生成对抗网络（GANs），以及它与其他方法的比较。我们在GANs上的实验表明，所引入的方法可以使训练在数据传递方面更快，而其更高的迭代复杂度使优势更小。
2020-03-31 cs.LG math.OC
On the analysis of variance-reduced and randomized projection variants of single projection schemes for monotone stochastic variational inequality problems
经典的外梯度格式及其随机格式是求解单调变分不等式问题的基石。然而，这样的方案具有到凸集上的两个投影的每次迭代复杂度，并且需要对映射进行两次评估，如果$X$是复杂的集合，则前者可能相对昂贵。我们考虑两个相关的途径，其中每迭代的复杂性显着降低：（i）一个随机投影反射梯度法需要一个单一的评价的地图和一个单一的投影;和（ii）一个随机次梯度extragradial方法，需要两个评价的地图，一个单一的投影到$X$，和一个显着便宜的投影（到一个半空间）可计算的封闭形式。在一个方差缩减的框架下，我们证明了几乎必然（a.s.）迭代收敛到两种方案的解集中的随机点。此外，这两种方案都显示出$\mathcal{O}(1/K)$的非渐近速率，其中$K$表示迭代次数;值得注意的是，这两种速率都与确定性机制中获得的速率相匹配。为了解决由大量凸约束的交集给出的可行性集，我们将上述两种方案都适应于随机投影框架。然后，我们表明，这两个方案的随机投影类似物也显示a.s.收敛弱清晰度的要求下;此外，不强加的弱清晰度的要求，这两个计划的特点是证明率$\mathcal{O}(1/\sqrt{K})$方面的间隙函数的平均序列的投影到$X$，以及该序列的不可行性。初步的数值支持理论研究结果和计划优于标准的extragradiation计划的每迭代的复杂性。
2020-12-19 math.OC
Iteration-complexity of a Rockafellar's proximal method of multipliers for convex programming based on second-order approximations
研究了求解带不等式约束的光滑凸规划问题的基于Rockafellar近似乘子法（PMM）的一种新的原始对偶法的迭代复杂性.在每一步中，要么一个步骤的Rockafellar的PMM的二阶模型的问题进行计算或放松extragradiation步骤。由此产生的算法是一个（大步）放松的混合近端外梯度（r-HPE）方法的乘法器，它结合了Rockafellar的PMM与r-HPE方法。
2016-02-22 math.OC
Strong convergence of inertial extragradient algorithms for solving variational inequalities and fixed point problems
本文提出两种惯性外梯度算法，用于求解单调Lipschitz变分不等式与半压缩不动点问题的公共解，无需Lipschitz常数先验信息和线搜索，每次迭代仅需一次投影，并证明了强收敛性。
2020-07-06 math.FA math.OC
On circumcentered direct methods for monotone variational inequality problems
Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）；Northern Illinois University（北伊利诺伊大学）；Fundação Getúlio Vargas（热图利奥·瓦加斯基金会）；Instituto de Matemática Pura e Aplicada（纯数学与应用数学研究所）
本文提出两种基于圆心加速的直接方法，用于高效求解涉及参数单调和单调算子的变分不等式问题，实验表明其在计算效率上有显著优势。
2026-02-08 math.OC
On the Hypomonotone Class of Variational Inequalities
本文研究外梯度算法在次单调算子变分不等式中的表现，刻画了次单调线性算子子类的特征，构造反例证明该算法在次单调情形下无论步长如何均发散，并用数值实验验证了结论。
2025-01-17 math.OC stat.ML
On Same-Sample and Independent-Sample Stochastic Extragradient for Monotone Variational Inequalities
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究针对单调变分不等式问题，分析同一样本与独立样本随机超梯度方法的收敛特性，指出同一样本方法的敏感性及步长选择的失效情况，完善了相关理论空白。
2026-08-07 cs.LG math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University（耶鲁大学）
单调变分不等式是数学规划中的一个中心问题，它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久，但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式，超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少？我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题，该收敛速度与Golowich等人的下限相匹配。[2020 a，b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差，它可以被看作是一个适应的范数的运营商，考虑到当地的约束。我们使用切线残差（或切线残差的微小变化）作为势函数来分析额外梯度算法（或乐观梯度下降-上升算法），并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG
Extragradient methods with complexity guarantees for hierarchical variational inequalities
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机过程研究所）；Mannheim University（曼海姆大学）；Bar-Ilan University（巴伊兰大学）
本文提出了一种带复杂性保证的梯度法，用于解决分层变分不等式问题，提供了迭代复杂度和收敛性分析。
2026-09-04 cs.SY eess.SY math.OC
Convergence Analysis of the Self-Adaptive Projection Method for Variational Inequalities with Non-Lipschitz Continuous Operators
针对非 Lipschitz 连续拟单调算子的变分不等式，提出带自适应步长的 Tseng 超梯度方法，证明温和条件下的收敛性，并通过数值实验验证其有效性与优越性。
2025-06-09 math.OC
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Stochastic Extragradient with Random Reshuffling: Improved Convergence for Variational Inequalities
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对强单调、仿射和单调三类变分不等式问题，提供了带随机重排的随机额外梯度法（SEG-RR）的收敛性分析，证明了其比有放回采样SEG收敛更快且无需大批量，并实验验证了其优越性能。
2024-10-09 cs.GT cs.LG math.OC
Fast Saddle-Point Algorithm for Generalized Dantzig Selector and FDR Control with the Ordered l1-Norm
本文基于一种新的凸凹鞍点（SP）重构，提出了一种求解广义Dantzig选择器（GDS）估计问题的原始-对偶近似外梯度算法。我们的新配方，使人们有可能采用鞍点优化的最新发展，以实现最佳的$O(1/k)$收敛速度。与最优非SP算法相比，我们不需要指定影响算法性能或解决方案质量的敏感参数。我们还提供了一个新的分析表明，在特殊情况下，即使没有强凸性或强光滑性的可能性，局部加速，以实现率的$O(1/k^2)$。作为应用，我们提出了一个GDS配备有序$\ell_1$ -范数，显示其错误发现率控制变量选择的属性。算法性能比较我们和其他替代品，包括线性ADMM，Nesterov的平滑，Nemirovski的镜像近端，和加速混合近端extragradiation技术。
2016-06-02 math.OC stat.ML
Min-Max Optimisation for Nonconvex-Nonconcave Functions Using a Random Zeroth-Order Extragradient Algorithm
School of Engineering Australian National University（工程学院澳大利亚国立大学）；CIICADA Lab（CIICADA实验室）；Department of Electrical Engineering Polytechnique Montréal（电气工程系蒙特利尔理工学院）；GERAD & Mila（GERAD与Mila）；Department of Mathematics and Industrial Engineering Polytechnique Montréal（数学与工业工程系蒙特利尔理工学院）；GERAD；Department of Electrical and Electronic Engineering University of Melbourne（电气与电子工程系墨尔本大学）
本研究从变分不等式视角出发，探究随机高斯平滑ZO-EG算法在非凸-非凹确定性最小-最大优化多场景下的性能，证明了收敛性并给出复杂度，还提出邻近变分不等式新概念。
2025-09-28 cs.AI cs.LG cs.NA
On the resolution of misspecified convex optimization and monotone variational inequality problems
我们考虑一个错误指定的最优化问题，需要最小化一个函数f（x;q*）在一个封闭的凸集X，其中q* 是一个未知的参数向量，可以通过一个并行学习过程中学习。在此背景下，我们研究了耦合格式的发展，当k趋于无穷大时，生成迭代{x_k，q_k}，然后{x_k}收敛于x*，f（x;q*）在X上的极小元，{q_k}收敛于q*。在本文的第一部分中，我们考虑在函数f的各种凸性假设下，f是光滑或非光滑的问题的解。此外，还提供了速率语句来量化学习过程导致的速率下降。在第二部分中，我们考虑了错误指定的单调变分不等式问题的解与更多的一般均衡问题以及错误指定约束条件的可能性。首先给出了一个常步长的错定外梯度格式，并证明了它的渐近收敛。该方案依赖于问题参数（如Lipschitz常数），并导致我们提出一个错误指定的迭代Tikhonov正则化的变体。数值支持渐近和速率声明。
2015-04-15 math.OC
Second-order dynamical systems with a smoothing effect for solving paramonotone variational inequalities
本文提出一种带平滑效应的二阶动力系统求解参数单调变分不等式，证明其轨迹收敛，并基于时间离散化得到迭代惯性投影型方法，推广并改进了已有结果。
2024-11-22 math.OC
Optimization with Parametric Variational Inequality Constraints on a Moving Set Based on a Smoothing Method
The Hong Kong Polytechnic University（香港理工大学）；Southern University of Science and Technology（南方科技大学）
本文提出了一种基于平滑近似的SIGA算法，用于解决具有移动集的参数变分不等式约束的优化问题，证明了算法收敛性并验证了其在资产组合管理中的有效性。
2026-10-26 math.OC
Solving stochastic weak Minty variational inequalities without increasing batch size
Laboratory for Information and Inference Systems (LIONS), EPFL（洛桑联邦理工学院信息与推理系统实验室（LIONS））；Laboratoire Traitement et Communication d’Information, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院信息处理与通信实验室）；Department of Electrical Engineering (ESAT-STADIUS), KU Leuven（荷语鲁汶大学电气工程系（ESAT-STADIUS））
针对一类以弱Minty变分不等式（MVI）为特征的非凸-非凹问题，提出了一类随机外梯度型算法.与现有的结果外梯度方法在单调设置，采用递减步长不再是可能的弱MVI设置。这导致了诸如增加每次迭代的批量大小之类的方法，然而这可能是非常昂贵的。相比之下，我们提出的方法涉及两个步长，每次迭代只需要一个额外的oracle评估。我们表明，它是可能的，以保持一个固定的步长，而它是唯一的第二个步长，是采取减少，即使在单调设置有趣。几乎必然收敛的建立，我们提供了一个统一的分析，这一家庭的计划，其中包含一个非线性推广的著名的原始对偶混合梯度算法。
2023-02-17 cs.LG math.OC
Averaged proximal reflected gradient method for monotone variational inequalities
School of Science, Lanzhou University of Technology（兰州理工大学理学院）；School of Mathematics and Statistics, Xianyang Normal University（咸阳师范学院数学与统计学院）
本文提出平均近端反射梯度方法，通过新Lyapunov函数建立收敛理论，改进黄金比例算法，采用自适应步长，在多个问题上优于现有方法。
2026-10-16 math.OC
A Novel Catalyst Scheme for Stochastic Minimax Optimization
本文提出基于近端点的催化剂方案，以加速随机梯度与新型随机外梯度方法，在凸优化和强凸-强凹极小极大问题中取得最优或近最优收敛速率。
2023-11-08 math.OC
The Forward-Backward-Forward Method from continuous and discrete perspective for pseudo-monotone variational inequalities in Hilbert spaces
Tseng的forward-backward-forward算法在求解单调和Lipschitz连续算子控制的凸闭集上的变分不等式时，是Korpelevich的外梯度法的一个有价值的替代方法，因为它在每一步中只需要一次投影运算。然而，众所周知，Korpelevich的方法收敛，因此也可以用于解决由伪单调和Lipschitz连续算子控制的变分不等式。本文首先将一个伪单调变分不等式与一个向前-向后-向前动力系统联系起来，并对生成的轨迹进行了渐近分析。该系统的显式时间离散的结果成曾的前向后向前算法与松弛因子，我们证明收敛时，也适用于伪单调变分不等式。此外，我们证明了在强伪单调性下保证了线性收敛。对多面体集上的伪单调变分不等式和分式规划问题进行了数值实验。
2020-07-31 math.OC
Generalized Smooth Stochastic Variational Inequalities: Almost Sure Convergence and Convergence Rates
Arizona State University（亚利桑那州立大学）
本文针对非单调算子不满足光滑性假设的随机变分不等式问题，在α-对称广义光滑假设下研究两类裁剪方法，首次得到无有界性假设的几乎必然收敛结果及α≤1/2下的期望无偏收敛速率。
2025-10-01 math.OC
Last-Iterate Convergence of Optimistic Gradient Method for Monotone Variational Inequalities
过去的超梯度（PEG）[Popov，1980]方法，也被称为乐观梯度法，随着机器学习的变分不等式公式的出现，最近在优化界引起了人们的兴趣。最近，在无约束的情况下，Golowich等人[2020]证明了对于具有Lipschitz Jacobian的Lipschitz和单调算子，可以实现关于算子平方范数的$O(1/N)$最后一次收敛速度。在这项工作中，通过引入一种新的分析，通过势函数，我们表明：（i）这$O(1/N)$最后一个收敛可以实现没有任何假设的雅可比算子，和（ii）它可以扩展到约束的情况下，这是没有得到之前，即使在Lipschitz雅可比。这个证明与Golowich等人[2020]的证明有很大不同，而且它的发现是计算机辅助的。这些结果解决了单调变分不等式的PEG的最后收敛性问题。
2022-10-31 math.OC
Accurate, provable and fast polychromatic tomographic reconstruction: A variational inequality approach
Georgia Institute of Technology, School of Industrial and Systems Engineering（佐治亚理工学院工业与系统工程学院）；University of Southern California, Department of Data Sciences and Operations（南加州大学数据科学与运营系）
本文提出了一种基于变分不等式的EXACT算法，用于多色断层成像重建，证明了其在统计和计算性能上的优势，并展示了其在实际应用中的高效性。
2026-02-11 cs.LG eess.IV math.OC
Optimization viewpoint on Kalman smoothing, with applications to robust and sparse estimation
在本文中，我们提出了卡尔曼滤波和平滑问题的优化配方，并使用这个角度来开发各种扩展和应用。我们首先制定经典的卡尔曼平滑作为一个最小二乘问题，突出特殊的结构，并表明，经典的滤波和平滑算法是等效的一个特定的算法来解决这个问题。一旦建立这种等价性，我们提出扩展卡尔曼平滑系统的非线性过程和测量模型，系统的线性和非线性不等式约束，系统的测量异常值或突然变化的状态，和系统的状态序列的稀疏性必须占。所有扩展都保留了经典算法的计算效率，并且大多数扩展都用数值例子来说明，这些例子是开源卡尔曼平滑Matlab/Octave包的一部分。
2013-03-11 math.OC stat.CO stat.ML
Solving Nonlinear Absolute Value Equations
本文将非线性绝对值方程转化为非线性互补问题，并利用平滑正则化技术高效求解，首次直接处理NAVE问题，证明技术假设等价于经典不等式，扩展误差估计并应用于非对称岭优化和非线性常微分方程。
2026-04-09 math.OC
A smoothing moving balls approximation method for a class of conic-constrained difference-of-convex optimization problems
the Hong Kong Polytechnic University（香港理工大学）
本文提出一种平滑移动球近似方法，用于求解锥约束下的差分凸优化问题，通过将支撑函数平滑近似并结合移动球方法，实现高效求解，同时在凸情况下证明了收敛性与局部收敛速度。
2026-07-21 math.OC
On Smoothing, Regularization and Averaging in Stochastic Approximation Methods for Stochastic Variational Inequalities
传统上，SVI的随机逼近方案依赖于底层映射的强单调性和Lipschitz性质。相反，我们考虑单调随机变分不等式（SVI）问题，其中映射的强单调性和Lipschitz假设被削弱。在本文的第一部分中，为了解决这些缺点，正则化平滑SA（RSSA）计划的开发，其中的步长，平滑，正则化参数是递减序列更新后，每次迭代。在适当的序列假设下，我们证明了该算法生成的迭代收敛到几乎肯定意义下的解，将[16]中的结果扩展到非Lipschitzian区域。出于需要开发非渐近速率报表，在本文的第二部分中，我们开发了一个变体的RSSA计划，表示为aRSSA $_r$，其中我们采用加权迭代平均，参数化的标量$r$其中$r = 1$为我们提供了标准的平均计划。在这种情况下，我们做了几个贡献：首先，我们表明，间隙函数与序列的aRSSA $_r$计划时，参数序列被适当地选择趋于零。第二，我们表明，间隙函数与平均序列减少到零，在$K$步骤后的最佳速率$\cal{O}(1/\sqrt{K})$时，平滑和正则化被抑制和$r < 1$，从而提高了速率声明的标准平均承认率的$\cal{O}(\ln(K)/\sqrt{K})$。第三，我们开发了一个基于窗口的变体，该方案还显示了$r < 1$的最佳速率。值得注意的是，我们证明了该计划的优越性与$r < 1$与其对应的$r=1$的误差界的常数因子时，平均窗口的大小是足够大的。
2016-01-05 math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题，并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广，并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架，用于具有不等式约束的优化，但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中，我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下，证明了该方法具有强的整体收敛性。当收敛点是极小点时，该方法既可以收敛到KKT点，也可以收敛到奇异平稳点。当问题不可行时，它也可能收敛到非线性规划的不可行稳定点。此外，我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下，它是局部线性收敛到KKT点，这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
Escaping limit cycles: Global convergence for constrained nonconvex-nonconcave minimax problems
KU Leuven（鲁汶大学）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
对一类非凸非凹极大极小问题提出了一种新的外梯度型算法。众所周知，寻找一般极小极大问题的局部解在计算上是困难的。这一观察最近激发了研究的结构足以收敛的一阶方法在更一般的设置变分不等式时，所谓的弱明蒂变分不等式（MVI）举行。这个问题类捕获非平凡的结构，我们证明了与例子，其中一个大家庭的现有算法证明收敛到极限环。我们的研究结果需要一个更少的限制性参数范围内的弱MVI相比，以前已知的，从而扩展我们的计划的适用性。该算法适用于约束和正则化问题，并涉及一个自适应步长允许潜在的更大的步长。我们的计划也收敛全球甚至在设置的基础运营商表现出极限环。
2023-02-20 cs.LG math.OC
Improved guarantees for optimal Nash equilibrium seeking and bilevel variational inequalities
研究分层变分不等式问题，提出IR-EG和IPR-EG等算法，改进了双层变分不等式和受VI约束优化的迭代复杂度保证，并首次为非凸环境下的最优纳什均衡计算提供复杂度保证。
2024-09-27 math.OC
A Dual ADMM Framework for Inverse Parameter Identification in Elliptic Variational Inequalities
Cadi Ayyad University（卡迪·阿亚德大学）；Ecole Normale Supérieure, Université Sidi Mohamed Ben Abdellah（西迪穆罕默德·本阿卜拉赫大学高等师范学院）；Sidi Mohamed Ben Abdellah University（西迪穆罕默德·本阿卜拉赫大学）
针对第二类椭圆变分不等式控制的逆参数识别问题，提出一种基于增广拉格朗日与交替方向乘子法（ADMM）的对偶框架，利用Fenchel对偶处理非光滑边界项，实现Robin系数的高效重建。
2026-06-23 math.OC
Optimal Algorithms for Differentially Private Stochastic Monotone Variational Inequalities and Saddle-Point Problems
Southern Methodist University（南卫理公会大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文首次系统地研究了微分隐私约束下的随机变分不等式（SVI）和随机鞍点（SSP）问题。我们提出了两种算法：噪声随机外梯度（NSEG）和噪声不精确随机邻近点（NISPP）。我们发现，这些算法的随机逼近变量达到风险界消失的数据集大小的函数，相对于强间隙函数;和一个放回抽样变量实现最佳的风险界相对于弱间隙函数。我们还证明了弱间隙函数的同阶下界。因此，我们的算法是最优的。我们分析的关键是算法的稳定性界限，这两个是新的，即使在非私人的情况下，调查。具有替换算法的采样的运行时间相对于数据集大小$n$的依赖性对于NSEG为$n^2$，对于NISPP为$\tilde{O}(n^{3/2})$。
2022-04-01 cs.LG math.OC stat.ML
Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise
MIPT（莫斯科物理技术学院）；Mila（米拉研究所）；UdeM（蒙特利尔大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；WIAS（魏尔斯特拉斯应用分析和随机研究所）；HSE University（高等经济大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）
随机一阶方法，如随机外梯度（SEG）或随机梯度下降上升（SGDA）解决光滑极大极小问题，更一般地说，变分不等式问题（VIP）已经获得了很多关注，近年来由于对抗公式在机器学习中的日益普及。然而，虽然已知高概率收敛界更准确地反映了随机方法的实际行为，但大多数收敛结果都是在预期中提供的。此外，唯一已知的高概率复杂性结果是在限制性亚高斯（轻尾）噪声和有界域假设下推导出来的[Juditsky et al.，2011年]。在这项工作中，我们证明了第一个高概率的复杂性结果与对数依赖的置信水平的随机方法解决单调和结构化非单调VIP与非次高斯（重尾）噪声和无界域。在单调的情况下，我们的结果与光尾情况下最著名的结果相匹配[Juditsky等人，2011]，并且对于结构化非单调问题（诸如负共单调、拟强单调和/或星共单调问题）是新颖的。我们通过研究SEG和SGDA与裁剪实现了这些结果。此外，我们数值验证了许多实际的GAN公式的梯度噪声是重尾的，并表明裁剪提高了SEG/SGDA的性能。
2022-11-01 cs.LG math.OC
Taylor approximation for chance constrained optimization problems governed by partial differential equations with high-dimensional random parameters
提出了一种快速、可扩展的最优化方法来求解高维随机参数的偏微分方程（PDE）约束的机会或概率约束最优化问题.为了解决昂贵的偏微分方程解和高维不确定性的关键计算挑战，我们通过泰勒近似构建约束函数的代理，这依赖于导数的有效计算，Hessian的低秩近似和特征值分解的随机算法。针对不等式机会约束不可微的困难，利用机会约束中的间断指示函数的光滑逼近，并采用罚函数法将不等式约束最优化问题转化为无约束问题.此外，我们设计了一个基于梯度的优化方案，逐渐增加平滑和罚参数，以实现收敛，为此，我们提出了一个有效的计算近似成本函数的梯度的泰勒近似。基于一个问题的地下水优化管理的数值实验，我们证明了泰勒近似的准确性，它的能力，大大加快约束评估，连续优化方案的收敛性，以及所提出的方法的可扩展性的PDE解决的数量增加随机参数的尺寸从一千到几十万。
2020-11-19 math.OC stat.CO
Approximate constrained stochastic optimal control via parameterized input inference
Mechanical and Aerospace Engineering, Oklahoma State University（机械与航空航天工程，俄克拉荷马州立大学）
本研究提出基于期望最大化的参数化输入推断方法，采用障碍函数处理多类约束，通过独轮车避障等三类任务验证了算法有效性，并分析了障碍函数参数与平滑算法对性能的影响。
2025-09-03 cs.MA cs.RO cs.SY
