Optimality Conditions in Variational Form for Non-Linear Constrained Stochastic Control Problems
证明了一类随机微分方程约束最优控制问题的变分不等式形式的最优性条件。成本函数和不等式约束是状态变量在最终时刻的概率分布的函数。该分析以基本的方式使用可达概率分布集合的凸性属性。基于所得到的最优性条件,提出并分析了一种增广拉格朗日方法,用于迭代求解该问题。在该方法的每一次迭代中,一个标准的随机最优控制问题由动态规划求解。两个学术的例子进行了调查。
2018-02-12 math.OC
Relative Well-Posedness of Truncated Constrained Systems Accompanied by Variational Calculus
本文研究截断约束系统的相对适定性,利用变分分析工具引入相对切余导数概念,建立了Lipschitz稳定性和度量正则性的完全刻画及相关变分演算法则。
2025-04-29 math.OC
Tikhonov regularized exterior penalty dynamics for constrained variational inequalities
本文提出一种基于罚正则化动力系统的连续时间方法,通过引入显式Tikhonov正则化参数,在无限维Hilbert空间中求解约束变分不等式,实现强收敛并有效求解约束极小极大问题。
2024-03-20 math.OC
Mirror Descent Methods with Weighting Scheme for Outputs for Constrained Variational Inequality Problems
本文针对经典及带函数约束的变分不等式问题,提出带输出加权方案的镜像下降法,通过给近期点更大权重提升收敛速度,并证明了有界单调算子下的最优收敛速率,数值实验显示其显著优于改进投影法。
2025-06-02 math.OC
Asymptotic behavior of penalty dynamics for constrained variational inequalities
University of Mannheim(曼海姆大学);Faculty of Science and Engineering, Systems, Control and Optimization — Bernoulli Institute, Rijksuniversiteit Groningen(格罗宁根大学科学工程学院系统、控制与优化——伯努利研究所)
本文提出结合 Tikhonov 正则化与外部罚项的多尺度演化方程框架,证明轨迹强收敛到约束变分不等式的最小范数解,并扩展至完全分裂形式。
2026-11-13 math.OC
Crank-Nicolson time stepping and variational discretization of control-constrained parabolic optimal control problems
考虑一类控制约束抛物型最优控制问题,并采用变分离散化方法对其进行时间半离散化。状态方程用Petrov-Galerkin格式处理,状态方程采用分段常数Anckle,测试函数采用分段线性、连续的检验函数。这导致状态和伴随状态的Crank-Nicolson方案的变体。利用超收敛的结果,我们证明了二阶收敛的时间误差的控制。此外,分段线性和连续的抛物线投影的离散状态的双重时间网格上提供了一个二阶收敛近似的最佳状态,而无需进一步的数值工作。数值实验证实了我们的分析结果。
2015-03-06 math.OC
Variational discretization of a control-constrained parabolic bang-bang optimal control problem
研究了跟踪泛函中不含Tikhonov项的控制约束抛物型最优控制问题。对于数值处理,我们使用其Tikhonov正则化的变分离散:对于状态和伴随方程,我们在时间上应用[Daniels et al 2015]的Petrov-Galerkin格式,在空间上应用通常的协调有限元。我们证明了离散正则化问题和极限问题之间的误差的先验估计。由于这些估计是不稳健的,如果正则化参数趋于零,我们建立强大的估计,这-取决于问题的规律性-提高以前的。在bang-bang解的特殊情况下,这些估计得到了进一步的改进。一个数值例子证实了我们的分析结果。
2017-07-05 math.OC
The existence and stability for a class of fuzzy fractional boundary value problems constrained by variational inequalities
Luoyang Normal University(洛阳师范学院);Southwest Petroleum University(西南石油大学);University of Electronic Science and Technology of China(电子科技大学);Sichuan University(四川大学)
本文研究了一种带有积分边界条件的新模糊分数微分变分不等式模型,结合了模糊分数微分包含和欧几里得空间中的变分不等式,通过不同条件证明了该新系统的解的存在性,并给出数值例子加以说明。
2026-07-02 math.OC
Variational State-Dependent Inverse Problems in PDE-Constrained Optimization: A Survey of Contemporary Computational Methods and Applications
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文综述了PDE约束优化中状态依赖反问题的数学理论、计算方法及应用,探讨了可识别性、不相容性等挑战及未来研究方向。
2026-01-16 math.OC
Constrained fractional variational problems of variable order
等周问题是指在积分约束条件下使代价泛函最小或最大化。在这项工作中,我们提出了两个分数等周问题的拉格朗日依赖于一个组合Caputo导数的可变分数阶,我们提出了一个新的变分问题受到完整约束。我们建立必要的最优性条件,以确定分数问题的极小。将代价积分中的终点和终态视为自由的,得到了相应的自然边界条件。
2016-06-24 math.OC
On Projected Solutions for Quasi Equilibrium Problems with Non-self Constraint Map
本文在赋范空间中研究非自约束映射的拟平衡问题投影解的存在条件,通过迭代算法在渐近正则性假设下获得投影解,并推广至拟变分不等式问题。
2023-09-04 math.OC
Uniqueness of a constrained variational problem and large deviations of buffer size
利用尺度性质证明了一类约束变分问题解的全局唯一性。这是用来建立在多维的大偏差问题的解决方案的本质唯一性。其结果是出于模型的缓冲区,特别是概率,和典型的路径溢出的限制,小缓冲区,我们分析。
2007-11-14 math.OC math.PR
Approaching the solving of constrained variational inequalities via penalty term-based dynamical systems
研究了一类与约束变分不等式相关的基于罚项的动力系统的(局部)绝对连续轨线的存在唯一性.依靠李雅普诺夫分析和遍历连续版本的著名Opial引理,我们证明弱遍历收敛的轨道的解决方案的约束变分不等式调查。如果其中一个算子满足更强的单调性,则可以证明轨迹的强收敛性。
2015-03-06 math.DS math.OC
Variational problems on Riemannian manifolds with constrained accelerations
在具有约束加速度的黎曼流形上引入了变分问题,并导出了约束变分问题中存在法极值的必要条件.该问题包括最小化的高阶能量泛函,在一组可容许的曲线定义的约束的协变加速度。此外,我们使用这个框架来解决弹性样条问题,避障在这种类型的约束的存在。
2022-02-24 math-ph math.MP math.OC
Duality of convex relaxations for constrained variational problems
我们证明了弱对偶最近两个凸松弛法之间的约束变分问题,其中的目标是一个积分泛函的最优值的边界。第一种方法,由Valmorbida等人提出(IEEE自动化学报)。Control 61(6):1649--1654,2016),用在充分光滑函数上的凸程序代替变分问题,服从逐点非负约束。第二种方法由Korda等人讨论(arXiv:1804.07565v1 [math.OC]),将变分问题松弛为缩放概率测度上的凸规划。我们还证明了这些无穷维凸规划之间的对偶性是强的,这意味着它们的最优值重合,当变分问题中的容许函数的范围和梯度被约束到有界集。对于多项式数据的变分问题,每个凸松弛的最优值可以通过求解有限维半定规划的弱对偶族来逼近。这些都是强对偶标准约束规格条件下,无论是否强对偶持有无限维水平。因此,这两种松弛方法对于计算的目的是等效的。
2019-06-28 math.AP math.OC
A Particle-Based Algorithm for Distributional Optimization on \textit{Constrained Domains} via Variational Transport and Mirror Descent
University of Tsukuba(筑波大学)
本文提出镜像变分传输(mirrorVT)算法,通过镜像映射将约束域上的分布优化问题转换到无约束对偶域进行Wasserstein梯度下降,并验证了其在单纯形和欧几里得球约束域上的有效性与收敛性。
2022-08-03 cs.AI math.OC
Constrained Lyapunov Stabilization based on Gauss Variational Equations: From Spacecraft Orbital Transfers to Rendezvous
University of Michigan(密歇根大学)
本文扩展基于高斯变分方程的李雅普诺夫反馈律至交会机动,通过障碍函数、饱和及参考调节器处理约束,并引入外环反馈调整半长轴,仿真验证了传统推进和洛伦兹力推进下的安全闭环交会。
2026-06-11 math.OC
Exact augmented Lagrangians for constrained optimization problems in Hilbert spaces II: Applications
本文将精确增广拉格朗日函数理论应用于 Hilbert 空间中的多类约束变分与最优控制问题,并给出其全局/完全精确的充分条件。
2024-09-05 math.OC
Vectorial variational problems in $L^\infty$ constrained by the Navier-Stokes equations
研究了$L^p$和$L^\infty$中的极小化问题,其中容许映射类受Navier-斯托克斯方程约束.这种类型的问题是由气象预报中产生的大气流动的变分数据同化引起的。在这里,我们建立了所有$p$的PDE约束极小的存在性,以及$L^p$极小收敛到$L^\infty$极小作为$p\to\infty$。我们进一步表明,$L^p$极小解决欧拉-拉格朗日系统。最后,所有特殊的$L^\infty$极小构造通过近似$L^p$极小,以解决一个发散偏微分方程组涉及的措施系数,这是一个相应的非发散Aronsson-Euler系统的发散形式的副本。
2021-11-02 math.AP math.OC
Factorization of quasi-variational relations systems
变分关系问题是求解变分不等式、平衡问题、最优化问题、变分包含问题的一般方法。本文考虑一类拟变分关系系统,确定了独立问题的可解性暗示系统解的存在性的条件。然后,我们具体的结果为系统的变分不等式和一个约束纳什均衡问题。
2013-06-01 math.OC
Second-order constrained variational problems on Lie algebroids: applications to optimal control
本文的目的是从内在和几何的角度研究李代数体上的二阶约束变分问题,即由李代数体上的容许曲线的高阶导数决定的代价泛函所定义的优化问题。推广经典的Skinner和Rusk形式的力学在李代数体的背景下,二阶约束力学系统,我们得到相应的动力学方程。我们发现一个辛李子代数胚,在一些温和的正则性条件下,二阶约束变分问题,视为一个前辛哈密顿系统,有一个唯一的解决方案。我们研究了这种形式主义与二阶约束Euler-Poincaré和Lagrange-Poincaré方程等的关系。我们的研究被应用到机械系统的最优控制。
2017-01-17 math-ph math.MP math.OC
Constrained Variational Inference via Safe Particle Flow
University of California San Diego(加州大学圣地亚哥分校)
本文提出基于控制屏障函数的变分推断约束方法,通过定义概率密度函数空间上的屏障函数来编码所需约束,利用刘维尔方程建立变分密度时间导数与粒子漂移的关系,从而系统构建对应的控制屏障函数,确保变分密度满足原始约束。
2026-05-13 cs.SY eess.SY math.OC
Shape optimization in the space of piecewise-smooth shapes for the Bingham flow variational inequality
针对受变分不等式约束的形状优化难题,本文引入特定形状流形与基于Gâteaux半导数、欧拉导数的优化技术,解决宾汉流体变分不等式约束问题,数值验证了方法的适用性与高效性。
2024-03-11 math.OC
Iterative Implicit Gradients for Nonconvex Optimization with Variational Inequality Constraints
针对非凸约束优化问题,提出基于迭代微分的迭代隐式梯度方法,扩展了双层优化的收敛分析,开发了高效大规模计算策略,并提供了误差界限与非渐近收敛保证。
2025-10-12 math.OC
Maximizing Reaction via Spatial Localization: A PDE-Constrained Variational Approach
University of California San Diego(加州大学圣地亚哥分校)
本文针对生物或材料系统中催化材料的最优空间分布,研究PDE约束的变分问题,考虑两种反应动力学,证明全局与局部最大化子不存在,推导变分并提出正则化模型以证明其全局最大化子存在。
2026-10-15 math.AP math.OC
Splitting forward-backward penalty scheme for constrained variational problems
本文研究了求解变分不等式\begin{equation*} A x +\nabla Φ(x)+ N_C (x) \ni 0 \end{equation*}的一种前后分裂算法,其中$H$是实Hilbert空间,$A: H\rightrightarrows H$是极大单调算子,$Φ: H\to\mathbb{R}$是光滑凸函数,$N_C$是闭凸集$C\subset H$的外法锥.约束集$C$表示为两个凸惩罚函数$Ψ_1:H\to\mathbb{R}$和$Ψ_2: H\to\mathbb{R}\cup \{+\infty\}$的最小值集的交集。函数$Ψ_1$是光滑的,函数$Ψ_2$是适当的和下连续的。给定趋于无穷大的惩罚参数序列$(β_n)$和正时间步长序列$(λ_n)$,算法$$ \left\{\begin{array}{rcl} x_1 & \in & H,\\ x_{n+1} & = & (I+λ_n A+λ_nβ_n\partialΨ_2)^{-1}(x_n-λ_n\nablaΦ(x_n)-λ_nβ_n\nablaΨ_1(x_n)),\ n\geq 1. \end{array}\right. $$在平滑部分上执行前向步骤,在其它部分上执行后向步骤。在适当的假设下,我们得到序列$(x_n)$弱遍历收敛到变分不等式的解。当$A$是强单调的或$Φ$是强凸的时,收敛是强的。当$A$是一个…
2014-08-05 math.OC
Side-Constrained Dynamic Traffic Equilibria
该研究针对带边约束的动态交通分配问题,通过反例指出现有均衡存在性结论及经典变分不等式方法的局限,提出基于可行γ偏离的新均衡框架并完成刻画,首次在非凸容量约束下建立了这类均衡的存在性结果。
2024-09-14 cs.GT math.OC
A note on preconditioning weighted linear least squares, with consequences for weakly-constrained variational data assimilation
Université de Toulouse, INP, IRIT(图卢兹大学,国立理工学院,IRIT);CERFACS(欧洲中尺度气象应用研究中心);NAXYS, University of Namur(纳穆尔大学 NAXYS 实验室)
本文分析了使用模型矩阵近似进行线性加权最小二乘预条件化的影响,探讨了模型和加权矩阵的特征结构之间的相互作用,并通过一个小例子说明此类预条件器可能的低效性,最后讨论了这些结果在弱约束4D-Var数据同化问题中的影响。
2017-09-26 cs.NA math.NA math.OC
Control-constrained parabolic optimal control problems on evolving surfaces - theory and variational discretization
Universität Hamburg(汉堡大学)
针对演化曲面上的控制约束线性二次最优控制问题,证明了状态方程弱解的存在唯一性,并提出了变分离散化方法,证明了其收敛性,在弱正则性假设下获得了最优收敛阶。
2011-09-16 cs.NA cs.SY eess.SY
Lagrangian and Hamiltonian Formalism for Constrained Variational Problems
我们考虑的拉格朗日变分问题的解的导数的线性约束。这些解由可微流形$M$中的曲线$γ$给出,这些曲线处处与$M$上的光滑分布$\mathcal D$相切;这样的曲线称为水平曲线。研究了连接$M$的两个子流形$P$和$Q$的水平曲线集$Ω_{P,Q}(M,\mathcal D)$的流形结构.我们考虑定义在$Ω_{P,Q}(M,\mathcal D)$上的作用泛函$\mathcal L$与定义在$\mathcal D$上的含时拉格朗日量相关联。如果拉格朗日满足一个适当的超正则性假设,它是如何构建一个相关的退化哈密尔顿$H$ $TM^*$使用的一般概念{ \em勒让德变换}的向量丛上的地图。证明了$H$的Hamilton方程的解恰好是$\mathcal L$的临界点。
2001-09-24 math.DG math.OC
Variational Contraction Conditions for Iterative Algorithms in Multi-Population Discrete-Time Regularized Mean-Field Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对多总体离散时间正则化平均场博弈,基于Lipschitz连续性假设,提出各迭代算法在任意赋范空间中的显式(最终)收缩条件,并给出有限时域均衡向无限时域均衡收敛的速率。
2026-09-04 cs.SY eess.SY math.OC
The variational discretization of the constrained higher-order Lagrange-Poincaré equations
University of Michigan(密歇根大学);University of Oxford(牛津大学)
本文研究了具有对称性的机械系统变分离散化,通过引入离散联络得到约束高阶拉格朗日-庞加莱方程,用于描述高阶导数依赖的约束拉格朗日系统动力学,并用于构建最优控制变分积分器。
2018-07-16 cs.DM cs.NA cs.SY
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University(普林斯顿大学);Northwestern University(西北大学);Yale University(耶鲁大学)
针对约束凸MDP的挑战,提出基于模型的VPDPO算法,利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化,结合OFU价值迭代与梯度上升更新,在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反,并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
Adaptive Gradient Methods for Constrained Convex Optimization and Variational Inequalities
Boston University(波士顿大学);Northeastern University(东北大学);CNRS(法国国家科学研究中心);Université de Paris(巴黎大学)
我们提供了新的自适应一阶方法约束凸优化。我们的主要算法AdaACSA和AdaAGD+是加速方法,它们是通用的,因为它们对于光滑和非光滑函数都实现了接近最优的收敛速度,即使它们只能访问随机梯度。此外,它们不需要关于目标函数如何参数化的任何先验知识,因为它们自动调整其每坐标学习率。这些可以被看作是约束优化的真正加速Adagrad方法。我们用一个更简单的算法AdaGrad+来补充它们,该算法具有相同的功能,并实现了标准的非加速收敛速度。我们还提出了一组新的结果,涉及自适应方法的无约束优化和单调算子。
2021-02-15 cs.DS cs.LG math.OC
Modeling Linear Inequality Constraints in Quadratic Binary Optimization for Variational Quantum Eigensolver
本文介绍了使用定制的变分形式的变分量子本征求解器,具有表示一定的约束的搜索域上的线性约束二次二元优化问题的解决方案的属性。四个约束,通常出现在几个优化问题建模。所提出的方法的主要优点是,变分形式上的参数的数量保持不变,并取决于出现在约束的变量的数量。此外,这种变分形式总是产生可行的解决方案所代表的约束不同的惩罚技术通常用于将约束问题转化为无约束的。该方法在一个真正的量子计算机中实现了两个已知的优化问题:设施定位问题和集合包装问题。对这两个问题的VQE的2-局部变分形式和一般QAOA实现的结果进行了比较,并表明使用更少的量子门和参数,导致更快的收敛。
2020-11-25 math.OC quant-ph
Robust Constrained Optimization via Sliding Mode Control
Hanse-Wissenschaftskolleg (Institute for Advanced Study)(汉斯科学院(高级研究所))
本文提出基于滑模控制的框架,将一阶KKT条件改写为控制仿射动力系统,实现等式约束优化的精确约束执行和有限时间收敛,具有鲁棒性。
2026-04-30 cs.SY eess.SY math.OC
Discrete Adjoint Method for Variational Integration of Constrained ODEs and its application to Optimal Control of Geometrically Exact Beam Dynamics
本文针对变分积分器推导了离散伴随方法,在ODE和完整约束情形下实现保结构逼近,并应用于几何精确梁动力学的最优控制,通过数值算例验证了收敛阶。
2023-11-27 math-ph math.DS math.MP
Efficient Input-Constrained Impulsive Optimal Control of Linear Systems with Application to Spacecraft Relative Motion
Stanford University(斯坦福大学)
本文提出一种新的脉冲最优控制算法,用于具有输入幅度约束的线性时变系统。通过将问题转化为半无限规划形式,实现了在线场景下的高效求解,应用于航天器低地球轨道相对运动控制。
2026-03-16 cs.SY eess.SY math.OC
Symplectic groupoids and discrete constrained Lagrangian mechanics
本文推广了离散拉格朗日力学和两个主方向变分积分器的理论。首先,我们证明了辛群胚的拉格朗日子流形产生离散动力系统,并从辛几何和泊松几何的角度研究了这些系统的性质,包括它们的正则性和可逆性。接下来,我们使用这个框架-随着广义概念的生成函数由于Sniatycki和Tulczyjew -发展理论的离散约束拉格朗日力学。这允许具有任意约束的系统,包括那些不可积的(在适当的离散,变分意义上)。除了描述这些约束系统的动力学特性外,我们还发展了一个约化理论和Noether对称性,并研究了动力学与变分原理之间的关系。最后,我们应用这一理论对力学和最优控制中约束系统的几个具体例子进行了离散化。
2015-11-03 math.DS math.OC math.SG
Improving the Last-Iterate Guarantees of Anytime Algorithms for Stochastic Monotone Variational Inequalities
University of British Columbia(不列颠哥伦比亚大学)
本研究提出一种带Halpern锚定的单循环随机算法,用于约束凸-凹问题和单调变分不等式,实现任意时间最后迭代收敛速率$O(t^{-1/4})$,优于现有$O(t^{-1/5})$,并适用于无界可行集和无界方差场景。
2026-09-25 cs.LG math.OC
Solving Constrained Variational Inequalities via a First-order Interior Point-based Method
University of California, Berkeley(加州大学伯克利分校)
本文提出了一种求解约束变分不等式问题的边界点方法。受交替方向乘子法(ADMM)在单目标环境下的有效性的启发,我们推广ADMM推导出一阶方法cVI,我们称之为ADMM为基础的边界点法约束VI(ACVI)。我们提供收敛保证ACVI在两个一般类的问题:(i)当运营商是$ξ$ -单调,(ii)当它是单调的,一些约束是积极的,游戏不是纯粹的旋转。当运营商是,此外,L-Lipschitz的后一种情况下,我们匹配已知的下限率的间隙函数的$\mathcal{O}(1/\sqrt{K})$和$\mathcal{O}(1/K)$的最后和平均时间,分别。据我们所知,这是第一次介绍的一阶邻域点方法的一般CVI问题,具有全局收敛保证。此外,不像以前的工作在这种情况下,ACVI提供了一种手段来解决cVI的约束是不平凡的。实证分析表明,ACVI明显优于普通的一阶方法。特别是,(i)随着我们的方法从分析中心接近解决方案,周期性行为显着减少,以及(ii)与基于投影的方法不同,ACVI在接近约束时会出现锯齿形,有效地处理了约束。
2023-03-04 cs.LG math.OC stat.ML
BDF schemes for accelerated gradient flows in projection-free approximation of nonconvex constrained variational minimization
本研究针对非凸约束二次能量最小化问题,提出结合加速梯度流、线性化无投影约束处理与BDF伪时间离散化的算法,构建通用分析框架推导约束违反估计,发现具备修正能量稳定性的BDF-k加速梯度方法族,实验验证其效率与精度优于现有方法。
2025-06-12 cs.NA math.NA math.OC
An Augmented Lagrangian Approach to Conically Constrained Non-monotone Variational Inequality Problems
National Center for Translational Medicine, Shanghai Jiao Tong University(上海交通大学国家转化医学中心);Sino-US Global Logistics Institute, Shanghai Jiao Tong University(上海交通大学中美物流研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);University of Minnesota(明尼苏达大学)
针对凸锥约束的非单调变分不等式,提出增广拉格朗日原始-对偶方法 ALAVI,证明其全局与局部收敛速率,并通过随机非单调实验验证有效性。
2023-06-02 cs.LG math.OC
Variational Quantum Eigensolver with Constraints (VQEC): Solving Constrained Optimization Problems via VQE
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
本文提出混合量子-经典算法范式VQEC,通过经典优化拉格朗日函数和扰动原始-对偶方法扩展VQE以处理约束优化问题,并验证其在QCBO、随机二值策略及大规模线性规划上的有效性。
2024-04-26 cs.LG math.OC quant-ph
Two-stage Distributed Variational Quantum Eigensolver Software for QUBO and Quadratic Programming
Louisiana State University(路易斯安那州立大学)
提出两阶段分布式变分量子本征求解器软件解QUBO和有界约束二次规划问题,用两阶段过程改进训练,还开发QQP框架将约束连续问题转化为QUBO子问题,数值实验验证其有效性。
2026-07-07 cs.SY eess.SY math.OC
Primal Methods for Variational Inequality Problems with Functional Constraints
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对带函数约束的变分不等式问题现有原始-对偶算法需预知最优拉格朗日乘子的问题,提出无需该信息的约束梯度法,证明其非渐近收敛性,复杂度匹配投影法且预言机成本更低,通过数值算例验证了有效性。
2025-03-21 cs.LG math.OC stat.ML
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University(耶鲁大学)
单调变分不等式是数学规划中的一个中心问题,它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久,但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式,超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少?我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题,该收敛速度与Golowich等人的下限相匹配。[2020 a,b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差,它可以被看作是一个适应的范数的运营商,考虑到当地的约束。我们使用切线残差(或切线残差的微小变化)作为势函数来分析额外梯度算法(或乐观梯度下降-上升算法),并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG