Convergence analysis for pseudo-monotone variational inequality problem involving projections onto a moving ball
针对伪单调变分不等式问题传统投影法的局限，提出一种向可行集内显式表达的球投影、无需预知代价算子Lipschitz常数的迭代格式，并通过数值实验验证了其有效性。
2025-09-06 math.FA math.OC
On the solution of monotone nested variational inequalities
研究了套变分不等式，即可行集是另一个变分不等式的解集的变分不等式。我们提出了一个投影平均Tikhonov算法，需要在文献中最弱的条件，以保证收敛到嵌套变分不等式的解决方案。具体地说，我们只需要上下层变分不等式的单调性。此外，我们提供了第一个复杂性分析的嵌套变分不等式考虑最优性的上，下两个层次。
2021-12-17 math.OC
Recovering Nesterov accelerated dynamics from Heavy Ball dynamics via time rescaling
本文通过时间重标度建立重球动力学与Nesterov加速动力学（及Fast OGDA）的等价关系，从而统一两类连续时间加速方法。
2025-04-22 math.OC
Projected integral control of impedance passive nonlinear systems
针对阻抗无源无穷维非线性系统的约束设定点跟踪问题，提出基于单调微分包含与压缩半群理论的投影积分控制框架，用投影积分控制器替代经典控制器以满足操作约束，并通过三个案例验证了结果。
2025-06-17 math.OC
Distributed projected-reflected-gradient algorithms for stochastic generalized Nash equilibrium problems
研究了具有联合可行性约束和期望值费用函数的随机广义纳什均衡问题。提出了一个分布式随机投影反射梯度算法，并证明了当伪梯度映射单调且解唯一时，该算法的几乎必然收敛。该算法是基于单调算子分裂方法定制的SGNEPs时，期望值的伪梯度映射近似在每次迭代通过增加样本个数的随机变量。最后，我们表明，我们提出的算法的预处理的变体时，伪梯度映射是cocoercive的收敛保证。
2021-03-19 cs.GT cs.SY eess.SY
Spectral projected gradient methods for generalized tensor eigenvalue complementarity problem
本文研究了有限维力学系统稳定性分析中的张量特征值互补性问题（TEiCP），它与多项式优化的最优性条件密切相关。我们研究了两种单调上升谱投影梯度（SPG）方法TEiCP。我们还提出了一种移位的缩放投影算法（SPA），它是对Ling，He和Qi [Comput. Optim。应用程序、DOI 10.1007/s10589-015-9767-z]。与文献中已有的一些梯度法的数值比较，以说明所提出的方法的效率。
2016-01-08 math.OC
A new splitting method for solving composite monotone inclusions involving parallel-sum operators
本文提出了一种新的原始-对偶分裂方法来求解包含Lipschitz算子和平行和型单调算子的复合包含问题。我们的方法扩展了\cite{Siopt4}中的框架，以一种非平凡的方式更一般的一类单调包含。其主要思想是用相关的Kuhn-Tucker集表示原始问题和对偶问题的解集，然后开发一种投影方法来连续逼近Kuhn-Tucker集的可行点。我们提出了一个分裂算法的基础上每个最大单调算子的预解式，以构建一个原始对偶序列，弱收敛到原问题的解决方案。该方法的主要特点是只分别使用每个单调算子的预解式，这与文献中已有的方法不同。作为一个副产品，我们的算法可以专门解决复合凸最小化问题，独立使用每个目标组件的近似算子，并配备了弱收敛保证。
2015-07-25 math.OC
Averaged Heavy-Ball Method
重球法（Heavy-Ball method，HB）以其实现简单、实用高效而著称。然而，与其他动量方法一样，它具有非单调性，并且对于最佳参数，该方法遭受所谓的峰值效应。为了解决这个问题，在本文中，我们考虑一个平均版本的重球方法（AHB）。我们表明，二次问题AHB有一个较小的最大偏差的解决方案比HB。此外，对于一般凸函数和强凸函数，我们证明了AHB及其加权形式的整体收敛的非加速速度。我们进行了几个数值实验，最小化二次和非二次函数，以证明使用平均HB的优点。
2021-11-09 math.OC
On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems
Technion - Israel Institute of Technology（以色列理工学院）
单位迹范数球上的光滑凸最小化问题是机器学习、信号处理、统计等领域中的一个重要最优化问题，它是恢复低秩矩阵的基础。虽然凸优化的一阶方法具有最优的收敛速度，但在最坏的情况下，它们需要在每次迭代时计算满秩SVD，以便计算到迹范数球上的投影。然而，这些满秩SVD计算禁止将此类方法应用于大型问题。一个简单而自然的启发式，以减少计算成本是近似的投影只使用低秩SVD。这就提出了一个问题，如果，在什么条件下，这个简单的启发式确实可以导致可证明的收敛到最优解。本文证明了任何最优解都是欧氏空间的中心。球内投影梯度映射允许的秩至多是梯度向量的最大奇异值的重数。此外，球的半径与该梯度向量的谱间隙成比例。我们展示了这如何容易地暗示局部收敛（即，从“热启动”初始化）的标准一阶方法，仅使用低秩SVD计算。我们还量化了“过度参数化”的影响，即，在这个球的半径上使用更高秩的SVD计算，显示它可以随着适度的更大秩而显着增加。我们还将我们的结果扩展到具有迹范数正则化的优化和有界迹正半定矩阵上的优化。我们的理论研究得到了具体的经验证据的支持，这些证据证明了\textit{correct}在现实世界数据集上具有低秩投影的一阶方法的收敛性。
2020-11-28 cs.LG math.OC
Douglas-Rachford splitting algorithm for projected solution of quasi variational inequality with non-self constraint map
本文提出一种Hilbert空间中的Douglas-Rachford分裂算法，在算子Lipschitz连续且强单调时，利用预解算子与反射预解算子的交互，求解拟变分不等式的投影解。
2024-07-18 math.FA math.OC
Dual Spectral Projected Gradient Method for Generalized Log-det Semidefinite Programming
本文将 Nakagaki 等人提出的对偶谱投影梯度法扩展至含附加项的广义对数行列式半定规划，统一覆盖更多高斯图模型结构，并证明其收敛性且通过数值实验验证了效率。
2024-09-29 math.OC
Gradient Methods for Submodular Maximization
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Yale University（耶鲁大学）
在本文中，我们研究的问题，最大化的连续次模函数，自然出现在许多学习应用，如涉及效用函数的主动学习和传感，矩阵逼近和网络推理。尽管这些函数明显缺乏凸性，但我们证明了随机投影梯度方法可以为凸约束的连续次模函数最大化提供强逼近保证。更具体地说，我们证明了单调连续DR-次模函数，所有不动点的投影梯度上升提供了一个因素$1/2$近似的全球最大值。我们还研究了随机梯度和镜像方法，并表明，$\mathcal{O}(1/ε^2)$迭代后，这些方法达到的解决方案，达到预期的目标值超过$(\frac{\text{OPT}}{2}-ε)$。我们的结果的一个直接应用是最大化的次模函数，定义随机，即次模函数被定义为一个家庭的次模函数与未知的分布的期望。我们将展示如何随机梯度方法自然非常适合这种设置，导致一个因素$1/2$近似时，函数是单调的。特别是，它使我们能够近似最大化离散的，单调的子模块优化问题，通过投影梯度下降的连续松弛，直接连接的离散和连续域。最后，对真实数据的实验表明，与其他连续基线相比，我们的投影梯度方法始终实现最佳效用，同时在计算工作量方面保持竞争力。
2017-08-15 cs.LG math.OC
Averaged proximal reflected gradient method for monotone variational inequalities
School of Science, Lanzhou University of Technology（兰州理工大学理学院）；School of Mathematics and Statistics, Xianyang Normal University（咸阳师范学院数学与统计学院）
本文提出平均近端反射梯度方法，通过新Lyapunov函数建立收敛理论，改进黄金比例算法，采用自适应步长，在多个问题上优于现有方法。
2026-10-16 math.OC
Solving Hidden Monotone Variational Inequalities with Surrogate Losses
Mila Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；Department of Computer Science, Rice University（计算机科学系，里士大学）；CIFAR AI Chair（CIFAR人工智能席位）
本文提出一种基于替代损失的深度学习框架求解隐藏单调变分不等式，保证收敛、统一现有方法并适配ADAM，实验验证在极小极大优化和投影贝尔曼误差中的有效性，并改进TD(0)效率。
2025-05-26 cs.LG math.OC
On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces
研究了求解希尔伯特空间中约束凸极小化问题的投影梯度法的收敛性。我们表明，由采用Armijo线阵的方法产生的点序列弱收敛到所考虑的凸优化问题的解决方案。弱收敛是通过假设目标函数的凸性和Gateaux可微性来建立的，目标函数的Gateaux导数在有界集上是一致连续的。此外，我们对经典的投影梯度法提出了一些改进，以获得强收敛性。新的变体具有以下理想的性质：生成的点的序列是完全包含在一个球的直径等于之间的距离的初始点和解决方案集，和整个序列强烈收敛到最接近的初始点的问题的解决方案。在不作Lipschitz连续性假设的情况下，对这两种方法进行了收敛性分析.
2015-08-07 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题（TRS）是在欧氏球上极小化一个可能非凸的二次函数。（TRS）通常有两种情况，即所谓的“简单情况”和“困难情况”。即使在"简单情况“下，当初始点是从非零测度可行集中任意选取时，经典投影梯度法（PG）产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是，当应用（PG）来解决一个廉价的和可能的非凸的（TRS）的重组，生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”，而不假设我们已经拥有的信息，“容易的情况”举行。我们还考虑了如何使用（PG）全局求解等式约束（TRS）。
2022-07-12 math.OC
$L^\infty$-estimates in optimal transport for non quadratic costs
对于代价函数$c(x,y)=h(x-y)$，当$h\in C^2$齐次为$p\geq 2$时，我们给出了球上$Tx-x$的$L^\infty$ -估计，其中$T$是$h$ -单调映射.由此推导出插值映射$T_t=t(T-I)+I$的估计。
2021-10-18 math.AP math.OC
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算（$k$-SVD）代替了Frank-Wolfe算法中的顶奇异向量计算（$1$-SVD），这可以通过重复应用$1$ -SVD $k$次来完成。或者，我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时，我们的算法具有线性收敛速度，且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
Accelerated Distributed Projected Gradient Descent for Convex Optimization with Clique-wise Coupled Constraints
研究了由团模型的多个群体组成的多智能体系统中一类带耦合约束的分布式凸优化问题。首先，我们提出了一个完全分布式的基于梯度的算法与一个新的运营商的启发凸投影，称为基于投影。接下来，我们仔细检查收敛性能的递减和固定的步长。对于递减问题，在目标函数光滑和约束集紧的假设下，证明了算法收敛到最优解。另外，当目标函数是强单调的时，在不作紧性假设的情况下，证明了严格收敛于唯一解。对于固定步长，在目标函数光滑的假设下，证明了目标残差的非遍历收敛速度为O（1/k）.此外，我们将Nesterov的加速方法应用于所提出的算法，并建立了O（1/k^2）的收敛速度。数值实验表明了该方法的有效性。
2022-11-18 cs.SY eess.SY math.OC
A Parameter-Free Adaptive Reflected Gradient Method for Monotone Variational Inequalities
Zhejiang Normal University（浙江师范大学）
提出一种无参数自适应反射梯度方法求解单调变分不等式，无需Lipschitz常数和额外评估，证明无条件弱收敛及强单调下的R-线性收敛，并实现Ω(L)加速。
2026-09-17 math.OC
Fast First-Order Methods for Monotone Strongly DR-Submodular Maximization
University of Washington（华盛顿大学）
连续DR-次模函数是一类满足收益递减（DR）性质的函数，这意味着它们沿非负方向是凹的。已有的工作研究单调连续DR-子模极大化的凸约束，并提出了有效的算法与近似保证。然而，在许多应用中，例如，计算图的稳定数和概率对数次模模型的平均场推断，DR次模函数具有沿非负方向是\emph{strongly}凹的附加性质，这可以用于获得更快的收敛速率。在本文中，我们首先引入和刻画了一类\emph{strongly DR-submodular}函数，并证明了这样一个性质意味着沿非负方向的强连续性。然后，我们研究了$L$ -光滑单调强DR-次模函数有界曲率，我们展示了如何利用这种额外的结构，以获得改进的近似保证和更快的收敛速度的最大化问题的算法。特别是，我们提出了SDRFW算法，匹配可证明的最佳$1-\frac{c}{e}$近似比后，只有$\lceil\frac{L}μ\rceil$迭代，其中$c\in[0,1]$和$μ\geq 0$的曲率和强DR-子模块化参数。此外，我们研究了投影梯度上升（PGA）方法，并提供了一个改进的$\frac{1}{1+c}$逼近比和线性收敛速度的算法的精细分析。考虑到这两种算法都需要光滑参数$L$的知识，我们提供了DR-子模函数的$L$的\emph{novel}特征，表明在许多情况下，计算$L$可以被公式化为凸问题，即，一个几何规划，可以有效地解决。
2022-05-27 cs.LG math.OC stat.ML
Broximal Gradient Descent: A Projection-Free Sister of Projected Gradient Descent
KAUST（卡塔尔科技大学）
本文提出局部LMO算法，通过局部线性最小化oracle替代传统FW方法中的全局线性最小化oracle，实现了在约束优化中的高效求解，并在多个重要情形下达到了与投影梯度下降相当的收敛速率。
2026-09-29 cs.LG math.OC stat.ML
Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games
本文提出SGN方法，通过自定义块加权几何认证非单调博弈中的收敛性，提供可计算的收缩证书和安全步长。
2025-12-12 cs.GT cs.LG math.OC
