A Globally Linearly Convergent Method for Pointwise Quadratically Supportable Convex-Concave Saddle Point Problems
研究了Drori、Sabach和Teboulle最近提出的求解由光滑凸函数、有限个非光滑凸函数和双线性项组成的非光滑结构凸凹鞍点问题的\emph{Proximal Alternating Predictor-Corrector}(PAPC)算法.我们引入逐点二次可支持性的概念,这是一个放松的标准强凸性假设,并允许我们表明,原始序列是R-线性收敛到一个最优解和原始对偶序列是全局Q-线性收敛。我们说明所提出的方法全变差去噪问题和局部自适应估计信号/图像反卷积和去噪与多分辨率统计约束。
2017-02-28 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法,用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题,并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Alternating Proximity Mapping Method for Convex-Concave Saddle-Point Problems
本文提出一种交替邻近映射迭代方法求解凸-凹鞍点问题,将其推广为参数可变的原始-对偶算法,并证明迭代平均序列收敛到鞍点值,数值实验表明其优于参数固定的同类算法。
2023-10-31 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Nonsmooth convex-concave saddle point problems with cardinality penalties
研究带基数惩罚的凸约束非光滑凸-凹鞍点问题,证明局部鞍点与全局极小极大点存在性,基于下界性质定义强局部鞍点,提出基于卷积的连续松弛框架并建立松弛与原问题的关系,最后通过分布鲁棒稀疏回归等实例验证。
2024-03-26 math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时,我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时,我们的重新启动方案的预言复杂度严格优于任何现有的方法,即使在确定性的情况下。此外,对于每个感兴趣的问题参数,只要存在下界,我们的重新启动方案的预言复杂性是最优的或接近最优的(对数因子)。该方案中所用的子程序本身就是一种新的随机算法,它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架,实现了最先进的预言复杂度,并且可能具有独立的兴趣。
2021-04-10 math.OC
On Well-Structured Convex-Concave Saddle Point Problems and Variational Inequalities with Monotone Operators
LJK, Université Grenoble Alpes(洛朗施瓦茨数学与计算机科学实验室,格勒诺布尔阿尔卑斯大学);ISyE, Georgia Institute of Technology(工业与系统工程学院,佐治亚理工学院)
本文提出K-conic表示法,将凸-凹鞍点问题和变分不等式转化为锥问题,从而扩展了CVX的应用范围。
2026-06-23 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法,用于高效求解凸-凹双线性鞍点问题,并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems
研究了一类求解与Fenchel-Rockafellar对偶相关的凸凹鞍点问题的Douglas-Rachford方法的加速策略和预处理策略.虽然基本迭代在希尔伯特空间中弱收敛,但限制原始-对偶间隙的$\mathcal{O}(1/k)$遍历收敛,在强凸性假设下可以实现加速。也就是说,如果在鞍点公式中的原始或对偶泛函是强凸的,则可以修改该方法以产生$\mathcal{O}(1/k^2)$遍历收敛。在两个泛函都是强凸的情况下,类似的修正导致了对于某些$0 < {\vartheta} < 1$,$\mathcal{O}({\vartheta}^k)$的渐近收敛性.所有方法特别允许预处理,即,在保持所有收敛速度的情况下,用线性分裂方法得到了隐式线性步长的不精确解。所提出的方法的效率进行了验证和数值比较,特别是显示相对于国家的最先进的加速算法的竞争力。
2016-04-21 math.OC
A New Primal-Dual Algorithm with Two Convex Combinations and Linesearch for General Convex-Concave Saddle-Point Problems
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院)
针对凸-凹鞍点问题中凸组合参数的理论与数值要求不一致问题,提出带两个凸组合和线搜索的NPDAL-n算法,该算法具全局收敛性,强凸时加速版本达最优收敛率。
2026-09-01 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题,提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统,并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
First-Order Methods for Solving Convex (Strongly) Concave Minimax Problems with Functional Constraints
Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对带函数约束的凸-(强)凹极小极大问题,利用强对偶性将约束融入目标,提出近端增广拉格朗日方法(PALM),通过非精确加速近端梯度法求解子问题,在凸-强凹情形下达到~O(ε^{-1})的复杂度。
2026-06-18 math.OC
Stochastic Approximation Proximal Subgradient Method for Stochastic Convex-Concave Minimax Optimization
本文针对随机凸-凹极小极大优化提出SAPS方法,并在有界次梯度条件不成立时进一步提出LSAAL方法,证明了两种算法均具有O(N^{-1/2})期望收敛速率及相应的高概率界。
2024-03-29 math.OC
Convex-Concave Interpolation and Application of PEP to Bilinear-Coupled Saddle-Point Problem
Moscow Institute of Physics ans Technology(莫斯科物理科学与技术学院);Innopolis University(因诺波利斯大学);Yandex Research(Yandex研究院)
本文研究凸-凹插值,给出凸-凹、双线性及带双线性耦合的复合函数的插值条件,并针对复合鞍点问题的一阶方法构造性能估计问题(PEP),将算法最坏性能求解转化为优化问题。
2026-08-13 math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和,其中单个项相对简单,但是复合目标函数只能用迭代算法来优化。本文主要研究F(Kx)+ G(x)形式的最优化问题,其中K是固定的线性变换,F和G是非凸和/或不可微的函数.特别是,如果任何一项是非凸的,现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA(镜像凸/凹)算法,一个原始/对偶优化方法,需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描(CT)成像中出现的最优化问题的启发,该算法可以处理一系列非凸的复合最优化问题,并在整个问题近似凸(即,一项中的任何凸性被另一项中的凸性抵消)时提供收敛的理论保证。实验结果表明,几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
Algorithms for finding global and local equilibrium points of Nash-Cournot equilibrium models involving concave cost
本文研究了具有可分凹费用函数的纳什-古诺寡头均衡模型。与具有线性和凸费用函数的模型相比,在这些模型中,局部平衡点可能不是全局的。我们提出了算法,寻找全局和局部平衡点的模型具有可分离的凹费用函数。所提出的算法使用凸包络的可分离凹费用函数盒近似凹成本模型与仿射成本。后者等价于一个可以有效求解的强凸二次规划。为了得到更好的近似解,算法采用了一种只在凹变量空间中进行的自适应矩形二分法。大量随机数据的计算结果表明,所提出的全局平衡点算法对中等数量凹费用函数的模型是有效的,而局部平衡点算法对更大规模的模型是有效的。
2018-05-06 math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中,我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先,我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法,比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation,Popov,和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定,并不同于涅斯捷罗夫的加速。然后,我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Concave tents: a new tool for constructing concave reformulations of a large class of nonconvex optimization problems
Faculty of Mathematics, University of Vienna, Austria(维也纳大学数学学院)
本文提出“凹帐篷”概念,通过锥优化问题的最优值函数为一大类非凸优化问题构造凹近似与凹重构,并提出双重提升策略及原始启发式方法,数值实验表明其作为分支定界算法的上界过程具有优势。
2025-09-17 math.OC
A convex combination based primal-dual algorithm with linesearch for general convex-concave saddle point problems
本文提出一种基于凸组合与自适应线搜索的原对偶算法,用于求解一般光滑非双线性耦合的凸凹鞍点问题,并给出次线性收敛率及强凸情形下O(1/N^2)的加速版本,数值实验验证了其显著优势。
2024-01-16 math.OC
A New Primal-Dual Algorithm with Convex Combination and Extrapolation for Convex-Concave Saddle Point Problems with Nonlinear Coupling Term
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院);School of Science, Lanzhou University of Technology(兰州理工大学理学院)
针对带非线性耦合项的凸-凹鞍点问题,提出一种结合凸组合和外推策略的原始-对偶算法PDAce,通过在线性化点处计算雅可比矩阵并将外推移至映射空间,消除非线性残差项,实现无需线搜索的全局收敛,收敛率为O(1/N),加速版本aPDAce在强凸条件下达到O(1/N^2)甚至线性收敛。
2026-11-17 math.OC
Linear Convergence of a Unified Primal--Dual Algorithm for Convex--Concave Saddle Point Problems with Quadratic Growth
University of Arizona(亚利桑那大学)
本文研究凸-凹鞍点问题,提出广义加速原始-对偶(GAPD)算法,在放宽强凸-强凹要求的二次增长条件下实现线性收敛,并适用于非双线性目标函数。
2025-10-13 math.OC
Regularly abstract convex functions with respect to the set of Lipschitz continuous concave functions
The goal of the paper is to study the particular class of regularly ${\mathcal{H}}$ - convex functions , when ${\mathcal{H}}$ is the set ${\mathcal{L}\widehat{C}}(X,{\mathbb{R}})$ of real-valued Lipschitz continuous classically concave functions defined on a real normed space $X$ . For an extended- real-valued function $f:X \mapsto \overline{\mathbb{R}}$ to be ${\mathcal{L}\widehat{C}}$ -convex it is necessary and sufficient that $f$ be lower semicontinuous and bounded from below by a Lipschitz continuous function ; moreover, each ${\mathcal{L}\widehat{C}}$ - convex function is regularly ${\ma…
2022-08-02 math.OC
Solving strongly convex-concave composite saddle point problems with a small dimension of one of the variables
本文致力于发展的算法方法,确保有效的复杂性边界的情况下,当一组变量是高维的强凸-凹鞍点问题,和其他相对低维(高达100)。所提出的技术基于将此类问题简化为最小化其中一个变量中的凸(最大化凹)泛函的问题,对于该问题,可以使用辅助优化子问题以所需的精度找到任意点处的近似梯度另一个变量。在这种情况下,椭球方法用于低维问题(如果需要,使用不精确的$δ$ -次梯度),加速梯度法用于高维问题。对于一个非常小的维度的情况下的一组变量(最多5),一种方法的基础上的一个新版本的多维模拟的余。E. Nesterov的方法的平方(多维二分法)提出的可能性,使用不精确值的梯度的目标功能。
2022-10-25 math.OC
On Convex optimization without convex representation
本文考虑凸优化问题P:min {f(x):x in K},其中f是凸连续可微函数,K是Rn中的紧致凸集,对连续可微函数(g_j)有表示{x:g_j(x)>=0,j=1,;;,m}.我们讨论的情况下,g_j的不都是凹的(与凸规划,他们都是)。特别地,即使g_j不是凹函数,我们考虑与P相关联的具有参数μ的对数障碍函数phi_μ,其通常定义为凹函数(g_j)。证明了φ_μ,μ->0的任意平稳点序列(x_μ)的任意极限点是问题P的Karush-Kuhn-Tucker点,也是f在K上的全局极小点.
2014-01-28 math.OC
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$,其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法(APDG),实现了(i)在强凸-强凹区域中的最佳线性收敛速率,匹配较低的复杂度界限(Zhang等人,2021),以及(ii)当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后,在不要求强凸性或强收敛性的条件下,得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Distributed Online Stochastic Convex-Concave Optimization: Dynamic Regret Analyses under Single and Multiple Consensus Steps
本文研究多智能体网络上的分布式在线凸-凹优化问题,提出一种基于时变预测映射的在线随机镜像下降算法,证明其动态鞍点遗憾上界并利用多次一致性技术收紧了界,最后通过目标跟踪仿真验证了有效性。
2025-08-13 math.OC
Alternating Subgradient Methods for Convex-Concave Saddle-Point Problems
本文提出一种非常数步长的交替次梯度方法求解凸-凹鞍点问题,证明了在次梯度一致有界等假设下的收敛性,并通过多项数值实验验证了降序步长策略的有效性。
2023-05-25 math.OC
Saddle Networks: Structure-Preserving Architectures for Convex-Concave Functions
EDF Lab Paris-Saclay(法国电力集团巴黎萨克雷实验室);FiMe, Laboratoire de Finance des Marchés de l’Energie(能源市场金融研究所)
提出一种结构保持的分离分解方法,并基于混合Monge型凸性条件证明一维逼近定理,进而设计出通过构造保持凸-凹几何的实用鞍点网络架构,在光滑、非光滑和高秩凸-凹测试函数上实现高精度。
2026-05-27 math.OC stat.ML
Robust Bond Portfolio Construction via Convex-Concave Saddle Point Optimization
本文指出基于敏感性的债券投资组合最坏情况价值估计偏保守,可通过凸优化精确求解,并利用凸-凹鞍点优化构建包含最坏情况价值的多头债券投资组合。
2024-01-10 math.OC q-fin.PM
Solving Non-Convex Non-Concave Min-Max Games Under Polyak-Łojasiewicz Condition
University of Southern California(南加州大学)
在这篇短文中,我们考虑求解一个极小极大零和对策的问题。这个问题已经被广泛研究的凹凸制度,可以有效地计算的整体解决方案。最近,也有发展,寻找一阶稳定点的游戏时,玩家的目标之一是凹或(弱)凹。本文主要研究了非凸非凹机制,其中一个局中人的目标满足Polyak-Schojasiewicz(PL)条件。对于这样的游戏,我们表明,一个简单的多步梯度下降上升算法发现一个$\varepsilon$ -一阶不动点的问题,在$\widetilde{\mathcal{O}}(\varepsilon^{-2})$迭代。
2018-12-07 cs.GT cs.LG math.OC
Near Optimal Stochastic Algorithms for Finite-Sum Unbalanced Convex-Concave Minimax Optimization
The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学)
本文考虑了求解$\min_{\bf x}\max_{\bf y}f(\bf x, \bf y)$型凸-凹极大极小问题的随机一阶算法,其中$\min_{\bf x}\max_{\bf y}f(\bf x, \bf y)$可以由$n$各个分量的平均值表示,这些分量是$L$ -平均光滑的.对于$μ_x$ -强凸- $μ_y$ -强凹的情形,提出了一种新的方法,该方法可以在$\tilde{\mathcal O} \big(\sqrt{n(\sqrt{n}+κ_x)(\sqrt{n}+κ_y)}\log(1/\varepsilon)\big)$随机一阶复杂度下找到问题的一个$\varepsilon$ -鞍点,其中$κ_x\triangleq L/μ_x$和$κ_y\triangleq L/μ_y$ .该上限同时相对于$\varepsilon$、$n$、$κ_x$和$κ_y$接近最优。此外,该算法易于实现,在实际应用中效果良好.我们的方法可以扩展到解决更一般的不平衡凸凹极大极小问题,相应的上复杂性界也接近最优。
2022-01-30 cs.LG math.OC
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa(爱荷华大学);Nanjing University(南京大学)
在本文中,我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知,这一结果是同类中的第一个。作为一个副产品,我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率,这不仅推广了经验风险最小化的现有结果,而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单,只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
Reversible Markov chain estimation using convex-concave programming
我们提出了一个凸-凹的可逆马尔可夫链估计问题,并概述了一个有效的数值方案的解决方案所产生的问题的基础上的原始-对偶内点方法的单调变分不等式。扩展的情况下,其中有关的静态矢量的信息是可用的,也可以解决通过凹凸重构。该方法可以推广应用到离散转移矩阵重加权分析方法中,以从固定概率之间具有指定耦合的独立链进行推断。所提出的方法提供了一个显着的速度相比,一个固定的点迭代的一些相关的应用程序。
2016-03-04 math.OC physics.data-an stat.AP
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$,其中$f$是光滑凸的,$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时,即使$f$不是强凸的,vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作,要么要求$f$和$g$是二次函数,或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术,在每次迭代中使用“鬼”更新作为参考,并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧,我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度(SVRG)方法。
2019-02-03 cs.LG math.OC stat.ML
A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems
Shanghai University(上海大学);Georgia Institute of Technology(佐治亚理工学院)
最近的许多研究工作已被定向到开发有效的算法来解决极大极小问题的理论收敛保证,由于这些问题的相关性,一些紧急的应用程序。本文提出了求解光滑非凸-(强)凹和(强)凸-非凹极大极小问题的一个统一的单循环交替梯度投影(AGP)算法。AGP采用简单的梯度投影步骤,在每次迭代中交替更新原始变量和对偶变量。证明了它能在$\mathcal{O}\left( \varepsilon ^{-2} \right)$中找到目标函数的一个$\varepsilon$ -平稳点(分别为. $\mathcal{O}\left( \varepsilon ^{-4} \right)$)迭代在非凸-强凹(分别为非凸-凹)设置。此外,其获得目标函数的$\varepsilon$ -稳定点的梯度复杂度由$\mathcal{O}\left( \varepsilon ^{-2} \right)$(分别地,$\mathcal{O}\left( \varepsilon ^{-4} \right)$)在强凸-非凹(分别,凸-非凹)设置。据我们所知,这是第一次,一个简单的和统一的单循环算法,解决非凸-(强)凹和(强)凸-非凹极大极小问题。此外,解决后者(强)凸-非凹极大极小问题的复杂性的结果从来没有得到以前的文献。数值结果表明了AGP算法的有效性。此外,我们提出了一个块交替邻近梯度(BAPG)算法求解更一般的多块非光滑非凸-(强)凹和(…
2023-01-15 cs.LG math.OC
Weakly-Convex Concave Min-Max Optimization: Provable Algorithms and Applications in Machine Learning
The University of Iowa(爱荷华大学)
最小-最大问题在机器学习中有着广泛的应用,包括不可分解损失的学习和对数据分布具有鲁棒性的学习。凸-凹极大极小问题是一个非常活跃的研究课题,有着良好的理论基础和有效的算法。然而,它仍然是一个挑战,设计可证明有效的算法为非凸的最小-最大问题的光滑或不光滑。本文研究了一类非凸极小极大问题,其目标函数对于极小化变量是弱凸的,对于极大化变量是凹的。我们提出了一个近端引导的随机次梯度方法和近端引导的随机方差减少的方法,分别为非光滑和光滑的情况下,在这个家庭的问题。我们分析了所提出的方法的时间复杂性,找到一个几乎稳定点的外部最小化问题对应的最小-最大问题。
2021-05-11 cs.LG math.OC
On the Initialization for Convex-Concave Min-max Problems
George Mason University(乔治梅森大学);Boston University(波士顿大学)
凸-凹极小-极大问题在机器学习中无处不在,人们通常使用一阶方法(例如,梯度下降上升)以找到最优解。将凸-凹极小-极大问题与凸极小化问题区分开来的一个特征是极小-极大问题的最佳已知收敛速度与域的大小有显式的依赖关系,而不是与初始点与最优解之间的距离有关。这意味着,即使算法从最优解开始,收敛速度也没有任何改进,因此,不注意初始化。在这里,我们表明,严格凸性严格凸性是足够的收敛速度依赖于初始化。我们还展示了如何不同的算法可以渐近实现依赖于初始化的收敛速度这一类功能。此外,我们表明,所谓的“无参数”算法允许实现改进的初始化依赖的渐近速率,而无需任何学习速率调整。此外,我们利用这个无参数算法作为子程序设计了一个新的算法,该算法对具有增长条件和H{<$}lder连续解映射的严格凸-严格凹极小极大问题获得了一个新的非渐近快速解.实验验证了我们的理论研究结果,并证明了所提出的算法的有效性。
2022-03-08 cs.LG math.OC
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum(中国石油大学);College of Information Science and Engineering(信息科学与工程学院)
该研究围绕在线鞍点问题提出OCCO框架,以广义对偶间隙为性能度量,建立其与OCO的平行关系,开发两种相关算法并验证有效性,同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems
Massachusetts Institute of Technology(麻省理工学院)
本文研究光滑凹凸鞍点问题。具体地说,我们分析了最后一个收敛性的Extragradiation(EG)算法。众所周知,EG的遍历(平均)迭代以$O(1/T)$的速率收敛(Nemirovski,2004)。在本文中,我们证明了EG的最后一个收敛速度为$O(1/\sqrt{T})$。据我们所知,这是第一个文件,以提供一个收敛速度保证的最后一次搜索的EG光滑凹凸鞍点问题。此外,我们证明了这个速度是紧的,证明了一个下界的$Ω(1/\sqrt{T})$的最后一个。因此,这个下界显示了二次分离的遍历和最后的迭代光滑凹凸鞍点问题的收敛速度。
2020-07-07 cs.LG math.OC stat.ML
First-order Convergence Theory for Weakly-Convex-Weakly-Concave Min-max Problems
本文考虑一类非凸非凹极小极大鞍点问题的一阶收敛理论和算法,其目标函数对极小化变量是弱凸的,对极大化变量是弱凹的.它在机器学习中有许多重要的应用,包括训练生成对抗网络(GANs)。我们提出了一个基于非精确邻近点方法的算法框架,其中通过近似求解一系列强单调变分不等式(VI)来求解对应于原始min-max问题的弱单调变分不等式(VI),所述强单调变分不等式是通过在原始梯度映射上添加一个强单调映射来构造的.我们证明了一阶收敛到一个几乎固定的解决方案,原来的最小最大问题的通用算法框架,并建立不同的利率,采用不同的算法来解决每个强单调VI。实验结果验证了算法的收敛性,同时也证明了所提方法对训练GANs的有效性。
2021-07-07 math.OC stat.ML
Zeroth-Order Methods for Convex-Concave Minmax Problems: Applications to Decision-Dependent Risk Minimization
University of California, Berkeley(加州大学伯克利分校);University of Washington, Seattle(西雅图华盛顿大学)
最小最大优化正在成为一个关键的框架,用于分析问题的鲁棒性,以战略和对抗性生成的数据。提出了一种基于随机重排的无梯度乐观梯度下降-上升算法,用于求解具有有限和结构的凹凸极大极小问题。证明了该算法具有与求解凸极小化问题的零阶算法相同的收敛速度。我们进一步专门的算法来解决分布鲁棒性,决策相关的学习问题,梯度信息是不容易获得的。通过说明性的模拟,我们观察到,我们提出的方法学习的模型,同时对敌对的分布变化和战略决策的数据源,并优于现有的方法从战略分类文献。
2022-02-19 cs.LG math.OC
Combining Convex-Concave Decompositions and Linearization Approaches for solving BMIs, with application to Static Output Feedback
K.U. Leuven(荷语鲁汶大学);Katholieke Universiteit Leuven(荷语鲁汶大学)
提出一种将双线性映射分解为两个半正定凸映射之差,并通过线性化凹部分转化为凸子问题的新优化方法,用于求解双线性矩阵不等式约束下的凸函数最小化问题,并应用于输出反馈控制器综合。
2011-09-15 cs.SY eess.SY math.OC
A Modular Algorithm for Non-Stationary Online Convex-Concave Optimization
本文提出一种模块化算法,通过自适应、多预测器聚合与集成组件,在非平稳在线凸-凹优化中实现极小极大最优动态对偶间隙,并兼顾预测误差界与实证有效性。
2025-09-09 cs.LG math.OC
Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Optimization
JD Explore Academy, JD.com Inc(京东集团京东探索研究院);University of Chicago(芝加哥大学)
大规模的凸-凹极大极小问题出现在许多应用中,包括博弈论、鲁棒训练和生成对抗网络的训练。尽管其广泛的适用性,有效地解决这些问题是具有挑战性的,在大量的数据使用现有的随机极大极小方法。我们研究了一类随机极大极小方法,并开发了一个通信效率高的分布式随机外梯度算法,LocalAdaSEG,自适应学习率适合于解决参数服务器模型中的凸凹极大极小问题。LocalAdaSEG具有三个主要特征:(i)减少工作者和服务器之间的通信成本的周期性通信策略;(ii)本地计算的自适应学习率,并且允许无调谐实现;以及(iii)理论上,相对于主方差项的近似线性加速,由随机梯度的估计引起,在光滑和非光滑的凹凸设置中证明。利用LocalAdaSEG求解随机双线性博弈,并训练一个生成对抗网络.我们比较LocalAdaSEG对几个现有的优化极大极小问题,并通过几个实验在同质和异质设置证明其有效性。
2022-09-23 cs.DC cs.LG math.OC
Morphological Perceptron with Competitive Layer: Training Using Convex-Concave Procedure
Universidade Tecnológica Federal do Paraná (UTFPR)(联邦技术大学帕拉纳斯(UTFPR));Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学(UNICAMP))
本文提出用凸凹过程训练具有竞争层的形态学感知器,将训练问题转化为凸函数之差并迭代求解线性规划子问题,实验验证了其有效性。
2025-09-06 cs.LG math.OC
Higher-order methods for convex-concave min-max optimization and monotone variational inequalities
Toyota Technological Institute at Chicago(芝加哥丰田工业大学);Georgia Institute of Technology(佐治亚理工学院)
我们提供了改进的收敛速度的约束凸-凹极小-极大问题和单调变分不等式高阶光滑。在最小-最大设置的$p^{th}$阶导数是Lipschitz连续的,我们给出了一个算法高阶Prox,实现了迭代复杂度为$O(1/T^{\frac{p+1}{2}})$时,获得了一个Oracle的查找一个不动点的$p^{th}$阶方程。我们对弱单调变分不等式问题给出了类似的速率。对于$p>2$,我们的结果改进了Nemirovski [2004]的一阶镜像Prox方法和Monteiro和Svaiter [2012]的二阶方法的迭代复杂度。我们进一步实例化我们的整个算法在无约束的$p=2$的情况下。
2020-07-09 cs.LG math.OC stat.ML
Solving Convex-Concave Problems with $\tilde{\mathcal{O}}(ε^{-4/7})$ Second-Order Oracle Complexity
Tsinghua University(清华大学);Shanghai Qizhi Institute(上海期智研究院);The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);Shanghai AI Lab(上海人工智能实验室)
本文将凸优化的最优二阶方法及 Catalyst 加速思想推广到凸-凹极小极大问题,把二阶 oracle 复杂度从 $\mathcal{O}(ε^{-2/3})$ 改进至 $\tilde{\mathcal{O}}(ε^{-4/7})$。
2025-06-10 cs.LG math.OC
Least-Squares Linear Dilation-Erosion Regressor Trained using a Convex-Concave Procedure
University of Campinas(坎皮纳斯大学)
本文提出了一种用于回归任务的混合形态神经网络,称为线性膨胀-侵蚀回归器($\ell$ -DER)。一个$\ell$ -DER是由线性和形态算子的组合的凸组合。它们产生连续的分段线性函数,因此是通用的逼近器。除了介绍$\ell$ -DER模型,我们制定了他们的培训作为一个差异的凸(DC)规划问题。准确地说,$\ell$ -DER是通过使用凹凸过程(CCP)最小化最小二乘来训练的。使用几个回归任务的计算实验证实了所提出的回归器的功效,优于其他混合形态模型和最先进的方法,如多层感知器网络和径向基支持向量回归器。
2022-09-06 cs.AI cs.LG math.OC
Negative Momentum for Convex-Concave Optimization
UPenn(宾夕法尼亚大学);Yale(耶鲁大学)
本文研究了凸-凹优化中负动量的收敛性,证明了其在通用性和快速收敛性上的优势,扩展了动量方法的应用范围。
2026-04-18 cs.DS cs.LG math.OC
On Min-Max affine approximants of convex or concave real valued functions from $\mathbb R^k$, Chebyshev equioscillation and graphics
University of Michigan(密歇根大学);University of Washington(华盛顿大学);The Hebrew University(希伯来大学)
研究了连续凸或凹函数$f:Δ\subset \mathbb R^k\xrightarrow{} \mathbb R$的Min-Max仿射逼近,其中$Δ$是$\mathbb R^k$的凸紧子集.在$Δ$是单纯形的情况下,证明了$f$的图的$\mathbb R^{k+1}$中的支撑超平面在其顶点处存在一个垂直平移,它是$Δ$上$f$的唯一最佳仿射逼近.对于$k=1$,这个结果提供了线性逼近的Chebyshev等振荡定理的一个推广。我们的结果有有趣的连接到计算机图形学的快速绘制的射影变换的问题。
2021-08-17 cs.CV math.CA math.OC
Beyond first-order methods for non-convex non-concave min-max optimization
Purdue University(普渡大学)
本文研究非凸非凹极小极大优化问题,提出超越一阶方法的高阶方法,在弱化Minty条件下建立O(1/ε^(2/p))速率,并验证其优于一阶方法。
2023-04-17 cs.LG math.OC
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University(南卫理公会大学)
针对凸-强凹鞍点问题,提出单循环加速线性化原始-对偶方法(ALPD)及其非精确版本,通过结合加速梯度下降特性克服次优依赖,在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Convex-Concave Backtracking for Inertial Bregman Proximal Gradient Algorithms in Non-Convex Optimization
Faculty of Mathematics and Computer Science, Saarland University(萨尔兰大学数学与计算机科学学院);Institute of Computer Graphics and Vision, Graz University of Technology(格拉茨技术大学计算机图形与视觉研究所);Faculty of Industrial Engineering, The Technion(技术学院工业工程学院)
本文提出了一种凸凹回溯方法,用于非凸优化中的惯性Bregman近似梯度算法,通过寻找目标函数的凸上界和凹下界,实现步长和外推参数的自适应选择,并证明算法全局收敛到临界点。
2019-11-05 cs.CV cs.LG cs.NA
Convergence Rate of $\mathcal{O}(1/k)$ for Optimistic Gradient and Extra-gradient Methods in Smooth Convex-Concave Saddle Point Problems
Department of Electrical and Computer Engineering, University of Texas at Austin(德克萨斯大学奥斯汀分校电气与计算机工程系);Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(麻省理工学院电气工程与计算机科学系)
研究了求解凸-凹无约束Min-Max问题鞍点的乐观梯度下降-上升(OGDA)方法和额外梯度(EG)方法的迭代复杂性。要做到这一点,我们首先表明,OGDA和EG可以被解释为近似的变种的近点法。这类似于[Nemirovski,2004]中所采取的方法,该方法将EG分析为“概念镜像”的近似。在本文中,我们强调如何梯度使用OGDA和EG试图近似的近点法的梯度。然后,我们利用这种解释表明,这两种算法产生的迭代,保持在一个有界集。我们进一步表明,这两种算法产生的平均迭代的原始对偶间隙收敛率为$\mathcal{O}(1/k)$。我们的理论分析是有趣的,因为它提供了第一个收敛速度估计OGDA在一般的凹凸设置。此外,它提供了一个简单的收敛性分析EG算法的函数值,而不使用紧性假设。
2020-09-29 cs.LG math.OC stat.ML