Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Convergence Rate of $\mathcal{O}(1/k)$ for Optimistic Gradient and Extra-gradient Methods in Smooth Convex-Concave Saddle Point Problems
Department of Electrical and Computer Engineering, University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）；Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）
研究了求解凸-凹无约束Min-Max问题鞍点的乐观梯度下降-上升（OGDA）方法和额外梯度（EG）方法的迭代复杂性。要做到这一点，我们首先表明，OGDA和EG可以被解释为近似的变种的近点法。这类似于[Nemirovski，2004]中所采取的方法，该方法将EG分析为“概念镜像”的近似。在本文中，我们强调如何梯度使用OGDA和EG试图近似的近点法的梯度。然后，我们利用这种解释表明，这两种算法产生的迭代，保持在一个有界集。我们进一步表明，这两种算法产生的平均迭代的原始对偶间隙收敛率为$\mathcal{O}(1/k)$。我们的理论分析是有趣的，因为它提供了第一个收敛速度估计OGDA在一般的凹凸设置。此外，它提供了一个简单的收敛性分析EG算法的函数值，而不使用紧性假设。
2020-09-29 cs.LG math.OC stat.ML
Random extrapolation for primal-dual coordinate descent
EPFL（洛桑联邦理工学院）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
我们引入了一种随机外推的原始-对偶坐标下降法，该方法适应于数据矩阵的稀疏性和目标函数的有利结构。我们的方法只更新原始和对偶变量的一个子集与稀疏的数据，它使用大的步长与密集的数据，保留的好处，为每种情况下设计的具体方法。除了适应稀疏性，我们的方法达到快速收敛的保证在有利的情况下\textit{without any modifications}。特别地，我们证明了度量次正则下的线性收敛性，它适用于强凸-强凹问题和分段线性二次函数。在一般的凸-凹情形下，我们证明了序列的几乎必然收敛和原始-对偶间隙和目标值的最佳次线性收敛速度。数值证据证明了我们的方法在稀疏和密集环境中的最先进的经验性能，匹配和改进了现有的方法。
2020-07-13 cs.LG math.OC stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快，严重依赖于双线性结构的问题，这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法，使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题，没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下，得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如，对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题，算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
A Variance-Reduced Stochastic Accelerated Primal Dual Algorithm
Rutgers Business School（罗格斯商学院）；Penn State University（宾夕法尼亚州立大学）
在这项工作中，我们考虑强凸强凹（SCSC）鞍点（SP）问题$\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$，其中$f$是$L$-光滑的，$f(.,y)$是$μ$-强凸的每个$y$，和$f(x,.)$是$μ$-强凹的每个$x$。在机器学习中，在稳健的经验风险最小化（ERM）的背景下，例如$\textit{distributionally robust}$ ERM，经常出现这样的问题，其中使用小批量数据点来估计部分梯度。假设我们可以访问无偏随机一阶预言，我们认为Zhang等人[2021]最近针对SCSC SP问题引入的随机加速原始对偶（SAPD）算法是一种针对梯度噪声的鲁棒方法。特别地，当动量参数被设置为零时，SAPD恢复众所周知的随机梯度下降上升（SGDA）作为特殊情况，并且当动量参数被适当地调谐时，即，将$κ\triangleq L/μ$依赖性从SGDA的$κ^2$改善为$κ$。我们提出了有效的方差减少战略SAPD的基础上Richardson-Romberg外推，并表明我们的方法在实践中和理论上提高SAPD。
2022-02-19 cs.LG math.OC
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
A first-order primal-dual method with adaptivity to local smoothness
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Linköping University（林雪平大学）
我们考虑的问题找到一个鞍点的凹凸目标$\min_x \max_y f(x) + \langle Ax, y\rangle - g^*(y)$，其中$f$是一个凸函数的局部Lipschitz梯度和$g$是凸的，可能是不光滑的。我们提出了一个自适应版本的Condat-Vestival算法，它交替原始梯度步骤和双邻近步骤。该方法通过一个简单的规则，涉及$\|A\|$和$f$最近计算的梯度的范数实现步长自适应。在标准假设下，我们证明了一个$\mathcal{O}(k^{-1})$遍历收敛速度。此外，当$f$也是局部强凸和$A$有充分的行秩秩时，我们证明了我们的方法以线性速度收敛。数值实验说明了算法的实用性能。
2021-10-28 cs.LG math.OC
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology（香港科技大学）
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎，因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox，并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置，并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性，并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
University of Washington（华盛顿大学）；University of Wisconsin（威斯康星大学）
针对含闭合凸不确定性集的惩罚分布式鲁棒优化（DRO）问题，提出随机原对偶算法Drago，结合循环与随机组件及正则化原更新实现对偶方差减少，在强凸-强凹DRO问题上获线性收敛速率，数值基准验证了理论结果。
2025-02-11 cs.LG math.OC stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
A Unified Analysis of Extra-gradient and Optimistic Gradient Methods for Saddle Point Problems: Proximal Point Approach
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑解决鞍点问题的两个变种的梯度下降-上升算法，额外梯度（EG）和乐观梯度下降-上升（OGDA）方法。我们发现，这两个算法承认一个统一的分析作为近似的经典的近点法解决鞍点问题。这个观点使我们能够开发一个新的框架，分析EG和OGDA的双线性和强凸-强凹设置。此外，我们使用近点近似解释来概括OGDA在广泛参数范围内的结果。
2019-09-05 cs.LG math.OC stat.ML
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）；Facebook, Inc.（Facebook公司）；Northwestern University（西北大学）
基于非线性光滑函数逼近的时域差分学习方法在现代强化学习中取得了巨大的成功。结果表明，该问题可以转化为随机非凸-强-凹优化问题，而单纯的随机梯度下降-上升算法收敛速度慢，这是一个具有挑战性的问题.现有的方法是基于两个时间尺度或双环随机梯度算法，这也可能需要采样大批量数据。然而，在实践中，单时标单循环随机算法是首选，因为它的简单性，也因为它的步长更容易调整。在本文中，我们提出了两个单时标单循环算法，每一步只需要一个数据点。我们的第一个算法实现动量更新的原始和对偶变量实现了$O(\varepsilon^{-4})$样本的复杂性，这表明在获得一个单时标算法的重要作用的动量。我们的第二个算法改进了第一个应用方差减少的势头，这符合最有名的$O(\varepsilon^{-3})$样本复杂度在现有的作品。此外，我们的方差减少算法不需要一个大批量的检查点。此外，我们的理论结果，这两个算法表示在一个更紧密的形式，同时原始和对偶侧收敛。
2020-08-23 cs.LG math.OC stat.ML
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University（罗格斯大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
迭代硬约束保持（IHT）是一类用于优化稀疏约束最小化模型的投影梯度下降方法，具有最好的效率和可扩展性。据我们所知，现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放，探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中，我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数，并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下，原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是，双IHT的稀疏恢复性能是不变的限制等距属性（RIP），这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外，提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明，双重IHT算法的优越性，最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium
Peking University（北京大学）；Salesforce AI Research（Salesforce人工智能研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对两人零和连续博弈中非凸非凹目标函数难以求解纯纳什均衡的问题，提出粒子基原始-对偶算法PAPAL，通过粒子随机运动逼近混合纳什均衡，并首次给出可实现的非渐近收敛、运行时间与样本复杂度保证。
2024-11-19 cs.GT cs.LG math.OC
Primal-Dual Sequential Subspace Optimization for Saddle-point Problems
Huawei（华为）；Technion, IIT（以色列理工学院）
针对大规模鞍点问题，提出了一种新的序列子空间最优化方法。它迭代地解决了一系列的辅助鞍点问题的低维子空间，跨越的方向来自一阶信息的原始\emph{and}对偶变量。近端正则化被进一步部署以稳定优化过程。实验结果表明，相对于流行的一阶方法显着更好的收敛性。我们分析了子空间对算法收敛性的影响，并评估了其在各种确定性优化场景中的性能，如双线性游戏，基于ADMM的约束优化和生成对抗网络。
2020-08-20 cs.LG math.OC stat.ML
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$，其中$f$是光滑凸的，$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时，即使$f$不是强凸的，vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作，要么要求$f$和$g$是二次函数，或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术，在每次迭代中使用“鬼”更新作为参考，并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧，我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度（SVRG）方法。
2019-02-03 cs.LG math.OC stat.ML
Strongly Polynomial Primal-Dual Algorithms for Concave Cost Combinatorial Optimization Problems
针对一类具有凹代价的组合最优化问题，提出了一种算法设计技术。这种技术产生一个强多项式原始对偶法的凹成本问题，只要这样的算法存在的固定费用对应的问题。对于许多实际的凹费用问题，固定费用问题是一个研究得很好的组合最优化问题。我们的技术保留常数因子近似比，以及仅取决于某些问题参数的比率，精确算法产生精确算法。利用我们的技术，我们得到了一个新的1.61近似算法的凹成本设施定位问题。对于库存问题，我们得到了具有一般凹订货费用的经济批量问题的一个新的精确算法，以及具有一般凹个体订货费用的联合补货问题的一个4-近似算法.
2012-02-13 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法，用于高效求解凸-凹双线性鞍点问题，并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
Accelerated Primal Dual Method for a Class of Saddle Point Problem with Strongly Convex Component
本文提出了一种简单的原始对偶方法DPD，它是求解一类具有或不具有强凸分支的鞍点问题的灵活框架。该方法有线性化形式LDPD和精确化形式EDPD。DPD的每次迭代通过简单的邻近映射顺序地更新对偶变量和原始变量，并通过外推来细化对偶变量。光滑或强凸原始分量的收敛性分析恢复了以前的最先进的结果，而强凸对偶分量的收敛性分析获得了原始对偶间隙的完全加速$O(1/k^2)$。通过对高斯噪声和椒盐噪声图像的全变差图像去模糊实验，证明了利用对偶分量的强凸性实现全变差加速的有效性。
2019-07-14 math.OC
A generalized primal-dual algorithm with improved convergence condition for saddle point problems
推广了Chambolle和Pock提出的求解鞍点问题的原始对偶法，并改进了保证其收敛的条件.改进的收敛保证条件对一般设置是有效的，并且证明是最优的。它也使我们能够识别较大的步长的子问题，从而提供了一个简单而通用的方法来提高原始原始对偶法的数值性能。此外，我们提出了一个结构探索启发式进一步放宽收敛保证条件的一些特定的鞍点问题，这可能会产生更大的步长，从而显着更好的性能。经典的分配问题的数值结果说明了这种启发式算法的有效性。
2021-12-01 math.OC
Convergence rate analysis of the gradient descent-ascent method for convex-concave saddle-point problems
本文研究了求解凸-凹鞍点问题的梯度下降-上升法。利用半定规划的性能估计方法，得到了一个新的以到解集的距离表示的非渐近整体收敛速度。所给出的收敛速度包含了问题的大多数参数，并且对于一大类强凸-强凹鞍点问题的一次迭代是精确的.我们还研究了非强凸性的算法，给出了梯度下降-上升算法线性收敛的充要条件。
2022-09-16 math.OC
Preconditioned primal-dual algorithms for saddle point problems: non-ergodic convergence rates
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学研究所）；Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（智利大学数学建模中心）
研究凸凹鞍点问题的预处理原始对偶算法，利用其光滑与非光滑结构，通过反对称预处理器建立非遍历收敛速率，考虑计算误差，经数值实验验证算法性能良好。
2026-08-04 math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Alternating Proximity Mapping Method for Strongly Convex-Strongly Concave Saddle-Point Problems
本文将交替邻近映射方法从凸-凹鞍点问题扩展到强凸-强凹鞍点问题，给出保证迭代序列及函数值序列线性收敛的充分条件。
2023-10-31 math.OC
An inexact primal-dual method with correction step for a saddle point problem in image debluring
本文提出一种带校正步的非精确原始-对偶方法，放宽步长要求，证明收敛及$O(1/N)$遍历收敛速率，并应用于TV-L$_1$图像去模糊，数值实验验证其有效性。
2025-03-29 math.OC
Nonsmooth convex-concave saddle point problems with cardinality penalties
研究带基数惩罚的凸约束非光滑凸-凹鞍点问题，证明局部鞍点与全局极小极大点存在性，基于下界性质定义强局部鞍点，提出基于卷积的连续松弛框架并建立松弛与原问题的关系，最后通过分布鲁棒稀疏回归等实例验证。
2024-03-26 math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
On the Complexity of a Practical Primal-Dual Coordinate Method
UW-Madison（威斯康星大学麦迪逊分校）；EPFL（洛桑联邦理工学院）
我们证明了随机外推和坐标下降的原始对偶法（PURE-CD）的复杂性界，该算法已被证明在求解具有双线性耦合的凸-凹Min-Max问题时具有良好的实际性能。我们的复杂性界限匹配或改善文献中最知名的结果，密集和稀疏（强）凸（强）凹问题。
2022-01-19 cs.LG math.OC stat.ML
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本，求解带原始强凸性的非双线性鞍点问题，显著提升原始预言复杂度，适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
Adaptive primal dual hybrid gradient algorithms based on average spectrum for saddle point problems
Harbin Institute of Technology（哈尔滨工业大学）；Nanjing University（南京大学）
本文提出了一种基于平均谱的自适应对偶混合梯度算法，用于解决鞍点问题，通过预测-校正框架实现加速并提高数值性能。
2026-02-28 math.OC
An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function
在这项工作中，我们的目标是解决一个凹凸鞍点问题，凹凸耦合函数是光滑的一个变量和非光滑的，并不假设是线性的。这个问题是增加了一个非光滑正则化的光滑组件。我们提出并研究了一种名为OGAProx的新型算法，该算法由平滑变量中的乐观梯度上升步骤与正则化器的近端步骤耦合组成，并且与耦合函数的非平滑分量中的{近端步骤}交替。我们考虑了与所研究的鞍点问题相关的凸-凹、凸-强凹和强凸-强凹情形。关于迭代，我们得到（弱）收敛，收敛速度的顺序$ \mathcal{O}(\frac{1}{K}) $和线性收敛像$\mathcal{O}(θ^{K})$与$ θ< 1 $，分别。在函数值方面，我们分别得到了$ \mathcal{O}(\frac{1}{K}) $，$ \mathcal{O}(\frac{1}{K^{2}}) $和$ \mathcal{O}(θ^{K}) $与$ θ< 1 $阶的遍历收敛速度.我们验证了我们的理论考虑非光滑线性鞍点问题，多核支持向量机的训练和分类问题，将极大极小组公平。
2021-08-06 math.OC
Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
Transformed Primal-Dual Methods For Nonlinear Saddle Point Systems
研究了一类非线性光滑鞍点系统的变换原-对偶（TPD）流。对偶变量的流包含一个强凸的Schur补。通过证明强李雅普诺夫性质，得到了系统鞍点的指数稳定性.采用隐式Euler、显式Euler、隐式-显式和Gauss-Seidel方法，对TPD流动进行加速超松弛，得到了几种TPD迭代。推广到对称TPD迭代，在正则化函数为强凸的假设下，对凹凸鞍点系统保持线性收敛速率。增广拉格朗日方法的有效性可以解释为非强凸性的正则化和Schur补的预处理。算法和收敛性分析关键取决于原始变量和对偶变量的空间的适当的内积。一个清晰的收敛性分析与非线性不精确内部求解器。
2023-02-01 cs.NA math.NA math.OC
A New Primal-Dual Algorithm with Two Convex Combinations and Linesearch for General Convex-Concave Saddle-Point Problems
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
针对凸-凹鞍点问题中凸组合参数的理论与数值要求不一致问题，提出带两个凸组合和线搜索的NPDAL-n算法，该算法具全局收敛性，强凸时加速版本达最优收敛率。
2026-09-01 math.OC
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Inertial Primal Dual Dynamics with Hessian-driven Damping for Saddle Point Problems
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
该研究针对带双线性耦合的光滑鞍点问题提出两种含Hessian驱动阻尼的惯性原始对偶动力系统，推导了不同凸性条件下的收敛速率，并将其应用于仿射约束凸优化以补充现有结果。
2026-07-31 math.OC
Linear Convergence of a Unified Primal--Dual Algorithm for Convex--Concave Saddle Point Problems with Quadratic Growth
本文研究凸-凹鞍点问题，提出广义加速原始-对偶（GAPD）算法，在放宽强凸-强凹要求的二次增长条件下实现线性收敛，并适用于非双线性目标函数。
2025-10-13 math.OC
Optimal Primal-Dual Methods for a Class of Saddle Point Problems
提出了一种新的求解一类确定性和随机鞍点问题的加速原-对偶（APD）方法。该算法的基本思想是在原对偶方法中引入多步加速方案，而不需要对目标函数进行平滑处理。对于确定性SPP，APD方法实现了与Nesterov平滑技术相同的最佳收敛速率。我们的随机APD方法表现出最佳的收敛速率的随机SPP不仅在其依赖于迭代次数，但也对各种问题的参数。据我们所知，这是第一次，这样一个最佳的算法已被开发的随机SPP在文献中。此外，对于确定性和随机SPP，只要存在鞍点，所发展的APD算法就可以处理可行域无界的情况。在无界情形下，我们将Monteiro和Svaiter引入的修正终止准则应用于求解单调包含的SPP问题，并证明了APD方法的收敛速率依赖于从初始点到最优解集合的距离.
2013-09-22 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法，用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题，并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
A Globally Linearly Convergent Method for Pointwise Quadratically Supportable Convex-Concave Saddle Point Problems
研究了Drori、Sabach和Teboulle最近提出的求解由光滑凸函数、有限个非光滑凸函数和双线性项组成的非光滑结构凸凹鞍点问题的\emph{Proximal Alternating Predictor-Corrector}（PAPC）算法.我们引入逐点二次可支持性的概念，这是一个放松的标准强凸性假设，并允许我们表明，原始序列是R-线性收敛到一个最优解和原始对偶序列是全局Q-线性收敛。我们说明所提出的方法全变差去噪问题和局部自适应估计信号/图像反卷积和去噪与多分辨率统计约束。
2017-02-28 math.OC
Fast primal-dual methods for convex-concave bilinear saddle point problems: continuous-time dynamics and discrete algorithms
School of Science, Xihua University（西华大学理学院）；Department of Mathematics, Sichuan University（四川大学数学系）
针对连续可微凸-凹双线性鞍点问题，提出带消失阻尼的原始-对偶动力学系统及结构保持离散化，证明在纯凸-凹设定下原始-对偶轨迹收敛到鞍点，并给出非临界情形下的改进收敛速率。
2026-06-18 math.OC
Primal-Dual Coordinate Descent for Nonconvex-Nonconcave Saddle Point Problems Under the Weak MVI Assumption
本文提出两种原始-对偶算法（NC-PDHG和NC-SPDHG）解决弱MVI假设下的非凸非凹鞍点问题，利用PEPit工具推导收敛性，实验验证了其高效性和线性收敛。
2025-06-18 math.OC
Saddle Networks: Structure-Preserving Architectures for Convex-Concave Functions
EDF Lab Paris-Saclay（法国电力集团巴黎萨克雷实验室）；FiMe, Laboratoire de Finance des Marchés de l’Energie（能源市场金融研究所）
提出一种结构保持的分离分解方法，并基于混合Monge型凸性条件证明一维逼近定理，进而设计出通过构造保持凸-凹几何的实用鞍点网络架构，在光滑、非光滑和高秩凸-凹测试函数上实现高精度。
2026-05-27 math.OC stat.ML
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
Convex-Concave Interpolation and Application of PEP to Bilinear-Coupled Saddle-Point Problem
Moscow Institute of Physics ans Technology（莫斯科物理科学与技术学院）；Innopolis University（因诺波利斯大学）；Yandex Research（Yandex研究院）
本文研究凸-凹插值，给出凸-凹、双线性及带双线性耦合的复合函数的插值条件，并针对复合鞍点问题的一阶方法构造性能估计问题（PEP），将算法最坏性能求解转化为优化问题。
2026-08-13 math.OC
A New Primal-Dual Algorithm with Convex Combination and Extrapolation for Convex-Concave Saddle Point Problems with Nonlinear Coupling Term
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）；School of Science, Lanzhou University of Technology（兰州理工大学理学院）
针对带非线性耦合项的凸-凹鞍点问题，提出一种结合凸组合和外推策略的原始-对偶算法PDAce，通过在线性化点处计算雅可比矩阵并将外推移至映射空间，消除非线性残差项，实现无需线搜索的全局收敛，收敛率为O(1/N)，加速版本aPDAce在强凸条件下达到O(1/N^2)甚至线性收敛。
2026-06-15 math.OC
On Linear Convergence in Smooth Convex-Concave Bilinearly-Coupled Saddle-Point Optimization: Lower Bounds and Optimal Algorithms
Yandex Research（Yandex研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文针对光滑凸-凹双线性耦合鞍点问题中非强凸函数情形，首次建立了统一的复杂度下界，并提出实现复杂度分离的最优线性收敛算法，同时达到最优梯度评估与矩阵-向量乘法复杂度。
2024-11-21 cs.LG math.OC
On Well-Structured Convex-Concave Saddle Point Problems and Variational Inequalities with Monotone Operators
LJK, Université Grenoble Alpes（洛朗施瓦茨数学与计算机科学实验室，格勒诺布尔阿尔卑斯大学）；ISyE, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）
本文提出K-conic表示法，将凸-凹鞍点问题和变分不等式转化为锥问题，从而扩展了CVX的应用范围。
2026-06-23 math.OC
Tikhonov-Regularized Second-Order Primal-Dual Dynamics for Convex-Concave Bilinear Saddle Point Problems
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通用的Tikhonov正则化二阶动力系统，用于解决凸-凹双曲正交问题，通过分析收敛性与数值实验验证了其有效性。
2026-08-28 math.DS math.OC
Robust Bond Portfolio Construction via Convex-Concave Saddle Point Optimization
本文指出基于敏感性的债券投资组合最坏情况价值估计偏保守，可通过凸优化精确求解，并利用凸-凹鞍点优化构建包含最坏情况价值的多头债券投资组合。
2024-01-10 math.OC q-fin.PM
Alternating Proximity Mapping Method for Convex-Concave Saddle-Point Problems
本文提出一种交替邻近映射迭代方法求解凸-凹鞍点问题，将其推广为参数可变的原始-对偶算法，并证明迭代平均序列收敛到鞍点值，数值实验表明其优于参数固定的同类算法。
2023-10-31 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题，提出基于Nesterov外推的惯性加速原始-对偶算法，证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$，数值实验验证了算法效率。
2024-04-16 math.OC
