Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
A New Primal-Dual Algorithm with Convex Combination and Extrapolation for Convex-Concave Saddle Point Problems with Nonlinear Coupling Term
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）；School of Science, Lanzhou University of Technology（兰州理工大学理学院）
针对带非线性耦合项的凸-凹鞍点问题，提出一种结合凸组合和外推策略的原始-对偶算法PDAce，通过在线性化点处计算雅可比矩阵并将外推移至映射空间，消除非线性残差项，实现无需线搜索的全局收敛，收敛率为O(1/N)，加速版本aPDAce在强凸条件下达到O(1/N^2)甚至线性收敛。
2026-06-15 math.OC
A convex combination based primal-dual algorithm with linesearch for general convex-concave saddle point problems
本文提出一种基于凸组合与自适应线搜索的原对偶算法，用于求解一般光滑非双线性耦合的凸凹鞍点问题，并给出次线性收敛率及强凸情形下O(1/N^2)的加速版本，数值实验验证了其显著优势。
2024-01-16 math.OC
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$，其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法（APDG），实现了（i）在强凸-强凹区域中的最佳线性收敛速率，匹配较低的复杂度界限（Zhang等人，2021），以及（ii）当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后，在不要求强凸性或强收敛性的条件下，得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
The Golden Ratio Primal-Dual Algorithm with Two New Stepsize Rules for Convex-Concave Saddle Point Problems
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；The University of Melbourne（墨尔本大学）
本文提出两种新步长规则的黄金比例对偶算法，用于解决凸-凹鞍点问题，证明其在不同条件下具有次线性或线性收敛性，并通过实验验证其有效性。
2025-12-21 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法，使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$，其中$f$是光滑凸的，$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时，即使$f$不是强凸的，vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作，要么要求$f$和$g$是二次函数，或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术，在每次迭代中使用“鬼”更新作为参考，并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧，我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度（SVRG）方法。
2019-02-03 cs.LG math.OC stat.ML
First-Order Methods for Solving Convex (Strongly) Concave Minimax Problems with Functional Constraints
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对带函数约束的凸-(强)凹极小极大问题，利用强对偶性将约束融入目标，提出近端增广拉格朗日方法(PALM)，通过非精确加速近端梯度法求解子问题，在凸-强凹情形下达到~O(ε^{-1})的复杂度。
2026-06-18 math.OC
A Globally Linearly Convergent Method for Pointwise Quadratically Supportable Convex-Concave Saddle Point Problems
研究了Drori、Sabach和Teboulle最近提出的求解由光滑凸函数、有限个非光滑凸函数和双线性项组成的非光滑结构凸凹鞍点问题的\emph{Proximal Alternating Predictor-Corrector}（PAPC）算法.我们引入逐点二次可支持性的概念，这是一个放松的标准强凸性假设，并允许我们表明，原始序列是R-线性收敛到一个最优解和原始对偶序列是全局Q-线性收敛。我们说明所提出的方法全变差去噪问题和局部自适应估计信号/图像反卷积和去噪与多分辨率统计约束。
2017-02-28 math.OC
Solving polyhedral d.c. optimization problems via concave minimization
使两个凸函数之差最小化的问题称为多面体直流最优化问题，如果两个分支函数中至少有一个是多面体。我们刻画了多面体直流最优化问题的全局最优解的存在性。这个结果被用来表明，只要存在一个最优解可以被证明，多面体直流最优化问题可以解决某些凹极小化算法。在第一个组件是多面体的情况下，不需要进一步的假设，而在第二个组件是多面体的情况下，只需要对第一个组件做一些温和的假设。在两个分量函数都是多面体的情况下，我们得到了原解和对偶解的存在性检验以及原解和对偶解的过程。数值例子进行了讨论。
2020-01-08 math.OC
Policy-based Primal-Dual Methods for Concave CMDP with Variance Reduction
Department of Industrial Engineering and Operations Research, UC Berkeley（加州大学伯克利分校工业工程与运筹学系）；Department of Mechanical Engineering, UC Berkeley（加州大学伯克利分校机械工程系）
针对凹约束马尔可夫决策过程，提出方差缩减的原始-对偶策略梯度算法，利用隐藏凹性实现全局收敛，并证明其收敛速率与样本复杂度，通过悲观项实现零约束违反。
2024-05-26 cs.LG math.OC
A Primal Approach to Facial Reduction for SDP Relaxations of Combinatorial Optimization Problems
Clemson University（克莱姆森大学）
针对带二次目标函数的组合优化问题SDP松弛，提出新型面部约化原始算法，利用可行解简化步骤，平均比标准实现快4倍，改进SDP松弛预处理。
2026-07-30 math.OC
Inertial Primal Dual Dynamics with Hessian-driven Damping for Saddle Point Problems
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
该研究针对带双线性耦合的光滑鞍点问题提出两种含Hessian驱动阻尼的惯性原始对偶动力系统，推导了不同凸性条件下的收敛速率，并将其应用于仿射约束凸优化以补充现有结果。
2026-07-31 math.OC
A Primal-Dual Algorithm with Line Search for General Convex-Concave Saddle Point Problems
在本文中，我们提出了一种原始对偶法，该算法使用耦合函数的部分梯度，具有新的动量项，可以被视为Chambolle和Pock在2016年提出的方法的推广，以解决由凹凸函数$\mathcal L(x,y)=f(x)+Φ(x,y)-h(y)$定义的鞍点问题，其中一般耦合项$Φ(x,y)$不被假设为双线性。假设$\nabla_xΦ(\cdot,y)$是Lipschitz的任何固定的$y$，和$\nabla_yΦ(\cdot,\cdot)$是Lipschitz，我们证明了该序列收敛到一个鞍点，并为任何$(x,y)$，我们推导出误差界的$\mathcal L(\bar{x}_k,y)-\mathcal L(x,\bar{y}_k)$的遍历序列$\{\bar{x}_k,\bar{y}_k\}$。特别是，我们显示$\mathcal O(1/k)$率时，问题仅仅是凸的$x$。此外，假设$Φ(x,\cdot)$是线性的每个固定的$x$和$f$是强凸的，我们得到的遍历收敛速度的$\mathcal O(1/k^2)$ -我们不知道另一个单循环方法在相关文献中实现相同的速度时，$Φ$不是双线性的。最后，我们提出了一个回溯技术，不需要知识的Lipschitz常数，同时确保相同的收敛结果。我们还考虑了凸优化问题的非线性函数约束，我们表明，使用回溯计划，即使当对偶域是无界的，也可以达到最佳的收敛速度。我们测试了我们…
2020-10-20 math.OC
On the Complexity of a Practical Primal-Dual Coordinate Method
UW-Madison（威斯康星大学麦迪逊分校）；EPFL（洛桑联邦理工学院）
我们证明了随机外推和坐标下降的原始对偶法（PURE-CD）的复杂性界，该算法已被证明在求解具有双线性耦合的凸-凹Min-Max问题时具有良好的实际性能。我们的复杂性界限匹配或改善文献中最知名的结果，密集和稀疏（强）凸（强）凹问题。
2022-01-19 cs.LG math.OC stat.ML
Tikhonov-Regularized Second-Order Primal-Dual Dynamics for Convex-Concave Bilinear Saddle Point Problems
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通用的Tikhonov正则化二阶动力系统，用于解决凸-凹双曲正交问题，通过分析收敛性与数值实验验证了其有效性。
2026-08-28 math.DS math.OC
Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems
研究了一类求解与Fenchel-Rockafellar对偶相关的凸凹鞍点问题的Douglas-Rachford方法的加速策略和预处理策略.虽然基本迭代在希尔伯特空间中弱收敛，但限制原始-对偶间隙的$\mathcal{O}(1/k)$遍历收敛，在强凸性假设下可以实现加速。也就是说，如果在鞍点公式中的原始或对偶泛函是强凸的，则可以修改该方法以产生$\mathcal{O}(1/k^2)$遍历收敛。在两个泛函都是强凸的情况下，类似的修正导致了对于某些$0 < {\vartheta} < 1$，$\mathcal{O}({\vartheta}^k)$的渐近收敛性.所有方法特别允许预处理，即，在保持所有收敛速度的情况下，用线性分裂方法得到了隐式线性步长的不精确解。所提出的方法的效率进行了验证和数值比较，特别是显示相对于国家的最先进的加速算法的竞争力。
2016-04-21 math.OC
New Primal-Dual Algorithm for Convex Problems
本文提出一种基于两个新近端项的原始-对偶算法，用于凸-凹鞍点问题，实现O(1/N)收敛，强凸时加速至O(1/N^2)，并引入线搜索策略，实验验证其有效性。
2025-04-23 math.OC
Accelerated Primal-Dual Proximal Gradient Splitting Methods for Convex-Concave Saddle-Point Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学应用数学中心）；Chongqing Research Institute of Big Data, Peking University（北京大学重庆大数据研究院）
本文针对双线性鞍点问题，提出带自适应尺度参数与Bregman散度的加速原始-对偶邻近梯度分裂方法，结合速度校正保证稳定性，经理论证明收敛速率最优，数值结果验证了方法的实际性能。
2026-09-29 cs.NA math.NA math.OC
Asymptotic convergence of constrained primal-dual dynamics
利用稳定性分析中的经典概念研究了求解约束凹最优化问题的原-对偶动力学的渐近收敛性质。我们提供了一个例子，排除了采用混合自动机的不变原理来研究渐近收敛的可能性，激发了这项研究的需要。我们理解的解决方案的原始对偶动力学在Caratheodory意义上，并描述其存在性，唯一性和连续性的初始条件。利用不连续Caratheodory系统的不变原理，证明了原-对偶优化器在原-对偶动力学下是全局渐近稳定的，并且动力学的每个解都收敛于一个优化器.
2015-10-07 math.OC
Alternating Proximity Mapping Method for Convex-Concave Saddle-Point Problems
本文提出一种交替邻近映射迭代方法求解凸-凹鞍点问题，将其推广为参数可变的原始-对偶算法，并证明迭代平均序列收敛到鞍点值，数值实验表明其优于参数固定的同类算法。
2023-10-31 math.OC
Tight Stochastic Condition-Number Dependence in Nonconvex-Strongly-Concave Minimax Optimization
本文证明非凸-强凹极小极大优化中SAPD+的随机复杂度对条件数呈线性依赖，并给出匹配下界，揭示该依赖的必然性。
2026-09-28 cs.LG math.OC
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
Last-Iterate Convergence of Single-Loop Stochastic Methods for Constrained Convex-Concave Minimax Problems
RIKEN AIP（理化学研究所先进智能计算中心）；Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
研究约束凸-凹极小极大问题单环随机方法的最后迭代收敛性，引入扰动框架正则化问题，得到PS-EG和PS-OGDA方法。在已知或未知优化视界时分别给出收敛速率保证，无约束时PS-EG在梯度范数上有更优随时收敛速率。
2026-07-14 math.OC
Convergence Analysis of Quantized Primal-dual Algorithm in Network Utility Maximization Problems
研究了网络效用最大化问题的量化原始对偶法的渐近性和非渐近性，其中一组智能体在线性约束下最大化各自凹目标函数之和.在渐近的情况下，我们使用的信息理论的概念，微分熵功率建立普遍的联合原始对偶，原始和对偶变量的指数收敛速度的最佳实现量化方案下的下界。这些结果提供了指数收敛速度，代理目标函数，通信比特率，代理和约束的数量之间的权衡。在非渐近的情况下，我们得到了联合原始对偶，原始和对偶变量的均方距离的下界从任何有限时间的最优解。无论使用何种量化方案，这些界限都成立。
2016-04-22 math.OC
Efficient Search of First-Order Nash Equilibria in Nonconvex-Concave Smooth Min-Max Problems
我们提出了一个有效的算法寻找一阶纳什均衡的形式$\min_{x \in X}\max_{y\in Y} F(x,y)$，其中的目标函数是光滑的变量和凹$y$的最小-最大问题;集$X$和$Y$是凸的和“投影友好”，$Y$是紧凑的。我们的目标是找到一个$(\varepsilon_x,\varepsilon_y)$ -一阶纳什均衡的平稳性标准，是比常用的近端梯度范数强。所提出的方法是相当简单的：我们执行近似的接近点迭代的原始函数，与Nesterov的算法提供的不精确的预言运行在正则化函数$F(x_t,\cdot)$，$x_t$是当前的原始的。得到的迭代复杂度为$O(\varepsilon_x{}^{-2} \varepsilon_y{}^{-1/2})$直到对数因子。作为副产品，选择$\varepsilon_y = O(\varepsilon_x{}^2)$考虑到了为原始函数的标准Moreau包络寻找$\varepsilon_x$稳定点的$O(\varepsilon_x{}^{-3})$复杂性。此外，当目标是强凹的$y$，我们的算法的复杂性估计提高到$O(\varepsilon_x{}^{-2}{κ_y}^{1/2})$的对数因子，其中$κ_y$是适当调整耦合的条件数。在这两种情况下，复杂度估计是迄今为止最为人所知的，并且仅针对（较弱的）邻近梯度范数准则而已知。同时，我们的方法是“用户友…
2021-05-02 math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Nesterov acceleration for strongly convex-strongly concave bilinear saddle point problems: discrete and continuous-time approaches
Xihua University（西华大学）；Sichuan University（四川大学）
针对强凸-强凹双线性鞍点问题，提出带Nesterov加速的离散原始-对偶梯度算法与连续时间动力系统，验证其最优线性收敛速率，A=0时可恢复经典Nesterov加速方法。
2026-08-12 math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题，提出原始-对偶平滑框架，分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Lower Bounds for Nonconvex-Concave Minimax Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Pennsylvania State University（宾夕法尼亚州立大学）
本文为非凸-凹极小极大优化建立一阶预言机复杂度下界，确定性情形为Ω(L²D_YΔ_Φε⁻³)，随机情形为Ω(L³D_Y²Δ_Φε⁻⁶)，并匹配现有上界。
2026-09-15 math.OC
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Monitoring the Convergence Speed of PDHG to Find Better Primal and Dual Step Sizes
本文通过基于幂迭代的谱半径估计来监测并最小化PDHG的谱半径，从而自适应选择更优的原始与对偶步长，并将其扩展到随机化版本PURE-CD，在多个数值实验中验证了方法的有效性。
2024-03-28 math.OC
Preconditioned primal-dual algorithms for saddle point problems: non-ergodic convergence rates
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）；Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins（奥希金斯大学工程科学研究所）；Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile（智利大学数学建模中心）
研究凸凹鞍点问题的预处理原始对偶算法，利用其光滑与非光滑结构，通过反对称预处理器建立非遍历收敛速率，考虑计算误差，经数值实验验证算法性能良好。
2026-08-04 math.OC
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
Projection-Free Methods for Solving Nonconvex-Concave Saddle Point Problems
本文针对非凸-凹约束鞍点问题提出基于一阶信息的单循环无投影原始-对偶条件梯度方法，并给出不同约束条件下的迭代复杂度保证。
2023-11-01 math.OC
Tight Lower Bounds for Stochastic Nonconvex-Strongly-Concave Minimax Optimization
Nanjing University（南京大学）；the Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文针对光滑非凸-强凹极小极大优化，建立了随机一阶预言机复杂度的紧下界，改进了条件数依赖，并首次给出平均光滑性下界，证明基于二次提升构造。
2026-09-29 math.OC
On the Infimal Sub-differential Size of Primal-Dual Hybrid Gradient Method and Beyond
原始-对偶混合梯度法（PDHG，a.k.a. Chambolle和Pock方法）是求解具有双线性交互作用项的极大极小最优化问题的一种成熟算法。最近，PDHG被用作一种新的LP求解器PDLP的基础算法，其目的是通过利用现代计算资源，如GPU和分布式系统来解决大型LP实例。以往的PDHG算法的收敛性结果大多是关于对偶间隙或到最优解集的距离的，而这在求解过程中往往难以计算。在本文中，我们提出了一个新的进度度量分析PDHG，我们称之为最小次微分大小（IDS），利用PDHG迭代的几何。IDS是光滑问题的梯度范数到非光滑问题的自然扩张，并且在LP情形下与KKT误差相联系。与传统的PDHG进度度量相比，IDS总是具有有限值，并且只能使用当前解决方案的信息来计算。我们证明了IDS是单调衰减的，并且对于求解凸-凹原-对偶问题具有$\mathcal O(\frac{1}{k})$次线性速度，并且如果问题进一步满足线性规划，二次规划，TV-去噪模型等应用所满足的正则性条件，则具有线性收敛速率，我们的分析和IDS的单调衰减的简单性表明，IDS是一个自然的进展度量分析PDHG。作为一个副产品，我们的分析，我们表明，原始-对偶间隙有$\mathcal O(\frac{1}{\sqrt{k}})$收敛速度的最后一次迭代的PDHG凸-凹问题。对PDHG的分析和结果可以直接推广到其它原始对偶法，如邻近点法（PPM）…
2023-03-11 math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
Random extrapolation for primal-dual coordinate descent
EPFL（洛桑联邦理工学院）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
我们引入了一种随机外推的原始-对偶坐标下降法，该方法适应于数据矩阵的稀疏性和目标函数的有利结构。我们的方法只更新原始和对偶变量的一个子集与稀疏的数据，它使用大的步长与密集的数据，保留的好处，为每种情况下设计的具体方法。除了适应稀疏性，我们的方法达到快速收敛的保证在有利的情况下\textit{without any modifications}。特别地，我们证明了度量次正则下的线性收敛性，它适用于强凸-强凹问题和分段线性二次函数。在一般的凸-凹情形下，我们证明了序列的几乎必然收敛和原始-对偶间隙和目标值的最佳次线性收敛速度。数值证据证明了我们的方法在稀疏和密集环境中的最先进的经验性能，匹配和改进了现有的方法。
2020-07-13 cs.LG math.OC stat.ML
Matching Randomized Bounds for Finite-Sum Nonconvex-Concave Optimization
Peking University（北京大学）
该研究刻画了带界对偶域的有限和非凸-凹优化的随机分量预言机复杂度，给出了最坏情况复杂度界，分析了上下界的条件与构造，为该类优化问题提供了复杂度理论支撑。
2026-10-20 math.OC
On the convergence of stochastic primal-dual hybrid gradient
在本文中，我们分析了最近提出的随机原始-对偶混合梯度（SPDHG）算法，并提供了新的理论结果。特别地，我们证明了几乎必然收敛的迭代到一个解决方案的凸性和线性收敛进一步的结构，使用标准的步长独立于强凸性或其他正则常数。在一般凸情况下，我们还证明了在期望的原始-对偶间隙函数上遍历序列的$\mathcal{O}(1/k)$收敛速度。我们的假设线性收敛是度量次正则性，这是满足强凸-强凹的问题，除了许多非光滑和/或非强凸的问题，如线性规划，Lasso，和支持向量机。我们还提供了数值证据表明，SPDHG与标准步长显示出竞争力的实际性能，其专门的强凸变体SPDHG- $μ$和其他国家的最先进的算法，包括方差减少方法。
2022-06-21 math.OC
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快，严重依赖于双线性结构的问题，这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法，使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题，没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下，得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如，对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题，算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。
2025-09-25 math.OC
Gradient Methods with Dynamic Inexact Oracles
我们表明，原始-对偶梯度法，也被称为梯度下降上升法，解决凸-凹极大极小问题，可以被视为一个不精确的梯度法适用于原始问题。梯度的精确计算依赖于求解内部最大化问题，通过另一种梯度法近似计算。为了模拟由迭代算法实现的近似计算例程，我们引入了动态不精确预言机的概念，这是离散时间动力系统，其输出渐近接近精确预言机的输出。我们提出了一个统一的收敛性分析一般的一阶方法实现的动态不精确预言机，并证明其使用在创建新的加速原始对偶法。
2020-07-02 math.OC
Randomized Primal-Dual Methods with Adaptive Step Sizes
本文提出了一类随机原-对偶方法来处理由凹凸函数$\mathcal{L}(\mathbf{x},y)\triangleq\sum_{i=1}^m f_i(x_i)+Φ(\mathbf{x},y)-h(y)$定义的大规模鞍点问题。在$\mathbf{x}$-变量的情况下，我们分析了在$\mathcal{L}$的纯凸性和强凸性假设下所提出方法的收敛速度.特别地，假设对于任何固定的$y$，$\nabla_yΦ(\cdot,\cdot)$是Lipschitz，并且$\nabla_\mathbf{x}Φ(\cdot,y)$是坐标方面的Lipschitz，由算法生成的遍历序列在期望的原始-对偶间隙中实现了$\mathcal{O}(M/k)$的收敛速度。此外，假设$\mathcal{L}(\cdot,y)$对任何$y$都是强凸的，而$Φ(\mathbf{x},\cdot)$对任何$\mathbf{x}$都是仿射的，则该方案在原解次优性方面具有更快的$\mathcal{O}(M/k^2)$速率.我们实现了所提出的算法框架来解决核矩阵学习问题，并与其他最先进的一阶方法进行了测试
2023-03-16 math.OC
A Minimization Approach for Minimax Optimization with Coupled Constraints
本文针对带耦合约束的非凸-强凹极小极大问题，通过引入对偶变量和部分前向-后向包络将其转化为等价的最小化问题，从而可直接应用高效最小化方法求解。
2024-08-30 math.OC
Zeroth-Order primal-dual Alternating Projection Gradient Algorithms for Nonconvex Minimax Problems with Coupled linear Constraints
Department of Mathematics, College of Sciences, Shanghai University（上海大学数学系）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Newtouch Center for Mathematics of Shanghai University（上海大学数学中心）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学科学国家重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
本文提出两种零阶算法，用于解决带有耦合线性约束的非凸极小极大问题，首次在确定性和随机设置下提供了迭代复杂度保证。
2026-03-05 cs.LG math.OC stat.ML
Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms
我们考虑了具有凸损失函数的线性预测的经验风险最小化问题。这类问题可以转化为凸-凹鞍点问题，因此非常适合于原始-对偶一阶算法。然而，原始对偶法通常需要显式强凸正则化以获得快速的线性收敛，并且所需的对偶邻近映射可能不允许封闭形式或有效解。在本文中，我们开发了批量和随机原始对偶法，可以利用强凸性的数据自适应，即使没有正则化，也能够实现线性收敛。我们还提出了自适应原始对偶法，不需要计算的对偶邻近映射，这是特别适合于逻辑斯谛回归的双自由的变种。
2017-03-07 math.OC stat.ML
A first-order stochastic primal-dual algorithm with correction step
研究了求解含余强制算子与复合单调算子和的结构单调包含的随机原对偶分裂算法的收敛性.所提出的方法是{ \em Y. Drori，S. Sabach和M. Teboulle，一类非光滑凸凹鞍点问题的简单算法，2015}和{ \em I. Loris和C. Verhoeven，关于非可分离惩罚情况下迭代软阈值算法的推广，2011}用于鞍点问题。它包括一个向前的步骤所确定的随机评价的cocoercive运营商，一个向后的步骤中的对偶变量涉及的预解的单调算子，和一个额外的向前的步骤，使用随机评价的cocoercive在第一步中介绍。我们证明了弱几乎必然收敛的迭代表明，由该方法产生的原始-对偶序列是随机拟Fejér-单调的考虑原始和对偶包含的零点集。对于鞍点模型的特殊情形，考虑了期望遍历收敛的附加结果。
2016-02-25 math.OC
Convergence Analysis of Hessian-Damped Tikhonov Regularized Dynamics with Oscillation Control for Convex-Concave Bilinear Saddle Point Problems
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文提出一种通用的二阶原始对偶动力系统，结合Tikhonov正则化和Hessian驱动阻尼，用于求解凸凹双线性鞍点问题。通过构造Lyapunov函数分析了系统的渐近收敛性，证明了轨迹强收敛于最小范数解，并抑制了振荡。
2026-05-12 math.DS math.OC
The Influence of an Adjoint Mismatch on the Primal-Dual Douglas-Rachford Method
本文分析了伴随算子失配下原始-对偶Douglas-Rachford方法的收敛性，给出不动点存在条件、原始解误差上界及强凸情形下保证线性收敛的步长，并提出一种同样收敛的替代方法。
2025-11-10 math.OC
Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）
尽管单智能体强化学习取得了成功，但由于智能体之间的复杂交互，多智能体强化学习（MARL）仍然具有挑战性。受传感器网络、群机器人和电网等分散式应用的启发，我们研究了MARL中的策略评估，在MARL中，具有联合观察状态-动作对和私有局部奖励的代理合作学习给定策略的值。在本文中，我们提出了一个双平均方案，每个代理迭代执行平均在空间和时间，分别将相邻的梯度信息和本地奖励信息。我们证明了该算法以全局几何速度收敛到最优解。特别是，这样的算法是建立在原始-对偶的均方投影贝尔曼误差最小化问题，这引起了一个分散的凸-凹鞍点问题的重新制定。据我们所知，提出的双重平均原始-对偶优化算法是第一个实现快速有限时间收敛的分散凹凸鞍点问题。
2019-01-09 cs.LG math.OC stat.ML
Adaptive Primal-Dual Stochastic Gradient Method for Expectation-constrained Convex Stochastic Programs
随机梯度法在求解随机最优化问题中得到了广泛的应用。大多数现有的工程假设没有限制或易于项目的限制。本文考虑带期望约束的凸随机最优化问题。对于这些问题，在可行集上执行投影通常是非常昂贵的。文献中的几个SGM可以应用于解决期望约束随机问题。提出了一种基于拉格朗日函数的原始-对偶型SGM。与现有的方法不同，我们的方法采用了自适应技术，以加快收敛。在每次迭代中，我们的方法查询拉格朗日函数的无偏随机次梯度，然后它更新的原始变量的自适应SGM更新和对偶变量的香草SGM更新。我们表明，所提出的方法具有$O(1/\sqrt{k})$的收敛速度的客观误差和约束违反。虽然收敛速度与现有的SGM相同，但我们观察到它在求解Neyman-Pearson分类和二次约束二次规划时的收敛速度明显快于现有的非自适应原始-对偶SGM和原始SGM。此外，我们修改所提出的方法来解决凹凸随机极大极小问题，我们执行自适应SGM更新的原始和对偶变量。利用原对偶间隙，证明了$O(1/\sqrt{k})$对求解Minimax问题的修正方法的收敛速度.
2021-12-31 math.OC
