PL conditions do not guarantee convergence of gradient descent-ascent dynamics
Department of Mathematics, ENS Lyon and CNRS（里昂高等师范学院数学系与法国国家科学研究中心）
本文通过例子说明满足双侧Polyak-Lojasiewicz条件的函数，其梯度下降-上升流线可能无法收敛至鞍点，而是在其周围循环。函数在某一变量强凸，另一变量满足PL条件。
2026-09-09 math.OC
Convergence of gradient descent-ascent analyzed as a Newtonian dynamical system with dissipation
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；MIT（麻省理工学院）；Princeton University（普林斯顿大学）
一个动力系统被定义为一个支付函数的梯度。动力学变量有两种类型，上升和下降。上升变量沿梯度方向移动，而下降变量沿相反方向移动。这种形式的动力系统或非常相似的形式已经在不同的领域，如对策论，优化，神经网络和人口生物学进行了研究。梯度下降-上升被近似为保持总能量的牛顿动力系统，总能量被定义为动能和与支付函数成比例的势能的总和。近似的误差是违反能量守恒的残余力。如果剩余力是纯粹耗散的，那么能量作为李雅普诺夫函数，有界轨迹收敛到稳定状态是有保证的。由于Kose和Uzawa以前的收敛定理要求支付函数在下降变量中是凸的，在上升变量中是凹的。这里的假设是放松的，所以支付函数只需要在上升变量中比在下降变量中全局地“更不凸”或“更凹”。这样的相对凸性条件允许存在多个稳态，不同于凹凸假设。当结合充分条件，意味着存在一个极大极小均衡，有界的轨迹也保证。
2019-03-05 cs.GT cs.LG cs.NE
Auxiliary problem principle and inexact variable metric forward-backward algorithm for minimizing the sum of a differentiable function and a convex function
针对一类由可微函数$f$与凸函数$g$之和构成的函数的极小化问题，我们引入了下降法，它可以看作是由不精确辅助问题原理或不精确变尺度前后向算法产生的.假设全局目标函数满足Kurdyka-Lojasiewicz不等式，我们证明了所提出的算法的收敛性，削弱了前人工作中的假设.
2016-09-10 math.OC
Parameter Optimization in Trajectory Planning via Differentiable Convex Programming
Beihang University（北京航空航天大学）；State Key Laboratory of High-Efficiency Reusable Aerospace Transportation Technology（高效可重复使用航天运输技术国家重点实验室）
本文提出一种可微顺序凸规划框架，通过端到端参数优化提升轨迹规划的数值性能和设计效率。
2025-12-08 math.OC
Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们研究了一个广泛的非凸非凹极大极小博弈，推广了标准的双线性零和对策。在这个类中，玩家控制一个光滑函数的输入，该函数的输出被应用于一个双线性零和对策。这类游戏的动机是生成对抗网络中竞争的间接性质，其中玩家控制神经网络的参数，而实际竞争发生在生成器和神经网络捕获的分布之间。我们从理论上建立，根据问题的具体情况，梯度下降上升动力学可以表现出各种行为对立的收敛到游戏理论上有意义的最小-最大的解决方案。具体来说，不同形式的递归行为（包括周期性和庞加莱递归）是可能的，以及收敛到虚假的（非最小-最大）平衡的初始条件的积极措施。在技术层面上，我们的分析结合了优化理论，对策论和动力系统的工具。
2019-10-28 cs.GT cs.LG math.OC
Quasi-difference-convexity: Modernization of Quasi-differentiable Optimization
本文提议将拟可微函数重命名为拟差凸函数，统一处理复合拟差凸规划的迭代凸规划下降算法，并建立其子序列、序列收敛性及收敛速率，推进了该非凸不可微优化领域的基础理论与应用。
2025-07-16 math.OC
Solving Min-Max Optimization with Hidden Structure via Gradient Descent Ascent
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
许多最近的AI架构都受到了零和对策的启发，然而，它们的动态行为仍然没有得到很好的理解。受此启发，我们研究标准梯度下降上升（GDA）动力学在一个特定的类的非凸非凹零和对策，我们称之为隐藏的零和对策。在这个类中，玩家控制平滑但可能非线性函数的输入，其输出被用作凹凸游戏的输入。与一般的零和对策不同，这些博弈有一个定义明确的解的概念;实现“隐藏”凹凸博弈的冯-诺依曼均衡的结果。我们证明，如果隐藏的游戏是严格凸凹然后香草GDA收敛不仅是当地的纳什，但通常的冯诺依曼解决方案。如果博弈缺乏严格的凸性，GDA可能无法收敛到任何均衡，然而，通过应用标准的正则化技术，我们可以证明收敛到一个轻微扰动的零和对策的冯诺依曼解决方案。我们的收敛保证是非局部的，据我们所知，这是第一个非凸非凹游戏的结果。最后，我们讨论了我们的框架与生成对抗网络的联系。
2021-01-13 cs.GT cs.LG math.OC
Eco-PANDA: A Computationally Economic, Geometrically Converging, Dual Optimization Method on Time-Varying Undirected Graphs
本文研究时变无向图上的分布式凸优化。我们提出了一个线性化版本的主要平均网络双上升（PANDA），同时需要更少的计算成本。该方法，经济主要平均网络双上升（Eco-PANDA），可证明收敛于R-线性速度的最优点给定的代理的目标函数是强凸的，并有Lipschitz连续梯度.因此，该方法在费率类型方面与DIGing和PANDA都具有竞争力。所提出的方法将DIGing等方法的通信成本减半，同时仍然收敛R线性，并具有相同的每单位时间复杂度。
2018-10-29 math.OC
The distributed dual ascent algorithm is robust to asynchrony
分布式对偶上升算法是求解具有可分离费用函数的强凸多智能体最优化问题的一种成熟算法。在本文中，我们研究它的异步对应。具体来说，我们假设每个代理只依赖于从一些邻居收到的过时的信息。从现有的随机和双块坐标计划，我们表现出收敛下异构延迟，通信和更新频率。因此，我们的异步双上升算法可以实现，而不需要任何代理之间的协调。
2021-05-04 cs.DC cs.MA math.OC
An enhanced Baillon-Haddad theorem for convex functions on convex sets
Baillon-Haddad定理证明了定义在希尔伯特空间中的凸连续可微函数的梯度是$β$ -Lipschitz当且仅当它是$1/β$ -余强制的。本文将这一定理推广到定义在希尔伯特空间的开凸集上的Gâteaux可微凸函数。最后，我们给出了$C^{1,+}$凸函数的局部余相关性的一个刻画。
2019-09-05 math.OC
A boosted DC algorithm for non-differentiable DC components with non-monotone line search
本文提出了一种新的方法来应用提升的凸函数差分算法（BDCA）来求解非凸不可微的两个凸函数（DC函数）的差分问题。在第一个DC分量可微而第二个DC分量可能不可微的情况下，BDCA算法的主要思想是利用DC算法（DCA）计算出的点来定义一个下降方向，并进行单调线搜索，以改善目标函数的下降，加速DCA算法的收敛。然而，如果第一DC分量是不可微的，则BDCA计算的方向可以是上升方向，并且不能执行单调线搜索。我们的方法使用非单调线搜索的BDCA（nmBDCA），使一个可能的增长，由一个参数控制的目标函数值。在适当的假设下，我们表明，任何集群点的nmBDCA所产生的序列是一个临界点的问题正在考虑中，并提供一些迭代复杂性的界限。此外，如果第一DC分量是可微的，我们给出了不同的迭代复杂度界，并证明了序列在目标函数的Kurdyka-Schojasiewicz性质下的完全收敛性.一些数值实验表明，nmBDCA优于DCA，如其单调版本。
2022-06-17 math.OC
Convex mixed integer nonlinear programming problems and an outer approximation algorithm
本文主要研究一类具有不可微数据的凸混合整数非线性规划问题。通过放弃可微性假设，我们用从KKT条件得到的次梯度代替梯度，并使用外部近似方法将凸MINLP重新表示为一个等价的MILP主程序。通过求解有限个子问题序列和松弛MILP问题，我们建立了一个外逼近算法来寻找这个凸MINLP的最优解。并给出了算法的收敛性。本文的工作将外逼近方法从处理凸MINLP问题的可微情形推广到不可微情形。
2015-02-23 math.OC
Generalized Adjoint Method
University of Toronto（多伦多大学）
本文提出广义共轭方法，用于在非全纯成本和约束条件下计算最陡上升方向。
2026-01-19 math.OC
Dissipative Gradient Descent Ascent Method: A Control Theory Inspired Algorithm for Min-max Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Peking University（北京大学）
针对极小极大优化中GDA的振荡不稳定性，提出耗散GDA（DGDA）方法，通过引入耗散项抑制振荡，在双线性和强凸-强凹设置中实现线性收敛，并超越GDA、EG和乐观GDA等基线方法。
2024-03-14 cs.LG math.OC
Constructing Tight Quadratic Relaxations for Global Optimization: I. Outer-Approximating Twice-Differentiable Convex Functions
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种新的切线平面算法，用于构建二次可微凸函数的紧二次下界，以提高确定性全局优化的效率和精度。
2024-08-23 math.OC
On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们专注于问题的在线主成分分析的后悔最小化框架。对于这个问题，所有现有的后悔最小化算法的完全对抗设置是基于一个半正定凸松弛，因此需要二次记忆和SVD计算（薄或全）的每一个迭代，这相当于至少二次运行时间每次迭代。这与相应的随机i.i.d.的问题，这是最近被广泛研究的变种，并承认非常有效的梯度上升算法，直接对自然的非凸制定的问题，因此只需要线性内存和线性运行时间每次迭代。这就提出了一个问题：非凸在线梯度上升算法是否可以在在线对抗环境中最大限度地减少遗憾？在本文中，我们采取了一个步骤来回答这个问题。我们引入了一个\textit{adversarially-perturbed spiked-covariance model}，其中每个数据点被假设为遵循一个固定的随机分布，在协方差矩阵中具有非零的谱间隙，但随后被一些对抗向量扰动。该模型是一个经过充分研究的标准随机设置的自然扩展，允许在数据中出现非平稳（对抗）模式，因此可能会更好地近似真实世界的数据流。我们表明，在一个有趣的制度的参数，当非凸的在线梯度上升算法初始化的“热启动”向量，它可证明最大限度地减少遗憾的概率很高。我们进一步讨论了计算这样一个“热启动”向量的可能性，以及使用正则化来获得快速的后悔率。我们的理论研究结果得到了合成和真实世界数据的实证实验的支持。
2019-01-31 cs.LG math.OC stat.ML
A stochastic use of the Kurdyka-Lojasiewicz property: Investigation of optimization algorithms behaviours in a non-convex differentiable framework
本文提出一个利用新型Kurdyka-Lojasiewicz性质的框架，在非凸可微条件下桥接下降不等式与随机过程几乎必然收敛，为随机优化算法提供收敛保证。
2024-11-07 math.OC
Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization
University of Iowa（爱荷华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tencent AI Lab（腾讯人工智能实验室）
历元梯度下降法（也称为Hazan和Kale（2011）提出的Epoch-GD）被认为是随机强凸最小化的突破，其实现了$O(1/T)$的最优收敛速度，其中对于{ \it目标间隙}具有$T$迭代更新。然而，它的扩展，以解决强凸性和强凸性的随机极大极小问题仍然是开放的，它仍然是不清楚的快速$O(1/T)$的{ \it对偶间隙}是可实现的强凸性和强凸性下的随机极大极小优化。虽然最近的一些研究已经提出了具有快速收敛速度的随机算法来解决最小-最大问题，但它们需要对问题进行额外的假设，例如，光滑，双线性结构等，在本文中，我们提供了一个尖锐的分析逐时随机梯度下降上升方法（简称为时代-GDA）解决强凸强凹（SCSC）最小最大值问题，而不施加任何额外的假设光滑或功能的结构。据我们所知，我们的结果是第一个，显示时代-GDA可以达到最优率的$O(1/T)$的对偶间隙一般SCSC最小-最大问题。我们强调，这种推广的时代-GD强凸最小化问题的时代-GDA的SCSC最小-最大问题是不平凡的，需要新的技术分析。此外，我们注意到，关键引理也可以用于证明弱凸强凹极小极大问题的Epoch-GDA的收敛性，从而在不诉诸光滑性或其他结构条件的情况下获得接近最优的复杂性。
2020-06-17 cs.LG math.OC stat.ML
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University（耶鲁大学）
单调变分不等式是数学规划中的一个中心问题，它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久，但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式，超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少？我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题，该收敛速度与Golowich等人的下限相匹配。[2020 a，b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差，它可以被看作是一个适应的范数的运营商，考虑到当地的约束。我们使用切线残差（或切线残差的微小变化）作为势函数来分析额外梯度算法（或乐观梯度下降-上升算法），并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG
"Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent
开发和分析非光滑（随机或确定性）凸优化的一阶方法的常用方法假设目标函数是一致Lipschitz连续的参数$M_f$。然而，在许多设置中，不可微凸函数$f(\cdot)$不是一致Lipschitz连续的-例如（i）经典支持向量机（SVM）问题，（ii）最小化凸二次函数的最大值的问题，甚至（iii）具有$f(x) := \max\{0, x\} + x^2$的单变量设置。在这里，我们开发了一个概念“相对连续性”，这是相对于用户指定的“参考函数”$h(\cdot)$（这应该是计算上易于处理的算法），我们表明，许多不可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对连续的。我们也同样发展了一个“相对随机连续“的随机设置的概念。我们分析了两个标准的算法-（确定性）镜像下降算法和随机镜像下降算法-在这两个新的设置解决最优化问题，我们第一次开发的计算保证的情况下，目标函数是不一致的Lipschitz连续。本文是不可微凸优化的一个姊妹篇，是Lu、Freund和Nesterov最近的一篇论文的姊妹篇，他们对可微凸优化给出了类似的结果。
2018-08-14 math.OC
An Efficient Solution Method for Solving Convex Separable Quadratic Optimization Problems
本文基于KKT系统的迭代求解方案，提出一种求解带多凸可分约束的二次规划问题的高效方法，证明其等价于对偶坐标上升算法，且数值实验表明其在大规模问题上优于Gurobi求解器。
2025-10-13 math.OC
Some Convexity Criteria for Differentiable Functions on the 2-Wasserstein Space
本文提出2-Wasserstein空间上可微函数测地凸性的新准则，通过无加速度曲线及Wasserstein梯度与Hessian不等式进行刻画。
2023-06-20 math.FA math.OC
Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文提出了双时间尺度梯度下降上升（TTGDA）算法的统一分析，用于解决非凸-凹极小极大优化问题，高效找到平稳点并建立复杂度理论界限，首次系统证明其在训练GAN等任务中的优越性。
2025-01-27 cs.LG math.OC
Existence of differentiable curves in convex sets and the concept of direction of the flow in mass transportation
本文考虑局部凸拓扑向量空间的凸子集。给定凸子集中的一个不动点，证明了存在一条完全包含在凸子集中且沿给定方向离开该点的曲线当且仅当方向向量包含在该点处切锥的序列闭包中.我们应用这一结果的存在性弱可微家庭的概率测度的光滑流形和分布，可以出现作为其衍生物的表征。这给了我们一种在非常一般的背景下考虑质量输运方程的方法，在这种背景下，方向的概念原来是由科隆博代数的一个元素给出的。
2018-10-14 math.OC math.PR
Star Quasiconvexity: a Unified Approach for Linear Convergence of First-Order Methods Beyond Convexity
Ton Duc Thang University（胡志明市通德大学）；Universidad de Tarapacá（塔拉帕卡大学）
本文引入并研究了一类新的广义凸函数——星拟凸函数，统一了凸、星凸、拟凸、类星凸和正齐次函数，并证明了强星拟凸函数上的近端点算法线性收敛到唯一解。
2026-05-25 math.OC
A new use of the Kurdyka-Lojasiewicz property to study asymptotic behaviours of some stochastic optimization algorithms in a non-convex differentiable framework
本文提出一种基于 KL 理论、以期望为核心的宏观分析方法，用于研究满足下降条件的随机优化算法在非凸可微框架下的渐近行为。
2024-04-08 math.OC
On Convex optimization without convex representation
本文考虑凸优化问题P：min {f（x）：x in K}，其中f是凸连续可微函数，K是Rn中的紧致凸集，对连续可微函数（g_j）有表示{x：g_j（x）>=0，j=1，;;，m}.我们讨论的情况下，g_j的不都是凹的（与凸规划，他们都是）。特别地，即使g_j不是凹函数，我们考虑与P相关联的具有参数μ的对数障碍函数phi_μ，其通常定义为凹函数（g_j）。证明了φ_μ，μ->0的任意平稳点序列（x_μ）的任意极限点是问题P的Karush-Kuhn-Tucker点，也是f在K上的全局极小点.
2014-01-28 math.OC
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
On the convergence of proximal gradient methods for convex simple bilevel optimization
针对上下层均由可微项与可近似项组成的凸简单双层优化问题，提出基于 Barzilai-Borwein 局部估计的近似点梯度收敛框架及自适应线搜索方法，并验证其收敛优势。
2024-03-02 math.OC
Largest small polygons: A sequential convex optimization approach
小多边形是单位直径的多边形。当计算$m\ge 7$时，不知道具有$n=2m$顶点的小多边形的最大面积。对于给定的数$n\ge 3$，寻找最大的小$n$-边形可以用非凸二次约束二次最优化问题来表示。我们建议解决这个问题的顺序凸优化的方法，这是一个上升算法，保证收敛到局部最优解。在$n=128$多边形上的数值实验表明，所得到的最优解是近全局的。事实上，即使是$6 \le n \le 12$，在这项工作中提出的算法收敛到已知的全球最优解中找到的文献。
2022-05-31 math.OC
An Improved Last-Iterate Convergence Rate for Anchored Gradient Descent Ascent
本文研究了锚定梯度下降上升算法在光滑凸-凹min-max问题中的最后迭代收敛性，证明了改进的精确O(1/t)收敛速率，通过AI系统自主证明。
2026-04-04 cs.AI math.OC
An Efficient Alternating Riemannian/Projected Gradient Descent Ascent Algorithm for Fair Principal Component Analysis
本文提出交替黎曼/投影梯度下降上升（ARPGDA）算法，用于高效求解一般大规模公平主成分分析问题，通过转化为光滑非凸线性极小极大问题，在O(ε^{-3})迭代内找到ε-稳定点，并在解质量和速度上优于现有方法。
2023-12-23 eess.SP math.OC
Efficient Global Optimization of Non-differentiable, Symmetric Objectives for Multi Camera Placement
University of Cambridge（剑桥大学）
我们提出了一种新的迭代法的最佳放置和定向多个摄像机在三维场景。示例应用包括提高3D重建的精度，最大化监控覆盖区域，或提高多视点行人跟踪的覆盖范围。我们的算法是基于块坐标上升结合代理函数和禁区技术。这允许灵活地处理困难的目标函数，这些目标函数通常是昂贵的、量化的或不可微的。求解器是全局收敛的，易于并行化。我们展示了如何利用特殊属性的目标函数，如对称性，以加快优化。此外，我们讨论了非最佳固定点和成本降低时，连续优化的观点之间的权衡。
2021-03-20 cs.CV cs.MA math.OC
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
Differentiable Convex Optimization Layers
Stanford University（斯坦福大学）；Facebook AI（Facebook人工智能）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
最近的工作已经展示了如何在深度学习架构中嵌入可微优化问题（即，其解决方案可以反向传播的问题）作为层。这种方法为某些问题提供了有用的归纳偏差，但现有的可微优化层软件是刚性的，难以应用于新的设置。在本文中，我们提出了一种方法来区分通过纪律凸规划，凸优化问题的一个子类使用特定领域的语言（DSL）的凸优化。我们介绍纪律参数化编程，纪律凸规划的一个子集，我们表明，每个纪律参数化程序可以表示为一个仿射映射的组成从参数到问题数据，求解器，和仿射映射从求解器的解决方案的原始问题的解决方案（一种新的形式，我们称为仿射求解仿射形式）。然后，我们演示了如何有效地区分这些组件中的每一个，允许端到端的分析微分通过整个凸计划。我们在CVXPY的1.1版本中实现了我们的方法，CVXPY是一种流行的Python嵌入式DSL，用于凸优化，并且还在PyTorch和TensorFlow 2.0中为纪律性凸程序实现了可微层。我们的实现显着降低了障碍，使用凸优化问题的可微程序。我们目前的线性机器学习模型和随机控制中的应用，我们表明，我们的层是有竞争力的（在执行时间）相比，从过去的工作专门微分求解器。
2019-10-28 cs.LG math.OC stat.ML
A Relative Inexact Proximal Gradient Method with an Explicit Linesearch
针对目标函数为全定义域可微凸函数与非可微凸函数之和的复合凸优化问题，提出带显式线搜索的相对不精确邻近梯度法，证明收敛性并建立迭代复杂度，数值实验验证其实际有效性。
2025-04-14 math.OC
On the Complexity Analysis of the Primal Solutions for the Accelerated Randomized Dual Coordinate Ascent
对偶一阶方法是求解大规模约束凸优化问题的基本方法。然而，当恢复原始解时，我们需要$T(ε^{-2})$迭代来获得$ε$ -最优原始解，当我们将算法应用于具有$T(ε^{-1})$迭代的非强凸对偶问题以获得$ε$ -最优对偶解时，其中$T(x)$可以是$x$或$\sqrt{x}$。本文证明了对于加速随机对偶坐标上升，原解和对偶解的迭代复杂性具有相同的$O\left(\frac{1}{\sqrtε}\right)$数量级。当对偶函数进一步满足二次函数增长条件时，通过在任意时间段重新启动算法，即使条件数未知，我们也建立了原解和对偶解的线性迭代复杂度。当应用于正则化的经验风险最小化问题时，我们证明了$O\left(n\log n+\sqrt{\frac{n}ε}\right)$在原始空间和对偶空间中的迭代复杂性，其中$n$是样本数。与基于平滑/正则化或催化剂还原的方法相比，我们的结果去掉了$\left(\log \frac{1}ε\right)$因子。据我们所知，这是第一次建立了基于对偶坐标上升的随机算法在原空间中的最优$O\left(\sqrt{\frac{n}ε}\right)$迭代复杂度。我们还建立了一些非光滑损失问题的加速线性复杂度，即，最小一乘偏差和SVM。
2019-08-15 cs.NA math.NA math.OC
Proximal-Proximal-Gradient Method
在本文中，我们提出了近端-近端梯度法（PPG），一种新的最优化方法，是简单的实现和简单的并行化。PPG推广了近似梯度法和ADMM，并适用于写为许多可微和许多不可微凸函数之和的最小化问题。非可微函数可以耦合。此外，我们提出了一个相关的随机变化，我们称之为随机PPG（S-PPG）。S-PPG可以被解释为将MISO和MISO推广到许多耦合的不可微凸函数的和。我们提出了许多应用程序，可以受益于PPG和S-PPG，并证明这两种方法的收敛。PPG和S-PPG的一个关键优势是，与现有方法相比，它能够直接处理大量不可微不可分离函数，并且具有与函数数量无关的恒定步长。这种非递减步长允许它们快速。
2017-10-18 math.OC
A geometrically converging dual method for distributed optimization over time-varying graphs
本文考虑时变无向网络上的分布式凸优化问题。我们提出了一种对偶方法，主要是平均网络对偶上升（PANDA），这是证明收敛R-线性最优点的代理目标函数是强凸的，并有Lipschitz连续梯度。像对偶分解，PANDA需要一半的量的变量交换每单位的方法的基础上DIGing，并可以提供实际的改进性能的经验证明。
2018-10-12 math.OC
SCQPTH: an efficient differentiable splitting method for convex quadratic programming
本文提出基于 ADMM 的可微凸二次规划求解器 SCQPTH，支持大规模问题并通过隐式微分反向传播，实验显示其效率较现有求解器提升 1×–10×。
2023-08-16 cs.LG math.OC
Convergence of coordinate ascent variational inference for log-concave measures via optimal transport
Columbia University（哥伦比亚大学）
本文针对对数凹测度下坐标上升变分推断（CAVI）收敛性不明确的问题，借助最优传输中的位移凸性性质，证明了CAVI的收敛性，并分别给出了对数凹密度带Lipschitz梯度及强对数凹情形下的线性与指数收敛速率。
2024-04-12 cs.LG math.OC math.PR
Nesterov Acceleration for Equality-Constrained Convex Optimization via Continuously Differentiable Penalty Functions
我们提出了一个框架，使用Nesterov的加速方法的约束凸优化问题。我们的方法包括第一次重新作为一个无约束的最优化问题，使用连续可微的精确罚函数的原始问题。这种重新表述的基础上取代拉格朗日乘子的增广拉格朗日乘子函数的原始问题。这些拉格朗日乘子函数的表达式依赖于目标函数的梯度和约束条件，使得无约束的罚函数在一般情况下是非凸的，即使原问题是凸的.我们建立了无约束罚函数凸的目标函数和原问题的约束条件的充分条件。这使我们能够使用Nesterov的加速梯度法无约束凸优化，并实现了保证收敛速率，这是优于国家的最先进的一阶算法约束凸优化。模拟结果说明了我们的结果。
2021-03-11 cs.SY eess.SY math.OC
Forward-backward algorithm for functions with locally Lipschitz gradient: applications to mean field games
本文推广了前向-后向分裂算法以最小化梯度满足局部 Lipschitz 条件的函数之和，证明了其收敛性及局部强凸下的线性收敛率，并将其应用于逼近局部耦合的变分平均场博弈系统均衡，在计算时间上显著优于基准算法。
2023-06-28 math.OC
DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers
Davidson School of Chemical Engineering, Purdue University, West Lafayette, USA（帕克大学化学工程大卫逊学校）
针对数据稀疏且富含领域知识的场景，提出DisjunctiveNet框架，通过可微凸优化层将析取约束嵌入神经网络，实现硬约束满足与强预测性能。
2026-08-04 cs.LG math.OC
On the Convergence of Proximal Algorithms for Weakly-convex Min-max Optimization
Univ. Bordeaux（波尔多大学）；CNRS, Bordeaux INP, IMB, UMR 5251（法国国家科学研究中心，波尔多理工学院，IMB）
本文研究了非凸-强凹极小-极大问题中无内环的一阶交替算法，通过简化证明方法证明了交替梯度下降-上升算法的收敛性，并扩展了可接受步长集，进一步证明了弱凸-强凹情形下的双近端算法收敛性，为神经网络在正则化成像反问题中的应用提供了新途径。
2026-09-28 math.OC
Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization
University of California Berkeley（加州大学伯克利分校）
机器学习和控制中的传统优化方法严重依赖于一阶更新规则。为特定任务选择正确的方法和超参数通常涉及试错或从业者的直觉，这激发了元学习领域。我们提出了一个元学习框架，其中的内循环优化步骤涉及到解决可微凸优化（DCO），概括了广泛的家庭预先存在的更新规则。我们说明了这种方法的理论吸引力，它使一个家庭的线性最小二乘问题的一步优化，元学习者有足够的曝光类似的任务。DCO更新规则的各种实例化在一系列说明性实验设置上与常规优化器进行比较。
2023-03-29 cs.AI cs.LG math.OC
Randomized Dual Coordinate Ascent with Arbitrary Sampling
The University of Edinburgh（爱丁堡大学）；Rutgers University（罗格斯大学）；Baidu Inc（百度公司）
研究了用强凸正则化子惩罚的光滑凸函数的均值极小化问题。我们提出并分析了一种新的原始-对偶方法（石英），在每次迭代的样本和更新的随机子集的对偶变量，根据任意分布选择。与典型的分析相反，我们直接限制了原始-对偶误差的减少（在预期中），而不需要首先分析对偶误差。根据选择的采样，我们获得有效的串行，并行和分布式的方法的变种。在串行情况下，我们的边界匹配SDCA的最佳已知边界（均匀和重要性采样）。使用标准的mini-speed，我们的边界预测初始数据无关的加速以及额外的数据驱动的加速，这取决于数据的频谱和稀疏性。我们计算的理论加速因子，并发现它们是很好的预测实际加速在实践中。此外，我们说明，它是可能的，设计一个有效的小批量重要性抽样。Quartz的分布式变体是第一个分析不可分离数据的分布式SDCA类方法。
2014-11-21 cs.LG cs.NA math.NA
Sobolev Gradient Ascent for Optimal Transport: Barycenter Optimization and Convergence Analysis
Department of ACMS University of Notre Dame（ACMS系，诺特大学）；Department of Mathematics University of California（数学系，加州大学）；Department of Mathematics University of Southern California（数学系，南加州大学）
该研究提出Wasserstein重心的无约束凹对偶公式，推导了可扩展的Sobolev梯度上升算法，证明其达到经典次梯度下降收敛速率且无需c-凹投影，数值实验显示其性能优于现有最优传输重心求解器。
2026-04-18 cs.LG math.OC stat.ML
On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文首次给出双时间尺度GDA求解非凸-凹极小极大问题的非渐近复杂度分析，证明其能高效找到函数Φ的稳定点，解释了该算法在训练GANs等实际应用中的优越表现。
2024-05-03 cs.LG math.OC stat.ML
The Fastest Known First-Order Method for Minimizing Twice Continuously Differentiable Smooth Strongly Convex Functions
针对二次连续可微的光滑强凸函数，提出一种名为 $C^2$-Momentum (C2M) 的新一阶优化算法，并证明其全局收敛速度严格快于 Triple Momentum 方法且无额外计算成本。
2025-06-01 cs.SY eess.SY math.OC
All convex bodies are in the subdifferential of some everywhere differentiable locally Lipschitz function
本研究构造了$\u211d^N$上的可微局部Lipschitz函数，其次微分极限集可对应任意凸体，改进后可覆盖所有内部非空紧连通子集，且这类病态函数含无限维向量空间并在局部Lipschitz函数空间中一致稠密。
2024-09-12 math.CA math.FA math.OC
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University（耶鲁大学）
本文综述了将凸优化问题作为可微层嵌入神经网络的方法，梳理其从二次规划到一般凸优化的发展，并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
Convergence Rates of Two-Time-Scale Gradient Descent-Ascent Dynamics for Solving Nonconvex Min-Max Problems
Virginia Tech（弗吉尼亚理工大学）
近年来，由于非凸极小极大最优化问题在机器学习、网络资源分配、分布式优化等领域的广泛应用，使得求解非凸极小极大最优化问题成为研究热点。也许，最流行的一阶方法在解决最小-最大优化是所谓的同步（或单循环）梯度下降-上升算法，由于其简单的实现。然而，该算法的收敛性的理论保证是非常稀疏的，因为它可以发散，即使在一个简单的双线性问题。在本文中，我们的重点是描述的有限时间性能（或收敛速度）的连续时间变量的同时梯度下降-上升算法。特别是，我们得出了一些不同的条件下的基本目标函数，即双边Polyak-L ojasiewicz（PL），单边PL，非凸强凹，强凸非凹条件下，这种方法的收敛速度。在相同的目标函数条件下，我们的收敛性结果改进了已有的结果。在我们的分析中的关键思想是使用经典的奇异扰动理论和耦合李雅普诺夫函数来解决梯度下降和上升动力学之间的时间尺度差异和相互作用。我们对连续时间算法的研究结果可以用来提高离散时间算法的收敛性。
2021-12-17 cs.GT cs.LG math.OC
