Accelerated Stochastic Algorithms for Convex-Concave Saddle-Point Problems
提出了求解一类凸凹鞍点问题的随机一阶原始对偶法。当鞍函数关于原变量是强凸的时，我们给出了该问题的第一个随机重新启动方案。当梯度噪声服从亚高斯分布时，我们的重新启动方案的预言复杂度严格优于任何现有的方法，即使在确定性的情况下。此外，对于每个感兴趣的问题参数，只要存在下界，我们的重新启动方案的预言复杂性是最优的或接近最优的（对数因子）。该方案中所用的子程序本身就是一种新的随机算法，它是针对鞍函数在原始变量中是非强凸的问题而开发的。该算法基于原始-对偶混合梯度框架，实现了最先进的预言复杂度，并且可能具有独立的兴趣。
2021-04-10 math.OC
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族，用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上，我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素，当一个解决方案的不准确性是衡量其距离的解决方案集，新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者，从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
Robustness of the Frank-Wolfe Method under Inexact Oracles and the Cost of Linear Minimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文研究了在不精确oracle下Frank-Wolfe方法的鲁棒性，证明了线性最小化与投影的计算成本差异，并展示了非凸函数的收敛性保证。
2026-01-25 math.OC
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本，求解带原始强凸性的非双线性鞍点问题，显著提升原始预言复杂度，适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
Complexity of Multiblock Convex-Concave Saddle-Point Problems with General Smooth Coupling
MIRIAI；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University, MIRIAI, IITP（因诺波利斯大学，MIRIAI，俄罗斯科学院信息传输问题研究所）
针对带一般光滑耦合的多块凸-凹鞍点问题，提出随机提升额外梯度方法，在强凸性下实现线性收敛，非强凸性下给出受限间隙保证，实验验证其在目标条件差场景下的性能提升。
2026-10-12 math.OC
Solving Variational Inequalities with Monotone Operators on Domains Given by Linear Minimization Oracles
求解大规模凸-凹鞍点问题的标准算法，或者更一般地说，求解单调算子变分不等式的标准算法，都是近似型算法，在每次迭代时都需要计算一个n-映射，即在问题的定义域$X$上最小化一个线性型和特定的凸距离生成函数之和。在实现近似算法时，作为标准要求的逆映射的相对计算简单性清楚地暗示了为$X$配备能够在$X$线性型上最小化的相对计算上便宜的线性最小化Oracle（LMO）的可能性。然而，有一个便宜的LMO确实是可用的，但在那里没有近端设置与易于计算的映射是已知的重要情况。这一事实激发了我们的目标，在本文中，这是发展技术，解决变分不等式与单调算子的区域上的线性极小化神谕。我们开发的技术可以被看作是在[5]中提出的非光滑凸最小化方法在LMO表示的域上的一个实质性的扩展。
2014-06-23 math.OC
A polynomial oracle-time algorithm for convex integer minimization
在本文中，我们考虑的解决方案，某些凸整数极小化问题的贪婪增广程序。我们表明，一个贪婪的增广过程，只需要多项式的许多增广步骤来解决给定的问题，只采用某些Graver基地的方向。我们将这些结果推广到凸$N$倍整数极小化问题和凸2阶段随机整数极小化问题。最后，我们提出了一些应用的凸$N$倍整数最小化问题，我们的方法提供了多项式时间的解决方案的算法。
2007-10-16 math.CO math.OC
On Accelerated Methods for Saddle-Point Problems with Composite Structure
考虑了具有一般非双线性目标函数的强凸-强凹鞍点问题，其原始变量和对偶变量具有不同的条件数。首先，我们考虑这样的问题与光滑的复合项，其中之一具有有限和结构。对于这种设置，我们提出了一个方差降低算法的复杂性估计优于现有的界限在文献中。其次，我们考虑了有限和鞍点问题的复合项，并提出了几个算法取决于复合项的性质。当复合项是光滑的，我们得到更好的复杂性界比文献中的，包括最近提出的近最优算法，不考虑复合结构的问题的界限。如果复合条款是友好的，我们提出了一个方差减少算法，一方面，加速相比，现有的方差减少算法，另一方面，在复合设置类似的复杂性范围内的接近最佳的算法，这是专为非复合设置。除此之外，我们的算法允许分离的复杂性界限，即估计，分别为目标的每一部分，Oracle调用的数量，足以达到给定的精度。这是重要的，因为不同的部分可以具有不同的算术复杂度的预言机，并且期望调用昂贵的预言机比调用廉价的预言机更少。所有这些结果的关键是我们的鞍点问题的一般框架，这可能是独立的利益。这个框架，反过来是基于我们提出的加速元算法的复合优化与概率不精确的预言和概率不精确的最接近的映射，这可能是独立的利益，以及。
2021-06-14 math.OC
Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems
IIT Bombay（印度理工学院孟买分校）
针对无中心服务器的非光滑强凸-强凹去中心化鞍点问题，提出 inexact PDHG 框架并设计 C-DPSSG 算法，通过在初始阶段和适当时机切换 GSG 与 SVRG 梯度预言机加速收敛，证明其具有线性收敛率并能快速获得不同精度的解。
2023-09-13 cs.DC cs.DS cs.LG
Zeroth-Order Algorithms for Smooth Saddle-Point Problems
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center, Adyghe State University（阿迪格国立大学高加索数学中心）
鞍点问题最近受到机器学习社区越来越多的关注，主要是由于使用随机梯度训练生成对抗网络的应用。同时，在某些应用中，只有零阶oracle可用。本文提出了几种利用零阶预言机求解随机光滑（强）凹凸鞍点问题的算法，并估计了它们的收敛速度及其对变量维数$n$的依赖性.特别是，我们的分析表明，在可行集是两个单纯形的直积的情况下，我们的随机项的收敛速度仅由一个$\log n$因素比一阶方法差。我们还考虑了一个混合的设置和开发1/2阶的方法，使用零阶预言的最小化部分和一阶预言的最大化部分。最后，我们展示了我们的零阶和1/2阶方法在实际问题上的实际性能。
2021-02-27 cs.LG math.OC
Iterative Proximal-Minimization for Computing Saddle Points with Fixed Index
针对势能面上固定Morse指标的鞍点计算，提出在迭代最小化框架的代价函数中加入超二次近端项，形成稳健的IPM算法，在不损失收敛速度且不增加计算成本的前提下提升鲁棒性，并通过二维问题和Allen-Cahn、Cahn-Hilliard方程验证。
2025-01-24 cs.NA math.NA math.OC
Accuracy Certificates for Convex Minimization with Inexact Oracle
本文将凸优化精度证书推广至不精确一阶 Oracle，并为基于多面体的割平面方法给出显式构造，实现在线停止、原始解恢复及紧致目标残差界。
2023-09-30 math.OC
Solving smooth min-min and min-max problems by mixed oracle algorithms
在本文中，我们考虑两类问题，有一些相似的结构，即极小极小问题和极小极大鞍点问题。我们的方法是基于考虑外部最小化问题的最小化问题与不精确的预言。这个不精确的预言是通过内部问题的不精确解来计算的，内部问题是最小化或最大化问题。我们的主要假设是问题是光滑的，并且可用的预言是混合的：它只可能评估梯度w.r.t.对应于外部最小化问题的外部变量块，而对于内部问题，只有零阶Oracle可用。为了解决内部问题，我们使用零阶预言机加速无梯度方法。为了解决外部问题，我们使用Vaydya的割平面法的不精确变体或加速梯度法的变体。因此，我们提出了一个框架，导致非渐近的复杂性界的最小-最小和最小-最大的问题。此外，我们分别估计的数量的第一和零阶Oracle调用，这是足以达到任何所需的精度。
2021-02-28 math.OC
Lower Bounds for Linear Minimization Oracle Methods Optimizing over Strongly Convex Sets
Johns Hopkins University（约翰斯·霍普金斯大学）
研究强凸集上线性最小化oracle方法的下界，证明确定性方法在保证目标间隙小于ε时的迭代次数下界，并指出在特定光滑条件下基于跨度的LMO方法无法改进复杂度。
2026-07-15 math.OC
Gradient-free algorithm for saddle point problems under overparametrization
本文研究过参数化且梯度计算不可行时的随机鞍点问题，通过推广Same-sample Stochastic Extra-gradient算法至有偏预言机，提出基于梯度近似的无梯度算法，并分析了对抗性噪声最大容许水平与最佳迭代次数。
2024-06-04 math.OC
An Approach for Non-Convex Uniformly Concave Structured Saddle Point Problem
近年来，鞍点问题由于其强大的建模能力而受到广泛关注。这些问题的应用出现在许多应用领域，如鲁棒优化，分布式优化，对策论，以及机器学习中的许多应用，如经验风险最小化和生成对抗网络训练。因此，许多研究人员积极致力于发展数值方法来解决许多不同环境下的鞍点问题。本文致力于发展一种求解非凸一致凹背景下鞍点问题的数值方法。研究了一类具有复合结构和高阶Hölder连续导数的鞍点问题.为了解决所考虑的问题，我们提出了一种方法，在该方法中，我们减少了两个辅助最优化问题分别为每组变量，外部最小化问题w.r.t.原始变量和关于对偶变量的内极大化问题。对于解决外部最小化问题，我们使用的\textit{Adaptive Gradient Method}，这是适用于非凸问题，也与一个不精确的预言，是通过近似解决内部问题。为了解决内部最大化问题，我们使用\textit{Restarted Unified Acceleration Framework}，这是一个框架，统一的高阶加速方法，最小化一个凸函数，具有Hölder连续高阶导数。单独的复杂性界限提供了外部最小化问题和内部最大化问题的高阶预言机的一阶预言机的调用次数。此外，整个所提出的方法的复杂性，然后估计。
2022-02-13 math.OC
General Procedure to Provide High-Probability Guarantees for Stochastic Saddle Point Problems
本文研究SC-SC随机鞍点问题，提出一般PB-SSP框架，仅以对数次预言机调用即可高概率获得小对偶间隙解，应用于SAA预言机时还改进了样本复杂度。
2024-06-28 math.OC
Quantum algorithms for escaping from saddle points
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Mathematics and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学数学系及量子信息与计算机科学联合中心）；Center on Frontiers of Computing Studies, Peking University（北京大学计算前沿研究中心）；Center for Theoretical Physics, Massachusetts Institute of Technology（麻省理工学院理论物理中心）；Department of Computer Science and Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学计算机科学系及量子信息与计算机科学联合中心）
我们开始研究具有可证明保证的逃离鞍点的量子算法。给定一个函数$f\colon\mathbb{R}^{n}\to\mathbb{R}$，我们的量子算法使用对量子评估oracle的$\tilde{O}(\log^{2} (n)/ε^{1.75})$查询输出一个$ε$近似二阶稳定点（即，零阶Oracle）。与Jin等人提出的经典最新算法相比，使用$\tilde{O}(\log^{6} (n)/ε^{1.75})$查询梯度预言（即，一阶预言机），我们的量子算法在$\log n$方面多项式更好，并且在$1/ε$方面与其复杂度相匹配。从技术上讲，我们的主要贡献是通过模拟量子波动方程来取代梯度下降方法中的经典扰动，这构成了对量子查询复杂度的改进，其中包含用于逃离鞍点的$\log n$因子。我们还展示了如何使用量子梯度计算算法，由于约旦取代经典的梯度查询量子评估查询具有相同的复杂性。最后，我们还进行了数值实验，支持我们的理论研究结果。
2021-08-19 cs.DS cs.LG math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中，我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构，允许覆盖鞍点/变分类比通常所谓的“复合最小化”（最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有）。我们证明，复合镜近端继承了有利的（和不可改进的已经在大规模的双线性鞍点的情况下）$O(1/ε)$效率估计其原型。我们表明，所提出的方法可以自然地应用到拉索型问题与几个惩罚条款（例如，共同作用$\ell_1$和核范数正则化）和交替方向的方法中考虑的结构的问题，这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Composite Convex Optimization with Global and Local Inexact Oracles
本文对复合凸极小化中的一类广泛的凸函数引入了新的全局和局部不精确预言的概念。这种不精确的预言自然来自原始对偶框架，障碍平滑，梯度和Hessian的不精确计算以及许多其他情况。我们还提供的例子表明，类的凸函数配备了新的不精确的二阶预言是大于标准的自协调以及Lipschitz梯度函数类。此外，我们研究了凸函数和/或自协调函数在不精确二阶预言机下的几个性质，这对算法的发展是有用的。接下来，我们应用我们的理论来开发不精确的近端牛顿型计划，以最小化一般复合凸最小化问题，配备了这样的不精确的预言。我们的理论结果包括新的优化算法，并具有整体收敛保证，可解决广泛的复合凸优化问题。当第一个目标项是额外的自协调，我们建立了不同的局部收敛结果，我们的方法。特别是，我们证明，根据选择的不精确的二阶预言机的精度水平，我们得到不同的局部收敛速度范围从$R$ -线性和$R$ -超线性到$R$ -二次。在特殊情况下，收敛界限是已知的，我们的理论恢复最好的已知速率。我们还应用我们的设置，以获得一个新的原始-对偶复合凸极小化问题的方法。最后，我们提出了一些有代表性的数值例子来说明我们的新算法的好处。
2020-02-23 math.OC
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
On the complexity of quasiconvex integer minimization problem
本文研究拟凸函数类及其真锥函数子类。本文考虑了这类函数的整数极小化问题，假定一个优化函数由比较预言机定义。我们将证明，没有一个多项式算法在$\log R$优化拟凸函数在球的整数半径$R$使用比较预言。另一方面，如果优化函数是二次曲线，那么我们证明了在$\log R$算法上存在一个多项式。并给出了圆锥函数整数最优化问题的预言复杂度的维数指数下界。此外，我们给出了已知的问题，可以多项式减少到我们的类中的函数的最小化问题的例子。
2019-10-07 cs.CC math.OC
Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss
我们的特点的复杂性最小化$\max_{i\in[N]} f_i(x)$凸，Lipschitz功能$f_1,\ldots, f_N$。对于非光滑函数，现有方法需要对一阶预言机进行$O(Nε^{-2})$查询以计算$ε$ -次优点，如果$f_i$是$O(1/ε)$ -光滑的，则需要进行$\tilde{O}(Nε^{-1})$查询.我们开发的方法与改进的复杂性界限的$\tilde{O}(Nε^{-2/3} + ε^{-8/3})$在非光滑的情况下，$\tilde{O}(Nε^{-2/3} + \sqrt{N}ε^{-1})$在$O(1/ε)$ -光滑的情况下。我们的方法包括最近提出的球优化预言加速算法（我们改进）和softmax函数的仔细实现。我们还证明了一个甲骨文的复杂性下限缩放为$Ω(Nε^{-2/3})$，表明我们对$N$的依赖是最佳的多对数因子。
2021-05-04 cs.DS cs.LG math.OC
Near-optimal Approximate Discrete and Continuous Submodular Function Minimization
在本文中，我们提供了改进的运行时间和甲骨文的复杂性近似最小化的子模函数。我们的主要结果是一个随机算法，它给出了定义在$n$ -元素上的任意子模函数，其值域为$[-1, 1]$，在$\tilde{O}(n/ε^2)$ oracle求值中以高概率计算出一个$ε$ -可加近似极小元.这改进了Chakrabarty \etal ~（STOC 2017）的$\tilde{O}(n^{5/3}/ε^2)$ oracle评估算法和Hamoudi \etal的$\tilde{O}(n^{3/2}/ε^2)$ oracle评估算法。此外，我们利用这一结果的推广，以获得有效的算法，最小化广泛的一类非凸函数。对于任何功能$f$域$[0, 1]^n$满足$\frac{\partial^2f}{\partial x_i \partial x_j} \le 0$的所有$i \neq j$和$L$ -Lipschitz关于$L^\infty$ -规范，我们给出了一个算法，计算一个$ε$ -加性近似极小值与$\tilde{O}(n \cdot \mathrm{poly}(L/ε))$功能评估与高概率。
2019-08-31 cs.DS math.OC
Optimizing the Preconditioner: A Black-box Online-to-Nonconvex Conversion with Static Regret Minimization Oracles
Center for Computational Science and Engineering, MIT（麻省理工学院计算科学与工程中心）；Department of Civil and Environmental Engineering, MIT（麻省理工学院土木与环境工程系）；Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）
研究随机非凸优化能否黑盒简化为在线凸优化的静态遗憾最小化，提出维护梯度跟踪器并由在线学习器选预处理器的方法，对光滑和非光滑非凸目标均适用，解决了相关开放问题，还为理解自适应优化方法提供新视角。
2026-11-04 cs.LG math.OC stat.ML
Convex minimization problems with weak constraint qualifications
回顾了求解凸极小化问题的基于共轭对偶的标准鞍点法。我们的目标是减少或删除不必要的拓扑限制的约束集。在弱或无约束规格的条件下，得到了极小元的对偶等式和特征。主要思想是使用反映目标函数的某些几何形状的内在拓扑。本文的抽象结果在其他论文中应用到Monge-Kantorovich最优输运问题和熵泛函的最小化。
2007-10-08 math.OC
A randomized Mirror-Prox method for solving structured large-scale matrix saddle-point problems
在本文中，我们推导出一个随机版本的的E-Prox方法解决一些结构矩阵鞍点问题，如最大特征值极小化问题。确定性的一阶格式，如Nesterov的平滑技术或标准的Prox-Prox方法，需要在每次迭代时精确计算矩阵指数，限制了它们可以解决的问题的大小。我们的方法允许我们使用矩阵指数的随机逼近。我们证明了我们的随机化方案显着降低了复杂性，其确定性对应的大规模矩阵鞍点问题。数值实验验证了我们的理论结果。
2011-12-06 math.OC
On the Optimal Linear Minimization Oracle Complexity of Active-Hull Methods for Minimizing Convex Hölder Smooth Functions
Tippie College of Business, University of Iowa（爱荷华大学蒂皮商学院）
本文针对凸Hölder光滑函数的最小化问题，证明了Active-Hull方法在高维情形下的最优线性最小化预言复杂度，并提出了无参数的元参数搜索算法来实现该复杂度。
2026-10-05 math.OC
Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题，将其转化为最小化问题，算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
2025-11-05 math.OC
Gradient-Free Methods for Saddle-Point Problem
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Sirius University of Science and Technology（天狼星科技大学）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Adyghe State University（阿迪格国立大学）
在本文中，我们推广的方法Gasnikov等。al，2017年，它允许用不精确的无梯度预言来解决（随机）凸鞍点问题。所提出的方法至少像现有的最佳方法一样有效。但对于一个特殊的设置（单纯形类型的限制和接近Lipschitz常数在1和2的规范），我们的方法减少了$\frac{n}{\log n}$倍所需的Oracle调用（函数计算）。我们的方法通过有限差分使用梯度的随机逼近。在这种情况下，函数必须指定不仅在优化集本身，但在一定的邻域it.In第二部分的文件，我们分析的情况下，当这样的假设不能，我们提出了一个一般的方法，就如何现代化的方法来解决这个问题，我们也将这种方法应用到一些经典集的特殊情况。
2022-09-11 cs.LG math.OC
Active-set Methods for Submodular Minimization Problems
本文研究了次模函数极小化（SFM）和由次模函数的Lov'asz扩张正则化的二次极小化问题。这些优化问题是密切相关的;例如，最小割问题和全变差去噪问题，其中割函数是次模的，其Lov'asz扩张由相关的全变差给出。当二次损失由割函数的全变差正则化时，它就变成了全变差去噪问题，我们在本文中对“一般”次模函数使用相同的术语。我们提出了一种新的有效集算法用于全变差去噪，并假设一个预言机可以解决相应的SFM问题。这可以看作是局部下降算法在有序分区与显式收敛保证。它比现有的算法更灵活，具有使用密切相关问题的解决方案进行热重启的能力。此外，我们还考虑的情况下，当一个次模函数可以分解成两个次模函数F1和F2的和，并假设SFM预言这两个functions.We提出了一个新的有效集算法的全变差去噪（因此SFM阈值为零的解决方案）。该算法还可以在有序划分上执行局部下降，并且其热启动能力大大提高了算法的性能。在实验中，我们比较了所提出的算法的性能与国家的最先进的算法，showingit减少了调用SFM预言机。
2018-02-06 math.OC
Gradient-Free Optimization for Non-Smooth Saddle Point Problems under Adversarial Noise
我们考虑非光滑鞍点最优化问题。为了解决这些问题，我们提出了一个零阶方法下有界或Lipschitz连续噪声，可能的对抗。与现有的算法相比，我们的算法在两个标准方面都是最优的：Oracle调用复杂度和允许噪声的最大值。所提出的方法是简单的，易于实现，因为它是建立在零阶版本的随机镜像下降。给出了平均和概率意义下的收敛性分析。我们还特别注意的二元间隙$r$ -增长条件$(r\geq 1)$，我们提供了一个修改我们的算法使用重新启动技术。我们还评论无限噪声方差和上界的情况下，Lipschitz噪声。所得结果不仅对鞍点问题，而且对凸优化也有重要意义。
2023-03-25 math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Projection-Free Methods for Solving Nonconvex-Concave Saddle Point Problems
本文针对非凸-凹约束鞍点问题提出基于一阶信息的单循环无投影原始-对偶条件梯度方法，并给出不同约束条件下的迭代复杂度保证。
2023-11-01 math.OC
Optimal Algorithm with Complexity Separation for Strongly Convex-Strongly Concave Composite Saddle Point Problems
针对强凸-强凹复合鞍点问题，提出一种在复合项与鞍点项间分离 oracle 调用且总体复杂度最优的新算法，首次覆盖 $μ_x\not=μ_y$ 情形，并用于双线性问题取得最优复杂度。
2023-07-24 math.OC
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题，提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法，并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
KAUST（卡斯姆大学）
本文提出Ringmaster LMO，一种用于无约束随机非凸优化的异步线性最小化Oracle动量方法，通过延迟阈值机制改进传统同步方法，适用于异构分布式系统，实验表明其在系统异构性增强时表现更优。
2026-05-18 cs.DC cs.LG math.OC
Local Saddle Point Optimization: A Curvature Exploitation Approach
ETH Zurich（苏黎世联邦理工学院）
基于遗传算法的优化方法是寻找经典极小化和鞍点问题局部最优解的最流行的选择。在这里，我们强调了一个系统性的问题，梯度动力学出现鞍点问题，即存在不需要的稳定的稳定点，没有局部最优。我们提出了一种新的优化方法，利用曲率信息，以逃避这些不需要的固定点。我们证明了不同的优化方法，包括梯度法和Adagrad，配备曲率开发可以逃避非最优的稳定点。我们还提供了经验结果，共同的鞍点问题，证实了使用曲率开发的优势。
2019-02-14 cs.LG math.OC stat.ML
Frank-Wolfe Algorithms for Saddle Point Problems
INRIA（法国国家信息与自动化研究所）；École normale supérieure, Paris（巴黎高等师范学院）；Netflix Inc.（Netflix公司）；Université de Montréal（蒙特利尔大学）
将Frank-Wolfe（FW）优化算法推广到求解约束光滑凹凸鞍点（SP）问题。值得注意的是，该方法只需要访问线性最小化神谕。利用FW优化的最新进展，我们提供了第一个证明收敛的FW型鞍点求解多面体，从而部分回答了30岁的猜想。我们还调查了其他的收敛结果，并强调FW式算法的理论基础的差距。激励应用程序没有已知的有效的替代品，探索通过结构化预测与组合的处罚，以及游戏在匹配多面体涉及指数数量的约束。
2017-03-03 cs.LG math.OC stat.ML
Distributed Gradient Descent: Nonconvergence to Saddle Points and the Stable-Manifold Theorem
本文研究了一个分布式梯度下降（DGD）过程，并认为在非凸最优化问题，DGD通常收敛到局部极小点，而不是鞍点的问题。本文考虑光滑目标函数的无约束极小化问题。在集中式的设置中，证明梯度下降（和变体）的鞍点不收敛的问题通常通过经典动力系统理论的稳定流形定理来处理。然而，经典的稳定流形定理是不适用于分布式设置。本文发展了一个适当的稳定流形定理DGD表明，收敛到鞍点可能只发生在一个低维稳定流形。在适当的假设下（例如，但是，这个结果意味着DGD通常收敛到局部最小值而不是鞍点。
2019-10-23 cs.MA math.OC
Frank-Wolfe with Subsampling Oracle
École Normale Supérieure（巴黎高等师范学院）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；CNRS（法国国家科学研究中心）
我们分析了两个新的随机化的弗兰克-沃尔夫（FW）或条件梯度算法的变种。经典的FW算法需要在每次迭代时求解域上的线性最小化问题，而所提出的方法只需要在原始域的小\emph{subset}上求解线性最小化问题。我们提出的第一个算法是一个随机变量的原始FW算法，并实现了$\mathcal{O}(1/t)$次线性收敛速度的确定性对应。第二算法是离开步骤FW算法的随机化变体，并且再次作为其确定性对应物，达到线性（即，指数）收敛速度，使其成为第一个可证明收敛的随机变量的离开步骤FW。在这两种情况下，虽然子采样以恒定因子降低了收敛速度，但是线性最小化步骤可以是确定性版本的成本的一小部分，特别是当数据被流式传输时。我们说明了回归问题的算法的计算收益，涉及$\ell_1$和潜在的组套索处罚。
2018-03-20 cs.LG math.OC stat.ML
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑光滑，强凸损失函数的经验风险最小化（ERM）的问题，使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法，如梯度下降（GD）或随机梯度下降（SGD），通过分析他们的速度收敛到$ε$ -近似的解决方案。例如，GD的oracle复杂度是$O(n\log(ε^{-1}))$，其中$n$是训练样本的数量。当$n$很大时，这在实践中可能是昂贵的，并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下，我们证明了当损失函数在数据中是平滑的时，我们可以在每次迭代中学习预言，并在重要的制度中击败GD和SGD的预言复杂性。具体来说，在每次迭代中，我们提出的算法执行局部多项式回归来学习损失函数的梯度，然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$（忽略次主导因素），其中$d$和$p$分别是数据和参数空间维度，损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析，以提供多变量设置中的插值保证，并且还利用了不精确GD文献中的工具。与GD和SGD不同，我们的方法的复杂性取决于$d$和$p$。然而，当$d$很小，损失函数在数据中表现出适度的平滑性时，我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
HOUDINI: Escaping from Moderately Constrained Saddles
Indiana University（印第安纳大学）；George Mason University（乔治梅森大学）
本文提出 HOUDINI，证明常规与随机（含噪）梯度下降可在对数数量不等式约束下逃离高维鞍点，首次在不依赖 NP 预言机的情况下取得多项式时间进展。
2023-04-20 cs.LG math.OC stat.ML
Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe Algorithm under Parallelization
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
本文针对随机复合凸优化问题提出一种Bregman型加速算法，并基于该框架设计出在并行化下实现加速的Frank-Wolfe变体，以O(1/√ε)次迭代达到ε原始-对偶间隙。
2024-11-25 cs.LG math.OC
On Acceleration of Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Rice University（莱斯大学）
我们研究了最近提出的基于局部多项式插值的梯度下降法（LPI-GD）的经验风险最小化问题（ERM）的近似解的加速。我们专注于损失函数是强凸的，光滑的条件数$σ$。我们还假设损失函数对于数据是$η$ -Hölder连续的。对于期望的精度$\varepsilon$，LPI-GD的预言复杂度是$\tilde{O}\left(σm^d \log(1/\varepsilon)\right)$，其中$d$是参数空间的维度，并且$m$是近似网格的基数。因子$m^d$可以显示为按比例缩放为$O((1/\varepsilon)^{d/2η})$。LPI-GD已被证明具有更好的预言复杂度比梯度下降（GD）和随机梯度下降（SGD）的某些参数制度。我们提出了两种基于LPI-GD的ERM问题的加速方法，并给出了$\tilde{O}\left(\sqrtσ m^d \log(1/\varepsilon)\right)$的预言复杂度。此外，我们提供了基于局部多项式插值的梯度方法的第一个实证研究，并证实LPI-GD在某些情况下具有比GD和SGD更好的性能，并且所提出的方法实现了加速。
2022-04-16 cs.LG math.OC stat.ML
Escaping Saddle-Points Faster under Interpolation-like Conditions
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Management Sciences, University of Waterloo（滑铁卢大学管理科学系）；Department of Computer Science, University of California, Davis（加州大学戴维斯分校计算机科学系）；University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
在本文中，我们表明，在过参数化的几个标准的随机最优化算法逃脱鞍点和收敛到局部极小更快。过参数化模型的一个基本方面是它们能够插值训练数据。我们表明，在插值样的假设下，满足随机梯度在过参数化设置，一阶预言复杂性的扰动随机梯度下降（PSGD）算法达到$ε$ -本地最小，匹配相应的确定性率的$\tilde{\mathcal{O}}(1/ε^{2})$。接下来我们分析了类插值条件下的随机三次正则牛顿（SCRN）算法，并证明了在类插值条件下达到$ε$ -局部极小的预言复杂度为$\tilde{\mathcal{O}}(1/ε^{2.5})$ .虽然这种获得的复杂度优于PSGD或SCRN的相应复杂度，没有类似插值的假设，它不匹配的速度$\tilde{\mathcal{O}}(1/ε^{1.5})$对应于确定性的立方正则牛顿方法。似乎进一步基于海森的插值假设是必要的，以弥补这一差距。我们还讨论了相应的零阶设置的改进的复杂性。
2020-09-28 cs.LG math.OC math.ST
Alternating Linear Minimization: Revisiting von Neumann's alternating projections
Zuse Institute Berlin（柏林齐布研究所）；Institute of Mathematics, Technische Universität Berlin（柏林工业大学数学研究所）；Department of Mathematics, ETH Zürich（苏黎世联邦理工学院数学系）
本文提出一种在仅能使用线性最小化算子的情况下，通过交替投影找到两个凸集交集的算法，扩展了冯·诺依曼经典结果的应用范围。
2026-04-08 math.OC
On Solving Minimization and Min-Max Problems by First-Order Methods with Relative Error in Gradients
Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）；Yandex & Institute for System Programming of the Russian Academy of Sciences (ISP RAS)（Yandex 与俄罗斯科学院系统编程研究所）；Innopolis University（因诺波利斯大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Weierstrass Institute for Applied Analysis and Stochastics (WIAS)（魏尔斯特拉斯应用分析与随机过程研究所）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院）；Steklov Mathematical Institute of the Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所）；Institute for Information Transmission Problems（信息传输问题研究所）
本文提出了一种在梯度相对误差下保持最优线性收敛速率的加速梯度方法，并探讨了该误差与收敛速率恶化之间的权衡，同时展示了梯度下降-上升和额外梯度方法对噪声的鲁棒性。
2025-12-09 math.OC
Distributed saddle-point subgradient algorithms with Laplacian averaging
我们提出了分布式次梯度方法的最小最大问题的协议约束的一个子集的论点的凸和凹的部分。应用包括约束最小化问题，其中每个约束是代理的局部变量中的凸函数的和。在后一种情况下，该算法减少到原始-对偶更新使用局部次梯度和拉普拉斯平均的本地副本的乘数相关联的全球约束。对于一般的凹凸鞍点问题，我们的分析建立了局部估计的运行时间平均值在通信有向图的周期连通性下收敛到一个鞍点.具体地说，选择梯度步长在一个合适的方式，我们表明，评估误差是成正比的$1/\sqrt{t}$，其中$t$是迭代步骤。我们说明了我们的结果在模拟的优化方案与非线性约束耦合的代理，不能直接沟通的决定。
2016-05-24 math.OC
An Optimal Algorithm for Strongly Convex Minimization under Affine Constraints
仿射约束下的最优化问题出现在机器学习的各个领域。我们考虑在仿射约束Kx=b下最小化光滑强凸函数F（x）的问题，并给出了F的梯度和乘K及其转置的计算.我们提供了梯度计算和矩阵乘法数量的下界，以实现给定的准确度。然后，我们提出了一个加速的原始对偶法实现这些下界。我们的算法是这类问题的第一个最优算法。
2022-04-10 math.OC
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
