Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
Cornell University(康奈尔大学)
最近的工作表明,随机扰动梯度法可以有效地逃避严格的鞍点的光滑函数。我们延长这一机构的工作非光滑最优化,通过分析一个不精确的模拟随机扰动梯度法适用于莫罗信封。主要结论是,各种算法的非光滑最优化可以逃脱严格的鞍点的莫罗包络在一个控制的速度。主要的技术见解是,典型的算法应用到近端子问题产量方向近似的梯度的莫罗信封相对而言。
2021-06-17 cs.LG math.OC stat.ML
Distributed Gradient Flow: Nonsmoothness, Nonconvexity, and Saddle Point Evasion
研究了多智能体非凸优化问题的分布式梯度流(DGF)。DGF是分布式梯度下降的连续时间近似,通常比其离散时间对应物更容易研究。该文件有两个主要贡献。首先,本文考虑非光滑,非凸目标函数的优化。结果表明,在这种情况下,DGF收敛到临界点。然后考虑避免鞍点的问题。证明了如果智能体的目标函数是光滑非凸的,则DGF只能从一个零测度的初始条件集收敛到一个鞍点。为了建立这一结果,本文证明了DGF的稳定流形定理,这是一个独立的兴趣的基本贡献。在配套文件中,类似的结果推导出离散时间算法。
2020-08-12 cs.MA math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法,使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
A Globally Linearly Convergent Method for Pointwise Quadratically Supportable Convex-Concave Saddle Point Problems
研究了Drori、Sabach和Teboulle最近提出的求解由光滑凸函数、有限个非光滑凸函数和双线性项组成的非光滑结构凸凹鞍点问题的\emph{Proximal Alternating Predictor-Corrector}(PAPC)算法.我们引入逐点二次可支持性的概念,这是一个放松的标准强凸性假设,并允许我们表明,原始序列是R-线性收敛到一个最优解和原始对偶序列是全局Q-线性收敛。我们说明所提出的方法全变差去噪问题和局部自适应估计信号/图像反卷积和去噪与多分辨率统计约束。
2017-02-28 math.OC
Subgradient Ellipsoid Method for Nonsmooth Convex Problems
本文提出了一种新的椭球型算法,用于求解具有凸结构的非光滑问题。这类问题的例子包括非光滑凸极小化问题、凸凹鞍点问题和带有单调算子的变分不等式。我们的算法可以看作是标准次梯度和椭球方法的组合。然而,与后者相比,所提出的方法具有合理的收敛速度,即使当问题的维数足够大。为了在我们的算法中生成准确性证书,我们提出了一种有效的技术,它改善了以前已知的配方。
2021-06-24 math.OC
Lagrange optimality system for a class of nonsmooth convex optimization
本文研究一类非光滑凸优化的增广拉格朗日方法。给出了与问题相关的增广拉格朗日量的Lagrange最优性系,并建立了它与增广拉格朗日量的标准最优性条件和鞍点条件的联系,为数值算法的发展提供了有力的工具.将线性牛顿法应用于Lagrange最优性系统,得到了一种新的算法,可用于实际应用中出现的各种非光滑凸优化问题。在适当的条件下,我们证明了牛顿系统的非奇异性和算法的局部收敛性。
2015-02-22 math.OC
Stability of saddle points via explicit coderivatives of pointwise subdifferentials
利用无穷维集值映射的度量正则性,得到了希尔伯特空间中一类PDE约束优化中的非光滑最优化问题的鞍点的稳定性准则.一个主要的成分是一个明确的逐点特征的Fréchet codierative的次微分凸积分泛函。这是适用于几个稳定性性质的参数识别问题的椭圆型偏微分方程与不可微的数据拟合条款。
2017-02-10 math.OC
Stationarity in nonsmooth optimization between geometrical motivation and topological relevance
本文比较结构化非光滑优化中几何法锥定义的平稳性与拓扑相关的 T-平稳性,刻画各类平稳点与极小点、鞍点的对应关系并建立层级体系。
2024-09-06 math.OC
Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题,将其转化为最小化问题,算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
2025-11-05 math.OC
Coordination and geometric optimization via distributed dynamical systems
本文讨论了圆盘覆盖和球填充问题的动力系统。我们提出了设施的位置函数的几何优化和刻画其可微性质。我们设计和分析了一组与非光滑梯度系统相关的分布式控制律。由此产生的动力系统的承诺将用于网络机器人的协调问题,在这种设置中的分布式控制律对应于本地机器人之间的相互作用。该技术方法依赖于计算几何、非光滑分析和算法的动力系统方法的概念。
2003-05-29 math.DS math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学高根数据科学与人工智能研究所及计算机系)
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC
Preconditioned primal-dual algorithms for saddle point problems: non-ergodic convergence rates
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen(格罗宁根大学伯努利数学、计算机科学与人工智能研究所);Instituto de Ciencias de la Ingeniería, Universidad de O’Higgins(奥希金斯大学工程科学研究所);Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile(智利大学数学建模中心)
研究凸凹鞍点问题的预处理原始对偶算法,利用其光滑与非光滑结构,通过反对称预处理器建立非遍历收敛速率,考虑计算误差,经数值实验验证算法性能良好。
2026-08-04 math.OC
Proximal methods avoid active strict saddles of weakly convex functions
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
我们引入了非光滑函数的一个几何透明严格鞍性质。这个性质保证了弱凸问题的简单近似算法在随机初始化时只收敛到局部极小。我们认为,严格鞍性质可能是一个现实的假设,在应用中,因为它可证明为一般的半代数最优化问题成立。
2021-02-16 cs.LG math.OC stat.ML
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法,用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题,并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题,提出无需平滑非光滑项的自适应 ARADMM,每次迭代仅需一次梯度求值和一次近端更新,并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中,我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构,允许覆盖鞍点/变分类比通常所谓的“复合最小化”(最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有)。我们证明,复合镜近端继承了有利的(和不可改进的已经在大规模的双线性鞍点的情况下)$O(1/ε)$效率估计其原型。我们表明,所提出的方法可以自然地应用到拉索型问题与几个惩罚条款(例如,共同作用$\ell_1$和核范数正则化)和交替方向的方法中考虑的结构的问题,这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
Nonsmooth Nonconvex-Concave Minimax Optimization: Convergence Criteria and Algorithms
Fudan University(复旦大学)
本文研究了约束随机非光滑极小极大优化问题,提出Goldstein saddle stationary点概念,并设计了无梯度投影下降上升算法以非渐近收敛率求解非凸优化问题,无需额外假设。
2026-04-23 math.OC
Direct Spectral Acceleration of First-Order Methods for Saddle Point Problems with Bilinear Coupling
University of California, Berkeley(加州大学伯克利分校)
本文提出了一种直接谱加速方法,用于解决具有双线性耦合的 saddle 点问题,实现了最优线性收敛,无需 Chebyshev 内循环或双循环设计。
2026-02-27 math.OC
A stochastic preconditioned Douglas-Rachford splitting method for saddle-point problems
本文提出一种随机松弛的预处理Douglas-Rachford分裂方法,用于求解具有可分对偶变量的非光滑凸凹鞍点问题,并证明了其在Hilbert空间中的几乎必然收敛性与遍历序列的次线性收敛速率,数值实验验证了该方法的高效性。
2024-09-30 cs.NA math.NA math.OC
Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles
求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法,在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用,X应该是近似友好的--允许一个强凸函数,容易使线性扰动最小化。作为一个副产品,X允许一个计算成本低的线性最小化Oracle(LMO),能够最小化X个线性型。然而,在一些重要的情况下,廉价的LMO确实是可用的,但是X不是邻近友好的,这促使搜索仅基于LMO的算法。对于光滑凸极小化问题,存在一种经典的基于线性最优的算法--条件梯度算法。与此相反,我们已知的其他问题的凸结构(非光滑凸最小化,凹凸鞍点问题,甚至作为简单的双线性,和变分不等式与单调算子,甚至作为简单的仿射)的基于LMO的技术是相当新的,并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的(似乎更简单)基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。
2015-10-02 math.OC
Bundle-Level Type Methods Uniformly Optimal for Smooth and Nonsmooth Convex Optimization
本文的主要目的是发展凸规划(CP)的一致最优一阶方法。一致最优性是指一阶方法本身不需要输入任何问题参数,但仍然可以达到最佳的迭代复杂度。通过将一个多步加速方案引入到著名的迭代水平方法中,我们发展了一个加速的迭代水平(ABL)方法,并证明了它可以在不需要输入任何光滑性信息(如问题是光滑的、非光滑的还是弱光滑的)的情况下,获得求解一般黑盒CP问题的最优复杂度,以及Lipschitz常数和平滑度的具体值。然后,我们开发了一个更实用的,有限的内存版本,这种方法,即加速的并行级(APL)的方法。我们研究了APL方法的推广,用于求解某些复合CP问题和Nesterov [数学规划,103(2005),pp 127-152]最近研究的一类重要的鞍点问题.我们提出了有前途的数值结果,这些新的算法适用于解决某些类的半定规划(SDP)和随机规划(SP)的问题。
2013-09-22 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题,提出基于Nesterov外推的惯性加速原始-对偶算法,证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$,数值实验验证了算法效率。
2024-04-16 math.OC
Cloud-Based Optimization: A Quasi-Decentralized Approach to Multi-Agent Coordination
需要新的架构和算法来反映多代理系统通过云连接时可用的本地和全局信息的混合。我们提出了一种新的架构,多代理协调云被假定为能够收集来自所有代理的信息,执行集中计算,并以间歇性的方式传播的结果。这种架构是用来解决多智能体最优化问题,其中每个代理有一个本地的目标函数未知的其他代理,其中的代理集体受到全球不等式约束。利用云,一个对偶问题制定和解决找到一个鞍点的相关拉格朗日。
2014-09-23 math.OC
Level set methods for finding saddle points of general Morse index
University of Waterloo(滑铁卢大学)
本文基于多维山脊定理,提出并分析了几种水平集方法以寻找一般Morse指标的鞍点,证明了非光滑情形下的收敛性和光滑有限维情形下的局部超线性收敛。
2010-01-06 cs.NA math.AP math.NA
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers University(罗格斯大学)
我们提出了一个新的,随机变量的投影分裂(PS)家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式,而不会出现与梯度下降-上升相关的收敛问题,而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机(而不是确定性)梯度预言。它也是第一个可以解决最小-最大博弈的随机方法,同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Saddle Networks: Structure-Preserving Architectures for Convex-Concave Functions
EDF Lab Paris-Saclay(法国电力集团巴黎萨克雷实验室);FiMe, Laboratoire de Finance des Marchés de l’Energie(能源市场金融研究所)
提出一种结构保持的分离分解方法,并基于混合Monge型凸性条件证明一维逼近定理,进而设计出通过构造保持凸-凹几何的实用鞍点网络架构,在光滑、非光滑和高秩凸-凹测试函数上实现高精度。
2026-05-27 math.OC stat.ML
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算,应用于某些结构化凸规划(CP)问题。为此,我们首先提出了一个加速梯度滑动(AGS)方法,用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明,AGS方法可以跳过梯度计算这些光滑的组件之一,而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐,特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题,其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术,我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算,同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
One-sided Frank-Wolfe algorithms for saddle problems
研究了一类形如$\min_x\max_y \langle Kx,y\rangle+f_{\cal{P}}(x)-h^\ast(y)$的凸凹鞍点问题,其中$K$是线性算子,$f_{\cal{P}}$是具有Lipschitz连续梯度的凸函数$f$与有界凸多面体$\cal{P}$的指示函数之和,$h^\ast$是凸(可能非光滑)函数.这样的问题出现,例如,作为各种离散优化问题的拉格朗日松弛。我们的主要假设是存在一个有效的线性最小化甲骨文($lmo$)的$f_{\cal{P}}$和一个有效的近端映射$h^*$激励的解决方案,通过混合的近端原始对偶算法和Frank-Wolfe算法。在$h^*$是一个线性约束和功能$f$是二次的指示函数的情况下,我们显示$O(1/n^2)$收敛速度的双重目标,需要$O(n \log n)$调用$lmo$。如果问题来自约束优化问题$\min_{x\in\mathbb R^d}\{f_{\cal{P}}(x)\:|\:Ax-b=0\}$,则我们另外得到原始间隙和不可行间隙上的界$O(1/n^2)$。在最一般的情况下,我们显示了原始-对偶间隙的$O(1/n)$收敛速度,再次需要$lmo$的$O(n\log n)$调用。据我们所知,这提高了已知的收敛速度所考虑的一类鞍点问题。我们展示了在机器学习和计算机视觉中经常出现的标记问题的应用。
2021-06-04 math.OC
Partial smoothness and constant rank
优化中的部分光滑思想融合了可行域和目标函数的某些光滑和非光滑性质。因此,标准的一阶条件保证了不同的迭代算法(和后优化分析)识别活动结构或约束。然而,通过直接关注一阶条件,部分光滑性的形式概念显着简化:在基本微分几何语言中,它只是一个常秩条件。在这种观点中,部分光滑性扩展到更一般的映射,例如原始-对偶分裂算法的鞍点算子。
2018-07-09 math.OC
A first-order stochastic primal-dual algorithm with correction step
研究了求解含余强制算子与复合单调算子和的结构单调包含的随机原对偶分裂算法的收敛性.所提出的方法是{ \em Y. Drori,S. Sabach和M. Teboulle,一类非光滑凸凹鞍点问题的简单算法,2015}和{ \em I. Loris和C. Verhoeven,关于非可分离惩罚情况下迭代软阈值算法的推广,2011}用于鞍点问题。它包括一个向前的步骤所确定的随机评价的cocoercive运营商,一个向后的步骤中的对偶变量涉及的预解的单调算子,和一个额外的向前的步骤,使用随机评价的cocoercive在第一步中介绍。我们证明了弱几乎必然收敛的迭代表明,由该方法产生的原始-对偶序列是随机拟Fejér-单调的考虑原始和对偶包含的零点集。对于鞍点模型的特殊情形,考虑了期望遍历收敛的附加结果。
2016-02-25 math.OC
Primal-Dual Coordinate Descent for Nonconvex-Nonconcave Saddle Point Problems Under the Weak MVI Assumption
本文提出两种原始-对偶算法(NC-PDHG和NC-SPDHG)解决弱MVI假设下的非凸非凹鞍点问题,利用PEPit工具推导收敛性,实验验证了其高效性和线性收敛。
2025-06-18 math.OC
Robust distributed linear programming
本文提出了一种求解一般线性规划的鲁棒分布式算法。算法设计建立在线性规划的解作为修改的拉格朗日函数的鞍点的特征上。我们表明,所得到的连续时间鞍点算法是可证明正确的,但在一般情况下,不分布,因为一个全局参数与非光滑精确罚函数编码的线性规划的不等式约束。这促使设计一个不连续的鞍点动态,同时享受相同的收敛保证,是完全分布式和可扩展的解决方案向量的尺寸。我们还描述了鲁棒性对干扰和链路故障的建议动态。具体地说,我们证明了它是积分输入状态稳定的,但不是输入状态稳定的。后一个事实是一个更普遍的结果,我们也建立,其中指出,没有算法解决方案的线性规划是输入状态稳定的不确定性时,在问题数据影响的动态作为一个干扰的后果。我们的研究结果使我们能够建立所提出的分布式动态的弹性有限变化和代理之间的通信经常断开的干扰。在最优控制应用中的仿真说明了结果。
2014-09-25 math.OC
Self-concordant inclusions: A unified framework for path-following generalized Newton-type algorithms
本文研究了一类称为“自协调包含”的单调包含问题,它涵盖了三个基本的凸优化公式作为特例。我们开发了一个新的广义牛顿型框架来解决这个包含。我们的框架包括三个计划:全步骤,阻尼步骤和路径跟踪方法作为具体的例子,同时允许使用不精确计算,以形成广义牛顿方向。我们证明了全步和阻尼步算法的局部平方收敛。然后,我们提出了一个新的两阶段不精确路径跟踪方案解决这个单调包含具有$\mathcal{O}\left(\sqrtν\log(1/\varepsilon)\right)$ -最坏情况下的迭代复杂性,以实现$\varepsilon$ -解决方案,其中$ν$是障碍参数和$\varepsilon$是一个理想的精度。作为副产品,我们定制我们的计划,以解决三个凸问题:凹凸鞍点,非光滑约束凸规划,非光滑凸规划与线性约束。我们还提供了三个数值例子来说明我们的理论和现有的方法进行比较。
2017-07-24 math.OC
Learning to Control: The iUzawa-Net for Nonsmooth Optimal Control of Linear PDEs
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学数学科学系);Department of Mathematics, The University of Hong Kong(香港大学数学系);School of Mathematical Sciences, Nankai University(南开大学数学学院)
iUzawa-Net是一种用于非光滑最优控制的深度学习方法,结合了模型优化和数据驱动技术,实现线性PDE的实时求解。
2026-10-28 cs.LG cs.NA math.NA
Nonsmooth Control Barrier Function Design of Continuous Constraints for Network Connectivity Maintenance
本文研究多机器人系统执行任务时的全局连通性维持问题,提出基于代数连通性的非光滑控制障碍函数设计方法,结合集值理论与非光滑分析,确保基于优化的控制器连续且维持网络连通性,并通过仿真和实验验证了有效性。
2023-06-28 cs.SY eess.SY math.OC
Gradient Sliding for Composite Optimization
本文考虑一类复合最优化问题,其目标函数由一般光滑分量和非光滑分量之和以及相对简单的非光滑项构成。本文提出了一类新的一阶方法,即梯度滑动算法,它可以不计算光滑分量的梯度。因此,这些算法只需要${\cal O}(1/\sqrtε)$梯度评估的平滑组件,以找到一个$ε$ -解决方案的复合问题,同时仍然保持最佳的${\cal O}(1/ε^2)$约束的总数的次梯度评估的非平滑组件。然后,我们提出了一个随机对应这些算法,并建立类似的复杂性界解决一类重要的随机复合最优化问题。此外,如果复合函数中的光滑分量是强凸的,则所提出的梯度滑动算法可以将光滑分量和非光滑分量的梯度和次梯度计算次数分别减少到${\cal O} (\log (1/ε))$和${\cal O}(1/ε)$.最后,我们将这些算法推广到当光滑分量被具有某种双线性鞍点结构的非光滑分量所取代的情况。
2014-06-12 cs.CC math.OC stat.ML
A Stochastic Implicit Proximal Point Algorithm for Solving Linearly Constrained Stochastic Minimax Problems
Beijing University of Posts and Telecommunications(北京邮电大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
提出一种结合方差缩减的随机隐式近端点算法,通过半光滑牛顿法求解子问题,实现带非光滑正则项的强凸-强凹目标函数的全局q-线性收敛,并在机器学习问题上优于现有算法。
2026-05-22 math.OC
Proximal ADMM for Nonconvex and Nonsmooth Optimization
通过使节点或代理解决小规模的子问题,以实现协调,分布式算法的青睐,许多网络系统的高效和可扩展的计算。虽然对于凸问题,大量的分布式算法是可用的,更广泛的非凸的结果是非常缺乏的。针对一类非凸非光滑问题,提出了一种分布式算法,该问题的特征在于:i)由独立和复合目标分量构成的非凸目标,ii)局部有界凸约束,iii)耦合线性约束.这个问题直接源于智能建筑,在其他领域也很广泛。为了提供一个具有收敛保证的分布式算法,我们对乘子的交替方向法进行了改进,提出了一种近似的乘子交替方向法。具体来说,注意到的主要困难,建立收敛的非凸和非光滑最优化ADMM框架内是假设的有界性的双重更新,我们建议更新的对偶变量在折扣的方式。这导致建立一个所谓的充分下降和下界的李雅普诺夫函数,这是建立收敛性的关键。我们证明了该方法收敛于某些近似稳定点。此外,我们还通过一个数值例子展示了该方法的有效性和性能,并将其具体应用于智能建筑中的多区域供暖、通风和空调(HVAC)控制。
2022-08-23 cs.DC math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出APAPC算法,通过整合Nesterov动量提升对偶方法的收敛性,实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Lower Bounds For Gradient-Free Convex Optimization And Convex-Concave Saddle-Point Problems
AI Institute MSU(莫斯科国立大学人工智能研究所);HSE University(高等经济大学);Moscow Independent Research Institute of Artificial Intelligence(莫斯科独立人工智能研究院);Innopolis University(因诺波利斯大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究针对精确标量值信息下的凸优化与凸-凹鞍点问题,证明了自适应随机化算法的查询复杂度下界,并扩展到强凸、双线性博弈及混合访问场景。
2026-10-02 math.OC
A second order primal-dual method for nonsmooth convex composite optimization
Numerica Corporation(Numerica公司);University of Southern California(南加州大学)
本文提出了一种二阶对偶方法,用于求解目标函数为强凸二次可微项与可能非可微凸正则化项之和的优化问题。通过引入辅助变量,利用非光滑正则化项的近似算子将增强拉格朗日函数转换为一次但非二次连续可微的函数,其鞍点对应于原始优化问题的解。进一步开发了全局收敛的定制算法,利用对偶增强拉格朗日函数作为 merit 函数,并证明了搜索方向可高效计算且具有二次/超线性渐近收敛性。
2020-08-27 cs.AI cs.SY eess.SY
A primal-dual dynamical approach to structured convex minimization problems
在本文中,我们提出了一个原始-对偶动力学的方法来最小化的结构凸函数组成的光滑项,非光滑项,和另一个非光滑项的组合与线性连续算子。在这个范围内,我们引入了一个动力系统,我们证明了它的轨迹渐近收敛到一个鞍点的拉格朗日的基本凸极小化问题的时间趋于无穷大。此外,我们提供率的违反可行性条件的遍历轨迹和收敛的目标函数沿这些遍历轨迹的极小值。显式时间离散的动力系统的结果在一个数值算法,这是一个组合的线性化的邻近方法的乘数和邻近ADMM算法。
2020-07-31 cs.NA math.DS math.NA
Simple and Optimal Stochastic Gradient Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
我们提出并分析了几种随机梯度算法,用于寻找非凸的稳定点或局部最小值,可能与非光滑正则化,有限和和在线优化问题。首先,我们提出了一个简单的近似随机梯度算法的基础上减少方差称为ProxSVRG+。我们对ProxSVRG+进行了清晰而严密的分析,结果表明,对于各种小批量大小,它的性能优于确定性近端梯度下降(ProxGD),因此解决了Reddi等人提出的一个公开问题。(2016 b)。此外,ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用(Reddi等人,2016 b),并通过避免完整的梯度计算扩展到在线设置。然后,我们进一步提出了一种基于SARAH(Nguyen et al.,2017),并表明SSRGD进一步提高了ProxSVRG+的梯度复杂度,并实现了最佳上限,与已知的下限(Fang et al.,2018年; Li等人,2021年)。此外,我们表明,ProxSVRG+和SSRGD都可以自动适应目标函数的局部结构,例如在有限和情况下非凸函数的Polyak-Jasojasiewicz(PL)条件,即,我们证明了它们都可以自动切换到更快的全局线性收敛而无需在先前的工作ProxSVRG(Reddi等人,2016年b)。最后,我们专注于更具有挑战性的问题,找到一个$(ε, δ)$ -局部最小值,而不仅仅是找到一个$ε$ -近似(一阶)平稳点(这可能是一些坏的不稳定鞍点)。…
2022-08-22 cs.DS cs.LG math.OC
The Complexity of Large-scale Convex Programming under a Linear Optimization Oracle
本文研究了一类求解大规模凸规划(CP)问题的迭代优化算法,称为基于线性优化的凸规划(LCP)方法。LCP方法,涵盖了经典的条件梯度(CG)方法(又名,Frank-Wolfe方法作为一种特殊情况,每次迭代只能求解一个线性最优化子问题。在本文中,我们首先建立了一系列的低复杂性界的LCP方法来解决不同类型的CP问题,包括光滑,非光滑和某些鞍点问题。然后,我们正式建立理论上的最优性或近似最优性,在大规模的情况下,CG方法及其变体来解决不同类别的CP问题。我们还介绍了几个新的最佳LCP方法,通过适当修改Nesterov的加速梯度法,并证明其可能的优势,经典CG解决某些类的大规模CP问题。
2014-06-27 math.OC
Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出路径式李雅普诺夫-佩龙框架,在不满足单位激励假设的常见随机优化场景下,证明随机递推的严格鞍点规避结果,确立相关算法收敛到原目标函数的局部极小值点。
2026-08-07 cs.LG math.DS math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题,通过增广拉格朗日对偶重构为鞍点问题,以单循环结构同时更新原始和对偶变量,在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
Stochastic model-based minimization under high-order growth
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
给定一个非光滑非凸最小化问题,我们考虑迭代采样和最小化目标函数的随机凸模型的算法。假设单侧逼近质量和模型的变化是由Bregman分歧控制,我们表明,该计划驱动自然平稳性措施为零的速率$O(k^{-1/4})$。在附加凸性和相对强凸性假设下,函数值分别以$O(k^{-1/2})$和$\widetilde{O}(k^{-1})$的速度收敛到最小值.我们讨论随机邻近点,镜像下降,正则化高斯-牛顿,和鞍点算法的后果。
2018-07-01 cs.LG math.OC
Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach
本文考虑了极小化一个凸函数的问题。这是机器学习等各个领域中出现的重要问题。主要困难在于求一点在多个集合的交集中的投影。现有的方法产生一个不可行点的迭代复杂度为$O(1/\varepsilon^2)$的非光滑问题,没有保证的不可行。通过精确罚函数的形式化,我们得到了一阶算法,它不仅保证了到交点的距离很小,而且对于光滑函数,提高了$O(1/\varepsilon)$和$O(1/\sqrt{\varepsilon})$的复杂度.对于复合材料和光滑的问题,这是通过一个鞍点重新制定所需的原始对偶法的近端运营商可以计算在封闭的形式。我们说明了我们的方法的好处图转换问题和图匹配。
2017-10-17 math.OC
Solving Variational Inequalities with Monotone Operators on Domains Given by Linear Minimization Oracles
求解大规模凸-凹鞍点问题的标准算法,或者更一般地说,求解单调算子变分不等式的标准算法,都是近似型算法,在每次迭代时都需要计算一个n-映射,即在问题的定义域$X$上最小化一个线性型和特定的凸距离生成函数之和。在实现近似算法时,作为标准要求的逆映射的相对计算简单性清楚地暗示了为$X$配备能够在$X$线性型上最小化的相对计算上便宜的线性最小化Oracle(LMO)的可能性。然而,有一个便宜的LMO确实是可用的,但在那里没有近端设置与易于计算的映射是已知的重要情况。这一事实激发了我们的目标,在本文中,这是发展技术,解决变分不等式与单调算子的区域上的线性极小化神谕。我们开发的技术可以被看作是在[5]中提出的非光滑凸最小化方法在LMO表示的域上的一个实质性的扩展。
2014-06-23 math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络,建模为静态(可能有向)图。最优化问题包括最小化一个(可能是非凸的)光滑函数--代理的局部成本之和--加上一个凸的(可能是非光滑的)正则化器,受凸约束。代理可以执行本地计算,以及与他们的近邻在任何时候进行通信,没有任何形式的协调或集中调度;此外,当解决他们的本地子问题,他们可以使用过时的信息,从他们的邻居。我们提出了第一个分布式异步算法,称为ASY-DSCA,收敛于R-线性速率的凸问题的最优解,其目标函数满足一般的误差界条件,这个条件是弱于更常用的强凸性,它是由几个经验的风险函数,不是强凸的,例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时,ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD,用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和,其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明,无论是原来的,以及块坐标计划功能线性收敛速率时,所涉及的功能是分段线性二次,或当他们满足一定的二次增长条件(这是弱于强凸性)。此外,我们将开发的算法应用到图上的多智能体优化问题,从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说,每个代理的更新和步长只依赖于本地信息。事实上,不需要事先进行全球协调。最后,我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
A Note on the Convergence of the OGAProx
本文针对OGAProx算法,通过反例指出遍历序列上极小极大间隙收敛不足以推出函数值收敛,并在相同假设下给出了函数值在凸-凹、凸-强凹和强凸-强凹三种情形下的收敛速率结果。
2023-10-31 math.OC
Asymptotic proximal point methods: finding the global minima with linear convergence for a class of multiple minima problems
我们提出并分析了渐近邻近点(APP)方法,以找到一类非凸,非光滑,甚至不连续的多个极小函数的全局极小。该方法是基于非凸近似点的渐近表示,使它可以找到全局极小而不会被困在鞍点,局部极小,甚至不连续。我们的主要结果表明,该方法对这类函数具有全局线性收敛性。此外,该方法是无导数的,并且其每次迭代成本,即,函数求值的数量也是有界的,因此它具有复杂性界$\mathcal{O}(\log\frac{1}ε)$,用于找到一个点,使得该点与全局最小值之间的间隙小于$ε>0$。从$2$到$500$的不同维数的数值实验和比较证明了该方法的优点。
2020-12-22 cs.NA math.NA math.OC
A multigrid solver for PDE-constrained optimization with uncertain inputs
针对含不确定输入的PDE约束优化中的大型鞍点系统,提出一种基于集体光滑子的多重网格算法,证明其简化系统求解达最优$O(N)$复杂度,在三类问题测试中均表现出优异性能和参数鲁棒性。
2024-05-17 cs.NA math.NA math.OC