A Data-embedded Solution Paradigm for Nonconvex Probable Event Constrained Optimization
University of Central Florida（中佛罗里达大学）
本文提出了一种新的不确定性优化建模框架，称为可能事件约束优化（PECO），通过嵌入历史数据提高非凸问题的求解能力。
2026-04-21 math.OC
Optimization Condition and Algorithm of Optimization with Convertible Nonconvex Function
The paper introduces several new concepts for solving nonconvex or nonsmooth optimization problems, including convertible nonconvex function, exact convertible nonconvex function and differentiable convertible nonconvex function. It is proved herein many nonconvex functions or nonsmooth (or discontinuous) functions are actually convertible nonconvex functions and convertible nonconvex function operations such as addition, subtraction, multiplication or division result in convertible nonconvex functions. The sufficient condition for judging a global optimal solution to unconstrained optimizatio…
2022-01-12 math.OC
Composite Optimization by Nonconvex Majorization-Minimization
University of Siegen（明斯特大学）
本文提出非凸majorization-minimization方法用于非凸复合函数优化，证明其能实现全局收敛，并通过实验展示其在深度超分辨率中的优越性。
2018-09-03 cs.CV cs.NA math.NA
Unifying Farkas lemma and S-lemma: new theory and applications in nonquadratic nonconvex optimization
将非线性Farkas引理和S-引理统一为非线性非凸系统的一个广义择一性定理。它通过揭示隐含凸性，在全局求解非凸非二次最优化问题中提供了富有成效的应用。
2021-09-07 math.OC
The Intrinsic Riemannian Proximal Gradient Method for Nonconvex Optimization
Norwegian University of Science and Technology（挪威科技大学）；RWTH Aachen University（亚琛工业大学）；Universität Potsdam（波茨坦大学）
研究非凸优化问题，提出黎曼流形上近端梯度法的内在变体，该方法基于前向后分裂，使用流形上近端映射，无需嵌入，研究了收敛性质并展示其在非凸或非嵌入问题上的数值性能。
2026-07-16 cs.NA math.DG math.NA
Generalized-Smooth Nonconvex Optimization is As Efficient As Smooth Nonconvex Optimization
本文提出$α$-对称广义光滑性概念，并设计确定性归一化梯度下降算法和SPIDER算法，分别达到最优迭代复杂度$\mathcal{O}(ε^{-2})$和最优样本复杂度$\mathcal{O}(ε^{-3})$，证明广义光滑非凸优化与光滑非凸优化同样高效。
2023-06-24 math.OC
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题，其中罚函数是一个线性算子与一个非光滑非凸映射的复合，该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中，例如内聚断裂，其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota（明尼苏达大学）
本文研究了非凸锥优化问题的近似二阶稳定点（SOSP），该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是，我们提出了一个牛顿共轭梯度（Newton-CG）为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的，而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度，这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化（NCO）问题的稳定点。主要工具来自于变分和凸分析，主要结果是迭代复杂性界的形式，以及这些界与文献中其他界的比较。
2021-12-26 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题，证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具，我们还证明了一个链式法则的道路上，这样的功能。
2019-12-16 math.OC
Lagrangian duality for nonconvex optimization problems with abstract convex functions
研究了非凸最优化问题的拉格朗日对偶。为此，我们利用$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理.给出了零对偶间隙和强对偶的条件。在函数类中，我们的对偶结果可以应用到，是近有界函数，DC函数，弱凸函数和仿凸函数。
2020-11-18 math.OC
A Geometrical Analysis of a Class of Nonconvex Conic Programs for Convex Conic Reformulations of Quadratic and Polynomial Optimization Problems
本文对二次最优化问题的完全正规划转化问题进行了几何分析，并将其推广到多项式最优化问题，给出了一类几何定义的非凸锥规划及其凸化.在线性空间$V$中用线性目标函数描述了一类非凸锥规划，约束集用非凸锥$K \subset V$、$K$的凸包的面$J$和非凸锥$K$的支撑超平面的平行移动$L$的交集来表示.我们表明，在适度的假设下，原来的非凸锥规划可以等价地转化为一个凸锥规划，通过替换的交集的$J$和超平面$L$的约束集。应用置换过程导出了二次最优化问题的完全正规划变换式，并将其推广到多项式最优化问题.
2019-01-08 math.OC
Applications of Optimal Control of a Nonconvex Sweeping Process to Optimization of the Planar Crowd Motion Model
本文讨论一类非凸扰动扫掠过程的最优控制及其在平面人群运动交通均衡模型优化中的应用。所得到的理论结果使我们能够调查的动态最优化问题的微观平面树冠运动模型与众多的参与者，并完全解析解决的情况下，两个参与者。
2018-02-22 math.OC
On the existence and the stability of solutions in nonconvex vector optimization
本文通过渐近锥和广义渐近函数，研究了具无界约束集的非凸向量优化问题弱Pareto解的存在性与无穷远处弱尖锐极小值性质，并证明其对分析线性扰动下解稳定性及稳健拟凸子类问题的应用价值。
2025-10-10 math.OC
A Unified Algorithm for Nonconvex Decentralized Nonlinear Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出一种统一的分布式非凸优化算法框架，涵盖现有先进梯度跟踪和拟牛顿算法。在非凸和Kurdyka-Łojasiewicz条件下分析收敛性，并提出新的高效算法。
2026-04-13 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注，已经提出了几个分布式的共识为基础的算法（非光滑）凸和（光滑）非凸目标函数。然而，这些分布式算法对{ \it非凸，非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序，包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题，在网络建模为无向，固定，图。
2019-11-03 math.OC
Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization
分布式多智能体优化在分布式学习、控制、估计等方面有着广泛的应用。现有的大多数算法假设目标的一阶信息是已知的，并已被分析为凸问题。然而，在某些情况下，目标是非凸的，并且只能在多个点处评估函数值。在本文中，我们考虑非凸多智能体优化的无导数分布式算法，基于零级优化的最新进展。我们开发了两种算法，为不同的设置，提供了详细的分析，他们的收敛行为，并将它们与现有的集中式零级算法和基于梯度的分布式算法进行比较。
2020-06-16 math.OC
A parameterized Douglas-Rachford Splitting algorithm for nonconvex optimization
本文研究了一类非凸最优化问题的参数化Douglas-Rachford分裂方法。构造了一个新的价值函数，证明了参数化Douglas-Rachford分裂方法产生的整个序列的收敛性。然后，我们将参数化道格拉斯-Rachford分裂方法应用于数据科学中出现的三个重要的非凸最优化问题：稀疏约束最小二乘问题，可行性问题和低秩矩阵完成。数值结果验证了参数化Douglas-Rachford分裂方法的有效性。
2020-06-16 math.OC
Ghost Penalties in Nonconvex Constrained Optimization: Diminishing Stepsizes and Iteration Complexity
考虑非凸约束最优化问题，提出了一种基于罚函数的收敛性分析方法。我们使用经典的罚函数在一个非常规的方式，罚函数只进入理论分析的收敛性，而算法本身是无惩罚。基于这一思想，我们能够建立几个新的结果，包括第一次一般性分析的非凸，约束优化，收敛到广义平稳点，SQP型算法的复杂性研究的步长递减方法。
2020-05-30 math.OC
Optimization Conditions and Decomposable Algorithms for Convertible Nonconvex Optimization
This paper defines a convertible nonconvex function(CN function for short) and a weak (strong) uniform (decomposable, exact) CN function, proves the optimization conditions for their global solutions and proposes algorithms for solving the unconstrained optimization problems with the decomposable CN function. First, to illustrate the fact that some nonconvex functions, nonsmooth or discontinuous, are actually weak uniform CN functions, examples are given. The operational properties of the CN functions are proved, including addition, subtraction, multiplication, division and compound operations…
2022-02-15 math.OC
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具，它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题，通过使用一种新的"分解“技术。配备了这个全局对偶误差界，我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解，这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题，其中目标函数为光滑函数和非光滑函数之和，约束函数为确定性函数，且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后，我们定制所提出的方法来解决随机非凸最优化问题与非线性约束，并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
Proximal point method for a special class of nonconvex multiobjective optimization functions
研究了一类特殊的非凸多目标函数的邻近点法。我们表明，该方法是定义良好的，任何生成的序列，如果有的话，是Pareto-克拉克临界点的积累点。此外，在额外的假设下，我们证明了所生成的序列的完全收敛性。
2017-02-17 math.OC
On Robustness in Nonconvex Optimization with Application to Defense Planning
Naval Postgraduate School（海军研究生院）
在结构化非凸优化的背景下，我们估计增加的最小值的决定，是强大的参数扰动相比，标称问题的值。的估计依赖于详细的次梯度和局部Lipschitz模的最小值函数的非凸鲁棒优化的表达式，只需要标称问题的解决方案。最后，以军事运筹学中的混合整数最优化模型为例，说明了理论结果。在检查的54例病例中，估计最小值增加的中位误差为12%。因此，派生表达式的次梯度和局部Lipschitz模量可以准确地告知分析师获得成本效益，参数鲁棒性决策的非凸优化的可能性。
2022-11-21 cs.LG math.OC
Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题，结合平滑与共识优化方法提出新型SICBO算法，证明其指数收敛性与全局最优性理论保证，且适用于非利普希茨连续情形，数值实验验证了算法有效性。
2025-01-13 math.OC
Asynchronous Parallel Nonconvex Optimization Under the Polyak-Lojasiewicz Condition
通信延迟和同步是并行计算的主要瓶颈，因此容忍延迟是加速并行计算的关键。针对不满足凸性假设的最优化问题，提出了一种求解非凸目标函数满足Polyak-Lojasiewicz条件的最优化问题的异步块坐标下降算法.这个条件是强凸性到非凸问题的推广，既不要求极小值的凸性也不要求极小值的唯一性。仅在目标函数具有弱光滑性和时滞有界的假设下，我们证明了该算法具有线性收敛速率。通过对逻辑斯谛回归问题的数值实验，说明了随机性对收敛性的影响.
2021-05-23 math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法，一个单步二阶在线非凸优化方法。我们分析了它的性能，并得到了一个动态的遗憾界，是线性的轮最优值之间的累积变化。我们表明，如果轮最优值之间的变化是有限的，该方法导致一个恒定的遗憾界。在一般情况下，在线牛顿法优于在线凸优化算法的凸函数，并执行类似于一个专门的算法，强凸函数。我们模拟的性能在线牛顿法的非线性，非凸的移动目标定位的例子，发现它优于一阶的方法。
2020-06-09 math.OC
A Steepest Gradient Method with Nonmonotone Adaptive Step-sizes for the Nonconvex Minimax and Multi-Objective Optimization Problems
本文提出一种采用非单调自适应步长的新的最速梯度下降法，用于求解非凸极小极大问题，并将其扩展到多目标优化，证明了在拟凸和伪凸条件下的收敛性，数值实验验证了理论结果。
2025-02-04 math.OC
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
为了加速梯度算法在凸优化中的实际收敛性，人们提出了各种类型的参数重新启动方案。然而，在非凸优化问题中，加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法（APG-重启），用于求解非凸非光滑问题。我们的APG-重启的目的是：1）允许采用灵活的参数重启计划，涵盖了许多现有的; 2）有一个全球的子线性收敛速率在非凸和非光滑最优化;和3）有保证的收敛到一个临界点，并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Efficient random coordinate descent algorithms for large-scale structured nonconvex optimization
本文分析了几种求解非凸最优化问题的新方法，其中目标函数由两项之和构成：一项是非凸且光滑，另一项是凸但简单且结构已知。此外，我们考虑这两种情况：无约束和线性约束的非凸问题。对于上述结构的最优化问题，我们提出了随机坐标下降算法，并分析了它们的收敛性。在一般情况下，当目标函数为非凸复合函数时，我们证明了算法产生的序列对稳定点的渐近收敛，并证明了在某种最优性测度下的次线性收敛速率.此外，如果目标函数满足误差界条件，我们推导出局部线性收敛速率的期望值的目标函数。我们还提出了广泛的数值实验，以评估我们的算法的性能相比，国家的最先进的方法。
2014-06-24 math.OC
Filtering-Linearization: A First-Order Method for Nonconvex Trajectory Optimization with Filter-Based Warm-Starting
提出一种基于filter热启动的非凸轨迹优化一阶方法，通过粒子滤波生成轨迹、层次聚类识别局部最优解，并热启动prox-linear方法，在多智能体避碰问题中显著降低目标函数值。
2024-09-26 math.OC
A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization
本文提出“全局函数”理论，证明张量分解中一类非凸非光滑目标不存在伪局部最优，为 ℓ1 范数鲁棒非凸优化提供理论保证。
2025-02-14 math.OC
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
许多重要的机器学习应用涉及正则化非凸双层优化。然而，现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子，并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中，我们研究了一个近似梯度型算法，采用近似隐式微分（AID）计划的非凸双层优化可能非凸和非光滑正则化。特别地，该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数，全面分析了算法的全局收敛性。特别是，我们正式建立了收敛的模型参数的临界点的双层问题，并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外，我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
On radially epidifferentiable functions and regularity conditions in nonconvex optimization
本文研究了非凸函数的径向上导数概念，它推广了（经典的）方向导数概念。给出了径向上导数的新定义和新性质，建立了径向上导数与Clarke方向导数、Rockafellar次导数和方向导数之间的关系.径向上导数的概念被用来建立新的正则性条件没有凸性条件。利用本文研究的广义导数，分析了非凸优化问题全局最优值的充要条件。建立了径向上可微非凸函数有下降方向的一个充要条件。本文给出了计算径向上导数的弱次梯度和径向上导数的弱次梯度的显式公式，从发展求解非光滑和非凸优化问题的全局最优值的方法的角度来看，这是非常重要的。文中给出的所有性质和定理都用例子加以说明和解释。
2022-09-05 math.OC
A First-Order Primal-Dual Method for Nonconvex Constrained Optimization Based On the Augmented Lagrangian
非线性约束非凸和非光滑最优化模型在机器学习、统计和数据分析中发挥着越来越重要的作用。本文基于增广拉格朗日函数，提出一种灵活的一阶原-对偶方法，称为增广拉格朗日非凸辅助问题原理（NAPP-AL），用于求解一类非线性约束非凸非光滑最优化问题。我们证明了NAPP-AL收敛到一个固定的解决方案，在o（1/ \sqrt{k}）的速度，其中k是迭代次数。此外，在一个附加的误差界条件下（本文称之为VP-EB），我们进一步证明了该算法的收敛速度实际上是线性的.最后，我们证明了著名的Kurdyka-Lojasiewicz性质和度量次正则性蕴含着上述VP-EB条件。
2020-07-23 math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化（SAPALM）方法，它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法，可证明收敛于一大类非凸，非光滑的问题。我们证明，SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量，我们可以期望看到一个线性加速，这符合已知的最佳界限不太复杂的问题，并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法（ADMM），基于不同的方差约化随机梯度，提出了三类方差约化的非凸随机ADMM。具体来说，第一类称为非凸随机方差降低梯度ADMM（SVRG-ADMM），使用多阶段计划，逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM（SAG-ADMM），它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM，是SAG-ADMM方法的扩展。此外，在适当的条件下，我们建立了所提方法的$O(1/ε)$的迭代复杂度界，以获得非凸优化问题的$ε$ -平稳解.特别是，我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后，数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
Global Solutions to Nonconvex Optimization of 4th-Order Polynomial and Log-Sum-Exp Functions
本文给出了一个求解由四阶多项式和对数和指数函数所控制的非凸全局最优化问题的正则对偶方法。这样的问题在工程和科学中广泛存在。基于规范对偶-三重性理论，将该非凸问题转化为等价的对偶问题，在一定条件下，该对偶问题可以很容易地求解。我们证明了原问题的全局极小值和最大局部极值都可以从规范对偶解中解析地得到。作为两种特殊情况，讨论了一个四次多项式极小化问题和一个极大极小问题。导出了存在性条件，可用于分类容易和相对困难的情况。应用程序说明了几个非凸和非光滑的例子。
2014-01-29 math.OC
Multistart Algorithm for Identifying All Optima of Nonconvex Stochastic Functions
我们提出了一个多起点算法，以确定所有的局部极小的约束，非凸随机最优化问题。该算法在域中均匀采样点，然后从其邻域中的“概率最佳”点的任何点开始局部随机最优化运行。在一定的条件下，我们的算法被证明是渐近确定所有的局部最优的概率很高，即使我们的算法是几乎肯定只开始许多本地随机最优化运行。我们证明了我们的算法在非凸随机最优化问题上的实现的性能，包括确定量子近似优化算法的最佳变分参数。
2022-01-04 math.OC
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah（犹他大学）
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法，采用动量和方差减少技术已经开发的组成优化。然而，这些算法没有充分利用这两种技术来加速收敛，并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献，用于非凸组合优化。特别是，我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外，我们的算法实现了接近最优的样本复杂度的结果，在非凸有限和和在线组合优化，并实现了梯度优势条件下的线性收敛速度。数值实验表明，我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
Microsoft Research（微软研究院）；MIT（麻省理工学院）；Boston University（波士顿大学）
本文提出了在线到非凸转换的通用框架，证明了 Schedule-free SGD 在非光滑非凸优化中具有最优迭代复杂度，并为其参数选择提供了理论见解。
2024-11-11 cs.LG math.OC stat.ML
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中，我们推广了著名的Nesterov的加速梯度（AG）方法，原来设计的凸光滑优化，解决非凸和可能的随机最优化问题。我们证明，通过适当地指定的步长政策，AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题，通过使用一阶信息，类似于梯度下降法。然后，我们考虑一类重要的复合最优化问题，并表明AG方法可以解决他们一致，即，通过使用与凸情形中相同的积极步长策略，即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率，如果复合问题是凸的，并提高了最好的已知的收敛速率，如果问题是非凸的。在AG方法的基础上，我们还提出了新的非凸随机逼近方法，并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知，这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
An Improved Analysis of Semidefinite Approximation Bound for Nonconvex Nonhomogeneous Quadratic Optimization with Ellipsoid Constraints
本文研究椭球约束下的非凸二次优化问题。我们证明了一些特殊情况下（ECQP）的基于SDP的近似界可以通过平凡地应用扩展的Pataki的程序来改进。本文的主要结果是给出了一个新的分析近似（ECQP）的SDP松弛，这大大改善了Tseng的结果[SIAM Journal Optimization，14，268 - 283，2003]。作为应用，我们严格地提高了指派多面体约束二次规划的逼近比。
2014-10-14 math.OC
Rate-improved Inexact Augmented Lagrangian Method for Constrained Nonconvex Optimization
在增广拉格朗日法（ALM）或罚函数法的框架内，一阶方法已经被研究用于非线性约束优化。我们提出了一种改进的不精确ALM（iALM），并进行了统一的分析，无论是仿射等式或非凸约束的非凸问题。在一定的规律性条件下（也假设现有的作品），我们展示了一个$\tilde{O}(\varepsilon^{-\frac{5}{2}})$复杂性的结果与非凸目标和仿射等式约束的问题和一个$\tilde{O}(\varepsilon^{-3})$复杂性的结果与非凸目标和非凸约束的问题，其中的复杂性是由一阶预言机的数量来衡量，以产生一个$\varepsilon$ -KKT解决方案。这两个结果都是最有名的。通过惩罚方法得到了同阶复杂度的结果。然而，使用两种不同的分析技术来获得结果，更重要的是，惩罚方法在实践中通常比iALM表现得更差。我们改进的iALM和分析缩小了理论与实践之间的差距。数值实验证明了该方法的有效性。
2021-03-24 math.OC
Adaptive Barzilai-Borwein Proximal Gradient Method for Nonconvex Optimization
China Agricultural University（中国农业大学）
本文提出用于非凸优化的自适应Barzilai-Borwein邻近梯度方法（AdaBBNC），将BB步长策略扩展至复合非凸优化问题，证明其迭代复杂度为O(ε⁻²)，实验显示其在病态问题中表现更优。
2026-08-25 math.OC
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Coderivative-Based Newton Methods in Structured Nonconvex and Nonsmooth Optimization
Ho Chi Minh City University of Education（胡志明市教育大学）；Wayne State University（韦恩州立大学）；University of North Dakota（北达科他大学）
本文提出了一种基于编码导数的牛顿方法，用于解决结构非凸和非光滑优化问题，并通过改进的线搜索方法和前向-后向包裹机制实现了快速收敛。
2026-03-01 math.OC
Stochastic Frank-Wolfe Methods for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了非凸随机和有限和最优化问题的Frank-Wolfe方法。Frank-Wolfe方法（在凸情况下）由于其无投影特性和利用结构化约束的能力，最近在机器学习和优化社区中获得了巨大的兴趣。然而，我们的理解这些算法在非凸设置是相当有限的。本文提出了非凸随机Frank-Wolfe方法并分析了其收敛性。对于分解为有限和的目标函数，我们利用凸优化的方差缩减技术的思想，得到了新的方差缩减非凸Frank-Wolfe方法，该方法比经典的Frank-Wolfe方法具有更快的收敛速度.最后，我们表明，更快的收敛速度，我们的方差减少的方法也转化为改进的收敛速度的随机设置。
2016-07-29 cs.LG math.OC stat.ML
Decentralized Nonconvex Optimization with Guaranteed Privacy and Accuracy
Clemson University（克莱姆森大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
隐私保护和非凸性是涉及敏感数据的分散优化和学习中两个具有挑战性的问题。尽管最近取得了一些进展，分别解决这两个问题，没有结果已经报告说，有理论保证的隐私保护和鞍/最大避免分散非凸优化。我们提出了一个新的算法，分散的非凸优化，可以使严格的差分隐私和鞍/最大避免性能。新算法允许将持久的加性噪声，使严格的差分隐私的数据样本，梯度和中间优化变量，而不会失去可证明的收敛性，从而规避交易的隐私精度在差分隐私设计的困境。更有趣的是，该算法在理论上被证明能够有效地{通过避免}收敛到局部极大值和鞍点，这在分散非凸优化的文献中还没有报道过。该算法在通信（每次迭代中只共享一个变量）和计算（无干扰）方面都是高效的，因此对于大规模非凸优化和涉及高维优化参数的学习是有希望的。分散估计问题和独立分量分析（ICA）问题的数值实验证实了所提出的方法的有效性。
2022-12-14 cs.LG math.OC
A Vectorization for Nonconvex Set-valued Optimization
向量化是一种用向量最优化问题代替集值最优化问题的技术。本文利用Gerstewitz函数[1]的一个推广，定义了一个向量化函数来代替给定的集值最优化问题关于集合无序关系.研究了该函数的一些性质。此外，一个集值最优化问题和一个向量最优化问题，通过向量化这个集值最优化问题，得出之间的关系进行检查。在不作任何凸性假设的情况下，给出了最优性的充分必要最优性条件。
2017-06-08 math.OC
