Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题，结合平滑与共识优化方法提出新型SICBO算法，证明其指数收敛性与全局最优性理论保证，且适用于非利普希茨连续情形，数值实验验证了算法有效性。
2025-01-13 math.OC
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题，其中罚函数是一个线性算子与一个非光滑非凸映射的复合，该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中，例如内聚断裂，其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
Global Nonconvex Optimization with Integer Variables
本文将RPT-BB方法扩展至二进制和整数等变量域，提出结合RPT与多种割平面的新分支定界算法，在多个非凸问题上表现优于BARON，并成功求解SCIP和BARON无法在时限内解决的全局最优问题。
2025-08-09 math.OC
Optimal Deterministic First-Order Oracle Complexity for Nonconvex-Concave Minimax Optimization
Sauder School of Business, The University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；RIKEN AIP（理化学研究所 AI中心）
该研究确定了非凸-凹极小极大优化中确定性一阶算法的下界，并提出了达到最优复杂度的Tracked-FOAM方法。
2026-10-23 math.OC
Complete solutions to nonconvex fractional programming problems
本文对一类椭圆约束下的非凸优化问题，即极小化二次函数之和及非凸函数与二次函数之比问题，给出了一种正则对偶方法.我们首先放松分数结构引入一个家庭的参数子问题。在一定条件下，我们证明了每个子问题的典型对偶成为一个没有对偶间隙的二维凹最大化问题。由于参数化子问题的最优解的下确界导致原问题的解，然后我们推导出一些最优性条件和存在性条件，找到一个全局极小的原问题。
2012-11-20 math.OC
Sensitivity analysis of the maximal value function with applications in nonconvex minimax programs
在本文中，我们进行灵敏度分析的最大值函数，这是最优值函数的参数最大化问题。我们的目的是研究最大值函数的各种次微分。利用一些灵敏度分析技巧，我们详细地得到了最大值函数的Fréchet次微分、极限次微分和水平次微分的上估计.导出的上估计只依赖于所有解的并集，而不依赖于其凸包或解集中的一个解。最后，我们将所得结果应用于非凸极大极小问题的一些新的最优性必要条件最优性条件。在非凹凸条件下，我们的Wolfe对偶方法与一阶方法相比，其必要条件更尖锐，约束规格更弱。
2023-03-02 math.OC
On Convergence of Heuristics Based on Douglas-Rachford Splitting and ADMM to Minimize Convex Functions over Nonconvex Sets
近年来，基于Douglas-Rachford分裂算法和乘子的交替方向法（ADMM）的算法在非凸集上最小化凸函数方面取得了经验性的成功，但对它们的理论认识还没有得到很大的提高。在本文中，我们研究这些算法的收敛性。首先，我们刻画了非凸约束集上涉及凸费用函数的极小化问题的最优解。我们证明了这些最优解与非凸Douglas-Rachford算子的不动点集有关.其次，我们建立了Douglas-Rachford分裂启发式收敛于一个点或其聚点形成非空紧连通集的充分条件。在启发式收敛到一个点的情况下，我们建立了该点是最优解的充分条件。然后，我们讨论了如何ADMM启发式可以构造从道格拉斯-Rachford分裂算法。我们表明，不同于在凸的情况下，在我们的非凸设置的算法是不等价的，彼此之间有一个相当复杂的关系。最后，我们对ADMM启发式算法的收敛性进行了评论，并将其与Douglas-Rachford分裂启发式算法进行了比较。
2019-02-08 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
Bounding-Focused Discretization Methods for the Global Optimization of Nonconvex Semi-Infinite Programs
本文提出基于灵敏度分析的有界聚焦离散化方法，用于非凸半无限规划的全局优化，通过极大极小问题建模与启发式求解，显著减少迭代次数。
2025-06-22 math.OC
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解（SymNMF）在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中，我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker（KKT）点集.此外，它实现了一个全球次线性收敛速度。我们还表明，该算法可以有效地实现并行。此外，充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明，该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
On Local Minimizers of Quadratically Constrained Nonconvex Homogeneous Quadratic Optimization with at Most Two Constraints
本文研究了具有一个或两个约束的非凸齐次二次约束二次优化问题，分别记为（QQ1）和（QQ2）。(QQ2)包含（QQ 1）、置信域子问题（TRS）和椭球正则化总体最小二乘问题作为特例。已知（QQ2）的全局极小存在一个充分必要的最优性条件.在本文中，我们首先证明了（QQ1）的任何局部极小是全局最优的。不同于它的特殊情况（TRS）至多有一个局部非全局极小，（QQ2）可能有无穷多个局部非全局极小。在（QQ2）的任何局部非全局极小点处，线性无关约束规格和严格互补条件均成立，且拉格朗日函数的Hessian恰好有一个负特征值.作为一个主要贡献，我们证明了标准的二阶充分最优性条件的任何严格的局部非全局极小（QQ2）仍然是必要的。应用和进一步扩展的不可能性进行了讨论。
2021-07-21 math.OC
An implementable proximal-type method for computing critical points to minimization problems with a nonsmooth and nonconvex constraint
本文提出一种可实现的近端型方法，用于求解含非光滑非凸目标及约束的优化问题，通过有限凸模型逐点最小值构建非凸模型，在统一框架下计算满足必要最优性条件的模型临界点。
2024-09-25 math.OC
Block Coordinate Descent Methods for Structured Nonconvex Optimization with Nonseparable Constraints: Optimality Conditions and Global Convergence
本研究针对带不可分约束的结构化非凸优化问题，提出考虑约束非线性耦合的块坐标下降方法，证明了相关最优性与收敛性，实验验证其在机器学习等任务中目标值更优。
2024-12-16 math.OC
Proximal Point Method for a Special Class of Nonconvex Functions on Hadamard Manifolds
本文给出了Hadamard流形上一类特殊非凸函数的逼近点方法。保证了由邻近点法产生的序列的良好定义性。证明了该序列的每一个聚点都满足必要的最优性条件，并在附加的假设下，得到了该序列收敛于极小元的结果。
2010-04-13 math.OC
An Efficient and Globally Optimal Algorithm for Nonconvex QCQP with One Equality Constraint
本文针对带一个等式约束的非凸QCQP提出一种基于同时对角化与二分搜索的快速非迭代全局最优算法，并通过结构扩展显著提升了可求解问题规模。
2025-06-04 math.OC
Value Functions and Optimality Conditions for Nonconvex Variational Problems with an Infinite Horizon in Banach Spaces
本文研究了无限维情形下无限水平变分问题的值函数。首先，利用Lipschitz连续被积函数的Clarke次微分和描述动力学的集值映射图的Clarke法锥给出了其Dini-Hadamard次微分的上估计.其次，我们推导出一个必要条件的最优性的伴随包含的形式，抓住了欧拉-拉格朗日条件和最大值原理之间的连接。
2020-02-10 math.FA math.OC
Local Convergence of the Proximal Point Method for a Special Class of Nonconvex Functions on Hadamard Manifolds
对Hadamard流形上一类特殊的非凸函数，给出了逼近点法的局部收敛分析。保证了由邻近点法产生的序列的良好定义性。证明了该序列的每一个聚点都满足必要的最优性条件，并在附加的假设条件下，得到了该序列收敛于极小点的结果。
2010-04-10 math.OC
Optimization Conditions and Decomposable Algorithms for Convertible Nonconvex Optimization
This paper defines a convertible nonconvex function(CN function for short) and a weak (strong) uniform (decomposable, exact) CN function, proves the optimization conditions for their global solutions and proposes algorithms for solving the unconstrained optimization problems with the decomposable CN function. First, to illustrate the fact that some nonconvex functions, nonsmooth or discontinuous, are actually weak uniform CN functions, examples are given. The operational properties of the CN functions are proved, including addition, subtraction, multiplication, division and compound operations…
2022-02-15 math.OC
Finding quadratic underestimators for optimal value functions of nonconvex all-quadratic problems via copositive optimization
本文利用余正优化重构非凸全二次问题，提出两种参数化方法，分别得到夹在凸包络与其下半连续包之间的下估计器，以及具有精确对偶的最优值函数刻画，从而推导出仿射和二次下估计器。
2024-09-30 math.OC
Strong Partitioning and a Machine Learning Approximation for Accelerating the Global Optimization of Nonconvex QCQPs
本文针对非凸QCQP全局优化提出强划分问题，并设计基于广义梯度的局部优化方法及机器学习近似，在Alpine求解器上实现平均2至4.5倍、最高200倍的求解加速。
2025-08-24 math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中，我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度，从而得到[2]中引入的相同动量-SARAH估计。与[7]相比，这允许我们每次迭代节省一个随机梯度，并且每次迭代只需要两个样本。我们的算法是非常简单的，并实现了最佳的随机预言复杂性界的随机梯度评价（一个常数因子）。我们的分析基本上受到[7]的启发，但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Optimal Impact Angle Guidance via First-Order Optimization under Nonconvex Constraints
Inha University（仁荷大学）；Hyundai Motors Company（现代汽车公司）
本文提出一种直接处理非凸约束的计算最优制导方法，通过交替求解最小二乘问题与投影到非凸可行集，快速收敛至可行次优解，仿真验证其在落角制导中优于传统技术。
2024-03-17 cs.RO cs.SY eess.SY
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Finding global solutions for a class of possibly nonconvex QCQP problems through the S-lemma
本文给出了一类新的可能非凸二次约束二次规划（QCQP）问题（记作S-QCQP）的全局最优性的充分必要条件.该类由QCQP问题组成，其中二次分量的矩阵由标量乘以单位矩阵形成。我们的结果依赖于一个广义版本的S-引理，在一般的QCQP问题的上下文中。此外，我们证明了S-QCQP的SDP和SOCP松弛的正确性。
2022-06-01 math.OC
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具，它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题，通过使用一种新的"分解“技术。配备了这个全局对偶误差界，我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解，这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸，非光滑的复合最优化问题，其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法，如非凸ADMM，对这样的问题类缺乏收敛性。为了克服这一困难，在这项工作中，我们考虑一个提升的Moreau-Yosida正则化模型的变体，并提出了一种新的多块原始对偶法，本质上稳定的双块。我们提供了一个全收敛分析，我们的算法，并确定各自的最优资格下，原始模型的平稳收敛。在数值上，我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
On global solvability of a class of possibly nonconvex QCQP problems in Hilbert spaces
我们提供的条件，确保KKT型条件的特点的全局最优性的二次约束（可能非凸）的二次规划QCQP问题在希尔伯特空间。关键属性是凸性的图像类型集相关的功能出现在制定的问题。主要结果的证明依赖于希尔伯特空间中（Jakubovich）S-引理的推广形式.作为应用，我们考虑一类具有特殊形式的二次项约束的QCQP问题。
2023-02-14 math.OC
Tight Lower Bounds and Optimal Algorithms for Stochastic Nonconvex Optimization with Heavy-Tailed Noise
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；École Polytechnique（巴黎综合理工学院）
本文研究了在厚尾噪声下的随机非凸优化问题，建立了基于放松的均方光滑性和δ-相似性假设的紧样本复杂度下界，并提出了NSGD-MVR和Double-Clipped NSGD-MVR算法，实现了更优的收敛速率。
2026-03-31 math.OC
A General Recipe for Parameter-Free Nonconvex Optimization via Higher-Order Regularization
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出一种基于高阶正则化的系统框架，用于构建无参数平滑非凸优化算法，无需回溯或接受测试即可实现最优复杂度界。
2026-05-29 math.OC
Efficient random coordinate descent algorithms for large-scale structured nonconvex optimization
本文分析了几种求解非凸最优化问题的新方法，其中目标函数由两项之和构成：一项是非凸且光滑，另一项是凸但简单且结构已知。此外，我们考虑这两种情况：无约束和线性约束的非凸问题。对于上述结构的最优化问题，我们提出了随机坐标下降算法，并分析了它们的收敛性。在一般情况下，当目标函数为非凸复合函数时，我们证明了算法产生的序列对稳定点的渐近收敛，并证明了在某种最优性测度下的次线性收敛速率.此外，如果目标函数满足误差界条件，我们推导出局部线性收敛速率的期望值的目标函数。我们还提出了广泛的数值实验，以评估我们的算法的性能相比，国家的最先进的方法。
2014-06-24 math.OC
Fully Distributed Continuous-Time Algorithm for Nonconvex Optimization over Unbalanced Directed Networks
研究了非平衡有向网络上分布式连续时间非凸最优化问题。我们的目标是合作驱动所有的代理状态的最优解，最小化的本地费用函数的总和。基于拓扑平衡技术和适应控制方法，提出了一种新的完全分布式算法，该算法既不需要网络连通性的全局先验信息，也不需要局部费用函数的凸性。将该算法看作一个摄动系统，首先建立了该算法在摄动为零时的输入-状态稳定性，然后在松弛条件下证明了决策变量向最优解的渐近收敛.算法设计的一个关键特点是它消除了对局部费用函数的最小强凸性常数的依赖，以及不平衡有向拓扑的拉普拉斯矩阵的零特征值对应的左特征向量。两个例子说明了所提出的全分布式算法的有效性。
2022-11-30 math.OC
Variational Theory and Algorithms for a Class of Asymptotically Approachable Nonconvex Problems
本文针对内层函数可能非局部Lipschitz连续的复合非凸优化问题，提出保证epi-收敛的渐近分解方法，建立必要最优性条件并设计相应数值算法，扩展了amenable函数与prox-linear方法的理论框架。
2024-11-20 math.OC
Discrete Optimal Designs for Distributed Energy Systems with Nonconvex Multiphase Optimal Power Flow
在并网分布式能源系统（DES）中，小型技术的最佳选择、规模和位置有助于减少碳排放、消费者成本和网络不平衡。这是第一个研究提出了一个优化框架，以获得离散的技术规模和选择并网DES设计，同时考虑多相最优潮流（MOPF）的约束，以准确地表示不平衡的低压配电网。一个算法来解决由此产生的混合约束非线性规划（MINLP）制定。它采用了基于混合线性规划（MILP）和非线性规划（NLP）的分解，并利用整数切割和互补重构，以获得离散的设计，也是可行的网络约束。为了提高计算速度，对原算法进行了启发式修改。改进的公式选择空气源热泵（ASHP）和热水储罐的可行组合也提出。该算法优于现有的国家的最先进的商业MINLP求解器，未能找到任何解决方案在两个实例。虽然在所有情况下都得到了可行解，但并不是所有情况都实现了收敛，尤其是涉及较大网络的情况。在收敛的情况下，具有启发式修改的算法比原始算法快70%。案例研究的结果表明，与燃气锅炉相比，包括ASHP可以支持高达16%的可再生能源发电能力，尽管ASHP的投资成本更高。优化框架和结果可用于为政策制定者和网络运营商等利益相关者提供信息，以增加可再生能源容量并帮助家庭供暖系统脱碳。
2022-09-28 math.OC
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中，我们推广了著名的Nesterov的加速梯度（AG）方法，原来设计的凸光滑优化，解决非凸和可能的随机最优化问题。我们证明，通过适当地指定的步长政策，AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题，通过使用一阶信息，类似于梯度下降法。然后，我们考虑一类重要的复合最优化问题，并表明AG方法可以解决他们一致，即，通过使用与凸情形中相同的积极步长策略，即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率，如果复合问题是凸的，并提高了最好的已知的收敛速率，如果问题是非凸的。在AG方法的基础上，我们还提出了新的非凸随机逼近方法，并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知，这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
Benign Nonconvex Landscapes in Optimal and Robust Control, Part I: Global Optimality
本文研究部分可观测的LQG和H∞鲁棒控制问题，证明在非退化策略下，所有Clarke平稳点均为全局最优，无虚假局部最小值，并提出扩展凸提升（ECL）统一框架弥合非凸优化与凸重构的差距。
2023-12-23 cs.SY eess.SY math.DS
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法，通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题，该方法在执行具有恒定步长的$N$迭代之后，找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
Run-and-Inspect Method for Nonconvex Optimization and Global Optimality Bounds for R-Local Minimizers
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
许多优化算法收敛于稳定点。当基本问题是非凸的，他们可能会陷入局部极小，偶尔停滞在附近的鞍点。我们提出了运行和检查方法，它增加了一个“检查”阶段，现有的算法，有助于逃离非全球固定点。检验对当前点周围半径$R$内的一组点进行采样。当一个样本点在目标中产生足够的减少时，我们移动到那里并恢复现有的算法。如果没有找到足够的减少，则当前点被称为近似$R$ -局部最小值。我们表明，一个$R$局部极小是全局最优的，到一个特定的错误取决于$R$，如果目标函数可以隐式分解成一个光滑的凸函数加上一个限制功能，可能是非凸的，非光滑。对于高维问题，我们引入分块检查来克服维数灾难，同时仍然保持最优性界限等于块的数量。我们的方法在一组人工和现实的非凸问题上表现良好，通过与梯度下降，坐标下降，EM和非线性算法相结合。
2018-06-29 cs.LG math.OC stat.ML
A Refined Proximal Algorithm for Nonconvex Multiobjective Optimization in Hilbert Spaces
本文针对希尔伯特空间中的非凸多目标优化问题，基于Mordukhovich极限次微分定义新的帕累托临界点，建立必要最优性条件，并据此提出改进的向量近端点算法，给出详细收敛性分析，显著扩展了已有研究。
2024-03-14 math.OC
A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization
本文提出“全局函数”理论，证明张量分解中一类非凸非光滑目标不存在伪局部最优，为 ℓ1 范数鲁棒非凸优化提供理论保证。
2025-02-14 math.OC
Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence
Peng Cheng Laboratory（鹏城实验室）
凸差最小化（Difference-of-Convex，DC）是指最小化两个凸函数之差的问题，在统计学习中有着广泛的应用和研究。然而，现有的方法主要是基于多阶段的凸松弛，只导致弱的临界点的最优性。提出了一种基于序列非凸逼近的求解一类DC函数极小化问题的坐标下降法。我们的方法全局迭代求解非凸一维子问题，并且保证收敛到坐标系稳定点。我们证明了在弱\textit{locally bounded nonconvexity assumption}下，这个新的最优性条件总是强于标准的临界点条件和方向点条件。为了比较，我们还包括一个朴素的坐标下降法的基础上顺序凸近似在我们的研究。当目标函数满足一个\textit{globally bounded nonconvexity assumption}和\textit{Luo-Tseng error bound assumption}时，坐标下降法达到\textit{Q-linear}收敛速度。此外，对于许多感兴趣的应用程序，我们表明，非凸一维子问题可以计算准确，有效地使用断点搜索方法。最后，我们对几个统计学习任务进行了大量的实验，以显示我们的方法的优越性。保留字：坐标下降，DC最小化，DC规划，凸规划的差异，非凸优化，稀疏优化，二进制优化。
2022-12-18 cs.LG math.OC
Imposing early and asymptotic constraints on LiGME with application to bivariate nonconvex enhancement of fused lasso models
本文针对受约束的LiGME非凸正则化最小二乘模型，提出可同时处理渐近约束与早期约束且保证全局最优收敛的迭代算法，并将其应用于融合套索模型的双变量非凸增强以实现稀疏分段常数信号估计。
2024-04-04 math.OC
A Vectorization for Nonconvex Set-valued Optimization
向量化是一种用向量最优化问题代替集值最优化问题的技术。本文利用Gerstewitz函数[1]的一个推广，定义了一个向量化函数来代替给定的集值最优化问题关于集合无序关系.研究了该函数的一些性质。此外，一个集值最优化问题和一个向量最优化问题，通过向量化这个集值最优化问题，得出之间的关系进行检查。在不作任何凸性假设的情况下，给出了最优性的充分必要最优性条件。
2017-06-08 math.OC
Optimal design-for-control of self-cleaning water distribution networks using a convex multi-start algorithm
提供自清洁速度已被证明可以降低配水管网（WDN）中变色的风险。尽管有这些发现，控制措施的实施仍然主要集中在压力和泄漏管理上。本文认为，控制昼夜流速，以最大限度地提高自洁能力（SCC）的WDN。我们制定了一个新的最优设计的控制问题，压力控制和自动冲洗阀的位置和操作设置联合优化。该问题包括一个非凸的目标函数，非凸的水力守恒律约束，和二进制变量建模阀门的位置，从而在一个非凸的混合整数非线性规划（MINLP）最优化问题。考虑到解决非凸MINLP问题的挑战，我们提出了一种启发式算法，它结合了凸松弛（与域减少），随机化技术，和一个多开始的策略来计算可行解。我们评估所提出的算法的案例研究网络具有不同的大小和复杂程度，包括在英国的大型运营网络。凸多启动算法被证明是一个更强大的解决方案的方法相比，现成的遗传算法，找到高质量的可行解的所有设计控制的数值实验。此外，我们证明了实施多启动策略是一个快速和可扩展的方法计算可行解的非线性SCC控制问题。所提出的方法扩展了动态自适应网络的控制能力和效益，以改善WDN中的水质。
2023-02-03 math.OC
Global Optimality Guarantees for Nonconvex Unsupervised Video Segmentation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在本文中，我们考虑的问题，无监督的视频对象分割通过背景减法。具体来说，我们提出的非语义提取视频的移动对象作为一个非凸优化问题，通过稀疏和低秩矩阵的总和。由此产生的配方，一个非负的变种，强大的主成分分析，是更易于计算的比其常用的凸松弛，虽然一般不能解决全局最优。尽管有这种限制，我们得到直观和可解释的条件下，保证使用局部搜索方法的对象分割的唯一性和全局最优的视频数据。我们通过使用真实视频数据的示例分割来说明这些新的最优性标准。
2020-02-22 cs.CV cs.LG math.OC
An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization
Weizmann Institute of Science（魏茨曼科学研究院）
该研究提出一种复杂度为$O(dδ^{-1}ε^{-3})$的随机零阶优化算法，推翻了非光滑非凸问题零阶优化维度依赖性为$Ω(d^{3/2})$的最优性推测，在维度和精度参数上均达最优，证明该设定下非光滑与光滑优化难度相当。
2024-04-15 cs.LG math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题，提出一种带外推的近端次梯度算法，证明其子序列收敛及在KL性质下的全局收敛性，并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Policy Optimization of Mixed H2/H-infinity Control: Benign Nonconvexity and Global Optimality
University of California San Diego（加州大学圣迭戈分校）；Peking University（北京大学）
本文从策略优化角度研究混合H2/H无穷控制，揭示其非凸结构的良性特性，提出扩展凸提升框架以实现大规模系统的全局最优解。
2026-03-05 cs.SY eess.SY math.DS
Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
针对带凸约束的非光滑非凸随机优化问题，提出新算法，首次在多种场景下达到最优收敛速率，证明约束与非光滑性不会降低收敛速率，分析基于无约束优化相关技术的推广。
2026-10-12 cs.LG math.OC
General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
Microsoft Research（微软研究院）；MIT（麻省理工学院）；Boston University（波士顿大学）
本文提出了在线到非凸转换的通用框架，证明了 Schedule-free SGD 在非光滑非凸优化中具有最优迭代复杂度，并为其参数选择提供了理论见解。
2024-11-11 cs.LG math.OC stat.ML
Generalized Uniformly Optimal Methods for Nonlinear Programming
在本文中，我们提出了一个通用的框架来扩展现有的一致最优凸规划算法，以解决更一般的非线性，可能非凸，最优化问题。其基本思想是在这些一致最优凸规划方法中加入一个局部搜索步骤（梯度下降或拟牛顿迭代），然后使计算的函数值沿轨迹单调递减.这些类型的算法将实现最佳已知的复杂性为非凸问题，和凸的最佳复杂性，而不需要任何问题参数。这样，对于一般的非线性规划问题，无论其凸性和光滑性如何，我们都可以得到统一的处理。特别是，我们表明，加速梯度和水平的方法，原来只为解决凸优化问题，可以用来解决凸和非凸问题的一致。在类似的静脉，我们表明，一些良好的研究技术非线性规划，例如，拟牛顿迭代可以嵌入到最优凸优化算法中，以进一步提高其数值性能。我们的理论和算法的发展得到了补充，一些有前途的数值结果解决了一些重要的非凸和非线性数据分析问题的文献。
2015-09-12 math.OC stat.ML
Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization
最近提出了两个新的随机方差缩减算法SARAH和SPIDER，SPIDER已被证明可以实现非凸优化的近似最优梯度预言复杂度。然而，SPIDER的理论优势并没有导致SVRG的实际性能的实质性改善。为了解决这个问题，动量技术可以是一个很好的候选人，以提高性能的SPIDER。然而，现有的动量方案中使用的方差减少算法是专为凸优化，并不适用于非凸的情况。在本文中，我们开发了新的动量计划与灵活的系数设置，以加速SPIDER的非凸和非光滑的复合优化，并表明，由此产生的算法实现了接近最优的梯度预言复杂性，实现了广义一阶平稳条件。此外，我们将我们的算法推广到在线非凸和非光滑最优化，并建立了一个预言的复杂性结果，匹配国家的最先进的。我们广泛的实验表明，我们提出的算法优于其他随机方差减少算法。
2019-05-15 cs.LG math.OC
Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity
The University of Tokyo（东京大学）；The University of Osaka（大阪大学）；RIKEN（理化学研究所）
针对随机非光滑非凸复合优化问题，扩展在线到非凸转换框架，提出新的在线学习器损失，得到的算法在一阶或零阶查询下达到最优神谕复杂度，且凸正则项未增加复杂度。
2026-10-09 cs.LG math.OC stat.ML
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景，分析了不同非凸条件下的复杂度与收敛性，并通过机器学习问题实验验证了算法的鲁棒性。
2024-09-13 cs.NA math.NA math.OC
