Second-order optimality conditions for general nonconvex optimization problems and variational analysis of disjunctive systems
本文对一个非常一般的非凸约束最优化问题提出了二阶充分最优性条件,它涵盖了许多著名的数学规划.与文献中已有的结果不同,我们的条件证明了对于二阶本质局部极小,在定义问题数据的基本光滑性和闭性假设下是充分的.在第二部分中,我们提出了一个全面的一阶和二阶变分分析的析取系统,并证明了如何二阶对象出现在最优性条件,可以有效地计算在这种情况下。
2022-11-22 math.OC
Optimality conditions for nonsmooth nonconvex-nonconcave min-max problems and generative adversarial networks
研究了机器学习和博弈中一类非光滑非凸-非凹极大极小问题。首先给出了全局极大极小点和局部极大极小点存在的充分条件。其次,我们利用方向导数建立了局部极小极大点的一阶和二阶最优性条件。这些条件减少到光滑的最小最大问题与Fr{é}chet导数。我们将我们的理论结果应用于生成对抗网络(GANs),其中两个神经网络在游戏中相互竞争。最后通过实例说明了新理论在GANs训练中的应用。
2022-03-21 math.OC
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解(SymNMF)在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中,我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker(KKT)点集.此外,它实现了一个全球次线性收敛速度。我们还表明,该算法可以有效地实现并行。此外,充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明,该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题,结合平滑与共识优化方法提出新型SICBO算法,证明其指数收敛性与全局最优性理论保证,且适用于非利普希茨连续情形,数值实验验证了算法有效性。
2025-01-13 math.OC
Certifying optimality in nonconvex robust PCA
The University of Hong Kong(香港大学);University of Pennsylvania(宾夕法尼亚大学)
该研究提出了一种非凸鲁棒主成分分析的最优性认证方法,通过分析分解的局部几何特性,确定了临界点的性质及解的稳定性。
2026-01-29 math.OC
Constraint Qualifications and Optimality Conditions for Nonconvex Semi-Infinite and Infinite Programs
本文研究了一类新的非线性非凸最优化问题,即定义在无限维决策变量空间上的无限规划问题,该问题包含无穷多个等式和不等式约束,且具有任意(可能不是紧的)指标集。在有限维空间的决策变量的情况下,这些问题归结为半无限规划。我们将经典的Mangasarian-Fromovitz和Farkas-Minkowski约束规格推广到这类无限和半无限规划。新的资格条件是用于有效地计算适当的正常锥的可行解,这些方案采用先进的工具,变分分析和广义微分。在进一步的发展中,我们得到了无限和半无限规划的一阶最优性必要条件最优性条件,这些条件在有限维和无限维环境下都是新的。
2011-03-22 math.OC
Guaranteeing Both Consensus and Optimality in Decentralized Nonconvex Optimization with Multiple Local Updates
本文提出完全去中心化算法MILE,通过周期系统表述和提升分析,首次在多次局部更新下的非凸优化中同时保证共识性与最优性,并达到O(1/T)收敛速率且通信内存开销最小。
2025-11-07 math.OC
Global Optimality Guarantees for Nonconvex Unsupervised Video Segmentation
University of California, Berkeley(加利福尼亚大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在本文中,我们考虑的问题,无监督的视频对象分割通过背景减法。具体来说,我们提出的非语义提取视频的移动对象作为一个非凸优化问题,通过稀疏和低秩矩阵的总和。由此产生的配方,一个非负的变种,强大的主成分分析,是更易于计算的比其常用的凸松弛,虽然一般不能解决全局最优。尽管有这种限制,我们得到直观和可解释的条件下,保证使用局部搜索方法的对象分割的唯一性和全局最优的视频数据。我们通过使用真实视频数据的示例分割来说明这些新的最优性标准。
2020-02-22 cs.CV cs.LG math.OC
Block Coordinate Descent Methods for Structured Nonconvex Optimization with Nonseparable Constraints: Optimality Conditions and Global Convergence
本研究针对带不可分约束的结构化非凸优化问题,提出考虑约束非线性耦合的块坐标下降方法,证明了相关最优性与收敛性,实验验证其在机器学习等任务中目标值更优。
2024-12-16 math.OC
Optimal control of nonconvex integro-differential sweeping processes
本文致力于研究,在文献中的第一次,由积分-微分包含的Volterra型与不同类的控制功能,在非凸移动集,外部动态扰动,和整体部分的扫描动态扫描过程的最优控制问题。我们建立了最优解的存在性,然后得到了这类问题中广泛的一类局部极小的必要最优性条件。我们的方法来获得必要的最优性条件是基于离散逼近的方法结婚的基本建设和微积分规则的一阶和二阶变分分析和广义微分。所获得的必要的最优性条件表示完全的问题数据方面,并说明了非平凡的例子,包括应用程序的非常规电路的最优控制模型。
2021-03-28 math.OC
Subdifferential Test for Optimality
利用次微分的概念,给出了巴拿赫空间上下半连续函数最优性的一阶充要条件。从这个充分条件出发,我们得到任何次微分算子都是单调吸收的,因此当函数是凸的时,它是极大单调的。
2013-06-24 math.FA math.OC
Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality
Princeton University(普林斯顿大学)
我们研究的分布和不确定性的非凸优化噪声张量完成-估计一个低秩张量的不完整和损坏的观察其条目的问题。专注于Cai等人提出的两阶段估计算法。(2019),我们将这种非凸估计量的分布特征描述为精细尺度。这种分布理论又允许我们为未知的张量项和未知的张量因子构造有效且短的置信区间。所提出的推理过程具有以下几个重要特征:(1)它完全适应噪声异方差,(2)它是数据驱动的,并自动适应未知的噪声分布。此外,我们的研究结果揭示了非凸张量完成的统计最优性:当估计未知张量和潜在张量因子时,它达到了不可改进的$\ell_{2}$精度-包括速率和预常数。
2020-06-15 cs.IT cs.LG math.IT
Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence
Peng Cheng Laboratory(鹏城实验室)
凸差最小化(Difference-of-Convex,DC)是指最小化两个凸函数之差的问题,在统计学习中有着广泛的应用和研究。然而,现有的方法主要是基于多阶段的凸松弛,只导致弱的临界点的最优性。提出了一种基于序列非凸逼近的求解一类DC函数极小化问题的坐标下降法。我们的方法全局迭代求解非凸一维子问题,并且保证收敛到坐标系稳定点。我们证明了在弱\textit{locally bounded nonconvexity assumption}下,这个新的最优性条件总是强于标准的临界点条件和方向点条件。为了比较,我们还包括一个朴素的坐标下降法的基础上顺序凸近似在我们的研究。当目标函数满足一个\textit{globally bounded nonconvexity assumption}和\textit{Luo-Tseng error bound assumption}时,坐标下降法达到\textit{Q-linear}收敛速度。此外,对于许多感兴趣的应用程序,我们表明,非凸一维子问题可以计算准确,有效地使用断点搜索方法。最后,我们对几个统计学习任务进行了大量的实验,以显示我们的方法的优越性。保留字:坐标下降,DC最小化,DC规划,凸规划的差异,非凸优化,稀疏优化,二进制优化。
2022-12-18 cs.LG math.OC
Run-and-Inspect Method for Nonconvex Optimization and Global Optimality Bounds for R-Local Minimizers
Tsinghua University(清华大学);University of California, Los Angeles(加州大学洛杉矶分校)
许多优化算法收敛于稳定点。当基本问题是非凸的,他们可能会陷入局部极小,偶尔停滞在附近的鞍点。我们提出了运行和检查方法,它增加了一个“检查”阶段,现有的算法,有助于逃离非全球固定点。检验对当前点周围半径$R$内的一组点进行采样。当一个样本点在目标中产生足够的减少时,我们移动到那里并恢复现有的算法。如果没有找到足够的减少,则当前点被称为近似$R$ -局部最小值。我们表明,一个$R$局部极小是全局最优的,到一个特定的错误取决于$R$,如果目标函数可以隐式分解成一个光滑的凸函数加上一个限制功能,可能是非凸的,非光滑。对于高维问题,我们引入分块检查来克服维数灾难,同时仍然保持最优性界限等于块的数量。我们的方法在一组人工和现实的非凸问题上表现良好,通过与梯度下降,坐标下降,EM和非线性算法相结合。
2018-06-29 cs.LG math.OC stat.ML
Constrained Optimization Involving Nonconvex $\ell_p$ Norms: Optimality Conditions, Algorithm and Convergence
ShanghaiTech University(上海科技大学);University of Washington(华盛顿大学);Beihang University(北京航空航天大学)
本文研究了含有变量的$0<p<1$范数($\ell_p$ norm)的约束最优化问题的局部极小值的最优性条件,该范数既可以出现在目标中,也可以出现在约束中.由于$\ell_p$范数通常能促进稀疏解的产生,这类问题具有很强的适用性。然而,$\ell_p$范数的非光滑性和非Lipschtiz性往往导致这些问题难以分析和解决。我们提供了计算的次梯度的$\ell_p$规范和正规锥的$\ell_p$球。对于这两个问题,在各种约束规格下,我们导出了一阶必要条件。我们还推导了这两个问题的序列最优性条件,并研究了这些条件隐含的一阶必要条件的条件。我们指出,序列最优性条件可以很容易地满足迭代重加权算法,并表明,整体收敛可以很容易地推导出使用序列最优性条件。
2022-02-15 cs.IT cs.LG math.IT
Global Nonconvex Optimization with Integer Variables
本文将RPT-BB方法扩展至二进制和整数等变量域,提出结合RPT与多种割平面的新分支定界算法,在多个非凸问题上表现优于BARON,并成功求解SCIP和BARON无法在时限内解决的全局最优问题。
2025-08-09 math.OC
What is Local Optimality in Nonconvex-Nonconcave Minimax Optimization?
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
极大极小优化在现代机器学习中有着广泛的应用,例如生成对抗网络(GANs),对抗训练和多智能体强化学习。由于大多数应用都涉及连续的非凸-非凹公式,因此出现了一个非常基本的问题--“局部最优解的正确定义是什么?”“大多数以前的工作回答这个问题使用经典的概念,均衡从同时游戏,其中最小的球员和最大的球员同时行动。相比之下,机器学习中的大多数应用,包括GANs和对抗训练,都对应于顺序游戏,其中玩家首先行动的顺序至关重要(因为由于问题的非凸-非凹性质,minimax通常不等于maximin)。本文的主要贡献是给出了局部最优性的数学定义--局部极小极大,并给出了它的性质和存在性结果。最后,我们建立了一个强连接到一个基本的局部搜索算法-梯度下降上升(GDA):在温和的条件下,所有稳定的极限点GDA是正是当地的minimax点,直到一些退化点。
2020-08-15 cs.LG math.OC stat.ML
Local Optimality Conditions for a Class of Hidden Convex Optimization
隐凸优化是一类非凸最优化问题,通过等价的凸规划变换,可以在多项式时间内得到全局解。本文主要研究隐凸优化的局部最优性检验问题。将经典的非凸信赖域子问题(TRS)与凸优化(CO)结合起来,引入了一类隐凸最优化问题,并对局部最优性条件进行了全面的研究.为了保证局部最优性的充要条件的存在,我们需要更严格的假设。令人惊讶的是,虽然(TRS)最多有一个局部非全局极小点,(CO)没有局部非全局极小点,但它们的联合问题可能有多个局部非全局极小点。
2021-09-07 math.OC
Policy Optimization of Mixed H2/H-infinity Control: Benign Nonconvexity and Global Optimality
University of California San Diego(加州大学圣迭戈分校);Peking University(北京大学)
本文从策略优化角度研究混合H2/H无穷控制,揭示其非凸结构的良性特性,提出扩展凸提升框架以实现大规模系统的全局最优解。
2026-03-05 cs.SY eess.SY math.DS
Optimality Conditions for Constrained Minimax Optimization
极大极小优化问题既源于现代机器学习,包括生成对抗网络、对抗训练和多智能体强化学习,也源于传统研究领域,如鞍点问题、数值偏微分方程和等式约束优化的最优性条件。对于无约束连续非凸-非凹情形,Jin,Netrapalli和Jordan(2019)仔细考虑了非常基本的问题:什么是极小极大最优化问题的局部最优解的适当定义,并提出了局部极小极大的局部最优性的适当定义。我们将局部极大极小点的定义推广到约束非凸-非凹极大极小最优化问题。通过分析下层极大化问题的Jacobian唯一性条件和极大化问题的Karush-Kuhn-Tucker条件的强正则性,给出了约束极小极大最优化问题局部极小极大点的最优性条件和充分最优性条件.
2020-04-21 math.OC
Optimality of orders one to three and beyond: characterization and evaluation complexity in constrained nonconvex optimization
Mathematical Institute, Oxford University(牛津大学数学研究所);Numerical Analysis Group, Rutherford Appleton Laboratory(鲁瑟福阿普尔顿实验室数值分析组);Namur Center for Complex Systems (naXys) and Department of Mathematics, University of Namur(纳穆尔大学复杂系统中心(naXys)与数学系)
本文研究了光滑非线性约束优化中高阶最优性的必要条件,并探讨了其内在复杂性,提出了一种两阶段最小化算法,能够实现近似一、二、三阶临界点,并分析了其评估复杂性,还讨论了高阶临界点与惩罚技术的关系,指出标准算法方法在寻求近似约束高阶临界点时会失败。
2018-01-07 cs.CC cs.NA math.NA
An implementable proximal-type method for computing critical points to minimization problems with a nonsmooth and nonconvex constraint
本文提出一种可实现的近端型方法,用于求解含非光滑非凸目标及约束的优化问题,通过有限凸模型逐点最小值构建非凸模型,在统一框架下计算满足必要最优性条件的模型临界点。
2024-09-25 math.OC
Relaxations of KKT Conditions do not Strengthen Finite RLT and SDP-RLT Bounds for Nonconvex Quadratic Programs
本文研究非凸二次规划中纳入KKT最优性条件对RLT与SDP-RLT松弛界的影响,证明有限值情形下界不变,并通过无界实例说明其可能产生误导。
2025-06-11 math.OC
New second-order optimality conditions for directional optimality of a general set-constrained optimization problem
本文针对底层集合可非凸的一般集合约束优化问题,通过方向法锥、渐近二阶切锥和外二阶切集,推导了特定方向上局部最优的新一阶和二阶必要充分条件,且不要求外二阶切集的凸性与非空性。
2025-03-03 math.OC
Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization
从最坏情况计算复杂性的角度建立或反驳了无约束非凸优化的不精确二阶方法的最优性,改进和推广了Cartis,Gould和Toint(2010,2011)的结果.为了这个目的,我们考虑一个新的一般类的不精确的二阶算法无约束优化,包括正则化和信赖域变化的牛顿法,以及他们的linesperson的变种。对于这类方法和任意精度阈值$ε\in (0,1)$,我们展示了一个具有有界范围的光滑目标函数,其梯度是全局Lipschitz连续的,其Hessian是$α-$ Hölder连续的(对于给定的$α\in [0,1]$),对于该方法,至少需要$\lfloorε^{-(2+α)/(1+α)}\rfloor$函数求值来生成第一个梯度小于$ε$的范数。此外,我们还构造了另一个函数,牛顿的$\lfloorε^{-2}\rfloor$评估,但其Hessian是Lipschitz连续的路径上的迭代。这些例子提供了最坏情况下的评估复杂性的方法,在我们的类时,应用到满足相关假设的光滑问题的下限。此外,对于$α=1$,该下限在$ε$中与Curtis,Robinson和samadi(2017)或Royer和Wright(2017)中提出的一类方法中的立方和其他方法的最坏情况评估复杂度的上限具有相同的顺序,因此意味着这些方法在更广泛的二阶方法中具有最佳的最坏情况评估复杂度,而牛顿法是次优的。
2017-09-21 math.OC
Benign Nonconvex Landscapes in Optimal and Robust Control, Part I: Global Optimality
本文研究部分可观测的LQG和H∞鲁棒控制问题,证明在非退化策略下,所有Clarke平稳点均为全局最优,无虚假局部最小值,并提出扩展凸提升(ECL)统一框架弥合非凸优化与凸重构的差距。
2023-12-23 cs.SY eess.SY math.DS
Calm local optimality for couple-constrained minimax problems
本文将平静局部极小极大点概念推广到内层可行集依赖外层变量的耦合约束非光滑非凸非凹问题,给出一阶、二阶充要条件,并涵盖集合、不等式与等式约束,在更弱假设下统一现有表述。
2025-10-04 math.OC
Canonical duality for solving general nonconvex constrained problems
本文给出了求解一般非凸约束最优化问题的正则对偶理论,并将Lagrange乘子法和KKT理论统一起来。证明了如果目标函数和约束条件都具有建模实际系统所必需的某种模式,那么在给出全局最优性条件的情况下,可以得到统一形式的完全对偶问题(无对偶间隙).而目前流行的增广拉格朗日方法由于约束条件的非线性,可能会产生更加困难的非凸问题。
2013-10-08 math.OC
On Local Minimizers of Quadratically Constrained Nonconvex Homogeneous Quadratic Optimization with at Most Two Constraints
本文研究了具有一个或两个约束的非凸齐次二次约束二次优化问题,分别记为(QQ1)和(QQ2)。(QQ2)包含(QQ 1)、置信域子问题(TRS)和椭球正则化总体最小二乘问题作为特例。已知(QQ2)的全局极小存在一个充分必要的最优性条件.在本文中,我们首先证明了(QQ1)的任何局部极小是全局最优的。不同于它的特殊情况(TRS)至多有一个局部非全局极小,(QQ2)可能有无穷多个局部非全局极小。在(QQ2)的任何局部非全局极小点处,线性无关约束规格和严格互补条件均成立,且拉格朗日函数的Hessian恰好有一个负特征值.作为一个主要贡献,我们证明了标准的二阶充分最优性条件的任何严格的局部非全局极小(QQ2)仍然是必要的。应用和进一步扩展的不可能性进行了讨论。
2021-07-21 math.OC
Existence Results and KKT Optimality Conditions for Generalized Quasiconvex Functions
Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高等研究院);Universidad de Tarapacá(塔拉帕卡大学)
本文研究了广义拟凸函数的性质,建立了解集非空紧致的充分条件,并探讨了KKT条件在$e$-拟凸约束下的应用。
2026-02-12 math.OC
Global optimality conditions for deep neural networks
Massachusetts Institute of Technology(麻省理工学院)
我们研究了具有平方误差损失的深度线性和非线性神经网络的误差景观。最小化深度线性神经网络的损失是一个非凸问题,尽管最近取得了进展,但我们对这种损失面的理解仍然不完整。对于深度线性网络,我们给出了风险函数的临界点是全局最小值的充分必要条件。令人惊讶的是,我们的条件提供了一个有效的检查测试的全局最优性,而这样的测试通常是棘手的非凸优化。我们进一步将这些结果扩展到深度非线性神经网络,并证明了类似的全局最优性的充分条件,尽管在更有限的函数空间设置。
2018-03-24 cs.LG math.OC stat.ML
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题,其中罚函数是一个线性算子与一个非光滑非凸映射的复合,该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中,例如内聚断裂,其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
An Optimality Gap Test for a Semidefinite Relaxation of a Quadratic Program with Two Quadratic Constraints
我们提出了一个必要和充分的测试,以确定是否可以计算出一个解决方案的一般二次规划与两个二次约束(QC 2 QP)从一个特定的凸半定松弛,在这种情况下,我们说,没有最优性差距。最初打算解决一个非凸的最优控制问题,我们考虑的情况下,成本和两个约束的QC 2 QP可能是非凸的。我们得到了我们的测试,这也证明了强对偶成立时,通过推广一个密切相关的方法艾和张。一个扩展是必要的,因为虽然艾和张提出的方法也允许两个二次约束,它要求至少有一个是严格凸的。为了说明我们的测试的有用性,我们将其应用到两个不满足先前方法所需假设的例子。我们的测试保证了第一个例子没有最优性缺口--一个解决方案也是从松弛中计算出来的--我们用它来确定第二个例子中存在最优性缺口。
2020-12-20 math.OC
Finding global solutions for a class of possibly nonconvex QCQP problems through the S-lemma
本文给出了一类新的可能非凸二次约束二次规划(QCQP)问题(记作S-QCQP)的全局最优性的充分必要条件.该类由QCQP问题组成,其中二次分量的矩阵由标量乘以单位矩阵形成。我们的结果依赖于一个广义版本的S-引理,在一般的QCQP问题的上下文中。此外,我们证明了S-QCQP的SDP和SOCP松弛的正确性。
2022-06-01 math.OC
On the Global Optimality of Direct Policy Search for Nonsmooth $H_\infty$ Output-Feedback Control
本文研究了输出反馈系统非光滑 $H_\infty$ 鲁棒控制中直接策略搜索的全局最优性,证明非退化稳定控制器的所有 Clarke 平稳点均全局最优且无虚假局部极小值。
2023-04-03 math.OC
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院);Industrial and Operations Engineering University of Michigan(密歇根大学工业与运营工程学院)
本文提出一种廉价预条件器,恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度,并使其对全局最小化器的病态条件不敏感,同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
On global solvability of a class of possibly nonconvex QCQP problems in Hilbert spaces
我们提供的条件,确保KKT型条件的特点的全局最优性的二次约束(可能非凸)的二次规划QCQP问题在希尔伯特空间。关键属性是凸性的图像类型集相关的功能出现在制定的问题。主要结果的证明依赖于希尔伯特空间中(Jakubovich)S-引理的推广形式.作为应用,我们考虑一类具有特殊形式的二次项约束的QCQP问题。
2023-02-14 math.OC
An extension of the Polyak convexity principle with application to nonconvex optimization
本文考虑的主要问题是挑选出一类凸集,其凸性在非线性光滑变换下保持不变。由于B.T. Polyak的结果,本文研究了巴拿赫空间的一致凸子集类.作为主要结果,建立了这类集的凸性模、非线性映射点附近的正则性及其导数的Lipschitz连续性之间的一个定量条件,保证了一致凸集的象保持一致凸.应用所得到的凸性原理的存在性的解决方案,其特征和拉格朗日对偶理论在约束非凸优化进行了讨论。
2019-06-05 math.OC
Subdifferentiation of nonconvex sparsity-promoting functionals on Lebesgue spaces
稀疏促进条款被纳入最优控制问题的目标函数,以确保最优控制消失的大部分基本域。这些术语的典型候选是勒贝格空间上的整函数,基于$p\in[0,1)$的$\ell_p$度量,它是非凸的,也是非Lipschitz的,因此,变分具有挑战性。在本文中,我们推导出这些泛函的Fréchet,极限和奇异次微分的精确公式。这些广义导数可用于推导包含这种稀疏促进项的最优控制问题的必要最优性条件。
2021-07-20 math.OC
Nonconvex phase synchronization
我们估计$n$相位(角度)从噪声成对相对相位测量。该任务被建模为一个非凸最小二乘最优化问题。最近的研究表明,在一定的噪声条件下,这个问题可以通过凸松弛在多项式时间内解决。在本文中,类似的,但更严格的条件下,我们证明了一个修改版本的功率方法收敛到全局最优值。这比凸方法更简单,(根据经验)更快。从经验上看,他们都在同一个政权中取得了成功。进一步的分析表明,在相同的噪声制度,如以前研究的,二阶必要的最优性条件,这个二次约束的二次规划也是足够的,尽管非凸性。
2016-08-22 math.OC
A difference of convex functions approach for sparse pde optimal control problems with nonconvex costs
我们提出了一个局部正则化的椭圆最优控制问题,其中涉及非凸$L^q$分数惩罚的费用函数。建议的\emph{Huber type}正则化允许我们制定的PDE约束优化制定为DC规划问题(凸函数的差异),这是有用的,以获得必要的最优性条件,并通过应用在非凸最优化问题中使用的众所周知的DC算法来解决其数值解。通过这个过程,我们近似的参数化问题,有有效的数值方法可用的一致的家庭的原始问题。最后,我们提出了数值实验来说明我们的理论与不同的配置相关联的参数的问题。
2019-04-20 math.OC
Constraint qualifications and optimality conditions in bilevel optimization
本文研究双层规划问题的约束规格和最优性条件。我们努力推导出可检查的约束规格的问题数据和适用的最优性条件。对于下层规划为凸规划的双层规划,讨论了用带互补约束的数学规划转化双层规划问题的缺点,并给出了用带广义方程约束的数学规划转化双层规划问题的一个新的尖锐的最优性必要最优性条件.对于具有非凸下层规划的双层规划,我们提出了一个松弛的常正线性相关(RCPLD)条件。
2019-10-09 math.OC
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具,它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题,通过使用一种新的"分解“技术。配备了这个全局对偶误差界,我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解,这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
On a class of robust nonconvex quadratic optimization problems
让我们考虑以下鲁棒非凸二次优化问题:\begin{equation*} \begin{split} \min &~ \dfrac{1}{2} x^\top Ax+a^\top x \\ \text{s.t.}~ & α\leq\dfrac{1}{2}x^\top (B_1+μB_2)x+(b_1+δb_2)^\top x \leqβ,~ \forall~ μ\in [μ_1,μ_2],\forall~δ\in[δ_1,δ_2], \end{split} \end{equation*}其中$A$,$B_1$,$B_2$是实对称矩阵,$μ_1,μ_2,δ_1,δ_2,α$,$β\in\mathbb{R}$满足$μ_1\leq μ_2$,$δ_1\leqδ_2$和$α<β$。我们建立了上述非凸问题的鲁棒替代结果、鲁棒S-引理和鲁棒最优性。
2022-10-05 math.OC
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸,非光滑的复合最优化问题,其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法,如非凸ADMM,对这样的问题类缺乏收敛性。为了克服这一困难,在这项工作中,我们考虑一个提升的Moreau-Yosida正则化模型的变体,并提出了一种新的多块原始对偶法,本质上稳定的双块。我们提供了一个全收敛分析,我们的算法,并确定各自的最优资格下,原始模型的平稳收敛。在数值上,我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
Integral functionals on nonseparable Banach spaces with applications
本文研究了值在一般(不可分)巴拿赫空间上的函数空间上的积分泛函。我们引入了一类新的被积函数和多元函数,我们获得了可测量的选择结果。然后给出了积分与下确界之间的一个互换公式,从而得到了积分泛函的共轭次微分和Clarke次微分的显式表达式。给出了在随机规划的期望泛函、变分问题的最优性条件和扫描过程中的应用。
2022-08-09 math.FA math.OC math.PR
Complete solutions to nonconvex fractional programming problems
本文对一类椭圆约束下的非凸优化问题,即极小化二次函数之和及非凸函数与二次函数之比问题,给出了一种正则对偶方法.我们首先放松分数结构引入一个家庭的参数子问题。在一定条件下,我们证明了每个子问题的典型对偶成为一个没有对偶间隙的二维凹最大化问题。由于参数化子问题的最优解的下确界导致原问题的解,然后我们推导出一些最优性条件和存在性条件,找到一个全局极小的原问题。
2012-11-20 math.OC
A Vectorization for Nonconvex Set-valued Optimization
向量化是一种用向量最优化问题代替集值最优化问题的技术。本文利用Gerstewitz函数[1]的一个推广,定义了一个向量化函数来代替给定的集值最优化问题关于集合无序关系.研究了该函数的一些性质。此外,一个集值最优化问题和一个向量最优化问题,通过向量化这个集值最优化问题,得出之间的关系进行检查。在不作任何凸性假设的情况下,给出了最优性的充分必要最优性条件。
2017-06-08 math.OC
Process-Based Lagrange Multipliers for Nonconvex Set-Valued Optimization
University of Alicante(阿利坎特大学)
本文提出了一种基于闭合凸过程的非凸集值优化拉格朗日乘子理论,通过几何框架扩展分离原理,并展示了其在无限维情况下的应用。
2026-02-05 math.FA math.OC
Efficient random coordinate descent algorithms for large-scale structured nonconvex optimization
本文分析了几种求解非凸最优化问题的新方法,其中目标函数由两项之和构成:一项是非凸且光滑,另一项是凸但简单且结构已知。此外,我们考虑这两种情况:无约束和线性约束的非凸问题。对于上述结构的最优化问题,我们提出了随机坐标下降算法,并分析了它们的收敛性。在一般情况下,当目标函数为非凸复合函数时,我们证明了算法产生的序列对稳定点的渐近收敛,并证明了在某种最优性测度下的次线性收敛速率.此外,如果目标函数满足误差界条件,我们推导出局部线性收敛速率的期望值的目标函数。我们还提出了广泛的数值实验,以评估我们的算法的性能相比,国家的最先进的方法。
2014-06-24 math.OC
Variational Theory and Algorithms for a Class of Asymptotically Approachable Nonconvex Problems
本文针对内层函数可能非局部Lipschitz连续的复合非凸优化问题,提出保证epi-收敛的渐近分解方法,建立必要最优性条件并设计相应数值算法,扩展了amenable函数与prox-linear方法的理论框架。
2024-11-20 math.OC
A Refined Proximal Algorithm for Nonconvex Multiobjective Optimization in Hilbert Spaces
本文针对希尔伯特空间中的非凸多目标优化问题,基于Mordukhovich极限次微分定义新的帕累托临界点,建立必要最优性条件,并据此提出改进的向量近端点算法,给出详细收敛性分析,显著扩展了已有研究。
2024-03-14 math.OC
Sensitivity analysis of the maximal value function with applications in nonconvex minimax programs
在本文中,我们进行灵敏度分析的最大值函数,这是最优值函数的参数最大化问题。我们的目的是研究最大值函数的各种次微分。利用一些灵敏度分析技巧,我们详细地得到了最大值函数的Fréchet次微分、极限次微分和水平次微分的上估计.导出的上估计只依赖于所有解的并集,而不依赖于其凸包或解集中的一个解。最后,我们将所得结果应用于非凸极大极小问题的一些新的最优性必要条件最优性条件。在非凹凸条件下,我们的Wolfe对偶方法与一阶方法相比,其必要条件更尖锐,约束规格更弱。
2023-03-02 math.OC
Strong Partitioning and a Machine Learning Approximation for Accelerating the Global Optimization of Nonconvex QCQPs
本文针对非凸QCQP全局优化提出强划分问题,并设计基于广义梯度的局部优化方法及机器学习近似,在Alpine求解器上实现平均2至4.5倍、最高200倍的求解加速。
2025-08-24 math.OC