A Geometrical Analysis of a Class of Nonconvex Conic Programs for Convex Conic Reformulations of Quadratic and Polynomial Optimization Problems
本文对二次最优化问题的完全正规划转化问题进行了几何分析，并将其推广到多项式最优化问题，给出了一类几何定义的非凸锥规划及其凸化.在线性空间$V$中用线性目标函数描述了一类非凸锥规划，约束集用非凸锥$K \subset V$、$K$的凸包的面$J$和非凸锥$K$的支撑超平面的平行移动$L$的交集来表示.我们表明，在适度的假设下，原来的非凸锥规划可以等价地转化为一个凸锥规划，通过替换的交集的$J$和超平面$L$的约束集。应用置换过程导出了二次最优化问题的完全正规划变换式，并将其推广到多项式最优化问题.
2019-01-08 math.OC
Complexity Analysis of Convex Majorization Schemes for Nonconvex Constrained Optimization
University of Minnesota（明尼苏达大学）；National University of Singapore（新加坡国立大学）
本文针对带不等式约束的非凸极小化问题，提出基于凸代理包络的算法，推导了凸与非凸优化模型的迭代复杂度，数值结果显示该方法具有良好潜力。
2026-07-30 math.OC
An Alternative Perspective on Copositive and Convex Relaxations of Nonconvex Quadratic Programs
研究了非凸二次规划的凸松弛问题。我们确定了一个家庭的所谓的可行性保持凸松弛，其中包括著名的正和双非负松弛，与凸松弛是可行的，当且仅当非凸二次规划是可行的。我们观察到，在这个家庭中的每一个凸松弛隐式地导致一个凸低估的目标函数上的可行域的二次规划。这种对凸松弛的另一种观点使我们能够建立相应的凸低估的几个有用的性质。特别地，当二次规划可行域的回收锥不包含任何负曲率方向时，证明了由余正松弛引起的凸低估子正是二次规划目标函数的凸包络，从而为Burer关于余正松弛的精确性的著名结果提供了又一个证明.我们还提出了一个算法配方，用于构建有限的最优值，但无界双非负松弛的二次规划的实例。
2020-05-30 math.OC
Optimizing convex functions over nonconvex sets
本文给出了{（x，q）\in Rd \times R：q \geq Q（x），x \in Rd-int（P）}型集合的强线性不等式，其中Q（x）：Rd \rightarrow R是二次函数，P \subset Rd和"int"表示内部.特别但不排他地感兴趣的是其中P表示闭凸集的情况。在本文中，我们提出了几种情况下，它是可能的有效可分离的线性不等式的凸壳的特征。
2019-08-03 math.OC
A Convexification-based Outer-Approximation Method for Convex and Nonconvex MINLP
针对凸与非凸MINLP问题，提出集成凸化与领域缩减技术的改进外逼近及分支定界方法，并集成至Pyomo-MindtPy，基准测试验证了其有效性与性能提升。
2024-07-30 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知，求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$，当目标函数光滑时，可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立，而一阶方法是否能达到这个下界仍然是未知的。在本文中，我们表明，一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法（ALM）可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题，这是独立的利益。
2022-11-01 math.OC
A difference of convex functions approach for sparse pde optimal control problems with nonconvex costs
我们提出了一个局部正则化的椭圆最优控制问题，其中涉及非凸$L^q$分数惩罚的费用函数。建议的\emph{Huber type}正则化允许我们制定的PDE约束优化制定为DC规划问题（凸函数的差异），这是有用的，以获得必要的最优性条件，并通过应用在非凸最优化问题中使用的众所周知的DC算法来解决其数值解。通过这个过程，我们近似的参数化问题，有有效的数值方法可用的一致的家庭的原始问题。最后，我们提出了数值实验来说明我们的理论与不同的配置相关联的参数的问题。
2019-04-20 math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和，其中单个项相对简单，但是复合目标函数只能用迭代算法来优化。本文主要研究F（Kx）+ G（x）形式的最优化问题，其中K是固定的线性变换，F和G是非凸和/或不可微的函数.特别是，如果任何一项是非凸的，现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA（镜像凸/凹）算法，一个原始/对偶优化方法，需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描（CT）成像中出现的最优化问题的启发，该算法可以处理一系列非凸的复合最优化问题，并在整个问题近似凸（即，一项中的任何凸性被另一项中的凸性抵消）时提供收敛的理论保证。实验结果表明，几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
Diminishing Stepsize Methods for Nonconvex Composite Problems via Ghost Penalties: from the General to the Convex Regular Constrained Case
本文扩展了非凸约束问题的递减步长方法以处理等式约束和复合非光滑目标，并证明在凸约束满足标准约束规范时可大幅简化算法、降低每次迭代计算量。
2020-07-30 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Second Order Cone Constrained Convex Relaxations for Nonconvex Quadratically Constrained Quadratic Programming
本文对非凸二次约束二次规划（QCQP）问题提出了新的凸松弛解。虽然最近的研究集中在加强凸松弛使用重构线性化技术（RLT），国家的最先进的方法失去了他们的有效性时，处理（多个）非凸二次约束QCQP。在这项研究中，我们分解和放松每个非凸约束两个二阶锥（SOC）约束，然后线性化的SOC约束和线性约束的产品，以构建一些有效的新的有效约束。此外，我们扩展了几乎所有不同类型的约束对（包括有效的不等式线性化的产品的SOC约束，和Hadamard产品或Kronecker产品的两个相应的有效的线性矩阵不等式）的RLT类技术的范围，检查不同的有效不等式之间的优势关系，并探索几乎所有的可能性，从生成有效的约束中获益。特别是，我们成功地证明，应用RLT类似的技术，额外的冗余线性约束可以减少松弛间隙。我们证明了我们的结果与数值实验的效率。
2017-09-16 math.OC
Further Development in Convex Conic Reformulation of Geometric Nonconvex Conic Optimization Problems
本文推进几何非凸 COP 的凸锥重构研究，为关键凸包等式假设给出三组充要条件，并据此提出可由半定松弛精确求解的新型非凸 QCQP 大类。
2024-09-10 math.OC
Transversality and alternating projections for nonconvex sets
我们考虑交替投影的方法，在两个闭集的交集中寻找一个点，可能是非凸的。仅假设标准横截性条件（或其较弱版本），我们证明了局部线性收敛。当两个集合是半代数和有界的，但不一定是横截的，我们仍然证明了子序列收敛。
2016-08-11 math.OC
On Convergence of Heuristics Based on Douglas-Rachford Splitting and ADMM to Minimize Convex Functions over Nonconvex Sets
近年来，基于Douglas-Rachford分裂算法和乘子的交替方向法（ADMM）的算法在非凸集上最小化凸函数方面取得了经验性的成功，但对它们的理论认识还没有得到很大的提高。在本文中，我们研究这些算法的收敛性。首先，我们刻画了非凸约束集上涉及凸费用函数的极小化问题的最优解。我们证明了这些最优解与非凸Douglas-Rachford算子的不动点集有关.其次，我们建立了Douglas-Rachford分裂启发式收敛于一个点或其聚点形成非空紧连通集的充分条件。在启发式收敛到一个点的情况下，我们建立了该点是最优解的充分条件。然后，我们讨论了如何ADMM启发式可以构造从道格拉斯-Rachford分裂算法。我们表明，不同于在凸的情况下，在我们的非凸设置的算法是不等价的，彼此之间有一个相当复杂的关系。最后，我们对ADMM启发式算法的收敛性进行了评论，并将其与Douglas-Rachford分裂启发式算法进行了比较。
2019-02-08 math.OC
Finding Global Optima in Nonconvex Stochastic Semidefinite Optimization with Variance Reduction
近年来，随机凸半定最优化问题的低秩分解非凸重构方法在效率和可扩展性方面受到了广泛的关注。与原始的凸公式相比，非凸公式通常涉及更少的变量，允许它们扩展到具有数百万变量的场景。然而，它打开了一个新的挑战，在什么条件下，非凸随机算法可以找到有效的全局最优，尽管他们的经验成功的应用。在本文中，我们提供了一个答案，一个随机梯度下降法与方差减少，可以适应于解决非凸的原始凸问题的重组，与\textit{global linear convergence}，即，在约束强凸情形下，在适当的初始选择下，以指数速度收敛到全局最优值。仿真和实际应用的序数嵌入实验研究提供了所提出的算法的有效性。
2018-02-26 math.OC
Perturbed Gradient Descent via Convex Quadratic Approximation for Nonconvex Bilevel Optimization
本文提出一种基于凸二次近似的扰动梯度下降方法，用于解决非凸-非凸双层优化问题，在KKT残差平方范数下实现O(1/ε^1.5)迭代复杂度，并通过实验验证其效率与可扩展性。
2025-04-24 math.OC
Asynchronous Parallel Nonconvex Optimization Under the Polyak-Lojasiewicz Condition
通信延迟和同步是并行计算的主要瓶颈，因此容忍延迟是加速并行计算的关键。针对不满足凸性假设的最优化问题，提出了一种求解非凸目标函数满足Polyak-Lojasiewicz条件的最优化问题的异步块坐标下降算法.这个条件是强凸性到非凸问题的推广，既不要求极小值的凸性也不要求极小值的唯一性。仅在目标函数具有弱光滑性和时滞有界的假设下，我们证明了该算法具有线性收敛速率。通过对逻辑斯谛回归问题的数值实验，说明了随机性对收敛性的影响.
2021-05-23 math.OC
Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization. Part II: Complexity and Numerical Results
我们提出了一个新的异步并行算法的光滑非凸函数和凸非光滑正则化的总和最小化的复杂性和数值结果，受到凸和非凸约束。所提出的方法取决于连续凸逼近技术和一种新的概率模型，该模型以比最先进的模型更忠实的方式捕获现代计算架构和异步实现的关键元素。在配套文件中，我们提供了一个详细的描述概率模型，并给出了收敛结果，我们的方法的一个递减步长的版本。在这里，我们提供了一个固定的步长版本的方法的理论复杂性的结果，并报告了大量的数值比较凸和非凸的问题，证明了我们的方法的效率。
2017-01-19 math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法，一个单步二阶在线非凸优化方法。我们分析了它的性能，并得到了一个动态的遗憾界，是线性的轮最优值之间的累积变化。我们表明，如果轮最优值之间的变化是有限的，该方法导致一个恒定的遗憾界。在一般情况下，在线牛顿法优于在线凸优化算法的凸函数，并执行类似于一个专门的算法，强凸函数。我们模拟的性能在线牛顿法的非线性，非凸的移动目标定位的例子，发现它优于一阶的方法。
2020-06-09 math.OC
Nonconvex fraction function recovery sparse signal by convex optimization algorithm
在本文中，我们将产生一个凸迭代FP阈值算法来解决问题$(FP^λ_{a})$。提出了两种凸迭代FP阈值算法。一种是凸迭代FP阈值算法-方案1，另一种是凸迭代FP阈值算法-方案2。证明了凸迭代FP阈值算法方案1的整体收敛定理。在自适应规则下，凸迭代FP阈值算法-方案2对于正则化参数$λ$和参数$a$的选择都是自适应的。这是我们提出的两种凸迭代FP阈值算法与我们以前提出的两种迭代FP阈值算法相比的优点。最后，通过一系列的数值模拟对凸迭代FP阈值算法-方案2的性能进行了测试，仿真结果表明，凸迭代FP阈值算法-方案2在恢复稀疏信号时具有很好的性能。
2019-05-28 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
Conditional Infimum and Hidden Convexity in Optimization
检测隐凸性是解决非凸极小化问题的工具之一。在给出隐凸性的形式定义后，我们引入了条件下确界的概念，因为它将被证明有助于检测隐凸性。我们发展的理论的条件下确界，我们建立了一个塔属性，相关的最小化问题。在此基础上，给出了非凸极小化问题隐凸性的一个充分条件。我们说明我们的结果在非凸二次极小化问题。最后，我们的观点使用条件下确界的关系，所谓的S-程序，耦合和共轭，和下界凸计划。
2021-04-12 math.OC
A survey of hidden convex optimization
由于并非所有的非凸最优化问题都难以求解，本文综述了三种广泛使用的方法来揭示不同类型的非凸最优化问题的隐藏凸结构。最后，提出了十个有待解决的问题。
2019-02-28 math.OC
Inertial Proximal Difference-of-Convex Algorithm with Convergent Bregman Plug-and-Play for Nonconvex Imaging
针对现有凸差算法难以处理非凸项、收敛慢的问题，提出带收敛Bregman即插即用的惯性近端凸差算法iBPDCA及其变体，理论保证收敛，在成像任务上性能优于现有最优方法。
2024-09-18 math.OC
Global Optimization of Gas Transportation and Storage: Convex Hull Characterizations and Relaxations
针对天然气输送与储存的非凸MINLP问题，提出基于管道和压缩机非凸集凸包刻画的混合整数二阶锥松弛及算法框架，在GasLib网络上验证了高效收敛并获近全局解。
2025-04-25 math.OC
How to Convexify the Intersection of a Second Order Cone and a Nonconvex Quadratic
最近的一系列论文研究了将析取编程技术扩展到混合整数二阶锥规划。例如，几位作者使用不同的技术证明了椭圆$E$和分裂析取$(l - x_j)(x_j - u) \le 0$与$l < u$的交集的凸包等于$E$与一个附加的二阶锥可表示（SOCr）集的交集。本文研究了$K \cap Q$与$K \cap Q \cap H$的更一般的交，其中$K$是SOCr锥，$Q$是由一个齐次二次曲面定义的非凸锥，$H$是仿射超平面.在几个易于验证的条件下，我们推导出简单的，可计算的凸松弛$K \cap S$和$K \cap S \cap H$，其中$S$是一个SOCr锥。在进一步的条件下，我们证明了这两个集捕获精确对应的圆锥/凸包。我们的方法统一和扩展了以前的结果，我们用许多例子说明它的适用性和普遍性。
2016-05-24 math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响，强调了分段线性函数等目标，这些目标可能不是弱凸的。我们专注于维度无关分析，稍微修改了Zhang等人（2020）的黑盒算法，该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本，实现$O(ε^{-5})$的任何差异的凸目标，和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量，相关的，有趣的是，负的一部分，定向二阶导数的目标，理解的分布意义上。
2022-10-07 math.OC
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中，我们推广了著名的Nesterov的加速梯度（AG）方法，原来设计的凸光滑优化，解决非凸和可能的随机最优化问题。我们证明，通过适当地指定的步长政策，AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题，通过使用一阶信息，类似于梯度下降法。然后，我们考虑一类重要的复合最优化问题，并表明AG方法可以解决他们一致，即，通过使用与凸情形中相同的积极步长策略，即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率，如果复合问题是凸的，并提高了最好的已知的收敛速率，如果问题是非凸的。在AG方法的基础上，我们还提出了新的非凸随机逼近方法，并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知，这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法（ADMM）是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置，许多收敛性的结果已经建立了ADMM以及它的品种。然而，由于不存在凸性，非凸ADMM的收敛性分析通常是非常困难的。在本文中，我们研究的Bregman修改的ADMM（BADMM），其中包括传统的ADMM作为一个特殊的情况下，往往会导致改进的算法的性能。在一定的假设下，我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降（SMD）算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题，其中的目标可以分解成一个相对弱的凸函数（可能非Lipschitz）和一个简单的非光滑凸正则化。我们证明了SMD，不使用mini-batch，是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配，但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本，以及确定性的变种，解决相对弱凸问题。
2018-06-12 math.OC
Beyond Nonconvexity: A Universal Trust-Region Method with New Analyses
School of Information Management and Engineering Shanghai University of Finance and Economics（上海财经大学信息管理与工程学院）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文提出了一种通用信任域方法，通过引入新的下降性质，统一分析凸和非凸优化问题，并在非凸优化中达到~O(ε^{-3/2})的迭代复杂度，同时在凸优化中达到O(ε^{-1/2})的复杂度界。
2026-01-23 math.OC
Inexact alternating projections on nonconvex sets
给定欧几里得空间中的两个任意闭集，一个简单的横截性条件保证交替投影法局部地以线性速度收敛到相交点。精确投影到非凸集通常是棘手的，但我们表明，计算成本低的不精确投影可能就足够了。特别是，如果一个集合是由足够规则的光滑约束定义的，那么投影到通过线性化围绕当前顶点的约束而获得的近似上就足够了。另一方面，如果一个集合是通过局部坐标表示的光滑流形，则通过围绕流形上的前一个流形线性化坐标系而产生的近似投影也是足够的。
2018-11-03 math.OC
Asymptotically Strong Dual of Smooth Nonconvex Problems: A Smooth Shapley-Folkman Perspective
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学）
本文通过改进的Shapley-Folkman引理误差界，证明了光滑非凸问题的拉格朗日对偶渐近紧，解决了非凸性可能减少的问题。
2026-11-04 math.OC
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑（可能非凸）和凸（可能非光滑）函数之和的问题。解决这个问题的一种流行方法是块坐标下降（BCD）方法，在每次迭代中，只有一个变量块被更新，而其余变量保持不变。随着多核并行处理技术发展的最新进展，希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中，我们提出了一个不精确的并行BCD方法，在每次迭代中，一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明，对于Lasso极小化问题的一种特殊情况，循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
Finitely convergent algorithm for nonconvex inequality problems
我们将Fukushima关于全局凸可行性问题算法的有限收敛性的结果推广到局部非凸情形。
2014-07-31 math.OC
Unifying Farkas lemma and S-lemma: new theory and applications in nonquadratic nonconvex optimization
将非线性Farkas引理和S-引理统一为非线性非凸系统的一个广义择一性定理。它通过揭示隐含凸性，在全局求解非凸非二次最优化问题中提供了富有成效的应用。
2021-09-07 math.OC
A Decomposition Algorithm for Two-Stage Stochastic Programs with Nonconvex Recourse
本文研究了一类非凸两阶段随机规划的分解求解方法，其中第二阶段问题的目标和约束均由第一阶段变量非线性参数化.由于所得到的非凸补偿函数的克拉克正则性的失败，经典的分解方法，如Benders分解和（增广）拉格朗日为基础的算法不能直接推广到解决这样的模型。通过探索一个隐式的凹凸结构的追索功能，我们介绍了一种新的分解框架的基础上，所谓的部分莫罗包络。该算法基于第二阶段凸子问题的解连续生成补偿函数的强凸二次逼近，并将其添加到第一阶段主问题中。收敛下固定的场景和内部抽样成立。数值实验证明了该算法的有效性。
2022-11-15 math.OC
An Inner Convex Approximation Algorithm for BMI Optimization and Applications in Control
本文针对一类非凸半定规划问题，提出了一种新的局部最优化方法。其基本思想是通过参数化技术，用内半正定凸逼近来逼近非凸SDP问题的可行集。这导致了一个迭代过程，以搜索一个局部最优值的非凸问题。在较弱的假设条件下分析了算法的收敛性。静态输出反馈控制中的应用程序进行基准测试和数值测试的基础上，从COMPLeib库。
2012-02-24 math.OC
Local Convergence Analysis of ADMM for Nonconvex Composite Optimization
Sun Yat-sen University（中山大学）
本文研究了ADMM在现代成像和机器学习模型中出现的一类非凸复合问题的局部收敛性，通过分析Moreau包络的局部强凸性，推导了ADMM迭代的下降不等式，并建立了ADMM方案的局部收敛性及线性收敛率。
2026-07-30 math.OC
On the efficient computation of proximal operators of affine-constrained nonconvex functions
National University of Singapore（新加坡国立大学）；The University of Chicago（芝加哥大学）；Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹与分析研究所）；Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）
本文提出了一种统一的对偶可表示框架，用于高效计算具有仿射约束的非凸函数的proximal算子，通过建立对偶问题和验证正则性条件，实现了快速收敛的优化方法。
2026-02-27 math.OC
Nonconvex phase synchronization
我们估计$n$相位（角度）从噪声成对相对相位测量。该任务被建模为一个非凸最小二乘最优化问题。最近的研究表明，在一定的噪声条件下，这个问题可以通过凸松弛在多项式时间内解决。在本文中，类似的，但更严格的条件下，我们证明了一个修改版本的功率方法收敛到全局最优值。这比凸方法更简单，（根据经验）更快。从经验上看，他们都在同一个政权中取得了成功。进一步的分析表明，在相同的噪声制度，如以前研究的，二阶必要的最优性条件，这个二次约束的二次规划也是足够的，尽管非凸性。
2016-08-22 math.OC
Scalable Incremental Nonconvex Optimization Approach for Phase Retrieval
我们的目标是找到形式为$b_i=\lvert\bm{a}_i^*\bm{x}\rvert^2$，$i=1,2,\ldots,m$的二次方程组的解$\bm{x}\in\mathbb{C}^n$，例如，著名的NP难相位恢复问题。相对于最近提出的国家的最先进的非凸方法，我们恢复到半定松弛（SDR）的PhaseLift凸配方，并提出了一个连续的和增量的非凸优化算法，称为\texttt{IncrePR}，间接减少所产生的凸问题的锥上的正半定矩阵。我们提出的方法克服了典型的SDP求解器的计算成本过高，以及需要一个良好的初始化典型的非凸方法。对于高斯测量，这通常是需要证明收敛的非凸方法，\texttt{IncrePR}与重新启动策略优于国家的最先进的非凸求解器与一个尖锐的相变的完美恢复和典型的凸求解器的计算成本和存储。对于实际应用中经常出现的更具挑战性的结构化（非高斯）测量，如传输矩阵和过采样傅里叶变换，可以使用具有多次重启的\texttt{IncrePR}来找到一个好的初始猜测。通过局部非凸解算器的进一步细化，当测量次数相对较少时，可以实现比直接应用非凸解算器获得的更好的解。大量的数值试验证明了所提出的方法的有效性。
2019-05-26 math.OC
Strong Convex Nonlinear Relaxations of the Pooling Problem
我们调查新的凸松弛池问题，一个经典的非凸生产规划问题，其中输入材料混合在中间池，这些池的输出进一步混合，使输出产品满足给定的属性百分比要求。我们的放松是通过考虑一组所产生的配方，考虑一个单一的产品，一个单一的属性，一个单一的池。所得非凸集的凸包不是多面体。我们得到了有效的线性和凸非线性不等式的凸包，并证明了这些不等式的不同子集定义的凸包的非凸集的参数所确定的三种情况下。文献实例和新创建的较大的测试实例的计算结果表明，不等式可以显着地加强凸松弛的pq-制定的汇集问题，这是松弛已知具有最强的限制。
2018-03-08 math.OC
Exact Mixed-integer Convex Programming Formulation for Optimal Water Network Design
本文研究了一类具有非凸潜在损失函数和离散可变费用电阻选择的正则水网络设计问题。传统上，为了解决这个问题的非凸性，放松潜在的损失约束已被应用到产生一个更易处理的混合整数凸规划（MICP）。然而，这些放松的问题的设计解决方案可能是不可行的完全非凸物理。在本文中，它表明，事实上，原来的混合整数非凸规划可以重新制定正是作为一个MICP。从以前用于证明非线性网络设计可行性的凸规划开始，强对偶性被调用来构造一个新的，嵌入所有物理约束的凸原对偶系统。这个凸系统，然后增加，形成一个确切的MICP制定的原始设计问题。使用这种新的MICP作为基础，开发了一种全局优化算法，利用几何学，外部近似，和可行性切割平面不可行的设计。最后，该算法进行了比较，对以前的松弛为基础的最先进的水网络设计的一些标准的基准实例从文献。
2020-10-07 math.OC
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
A Stochastic Penalty Model for Convex and Nonconvex Optimization with Big Constraints
过去十年见证了涉及{ \em big data}和{ \em big models}的监督学习应用程序的重要性。大数据是指可用和所需的训练数据量在管道的训练阶段造成困难的情况。大模型是指需要大维度和过度参数化模型的情况。这两种现象都导致旨在通过设计新的复杂优化算法来解决这些问题的研究活动急剧增加。在本文中，我们将注意力转向{ \em big constraints}场景，并认为未来精心设计的机器学习系统将必然需要考虑大量的现实世界的约束，这些约束需要纳入训练过程。这一行的工作在很大程度上是未开发的，并为未来的工作和应用提供了充足的机会。为了处理{ \em大约束}制度，我们提出了一个{ \em随机惩罚}公式，{ \em将问题简化为众所周知的大数据制度}。我们的公式有许多有趣的性质，这些性质以各种方式与原始问题相关联，并具有数学保证。给出了非凸损失函数、光滑凸函数、强凸函数和凸约束的一些结果。我们通过实验表明，当需要中等精度的解决方案时，我们的方法可以击败几个数量级的竞争方法。
2018-10-31 math.OC
Faster Newton Methods for Convex and Nonconvex Optimization in Gradient Complexity
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qizhi Institute（上海齐志研究院）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市当代应用数学重点实验室）；Shanghai AI Lab（上海人工智能实验室）
本文提出新的牛顿方法，改进了非凸和凸优化的梯度复杂度，分别达到O( d̄ + d̄^{1/3} ε^{-3/2})和O( (d̄ + d̄^{13/21} ε^{-2/7}) ln d̄)
2026-07-14 math.OC
A successive difference-of-convex method for a class of two-stage nonconvex nonsmooth stochastic conic program via SVI
School of Mathematics and Statistics, Beijing Jiaotong University（北京交通大学数学与统计学院）；Beijing Key Laboratory of Biological Big Data and Topological Statistics, Beijing Jiaotong University（北京交通大学生物大数据与拓扑统计北京市重点实验室）
本文提出了一种用于解决两阶段非凸非光滑随机锥程序的连续差分凸方法，通过将问题转化为非单调非光滑两阶段随机变分不等式并利用Moreau包络和渐进对冲方法进行求解，验证了方法的收敛性，并通过均值-方差模型的应用展示了其有效性。
2026-03-04 math.OC
Arrangement of level sets of quadratic constraints and its relation to nonconvex quadratic optimization problems
本文研究了一类特殊的非凸二次规划，当约束函数的水平集{ \it not}排列{ \it}时，它具有两个（可能是不定的）二次约束.它表明，在文件中，这类问题承认强对偶紧SDP松弛后，没有假设原始或对偶斯莱特条件。我们的结果涵盖了叶和张在2003年的发展和广义置信域子问题（GTRS）作为特例。通过新颖的几何观点和一些简单的例子，我们可以解释为什么当约束的水平集确实是交替排列时，问题变得非常困难。
2020-12-18 math.OC
Efficient Learning with a Family of Nonconvex Regularizers by Redistributing Nonconvexity
Hong Kong University of Science and Technology（香港科技大学）
凸正则化器的使用允许容易的优化，尽管它们经常产生有偏的估计和较差的预测性能。近年来，非凸正则化子吸引了大量的关注，并优于凸正则化子。然而，由此产生的最优化问题要困难得多。在本文中，对于一个大类的非凸正则化，我们提出了移动的非凸性从正则化的损失。然后将非凸正则化子转化为常见的凸正则化子，同时仍能保证所得的损失函数是光滑的。使用凸正则化器的学习可以通过最初为凸正则化器设计的现有有效算法（例如近似算法、Frank-Wolfe算法、乘子的交替方向法和随机梯度下降）来执行。当凸化正则化子不具有封闭形式的邻近步长，并且当损失函数是非凸的、非光滑的时，进行了推广。在各种机器学习应用场景上的大量实验表明，优化转换后的问题比在原始问题上运行最先进的方法要快得多。
2017-02-13 cs.LG math.OC stat.ML
Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets
在闭集的交中求点的问题可以用交替投影法及其变体来解决。在早期的论文中表明，对于凸集，使用二次规划（QP）投影到由投影过程产生的支持半空间的交集上的策略可以导致超线性地收敛多项的算法。本文的主要贡献是证明了这种策略对于Lewis，Luke和Malick提出的结构化非凸集--超正则集是有效的。流形应该用超平面而不是半空间来近似。我们证明了这种策略的线性收敛性，然后证明了超线性和平方收敛时，可以得到的问题是类似的设置的牛顿法。我们还展示了一个算法，收敛在一个任意快的线性速率，如果半空间从旧的迭代被用来构建QP。
2015-06-27 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Convex-Nonconvex Framework for Enhancing Minimization Induced Penalties
本文提出一种凸-非凸框架，通过广义Moreau增强最小化诱导惩罚，在保持整体凸性的同时增强信号分量，并给出收敛算法与数值验证。
2025-06-17 eess.SP math.OC
A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems
本文描述并建立了求解光滑非凸复合优化问题的两个加速复合梯度（ACG）变量的迭代复杂度，该问题的目标函数是一个具有Lipschitz连续梯度的非凸可微函数$ f $和一个简单的非光滑闭凸函数$ h $之和.当$f$是凸的时，对于输入的特定选择，第一个ACG变体简化为众所周知的FISTA，因此第一个可以被视为后一个到非凸设置的自然扩展。第一个变体需要输入对$(M,m)$，使得$f$是$m$ -弱凸的，$\nabla f$是$M$ -Lipschitz连续的，以及$m \le M$（可能是$m<M$），其通常难以获得或估计不佳。另一方面，第二种变体可以从任意输入对$(M,m)$的正标量和其复杂性被证明是不差，在某些情况下，比第一种变体的输入对的大范围。最后，数值结果来说明两个ACG变体的效率。
2021-03-06 math.OC
