A Decomposition Algorithm for Two-Stage Stochastic Programs with Nonconvex Recourse
本文研究了一类非凸两阶段随机规划的分解求解方法，其中第二阶段问题的目标和约束均由第一阶段变量非线性参数化.由于所得到的非凸补偿函数的克拉克正则性的失败，经典的分解方法，如Benders分解和（增广）拉格朗日为基础的算法不能直接推广到解决这样的模型。通过探索一个隐式的凹凸结构的追索功能，我们介绍了一种新的分解框架的基础上，所谓的部分莫罗包络。该算法基于第二阶段凸子问题的解连续生成补偿函数的强凸二次逼近，并将其添加到第一阶段主问题中。收敛下固定的场景和内部抽样成立。数值实验证明了该算法的有效性。
2022-11-15 math.OC
A Decomposition Framework for Nonlinear Nonconvex Two-Stage Optimization
Northwestern University（西北大学）
本文提出一种分解框架，用于解决非线性非凸两阶段优化问题，通过平滑技术使第二阶段问题可导，从而利用现成优化工具，并证明算法在障碍参数趋近于零时具有快速局部收敛性。
2026-02-26 math.OC
New second-order optimality conditions for directional optimality of a general set-constrained optimization problem
本文针对底层集合可非凸的一般集合约束优化问题，通过方向法锥、渐近二阶切锥和外二阶切集，推导了特定方向上局部最优的新一阶和二阶必要充分条件，且不要求外二阶切集的凸性与非空性。
2025-03-03 math.OC
DC Decomposition of Nonconvex Polynomials with Algebraic Techniques
我们把一个多元多项式的分解问题看成是两个凸多项式的差。我们介绍代数技术，减少这项任务的线性，二阶锥，半定规划。这使我们能够优化凸分解的有效差分（dcds）的子集，并找到加速凸-凹过程（CCP）的子集。然而，我们证明，在整个集的dcds优化是NP难的。
2018-09-12 cs.DS math.OC stat.ML
On the integration of Dantzig-Wolfe and Fenchel decompositions via directional normalizations
几十年来，混合整数线性规划的线性松弛和界的加强一直是一个活跃的研究课题。基于枚举的整数规划方法，如基于线性规划的分支定界法，利用强对偶边界来探测可行空间中的无希望区域。在本文中，我们考虑通过Dantzig-Wolfe和Fenchel分解的复合线性规划的加强。我们提供这两个经典的方法的几何解释。出于这些几何解释，我们引入了一种新的方法来解决Fenchel子问题，并介绍了一种新的分解相结合的Dantzig-Wolfe和Fenchel分解的原始方式。我们进行了广泛的计算活动，评估性能的新的分解不可分割的流问题。非常有前途的结果时，新的方法相比，经典的分解方法。
2023-03-27 math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
A non-convex approach to low-rank and sparse matrix decomposition
Xi’an Jiaotong University（西安交通大学）；Xi’an Polytechnic University（西安工程大学）；Guangzhou University（广州大学）
本文提出了一种低秩稀疏矩阵分解的非凸方法。在我们的非凸方法中，我们用一个分别关于矩阵的奇异值和元素的非凸分式函数来代替给定矩阵的秩函数和$l_{0}$ -范数。利用乘子算法的交替方向法求解了我们提出的带有非凸分式函数惩罚的非凸问题。对低秩和稀疏矩阵分解问题的数值实验表明，该方法在恢复被稀疏误差严重破坏的低秩矩阵方面有很好的效果.
2019-05-11 cs.CV eess.IV math.OC
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具，它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题，通过使用一种新的"分解“技术。配备了这个全局对偶误差界，我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解，这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
Achieving Directional-Stationarity from a Single Random Direction Step
Technion（以色列理工学院）
本文研究了在弱正则性条件下，如何在约束非光滑非凸优化中获得强最优性保证，提出通过单个随机方向探索步实现方向站性，并保持基础方法的收敛速度。
2026-11-05 math.OC
A Penalty Decomposition Algorithm with Greedy Improvement for Mean-Reverting Portfolios with Sparsity and Volatility Constraints
在金融市场中，资产较少但方差较大的均值回归投资组合引起了投资者的极大兴趣。这样的投资组合是直接有利可图的，因为它们包括少量的资产，这些资产的价格不仅在长期均值附近可预测地波动，而且还具有足够的波动性。粗略地说，稀疏性使交易成本最小化，波动性提供套利机会，而均值回归属性为投资者提供了理想的投资策略。找到这样的有利的投资组合可以制定为一个非凸二次最优化问题与一个额外的稀疏约束。据我们所知，还没有解决这个问题并具有良好理论性质的方法。在本文中，我们开发了一个有效的两阶段算法解决这个问题。在第一阶段，我们应用一个定制的惩罚分解方法找到这个非凸问题的一个稳定点。对于固定的罚参数，利用块坐标下降法找到相应惩罚子问题的不动点。在第二阶段，我们通过一个贪婪的计划，解决限制非凸二次约束二次规划（QCQP），改善了第一阶段的结果。我们表明，这样的QCQP的最优值可以通过解决他们的半定松弛。最后，通过对S&P500指数的数值实验，验证了该算法的有效性.
2021-04-16 math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University（于默奥大学）；Technical University of Munich（慕尼黑工业大学）
本文提出了一种无投影Frank-Wolfe方法，用于优化结构非凸函数，通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization
本文提出“全局函数”理论，证明张量分解中一类非凸非光滑目标不存在伪局部最优，为 ℓ1 范数鲁棒非凸优化提供理论保证。
2025-02-14 math.OC
Variational Theory and Algorithms for a Class of Asymptotically Approachable Nonconvex Problems
本文针对内层函数可能非局部Lipschitz连续的复合非凸优化问题，提出保证epi-收敛的渐近分解方法，建立必要最优性条件并设计相应数值算法，扩展了amenable函数与prox-linear方法的理论框架。
2024-11-20 math.OC
A Riemannian conjugate subgradient method for nonconvex and nonsmooth optimization on manifolds
School of Mathematics & Center for Applied Mathematics of Guangxi, Guangxi University（广西大学数学与广西应用数学中心）
针对流形上的一类非凸非光滑优化问题，提出黎曼共轭次梯度方法，通过方向活跃次梯度的凸组合定义搜索方向，结合区间缩减的线搜索保证单调非增，在温和假设下证明全局收敛性，数值实验表明计算时间显著优于现有方法。
2026-05-23 math.OC
First-Order Analysis of Optimization in Uniformly Convex Metric Spaces: Directional Subderivatives and Basic Descent
Georg-August University of Göttingen（哥廷根大学）；ENSTA（国立高等先进技术学院）
研究一致凸度量空间中函数最小化的一阶方法，通过方向次导数等制定收敛条件，证明存在最速下降方向，为局部光滑非凸优化的一阶显式算法奠定基础。
2026-07-24 math.MG math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
Worst-case Complexity Bounds of Directional Direct-search Methods for Multiobjective Optimization
直接多重搜索是一种成熟的算法，适用于多目标无导数优化。在这项工作中，我们分析了最坏情况下的复杂性，这类方法在其最一般的配方无约束优化。考虑到非凸光滑函数，我们表明，驱动一个给定的临界性措施低于一个特定的积极的阈值，直接多重搜索需要最多的迭代次数成正比的平方的倒数的阈值，提出的目标函数的组件的数量。这个数字也与第一次不成功的迭代和紧接在满足临界条件的迭代之前的迭代之间的链接序列集的大小成比例。然后，我们专注于一个特定的实例直接多重搜索，它认为接受新的非受控点更严格的标准。在这种情况下，我们可以建立一个更好的最坏情况的复杂性界限，简单地与阈值的倒数的平方成比例，用于驱动相同的关键性度量低于所考虑的阈值。
2020-11-03 math.OC
Optimization Landscape of Tucker Decomposition
Duke University（杜克大学）
Tucker分解是许多数据分析和机器学习应用的流行技术。寻找Tucker分解是一个非凸优化问题。随着问题规模的增加，局部搜索算法如随机梯度下降在实际中变得流行。在本文中，我们描述了Tucker分解问题的优化景观。特别是，我们表明，如果张量有一个确切的Tucker分解，对于一个标准的非凸目标的Tucker分解，所有的局部极小值也是全局最优的。我们还给出了一个局部搜索算法，可以找到一个近似的局部（和全局）最优解在多项式时间。
2020-06-29 cs.DS cs.LG math.OC
Directional first order approach for a class of bilevel programs
School of Mathematics, Hunan University（湖南大学数学学院）；School of Artificial Intelligence, Southern University of Science and Technology（南方科技大学人工智能学院）；Department of Mathematics and Statistics, University of Victoria（维多利亚大学数学与统计系）；Department of Mathematics, Southern University of Science and Technology（南方科技大学数学系）
本文提出一种方向一阶方法，用于解决一类双层优化问题，无需下层程序的凸性，通过方向邻域内的第一阶条件等价刻画下层程序，并保持M-站条件作为必要最优条件。
2026-06-28 math.OC
Sufficient Conditions for Metric Subregularity of Constraint Systems with Applications to Disjunctive and Ortho-Disjunctive Programs
本文研究一般最优化问题的度量次正则约束规格（MSCQ），重点是非凸设置。我们详细阐述了方向伪正态性和准正态性的概念，最近由Bai等人（SIAM J. Opt.，2019年），它结合了标准的方法，通过伪和准常态与现代工具的方向变分分析。我们专注于应用程序的析取程序，其中（方向）伪正规性的特点是通过一个极值条件。这反过来又产生了有效的工具来验证伪正规性和MSCQ，其中包括但不限于Robinson关于多面体多函数的结果和Gfrerer关于度量次正则性的二阶充分条件。最后，我们完善我们的研究，通过定义一类新的ortho-disjunctive程序，其中包括突出的最优化问题，如数学规划的互补性，消失或切换约束。
2020-10-23 math.OC
Symmetry Breaking in Symmetric Tensor Decomposition
The Hebrew University（希伯来大学）；New York University（纽约大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文研究对称张量秩分解中的非凸优化问题，证明标准梯度法找到的临界点具有对称性破缺性质，并指出该现象可利用新解析与代数工具分析。
2023-12-28 cs.LG math.OC
Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization
针对可微非凸项与非光滑凸项之和的大规模优化，提出混合随机/确定性并行块分解算法，并证明其几乎必然收敛且性能优于两类单一方案。
2014-09-02 cs.DC math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Radial Epiderivative Based Fritz John and KKT Conditions in Nonsmooth Nonconvex Optimization
Chongqing Normal University（重庆师范大学）；Eskisehir Technical University（埃斯基谢希尔理工大学）；China Medical University（中国医药大学）；Academy of Romanian Scientists（罗马尼亚科学家学院）
针对目标与约束均径向上图可微的非光滑非凸不等式约束优化问题，提出基于径向上图导数的FJ与KKT最优性条件理论框架，定义径向梯度等新概念，可适用于离散域并支持全局最小值分析。
2026-11-03 math.OC
Methods of Nonconvex Optimization
本书系统研究非凸非光滑有限维优化问题，基于广义可微函数和局部Lipschitz函数两类模型，建立广义梯度理论、光滑化近似及随机有限差分等数值方法，并推广到带约束的随机规划问题。
2024-06-14 math.OC
Hyperspectral super-resolution via low rank tensor triple decomposition
本文针对高光谱与多光谱图像融合问题，提出基于低秩张量三重分解的非凸优化模型及一阶算法TTDSR，并证明其收敛性，实验验证了方法的有效性。
2024-03-30 math.OC
Incremental Without Replacement Sampling in Nonconvex Optimization
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
经验风险最小化的小批量分解方法通常在随机近似设置中进行分析，也称为替换抽样。另一方面，这些技术的现代实现是渐进的：它们依赖于不替换的采样，可用的分析要少得多。通过分析一个通用的增量梯度格式，我们为后一种变体提供了收敛性。对于这个方案，我们考虑恒定的，递减的或自适应的步长。在光滑的设置，我们得到明确的复杂性估计的时期计数器。在非光滑的设置，我们证明了该序列被吸引的最优性条件的问题的解决方案。
2023-01-06 cs.LG math.OC
A Fletcher's Augmented Lagrangian-Based Stochastic First-Order Method for Nonconvex Equality-Constrained Optimization
Dalian University of Technology（大连理工大学）；Sun Yat-sen University（中山大学）
针对目标和约束仅有随机一阶近似的非凸等式约束优化问题，提出基于分解随机搜索方向的随机一阶方法，采用Fletcher增广拉格朗日作为步长选择的平滑价值函数，在二阶导数Lipschitz连续假设下达到O(ε^{-3})的期望总Oracle复杂度。
2026-06-29 math.OC
Computing Large-Scale Matrix and Tensor Decomposition with Structured Factors: A Unified Nonconvex Optimization Perspective
Oregon State University（俄勒冈州立大学）；KU Leuven（鲁汶大学）；University of Florida（佛罗里达大学）；University of Mons（蒙斯大学）
本文采用自上而下的非凸优化视角，从通用优化理论出发讲解结构化矩阵与张量分解的算法设计，重点介绍了随机草图、自适应步长随机优化等前沿方法，兼具教育价值并旨在推动该领域研究。
2020-08-05 cs.LG eess.SP math.OC
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Physikalisch-Technische Bundesanstalt (PTB)（德国联邦物理技术研究院）；Technical University of Berlin（柏林工业大学）
研究单边赫尔德正则性下连续可微非凸目标的自适应梯度下降，提出基于正单边赫尔德曲率估计的自适应标量步长法，结合充分下降保障，在两个全批量基准测试中表现良好，证明单边赫尔德曲率是有效自适应步长信号。
2026-07-28 cs.LG math.OC
Decomposition by Partial Linearization: Parallel Optimization of Multi-Agent Systems
我们提出了一种新的分解框架，分布式优化的一般非凸和效用函数自然产生的无线多用户干扰系统的系统设计。我们的主要贡献是：i）开发具有可证明收敛性的第一类（不精确的）Jacobi最佳响应算法，其中所有用户同时且迭代地解决原始效用和优化问题的适当凸化版本; ii）推导出一般动态定价机制，其提供了对现有定价方案的统一看法，而不是基于竞争力;和iii）一个框架，可以很容易地具体化到众所周知的应用，产生非常有效的实用（Jacobi或Gauss-Seidel）算法，其优于针对非常特定的问题提出的现有adhoc方法。有趣的是，我们的框架包含作为特殊情况下著名的梯度算法的非凸和效用问题，和许多块坐标下降计划凸函数。
2013-09-20 cs.IT math.IT math.OC
Spurious local minima in nonconvex sum-of-squares optimization
Georgia Institute of Technology（佐治亚理工学院）；Georg-August-Universität Göttingen（哥廷根大学）；Universidad de la República（乌拉圭共和国大学）；Texas A&M University（德克萨斯农工大学）
该研究针对实簇上非凸低秩平方和优化问题，刻画了虚假二阶平稳点与局部极小值的存在条件，提出了规避此类点的受限路径算法，并通过数值实验验证了其有效性。
2026-08-11 math.OC
A stochastic smoothing framework for nonconvex-nonconcave minEmax problems with applications to Wasserstein distributionally robust optimization
Department of Applied Mathematics, Hong Kong Polytechnic University, Hong Kong, China（应用数学系，香港理工大学）；Institute for Math & AI, Wuhan (IMAI), Wuhan university, China（数学与人工智能研究院，武汉大学）；Department of Mathematical Sciences Rensselaer Polytechnic Institute, Troy, NY, USA（数学科学系，伦斯勒理工学院）
研究非凸-非凹minEmax随机优化问题，提出基于对数均值指数平滑的随机平滑近端梯度法，经非渐近分析表明该方法生成的聚点是克拉克平稳点，数值实验显示其在相关问题上与现有基线有竞争力。
2026-07-17 cs.LG math.OC
A Parallel Stochastic Approximation Method for Nonconvex Multi-Agent Optimization Problems
考虑最小化由随机（向量）变量参数化的（可能非凸的）成本函数的期望值的问题，当期望不能被准确地计算时（例如，因为随机变量的统计量是未知的和/或计算复杂性过高）。经典的样本随机梯度方法解决这个问题可能会受到经验缓慢收敛。在本文中，我们首次提出了一个随机并行连续凸近似为基础的（最佳响应）算法框架一般非凸随机效用和优化问题，自然出现在多智能体系统的设计。建议的新的分解，使所有用户能够更新他们的优化变量并行解决一系列的强凸子问题，每个用户一个。证明了几乎处处收敛于平稳点。然后，我们定制我们的算法框架，以解决随机和速率最大化问题单输入单输出（SISO）频率选择性干扰信道，多输入多输出（MIMO）干扰信道，MIMO多址接入信道。数值结果表明，我们的算法比最先进的随机梯度格式快得多，同时实现相同（或更好）的和率。
2014-10-21 cs.MA math.OC
Adversary-Robust Learning from Fully Asynchronous Directional Derivative Estimates
Computer Science and Automation, Indian Institute of Science（印度科学研究院计算机科学与自动化系）；Edwardson School of Industrial Engineering, Purdue University（普渡大学埃德沃兹工业工程学院）；Department of Computer Science, IMT Atlantique（IMT阿登提大学计算机科学系）
FAR-SIGN通过符号更新和双时间尺度机制实现对抗鲁棒学习，支持一阶和零阶实现，无需服务器私有参考数据集，在MNIST实验中优于鲁棒聚合方法。
2026-05-10 cs.LG math.OC
Tensor Envelopes in the Nonconvex Setting
University of Antwerp（安特卫普大学）
本文提出非凸复合优化的张量包络（TEE），基于泰勒模型与幂正则化构建，保留全局极小与水平有界性，并作为精确张量迭代的 Lyapunov 函数，在无全局 Lipschitz 假设下给出复杂度界。
2026-10-06 math.OC
Finding quadratic underestimators for optimal value functions of nonconvex all-quadratic problems via copositive optimization
本文利用余正优化重构非凸全二次问题，提出两种参数化方法，分别得到夹在凸包络与其下半连续包之间的下估计器，以及具有精确对偶的最优值函数刻画，从而推导出仿射和二次下估计器。
2024-09-30 math.OC
Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications
本文针对光滑非凸线性约束最优化问题，提出了一种新的分解方法--邻近原始对偶法（Prox-PDA）.所提出的方法是原始-对偶的基础上，其中的原始步骤最小化某些近似的增广拉格朗日的问题，和对偶步骤进行近似的对偶上升。在初始步骤中使用的近似能够分解变量块，使得可以通过利用问题结构来获得简单的子问题。理论上，我们证明了当增广拉格朗日量中的罚参数大于给定阈值时，Prox-PDA全局和次线性地收敛到稳态解集（即，在$\mathcal{O}(1/r)$的速率中，稳定性的某种度量降低，其中$r$是迭代计数器）。有趣的是，当将Prox-PDA的变体应用于分布式非凸优化问题（在连通的无向图上）时，所得算法与流行的EXTRA算法一致[Shi et al 2014]，该算法仅在凸情况下工作。我们的分析表明，EXTRA及其变种全局次线性收敛到某些非凸分布最优化问题的平稳解。Prox-PDA有许多可能的扩展，我们提出了一个特定的扩展到某些非凸分布矩阵分解问题。
2016-04-02 cs.IT math.IT math.OC
Inexact Penalty Decomposition Methods for Optimization Problems with Geometric Constraints
本文从理论上和数值上研究了求解带几何约束的最优化问题的罚分解格式。特别是，我们考虑了一些情况下，部分的约束是非凸的和复杂的，如基数约束，析取程序，或矩阵问题，涉及秩约束。通过变量复制和分解策略，这里提出的方法显式地处理这些困难的约束，从而生成相对于它们是可行的迭代，而其余的（标准的和假设简单的）约束通过顺序惩罚来处理。不精确的优化步骤已被证明是足够的esulting算法的工作，使它是就业困难的目标函数。因此，目前的工作是一个显着的推广现有的论文处罚分解方法。另一方面，它涉及到一些最近的出版物，其中使用增广拉格朗日思想来解决具有几何约束的最优化问题。这些方法相比，分解的想法被证明是数值上优越的，因为它允许更多的自由度在选择的子问题求解器，并由于某些（可能是昂贵的）投影步骤的数量显着less.Extensive的数值结果在几个高度复杂的类的最优化问题在向量和矩阵的空间表明，目前的方法确实是非常有效地解决这些问题。
2022-10-11 math.OC
Stochastic Zeroth-Order Optimization Under Heavy-Tailed Noise
College of Computing Mohammed VI Polytechnic University (UM6P)（Mohammed VI Polytechnic University 计算学院）；EPFL（洛桑联邦理工学院）；Elorian AI
本文研究了在重尾样本梯度噪声下光滑非凸目标的随机零阶优化问题，提出了一种鲁棒标量裁剪零阶方法（RSC-ZO），在弱-L_p条件下以高概率找到ε- stationary点，其复杂度与经典随机零阶方法一致。
2026-05-17 math.OC
Global Convergence of ADMM in Nonconvex Nonsmooth Optimization
在本文中，我们分析了交替方向法的乘数（ADMM）的收敛性最小化一个非凸的和可能的非光滑的目标函数，$ϕ(x_0,\ldots,x_p,y)$，耦合线性等式约束。我们的ADMM更新每个原始变量$x_0,\ldots,x_p,y$，然后更新对偶变量。我们将变量$y$从$x_i$中分离出来，因为它在我们的分析中具有特殊的作用。所开发的收敛保证涵盖了各种非凸函数，如分段线性函数，$\ell_q$准范数，Schatten-$q$准范数（$0<q<1$），极小极大凹罚（MCP），和光滑剪切绝对偏差（SCAD）的罚款。它还允许非凸约束，如紧致流形（例如，球面、Stiefel和Grassman流形）和线性互补约束。而且，$x_0$ -块几乎可以是任何下半连续函数.通过应用我们的分析，我们表明，第一次，几个ADMM算法应用于解决非凸模型的统计学习，流形上的优化，矩阵分解保证收敛。我们的研究结果提供了充分条件ADMM收敛于（凸或非凸）monotropic程序与三个或更多的块，因为它们是我们的模型的特殊情况。ADMM被认为是增广拉格朗日方法（ALM）的一个变体。我们提出了一个简单的例子来说明如何ADMM收敛，但ALM发散有界罚参数$β$。通过这个例子和本文的其他分析表明，ADMM可能是一个更好的选择比ALM一些非凸\emph{nonsmooth}问题，因为ADMM不仅更容易实现，它也更有可能收敛的有关情…
2018-05-30 cs.NA math.NA math.OC
An Inertial Block Proximal Linearized Method with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan Earthquake Administration（云南省地震局）
本文针对多块非凸非光滑优化问题，提出IBPL⁺-TP方法，该方法具三大优势，可保证目标函数单调收敛及序列全局收敛至临界点，在两类带ℓ₀约束的稀疏非负矩阵分解等问题上性能优于现有最先进方法。
2026-08-07 cs.LG math.OC
Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出嵌入非凸分段仿射决策规则的经验风险最小化方法，用于含协变量信息的随机规划，具有理论一致性和计算可行性，数值实验显示其成本更低、耗时更少且鲁棒性更优。
2025-09-26 cs.LG math.OC stat.ML
Improved Dual Decomposition Based Optimization for DSL Dynamic Spectrum Management
动态频谱管理（DSM）已被公认为是显著提高数字用户线（DSL）宽带接入网性能的关键技术。DSM的基本概念是协调多条DSL线路上的传输，以减轻它们之间串扰干扰的影响。针对DSM中的非凸最优化问题，已经提出了许多算法，几乎所有算法都依赖于标准的基于次梯度的对偶分解方法。然而，在实践中，这种方法经常被发现导致极其缓慢的收敛或甚至根本不收敛，原因之一是步长参数的非常困难的调整。在本文中，我们提出了一种新的改进的对偶分解方法的启发，在数学规划的最新进展。它使用了一个平滑技术的拉格朗日结合最佳梯度为基础的计划更新拉格朗日乘子。此外，最佳地选择步长参数，从而消除了对调谐策略的需要。通过这种方法，我们展示了如何收敛的当前国家的最先进的DSM算法的基础上迭代凸逼近（SCALE，CA-DSB）可以提高一个数量级。此外，我们将改进的对偶分解方法应用于其他DSM算法（OSB，ISB，ASB，（MS）-DSB，MIW），并提出进一步的改进，以获得快速和鲁棒的DSM算法。最后，我们证明了一些现实的多用户DSL场景的改进的对偶分解方法的有效性。
2013-02-13 math.OC
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Efficiently Maximizing a Homogeneous Polynomial over Unit Sphere without Convex Relaxation
研究了单位球面上高次实齐次多元多项式的极大化问题。这一问题等价于求高阶对称张量的首特征值，而高阶对称张量是非凸的，是NP-困难的。最近的研究表明，半定松弛法对于寻找整体解是非常有效的。然而，解决方案的方法涉及全/部分特征值分解的迭代过程中，这严重限制了其效率和可扩展性。另一方面，对于奇数度（奇数阶）情况，阶数必须增加到偶数，这潜在地降低了效率。为了找到全局解，而不是凸化的问题，我们等价地重新制定的问题作为一个非凸矩阵计划的基础上的等价性质之间的对称秩1张量和矩阵的任何顺序，这是现有的结果的推广。该程序采用香草交替方向法直接求解，由于程序的特殊结构，只需计算某些矩阵的首特征值/奇异值。虽然是非凸的，在一定的假设下，它被证明是收敛到一个领先的特征值的相关张量的算法。对不同类型张量的数值实验表明，该方法在保持半定松弛有效性的同时，在效率和可扩展性上有了显著提高.例如，所提出的方法在100秒内在个人计算机中找到三阶500维希尔伯特张量的主导特征对。
2019-10-01 math.OC
Overlapping Domain Decomposition Methods for Ptychographic Imaging
在重叠关联实验中，通常需要进行冗余扫描以保证恢复的稳定性，从而产生大量的帧，这对并行计算提出了很高的要求。本文提出了重叠区域分解方法来解决重叠关联成像中的非凸最优化问题。它们将定义在整个域上的问题解耦为仅定义在子域上的子问题，并在这些子域的重叠区域中同步信息，从而导致具有良好负载平衡的高度并行算法。更具体地，对于非盲恢复（预先已知探测器），通过强制图像（样本）的重叠区域的连续性，基于新的平滑截断幅度高斯度量（ST-AGM）建立非线性最优化模型。这种度量允许快速计算具有封闭形式的邻近映射，同时由于其Lipschitz光滑性，为一阶非凸优化算法的收敛性保证提供了可能。然后利用交替方向乘子法（ADMM）构造了一种基于重叠区域分解的重叠关联算法（OD 2 P），该算法可求解两子域区域分解（DD）问题，并利用ST-AGM算法中目标函数梯度的Lipschitz连续性，在较弱的条件下证明了OD 2 P的收敛性.此外，它被扩展到更一般的情况下，包括多子域DD和盲恢复。数值实验表明，该算法具有良好的收敛速度和对噪声的鲁棒性。
2021-02-04 cs.NA math.NA math.OC
A constraint dissolving inexact penalty method for optimization problems with geometric constraints
Chemnitz University of Technology（开姆尼茨工业大学）
针对带几何约束的优化问题，提出基于约束消解映射的不精确罚方法，其收敛性有理论保证，数值实验显示该方法解质量优且性能优于罚分解方法。
2026-08-26 math.OC
Generalized Geometry Block Proximal Linearized Method for Multiblock Nonconvex and Nonsmooth Optimization
针对多块非凸非光滑优化问题，提出广义几何块近端线性化（GGBPL）方法及其惯性版本，利用任意内积和可容许度量适应问题几何结构，建立了统一收敛框架和迭代复杂度界，并在稀疏非负矩阵分解和CP分解上展现优越性能。
2026-10-06 cs.LG math.OC
An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan University（云南大学）
针对非凸非光滑优化问题，提出带自适应动量的加速块近似框架，解决外推失效问题，支持块变量随机顺序更新，在温和假设下证明收敛性与收敛速率，经数值实验验证有效。
2023-08-24 cs.LG math.OC
Symmetry & Critical Points for Symmetric Tensor Decomposition Problems
The Hebrew University（海法大学）
本文利用对称结构构造Puiseux级数形式的临界点族，解析刻画对称张量分解非凸优化中的鞍点与极小值，发现Hessian指数随目标值增加的现象。
2025-08-06 cs.LG cs.NA math.AG
Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization
针对约束非光滑非凸优化，提出带递减半径的块状最小化-最大化算法，改进复杂度至不依赖强凸参数，并应用于多种算法，数值验证加速收敛。
2024-11-29 math.OC stat.ML
Distributed Primal Decomposition for Large-Scale MILPs
本文讨论了一种分布式混合线性规划（MILP）的建立，它出现在几种控制应用中。网络中的智能体的目标是最小化局部线性费用函数之和，该成本函数既受个体约束又受涉及所有决策变量的线性耦合约束。所考虑的设置的一个关键的、具有挑战性的特征是，决策变量的某些分量必须假定整数值。所处理的MILP是NP难的，非凸的和大规模的。此外，由于耦合约束，分布式框架中出现了一些额外的挑战，因此具有保证次优性边界的可行解是令人感兴趣的。我们提出了一个完全分布式算法的基础上的原始分解方法和适当收紧的耦合约束。该算法保证在有限时间内提供可行解。此外，渐近和有限时间次优界的计算解决方案。蒙特卡洛模拟突出了算法实现的极低的次优性界限。
2021-02-11 cs.SY eess.SY math.OC
Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields
KU Leuven（鲁汶大学）；Technical University of Munich（慕尼黑工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；University of Siegen（锡根大学）
非凸优化问题的对偶分解方法可能存在对偶缺口。这就提出了一个挑战，当他们直接应用到非凸问题，如MAP推理的马尔可夫随机场（MRF）连续状态空间。为了消除这种差距，本文认为，重新制定原来的非凸任务的措施空间。然后，通过在对偶中进行分段多项式离散化，将该无穷维重构近似为半无限维重构。我们提供了一个几何直观背后的原始问题引起的双重离散化，并绘制连接到优化的时刻空间。与现有的离散遭受网格偏差，我们表明，一个分段多项式离散更好地保持我们的问题的连续性。利用最优输运理论和凸代数几何的结果，我们将半无限规划化为有限规划，并给出了一个基于半定规划的实际实现。我们表明，在实验和理论上，该方法成功地减少了二元差距。为了展示我们的方法的可扩展性，我们将其应用到两个图像之间的立体匹配问题。
2022-05-16 cs.CV math.OC
