On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Nonconvex Proximal Incremental Aggregated Gradient Method with Linear Convergence
本文研究了极小化L-光滑非凸分量函数与适当的闭凸函数之和的邻近增量聚集梯度算法。利用L-光滑性质和误差界条件,我们可以证明即使对于非凸极小化问题,PIAG方法仍然具有良好的线性收敛性质.为了说明这一点,我们首先证明了生成的序列全局收敛到平稳点集。然后,存在一个阈值,使得当步长小于该阈值时,目标函数值序列和目标点序列都是R-线性收敛的。
2018-04-07 math.OC
Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
本文提出了一种适用于非凸优化的自适应SGD方法,通过线搜索和Polyak步长实现了O(1/√T)和O(1/T)的收敛速率。
2025-12-01 math.OC stat.ML
On the Linear Convergence of Extra-Gradient Methods for Nonconvex-Nonconcave Minimax Problems
最近,极大极小优化由于在机器学习、鲁棒优化和强化学习中的现代应用而重新受到关注。这些应用的规模自然导致使用一阶方法。然而,在这些问题中存在的nonconvexities和nonconcavities,防止应用典型的梯度下降上升,这是已知的发散,即使在双线性问题。最近,它被证明是近似点方法(PPM)线性收敛的一族非凸-非凹问题。在本文中,我们研究了阻尼版本的额外梯度法(EGM),避免了潜在的昂贵的邻近计算,只依赖于梯度评估的收敛性。我们证明了EGM对于光滑极小极大最优化问题线性收敛,该问题满足PPM所要求的非凸-非凹条件。
2023-03-05 math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法(ADMM)是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置,许多收敛性的结果已经建立了ADMM以及它的品种。然而,由于不存在凸性,非凸ADMM的收敛性分析通常是非常困难的。在本文中,我们研究的Bregman修改的ADMM(BADMM),其中包括传统的ADMM作为一个特殊的情况下,往往会导致改进的算法的性能。在一定的假设下,我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
Convergence Rates for the Alternating Minimization Algorithm in Structured Nonsmooth and Nonconvex Optimization
Federal University of Goiás(戈亚斯联邦大学);Wayne State University(韦恩州立大学);Aix Marseille Univ, CNRS, AMSE(艾克斯马赛大学、法国国家科学研究中心、经济与社会研究所)
本文改进了结构非凸优化中交替最小化算法的收敛速率,提出了在低指数PLK条件下实现超线性收敛的方法,并探讨了其在非合作博弈和行为科学中的应用。
2026-01-30 math.OC
Convergence rate bounds for a proximal ADMM with over-relaxation stepsize parameter for solving nonconvex linearly constrained problems
本文建立了求解非凸线性约束最优化问题的一种近似交替方向法(ADMM)的收敛速度界。近端ADMM的变体允许包含属于间隔$(0,2)$的超松弛步长参数。据我们所知,文献中所有相关的论文都只考虑了超松弛因子位于区间$(0,(1+\sqrt{5})/2)$的情况。
2017-11-03 math.OC
Unifying Farkas lemma and S-lemma: new theory and applications in nonquadratic nonconvex optimization
将非线性Farkas引理和S-引理统一为非线性非凸系统的一个广义择一性定理。它通过揭示隐含凸性,在全局求解非凸非二次最优化问题中提供了富有成效的应用。
2021-09-07 math.OC
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中,我们推广了著名的Nesterov的加速梯度(AG)方法,原来设计的凸光滑优化,解决非凸和可能的随机最优化问题。我们证明,通过适当地指定的步长政策,AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题,通过使用一阶信息,类似于梯度下降法。然后,我们考虑一类重要的复合最优化问题,并表明AG方法可以解决他们一致,即,通过使用与凸情形中相同的积极步长策略,即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率,如果复合问题是凸的,并提高了最好的已知的收敛速率,如果问题是非凸的。在AG方法的基础上,我们还提出了新的非凸随机逼近方法,并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知,这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: tight convergence results
虽然最初设计和分析的凸问题,交替方向法的乘法器(ADMM)和它的近亲,道格拉斯-拉赫福德分裂(DRS)和道格拉斯曼-拉赫福德分裂(PRS),已被观察到表现非常好,当应用于某些类别的结构化非凸最优化问题。然而,部分整体收敛的结果,在非凸设置最近才出现。在本文中,我们展示了如何道格拉斯-Rachford包络(DRE),在2014年推出,可以用来统一和大大简化的理论,设计ADMM,DRS和PRS的整体收敛保证适用于非凸问题的限制条件较少,较大的步长和过松弛因子比以前已知的。事实上,当超松弛因子在$(0,2]$范围内时,我们的界是紧的. ADMM的分析使用了一个通用的原始等价与DRS,概括了已知的对偶算法。
2018-11-09 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法(PL-ADMM)来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长,将该算法推广。证明了该方法生成的序列是有界的,其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下,我们证明了序列具有有限长度从而收敛,并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法(VBSCD)对一类非光滑非凸最优化问题的收敛性,由VBSCD生成的序列的任何累加几乎肯定是临界点。此外,我们开发了一个新的水平集上的变分方法,旨在对收敛速度分析。如果水平集次微分误差界成立,我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
Acceleration and global convergence of a first-order primal--dual method for nonconvex problems
原始-对偶混合梯度法(PDHGM,也称为Chambolle-Pock方法)已被证明对于涉及图像处理和逆问题中出现的线性算子的凸优化问题非常成功。在本文中,我们分析了扩展到非凸问题,如果运营商是非线性的。基于检验的思想,我们在无限维希尔伯特空间中得到了新的步长参数收敛条件,并给出了适当(局部和/或部分)单调问题的加速规则.重要的是,我们证明了线性收敛速率以及在某些情况下的整体收敛。我们证明了这些步长规则的有效性PDE约束的最优化问题。
2018-08-08 math.OC
Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems
乘子交替方向法(ADMM)在求解大规模线性约束最优化问题(凸或非凸)中有着广泛的应用。然而,当目标函数为非凸函数时,该算法的理论认识普遍缺乏。在本文中,我们分析了ADMM解决某些非凸的共识和共享问题的收敛性,并表明,经典的ADMM收敛到固定的解决方案,提供增广拉格朗日的罚参数选择足够大。对于共享问题,我们证明了ADMM是收敛的,无论可变块的数量。我们的分析不施加任何假设的算法产生的迭代,并广泛适用于许多ADMM变种,涉及近端更新规则和各种灵活的块选择规则。
2015-11-30 math.OC
Convergence of a Randomized Newton Method in Nonconvex Optimization
本文分析了一种结合牛顿算法与状态相关高斯噪声的随机牛顿方法,用于非凸优化中定位唯一全局极小值点,并证明了有界域下的全局几乎必然收敛性。
2026-09-10 math.OC
On the Convergence of NEAR-DGD for Nonconvex Optimization with Second Order Guarantees
我们考虑的设置中的节点的无向,连接的网络合作,以解决一个共同的目标建模为光滑函数的总和。我们假设每个被加数都是由一个唯一的节点私下知道的。NEAR-DGD是一种分布式一阶方法,它允许相对于本地执行的计算量来调整节点之间的通信量,以便平衡收敛精度和总应用成本。在这项工作中,我们推广的收敛性质的变体NEAR-DGD从强凸的非凸的情况下。在温和的假设下,我们收敛到一个自定义的李雅普诺夫函数的最小值。此外,我们证明了这些极小值和原问题的二阶稳态解之间的差距可以变得任意小,这取决于算法参数的选择。最后,我们伴随着我们的理论分析与数值实验来评估NEAR-DGD在非凸设置的经验性能。
2021-04-09 math.OC
Global convergence of a modified BFGS-type method based on function information for nonconvex multiobjective optimization problems
针对非凸多目标优化,提出改进BFGS型方法MFQNMO,用公共矩阵近似所有目标Hessian矩阵以降低计算负担,证明了其不依赖凸性的收敛性与局部超线性收敛速率,并通过实验验证有效性。
2024-10-11 math.OC
Efficient random coordinate descent algorithms for large-scale structured nonconvex optimization
本文分析了几种求解非凸最优化问题的新方法,其中目标函数由两项之和构成:一项是非凸且光滑,另一项是凸但简单且结构已知。此外,我们考虑这两种情况:无约束和线性约束的非凸问题。对于上述结构的最优化问题,我们提出了随机坐标下降算法,并分析了它们的收敛性。在一般情况下,当目标函数为非凸复合函数时,我们证明了算法产生的序列对稳定点的渐近收敛,并证明了在某种最优性测度下的次线性收敛速率.此外,如果目标函数满足误差界条件,我们推导出局部线性收敛速率的期望值的目标函数。我们还提出了广泛的数值实验,以评估我们的算法的性能相比,国家的最先进的方法。
2014-06-24 math.OC
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题,本文提出投影近端梯度下降法(PPGD),在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下,证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率,并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
Generalized-Smooth Nonconvex Optimization is As Efficient As Smooth Nonconvex Optimization
本文提出$α$-对称广义光滑性概念,并设计确定性归一化梯度下降算法和SPIDER算法,分别达到最优迭代复杂度$\mathcal{O}(ε^{-2})$和最优样本复杂度$\mathcal{O}(ε^{-3})$,证明广义光滑非凸优化与光滑非凸优化同样高效。
2023-06-24 math.OC
On the Global Convergence of Majorization Minimization Algorithms for Nonconvex Optimization Problems
Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
本文研究了主要化最小化算法在非凸正则化优化问题中的全局收敛性,引入Kurdyka-Lojasiewicz不等式理论,证明了非凸问题满足该性质并建立了相应算法的全局收敛性结果,同时扩展到著名的CCCP方法。
2015-04-30 cs.NA math.NA math.OC
Ghost Penalties in Nonconvex Constrained Optimization: Diminishing Stepsizes and Iteration Complexity
考虑非凸约束最优化问题,提出了一种基于罚函数的收敛性分析方法。我们使用经典的罚函数在一个非常规的方式,罚函数只进入理论分析的收敛性,而算法本身是无惩罚。基于这一思想,我们能够建立几个新的结果,包括第一次一般性分析的非凸,约束优化,收敛到广义平稳点,SQP型算法的复杂性研究的步长递减方法。
2020-05-30 math.OC
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题,其中罚函数是一个线性算子与一个非光滑非凸映射的复合,该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中,例如内聚断裂,其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
Gradient descent with nonconvex constraints: local concavity determines convergence
高维统计和优化中的许多问题涉及非凸约束的最小化,例如,矩阵估计问题的秩约束,但对一般非凸约束集的这种最优化问题的理论性质知之甚少。本文研究了约束集的几何性质与极小化问题的梯度下降法的收敛性之间的相互作用。我们开发的概念,局部的约束集,测量凸性被违反的程度,这支配的行为投影梯度下降在这个集合。我们证明了这些的通用性,通过计算低秩估计,稀疏估计,和其他例子中的一系列问题,他们的系数。通过我们对这些几何性质在优化中的作用的理解,我们然后提供了一个收敛性分析时,投影计算只有近似,导致一个更有效的方法投影梯度下降在低秩估计问题。
2017-10-19 math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
A Short Note of PAGE: Optimal Convergence Rates for Nonconvex Optimization
KAUST(阿卜杜拉国王科技大学)
在本文中,我们首先回顾非凸问题设置并介绍最优PAGE算法(Li et al.,ICML'21)。然后,我们提供了一个简单而干净的收敛分析PAGE实现最佳的收敛速度。此外,PAGE和它的分析可以很容易地采用和推广到其他作品。希望本文能对今后的工作有所启发和帮助。
2021-06-17 cs.AI cs.DS cs.LG
On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems
非凸和结构化最优化问题出现在许多工程应用中,需要可扩展的和分布式的解决方法。由于问题的非凸性,这些方法的收敛性的研究通常是困难的。在本文中,两个分布式解决方案的方法相结合的快速收敛性能的增广拉格朗日为基础的方法与交替优化的可分性进行了研究。第一种方法是从经典的二次罚函数方法改编而来的,称为交替方向罚函数法(ADPM)。与采用单步优化的原始二次罚函数方法不同,ADPM使用交替优化,这反过来又使其具有可扩展性。第二种方法是众所周知的乘法器的交替方向法(ADMM)。证明了非凸问题的ADPM在较弱的条件下渐近收敛于原可行点,并引入了保证其渐近达到局部最优性标准一阶必要条件的附加条件.在ADMM的情况下,新的充分条件下,该算法渐近达到标准的一阶必要条件的建立。在此基础上,对一类低维问题,刻画了ADMM的全收敛性。最后,通过将ADPM和ADMM应用于无线传感器网络中的非凸定位问题来说明结果。
2015-04-30 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化(NCO)问题的稳定点。主要工具来自于变分和凸分析,主要结果是迭代复杂性界的形式,以及这些界与文献中其他界的比较。
2021-12-26 math.OC
Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm
Shanghai Jiao Tong University(上海交通大学)
在过去的十年中,矩阵完备化在机器学习和计算机视觉中引起了人们的极大兴趣。对于矩阵完备化中的低秩提升,核范数罚因其凸性而方便,但存在偏差问题。近年来,人们提出了各种使用非凸罚函数的算法,其中最有效的算法之一是近端梯度下降算法。对于非凸PGD算法,它是否收敛于局部极小点及其收敛速度还不清楚。本文对非凸情形下的PGD算法进行了非平凡分析。除了收敛到一个稳定点的广义非凸处罚,我们提供了更深入的分析一类流行的和重要的非凸处罚,具有不连续的阈值功能。对于这种惩罚,我们建立了PGD算法的有限秩收敛性,收敛到严格限制的局部极小点,并最终线性收敛速度。同时,收敛到一个局部极小值已被证明为硬阈值惩罚。我们的结果是第一次表明,非凸正则矩阵完备化只存在严格限制的局部极小点,并且PGD算法在一定条件下能够以最终线性速度收敛到这样的极小点。还通过实验对PGD算法进行了说明。代码可在https://github.com/FWen/nmc上获得。
2019-03-02 cs.LG math.OC stat.ML
Transversality and alternating projections for nonconvex sets
我们考虑交替投影的方法,在两个闭集的交集中寻找一个点,可能是非凸的。仅假设标准横截性条件(或其较弱版本),我们证明了局部线性收敛。当两个集合是半代数和有界的,但不一定是横截的,我们仍然证明了子序列收敛。
2016-08-11 math.OC
Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition
利用鲁棒控制理论来分析和设计优化和机器学习算法的兴趣越来越大。研究了一类费用函数满足正则性条件的非凸最优化问题。经验研究表明,加速梯度下降(AGD)算法(例如Nesterov的加速和Heavy-ball)与适当的初始化通常在实践中工作得很好。然而,这种AGD算法的收敛性在文献中很大程度上是未知的。本文的主要贡献是通过鲁棒控制工具分析了RC下AGD的收敛区域。由于这种最优化问题经常出现在许多应用中,如相位恢复,神经网络的训练和矩阵传感器,我们的结果表明,在这些领域的鲁棒控制理论的承诺。
2019-12-09 math.OC
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Global convergence of a BFGS-type algorithm for nonconvex multiobjective optimization problems
本研究提出一种改进的BFGS算法,通过采用Wolfe步长、迭代更新修正海森矩阵近似,在目标函数非凸的多目标优化问题中实现全局收敛与常规条件下的超线性收敛,且保留原算法的实际效率。
2024-04-11 math.OC
Lagrangian duality for nonconvex optimization problems with abstract convex functions
研究了非凸最优化问题的拉格朗日对偶。为此,我们利用$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理.给出了零对偶间隙和强对偶的条件。在函数类中,我们的对偶结果可以应用到,是近有界函数,DC函数,弱凸函数和仿凸函数。
2020-11-18 math.OC
A feasible second order bundle algorithm for nonsmooth, nonconvex optimization problems with inequality constraints: I. Derivation and convergence
本文将求解非光滑无约束极小化问题的著名的牛顿法的SQP方法推广到非线性约束的情形。该方法不使用罚函数或滤波器或改进函数来处理约束的存在,而是通过求解凸二次约束二次规划来确定搜索方向,以获得好的迭代点。与此过程中出现的问题有关的捆绑过程中,以及在线搜索进行了讨论。在适当的假设下,证明了该方法的整体收敛性.
2015-06-26 math.OC
A Geometrical Analysis of a Class of Nonconvex Conic Programs for Convex Conic Reformulations of Quadratic and Polynomial Optimization Problems
本文对二次最优化问题的完全正规划转化问题进行了几何分析,并将其推广到多项式最优化问题,给出了一类几何定义的非凸锥规划及其凸化.在线性空间$V$中用线性目标函数描述了一类非凸锥规划,约束集用非凸锥$K \subset V$、$K$的凸包的面$J$和非凸锥$K$的支撑超平面的平行移动$L$的交集来表示.我们表明,在适度的假设下,原来的非凸锥规划可以等价地转化为一个凸锥规划,通过替换的交集的$J$和超平面$L$的约束集。应用置换过程导出了二次最优化问题的完全正规划变换式,并将其推广到多项式最优化问题.
2019-01-08 math.OC
Applications of Optimal Control of a Nonconvex Sweeping Process to Optimization of the Planar Crowd Motion Model
本文讨论一类非凸扰动扫掠过程的最优控制及其在平面人群运动交通均衡模型优化中的应用。所得到的理论结果使我们能够调查的动态最优化问题的微观平面树冠运动模型与众多的参与者,并完全解析解决的情况下,两个参与者。
2018-02-22 math.OC
On the existence and the stability of solutions in nonconvex vector optimization
Hanoi Pedagogical University 2(河内师范大学2);Vietnam-Hungary Industrial University(越南-匈牙利工业大学)
本文通过渐近锥和广义渐近函数,研究了具无界约束集的非凸向量优化问题弱Pareto解的存在性与无穷远处弱尖锐极小值性质,并证明其对分析线性扰动下解稳定性及稳健拟凸子类问题的应用价值。
2025-10-10 math.OC
A Unified Algorithm for Nonconvex Decentralized Nonlinear Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出一种统一的分布式非凸优化算法框架,涵盖现有先进梯度跟踪和拟牛顿算法。在非凸和Kurdyka-Łojasiewicz条件下分析收敛性,并提出新的高效算法。
2026-04-13 math.OC
Stochastic Gradient Descent for Stochastic Doubly-Nonconvex Composite Optimization
随机梯度下降算法在大数据分析中被广泛应用于复合优化问题的求解。许多算法和收敛性质已经开发。复合函数最初是凸的,逐渐采用非凸的复合函数来获得更好的性质。收敛性已被研究,但只有当任何一个复合函数是非凸的。当两个复合函数都是非凸函数时,没有收敛性,这被称为\textit{doubly-nonconvex}情况。为了克服这个困难,我们假设罚函数是\textit{quasiconvex}的一个简单而弱的条件,然后我们得到了随机双-非凸复合优化问题的收敛速度,得到的收敛速度与已有的工作是同阶的,并深入地分析了在常数步长和最小批量,并给出了适当的大小的最优收敛速度,这是优于现有的工作。实验结果表明,该方法优于现有的方法。
2020-03-02 cs.LG math.OC stat.ML
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注,已经提出了几个分布式的共识为基础的算法(非光滑)凸和(光滑)非凸目标函数。然而,这些分布式算法对{ \it非凸,非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序,包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题,在网络建模为无向,固定,图。
2019-11-03 math.OC
Quantized Distributed Nonconvex Optimization Algorithms with Linear Convergence under the Polyak--$Ł$ojasiewicz Condition
本文提出两种基于编码器-解码器方案的量化分布式非凸优化算法,在Polyak--Łojasiewicz条件下实现线性收敛,且量化级别越大收敛越快,低数据速率亦可保证收敛。
2025-02-28 math.OC
On Convergence of Heuristics Based on Douglas-Rachford Splitting and ADMM to Minimize Convex Functions over Nonconvex Sets
近年来,基于Douglas-Rachford分裂算法和乘子的交替方向法(ADMM)的算法在非凸集上最小化凸函数方面取得了经验性的成功,但对它们的理论认识还没有得到很大的提高。在本文中,我们研究这些算法的收敛性。首先,我们刻画了非凸约束集上涉及凸费用函数的极小化问题的最优解。我们证明了这些最优解与非凸Douglas-Rachford算子的不动点集有关.其次,我们建立了Douglas-Rachford分裂启发式收敛于一个点或其聚点形成非空紧连通集的充分条件。在启发式收敛到一个点的情况下,我们建立了该点是最优解的充分条件。然后,我们讨论了如何ADMM启发式可以构造从道格拉斯-Rachford分裂算法。我们表明,不同于在凸的情况下,在我们的非凸设置的算法是不等价的,彼此之间有一个相当复杂的关系。最后,我们对ADMM启发式算法的收敛性进行了评论,并将其与Douglas-Rachford分裂启发式算法进行了比较。
2019-02-08 math.OC
Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization
分布式多智能体优化在分布式学习、控制、估计等方面有着广泛的应用。现有的大多数算法假设目标的一阶信息是已知的,并已被分析为凸问题。然而,在某些情况下,目标是非凸的,并且只能在多个点处评估函数值。在本文中,我们考虑非凸多智能体优化的无导数分布式算法,基于零级优化的最新进展。我们开发了两种算法,为不同的设置,提供了详细的分析,他们的收敛行为,并将它们与现有的集中式零级算法和基于梯度的分布式算法进行比较。
2020-06-16 math.OC
Splitting Methods for Nonconvex Optimisation: Convergence and Saddle Point Avoidance Through Shadow Sequences
Centro de Modelamiento Matemático (CNRS IRL2807), Universidad de Chile(数学建模中心(CNRS IRL2807),智利大学)
本文提出阴影Davis-Yin三操作数分割方法用于非凸优化,通过效用函数分析和数值实验,实现了对弱凸半代数优化问题中严格鞍点的避免保证。
2026-10-01 math.OC
A parameterized Douglas-Rachford Splitting algorithm for nonconvex optimization
本文研究了一类非凸最优化问题的参数化Douglas-Rachford分裂方法。构造了一个新的价值函数,证明了参数化Douglas-Rachford分裂方法产生的整个序列的收敛性。然后,我们将参数化道格拉斯-Rachford分裂方法应用于数据科学中出现的三个重要的非凸最优化问题:稀疏约束最小二乘问题,可行性问题和低秩矩阵完成。数值结果验证了参数化Douglas-Rachford分裂方法的有效性。
2020-06-16 math.OC
Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
针对高维非凸优化问题,本文提出随机子空间均匀化信赖域(RSHTR)方法,在随机子空间类算法中实现最优收敛理论保证,并通过真实数据集实验验证了其有效性。
2025-03-23 math.OC
Dynamical convergence analysis for nonconvex linearized proximal ADMM algorithms
本文利用连续时间动力系统分析非凸复合优化的线性化近端 ADMM 算法,借助 KL 性质证明了确定与随机变体的全局收敛性及收敛速率,并提出加速版本。
2023-09-13 math.OC
Distributed Nonconvex Optimization with Double Privacy Protection and Exact Convergence
School of Information Science and Technology, Shanghaitech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Energy Efficient and Custon AI IC(上海能效与定制人工智能集成电路工程研究中心);Engineering and Technology Institute (ENTEG), University of Groningen(格罗宁根大学工程与技术研究所)
针对分布式非凸优化中的隐私缺失问题,提出双重隐私保护分散式近端原始-对偶算法$\ ext{DPP}^2$,通过变量变换与随机扰动实现零信息泄露,在保证差分隐私的同时实现精确收敛。
2025-11-04 math.OC
A Nonconvex Splitting Method for Symmetric Nonnegative Matrix Factorization: Convergence Analysis and Optimality
对称非负矩阵分解(SymNMF)在文档聚类、社区检测和图像分割等数据分析问题中有着重要的应用。在本文中,我们提出了一种新的非凸变量分裂方法求解SymNMF。该算法保证收敛到非凸SymNMF问题的Karush-Kuhn-Tucker(KKT)点集.此外,它实现了一个全球次线性收敛速度。我们还表明,该算法可以有效地实现并行。此外,充分条件提供了保证所获得的解决方案的全局和局部最优性。大量的数值模拟结果表明,该算法可以快速收敛到一个局部极小值解。
2017-03-24 math.OC stat.ML
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸,非光滑的复合最优化问题,其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法,如非凸ADMM,对这样的问题类缺乏收敛性。为了克服这一困难,在这项工作中,我们考虑一个提升的Moreau-Yosida正则化模型的变体,并提出了一种新的多块原始对偶法,本质上稳定的双块。我们提供了一个全收敛分析,我们的算法,并确定各自的最优资格下,原始模型的平稳收敛。在数值上,我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
A globally convergent algorithm for nonconvex optimization based on block coordinate update
非凸最优化问题出现在计算科学和工程的许多领域中,并且可以通过各种算法(近似)求解。现有的算法通常只具有迭代的局部收敛或子序列收敛性。我们提出了一种算法的一般非凸优化配方,建立其整个的收敛序列的一个临界点,随着收敛速率,并数值证明其效率。特别地,我们考虑了非凸目标函数的极小化问题。它的变量可以被视为一个块或被划分为多个不相交的块。假设目标函数的每个不可微分量或每个约束应用于一个变量块。然而,目标函数的可微分量可以一起应用于一个或多个变量块。我们的算法通过最小化某个非线性代理来更新一个变量块。更新的顺序可以是确定性的,也可以在每轮中随机打乱。我们得到的收敛性的整个序列相当宽松的条件下,包括,特别是,Kurdyka-Eschojasiewicz(KL)条件,这是满足广泛的一类非凸/非光滑的应用。我们将收敛结果应用于非凸正则线性回归的坐标下降法和非负矩阵分解的一种改进的秩一留数迭代法。我们证明了这两种方法都具有整体收敛性。数值上,我们测试我们的算法上的非负矩阵和张量分解问题,随机洗牌,使避免局部解决方案。
2015-08-20 math.OC
Distributed Nonconvex Optimization with Exponential Convergence Rate via Hybrid Systems Methods
University of California, Santa Cruz(加州大学圣克鲁兹分校);Merlin Labs(梅林实验室);Georgia Institute of Technology(佐治亚理工学院)
本文提出混合系统框架用于分布式非凸优化,通过连续时间计算与离散时间通信实现指数收敛,证明了在满足PL条件下的全局稳定性,并通过仿真展示收敛速率与初始条件的影响。
2026-03-14 math.OC