Optimization Methods for Fully Composite Problems
本文提出了一种新的凸优化问题的全复合形式。它包括,作为一个特殊的情况下,问题的功能约束,最大型最小化问题,和问题的复合最小化,其中的目标可以有简单的不可微组件。我们对待所有这些配方在一个统一的方式,突出了不同顺序的非常自然的优化方案的存在。在最一般的条件下证明了方法的整体收敛速度。假设我们的目标函数的上层组件是次齐次的,我们开发了有效的修改的基本完全复合的一阶和二阶方法,并提出他们的加速变种。
2021-03-23 math.OC
Duality for Composite Optimization Problem within the Framework of Abstract Convexity
本文在抽象凸性的框架下研究了复合最优化问题的共轭对偶和Lagrange对偶。给出了共轭对偶中对偶间隙为零的条件。对于拉格朗日对偶,应用交集性质获得零对偶间隙。建立了Lagrange对偶与共轭对偶之间的联系。给出了与凸函数和弱凸函数有关的例子。
2022-09-06 math.OC
Composite Optimization by Nonconvex Majorization-Minimization
University of Siegen(明斯特大学)
本文提出非凸majorization-minimization方法用于非凸复合函数优化,证明其能实现全局收敛,并通过实验展示其在深度超分辨率中的优越性。
2018-09-03 cs.CV cs.NA math.NA
Local Convergence Analysis of Augmented Lagrangian Methods for Piecewise Linear-Quadratic Composite Optimization Problems
局部最优性的二阶充分条件在优化算法的局部收敛分析中起着重要的作用。在本文中,我们证明了这一条件足以证明的原始-对偶序列的线性收敛,产生的增广拉格朗日方法分段线性二次复合最优化问题,即使在这类问题的拉格朗日乘子是不唯一的。进一步,我们建立了这类复合最优化问题增广拉格朗日问题的二阶充分条件与二次增长条件之间的等价性.
2021-05-02 math.OC
A shape optimization algorithm for cellular composites
我们提出并研究了一种用于PDE约束形状优化的网格变形技术。对线性化形状空间的内积引入梯度惩罚,可以在优化迭代内防止网格退化,从而允许所采用的求解器的可扩展性。我们说明了这种方法的形状优化的蜂窝复合材料在张力下的线性弹性能量。梯度惩罚的影响进行评估和并行可扩展性的方法证明采用几何多重网格求解分层分布的网格。
2019-04-08 math.OC
An accelerated rearrangement method for two-phase composite optimization
Claremont McKenna College(克莱蒙特梅肯纳学院);University of Dundee(邓迪大学);University of The Witwatersrand(威特沃特斯兰德大学);University of Utah(犹他大学)
本文提出了一种加速重排方法用于解决两相复合优化问题,通过引入动量加速机制和重启变体,实现了更高效的收敛性。
2026-02-24 cs.NA math.AP math.NA
Twice epi-differentiability of extended-real-valued functions with applications in composite optimization
本文主要研究广义实值函数的二次上图可微性,重点研究满足某种复合表示的函数。这将在抛物正则性下进行,抛物正则性是最近在[13]中用于约束系统的二阶变分分析的二阶正则性条件。在度量次正则约束规格下,证明了复合函数的二次上可微性,并得到了复合函数的二阶导数的精确公式。后者使我们能够推导出一个大类的复合最优化问题的二阶最优性条件。
2020-04-13 math.OC
The value function approach to convergence analysis in composite optimization
本文旨在进一步了解复杂几何条件下一阶局部搜索法的收敛性质。我们专注于复合最优化模型,它统一在一个简单的形式主义许多这类问题。我们提供了一个一般的收敛性分析的复合高斯-牛顿方法下驯服的假设(半代数性的扩展)。驯服是一个非常普遍的条件,几乎所有在实践中解决的问题都满足这个条件。分析是基于最近的进展,了解序列凸规划方法的收敛性,通过价值函数。
2016-10-06 math.OC
Convergence of Augmented Lagrangian Methods for Composite Optimization Problems
本文针对具有非唯一拉格朗日乘子的复合优化问题,在二阶充分条件下建立了增广拉格朗日方法的局部收敛性,提出二阶次导数半稳定性,并证明了非精确ALM的Q-线性收敛性。
2023-10-20 math.OC
Nonsmooth Composite Matrix Optimization: Strong Regularity, Constraint Nondegeneracy and Beyond
非光滑复合矩阵最优化问题(CMatOP),特别是矩阵范数最小化问题,是矩阵锥规划问题的推广,在数值线性代数、计算统计和工程中有着广泛的应用.本文通过对非光滑目标函数的广义强二阶充分条件和约束非退化性刻画了CMatOP的强正则性.所得结果补充了已有的关于两次连续可微数据约束最优化问题强正则性的刻画。
2019-08-09 math.OC
Stability Analysis for Composite Optimization Problems and Parametric Variational Systems
本文旨在为文献[1]中得到的广义实值分段线性函数的二阶变分分析提供各种应用。在这里,我们主要集中在建立完全稳定的局部极小在复合优化和罗宾逊的强正则性相关联的(线性化和非线性化)KKT系统之间的关系。最后,我们讨论了具有凸分段线性位势的参数变分系统的Lipschitz稳定性。
2016-08-18 math.OC
Convergence of the Gauss-Newton method for convex composite optimization under a majorant condition
在初始点为拟正则点的假设下,利用优势条件给出了求解凸复合最优化问题的推广Gauss-Newton方法的一个新的半局部收敛性分析.在这个分析中,收敛的条件和证明被简化,通过使用一个简单的优势条件来定义区域,高斯-牛顿序列是“良好的表现”。
2011-07-19 math.OC
Universal composite prox-method for strictly convex optimization problems
我们提出了一个简单的方法来解释宇宙方法的余。涅斯捷罗夫在此基础上,利用重新开始技术,我们提出了严格凸最优化问题的泛方法。我们考虑一般的邻近设置(不一定是欧几里得设置)。
2016-10-31 math.OC
Zero Order Stochastic Weakly Convex Composite Optimization
本文考虑随机弱凸复合问题,但不存在随机次梯度预言。我们提出了一个导数免费算法,使用两点近似计算的平滑函数的梯度估计。我们证明了收敛速度与最先进的方法相似,但具有较大的常数,并报告了一些数值结果,表明该方法的有效性。
2020-02-19 math.OC
Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization
本文针对凸复合最优化问题,建立了基于sPADMM(半邻近交替方向法)的KKT残差的$\mathcal{O}({1}/{k})$加权迭代复杂度.这个结果,这是来自一个新的广义HPE(混合近端额外梯度)迭代公式的帮助下,第一次填补了一个大的步长和它的许多近端变量的经典ADMM的遍历迭代复杂性的空白。
2016-11-10 math.OC
An Inexact Preconditioned Zeroth-order Proximal Method for Composite Optimization
针对仅有函数值可用的复合优化问题,提出基于相同试验点有限差分估计梯度和预条件子的预处理零阶近端梯度法,并证明其全局收敛性与最坏情况复杂度,数值实验验证了方法的优越性。
2024-01-07 math.OC
Characterizations of Strong Variational Sufficiency in General Models of Composite Optimization
本文研究一般复合优化问题中的强变分充分性,通过广义强二阶充分条件和增广拉格朗日函数广义Hessian的正定性建立完整刻画,并适用于无约束规范的非多面体问题。
2025-07-13 math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题,提出了两种不精确复合梯度法,一种是内加速法,另一种是双加速法。更具体地说,这些问题的目标函数是$f_1 + f_2 + h$的形式,其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数,$h$是适当的闭凸矩阵函数,并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题,涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同,所提出的方法利用了目标函数的复合结构和谱结构,以有效地生成它们的解决方案。数值实验表明,这些方法的实用性,一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
Optimal Decentralized Composite Optimization for Convex Functions
针对含非光滑正则项的凸函数去中心化复合优化缺乏最优算法的问题,本文提出首个同时达到最优计算与通信复杂度的算法,填补了研究空白,且实验验证了其有效性与高效性。
2024-07-13 math.OC
Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园分校);Department of Computer Science and Engineering University of Texas Arlington(计算机科学与工程系德克萨斯大学阿灵顿分校)
针对现有复合优化方法依赖光滑性假设、无法适配正则化ReLU网络等机器学习问题的局限,提出两种近似平稳点新概念及对应零阶算法,证明有限时间收敛性并通过数值实验验证有效性。
2025-10-06 cs.LG math.OC
A FISTA-Type First Order Algorithm on Composite Optimization Problems that is Adaptable to the Convex Situation
本文提出了一种求解复合最优化问题的FISTA型一阶算法VAR-FISTA。VAR-FISTA的一个显着特点是它能够利用问题中函数的凸性,当函数是凸函数时,与非凸函数相比,迭代复杂性有所提高。文中给出的凸和非凸情形的迭代复杂性结果与文献中已知的结果一致。
2020-08-22 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp(巴西圣保罗基金会应用数学学院);Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学戈根数据科学与人工智能研究所及计算机系);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
本文提出两种通用方法,用于解决凸和强凸混合复合优化问题,无需参数且无需最优值知识,具有高效的复杂度界。
2025-11-20 math.OC
An enriched second-order method for nonconvex composite sparse optimization problems
在本文中,我们提出了一个二阶方法解决\emph{linear composite sparse optimization problems}组成的可微(可能非凸函数)和不可微凸项的总和最小化。复合不可微凸惩罚器由矩阵的$\ell_1$ -范数乘以系数向量给出。我们提出的线性复合$\ell_1$问题的情况下的算法依赖于电源OESOM算法\cite{dlrlm07}的三个主要成分:最小范数次梯度,一个投影步骤,特别是,二阶相关的不可微项的信息。通过对这些装置的推广,我们得到了一个求解复合稀疏最优化问题的全二阶方法,它具有广泛的应用。例如,涉及一般类\emph{differential graph operators}的最小化的问题可以用所提出的算法来解决。我们提出了几个计算实验,以显示我们的方法为不同的应用实例的效率。
2021-02-11 math.OC
Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization
本文研究了凸复合优化问题的牛顿法和拟牛顿法的局部收敛理论:极小化f(x):=h(c(x)),其中h是无穷值正常凸函数,c是C^2光滑的.我们专注于的情况下,h是无限值分段线性二次和凸。这些问题包括非线性规划、极小极大优化、非高斯噪声下的非线性动力学估计以及许多现代大规模数据分析和机器学习方法。我们的方法嵌入到一个广义方程的凸复合最优化问题的最优性条件。建立了相应的集值映射的强度量次正则性和强度量正则性的条件。这使我们能够扩展牛顿和拟牛顿法的经典收敛到更广泛的一类非有限值分段线性二次凸复合最优化问题。特别是,我们建立了局部平方收敛的牛顿法的条件下,平行于那些在非线性规划时,h是非有限值分段线性。
2018-06-17 math.OC
An Inexact Spingarn's Partial Inverse Method with Applications to Operator Splitting and Composite Optimization
我们提出并研究了Spingarn部分逆方法的不精确版本的迭代复杂性。它的复杂性分析是通过查看它的框架中的混合近端外梯度(HPE)方法,其中逐点遍历迭代复杂性已建立最近由蒙泰罗和Svaiter。作为应用,我们提出并分析了一个不精确算子分裂算法的迭代复杂性--它推广了原Spingarn分裂方法--和一个多项复合凸优化的并行向前向后算法。
2016-10-30 math.OC
Composite Optimization Algorithms for Sigmoid Networks
South China Normal University(华南师范大学)
本文将Sigmoid网络转化为凸复合优化问题,提出基于线性化近端算法和交替方向乘子法的复合优化算法,在弱尖锐极小值等条件下保证全局收敛,并通过数值实验验证其有效性和鲁棒性。
2023-07-07 cs.LG math.OC
Variational Analysis of Composite Models with Applications to Continuous Optimization
本文致力于综合模型的变分分析和优化的重要性,其中众多的理论,算法和应用问题的运筹学是很难夸大的研究。我们的研究的基本主题是一个系统的替代传统的度量正则性和相关的要求弱得多的度量subregulatity的,使我们显着更强大的和全新的结果,一阶和二阶变分分析和优化。在这种方式中,我们开发扩展的微积分规则的一阶和二阶广义微分结构支付的主要注意力在二阶变分理论的新的和相当大的类完全sub顺从的成分。在优化问题中的应用包括:导出约束组合模型中增强的无间隙二阶最优性条件,完整刻画了参数优化问题中KKT系统的Lagrange乘子唯一性和强度量次正则性等.
2019-12-07 math.OC
Composite Optimization using Local Models and Global Approximations
MINES Paris, Université PSL(巴黎矿业学院,巴黎文理研究大学);University of Southern California(南加州大学)
本文提出了一种结合全局近似与局部模型的复合优化统一框架,通过双循环结构提升全局近似并适应局部模型,适用于广泛类别的非凸非光滑优化问题。
2026-02-18 math.OC
Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems
以前的作者的论文介绍了一个加速复合梯度(ACG)的变种,即AC-ACG,解决非凸光滑复合优化(N-SCO)问题。与其他ACG变体相比,AC-ACG通过使用在先前迭代期间获得的观察到的上Lipschitz曲率的平均值来估计N-SCO问题的局部上曲率,并使用该估计和两个复合预解式评估来计算下一个解。本文提出了另一种FISTA类型的ACG变体,即AC-FISTA,它具有以下额外的功能:i)它每次迭代执行一个复合预解式评估的平均值; ii)它通过使用先前观察到的上(而不是上Lipschitz)曲率的平均值来估计局部上曲率。这两种性质共同作用产生了一种实用的AC-FISTA变体,其性能大大优于早期的ACG变体,包括上述作者论文中讨论的AC-ACG变体。
2023-02-04 math.OC
Forward-backward truncated Newton methods for convex composite optimization
针对复合形式的凸非光滑最优化问题,提出了两种近似Newton-CG方法。该算法是基于一个重新制定的原始非光滑问题的无约束极小化的连续可微函数,即向前向后包络(FBE)。第一个算法是基于一个标准的线搜索策略,而第二个结合了相应的一阶方法的全局效率估计,同时实现快速的渐近收敛率。此外,它们在计算上是有吸引力的,因为每个牛顿迭代需要通常小维度的线性系的近似解。
2014-02-28 math.OC
Linear Convergence of the Proximal Gradient Method for Composite Optimization Under the Polyak-Łojasiewicz Inequality and Its Variant
本文研究了复合函数在两类PL不等式下近端梯度法的线性收敛率,利用性能估计问题提供了新的显式收敛率或改进了复杂度界限,并通过数值实验验证了理论结果。
2025-06-30 math.OC
Local properties and augmented Lagrangians in fully nonconvex composite optimization
本文研究完全非凸复合优化问题,讨论一阶与二阶最优性条件及缺乏凸性带来的困难,并对一种增广拉格朗日方法进行局部收敛性分析,给出收敛速率。
2024-05-15 math.OC
The Rate of Convergence of the Augmented Lagrangian Method for a Nonlinear Semidefinite Nuclear Norm Composite Optimization Problem
本文提出了两个基本假设,在此假设下,估计了一类复合最优化问题增广Lagrange方法的收敛速率。通过对这两个基本假设的验证,分析了增广拉格朗日方法求解非线性半定核范数复合最优化问题的局部收敛速度.在不要求严格互补的情况下,证明了在约束非退化条件和强二阶充分条件下,算法的收敛速率是线性的,且比常数与1/c成正比,其中c是惩罚参数,超过阈值\bar c>0.分析是基于核范数和投影算子在半正定对称矩阵锥上的近似映射的变分分析。
2017-09-02 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院)
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度,提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Characterizations of the Aubin property of the KKT-mapping in composite optimization by SC derivatives and quadratic bundles
Johann Radon Institute for Computational and Applied Mathematics (RICAM)(约翰·拉登计算与应用数学研究所);Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息与自动化研究所)
本文通过SC导数和二次束刻画复合优化中KKT映射的Aubin性质及单值Lipschitz局部化存在的条件。
2026-02-05 math.OC
A generalized conditional gradient method for multiobjective composite optimization problems
本文研究多目标复合最优化问题,它是由同时极小化若干个目标函数组成的,每个目标函数由光滑和非光滑函数组成。为了解决这些问题,我们提出了一个广义版本的条件梯度法,也被称为弗兰克-沃尔夫方法。该方法进行了分析与三个步长策略,包括Armijo型,自适应,并减少步长。我们建立了渐近收敛性质和迭代复杂性的界限,有和没有凸性假设的目标函数。数值实验说明的方法的实际行为。
2023-02-24 math.OC
Derivative-Free Method For Composite Optimization With Applications To Decentralized Distributed Optimization
本文基于Lan(2016,2019)的滑动算法,提出了一种求解凸组合最优化问题的新方法。我们的方法使用随机噪声零阶预言的非光滑部分和一阶预言的光滑部分。据我们所知,这是文献中第一个使用这种混合预言机进行复合优化的方法。我们证明了新方法的收敛速度,匹配相应的速度为一阶方法的一个因素成比例的空间的尺寸,或在某些情况下,其平方对数。我们应用这种方法的分散分布式优化,并推导出上界的通信轮数为这种方法匹配已知的下界。此外,我们对每个节点的零阶Oracle调用的数量的限制与一阶分散式分布式优化的类似的最先进的限制相匹配,直到与空间的维度成比例的因子,或者在某些情况下,甚至是其平方对数。
2020-09-10 math.OC
Shape optimization for composite materials and scaffolds
本文结合形状优化和均匀化技术,通过寻找复合材料和支架的微观结构的最优设计。开发具有特定性能的材料具有巨大的实际意义,例如,用于医疗应用或用于航空中的轻质结构的开发。特别是,微观结构的最优设计导致多孔介质的基本问题:什么是均匀化系数的灵敏度相对于微观结构的形状?我们计算Hadamard的形状梯度的问题,实现一个指定的有效张量,并通过数值实验证明我们的方法的适用性和可行性。
2019-07-13 math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题,提出名为ManPQN的黎曼近端拟牛顿法,证明其全局与局部线性收敛性并分析迭代复杂度,数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成,该目标函数是一个光滑项和一个(凸)非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广,如近端牛顿和拟牛顿法。在本文中,我们提出了一个正则化的近似拟牛顿法,其主要特点是:(a)该方法全局收敛到稳定点,(b)全局化由正则化参数控制,不需要线搜索,(c)该方法可以基于简单的观察而非常有效地实现,该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明,该方法优于现有的几种方法。
2022-10-14 math.OC
Composite Lyapunov Criteria for Stability and Convergence with Applications to Optimization Dynamics
Gulf University for Science and Technology(海湾科技大学);Center of Applied Mathematics and Bioinformatics (CAMB)(应用数学与生物信息学中心)
提出复合Lyapunov框架,通过微分不等式对实现非线性系统的严格衰减与收敛,统一收敛到点和集合,应用于惯性梯度与原始-对偶梯度流。
2025-10-09 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题,其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构,这可能不容易计算其邻近映射。为了解决这些问题,我们提出了一个小批量随机Nesterov平滑(MSNS)方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明,所提出的MSNS方法的支持向量机(SVM)模型的效率。
2021-09-11 math.OC
Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA
University of California, Los Angeles(加州大学洛杉矶分校);Rice University(莱斯大学)
OptISTA通过双函数步长优化PEP方法,在复合优化中设计出精确最优的一阶方法,解决了最优一阶方法的搜索问题。
2025-11-22 math.OC
An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems
本文提出了一种求解非凸光滑复合极小化问题的加速复合梯度(ACG)方法,简称AC-ACG方法。与基于已知Lipschitz梯度常数或最大观测曲率序列的众所周知的ACG变体相反,当前的ACG变体基于所有过去观测曲率的平均值。更具体地说,AC-ACG使用直到上一次迭代为止的所有观测到的曲率的平均值的正倍数作为估计当前点处的“函数曲率”的方式,然后使用两个预解式评估来计算下一个曲率。与其他变量Lipschitz估计变体相比,例如,基于最大曲率的那些,AC-ACG总是接受前述的误差,而不管Lipschitz估计结果有多差。最后,计算结果表明,AC-ACG的效率随机生成和现实世界的问题实例。
2020-10-29 math.OC
Multi-objective optimization for a composite pressure vessel with unequal polar openings
针对不等极孔非对称缠绕复合材料压力容器,提出结合有限元模型与多岛遗传算法的迭代优化方法,以质量、厚度最小化和应变能最大化为目标实现参数优化,并验证了三种材料的适用性。
2024-09-26 math.OC
Stability and Sample-based Approximations of Composite Stochastic Optimization Problems
不确定性和风险下的优化在许多实际情况中是必不可少的。本文讨论了利用复合风险泛函的最优化问题在测度扰动下的稳定性。我们的主要重点是渐近行为的数据驱动的配方与经验或平滑估计,如内核或小波应用到一些或所有功能的组合物。我们分析了新估计的性质,并在相当一般的假设下建立了强大数律、相合性和偏倚降低势。我们的研究结果与风险规避优化和一般的数据科学密切相关。
2022-01-04 math.OC math.ST stat.TH
The Free Boundary Problem in the Optimization of Composite Membranes
这是S. Chanillo,D. Grieser,M. Imai,K.仓田和我。大西再次,我们考虑以下特征值最优化问题:给定有界域$Ω\subset\R^n$和数$α\geq 0$,$A\in [0,|Ω|]$,找到区域$A$的子集$D\subsetΩ$,其中算子$-Δ+ αχ_D$的第一Dirichlet特征值尽可能小。本文主要研究一般区域上最优解的自由边界问题。
1999-12-15 math.AP math.OC
A Composite Representation Theorem for Solution Mappings in Regularized Composite Optimization with Applications to Hausdorff Lipschitz Stability
本文针对正则化复合优化的解映射建立复合表示定理,推导其局部Hausdorff Lipschitz连续性的充分条件,覆盖ℓ₁型等正则化子,数值例子验证了完整解集的恢复。
2026-10-14 math.OC
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University(斯坦福大学)
研究了一类具有凸复合结构的(潜在非凸)约束最优化问题。通过一种新的分析非光滑几何,我们表明,近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下,我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构,我们精确地确定了因子分解问题中二次增长的条件,这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
Stochastic Gradient Descent for Stochastic Doubly-Nonconvex Composite Optimization
随机梯度下降算法在大数据分析中被广泛应用于复合优化问题的求解。许多算法和收敛性质已经开发。复合函数最初是凸的,逐渐采用非凸的复合函数来获得更好的性质。收敛性已被研究,但只有当任何一个复合函数是非凸的。当两个复合函数都是非凸函数时,没有收敛性,这被称为\textit{doubly-nonconvex}情况。为了克服这个困难,我们假设罚函数是\textit{quasiconvex}的一个简单而弱的条件,然后我们得到了随机双-非凸复合优化问题的收敛速度,得到的收敛速度与已有的工作是同阶的,并深入地分析了在常数步长和最小批量,并给出了适当的大小的最优收敛速度,这是优于现有的工作。实验结果表明,该方法优于现有的方法。
2020-03-02 cs.LG math.OC stat.ML
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日(NL-IAPIAL)方法,约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由拉格朗日乘子更新。在一些温和的假设下,证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解,其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和,其中单个项相对简单,但是复合目标函数只能用迭代算法来优化。本文主要研究F(Kx)+ G(x)形式的最优化问题,其中K是固定的线性变换,F和G是非凸和/或不可微的函数.特别是,如果任何一项是非凸的,现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA(镜像凸/凹)算法,一个原始/对偶优化方法,需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描(CT)成像中出现的最优化问题的启发,该算法可以处理一系列非凸的复合最优化问题,并在整个问题近似凸(即,一项中的任何凸性被另一项中的凸性抵消)时提供收敛的理论保证。实验结果表明,几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
The Quasi-Newton Method for the Composite Multiobjective Optimization Problems
本文针对复合多目标优化问题(CMOP)提出了结合Armijo线搜索的BFGS、自标度BFGS和Huang BFGS等新拟牛顿方法,并证明了算法生成序列的聚点为Pareto稳定点和最优点。
2023-09-10 math.OC
A single cut proximal bundle method for stochastic convex composite optimization
本文针对期望函数与闭凸复合函数之和的优化问题,提出了首个能处理连续分布的随机复合近邻束(SCPB)方法,并在参数已知或未知时分别证明其最优复杂度保证,实验表明其显著优于RSA方法。
2023-10-20 math.OC