Convergence of ADAM for Lipschitz Objective Functions
本文证明了在Lipschitz连续且梯度可控的不可微目标函数下,Adam算法具有局部和全局指数收敛性,并给出了满足条件的函数示例。
2024-03-13 math.CA math.DS math.OC
Extensions of Fast-Lipschitz Optimization
快速分布式求解网络系统中的最优化问题的需要,激发了快速Lipschitz优化框架的最新发展。在这样的优化中,满足某些限定条件(例如目标函数的单调性和约束的收缩性)的问题具有经由计算约束的不动点的快速分布式算法获得的唯一最优解。本文扩展了一套快速Lipschitz框架适用的问题。现有的假设问题的形式放松和新的和广义的资格条件建立新的结果的基础上拉格朗日对偶。它示出的情况下,更多的约束比决策变量,和更少的约束比决策变量快速Lipschitz优化应用。通过对目标函数施加非严格单调性,得到了新的结果。扩展的Fast-Lipschitz框架说明了一些例子,包括非线性最优控制问题。
2014-04-19 math.OC
On Some Adaptive Mirror Descent Algorithms for Convex and Strongly Convex Optimization Problems with Functional Constraints
本文研究了具有多个凸Lipschitz(一般为非光滑)函数约束的凸目标泛函极小化问题的自适应镜像下降算法。结果表明,该方法适用于各种光滑程度的目标泛函:利普希茨条件对目标泛函本身、其梯度或Hessian都成立(并且该泛函可能不满足利普希茨条件).利用重新开始技术,提出了强凸极小化问题的新方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。数值实验说明了所提出的方法的优点,一些例子。
2018-12-18 math.OC
An efficient descent method for locally Lipschitz multiobjective optimization problems
本文对局部Lipschitz连续多目标最优化问题(MOPs)提出了一种有效的下降法.该方法是通过结合一个理论结果,关于计算的下降方向的非光滑MOPs与一个实用的方法来近似的次微分的目标函数。我们证明了收敛到满足Pareto最优性的一个必要条件的点。使用一组测试问题,我们比较我们的方法的多目标近端束方法由Mäkelä。结果表明,我们的方法是有竞争力的,同时更容易实现。当目标函数评估的数量较大时,次梯度评估的总数较低。最后,我们表明,我们的方法可以结合细分算法来计算整个Pareto集的非光滑MOPs。
2020-04-24 math.OC
Frank-Wolfe Works for Non-Lipschitz Continuous Gradient Objectives: Scalable Poisson Phase Retrieval
研究了泊松噪声模型中的相位恢复问题。受PhaseLift方法的启发,我们通过求解具有核范数约束的凸规划来近似最大似然估计。而Frank-Wolfe算法,连同Lanczos方法,可以有效地处理核范数约束,我们的目标函数不具有Lipschitz连续梯度,因此现有的收敛保证Frank-Wolfe算法不适用。在本文中,我们证明了Frank-Wolfe算法适用于泊松相位恢复问题,并且具有O(1/t)的整体收敛速度,其中t是迭代计数器。我们提供了严格的理论保证和说明数值结果。
2016-02-01 math.OC stat.AP
Convergence Analysis of the Proximal Gradient Method in the Presence of the Kurdyka-Łojasiewicz Property without Global Lipschitz Assumptions
针对复合优化问题中近端梯度法收敛分析依赖强全局Lipschitz假设的局限,本文证明仅需局部Lipschitz假设结合Kurdyka-Łojasiewicz性质,即可得到全局收敛与收敛速率结果,放宽了算法收敛的前提条件。
2023-04-28 math.OC
The Fermat Rule for Set Optimization Problems with Lipschitzian Set-Valued Mappings
在本文中,我们考虑集合最优化问题的解决方案的概念是由集合方法。具体地说,我们处理的下少和上少集的关系。首先,在集值目标映射具有一定的凸性和Lipschitzianity性质的假设下,我们得到了合适的标量化泛函的凸性和Lipschitzianity。然后,我们得到了这些泛函的极限次微分的上估计。这些结果与标量化泛函的性质一起,使我们能够得到一个费马规则的集合最优化问题与Lipschitz数据。
2021-07-27 math.OC
An Adaptive Smoothing Algorithm for Non-Lipschitz Optimization on Manifolds with Complexity Guarantees
The Hong Kong Polytechnic University(香港理工大学)
本文提出一种自适应平滑Riemannian梯度算法,针对非利普斯连续优化问题,在流形上实现O(ε^{p-4})的迭代复杂度,首次给出非利普斯连续优化在流形上的复杂度结果。
2026-04-20 math.OC
Locally Lipschitz stability of solutions to a parametric parabolic optimal control problem with mixed pointwise constraints
本文研究半线性抛物方程带混合逐点约束的参数最优控制问题,证明在严格二阶充分条件下,解和Lagrange乘子关于参数局部Lipschitz连续。
2024-02-05 math.OC
ASMOP: Additional sampling stochastic trust region method for multi-objective problems
University of Novi Sad(诺维萨德大学);University of Ferrara(费拉拉大学)
ASMOP提出了一种用于多目标优化的非单调信任区域方法,通过额外采样控制样本大小,证明了其在凸和非凸问题中的有效性。
2026-03-12 math.OC
"Relative-Continuity" for Non-Lipschitz Non-Smooth Convex Optimization using Stochastic (or Deterministic) Mirror Descent
开发和分析非光滑(随机或确定性)凸优化的一阶方法的常用方法假设目标函数是一致Lipschitz连续的参数$M_f$。然而,在许多设置中,不可微凸函数$f(\cdot)$不是一致Lipschitz连续的-例如(i)经典支持向量机(SVM)问题,(ii)最小化凸二次函数的最大值的问题,甚至(iii)具有$f(x) := \max\{0, x\} + x^2$的单变量设置。在这里,我们开发了一个概念“相对连续性”,这是相对于用户指定的“参考函数”$h(\cdot)$(这应该是计算上易于处理的算法),我们表明,许多不可微凸函数相对于一个相应的相当简单的参考函数$h(\cdot)$是相对连续的。我们也同样发展了一个“相对随机连续“的随机设置的概念。我们分析了两个标准的算法-(确定性)镜像下降算法和随机镜像下降算法-在这两个新的设置解决最优化问题,我们第一次开发的计算保证的情况下,目标函数是不一致的Lipschitz连续。本文是不可微凸优化的一个姊妹篇,是Lu、Freund和Nesterov最近的一篇论文的姊妹篇,他们对可微凸优化给出了类似的结果。
2018-08-14 math.OC
On the Convergence of Differentially Private Federated Learning on Non-Lipschitz Objectives, and with Normalized Client Updates
University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
对于具有非Lipschitz目标函数的差分私有联邦学习(FL)(即,当梯度范数没有界时)。其主要原因是裁剪操作(即,投影到固定半径的$\ell_2$球上,称为剪切阈值),用于限制平均更新对每个客户端更新的灵敏度,这引入了偏差,这取决于剪切阈值和FL中的局部步骤的数量,并且分析这一点并不容易。对于Lipschitz函数,Lipschitz常数用作具有零偏差的平凡限幅阈值。然而,Lipschitz性在许多实际情况下并不成立;此外,验证它和计算Lipschitz常数是困难的。因此,限幅阈值的选择是重要的,并且在实践中需要大量的调谐。在本文中,我们提供了第一个收敛结果,私人FL光滑\textit{convex}目标\textit{for a general clipping threshold} - \textit{without assuming Lipschitzness}。我们还研究了一种更简单的裁剪(用于边界敏感性)替代方案,即\textit{normalization} --在这种情况下,我们只使用客户端更新中的单位向量的缩放版本,完全丢弃幅度信息。{The理论上证明了基于归一化的私有FL算法在光滑凸函数上比基于裁剪的算法具有更好的收敛性。我们证实了我们的理论与合成实验以及基准数据集上的实验。
2022-04-16 cs.DC cs.LG eess.SP
Lipschitz minimization and the Goldstein modulus
本研究提出基于Goldstein次梯度的新模以鲁棒度量Lipschitz函数斜率,关联Goldstein风格方法的近似线性收敛与该模在极小值点的线性增长,并用简单启发式算法验证思路。
2024-05-21 cs.NA math.NA math.OC
Lipschitz-Free Mirror Descent Methods for Relatively Strongly Convex Functions with/without Absolute and Relative Inexactness
Innopolis University(伊诺波利斯大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);V. I. Vernadsky Crimean Federal University(V·I·维尔纳茨基克里米亚联邦大学)
本文提出了一种无需Lipschitz连续性假设的镜像下降方法,用于解决相对强凸函数的非光滑优化问题,并通过实验验证了其有效性。
2026-01-30 math.OC
Convergence of Nonmonotone Proximal Gradient Methods under the Kurdyka-Lojasiewicz Property without a Global Lipschitz Assumption
本文首次证明在Kurdyka-Łojasiewicz性质下,无需全局Lipschitz假设和迭代有界性先验知识,非单调近端梯度方法具有与单调方法相同的全局收敛性与收敛速率。
2024-11-19 math.OC
Global optimization of multivariable functions satisfying the Vanderbei condition
本文提出两种基于非均匀覆盖方法的算法,用于求解超矩形上满足Vanderbei条件的目标函数全局优化问题,并证明了其收敛性且通过数值实验验证了性能。
2024-02-18 math.OC
Convergence of the Safeguarded Augmented Lagrangian Method under the Polyak-Lojasiewicz constraint qualification for Constrained Composite Optimization
本文证明了保护增广拉格朗日方法在Polyak-Lojasiewicz约束条件下全局收敛到M-稳定点,要求目标函数非光滑部分局部Lipschitz连续以保证乘子有界,并在稀疏投资组合优化中验证了算法性能。
2026-06-25 math.OC
Penalty methods for a class of non-Lipschitz optimization problems
考虑一类约束最优化问题,其目标函数为非Lipschitz,凸可行集为多面体与退化椭球的交.这些问题在数据科学中有广泛的应用,其中目标用于在解中诱导稀疏性,而约束集对噪声容限进行建模,并结合其他先验信息进行数据拟合。对于这类约束最优化问题,常用的方法是罚函数法。然而,对于非凸和非Lipschitz目标函数的问题,几乎没有关于精确惩罚的理论。本文在适当的假设下,研究了局部极小、驻点和$ε$ -极小的精确罚参数的存在性。此外,我们讨论了一种罚方法,其子问题通过一个非单调的近似梯度法和一个适当的更新方案的罚参数,并证明了该算法收敛到一个KKT点的约束问题。初步的数值结果表明,罚方法的效率,寻找欠定线性系的稀疏解。
2016-04-07 math.OC stat.ML
Online Optimization Problems with Functional Constraints under Relative Lipschitz Continuity and Relative Strong Convexity Conditions
最近,引入了相对光滑、相对连续和相对强凸优化问题的重要类别。这些概念显着扩大了一类问题,最佳复杂性估计的梯度型方法在高维空间发生。基于近年来对目标函数为相对Lipschitz连续和相对强凸的在线优化(遗憾极小化)问题的研究,本文提出了在线求解带不等式约束的强凸优化问题的算法.我们提出了一个计划与生产和非生产步骤之间的切换这类问题,并证明了其收敛速度的类相对Lipschitz和强凸极小化问题。我们还提供了一个实验比较所提出的方法和AdaMirr,最近提出的相对Lipschitz凸问题。
2023-03-05 math.OC
Locally Lipschitz vector optimization problems: second-order constraint qualifications, regularity condition and KKT necessary optimality conditions
研究了一类约束向量最优化问题,其中目标函数和积极约束函数在参考点处均为局部Lipschitz.在非光滑情形下,给出了Zangwill型、Abadie型和Mangasarian~--~Fromovitz型的二阶约束规格以及Abadie型的正则性条件.建立了这些条件之间的联系。他们被应用于开发二阶Karush-库恩-塔克必要的最优性条件的本地(弱,Geoffrion正确)有效解所考虑的问题。最后给出了实例说明所得结果。
2019-05-13 math.OC
Lipschitz-inspired HALRECT Algorithm for Derivative-free Global Optimization
Vilnius University, Institute of Data Science and Digital Technologies(维尔纽斯大学,数据科学与数字技术研究所)
针对Lipschitz常数未知的带箱约束全局优化问题,提出结合对分与多点采样的HALRECT算法及变体,实验证明其性能优于现有前沿DIRECT类算法,鲁棒性更强。
2022-09-18 math.OC
Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity
针对目标函数中含有$q\in (0,1)$的非Lipschitz $\ell_q$ -范数正则项的部分可分凸约束非线性最优化问题,提出了一种基于高阶模型的自适应正则化算法.它表明,该算法使用$p$-阶泰勒模型的$p$奇数一般需要在最多$O(ε^{-(p+1)/p})$评估的目标函数及其衍生物(在他们被定义的点),以产生一个$ε$ -近似一阶临界点。这一结果是在泰勒模型的代价是要求可行集是“核中心”(包括约束约束和许多其他情况下的利益),或非Lipschitz模型,在通过的代价困难的计算步骤。由于该复杂性界限与已知的凸约束条件下纯Lipschitz最小化的复杂性界限相同[CartGoulToin 2016],因此新结果表明,在目标函数中引入非Lipschitz奇点可能不会影响最差情况下的评估复杂性顺序。结果还表明,使用问题的部分可分结构(如果存在)也不会影响复杂性顺序。一个最终的(更坏的)复杂性界的情况下,泰勒模型与一个一般的凸可行集。
2017-04-23 cs.CC math.OC
Convergence analysis of nonmonotone proximal gradient methods under local Lipschitz continuity and Kurdyka--Łojasiewicz property
本文研究了在局部Lipschitz连续性和KL性质下,结合平均与最大线搜索的非单调近端梯度方法,通过索引划分在不要求迭代有界的情况下证明了其全局收敛性及收敛速率,并得出该收敛性独立于索引划分选择的结论。
2025-05-01 math.OC
Optimality conditions and Lipschitz stability for non-smooth semilinear elliptic optimal control problems with sparse controls
本文针对含控制$L^1$范数的非光滑半线性椭圆最优控制问题,推导一阶与二阶最优性条件,并证明局部解关于稀疏性参数的Lipschitz稳定性。
2023-10-17 math.OC
Mirror Descent and Convex Optimization Problems With Non-Smooth Inequality Constraints
本文研究了具有凸非光滑不等式约束的简单集上的凸函数极小化问题,并描述了在光滑或非光滑目标函数、凸或强凸目标和约束、确定性或随机性信息等不同情况下求解这类问题的一阶方法。我们希望读者可以方便地在一个地方拥有不同设置的所有方法。所描述的方法基于镜像下降算法和切换次梯度方案。我们的重点之一是提出,为列出的不同设置,自适应步长和自适应停止规则的镜像下降。这意味着步长和停止规则都不需要知道目标或约束的Lipschitz常数。我们还构造镜像下降问题的目标函数,这不是Lipschitz连续的,例如,是一个二次函数。除此之外,我们还讨论了对偶问题解的恢复问题。
2018-01-29 math.OC
One Method for Minimization a Convex Lipschitz-Continuous Function of 2 Variables on a Fixed Square
本文对Yu. E. Nesterov方法的最小化凸Lipschitz-连续函数的两个变量在一个正方形与一个固定的边。该方法是在解决辅助问题的一维最小化沿分离段,并不意味着计算的精确值的梯度的目标功能。实验表明,所考虑的方法可以达到所需的精度解决问题的时间比其他方法(梯度下降和椭球方法)考虑,在一个已知的精确解的情况下,并使用估计的方法的收敛速度。
2020-01-13 math.OC
A distributed proximal splitting method with linesearch for locally Lipschitz gradients
针对多智能体凸-凹 min-max 优化,提出带分布式回溯线搜索的原始-对偶邻近梯度一阶算法,无需全局 Lipschitz 常数即可自适应调整步长,并将分析放宽至局部 Lipschitz 梯度。
2025-05-13 math.OC
Randomized Bregman Coordinate Descent Methods for Non-Lipschitz Optimization
Iowa State University(爱荷华州立大学);IBM Research AI(IBM人工智能研究院)
提出了一种新的求解复合问题的\textit{randomized Bregman (block) coordinate descent}(RBCD)方法,其中目标函数可以是凸的或非凸的,且光滑部分不受全局Lipschitz连续(部分)梯度假设的约束.在基于Bregman距离的相对光滑性概念下,证明了生成序列的每个极限点都是平稳点。进一步,我们证明了该方法的迭代复杂度为$O(n\varepsilon^{-2})$以达到$ε$ -稳定点,其中$n$是坐标块的个数.如果目标是凸的,则迭代复杂度改进为$O(nε^{-1} )$。此外,如果目标是强凸的(相对于参考函数),则恢复全局线性收敛速度。我们还提出了加速版本的RBCD方法,达到$O(n\varepsilon^{-1/γ} )$迭代复杂度的凸的情况下,标量$γ\in [1,2]$是由\textit{generalized translation variant}的布雷格曼距离。收敛性分析,而不假设全球Lipschitz连续(部分)梯度集我们的结果除了现有的工作中的复合问题。
2020-01-15 cs.LG math.OC
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI(莫斯科信息检索与分析研究所);Appied AI Institute(应用人工智能研究所)
本文提出一种去中心化POEM算法,通过双点平滑和自适应半径与步长规则,实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
Preconditioned accelerated gradient descent methods for locally Lipschitz smooth objectives with applications to the solution of nonlinear PDEs
我们开发的Nesterov的加速梯度下降法(AGD)的应用程序的广泛的一类偏微分方程(PDE)的近似解的理论基础。这是通过证明存在的不变集和指数收敛速度时,其预处理版本(PAGD)适用于最小化局部Lipschitz光滑,强凸目标泛函。我们引入了一个二阶常微分方程(ODE)与预条件内置,并表明PAGD是一个显式的时间离散化的常微分方程,这需要一个自然的时间步长限制的能量稳定性。在连续时间水平上,我们使用一个简单的能量参数显示指数收敛的常微分方程的解决方案,其稳定状态。在离散层次上,假设上述步长限制,不变集的存在性被证明和匹配的指数收敛速率的PAGD计划推导出通过模仿的能量参数和连续水平上的收敛。应用的PAGD方法的数值偏微分方程的某些非线性椭圆偏微分方程使用准谱方法的空间离散,并进行了几个数值实验。结果证实了全局几何和网格步长独立收敛的PAGD方法,与预条件梯度下降(PGD)方法相比,提高了加速率。
2021-02-01 cs.NA math.NA math.OC
A Unified Analysis on the Subgradient Upper Bounds for the Subgradient Methods Minimizing Composite Nonconvex, Nonsmooth and Non-Lipschitz Functions
Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济管理学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Institute of Translational Medicine and National Center for Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院和转化医学中心);Department of Industrial and Systems Engineering, University of Minnesota(明尼苏达大学工业与系统工程系)
本文提出了一种统一分析方法,用于研究子梯度方法在最小化复合非凸、非光滑和非利普斯芝函数时的子梯度上界问题,并扩展到随机近端子梯度算法。
2024-11-12 cs.LG math.OC
Holder continuity of the steepest descent direction for multiobjective optimization
本文的目的是刻画光滑目标函数的多目标最速下降方向的连续性。我们将证明这个方向是Holder连续的,最优指数为1/2。特别是,这个方向未能Lipschitz连续,即使多项式目标。
2018-02-05 math.OC
Proximal Gradient Algorithms under Local Lipschitz Gradient Continuity: A Convergence and Robustness Analysis of PANOC
复合优化为各种应用提供了一个强大的建模工具,并且通常通过近端梯度法来数值求解。本文考虑了目标函数的光滑部分仅在局部Lipschitz梯度连续条件下的完全非凸复合问题。我们研究了PANOC类型方法的自适应方案(Stella等人,在IEEE第56届CDC会议论文集,1939- 1944,2017),即只需要简单的近似梯度预言的加速线性搜索算法。虽然包括经典的近端梯度法,我们的理论结果涵盖了更广泛的一类算法,并提供收敛保证加速方法可能不精确计算的近端映射。这些发现也有显着的实际影响,因为它们扩大了现有的范围和性能,并可能在未来,通用优化软件调用PANOC作为内部求解器。
2022-04-18 math.OC
Revisiting Randomized Smoothing: Nonsmooth Nonconvex Optimization Beyond Global Lipschitz Continuity
针对随机平滑优化依赖全局Lipschitz条件的局限,提出新的次梯度增长条件及随机平滑梯度算法,实现高效收敛并匹配最优样本复杂度。
2025-09-09 math.OC
Constrained, Global Optimization of Functions with Lipschitz Continuous Gradients
我们提出了两个一阶序列优化算法来解决约束最优化问题。我们考虑一个黑盒设置与先验未知的,非凸的目标和约束函数,具有Lipschitz连续梯度。所提出的算法平衡的先验未知的可行空间的探索与追求的全局最优性在一个预先指定的有限数量的一阶预言调用。第一个算法适应一个不可行的开始,并提供一个接近最优的全局解决方案或建立不可行性。然而,该算法可能会产生不可行的迭代过程中的搜索。对于一个强凸约束函数和一个可行的初始解猜测,第二个算法返回一个接近最优的全局解,没有任何约束违反。与现有的方法相比,这两种算法在每次迭代中都计算全局次优界。我们还表明,该算法可以满足用户指定的公差在计算的解决方案与接近最佳的复杂性,在甲骨文要求的一大类最优化问题。我们提出了易于处理的算法实现,利用Lipschitz连续梯度属性提供的结构。
2020-11-17 math.OC
Examples of pathological dynamics of the subgradient method for Lipschitz path-differentiable functions
我们证明了消失步长次梯度方法-广泛用于机器学习应用-即使在有利的假设存在下也可以显示相当混乱的行为。我们建立了有界次梯度序列的收敛可能失败,即使惠特尼分层目标函数满足Kurdyka-Lojasiewicz不等式。此外,当目标函数是路径可微的时,我们证明了各种性质都可能不发生:极限点的临界性,序列的收敛性,值的收敛性,累积集的余维数1,累积集与本质累积集的相等性,本质累积集的连通性,自发减速,振荡补偿,以及振荡对累积集的非线性性.
2020-07-22 cs.NA math.DS math.NA
Adaptive generalized conditional gradient method for multiobjective optimization
本研究提出一种适用于有/无约束多目标优化的广义条件梯度法,结合归一化下降方向与线搜索,证明了Pareto最优性收敛性并分析复杂度,数值实验验证了其可行性与竞争力。
2025-03-22 math.OC
On the Convergence Analysis of an Inexact Preconditioned Stochastic Model-Based Algorithm
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种整合预处理技术的近似随机模型驱动算法,通过局部Lipschitz条件推导出非渐近和渐近收敛率,并在二次增长条件下获得最优解集距离的收敛率。
2025-12-11 math.OC
General Derivative-Free Optimization Methods under Global and Local Lipschitz Continuity of Gradients
本文针对梯度不可用的光滑优化问题,提出两种基于自适应有限差分梯度近似的无导数方法,在全局或局部Lipschitz连续梯度条件下建立了全局与局部收敛性及收敛速率,并通过数值实验验证了其优于现有方法的性能。
2023-11-28 math.OC
Adaptation to Inexactness for some Gradient-type Methods
我们引入了一个概念的不精确模型的凸目标函数,它允许在功能和其梯度的错误。针对这种情况,本文提出了一种自适应调整模型参数的梯度法,并得到了该方法的收敛速度的估计,该估计在存在误差的充分光滑问题上是最优的.考虑一类特殊的凸非光滑最优化问题。为了将所提出的技术应用于此类,应引入人为误差。我们表明,该方法可以修改为这样的问题,以保证收敛的函数与一个接近最优的速度上的类凸非光滑最优化问题。对满足Polyak-Lojasievicz梯度优势条件的梯度,放松了利普希茨条件,提出了一种目标函数的自适应梯度法.这里,目标函数及其梯度可能不精确地给出。在该方法的操作期间,关于梯度的Lipschitz常数以及对应于梯度误差和目标函数的值来执行参数的自适应选择。该方法的线性收敛是合理的,直到与误差相关的值。
2021-10-11 math.OC
On the solution stability of parabolic optimal control problems
Vienna University of Technology(维也纳工业大学);Institute of Statistics and Mathematical Methods in Economics, Vienna University of Technology(维也纳工业大学统计与经济数学方法研究所)
本文针对控制仿射的半线性抛物型偏微分方程最优控制问题,基于拓展的变分增长假设证明一阶最优性条件映射的度量次正则性,得到解对扰动的稳定依赖性及相关误差估计与正则化参数的Lipschitz估计。
2022-09-19 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度,但不需要知道目标函数的平滑度。在线搜索部分,它使用动态递减的参数,并产生近似的Lipschitz常数与适度的大小。此外,基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计,建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Distributed Optimization for Second-Order Multi-Agent Systems with Dynamic Event-Triggered Communication
本文针对二阶连续时间多智能体系统提出了一种全分布式算法来求解分布式最优化问题。全局目标函数是与个体代理相关联的私有费用函数的总和,并且代理之间的交互由加权无向图描述。如果底层图是连通的,每个私有费用函数是局部梯度Lipschitz连续的,全局目标函数关于全局最小值是强凸的,我们证明了该算法的指数收敛性.此外,为了减少通信的整体需求,我们提出了一个动态的事件触发的通信机制,是免费的芝诺行为。证明了当私有费用函数也是全局梯度Lipschitz连续时,该算法是指数收敛的.通过数值模拟验证了理论结果的有效性。
2018-09-17 math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras(马德拉斯印度理工学院)
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体,目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分,直到最近。在这项工作中,我们着眼于收敛性分析的一个属性,我们术语为concavifiability,而不是Lipschitz连续梯度。我们表明,凹性是一个充要条件,以满足上二次近似,这是关键证明,目标函数减少后,每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用,我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界,以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
在这项工作中,我们考虑使用网络的计算单元的非光滑凸函数的分布式优化。我们在两个正则性假设下研究这个问题:(1)全局目标函数的Lipschitz连续性,(2)局部个体函数的Lipschitz连续性。在局部正则性假设下,给出了第一个最优一阶分散算法多步原对偶(MSPD)及其最优收敛速度。该结果的一个值得注意的方面是,对于非光滑函数,虽然误差的主导项在$O(1/\sqrt{t})$中,但通信网络的结构仅影响$O(1/t)$中的二阶项,其中$t$是时间。换句话说,即使在非强凸目标函数的情况下,由于通信资源的限制而导致的误差也以快速的速率减小。在全局正则性假设下,我们提供了一个简单而有效的算法称为分布式随机平滑(DRS)的基础上的局部平滑的目标函数,并表明DRS是在一个$d^{1/4}$乘法因子的最佳收敛速度,其中$d$是基本的尺寸。
2018-06-01 math.OC
A random coordinate descent algorithm for optimization problems with composite objective function and linear coupled constraints
本文提出了一种随机坐标下降法的变形,用于求解具有复合目标函数的线性约束凸优化问题。如果目标函数的光滑部分具有Lipschitz连续梯度,则我们证明了我们的方法在${\cal O}(N^2/ε)$迭代中获得$ε$ -最优解,其中$N$是块的数目。对于廉价的坐标导数的问题,我们表明,新的方法是基于全梯度信息的方法更快。文中还对收敛速度作了概率上的收敛速率分析。对于强凸函数,我们的方法线性收敛。大量的数值试验证实,在非常大的问题,我们的方法是更有效的数值比基于全梯度信息的方法。
2013-02-13 math.OC
Norm-induced Cuts: Outer Approximation for Lipschitzian Constraint Functions
University of Technology Nuremberg(纽伦堡工业大学);Zuse Institute Berlin(柏林祖斯研究所)
本文提出了一种基于范数诱导切割的非凸外近似方法,用于解决具有Lipschitz连续约束函数的有限维优化问题,并探讨了方法的正确性与复杂性。
2025-10-01 math.OC
Optimization on a Finer Scale: Bounded Local Subgradient Variation Perspective
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Pontificia Universidad Católica de Chile(智利天主教大学)
本文提出有界局部次梯度变化假设,统一并细化非光滑优化复杂度分析,证明并行oracle复杂度可显著低于顺序复杂度,尤其在分段线性函数上。研究揭示次微分集平均宽度对复杂度的影响,为优化理论提供新视角。
2024-11-04 cs.DS cs.LG math.OC
Sequential stochastic blackbox optimization with zeroth-order gradient estimators
本文提出基于序列随机优化的零阶符号随机梯度下降方法(ZO-Signum),通过子问题分解与精度逐步细化求解噪声黑盒优化问题,并给出收敛速率分析及数值实验验证其竞争力。
2023-08-11 math.OC
First Order Methods beyond Convexity and Lipschitz Gradient Continuity with Applications to Quadratic Inverse Problems
我们专注于非凸和非光滑最小化问题的复合目标,其中的可微部分的目标是从通常的和限制性的全局Lipschitz梯度连续性假设。这种长期存在的光滑性限制是普遍的一阶方法(FOM),最近规避凸复合优化的Bauschke,Bolte和Teboulle,通过一个简单而优雅的框架,捕捉,所有一次,几何的功能和可行集。在这项工作的基础上,我们解决真正的非凸问题。我们首先补充和扩展他们的方法,通过引入光滑适应函数的概念,得到一个完整的扩展下降引理。然后,我们考虑了一种基于Bregman的逼近梯度法,该方法适用于具有光滑适应函数的非凸复合模型,并证明了该方法在对问题数据的自然假设下全局收敛于一个临界点.为了说明我们的一般框架和结果的权力和潜力,我们考虑了广泛的一类二次反问题的稀疏性约束,出现在许多基本的应用,我们应用我们的方法来获得新的全局收敛计划,这一类。
2017-06-20 cs.NA math.NA math.OC
Tight Lipschitz Hardness for Optimizing Mean Field Spin Glasses
研究了球形或伊辛混合$p$ -自旋玻璃的哈密顿量$H_N$的算法优化问题。最大渐近值$\mathsf{OPT}$的$H_N/N$的特点是由一个变分原理称为帕里西公式,证明了第一Talagrand和更普遍的Panchenko。最近开发的近似消息传递算法有效地优化$H_N/N$的值$\mathsf{ALG}$给出了一个扩展的Parisi公式,最小化在一个更大的空间的功能顺序参数。这两个物镜对于呈现无重叠间隙性质的自旋玻璃是相等的。然而,也可能发生$\mathsf{ALG} < \mathsf{OPT}$,并且没有已知的产生超过$\mathsf{ALG}$的目标值的有效算法。我们证明了,对于混合均匀$p$自旋模型,没有算法满足重叠浓度属性可以产生一个目标大于$\mathsf{ALG}$不可忽略的概率。这个属性适用于所有的算法与适当的Lipschitz依赖的无序系数的$H_N$。它包括梯度下降,近似消息传递,和朗之万动力学运行有限的时间,特别是包括实现上述$\mathsf{ALG}$的算法的自然公式。为了证明这一结果,我们基本上推广了Gamarnik和Sudan引入的重叠间隙性质框架,任意超度量禁戒结构的解决方案。
2022-09-11 cond-mat.dis-nn cs.CC math-ph
One Mirror Descent Algorithm for Convex Constrained Optimization Problems with non-standard growth properties
本文给出了求解函数约束凸极小化问题的一种特殊镜像下降算法。目标函数可能不满足利普希茨条件,但它必须具有利普希茨连续梯度。我们假设,功能约束可以是非光滑的,但满足利普希茨条件。特别是,这样的泛函出现在著名的桁架拓扑设计问题。此外,我们已经应用了技术的重新启动,在上述版本的镜像下降强凸问题。一些估计的收敛速率被认为是镜像下降算法。
2018-04-15 math.OC
Global convergence of the Heavy-ball method for convex optimization
本文建立了求解凸优化问题的Heavy-ball方法的整体收敛性,并给出了收敛速度的全局界。当目标函数具有Lipschitz连续梯度时,我们证明了迭代的Cesaro平均以$O(1/k)$的速度收敛到最优解,其中k是迭代次数.当目标函数也是强凸时,我们证明了Heavy-ball迭代线性收敛于唯一的最优解。
2014-12-23 math.OC
Safe global optimization of expensive noisy black-box functions in the $δ$-Lipschitz framework
University of Calabria(卡拉布里亚大学);Lobachevsky University(罗巴切夫斯基大学);University of Milano-Bicocca(米兰比可卡大学)
本文研究了满足Lipschitz条件的昂贵噪声黑箱函数的安全全局最大化问题(不应与鲁棒优化混淆)。概念“安全”意味着优化期间的目标函数$f(x)$不应违反“安全”阈值,例如,最大化问题中的某个先验给定值$h$。因此,任何新的函数评估(可能被噪声破坏)必须仅在“安全点”处执行,即,在已知目标函数$f(y) > h$的点$y$处执行。这里的主要困难在于,所使用的优化算法应当确保在执行$f(y)$的评估之前在点$y$处满足安全约束。因此,既需要确定搜索域$D$内的安全区域$Ω$,又需要找到$Ω$内的全局最大值。另一个困难在于,这些问题应该在存在噪声的情况下解决。本文首先从理论上研究了该问题,结果表明,即使目标函数$f(x)$满足Lipschitz条件,由于噪声的存在,传统的Lipschitz次量和优量也不能使用.然后,提出了一个$δ$ -Lipschitz框架和两个算法,使用它来解决安全的全局最大化问题。第一种方法确定搜索域内的安全区域,第二种方法在找到的安全区域上执行全局最大化。对于这两种方法的一些理论结果,其功能和收敛性的建立。最后,数值实验证实了所提出的程序的可靠性。
2020-08-15 cs.LG cs.NA math.NA