On the worst-case complexity of the gradient method with exact line search for smooth strongly convex functions
本文研究了梯度(或最速)下降法在精确线搜索下对具有Lipschitz连续梯度的强凸函数的求解。我们建立了这个计划的确切的最坏情况下的收敛速率,并表明,这种最坏情况下的行为表现出一定的凸二次函数。我们还给出了严格的最坏情况下的复杂性约束的噪声的梯度下降法的变体,其中精确的线搜索是在搜索方向,不同于负梯度最多规定的相对公差。证明是计算机辅助的,并且依赖于文献[Y. Drori和M.特布勒光滑凸极小化一阶方法的性能:一种新方法。数学规划,145(1-2):451-482,2014]。
2016-09-15 math.OC
On the Worst-Case Analysis of Cyclic Coordinate-Wise Algorithms on Smooth Convex Functions
我们提出了一个统一的框架,在无约束光滑凸优化设置循环块坐标算法的自动计算机辅助最坏情况分析。我们计算精确的最坏情况下的循环坐标下降和交替最小化算法的光滑凸函数类的界限,并提供次线性的上限和下界的最坏情况下的速度为标准类的功能与坐标明智的Lipschitz梯度。我们特别获得了一个新的上界循环坐标下降,优于最好的可用的一个数量级。我们还证明了我们的方法的灵活性,通过提供新的数值界限,使用更简单,更自然的假设比通常的块坐标算法的分析。最后,我们提供了数值证据的事实证明,一个标准的计划,可证明加速随机坐标下降到一个$O(1/k^2)$复杂性实际上是低效的(确定性)循环算法时使用。
2022-11-30 math.OC
Exact Worst-case Convergence Rates of Distributed Gradient Tracking Methods
Zhejiang University(浙江大学)
研究给出DIGing和AugDGM两种分布式梯度跟踪算法的精确最坏情况收敛速率,通过特征分解简化分析,得出显式公式并发现图连通性拐点,数值实验验证理论,揭示不同连通性下算法与集中式梯度下降最优收敛速率的关系。
2026-07-28 math.OC
Worst-Case Complexity of TRACE with Inexact Subproblem Solutions for Nonconvex Smooth Optimization
提出了一种求解非凸光滑最优化问题的算法,并对其进行了分析和测试。该算法是具有收缩和扩展的置信域算法(TRACE)[Math. Prog. 162(1):132,2017]。特别是,该扩展允许算法使用所产生的子问题的不精确解,这是解决大规模问题的一个重要特征。不精确性是允许的方式,使得最佳的迭代复杂度的${\cal O}(ε^{-3/2})$获得一个$ε$ -近似的一阶稳定点被保持,而在最坏情况下的复杂度方面的海森矢量产品可以显着改善相比,原来的TRACE。数值实验表明,允许不精确的子问题的解决方案的好处,该算法相比有利的国家的最先进的技术。
2022-04-24 math.OC
Worst-case examples for Lasserre's measure--based hierarchy for polynomial optimization on the hypercube
本文研究了Lasserre [SIAM J. Optim.]提出的多项式最优化问题的上界的收敛速度。21(3)(2011),pp. 864-885],以及De Klerk,Hess和Laurent [SIAM J. Optim. 27(1),(2017)pp. 347-367]。对于超立方体上的多项式优化,我们给出了第一层次的收敛性分析。我们还显示了下界的收敛速度的一类例子上的两个层次。这些下界与上界相匹配,从而在这些示例中建立了真实的收敛速率。有趣的是,这些收敛速度由某些正交多项式族的极值零点的分布决定。
2018-04-16 math.OC
Generalizing the optimized gradient method for smooth convex minimization
本文推广了优化梯度法(OGM),它能使光滑凸极小化一阶方法的最坏费用函数界达到最优。具体而言,本文研究了广义的制定OGM和分析其最坏情况下的利率的函数值和范数的函数梯度。本文还提出了一种新的算法称为OGM-OG,它是在OGM的广义家庭,并具有最好的已知的分析最坏情况下的限制率$O(1/N^{1.5})$的梯度范数下降固定步骤的一阶方法。本文还证明了Nesterov的快速梯度法具有$O(1/N^{1.5})$最坏情况梯度范数率,但常数大于OGM-OG。证明是基于最坏情况下的分析称为性能估计问题。
2018-04-01 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具,最坏情况下的性能分析的梯度(或最速下降)的柯西光滑强凸函数的方法,和牛顿法的自协调函数,包括不精确的搜索方向的情况下。该分析使用半定规划性能估计,如Drori和Teboulle [数学规划,145(1-2):451-482,2014]所开创的,并扩展了作者[Optimization Letters,11(7),1185-1199,2017]柯西方法的最新性能估计结果。为了说明工具的适用性,我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子,我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR,48:2520-2528,2016]。
2020-06-22 math.OC
Nonlinear conjugate gradient methods: worst-case convergence rates via computer-assisted analyses
本文提出计算机辅助分析方法,为非线性共轭梯度方法(PRP和FR)建立新的非渐近收敛界,并给出对抗性示例表明其性能不优于精确线搜索的梯度下降。
2024-09-18 math.OC
Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization
从最坏情况计算复杂性的角度建立或反驳了无约束非凸优化的不精确二阶方法的最优性,改进和推广了Cartis,Gould和Toint(2010,2011)的结果.为了这个目的,我们考虑一个新的一般类的不精确的二阶算法无约束优化,包括正则化和信赖域变化的牛顿法,以及他们的linesperson的变种。对于这类方法和任意精度阈值$ε\in (0,1)$,我们展示了一个具有有界范围的光滑目标函数,其梯度是全局Lipschitz连续的,其Hessian是$α-$ Hölder连续的(对于给定的$α\in [0,1]$),对于该方法,至少需要$\lfloorε^{-(2+α)/(1+α)}\rfloor$函数求值来生成第一个梯度小于$ε$的范数。此外,我们还构造了另一个函数,牛顿的$\lfloorε^{-2}\rfloor$评估,但其Hessian是Lipschitz连续的路径上的迭代。这些例子提供了最坏情况下的评估复杂性的方法,在我们的类时,应用到满足相关假设的光滑问题的下限。此外,对于$α=1$,该下限在$ε$中与Curtis,Robinson和samadi(2017)或Royer和Wright(2017)中提出的一类方法中的立方和其他方法的最坏情况评估复杂度的上限具有相同的顺序,因此意味着这些方法在更广泛的二阶方法中具有最佳的最坏情况评估复杂度,而牛顿法是次优的。
2017-09-21 math.OC
Exact worst-case convergence rates of gradient descent: a complete analysis for all constant stepsizes over nonconvex and convex functions
KU Leuven(荷语鲁汶大学);UCLouvain(法语鲁汶大学)
本文推导了梯度下降法在非凸和凸函数上的精确最坏收敛速率,并提出了一种改进的变体梯度下降法。
2026-01-22 math.OC
On the Optimal Ergodic Sublinear Convergence Rate of the Relaxed Proximal Point Algorithm for Variational Inequalities
研究了求解单调变分不等式问题的松弛邻近点法的最优遍历次线性收敛速度。使用性能估计框架计算精确的最坏情况收敛速度。据观察,随着迭代次数越来越大,这个数值速率渐近符合现有的次线性速率,其最优性是未知的。这暗示,在没有进一步假设的情况下,次线性收敛速度可能是最佳可达率。构造了一个具体的例子,它提供了一个下界的确切的最坏情况下的收敛速度。令人惊讶的是,这个下界与通过性能估计框架计算的确切的最坏情况界限一致。这一观察结果促使我们推测,由例子提供的下界正是最坏情况下的迭代界,然后从理论上验证。因此,我们建立了一个遍历次线性收敛速度,是最佳的次线性速度的顺序和所有涉及的常数。
2019-07-12 math.OC
On the convergence analysis of the optimized gradient method
本文研究了具有已知Lipschitz常数的Lipschitz连续梯度的光滑凸函数的无约束极小化问题。我们最近提出了一个优化的梯度法(OGM),这个问题,并表明,它有一个最坏情况下的收敛界的费用函数下降,是Nesterov的快速梯度法(FGM)的两倍小,但有一个类似的有效的实际执行。Drori最近表明,OGM具有最佳的复杂性超过一般类的一阶方法。这种最优性使得充分研究OGM的收敛性变得非常重要。以前的最坏情况下的收敛界OGM推导出只有最后一个二次序列。本文给出了OGM生成的准素序列的一个解析收敛界。然后,我们讨论了OGM的其他收敛性质,包括有趣的事实,OGM有两种类型的最坏情况下的功能:分段仿射二次函数和二次函数。这些结果有助于完善光滑凸极小化的最优一阶方法理论。
2016-06-27 math.OC
Optimal first-order methods for convex functions with a quadratic upper bound
我们分析了一阶最优化方法在光滑和凸函数的函数类上的最坏情况收敛保证。这个类包含允许一个简单的二次上界的凸函数。它的研究动机是它在小扰动下的稳定性。我们提供了一个彻底的分析一阶方法,包括最坏情况下的收敛保证几个算法,并证明其中一些实现了最佳的最坏情况下的保证类。我们支持我们的分析,最坏情况下的保证,使用性能估计问题的数值验证。从这个分析中可以得出一些观察结果,特别是关于最优性(分别是)。和自适应性)的重球方法(分别。重球与线搜索)。最后,我们展示了如何利用我们的分析来获得更复杂的函数类的收敛保证。总的来说,这项研究带来了对标准一阶方法具有最坏情况保证的函数类的选择的见解。
2022-05-30 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题,提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明,该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此,该复杂性界限概括了[Bellavia,Gurioli,Morini和Toint,2018]为光滑非凸问题的不精确方法提供的复杂性界限,并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Optimal Design of Distributed Inexact Gradient Tracking: Exact Worst-case Convergence Rate and Explicit Parameters
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University(浙江大学工业控制技术国家重点实验室与控制科学学院)
针对分布式优化算法设计,提出框架以确定DIGing算法的精确最坏情况收敛速率,通过图信号处理与鲁棒控制技术实现子系统解耦,并给出显式参数公式,经数值实验验证。
2026-09-18 cs.SY eess.SY math.OC
Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions
本文根据最坏情况收敛界(即,效率)的梯度范数的下降。这项工作是基于性能估计问题的方法。对于高维光滑凸极小化问题,在初始费用函数值有界的条件下,所得到的方法的最坏情况梯度界是最优的直到一个常数.然后,本文说明了所提出的方法具有计算效率的形式,是类似于优化的梯度法。
2020-10-27 math.OC
Some Worst-Case Datasets of Deterministic First-Order Methods for Solving Binary Logistic Regression
本文给出了求解大规模二元逻辑斯谛回归问题的确定性一阶方法的最坏情况数据集。在算法迭代次数远小于问题维数的假设下,对于我们的最差情况数据集,它至少需要$\mathcal{O}(1/\sqrt{\varepsilon})$一阶oracle查询来计算$\varepsilon$ -近似解。从传统的迭代复杂性分析的角度来看,二元逻辑斯谛回归损失函数与我们的最坏情况的数据集是新的最坏情况的函数类光滑凸优化问题的情况。
2019-08-12 math.OC
New Results on the Polyak Stepsize: Tight Convergence Analysis and Universal Function Classes
Shanghai University of Finance and Economics(上海财经大学);University of Minnesota(明尼苏达大学);Stanford University(斯坦福大学)
本文研究了Polyak步长的收敛性,证明其在不同函数类中的普遍性,并提供了新的收敛保证。
2026-03-07 math.OC
Regional Complexity Analysis of Algorithms for Nonconvex Smooth Optimization
提出了一种刻画非凸光滑最优化问题算法最坏情况性能的策略。当代分析的特点是最坏情况下的性能,提供了一定的假设下,一个目标函数,上界的迭代次数(或功能或衍生评估),直到一个p阶平稳条件近似满足。这可以说导致了基于异常目标而不是实践中通常遇到的目标的保守描述。相比之下,本文提出的策略的特征最坏情况下的性能分别在区域组成的搜索空间。这些区域一般基于导数值的性质来定义。通过这种方式,可以独立于任何特定类别的目标来分析算法的最坏情况性能。然后,一旦给定了一类目标,人们可以获得一个信息丰富的,微调的复杂性分析,仅仅通过划定的类型的区域,包括搜索空间的功能在类。由一阶和二阶导数定义的区域进行了详细讨论,并提供了一些基本的一阶和二阶算法,以尽量减少凸和非凸目标的兴趣时,例如复杂性分析。它还解释了如何将该策略推广到由高阶导数定义的区域,并用于分析高阶算法的行为。
2018-08-24 math.OC
On the Worst-Case Analysis of Cyclic Block Coordinate Descent type Algorithms
INMA, UCLouvain(UCLouvain);National University of Science and Technology Politehnica Bucharest(布加勒斯特理工大学);Gh. Mihoc-C. Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院Gh. Mihoc-C. Iacob应用数学与统计研究所)
本文针对坐标-wise 光滑凸函数无约束极小化问题,通过扩展性能估计问题方法,改进了三类循环块坐标下降算法的最坏情况收敛上界,揭示了 CCD 的尺度不变性等性质,并发现现有加速方案对确定性算法效率低下。
2026-08-20 math.OC
Worst Case Competitive Analysis of Online Algorithms for Conic Optimization
在线优化包括在线资源分配、在线二分匹配、adwords(电子商务和广告的核心问题)和具有可分离凹回报的adwords等问题。我们分析了最坏情况下的竞争比的两个原始-对偶算法的一类在线凸(锥)优化问题,包含前面的例子作为特殊情况下定义的正正交。我们推导出一个充分条件的目标函数,保证一个恒定的最坏情况下的竞争比(大于或等于$\frac{1}{2}$)的单调目标函数。我们提供了新的例子,在线问题的正正交和半正定锥,满足充分条件。我们展示了如何平滑可以提高这些算法的竞争比,特别是可分离的功能,我们表明,最佳平滑可以通过求解凸优化问题。这一结果使我们能够直接优化竞争比约束一类平滑函数,从而设计有效的平滑定制给定的成本函数。
2016-11-02 cs.DS math.OC
Adaptive first-order methods with enhanced worst-case rates
针对OGM、ITEM、TMM等一阶方法缺乏自适应性、无法适配复合问题的缺陷,提出改进估计序列框架,实现多方法统一推导与动态收敛调整,还扩展至复合场景构建了带自适应线搜索的增强加速复合梯度法。
2024-05-13 math.OC
Worst case complexity bounds for linesearch-type derivative-free algorithms
本文研究了线搜索类型无导数算法的最坏情况复杂度界限,证明了两种算法在非凸光滑函数优化中的O(ε^{-2})复杂度特性。
2023-02-13 math.OC
The exact worst-case asymptotic rate of Nesterov acceleration for strongly convex optimization
Zuse Institute Berlin(柏林齐布研究所);Technische Universität Berlin(柏林工业大学);Princeton University(普林斯顿大学)
该研究刻画了Nesterov加速梯度法求解光滑强凸优化的精确最坏情况渐近速率,给出了其渐近表达式,证明该速率可由有限维函数实现且不随迭代相关参数增大。
2026-10-14 math.OC
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明,边界匹配最近推出的优化梯度法的最坏情况下的性能,从而建立边界是紧的,可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
Black-Box Min--Max Continuous Optimization Using CMA-ES with Worst-case Ranking Approximation
在这项研究中,我们研究了最小最大连续优化问题的黑箱设置$\min_{x} \max_{y}f(x,y)$。一种流行的方法同时或交替地更新$x$和$y$。然而,现有的方法有两个主要的局限性。(I)由于$x$和$y$之间的相互作用项(例如,$x^\mathrm{T} B y$)在Lipschitz光滑和强凹凸函数$f$上的收敛速度较慢。(II)如果$f$在最优解附近不是Lipschitz光滑的且不是强凹凸的,则该方法不能收敛。为了解决这些困难,我们建议最小化的最坏情况下的目标函数$F(x)=\max_{y}f(x,y)$直接使用协方差矩阵自适应演化策略,其中的解决方案的候选人的排名近似于我们提出的最坏情况下的排名近似(WRA)机制。与现有的方法相比,数值实验表明,我们提出的方法有两个重要的发现。(1)所提出的方法在$f$方面是有效的-调用具有大交互项的Lipschitz光滑且强凹凸函数。(2)所提出的方法可以收敛于函数,不是Lipschitz光滑和强凹凸周围的最优解,而现有的方法失败。
2022-04-06 cs.NE math.OC
Understanding Limitation of Two Symmetrized Orders by Worst-case Complexity
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学)
更新顺序是块分解算法的主要设计选择之一。至少有两类确定性更新顺序:非对称(例如循环顺序)和对称(例如高斯回代或对称高斯-赛德尔)。最近,在最差情况下,具有循环顺序的坐标下降(CD)比随机化版本慢$O(n^2)$倍。一个自然的问题出现了:对称化顺序能否比循环顺序实现更快的收敛速度,甚至接近随机化版本?本文对这一问题给出了否定的回答。我们发现,高斯回代(GBS)和对称高斯-赛德尔(SGS)遭受相同的缓慢收敛问题的循环顺序在最坏的情况下。特别是,我们证明,对于无约束的问题,GBS-CD和sGS-CD可以是$O(n^2)$倍慢于R-CD。尽管无约束的问题,我们也经验性地研究线性约束的问题与二次目标:我们经验性地证明,GBS-ADMM和sGS-ADMM的收敛速度可以是大约$O(n^2)$倍慢于随机排列的ADMM。
2021-01-14 cs.LG math.OC
Error bound conditions and convergence of optimization methods on smooth and proximally smooth manifolds
对于非凸约束最优化问题$\min_{x \in S} f(x)$,在光滑集$S = \{x \in R^n : g(x) = 0 \}, \; g : R^n \rightarrow R^m$和光滑函数$f$的情况下,分析了梯度投影算法收敛到稳定点的收敛性.我们提出了新的误差界(EB)条件的梯度投影法,导致收敛域的牛顿法。我们证明,这些EB条件是典型的一类最优化问题。通过切换到牛顿法,可以达到算法的高收敛速度。
2019-12-10 math.OC
Convergence rate of alternating projection method for the intersection of an affine subspace and the second-order cone
研究交替投影方法在仿射子空间与二阶锥非横截相交时的收敛速率,证明其为 $O(k^{-1/2})$ 并在特定条件下精确,同时扩展至两个二阶锥乘积情形。
2024-01-04 math.OC
First Order Algorithm on an Optimization Problem with Improved Convergence when Problem is Convex
针对目标函数为Lipschitz连续梯度的可能非凸函数与凸(可非光滑)函数之和的优化问题,提出FISTA改进版一阶算法,非凸时迭代复杂度$\mathcal{O}(ε^{-2})$、凸时改进为$\mathcal{O}(ε^{-2/3})$,并给出渐近收敛率。
2025-08-18 math.OC
Convergence of linesearch-based generalized conditional gradient methods without smoothness assumptions
本文研究了无平滑假设下基于线搜索的广义条件梯度方法的收敛性,提出一种自动适应Hölder指数的无参数变体,证明了即使目标函数平滑部分梯度不满足Hölder连续性也能保证收敛。
2025-05-02 math.OC
Integral Quadratic Constraints: Exact Convergence Rates and Worst-Case Trajectories
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Department of Electrical and Computer Engineering at the University of Wisconsin–Madison(威斯康星大学麦迪逊分校电气与计算机工程系)
本文研究了离散时间线性时不变系统中满足积分二次约束(IQCs)的状态和输入信号,定义了新的谱半径概念以精确刻画系统稳定性,并探讨了谱半径小于一和等于一时的系统稳定性和不稳定轨迹构造。
2019-09-16 cs.SY eess.SY math.OC
Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming
本文研究了凸无约束最优化问题的随机坐标下降和循环坐标下降。利用数值半定规划的性能估计方法,在某些情况下改进了已知的收敛速度。作为一个副产品,我们提供了一种方法来分析最坏情况下的性能的高斯-赛德尔迭代法的线性系的系数矩阵是半正定的正对角。
2022-12-23 math.OC
On the convergence rate of the boosted Difference-of-Convex Algorithm (DCA)
Tilburg University(蒂尔堡大学);INRIA(法国国家数字科学研究所)
本文研究了增强型差分凸算法在最坏情况下的收敛速度,证明其在特定DC分解下优于传统DCA,并通过半定规划方法提供了理论支持。
2026-02-19 math.OC
Direct Synthesis of Iterative Algorithms With Bounds on Achievable Worst-Case Convergence Rate
本文提出了一种直接合成迭代算法的方法,通过固定损失函数的约束并利用鲁棒控制合成技术,以获得更强大的收敛率界结果。
2020-03-21 cs.SY eess.SY math.OC
Analytic analysis of the worst-case complexity of the gradient method with exact line search and the Polyak stepsize
本文通过研究一族梯度法的线性收敛与渐近行为,首次以解析方式刻画了精确线搜索和 Polyak 步长梯度法的最坏情形复杂度。
2024-07-06 math.OC
New insights in smoothness and strong convexity with improved convergence of gradient descent
研究梯度型方法的收敛性和复杂性的起始假设可能是光滑性(也称为梯度的Lipschitz连续性)和强凸性。在这篇文章中,我们重新审视这两个基本属性,从一个新的角度,激发他们的定义和等价刻画,以及改进的线性收敛的梯度下降法。
2021-10-29 math.OC
Revisiting the Geometrically Decaying Step Size: Linear Convergence for Smooth or Non-Smooth Functions
University of California, Berkeley(加州大学伯克利分校)
本文提出一种简洁的子梯度下降算法,适用于光滑或非光滑函数,证明在正逆条件数下实现线性收敛性。
2025-12-02 math.OC
Staggered Time Average Algorithm for Stochastic Non-smooth Optimization with O(1/T) Convergence
随机非光滑凸优化是机器学习和运筹学中的一类问题。研究了基于随机次梯度的非光滑函数的极小化问题。当函数具有局部多面体结构时,证明了交错时间平均算法具有O(1/T)的收敛速度。当局部多面体假设被删除时,一个更一般的收敛结果被证明。在这种情况下,收敛边界取决于最小值附近的函数曲率。最后,局部多面体假设,以提高收敛超过O(1/T)的一个特殊情况下的确定性问题。
2016-07-11 math.OC
A Unified Convergence Rate Analysis of The Accelerated Smoothed Gap Reduction Algorithm
在本文中,我们为[20,Tran-Dinh et al,2015]中引入的加速平滑GAp缩减算法(ASGARD)开发了一个统一的收敛分析框架。与[20]不同,新的分析涵盖了单个算法中的三个设置:一般凸性,强凸性以及强凸性和光滑性。此外,我们建立了三个标准的收敛性保证:(i)间隙函数,(ii)原始目标残差,(iii)双重目标残差。我们的收敛速度在所有情况下都是最优的(直到一个常数因子)。在文献[20]中,我们证明了一般凸情形下原目标残差的收敛速度,而在间隙函数和对偶目标残差上,我们证明了另外的收敛速度。最后两个案例的分析是全新的。我们的研究结果提供了一个完整的画面上的收敛保证ASGARD。最后,我们提出了四个不同的数值实验上的一个代表性的最优化模型,以验证我们的算法,并比较它与Nesterov的平滑技术。
2021-06-15 math.OC
Convergence Rate Analysis of Continuous- and Discrete-Time Smoothing Gradient Algorithms
本文针对不可微目标函数最小化,分析采用递减平滑参数的连续与离散时间平滑梯度算法,并借助统一 Lyapunov 函数证明二者收敛速率等价。
2023-12-07 math.OC
A remark on the boundedness and convergence properties of smooth sliding mode controllers
传统的滑模控制器是基于切换控制的假设,但这种方法的一个众所周知的缺点是抖振现象。为了克服不希望的抖振效应,控制律中的不连续性可以在邻近开关曲面的薄边界层中平滑掉。在这项工作中,严格证明的有界性和收敛性的光滑滑模控制器。这一结果纠正了以前文献中得出的有缺陷的结论。
2008-06-05 math.OC
Worst-Case Load Shedding in Electric Power Networks
我们考虑在电力网络中的最坏情况下的切负荷问题,其中一些传输线将被取出的服务。其目的是确定一个预先指定的线路停电,导致最大的中断发电和负载在传输水平,受交流潮流模型,负载和发电能力的总线,和相位角限制的传输线路。对于这种二元约束的非线性模型,我们证明了除了非线性潮流方程外,所有的决策变量都是可分离的。我们开发了一个迭代分解算法,将最坏情况下的甩负荷问题转化为一系列的小的子问题。我们发现,子问题是凸问题,可以有效地解决或非凸问题,有封闭形式的解决方案。因此,我们的方法是可扩展的大型网络。此外,我们证明了我们的算法的整体收敛到一个临界点和目标值是保证减少整个迭代。IEEE测试用例的数值实验证明了所开发的方法的有效性。
2018-10-19 math.OC
Worst-case Complexity Bounds of Directional Direct-search Methods for Multiobjective Optimization
直接多重搜索是一种成熟的算法,适用于多目标无导数优化。在这项工作中,我们分析了最坏情况下的复杂性,这类方法在其最一般的配方无约束优化。考虑到非凸光滑函数,我们表明,驱动一个给定的临界性措施低于一个特定的积极的阈值,直接多重搜索需要最多的迭代次数成正比的平方的倒数的阈值,提出的目标函数的组件的数量。这个数字也与第一次不成功的迭代和紧接在满足临界条件的迭代之前的迭代之间的链接序列集的大小成比例。然后,我们专注于一个特定的实例直接多重搜索,它认为接受新的非受控点更严格的标准。在这种情况下,我们可以建立一个更好的最坏情况的复杂性界限,简单地与阈值的倒数的平方成比例,用于驱动相同的关键性度量低于所考虑的阈值。
2020-11-03 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性,并给出了新的收敛速度。作为目标函数,考虑平滑部分和非平滑部分的组合,其中后者是块可分离的,例如,对应于凸约束或正则化。对于光滑部分,考虑了三种不同的强凸松弛:(i)拟强凸;(ii)二次函数增长;(iii)平面凸。线性收敛是建立在前两种情况下,推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下,也改进了以前的文献结果。所有的收敛结果有一个共同点,即与一般块坐标下降的先前相应结果相反,交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终,不仅更好的条件块确定的性能,已经类似地观察到在文献中。而且,更差条件的问题还额外地增强了性能,导致潜在地显著改进的收敛速度。此外,仅利用问题的凸性和光滑性,所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
Robustness and Convergence Analysis of First-Order Distributed Optimization Algorithms over Subspace Constraints
本文扩展算法,消除分散梯度下降的不动点偏差,以解决更一般的问题,分布式优化子空间的约束。利用积分二次约束框架,我们分析了这些广义算法的性能,在最坏情况下的鲁棒性和收敛速度。我们的框架的效用证明了如何扩展的算法,最初设计的共识,现在能够解决多任务推理问题。
2022-10-28 math.OC
Global Linear Convergence of the Proximal Bundle Method under Unknown Piecewise Smoothness and Quadratic Growth
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
研究近端束方法在保留足够多切割平面时,能利用目标函数的分段光滑结构,实现全局线性收敛,并给出理论解释。
2026-09-11 math.OC
Convergence and Complexity Analysis of a Levenberg-Marquardt Algorithm for Inverse Problems
Levenberg-Marquardt算法是求解非线性最小二乘问题最常用的算法之一。在适当的假设条件下,该算法对零和非零小残差问题都具有整体收敛、有竞争力的最坏情况迭代复杂度和保证的局部收敛率.我们介绍了一种新的Levenberg-Marquardt方法,同时,在所有这些收敛特性与一个单一的无缝算法的最先进的匹配。数值实验证实了我们提出的算法的理论行为。
2020-04-06 math.OC
Generalized Smooth Stochastic Variational Inequalities: Almost Sure Convergence and Convergence Rates
Arizona State University(亚利桑那州立大学)
本文针对非单调算子不满足光滑性假设的随机变分不等式问题,在α-对称广义光滑假设下研究两类裁剪方法,首次得到无有界性假设的几乎必然收敛结果及α≤1/2下的期望无偏收敛速率。
2025-10-01 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
A note on the optimal convergence rate of descent methods with fixed step sizes for smooth strongly convex functions
基于Taylor、Hendrickx和Glineur(J. Optim.理论应用,178(2):455--476,2018)关于光滑强凸函数梯度下降法的可达收敛速度,给出了固定步长下一般下降法的初等收敛性分析.它涵盖了一般的变度量法,梯度相关的角度和缩放条件下的搜索方向,以及不精确的梯度法。在所有情况下,最佳速率获得。
2022-03-23 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题,其中一个是光滑的,另一个是非光滑的。在本文中,我们介绍了一般类的近似邻近分裂(APS)方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法,例如用于光滑凸优化的邻近分裂方法(PSM)、块坐标下降法(BCD)和近似梯度投影法。在局部误差有界的假设下,证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题,我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Information Geometry of Exponentiated Gradient: Convergence beyond L-Smoothness
本文研究正象限上可能非凸函数的指数化梯度(EG)方法,将其解释为基于$e$-Exp映射的黎曼梯度下降,在无需L-平滑性的弱假设下证明了全局收敛性,并通过数值实验展示了其优于内点几何RGD的收敛速度。
2025-04-07 math.OC
Complexity Analysis of the Regular Simplicial Search Method with Reflection and Shrinking Steps for Derivative-Free Optimization
本文针对无导数优化中单纯形类方法缺乏最坏情况复杂度界的问题,提出带反射与收缩步的正则单纯形搜索方法 RSSM,并在非凸、凸和强凸情形下建立复杂度界,为更高级单纯形算法的理论分析奠定基础。
2025-08-22 math.OC