An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术:拉格朗日对偶分解,自协调障碍平滑,路径跟踪,和近似牛顿技术。它还允许近似计算原始子问题(称为从属问题)的解,这导致不精确的预言(即,不精确梯度和Hessians)的光滑对偶问题(称为主问题)。光滑对偶问题是非光滑的,我们提出用不精确近似牛顿法来求解,通过适当地控制从问题和主问题两个层次上的不精确计算,我们仍然估计了算法的多项式时间迭代复杂度,就像标准的短步内点方法一样.我们还提供了一个策略,以恢复原始解决方案,并建立复杂性,以实现近似原始解决方案。我们说明了我们的方法,通过两个数值例子知名的模型与合成和真实的数据,并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
Proximal gradient methods with inexact oracle of degree q for composite optimization
本文提出 q 阶不精确一阶预言机概念,并分析用于复合优化的不精确近似梯度方法,揭示预言机精度与目标精度的复杂度关系。
2024-01-19 math.OC
Numerical methods in large-scale optimization: inexact oracle and primal-dual analysis
这是一个简短的总结,已经发表的结果加速第一和零阶最优化方法,以及加速方法的问题与线性约束。这个简短的摘要是获得俄罗斯联邦科学博士学位的要求。详情见导言中所列的文件。
2020-09-08 math.OC
Optimal inexactness schedules for Tunable Oracle based Methods
本文研究可调非精确 oracle 的一阶优化方法,提出最优非精确性调度策略,在收敛性与计算成本间取得最佳折中,并通过 Fast Gradient 算法的数值实验验证了其实际有效性。
2023-09-14 math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分(可能为非凸部分)和“简单”部分的和。非正式地说,甲骨文的不精确性意味着,对于“困难”部分,在任何一点,我们都可以近似地计算函数的值,并构造一个二次函数,它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子:光滑的非凸函数与不精确的Hölder连续梯度,辅助一致凹最大化问题,这只能近似解决的功能。对于引入的一类问题,我们提出了一种梯度型方法,它允许使用不同的邻近设置,以适应几何的可行集,自适应地选择控制的预言错误,允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数,并表明,在不精确的Hölder连续梯度的情况下,我们的方法是通用的Hölder参数的问题。最后,在一个特殊的情形下,证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
Universal method with inexact oracle and its applications for searching equillibriums in multistage transport problems
本文提出了一种新的多阶段输运问题平衡点数值计算的有效方法。在我们的方法的核心在于适当的组合,通用梯度法提出的Yu。Nesterov(2013)和不精确甲骨文的概念(Devolder-Glineur-Nesterov,2011)。特别地,我们的技术允许我们以快速的方式计算Wasserstein的重心(该结果推广了M。Cuturi等人(2014))。
2016-04-17 math.OC
Gradient-free prox-methods with inexact oracle for stochastic convex optimization problems on a simplex
在本文中,我们表明,欧几里德随机化在某些情况下(即梯度自由的方法在一个单纯形)可以作为良好的随机化的单位球上的1-范数。即在单纯形的例子中,我们证明了对于无梯度方法,随机结构的选择和随机化方式的选择必须相互联系。我们演示了如何以最佳方式完成。重要的是我们要考虑不精确的神谕。
2016-04-17 math.OC
On the Oracle Complexity of a Riemannian Inexact Augmented Lagrangian Method for Riemannian Nonsmooth Composite Problems
本文研究黎曼非光滑复合优化,证明带经典对偶更新的 RiAL 方法通过非精确内子问题求解仅需 O(ε^{-3}) 次一阶预言机调用即可找到 ε-稳定点,达到已知最优复杂度。
2024-10-02 math.OC
Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle
引入了一类带单调算子的变分不等式(VI)的不精确预言模型,提出了求解此类VI的一种数值方法,并分析了其收敛速度.作为一个特例,我们考虑了具有Hölder连续算子的VI,并证明了我们的算法是通用的。这意味着,在不知道Hölder参数$ν$和Hölder常数$L_ν$的情况下,它具有这类VI的最佳可能的复杂性,即我们的算法具有复杂性$O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} \right)^{\frac{2}{1+ν}}R^2 \right)$,其中$R$是可行集的大小,$\varepsilon$是解决方案的期望精度。我们还考虑了具有强单调算子的VI的情形,推广了我们对具有不精确预言的VI的方法和我们对这类问题的通用方法。最后,我们展示了如何将我们的方法应用于具有Hölder连续部分次梯度的凹凸鞍点问题。
2022-02-17 math.OC
Convergence analysis of the Riemannian proximal gradient method with inexact oracle
Shenzhen University(深圳大学);Sun Yat-sen University(中山大学);Guangdong Polytechnic Normal University(广东技术师范大学)
将不精确一阶oracle概念推广到黎曼优化,分析带有该oracle的黎曼近端梯度方法(RPG-IO)的全局收敛性,并基于KL性质证明迭代序列收敛到稳定点及收敛速率。
2026-06-25 math.OC
Convex semi-infinite programming algorithms with inexact separation oracles
针对分离问题难以精确求解的凸SIP,本文提出用不精确预言机驱动CP与IOA算法,分别证明CP在强凸目标下的O(1/k)速率及IOA在QCQP分离情形下的可行性与最优收敛性。
2025-06-10 math.OC
Optimal Convex Optimization with Inexact Second-Order Oracles
IIIS, Tsinghua University(清华大学交叉信息研究院);Department of Artificial Intelligence, Westlake University(西湖大学人工智能学院);School of Data Science, Fudan University(复旦大学数据科学系);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
研究使用不精确二阶预言机的凸优化问题,提出加速不精确牛顿外梯度法,给出不同条件下找到ε-解的复杂度,且每次迭代时间与矩阵乘法相当,还建立匹配下界证明方法最优性。
2026-08-03 math.OC
Accuracy Certificates for Convex Minimization with Inexact Oracle
本文将凸优化精度证书推广至不精确一阶 Oracle,并为基于多面体的割平面方法给出显式构造,实现在线停止、原始解恢复及紧致目标残差界。
2023-09-30 math.OC
Nonasymptotic Analysis of Accelerated Methods With Inexact Oracle Under Absolute Error Bound
Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);The Ohio State University(俄亥俄州立大学)
研究具有不精确梯度预言机的加速方法用于解决确定性光滑凸问题,用PEP分析收敛界,得出GOGM和GFGM新收敛界,分析权衡与最优策略,建立累积误差下界并开发满足下界的PEP解。
2026-07-14 math.OC
A Universal Transfer Theorem for Convex Optimization Algorithms Using Inexact First-order Oracles
本文提出了一种通用转换定理,能够将任何基于精确一阶信息的凸优化算法以黑盒方式转换为可处理非精确一阶信息的算法,适用于更广泛的算法类别及结构化非凸问题。
2024-06-01 math.OC
Solving smooth min-min and min-max problems by mixed oracle algorithms
在本文中,我们考虑两类问题,有一些相似的结构,即极小极小问题和极小极大鞍点问题。我们的方法是基于考虑外部最小化问题的最小化问题与不精确的预言。这个不精确的预言是通过内部问题的不精确解来计算的,内部问题是最小化或最大化问题。我们的主要假设是问题是光滑的,并且可用的预言是混合的:它只可能评估梯度w.r.t.对应于外部最小化问题的外部变量块,而对于内部问题,只有零阶Oracle可用。为了解决内部问题,我们使用零阶预言机加速无梯度方法。为了解决外部问题,我们使用Vaydya的割平面法的不精确变体或加速梯度法的变体。因此,我们提出了一个框架,导致非渐近的复杂性界的最小-最小和最小-最大的问题。此外,我们分别估计的数量的第一和零阶Oracle调用,这是足以达到任何所需的精度。
2021-02-28 math.OC
Universal Intermediate Gradient Method for Convex Problems with Inexact Oracle
在本文中,我们提出了一个新的一阶方法,用于最小化一个简单的凸集上的凸函数。我们假设目标函数是一个复合函数,它是一个简单的凸函数和一个具有不精确Hölder连续次梯度的凸函数的和。本文提出了通用中间梯度法。我们的方法具有普适性和中介性。继Y. Nesterov(Math.Prog.,2015)在通用梯度法上,我们的方法不需要任何关于Hölder参数和常数的信息,并自动调整自身以适应局部平滑度。另一方面,在O. Devolder,F.Glineur,and Y. Nesterov(CORE DP 2013/17),我们的方法是介于通用梯度法和通用快速梯度法之间的中间方法。这允许平衡该方法的收敛速率和预言错误累积的速度。在目标函数强凸性的假设下,我们证明了如何利用重新启动技术来获得一个具有更快收敛速率的算法。
2019-10-21 math.OC
Abs-Smooth Frank-Wolfe Method: Primal-Dual Analysis, Heavy Ball Momentum, and Inexact Oracles
Institut für Mathematik, Humboldt-Universität zu Berlin(柏林洪堡大学数学研究所);Zuse Institute Berlin(柏林祖斯研究所);Institut für Mathematik, Technische Universität Berlin(柏林工业大学数学研究所)
本文研究了满足abs-smoothness属性的凸目标的无投影优化问题,提出了一种统一的Abs-Smooth Frank-Wolfe方法框架,通过清晰的对偶分析保证收敛性,无需传统光滑性假设。该框架在两个重要方向上扩展了现有结果:首先引入重力球动量变体,证明在abs-smoothness下动量可以自然融入并保持收敛性;其次分析近似最小化Oracle,展示对近似内解的鲁棒性。此外,放宽了全凸性假设,研究仅在目标的分段线性近似中保持凸性的情况,进一步扩大了条件梯度方法在更广泛非光滑问题中的应用范围。
2026-11-10 math.OC
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本,求解带原始强凸性的非双线性鞍点问题,显著提升原始预言复杂度,适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
Distributed Optimization with Inexact Oracle
本文研究了使用近似一阶信息的分布式最优化问题。我们假设智能体可以重复调用每个目标函数的不精确一阶预言,并与其随时间变化的邻居交换信息。在这种情况下,我们重新讨论了分布式次梯度方法,并证明了它在平方可和但不可和步长下的次优性。我们还提出了几个条件上的不精确的本地神谕,以确保精确收敛的迭代序列的全球最优解。数值算例验证了算法的有效性。
2022-08-25 cs.SY eess.SY math.OC
Higher Degree Inexact Model for Optimization problems
本文提出不精确高阶 $(δ, L, q)$-模型,并基于该模型构造自适应梯度法、快速梯度法和 Generalized Mirror Prox,用于求解凸优化、变分不等式及非光滑问题,证明了收敛速率并通过数值实验验证了有效性。
2024-10-03 math.OC
Difference-of-Convex Optimization via Inexact Smoothing Descent Methods: Difference of High-Order Moreau Envelopes
University of Antwerp(安特卫普大学)
提出HOME-DC函数并建立其性质,通过非精确一阶预言机设计下降方法求解DC优化问题,理论分析收敛性,稀疏聚类实验验证有效性。
2026-07-01 math.OC
An Inexact Frank-Wolfe Algorithm for Composite Convex Optimization Involving a Self-Concordant Function
本文提出一种带不精确预言机的Frank-Wolfe算法变体,用于求解涉及对数齐次自协和函数的复合凸优化问题,在放宽子问题精确求解假设的同时保持相似收敛保证,并应用于大规模半定规划。
2023-10-23 math.OC
Decentralized Constraint-Coupled Optimization with Inexact Oracle
针对带全局耦合等式约束的去中心化优化问题,提出采用可控不精确度非精确对偶梯度的iDDGT方法,计算效率更优且可在无约束矩阵条件的有向图上线性收敛,适用范围更广。
2023-10-05 cs.SY eess.SY math.OC
Universality of AdaGrad Stepsizes for Stochastic Optimization: Inexact Oracle, Acceleration and Variance Reduction
本文针对仅能通过可能有偏的随机梯度预言机访问的近似光滑凸复合优化问题,提出基于AdaGrad步长的基础与加速自适应梯度方法,并统一证明了其在方差有界、隐式方差缩减及显式SVRG型方差缩减三种情形下均达到最优复杂度。
2024-06-10 math.OC
The Inexact Cyclic Block Proximal Gradient Method and Properties of Inexact Proximal Maps
本文扩展了循环块邻近梯度法的块可分离的复合最小化,允许不精确计算的梯度和邻近的地图。由此产生的算法,不精确的循环块近端梯度(I-CBPG)的方法,共享相同的收敛速度作为其精确计算的模拟提供了允许的误差下降足够快或被预先选择为足够小。我们提供的数值实验,展示了实际的计算优势的I-CBPG的近似误差的某些固定的公差,特别是一个动态降低的误差容限制度。我们在我们的$δ$ -第二Prox定理中建立了不精确的近端图评估和$δ$ -次梯度之间的紧密关系。这个定理形成了我们的收敛性分析的基础,使我们能够表明,不精确的梯度计算和其他概念的不精确的邻近映射计算可以归入一个统一的框架。
2022-01-03 math.OC
Sequential Subspace Optimization for Quasar-Convex Optimization Problems with Inexact Gradient
对于凸光滑极小化问题,加速梯度一阶方法具有最优的复杂性估计。在许多实际情况下,使用不精确的梯度信息是有意义的。然而,这可能导致相应的不精确性积累在理论估计的收敛速率。本文对序列子空间最优化方法(SESOP)进行了一些改进,用于求解梯度不精确的类凸函数极小化问题。理论结果表明,没有积累的梯度不精确。的SESOP方法的建议版本和它的比较与已知的相似三角形方法与不精确的梯度的数值实现进行。
2021-08-13 math.OC
On the inexact scaled gradient projection method
本文给出了凸集上的尺度梯度投影法的一个不精确形式。首先,计算可行集上的不精确投影,允许适当的相对误差容限。其次,采用非精确非单调线搜索方案来计算定义下一次迭代的步长。结果表明,所提出的方法具有类似的渐近收敛性和迭代复杂性的限制,通常的尺度梯度投影法采用单调线搜索。
2021-06-09 math.OC
A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出了一种基于延迟不精确算子的加速固定点方法,改进了经典KM方法的收敛率,并应用于矩阵博弈和神经网络训练问题。
2025-12-15 math.OC stat.ML
Inexact gradient projection method with relative error tolerance
本文提出了一种具有可行非精确投影的梯度投影法。使用相对误差公差执行不精确投影。给出了该方法在常数步长和Armijo步长下的渐近收敛分析和迭代复杂度界。数值结果的报告说明了潜在的优势,考虑不精确的预测,而不是确切的,在一些中等规模的情况下,最小二乘问题的spectrohedron。
2021-01-27 math.OC
Linear convergence of inexact descent method and inexact proximal gradient algorithms for lower-order regularization problems
基于$0< p< 1$的$\ell_p$正则化问题在求解线性反问题的稀疏解方面得到了广泛的研究,并在各种数学和应用科学领域得到了成功的应用。近似梯度算法是求解$\ell_p$正则化问题的最流行的算法之一。本文研究了一种非精确下降法和两种非精确邻近梯度算法(PGA)的线性收敛问题。为此,最优性条件定理的探索,以提供之间的等价性局部极小值,二阶最优性条件和二阶增长性质的$\ell_p$正则化问题。利用二阶最优性条件和二阶增长性,在一些简单的假设下,证明了非精确下降法和非精确PGA的线性收敛性质.线性收敛到局部极小值和线性收敛到局部极小值。最后,将非精确数值方法的线性收敛结果推广到无限维希尔伯特空间.
2017-08-23 math.OC
Gradient-Type Method for Optimization Problems with Polyak-Lojasiewicz Condition: Relative Inexactness in Gradient and Adaptive Parameters Setting
针对满足 PL 条件、梯度 Lipschitz 连续且梯度存在相对误差的优化问题,提出一种可自适应光滑性与误差水平的梯度型算法,并给出输出点质量的理论估计与实验验证。
2023-12-10 math.OC
Accelerated and nonaccelerated stochastic gradient descent with inexact model
在本文中,我们提出了一种新的方法来获得光滑随机(强)凸优化任务的最佳收敛速度。我们的方法是基于梯度具有非随机噪声的优化任务的结果。与以前已知的结果相反,我们将我们的想法扩展到不精确的模型概念。
2020-04-15 math.OC
Gradient Sampling Methods with Inexact Subproblem Solutions and Gradient Aggregation
梯度采样(GS)已被证明是一种有效的方法来最小化的目标函数,可能是非凸和/或非光滑的。当代GS方法的计算成本最高的部分是需要在每次迭代中求解凸二次子问题。在本文中,提出了一种策略,允许使用这些子问题的不精确的解决方案,其中,证明了在该文件中,可以被纳入没有损失的理论收敛保证。数值实验表明,利用不精确的子问题的解决方案,可以不断减少所需的GS方法的计算量。此外,提出了一种策略,用于聚合梯度信息后,子问题得到解决(可能不准确),已被利用在捆绑方法非光滑最优化。它被证明是可以引入的聚合计划,而不会失去理论上的收敛保证。数值实验表明,将这种梯度聚合方法大大减少了GS方法所需的计算工作量。
2021-08-06 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院)
本文提出了一种统一框架,用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长,分析了其全局收敛性及收敛速率,并通过数值结果验证了其有效性。
2026-04-22 math.OC
On Some Versions of Subspace Optimization Methods with Inexact Gradient Information
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Research Center for Artificial Intelligence, Innopolis University(因诺波利斯大学人工智能研究中心);National Research University Higher School of Economics(国立高等经济大学);V. Vernadsky Crimean Federal University(V.维尔纳茨基克里米亚联邦大学)
针对带不精确梯度的凸优化问题,提出基于子空间优化的一阶方法改进,研究其在不同不精确条件下的收敛性及对拟凸函数的推广,拓展了加速梯度方法的适用场景。
2026-08-13 math.OC
Inexact JKO and proximal-gradient algorithms in the Wasserstein space
该研究针对Wasserstein空间中JKO格式与近端梯度算法的非精确求解问题,分析两类误差的影响,给出受控误差下的严格收敛保证,证明非精确步长仍可实现弱收敛,且结论可拓展至近端梯度算法。
2025-06-18 math.OC
Computational Complexity of Inexact Gradient Augmented Lagrangian Methods: Application to Constrained MPC
研究了求解复杂约束凸优化问题的不精确梯度增广拉格朗日方法的计算复杂性证明。我们解决了增广拉格朗日对偶问题,所产生的复杂的约束松弛梯度和快速梯度法的基础上不精确的一阶信息。此外,由于增广拉格朗日原问题的精确解在实践中很难计算,因此我们在给定的内部精度下求解了该问题。我们推导出原始和对偶问题的内部和外部精度之间的关系,我们给出了一个完整的梯度和快速梯度算法的收敛速度分析。我们提供估计的原始和对偶次优性和原始可行性违反所产生的近似原始和对偶解。我们的分析依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。我们还讨论了嵌入式线性系的约束模型预测控制问题的算法的实施方面。
2013-02-18 math.OC
Inexact reduced gradient methods in nonconvex optimization
本文提出并发展了有限维空间上非凸连续可微函数的新的具有不精确梯度信息的线搜索方法。建立了一类广泛的线性插值方法的抽象收敛性结果。提出了一种非精确约化梯度(IRG)方法的一般格式,其中梯度近似中的误差自动地与精确梯度的大小相适应。当采用不同的步长选择时,迭代序列被示出以获得稳定的累积点。在Kurdyka- Lojasiewicz性质下,给出了IRG方法的构造性收敛速度. IRG方法得到的结果证实了令人鼓舞的数值实验,这表明IRG方法的自动控制的错误比其他常用的错误选择的优势。
2022-12-31 math.OC
Gradient Methods for Problems with Inexact Model of the Objective
我们考虑在目标函数的不精确信息下凸极小化问题的最优化方法。我们引入了目标的不精确模型,作为特例,它包括$(δ,L)$不精确预言和相对光滑条件。我们分析了使用这种不精确模型的梯度法,并得到了凸和强凸问题的收敛速度。为了展示我们的一般框架的潜在应用,我们考虑三个特定的问题。第一个是通过[Nesterov,2018]中引入的选举模型进行聚类。第二个是近似的最优输运距离,我们提出了一个近端Sinkhorn算法。第三部分是关于最优输运重心的近似计算,提出了一种近似迭代Bregman投影算法。我们还通过数值实验说明了我们的算法的实际性能。
2019-03-23 math.OC
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析,并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
On Inexact Accelerated Proximal Gradient Methods with Relative Error Rules
最流行和最重要的一阶迭代之一是“快速迭代收缩/保持算法”(FISTA),它提供了经典的近端梯度法(PGM)的最佳复杂度。本文研究了极小化两个凸函数和的两种不精确形式的FISTA。所提出的计划不精确地解决他们的子问题,使用相对误差标准,而不是外生和减少误差的规则。当近端操作者的评估是困难的,不精确版本的FISTA是必要的,这里提出的相对误差规则可能比以前的误差规则具有一定的优势。两种算法都具有相同的FISTA最优收敛速度。一些数值实验报告,以说明新方法的数值行为。
2020-05-07 math.OC
Inexact Riemannian Gradient Descent Method for Nonconvex Optimization
针对黎曼流形非凸优化中精确梯度难获取的问题,提出带收敛保证的新型非精确黎曼梯度下降算法,建立两个非精确梯度条件,兼具理论收敛性与实际应用效率。
2024-09-17 math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法(IGD),在KL性质下保证收敛到稳定点,并将其应用于设计非精确邻近点法和非精确增广拉格朗日法,数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地,我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数,并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法,我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$,而对于自适应的变体,我们得到$\mathcal{O}\left(\frac{1}ε\right)$,投影到一个原始的集合,以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Worst-case convergence analysis of relatively inexact gradient descent on smooth convex functions
本文利用PEP框架,对光滑凸函数上带相对误差界的梯度下降算法进行最坏情况收敛性分析,推导单步精确行为、多步上下界,并给出最优常数步长选择。
2025-09-11 math.OC
Improved Analysis of Restarted Accelerated Gradient and Augmented Lagrangian Methods via Inexact Proximal Point Frameworks
University of Rochester(罗切斯特大学)
本文提出了一种重启加速复合梯度方法和不精确增广拉格朗日方法,分别在无约束和线性约束问题中达到最优一阶复杂度,通过不精确近似点框架实现统一分析。
2026-02-19 math.OC
An Inexact Newton-like conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性方程组的不精确Newton型条件梯度法。利用一般的优势条件,证明了新方法的局部收敛和收敛速度。给出了这一条件的两个应用:一个是导数满足Holder-like条件的函数,另一个是满足Smale条件的函数,其中包括大量的解析函数.文中还给出了一些数值实验,说明了该方法对中大型问题的适用性。
2017-05-22 math.OC
An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints
提出了一种求解非凸非线性约束问题的实用不精确增广拉格朗日方法。我们的总计算复杂性的特征,我们的方法受到可验证的几何条件,这是密切相关的Polyak-Lojasiewicz和Mangasarian-Fromowitz条件。特别是,当一阶求解器用于内部迭代,我们证明了iALM发现一阶不动点与$\tilde{\mathcal{O}}(1/ε^4)$调用一阶Oracle。此外,如果问题是光滑的,并且二阶求解器用于内部迭代,则iALM通过对二阶oracle的$\tilde{\mathcal{O}}(1/ε^5)$调用找到二阶稳定点,这与文献中已知的理论复杂度结果相匹配。我们还提供了强有力的数值证据,大规模的机器学习问题,包括Burer-Monteiro分解的半定程序,和一种新的非凸松弛的标准基追求模板。对于这些例子,我们还展示了如何验证我们的几何条件。
2022-04-21 math.OC
An Inexact Variance-Reduced Method For Stochastic Quasi-Variational Inequality Problems With An Application In Healthcare
研究了一类闭凸集上具有连续强单调映射的随机拟变分不等式(SQVI)问题,其中到约束集上的投影不容易计算.提出了一种求解SQVI问题的不精确方差缩减随机格式,并分析了其收敛速度和预言复杂度。通过逐步增加样本量和近似投影算子,获得线性的收敛速率。此外,我们展示了如何献血组织之间的竞争可以建模为SQVI,我们提供了一些初步的模拟结果来验证我们的研究结果。
2022-08-31 math.OC
Bounds for the Tracking Error and Dynamic Regret of Inexact Online Optimization Methods: A General Analysis via Sequential Semidefinite Programs
在本文中,我们开发了一个统一的框架,分析跟踪误差和动态遗憾的不精确在线最优化方法在各种设置。具体来说,我们利用二次约束方法从控制理论制定顺序半定规划(SDP)的可行点自然对应于跟踪误差界的各种不精确的在线最优化方法,包括不精确的在线梯度下降(OGD)方法,在线梯度下降上升法,在线随机梯度法,和不精确的近端在线梯度法。我们提供了精确的解析解,我们建议的顺序SDPs,并获得细粒度的跟踪误差界的在线算法在本文中研究。我们还提供了一个简单的例程来转换所获得的跟踪误差界到动态遗憾界。我们的分析的主要新颖之处是,我们得到了精确的分析解决方案,我们提出的顺序SDPs在各种不精确的预言假设下,以统一的方式。
2023-03-02 math.OC
Adaptive Gradient Methods for Some Classes of Non-Smooth Optimization Problems
针对非光滑凸优化问题,提出了几种自适应算法。第一种是基于一种特殊的人为的不精确性。即引入优化目标泛函的不精确($ δ, Δ, L$)模型的概念,提出了一些自适应不精确参数的梯度型方法。对变分不等式和鞍点问题引入了一个类似的不精确模型的概念。对凸规划问题在一般假设下提出了一种类似的切换次梯度格式。
2020-08-23 math.OC
A Relative Inexact Proximal Gradient Method with an Explicit Linesearch
针对目标函数为全定义域可微凸函数与非可微凸函数之和的复合凸优化问题,提出带显式线搜索的相对不精确邻近梯度法,证明收敛性并建立迭代复杂度,数值实验验证其实际有效性。
2025-04-14 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题,其中目标函数为光滑函数和非光滑函数之和,约束函数为确定性函数,且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后,我们定制所提出的方法来解决随机非凸最优化问题与非线性约束,并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC